Utilidad del listado de síntomas para el diagnóstico de trastorno de la atención/ hiperactividad en población general y familias antioqueñas*

David A. Pineda^1,2, Daniel C. Aguirre-Acevedo^1,2, Isabel C. Puerta^1,2, Daniel Esteban Pineda^2,3, Francisco Lopera²

* Los datos de este estudio derivan del proyecto: Fenotipo del trastorno de la atención y su comorbilidad en familias y en la población general de una comunidad antioqueña. Código N° 115-0412010, colciencias.

¹ Grupo Neuropsicología y Conducta (COL0007551). Facultad de Psicología, Universidad de San Buenaventura. Facultad de Medicina, Universidad de Antioquia, Medellín (Colombia).

² Grupo de Neurociencias de Antioquia. Facultad de Medicina, Universidad de Antioquia.

³ Joven Investigador colciencias. Facultad de Medicina, Instituto de Ciencias de la Salud (CES).

Correspondencia: David A Pineda. MSc., MD. dpineda51@epm.net.co

Resumen

Se analizó la utilidad de una lista de 18 síntomas del trastorno por déficit de atención/ hiperactividad (tda/h) en 342 niños y adolescentes de ambos sexos de la población general de la ciudad de Manizales, y en 214 en niños y adolescentes de ambos sexos de 151 familias del aislado genético de Antioquia. Tanto en la muestra de la población general como en la de las familias la lista de síntomas mostró que el grupo de tda/h tuvo un número significativamente mayor de síntomas en las dimensiones de inatención, hiperactividad-impulsividad y en la escala total. En la muestra de la población general el análisis encontró que la escala puede diferenciar tres grupos (control, combinado e inatento). El cuestionario tiene una sensibilidad y una especificidad de 81,1% para una puntuación total de 18,5. En las familias antioqueñas la sensibilidad y especificidad estuvo por encima del 84% en la escala de inatención y en la puntuación total. Esto indica que la lista de síntomas de tda/h es útil para estudios de prevalencia y de incidencia. También podría ser usada como rasgo cuantitativo para estudios de ligamiento en la genética del tda/h.

Palabras claves: Inatención, hiperactividad, escalas diagnósticas, sensibilidad, especificidad, cuestionarios, tamizaje.

Abstract

Utility of a checklist of 18 attention deficit/ hyperactivity disorder (adhd) symptoms was analyzed in 342 children and adolescents of both gender from general population of Manizales, and in 214 children and adolescents from 151 families belonging to the Antioquian genetic isolate. The checklist showed that the adhd groups of both samples had significant higher scores on the dimensions of inattention, hyperactivity and total score than the control groups. The post-hoc Tukey' s analysis of the general population sample found three significantly different groups (control, combined and inattentive). The questionnaire had a sensitivity and specificity of 81.1%, corresponding to a checklist 18.5 total score. In the sample from the families, sensitivity and specificity was over 84% for inattention and the total score. That means that the adhd checklist can be used as screening instrument for prevalence and incidence studies. Also it would be used for adhd genetic studies as a quantitative trait.

Key words: Inattention, hyperactivity, rating scales, sensitivity, specificity, questionnaires, screening.

FUNDAMENTACIÓN Y ANTECEDENTES

La detección precisa y confiable de los síntomas del trastorno por déficit de atención/hiperactividad (tda/h) permite definir el diagnóstico y su severidad, en términos de rasgos de conducta perturbadora, por lo cual se requiere de instrumentos que midan con exactitud estos comportamientos. Dichos instrumentos pueden ser diligenciados por padres y maestros, mediante entrevista aplicada por los clínicos generales (psicólogos, médicos, enfermeras o trabajadoras sociales) o por los especialistas (psiquiatras, neurólogos de niños o neu-ropsicólogos) (Bebee, 2005; DuPaul, Power, Anastopoulos & Reid, 1998; Reitman Hummel, Franz & Gross, 1998). El tda/h se define como una alteración en el desarrollo cerebral, que se caracteriza por la presencia persistente de síntomas de inatención, hiperactividad e impulsividad, los cuales son más severos y frecuentes que los que se observan en las personas de la misma edad y nivel cultural; algunos síntomas deben estar presentes antes de los 7 años, aparecer en más de un lugar y causar impacto en las actividades escolares, familiares o laborales (American Psychiatric Association, 1994; 2000; Barkley, 1998; Harns, 1995; Lahey, et al, 1994; Pineda, 1997).

Desde la perspectiva de la epidemiología clínica, las escalas estandarizadas para padres y maestros han sido los instrumentos más ampliamente utilizados para evaluar los trastornos del comportamiento infantil, incluyendo el tda/h (Barkley, 1998; Bebee, 2005; Cornejo et al, 2005; Kamphaus & Kirby, 1992; Kamphaus & Frick,1996).

En Colombia existe un instrumento cuantitativo estandarizado para evaluar los síntomas del Criterio A para el diagnóstico del tda/h (Pineda et al, 1999 a), el cual puede ser usado de manera confiable y válida en los estudios demográficos (Pineda, Ardila & Roselli, 1999; Pineda, Restrepo, Henao, Gutiérrez-Clellen, Sánchez, 1999 b; Pineda, Rosselli, Henao & Mejía, 2000), con el objeto de determinar la prevalencia y la incidencia del tda/h en la población (Cornejo et al, 2005; Pineda et al, 1999 a; Pineda et al, 1999 c; Pineda, D. A., Lopera, F., Henao, G. C., Palacio, J. D. & Castellanos, 2001; Pineda, Palacio, Ramírez, Henao, 2003), o para construir fenotipos en los estudios de genética de tda/h (Palacio, et al., 2004; Arcos-Burgos, et al, 2004 a). El disponer de datos normativos confiables, relevantes y contextualizados acerca de estos comportamientos en la población normal permite construir categorías diagnósticas de la psicopatología de los niños y de los adolescentes, al tipificar los comportamientos de inatención, hiperactividad e impulsividad con su variabilidad en una amplia población, con suficiente certeza y precisión (Kazdin, 1995 ; Kamphaus & Frick, 1996).

La idea, entonces, es proporcionarle al clínico herramientas cuantitativas y estandarizadas para que se familiarice con conceptos como pre-valencia, incidencia y frecuencia desde una perspectiva descriptiva, y con los conceptos de factores de riesgo y riesgo relativo desde una perspectiva de causalidad multidimensional (Kurtzke, 1992 y 1996). Dentro de estos riesgos, en el caso del tda/h, cobran importancia los hallazgos corroborados de asociaciones y ligamientos con múltiples marcadores genéticos (Arcos-Burgos, et al, 2004a, 2004b). De esto se deriva la necesidad de construir fenotipos cuantitativos, utilizando instrumentos estandarizados y validados, para el análisis de ligamiento en los estudios de genética del tda/h (Arcos-Burgos, 2004 b)

Por eso las escalas de dimensiones de la conducta de niños y de adolescentes se han convertido en los instrumentos de elección para detectar los rasgos sospechosos de trastornos del comportamiento, por su eficacia y efectividad en relación con otros métodos más costosos y que demandan mucho mayor tiempo en su aplicación. Estos cuestionarios son los instrumentos indicados en los estudios epidemiológicos y en los estudios de genética de rasgos cuantitativos; además de servir para el seguimiento de los pacientes en las muestras clínicas sometidas a tratamiento (Murphy, 1995; Reynolds & Kamphaus, 1992, 2002, 2004).

OBJETIVO

El objetivo de este estudio fue determinar la sensibilidad y especificidad de una lista de síntomas (checklist) de tda/h para el diagnóstico del trastorno, en una muestra de la población general y en la población de niños y adolescentes de 151 familias del aislado genético de la comunidad antioqueña.

HIPÓTESIS

Nuestra hipótesis es que el cuestionario de una lista de síntomas {checklist) de tda/h, basado en los síntomas del Criterio A del dsm iv (American Psychiatric Association, 1994, 2000) tiene buena sensibilidad y especificidad en una muestra de niños y adolescentes del proyecto cooperativo Fenotipo del trastorno de la atención y su comorbilidad en familias y en la población general de una comunidad antioqueña, financiado por colciencias (Código N° 115-04-12010).

METODOLOGÍA

Para desarrollar un estudio de observación, con diseño transversal para establecer la utilidad de una escala de diagnóstico, mediante la determinación de la sensibilidad y la especificidad en diversas puntuaciones de corte, se tomaron muestras de menores de 4 a 16 años y de ambos sexos de dos diferentes poblaciones. La primera muestra fue obtenida de la población general de estudiantes de colegios públicos y privados de Manizales. Tiene 378.887 habitantes, 178.480 (47%) hombres y 200.407 mujeres (53%). Aproximadamente un 45% de la población es menor de 18 años. Se eligieron 11 de los 53 colegios privados y 22 de las 182 escuelas públicas de Manizales. De manera aleatoria y proporcional se seleccionaron 342 estudiantes de estas escuelas, respetando la distribución de acuerdo con el número de estudiantes en cada una de ellas. En la Tabla 1 se resumen las características de esta muestra. De otro lado, se seleccionaron 367 niños y adolescentes de 4 a 16 años de 151 familias antioqueñas escogidas en el estudio cooperativo acerca de la genética de tda/h, el cual se viene desarrollando entre el Grupo de Neurociencias de Antioquia y el Grupo de Neuropsicología y Conducta, con el apoyo económico del Instituto Nacional de Salud de los Estados Unidos (nih) y el Instituto Colombiano de Ciencia y Tecnología (colciencias), bajo el título de Fenotipo del trastorno de la atención y su comorbilidad en familias y en la población general de una comunidad antioqueña. El estudio se ha desarrollado en la comunidad antioqueña porque hay datos que sugieren que esta población se configura como un aislado genético (Arcos-Burgos, et al, 2004 a, b). Para el presente artículo sólo se incluyeron 214 niños (58,3%), cuyos padres respondieron la lista de síntomas de manera completa. En la Tabla 2 se resumen las características de la segunda muestra.

La primera muestra fue clasificada en tres grupos, de acuerdo con el diagnóstico de Tda/h controles, combinados e inatentos, según los criterios del dsm iv (American Psychiatric Association, 1994, 2000), y se utilizó una entrevista estructurada abreviada, derivada de la entrevista estructurada psiquiátrica para niños [edna iv-pr] (Reich 2000), la cual fue aplicada a los padres por psicólogos entrenados.

La segunda muestra fue clasificada en dos grupos: afectados y no afectados de tda/h, según los criterios del dsm iv (American Psychiatric Association, 1994, 2000), y se utilizó la entrevista estructurada psiquiátrica para niños [edna iv-pr] (Reich 2000), la cual fue aplicada a los padres por neuropsicólogos o psiquiatras entrenados.

Instrumento

Lista de síntomas (checklist) de tda/h para contestar por los padres (Pineda et al., 1999a). Es una escala estandarizada que se basa en los 18 síntomas del Criterio A del dsm iv (American Psychiatric Association, 1994, 2000) para el diagnóstico de tda, la cual puede ser aplicada a los padres y a los maestros de los niños y adolescentes, y que tiene normas estandarizadas en niños y adolescentes colombianos (Pineda et al., 1999 c, Pineda, et al., 2003) [Ver anexo]

Procedimiento

Los padres de los menores de edad de ambas muestras fueron contactados, se les dio una explicación detallada de los objetivos de las investigaciones. Todos firmaron el consentimiento que fue aprobado por los comités de bioética de las instituciones participantes. Los niños y adolescentes dieron su asentimiento también, y firmaron el consentimiento conjuntamente con los padres. A los padres se les entregó el cuestionario de lista de síntomas para que lo llenaran. Este procedimiento fue independiente de las entrevistas estructuradas que se usaron para hacer la clasificación de los grupos.

Análisis estadístico

Los datos de los cuestionarios obtenidos en papel se introdujeron en una base de datos de Excel y fueron procesados usando el programa estadístico spss 13,0 para Windows. Se determinaron las frecuencias de las variables nominales y se hicieron cálculos descriptivos de promedios y de variabilidad de las variables de razón. Se compararon mediante un análisis no paramétrico univariado de varianza (anova) de Kruskall-Wallis y una U de Mann Whitney, para establecer diferencias de promedios, y se utilizó como nivel de significación estadística un valor de p < 0.05. Se hizo una curva roc para determinar la sensibilidad y la especificidad de las diversas puntuaciones de corte de la lista de síntomas de tda/h para clasificar los controles y los casos de tda/h en ambas muestras. Los resultados se presentan en tablas y gráficos.

RESULTADOS

La comparación de los tres grupos de la primera muestra mostró que las tres dimensiones (inatención, hiperactividad-impulsividad y puntuación total) de la lista de síntomas para tda/h producen diferencias significativas (p< 0,001) entre el grupo de controles y los dos grupos de tda/h. Se encontraron diferencias significativas para la dimensión de inatención entre los controles y los TDA tipo inatentos y entre los TDA tipo combinados, entre los dos grupos de TDA no hubo diferencias significativas; mientras que para la dimensión de hiperactividad-im-pulsividad y para el puntaje total de la escala en las comparaciones por pares los tres grupos mostraron diferencias significativas (ver Tabla 3).

Cuando se compararon los grupos de niños y adolescentes no afectados de tda/h de las familias antioqueñas también se encontró que el instrumento utilizado produce diferencias muy significativas (p< 0,001), con un menor número de síntomas de todas las dimensiones en el grupo de no afectados (ver Tabla 4).

En la figura 3 se observa la curva roc para las tres dimensiones de la lista de síntomas para clasificar los niños y adolescentes como controles o como Tda/h. Se aprecia que las dimensiones de inatención y la puntuación total tienen un área superior bajo la curva (0,88 y 0,86 respectivamente) que la dimensión de hiperactividad-impulsividad (0,76). Esto se explica porque las puntuaciones en hiperactividad de los niños y adolescentes predominantemente inatentos es más dispersa.

La curva roc de la Figura 2 para los niños y adolescentes pertenecientes a las 151 familias antioqueñas muestra que el área bajo la curva es muy similar para las tres dimensiones de la lista de síntomas: inatención (0,91), hiperactividad-impulsividad (0,87) y puntuación total (0,93)

La puntuación total muestra una mayor sensibilidad y especificidad (81,1) para clasificar a los controles y a los tda/h de la población general, con una puntuación de corte de 18,5 (ver Tabla 5). Mientras que las dimensiones de inatención y la puntuación total muestran sensibilidad y especificidad superiores al 84% para el diagnóstico de tda/h en la muestra de las familias antioqueñas.

DISCUSIÓN

El estudio actual encuentra que la lista de síntomas para el diagnóstico de tda/h puede establecer diferencias significativas, y crea tres grupos perfectamente diferenciados, cuando se analizan los distintos tipos de trastorno de atención/hiperactiva en la población general de niños y adolescentes, al compararlos con los controles. Estos hallazgos están de acuerdo con lo informado en investigaciones anteriores que usaron este mismo instrumento (Bebee, 2005; Cornejo et al., 2005; DuPaul, 1998; Pineda, Ardila & Roselli, 1999; Pineda et al, 1999 a; Pineda et al, 1999 c). Estas diferencias pueden variar dependiendo de si se usa la información de los padres, o de los maestros, o ambas, especialmente en lo que se refiere a la diferenciación entre los grupos de tda/h combinados e inatentos. Generalmente, los padres sobre estiman los síntomas de hiperactividad y no detectan los síntomas de inatención, mientras que los maestros detectan con más facilidad los síntomas de inatención (DuPaul et al., 1998; Pineda et al., 1999a). De otro lado, la escala de inatención establece diferencias más claras entre ambos grupos de tda/h y los controles, mientras que la escala de hiperactividad-impulsividad establece las diferencias entre los tda/h inatentos y los combinados (DuPaul, et al., 1998). Estos hallazgos coinciden con los datos de la presente investigación.

Cuando observamos el análisis del funcionamiento de este instrumento en los niños y adolescentes de familias antioqueñas incluidas en los estudios de genética del tda/h, se encuentra que la lista de síntomas de tda/h genera rasgos cuantitativos muy diferenciales entre los casos afectados y los miembros no afectados, especialmente la dimensión de inatención y la puntuación total. Esto es bastante semejante a lo que se observa en los estudios de población general (DuPaul, 1998, Cornejo et al., 1998). Esto permitiría suponer que los datos obtenidos de este instrumento podrían ser usados como características cuantificadas de la conducta en estudios de ligamiento con rasgos cuantitativos [Sigla en inglés: QTL] (Arcos-Burgos, et al., 2004a, b).

En la muestra de la población general se observa que la mejor sensibilidad y especificidad del cuestionario es mejor para la puntuación total que para las dimensiones de inatención e hiperactividad-impul-sividad. Esto se explica probablemente por la heterogeneidad de la conducta de la muestra elegida al azar. A pesar de esta limitación el manejo de diversos puntos de corte puede hacer el instrumento más sensible o menos específico (DuPaul, et al., 1998; Kurtzke, 1992, 1996), dependiendo de si desea estudiar pervalencias, incidencias o factores de riesgo asociados a las características de los síntomas (Dupaul et al., 1998; Pineda et al., 1999a), o si se desea hacer seguimiento de la severidad del trastorno durante los tratamientos (DuPaul, et al., 1998; Murphy, 1995; Reynolds & Kamphaus, 1992, 2002, 2004).

La sensibilidad y especificidad de las tres dimensiones es mejor en los niños y adolescentes provenientes de las familias antioqueñas. Esto podría explicarse por tratarse de una muestra por conveniencia, de miembros de familias extensas de un aislado genético, lo que permite obtener participantes con características más homogéneas, tanto en la sintomatología del trastorno como en la conducta normal (Arcos-Burgos, et al, 2004a, 2004b).

Limitaciones

Es necesario asumir limitaciones en la interpretación de los datos debido a la diferente forma de establecer el patrón de estándar de oro de diagnóstico en las dos muestras. Es claro que el diagnóstico en la muestra de familias fue más riguroso, y este sería otro elemento que garantiza un mayor grado de homogeneidad. Sin embargo, en la práctica diaria la situación de uso de instrumentos estandarizados se parece a la situación de heterogeneidad y de imprecisión del estudio de la población general. La otra limitación tiene que ver con que el diseño inicial de los estudios estaba dirigido el uno a validar de forma convergente varios instrumentos, y el segundo a obtener asociaciones genéticas con el diagnóstico de tda/h; es decir, la información obtenida con la lista de síntomas fue complementaria. Al igual que ha sido informado por DuPaul et al. (1998), los datos obtenidos de un sólo informante (en este caso los padres) pudieran generar sesgos hacia ciertos tipos de síntomas y se pudiera ignorar otros igual de importantes y perturbadores en otros ambientes.

Referencias

American Psychiatric Association (1994). Diagnostic and statistical manual of mental disorders. 4th edition. Washington: Authors

American Psychiatric Association (2000). Diagnostic and statistical manual of mental disorders. 4th edition – Text Revision, Washington: Authors

Arcos-Burgos, M., Castellanos, F. X., Konecki, D., Lopera, F., Pineda, D., Palacio, J. D., Rapoport, J. L., Berg, K., Bailey-Wilson, J ., & Muenke M.(2004a) Pedigree disequilibrium test (pdt) replicates association and linkage between DRD4 and ADHD in multigenerational and extended pedigrees from a genetic isolate. Molecular Psychiatry, 9, 252–259.

Arcos-Burgos, M., Castellanos, F. X., Pineda, D., Lopera, F., Palacio, J. D., Palacio, L. G., Rapoport, J. L., Berg, K., Bailey-Wilson, J. E., & Muenke M. (2004 b). Attention-Deficit/Hyperactivity Disorder in a Population Isolate: Linkage to Loci at 4q13.2, 5q33.3, 11q22, and 17p11. American Journal of Human Genetic, 75, 998–1014,

Barkley, R, A. (1998). Attention deficit hyperactivity disorder. A handbook for diagnosis and treatment. New York: The Guilford Press.

Beebe, D. W. (2005). The psychological evaluation of attention deficit hyperactivity disorder in school-aged children. A clinical approach based on recent practice guidelines. In D. Gozal & D. L. Molfese (Ed.) Attention deficit hyperactivity disorder. From genes to patients. (pp. 143-163). New Jersey: Human Press.

Cornejo, J. W., Osío, O., Sánchez, Y., Carrizosa, J., Sánchez, G., Grisales, H., Castillo-Parra, H., & Holguín, J. (2005). Prevalencia del trastorno por déficit de atención-hiperactividad en niños y adolescentes colombianos. Revista de Neurología 2005, 40: 716-22

DuPaul, G. J., Power, T. J., Anastopoulos, A. D., Reid, R. (1998). ADHD rating scale – IV. Checklist, norms, and clinical interpretation. New York: The Guilford Press.

Harris, J. C. (1995). Developmental Neuropsychiatry. Assessment, diagnosis, and treatment of developmental disorders. New York: Oxford University Press

Kamphaus, R. W., & Frick, P. J., (1996). Clinical assessment of child and adolescent personality and behavior. Needham Heights: Allyn & Bacon.

Kazdin, A. E. (1995). Conducts disorders in childhood and adolescence. Thousand Oaks: Sage.

Kirby, EA, & Grimley, LK (1992): Understanding and treating attention deficit disorder. NY, U.S.A. Pergamon Books.

Kutzke, J. F. (1996) An introduction to neuroepidemilogy. Neurologic Clinic, 14, 255 – 272.

Kurtzke,J. F. (1992) Neuroepidemiology. In R. J. Joint (Ed.) Clinical Neurology Vol4 (pp, 1–29). Philadelphia: Lippincott.

Lahey ,B. B., Aplegate, B., McBurnet, K., Biederman, J., Greenhill, L., Hynd, G. W., Barkley, R. A., Newcorn, J., Jensen, P., Richters, J., Garfinkel, B., Kerdyck, L., Frick, P. J., Ollendick, T., Perez, D., Hart, E. L., Waldam, I., & Shaffer, D. (1994). DSM IV field trials for attention -deficit hyperactivity disorder in children and adolescent. American Journal of Psychiatry, 151, 1673-1685.

Murphy J. M (1995). Diagnostic schedules and rating scales in adult psychyatry. In M. T., Tsuang, M., Tohen, & G. E. P., Zahner (Eds) Textbook in psychiatric epidemilogy (pp 253-271). New York: Wiley-Liss, Inc.

Palacio, J. D., Castellanos, F. X., Pineda, D. A., Lopera, F., Arcos-Burgos, M., Quiroz, Y. T., Henao, G. C., Puerta, I. C., Ramirez, D. L, Rapoport, J. L., Bailey-Wilson, J., Berg, K., & Muenke, M. (2004) Attention-Deficit/Hyperactivity Disorder and comorbidities in 18 Paisa Colombian multigenerational families. Journal of American Academy of Child and Adolescent Psychiatry, 43,1506–1515.

Pineda, D., & Rosselli, M. (1997). Hiperactividad y trastornos atencionales. En M. Rosselli, A. Ardila, D. Pineda, & F. Lopera (Eds.). Neuropsicología Infantil (pp. 253-278). Medellín: Prensa Creativa.

Pineda, D. A., Henao, G. C., Puerta, I. C., Mejía, S. E., Gómez, L. F., Miranda, M. L., Rosselli, M., Ardila, A., Restrepo, M. A. & Murrelle, L. (1999a). Uso de un cuestionario breve para el diagnóstico de deficiencia atencional. Revista de Neurología, 28, 365-372.

Pineda, D., Ardila, A. & Roselli, M. (1999 b). Neuropsychological and behavioral assessment of ADHD in 7 to 12 years-old children. A discriminant analysis. Journal of Learning Disabilities, 32, 159-173.

Pineda, D., Restrepo, M.A., Henao, G.C., Gutiérrez-Clellen, V., Sánchez, D. (1999). Comportamientos verbales diferentes en niños de 7 a 12 años con déficit de atención. Revista de Neurología, 29, 1117-1127.

Pineda, D. A., Rosselli, M., Henao, G. C. & Mejía, S. E. (2000). Neurobehavioral assessment of attention deficit hyperactivity disorder in a Colombian sample. Applied Neuropsychology, 7, 40-46.

Pineda, D., Ardila, A., Rosselli, M., Arias, B.E., Henao, G.C., Gómez, L.F., Mejía, S.E. & Miranda, M.L. (1999c). Prevalence of attention-deficit/ hyperactivity disorder symptoms in 4 to 17-years-old children in the general population. Journal of Abnormal Child Psychology, 27, 455-462.

Pineda, D. A., Lopera, F., Henao, G. C., Palacio, J. D. & Castellanos, F. X. (2001). Confirmación de la alta prevalencia del trastorno por déficit de atención en una comunidad colombiana. Revista de Neurología, 32, 217-222.

Pineda, D. A, Palacio, J. D., Ramírez, D., Henao, G. C. (2003). Prevalence estimation of attention-deficit/hyperactivity disorder: differential diagnoses and comorbidities in a colombian sample. International Journal of Neuroscience, 113:49–72

Reitman, D., Hummel, R., Franz, D. Z., & Gross A. M. (1998). A review of methods and instruments for assessing externalizing disorders: theoretical and practical consideration in rendering a diagnosis. Clinical Psychology Review, 18. 555-584.

Reynolds, C. R, & Kamphaus, R. W. (1992). Behavior Assessment System for children. Circle Pines: American Guidance Service, AGS.

Reynolds, C. R., & Kamphaus, R. W. (2002) The clinician’s guide to the behavior assessment system for children. New York: The Guilford Press

Reynolds, C. R., & Kamphaus, R. W. (2004) Behavior assessment system for children, 2ª edition (basc 2). Circle Pines: AGS Publishing.