Claudia Sofía Schnurbusch Gallardo** https://orcid.org/0000-0002-6133-4384

Natalia Suárez Yepes*** https://orcid.org/0000-0002-3934-6880

Daniela Ortiz Tejera* https://orcid.org/0000-0003-1290-5627

Carlos José De los Reyes Aragón* https://orcid.org/0000-0003-4472-0635

* Universidad del Norte, Barranquilla (Colombia) ** Universidad de Maimónides (Argentina) *** Universidad Autónoma del Caribe (Colombia)

Correspondencia: cdelosreyes@uninorte.edu.co

Fecha de recepción: 24 de abril de 2018
Fecha de aceptación: 24 de julio de 2018

Resumen

Las dificultades de aprendizaje constituyen una problemática frecuente en las escuelas. Aunque diversos instrumentos de evaluación neuropsicológica han sido creados, la mayoría se han desarrollado y estandarizado para población no colombiana, o no están diseñados para niños menores de seis años y no permiten relacionar claramente las habilidades académicas y los procesos cognitivos subyacentes a ellas. El objetivo de este estudio es construir los datos normativos de la batería ENLEF en población infantil colombiana a partir de la evaluación de la influencia de las variables sociodemográficas en el desempeño de la prueba. Participaron 516 niños y niñas escolarizados de entre cuatro y siete años, quienes fueron evaluados por psicólogos entrenados con la batería ENLEF. Los resultados mostraron una influencia de la edad y el estrato sobre el desempeño de los participantes en la mayoría de las pruebas. Sin embargo, en algunas pruebas de lenguaje y de lectura se observó solo una influencia del estrato socioeconómico. Los resultados del presente estudio permiten el uso de la ENLEF en la población infantil colombiana como una alternativa culturalmente contextualizada para la evaluación de funciones cognitivas y habilidades de lectoescritura. Además, se confirma la influencia de la edad y el nivel socioeconómico sobre el desarrollo cognitivo.

Palabras clave: evaluación neuropsicológica, dificultades de lectura, dificultades de escritura, estandarización de pruebas neuropsicológicas.

Abstract

Learning disabilities are a frequent problem identified at school. Although there are several neuropsychological tests available, most of them have been developed and standardized for non-Colombian population, haven't been designed for children below six years old, and don't allow to clearly relate academic skills with cognitive process. The aim of this study was to develop normative data for the ENLEF test for Colombian children, by assessing the influ-ence of sociodemographic characteristics on the test performance. Trained psychologists assessed 516 school-children aged from four to seven years using the ENLEF test. Results showed an influence of age and socioeconomic status on the participants' performance in most of the subtest. Nevertheless, in some language and reading subtests, only the influence of socioeconomic status showed an influence on the performance. These results allow the use of the ENLEF test for children in Colombia, as a culturally-contextualized option to as-sess cognitive functions and reading and writing skills. Furthermore, influence of age and socioeconomic status on cognitive development is also confirmed.

Keywords: neuropsychological assessment, reading difficulties, writing difficulties, neuro-psychological test standardization.

Citación/referenciación: Schnurbusch, C., Suárez, N., Ortiz, D. & De los Reyes, C. (2018). Datos normativos para la Batería de evaluación neuropsicológica de lectura, escritura y funciones cognitivas (ENLEF). Psicología Desde el Canbe, 3(35), 252-267.

INTRODUCCIÓN

Los trastornos de lectura y escritura son los trastornos de aprendizaje más comúnmente diagnosticados durante la infancia. Su prevalencia en el mundo oscila entre el 4 y el 9% (American Psychiatric Association, 2013). En Colombia, solo dos estudios reportan la prevalencia entre el 5,5% y el 3,3% (De los Reyes-Aragón et al., 2008; Roselli, Báteman, Guzmán, & Ardila, 1999). Estas dificultades tienen frecuentemente un alto impacto en el rendimiento académico (Hampton & Mason, 2003), el autoconcepto Polychroni, Koukoura, & Anagnostou, 2006), lasrelaciones sociales (European Scientific Institute., Zhilla, & Dervishi, 2015) y la salud mental (Nelson, Lindstrom, & Foels, 2015) de los niños que las presentan. Leer y escribir involucran un amplio rango de funciones cognitivas, entre las que se encuentran diversos aspectos como la atención, la percepción, la memoria y el lenguaje (Arán Filippetti, & López, 2016; Erdener, & Burnham, 2013; Kie-ffer, Vukovic, & Berry, 2013; Mcvay, & Kane, 2012). En razón, precisamente, a la pluralidad de procesos involucrados, las dificultades en la escritura o la lectura pueden deberse a diferentes déficits en una o varias funciones cognitivas. Si se tiene en cuenta que un principio básico de rehabilitación neuropsicológica es el entrenamiento específico de funciones (De los Reyes Aragón, Moreno, & Arango Lasprilla, 2011), en el tratamiento efectivo de las dificultades de lectura y escritura es necesario identificar primero cuáles son las funciones cognitivas subyacentes que se encuentran alteradas.

A pesar de que existen diversas opciones para la evaluación neuropsicológica de las habilidades cognitivas relacionadas con la lectoescritura, la mayoría de ellas están estandarizadas en Europa y Estados Unidos (Rosselli Cock et al., 2004). La aplicación de pruebas cuyas normas y paradigmas culturales son ajenos al contexto del evaluado afectan sus resultados, de modo que disminuyen la precisión en la valoración de las funciones cognitivas (Borsa, Damásio, & Bandeira, 2012). Por esta razón, es necesaria la creación o estandarización de evaluaciones que se adapten a la cultura y las características de diferentes poblaciones, en este caso, para Colombia y el resto de Latinoamérica.

Recientemente se han desarrollado diversas investigaciones en las que se han obtenido datos normativos para personas de seis a 17 años, en algunas de las pruebas neuropsicoló-gicas más utilizadas en Latinoamérica (Arango Lasprilla, Rivera, & Olabarrieta Landa, 2017), lo cual incluye pruebas de atención (Arango Lasprilla et al., 2017, c ; Rivera, Salinas, et al., 2017), memoria (Rivera, Olabarrieta Landa, et al., 2017); lenguaje (Olabarrieta Landa et al., 2017, a; Olabarrieta Landa et al., 2017, b; Olabarrieta Landa et al., 2017, c) funciones ejecutivas (Arango Lasprilla, Rivera, Nicholls, et al., 2017; Rivera, Morlett Paredes, et al., 2017) y praxiasrossel (Arango Lasprilla et al., 2017). De igual forma, en Colombia se han desarrollado datos normativos para la evaluación de niños con diversos tests neuropsicológicos (Arango Lasprilla et al., 2017, a; Arango Lasprila et al., 2017, b; Arango Lasprilla et al., 2017, c).

Por otra parte, la Evaluación neuropsicológica infantil (ENI) (Matute, Rosselli, & Ardila, 2007; Rosselli Cock et al., 2004), es otra de las pruebas adaptada para la población colombiana. La ENI está dirigida a niños y jóvenes entre los cinco y los 16 años, y es una de las más usadas tanto en la práctica como en la investigación (Rodríguez, & Sandoval, 2011; Vélez van-Meerbeke et al., 2013).

A pesar de que tanto la ENI como el resto de las pruebas que cuentan con datos normativos para población colombiana se utilizan con frecuencia, muy pocas se centran específicamente en la evaluación de los procesos cognitivos subyacentes a la lectura. Además, si se tiene en cuenta que las habilidades metalingüísticas fundamentales para el aprendizaje de un sistema escrito se desarrollan desde los cuatro años, aproximadamente (Fernández Cabezas, Ruiz Gallego, & Romero Mariscal, 2015; Mariángel, & Jiménez, 2016; Tunmer, & Herriman, 1984), el hecho de que no existan pruebas neuropsico-lógicas estandarizadas para niños menores de cinco años limita la posibilidad de identificar e intervenir de forma temprana. Diferentes teorías básicas de rehabilitación han demostrado que la identificación e intervención temprana y la estimulación individualizada son cruciales para que cualquier intervención tenga resultados exitosos en niños con trastornos del desarrollo (González, Cuetos, Vilar, & Uceira, 2015).

De acuerdo con lo anterior se desarrolló la Batería de evaluación neuropsicológica de lectura, escritura y funciones cognitivas (ENLEF), dirigida a niños de 4,5 a 7,11 años. Así, la ENLEF se diseñó con el propósito de evaluar diversas funciones cognitivas y relacionarlas con el desempeño de los niños en los procesos de lectura y escritura. Esta batería incluye, además, la evaluación de los signos neurológicos blandos, así como listas de chequeo para dificultades con-ductuales y emocionales para padres y maestros.

El objetivo de este estudio fue construir los datos normativos de la ENLEF para la población colombiana a partir de modelos lineales de regresión múltiple y la desviación estándar de los valores residuales de estos modelos, y evaluar la influencia de las variables sociodemográficas sobre el desempeño de los niños en la prueba.

MÉTODO Participantes

La muestra para el establecimiento de los datos normativos de la prueba ENLEF estuvo conformada por 516 niños (44,8%) y niñas (55,2%) escolarizados en colegios públicos y privados, residentes en los departamentos de Bolívar 30%) y Atlántico (70%). La edad promedio fue de 77,79 meses con una desviación estándar de 9,459. Se incluyeron niños de estrato socioeconómico alto (36,2%; promedio de edad en meses de 79,3), medio (21,7%; promedio de edad en meses de 73,9), y bajo (42,1%; promedio de edad en meses de 78,4). Los criterios de inclusión fueron: 1. Haber asentido a participar; 2. Contar con el consentimiento de sus padres; 3. No tener historial de trastornos específicos del aprendizaje, del desarrollo, ni ninguna alteración psiquiátrica o neurológica, verificado a través de la revisión de la historia clínica del participante y en la entrevista realizada por un evaluador experto.

Instrumento

La batería ENLEF evalúa las funciones cog-nitivas de atención, percepción, memoria y lenguaje, junto con los procesos de lectura y escritura por medio de subpruebas que evalúan distintos aspectos de estas funciones. Además, evalúa signos neurológicos y brinda un perfil cognitivo, conductual y emocional a través de listas de chequeo para que las contesten padres y docentes. La duración de la aplicación de la batería es de alrededor de tres a cuatro horas, y se debe realizar en al menos dos sesiones. Al ser una batería de evaluación neuropsicológica original, no hay estudios previos que evalúen sus propiedades psicométricas. En el Anexo A* se observa una descripción más detallada de las subpruebas.

Procedimiento

Posterior a la aprobación del Comité de Ética de la Universidad del Norte, los investigadores contactaron a diferentes colegios para participar del proyecto. En aquellos colegios que aceptaron participar del proyecto se realizaron reuniones informativas con los padres de familia, con el fin de que permitieran la participación de sus hijos en este. Luego, se realizaron entrevistas con los niños cuyos padres habían firmado el consentimiento informado para su participación en el estudio. A estos niños se les solicitó, además, su asentimiento. A continuación, psicólogos entrenados en la aplicación de la ENLEF aplicaron las pruebas a los niños participantes en consultorios adecuados para tal fin. De igual forma, entrevistaron a padres y maestros con el fin de obtener la información sociodemográfica de los participantes, así como para la evaluación del niño a través de las listas de chequeo.

Análisis estadísticos

Los datos normativos de cada una de las subpruebas de la ENLEF se generaron a partir de modelos lineales de regresión múltiple y la desviación estándar de los valores residuales de estos modelos (Guardia Olmos, Peró Cebollero, Rivera, & Arango Lasprilla, 2015; van der Elst, Dekker, Hurks, & Jolles, 2012), siguiendo un procedimiento de cinco pasos:

• Cálculo de un modelo de regresión lineal múltiple. Incluye como variables predictoras la edad, la edad², el sexo y el estrato, así como las interacciones de dos vías entre _t estas variables. La variable edad fue centralizada antes de calcular su valor cua-drático y sus interacciones, con el fin de evitar la multicolinearidad (Aiken, West, & Reno, 1991; Guardia Olmos et al., 2015; Kutner, Nachtsheim, Neter, & Li, 2005). La centralización se realizó restando la media muestral a la edad de los participantes (Edad - X ). El sexo se codificó como 1 para hombre, y 0 para mujer. De igual forma, se codificó la variable estrato como estrato bajo y medio, asignando valor de "1" si pertenece, y "0" si no pertenece. De esta forma, los niños pertenecientes a estrato bajo tendrían valor de "1" en estrato bajo, y "0" en estrato medio. Por su parte, los pertenecientes a estrato medio tendrían el valor "0" en estrato bajo, y "1" en estrato medio. Finalmente, los niños de estrato alto tendrían el valor de "0" tanto en estrato bajo como en medio. De acuerdo con el número de predic-tores de los modelos iniciales (13), se estableció un nivel de significancia de p < 0,005, a partir de la fórmula 0,05/13 ~ 0,005. Aquellas variables predictoras que no resultaron significativas fueron eliminadas jerárquicamente del modelo hasta obtener un modelo de regresión final para cada una de las subpruebas de la ENLEF. El modelo principal utilizado fue: yi= b0+ b1 •(Edad- Xmuestral) + b2 • Sexo + b3 • Estrato Bajo + b4 • Estrato Medio + bInteracciones• Interacciones donde b0 es la constante del modelo, bInteracciones los parámetros de cada una de las interacciones, y XInteracciones las interacciones de las variables predictivas.

Para cada uno de los modelos de regresión se evaluaron tres supuestos: 1. La multicolinealidad se evaluó con valores del factor de agrandamiento (FAV) menores a 10 y valores de tolerancia de colinealidad < 1 (Kutner et al., 2005); 2. La normalidad se evaluó con gráficos Q-Q, histogramas de los valores residuales y la prueba de Kolmogórov-Smirnov; y 3. La existencia de valores influyentes se definió con la distancia Cook, usando la distribución F(p,n-p), donde p es el número de variables pre-dictoras del modelo final (incluyendo la constante) y n el tamaño muestral. Se consideraron valores influyentes cuando el valor resultante de la distribución F alcanzaba valores percentiles superiores a 50 (Cook, 1977; Guardia Olmos et al., 2015; Kutner et al., 2005).

• Cálculo de los valores residuales. Se realiza a partir del modelo de regresión final e =y. - j. , donde y. es la puntuación obtenida por el participante yj su valor predictivo.

• Estandarización de los residuos. Este cálculo se realizó con la desviación estándar del residual (DE) ofrecida por el modelo, aplicando la fórmula: Z. = e. DE .

• Conversión de los valores residuales estandarizados apercentiles. En caso de que los valores residuales tuvieran una distribución normal, se calculó el percentil con la función de probabilidad acumulada de la distribución normal estándar; de lo contrario, el percentil se calculó por medio de la función de distribución empírica. En este último caso, el cálculo de la DE , se dividieron los valores residuales entre la desviación típica residual total, o del cuartil del valor predictor, en caso de heteroscedasticidad (Z. = e /DE y. Y

• Cálculo de los centiles 5, 10, 20, 30, 40, 50, 60, 70, 80, 90y 95. Para el cálculo de los percentiles se aplicó la fórmula (Z , • DE_e ) + j , donde Z_emül es la puntuación Z correspondiente a cada centil, DE_e es la desviación estándar residual, yj es el valor predictivo calculado a partir del modelo de regresión final.

Por último, en el análisis de confiabilidad de cada una de las listas de chequeo para padres y maestros se calculó el a de Cronbach asumiendo puntuaciones de >0,7 como nivel bueno y >0,8 como excelente (Field, 2013). En el Anexo B* se presentan las tablas con los modelos finales, así como las tablas de los datos normativos para la población colombiana de cada una de las subpruebas de la ENLEF.

RESULTADOS

En general, las variables que influyeron en el desempeño de los participantes en las pruebas atencionales fueron edad (a mayor edad, mejor desempeño), y estrato bajo (pertenecer a estrato bajo, peor desempeño). Los modelos finales de las pruebas de atención explicaron entre el 35,8% y el 6,6% de la varianza (tabla 1). No hubo influencia de los valores extremos.

Por su parte, en las pruebas de percepción, las variables que influyeron en el desempeño de los participantes fueron la edad y el estrato bajo. Los modelos finales explicaron entre el 21,6 y el 0,4 de la varianza (véase la tabla 2).

En cuanto a las pruebas de memoria, las variables que influyeron en el desempeño de los participantes fueron la edad y el estrato bajo. Los modelos finales explicaron entre el 29,4 y el 9,6 de la varianza (véase la tabla 3).

En las pruebas de lenguaje, en general, las variables que influyeron en el desempeño de los participantes fueron la edad y el estrato. Es decir, en esta función se observó una diferencia entre estratos alto, medio y bajo. Los modelos finales explicaron entre el 33,0 y el 8,4 de la varianza (véase la tabla 4).

De acuerdo con los resultados obtenidos en las pruebas que evalúan signos neurológicos blandos, la variable que influyó en el desempeño de los participantes fue la edad. El modelo final explicó el 7,2 de la varianza (véase la tabla 5).

En general, las variables que influyeron en el desempeño de los participantes en las pruebas de lectura fueron la edad y el estrato bajo. Los modelos finales explicaron entre el 24,7 y el 12,0 de la varianza (véase la tabla 6).

Niveles de confiabilidad de las listas de chequeo

Se realizaron análisis de confiabilidad de cada una de las listas de chequeo para padres y maestros. Los resultados mostraron niveles de

confiabilidad entre buenos y excelentes (Field, 2013), con coeficientes de a de Cronbach entre 0,850 y 0,963 tanto en las escalas de padres como en las de maestros (véase la tabla 8). Las listas de chequeo para maestros tuvieron, en promedio, una a de Cronbach más alta.

Las variables que influyeron en el desempeño de el estrato bajo y el sexo. Los modelos finales los participantes en las listas de chequeo fueron explicaron entre el 12,4 y el 4,2 de la varianza.

DISCUSIÓN

El objetivo de este estudio fue construir los datos normativos de la ENLEF para la población colombiana. Los resultados mostraron que la edad y el estrato fueron las variables que influyeron con mayor frecuencia en el desempeño de los niños en las diferentes subpruebas de la batería.

En general, los modelos de regresión final sugieren que, a mayor edad y estrato socioeconómico, mejor desempeño de los niños. Estos resultados son consistentes con los obtenidos por niños en diversas pruebas neuropsicológicas (Acosta Barreto et al., 2017; Arango Lasprilla et al., 2017; Calderón Chagualá et al., 2017; De los Reyes Aragón et al., 2017), quienes comprobaron que la edad y las variables relacionadas con el nivel socioeconómico eran predictores del rendimiento de niños colombianos en pruebas neuropsicológicas. Además, el resultado de los modelos de la prueba de vocabulario de la EN-LEF son también similares a los encontrados en la estandarización del Test de Vocabulario de Peabody para niños colombianos (Beltrán Dulcey et al., 2017). En ambos casos, variables relacionadas con el estrato socioeconómico fueron las que mejor predecían el desempeño de los participantes, incluso más que la edad.

A pesar de estos resultados similares, una diferencia con los estudios previos de Arango Lasprilla, J. C., Rivera, D., & Olabarrieta Landa, L. (2017) están relacionados con la manera en que el desempeño se ve influido por la edad. En la ENLEF, la edad muestra una función lineal, lo que sugiere un crecimiento constante de las habilidades de atención, lenguaje y memoria. Por su parte, en los estudios realizados por Arango Lasprilla, J. C., Rivera, D., & Olabarrieta Landa, L. (2017), la edad muestra un comportamiento cuadrático, lo que indica que a partir de ciertas edades la tasa de crecimiento aumenta o disminuye. Estas diferencias están relacionadas con el rango de las edades de los dos estudios. En la estandarización de la ENLEF, el rango es menor que en los estudios de Arango Lasprilla, J. C., Rivera, D., & Olabarrieta Landa, L. (2017), por lo que en este último es más probable que los procesos cognitivos se estabilicen con la edad.

Los resultados de esta investigación deben considerarse de acuerdo con algunas limitaciones. En primer lugar, la muestra no fue aleatorizada y provino solo de dos ciudades de la región Caribe, por lo que la generalización se encuentra limitada a esta región geográfica. Futuros estudios deben realizarse con poblaciones de diferentes regiones del Colombia y considerar una selección de la muestra aleatorizada. Por otra parte, en el presente estudio no se tuvo en cuenta el nivel educativo de los padres. Estudios previos han demostrado la influencia de esta variable sobre el desempeño de los niños en pruebas neuropsicológicas. Aunque en este estudio la variable estrato socioeconómico estaría probablemente relacionada con el nivel educativo en la mayoría de los casos, es probable que en algunos no coincida. Finalmente, es importante el desarrollo de estudios con el fin de determinar algunas características psicométricas de la ENLEF, lo que incluye su sensibilidad para la detección de dificultades específicas del aprendizaje.

A pesar de estas limitaciones, los resultados de esta investigación tienen importantes alcances desde el punto de vista teórico y clínico-educativo. En primer lugar, los resultados confirman la influencia de diferentes variables contextuales sobre el desarrollo, especialmente aquellas relacionadas con las características socioeconómicas. Además, muestra la interacción de estas variables con la edad, tal como otros estudios realizados en el Caribe colombiano (De los Reyes-Aragon et al., 2016). Por otra parte, los resultados de este estudio se constituyen en una herramienta muy útil para la práctica clínica y educativa de la neuropsicología en Colombia, no solo porque facilita la detección temprana de dificultades en la lectoescritura, sino que además ayuda al establecimiento del perfil específico de las dificultades, lo cual permite una intervención precoz y más precisa.

En resumen, los resultados del presente estudio permiten el uso de la ENLEF en la población infantil como una alternativa culturalmente contextualizada para la evaluación de funciones cognitivas y habilidades de lectoescritura. Además, confirma la influencia de la edad y el nivel socioeconómico sobre el desarrollo de las funciones y habilidades evaluadas.

REFERENCIAS

Acosta Barreto, M. R., Cadavid Ruíz, N., Rivera, D., Trujillo Trujillo, C. C., Ramos Usuga, D., Res-trepo Botero, J. C., ... & Arango Lasprilla, J. C. (2017). Datos normativos para el Trail Making Test (TMT) en población de 6 a 14 años de edad en Colombia. En J. C. Arango Lasprilla, D. Rivera, & L. Olabarrieta Landa (Eds.), Neuropsicología Infantil (pp. 235-242).

Aiken, L. S., West, S. G., & Reno, R. R. (1991). Multiple regression: testing and interpreting interactions. California, EE.UU.: Sage Publications.

American Psychiatric Association. (2013). Diagnostic and statistical manual of mental disorders. Arlington. doi: https://doi.org/10.1176/appi.books.9780890425596.744053

Arán Filippetti, V., & López, M. B. (2016). Predictores de la comprensión lectora en niños y adolescentes: el papel de la edad, el sexo y las funciones ejecutivas. Cuadernos de Neuropsicología, 10(1), 23-45. doi: https://doi.org/10.7714/CNPS/10.1.202

Arango Lasprilla, J. C., Rivera, D., Ertl, M. M., Muñoz Mancilla, J. M., García Guerrero, C. E., Rodriguez Irizarry, W., … & Ferrer Cascales, R. (2017), a. Rey–Osterrieth Complex Figure- copy and immediate recall (3 minutes): Normative data for Spanish-speaking pediatric populations. NeuroRehabilitation, 41(3), 593-603. doi: https://doi.org/10.3233/NRE-172241

Arango Lasprilla, J. C., Rivera, D., Nicholls, E., Aguayo Arelis, A., García de la Cadena, C., Peñalver Guia, A. I., … & Sánchez-SanSegundo, M. (2017), b. Modified Wisconsin Card Sorting Test (M-WCST): Normative data for Spanish-speaking pediatric population. NeuroRehabilitation, 41(3), 617-626. doi: https://doi.org/10.3233/NRE-172242

Arango Lasprilla, J. C., Rivera, D., & Olabarrieta Landa, L. (2017). Neuropsicología infantil.

Arango Lasprilla, J. C., Rivera, D., Ramos Usuga, D., Vergara Moragues, E., Montero López, E., Adana Díaz, L. A., … & Ferrer Cascales, R. 2017), c. Trail Making Test: Normative data for the Latin American Spanish-speaking pediatric population. NeuroRehabilitation, 41(3), 627–637. https://doi.org/10.3233/NRE-172247

Beltrán Dulcey, C., Riaño Garzón, M. E., Quiroz Molinares, N., Rivera, D., Calderón ChaguaChagualá, J. A., Trujillo Trujillo, C. C., … & Arango Lasprilla, J. C. (2017). Datos normativos para el Test de Vocabulario en Imagenes Peabody III en población colombiana de 6 a 17 años de edad. En J. C. Arango Lasprilla, D. Rivera, & L. Olabarrieta-Landa (Eds.), Neuropsicología Infantil (pp. 305-315). Mexico, D. F.: Manual Moderno.

Borsa, J. C., Damásio, B., & Bandeira, D. (2012). Cross-cultural adaptation and validation of psychological instruments: Some considerations. Paidéia, 22(53), 423-432. doi: https://doi.org/10.1590/1982-43272253201314

Calderón Chagualá, J. A., Rivera, D., Díaz Camargo, E. A., Lozano Plazas, J. E., De los Reyes Aragón, C. J., Cadavid Ruíz, N., … & Arango Lasprilla, J. C. (2017). Datos normativos para el Trail Maiking Test (TMT) en población de 6 a 14 años de edad en Colombia. En J. C. Arango Lasprilla, D. Rivera, & L. Olabarrieta Landa (Eds.), Neuropsicología Infantil (p. 351). Mexico, D. F.: Manual Moderno.

Cook, R. D. (1977). Detection of influential observation in linear regression. Technometrics, 19(1), 15-18. doi: https://doi.org/10.1080/00401706.1977.10489493

De los Reyes-Aragón, C., Lewis, S., Mendoza, C., Neira, D., León, A., & Peña, D. (2008). Estudio de prevalencia de dificultades de lectura en niños escolarizados de 7 años de Barranquilla (Colombia). Psicología Desde El Caribe, (22), 37-49.

De los Reyes-Aragon, C. J., Amar Amar, J., De Castro Correa, A., Lewis Harb, S., Madariaga, C., & Abello Llanos, R. (2016). The care and development of children living in contexts of poverty. Journal of Child and Family Studies, 25(12), 3637-3643. doi: https://doi.org/10.1007/s10826-016-0514-6

De los Reyes Aragón, C. J., Moreno, A., & Arango Lasprilla, J. C. (2011). Introducción a la rehabilitación neuropsicológica. En R. Ramos (Ed.), Guía Básica en Neurociencias (pp. 379-405). Guadalajara, México: Universidad de Guadalajara.

De los Reyes Aragón, C., Rivera, D., Ibañez, A., Riaño, M., Posada, J., Cetina, M., … & Arango Lasprilla, J. (2017). Datos normativos para el Token Test en población de 6 a 17 años de edad en Colombia. In J. C. Arango Lasprilla, D. Rivera, & L. Olabarrieta-Landa (Eds.), Neuropsicología Infantil (pp. 325-340). Mexico, D.F.: Manual Moderno.

Van der Elst, W., Dekker, S., Hurks, P., & Jolles, J. (2012). The letter digit substitution test: demographic influences and regression-based normative data for school-aged children. Archives of Clinical Neuropsychology, 27(4), 433-439. doi:https://doi.org/10.1093/arclin/acs045

Erdener, D., & Burnham, D. (2013). The relationship between auditory-visual speech perception and language-specific speech perception at the onset of reading instruction in English-speaking children. Journal of Experimental Child Psychology, 116(2), 120-138. doi: https://doi.org/10.1016/j.jecp.2013.03.003

European Scientific Institute., A., Zhilla, E., & Dervishi, E. (2015). European Scientific Journal. European Scientific Journal, ESJ (Vol. 11). European Scientific Institute. Recuperado de https://eujournal.org/index.php/esj/article/view/5808

Fernández Cabezas, M., Ruiz Gallego, M. C., & Romero Mariscal, E. (2015). Desarrollo de la consciencia metalingüística y enseñanza-aprendizaje de la lectura en educación infantil: aportaciones de un estudio experimental. Investigación en la Escuela, (87), 105-116.

Field, A. (2013). Discovering statistics using SPSS (4a ed.). Londres: Sage.

González, R. M., Cuetos, F., Vilar, J., & Uceira, E.(2015). Efectos de la intervención en conciencia fonológica y velocidad de denominación sobre el aprendizaje de la escritura. Aula Abierta, 43(1), 1-8. doi: https://doi.org/10.1016/j.aula.2014.06.001

Guàrdia Olmos, J., Peró Cebollero, M., Rivera, D., & Arango Lasprilla, J. C. (2015). Methodology for the development of normative data for ten Spanish-language neuropsychological tests in eleven Latin American countries. NeuroRehabilitation, 37(4), 493-499. doi: https://doi.org/10.3233/NRE-151277

Hampton, N. Z., & Mason, E. (2003). Learning disabilities, gender, sources of efficacy, selfefficacy beliefs, and academic achievement in high school students. Journal of School Psychology, 41(2), 101-112. doi: https://doi.org/10.1016/S0022-4405(03)00028-1

Kieffer, M. J., Vukovic, R. K., & Berry, D. (2013). Roles of attention shifting and inhibitory control in fourth-grade reading comprehension. Reading Research Quarterly, 48(4), 333-348. doi: https://doi.org/10.1002/rrq.54

Kutner, M. H., Nachtsheim, C., Neter, J., & Li, W. (2005). Applied linear statistical models (5a ed.). Boston, MA: McGraw-Hill.

Mariángel, S. V., & Jiménez, J. E. (2016). Desarrollo de la conciencia sintáctica y fonológica en niños chilenos: un estudio transversal. Revista Latinoamericana de Psicología, 48(1), 1-7. doi: https://doi.org/10.1016/j.rlp.2015.09.010

Matute, E., Rosselli, M., & Ardila, A. (2007). Evaluación neuropsicológica infantil. México: Manual Moderno.

Mcvay, J. C., & Kane, M. J. (2012). Why does working memory capacity predict variation in reading comprehension? On the influence of mind wandering and executive function. Journal of Experimental Psychology: General, 141(2), 302-320.doi: https://doi.org/10.1037/a0025250.Why

Nelson, J. M., Lindstrom, W., & Foels, P. A. (2015). Test anxiety among college students with specific reading disability (dyslexia). Journal of Learning Disabilities, 48(4), 422-432. doi: https://doi.org/10.1177/0022219413507604

Olabarrieta Landa, L., Rivera, D., Ibáñez Alfonso, J. A., Albaladejo Blázquez, N., Martín Lobo, P., Delgado Mejía, I. D., … & Arango Lasprilla, J. C. (2017), a. Peabody Picture Vocabulary Test-III: Normative data for Spanish-speaking pediatric population. NeuroRehabilitation, 41(3), 687-694. doi: https://doi.org/10.3233/NRE-172239

Olabarrieta Landa, L., Rivera, D., Lara, L., Rute Pérez, S., Rodríguez Lorenzana, A., Galarza del Angel, J., … Arango Lasprilla, J. C. (2017), b. Verbal fluency tests: normative data for Spanish-speaking pediatric population. Neuro-Rehabilitation, 41(3), 673-686. doi: doi: https://doi.org/10.3233/NRE-172240

Olabarrieta Landa, L., Rivera, D., Rodríguez Lorenzana, A., Pohlenz Amador, S., García Guerrero, C. E., Padilla López, A., … & Arango Lasprilla, J. C. (2017), c. Shortened version of the token test: Normative data for Spanish-speaking pediatric population. NeuroRehabilitation, 41(3), 649-659. doi: https://doi.org/10.3233/NRE-172244

Polychroni, F., Koukoura, K., & Anagnostou, I. (2006). Academic self concept, reading attitudes and approaches to learning of children with dyslexia: do they differ from their peers? European Journal of Special Needs Education, 21(4), 415-430. doi: https://doi.org/10.1080/08856250600956311

Rivera, D., Morlett Paredes, A., Peñalver Guia, A. I., Irías Escher, M. J., Soto Añari, M., Aguayo Arelis, A., … & Arango Lasprilla, J. C. (2017). Stroop Color-Word Interference Test: Normative data for Spanish-speaking pediatric population. NeuroRehabilitation, 41(3), 605-616. doi: https://doi.org/10.3233/NRE-172246

Rivera, D., Olabarrieta Landa, L., Rabago Barajas, B. V., Irías Escher, M. J., Saracostti Schwartzman, M., Ferrer Cascales, R., … & Arango Lasprilla, J. C. (2017). Newly developed Learning and Verbal Memory Test (TAMV-I): normative data for Spanish-speaking pediatric population. NeuroRehabilitation, 41(3), 695-706. doi: https://doi.org/10.3233/NRE-172249

Rivera, D., Salinas, C., Ramos Usuga, D., Delgado Mejía, I. D., Vasallo Key, Y., Hernández Agurcia, G. P., … Arango Lasprilla, J. C. (2017). Concentration Endurance Test (d2): normative data for Spanish-speaking pediatric population. NeuroRehabilitation, 41(3), 661-671. doi: https://doi.org/10.3233/NRE-172248

Rodríguez, G., & Sandoval, M. (2011). Rodríguez, G., & Sandoval, M. (2011). Consumo de videojuegos y juegos para computador: influencias sobre la atención, la memoria, el rendimiento académico y los problemas de conducta. Suma Psicológica, 18(2), 99-110.

Roselli, M., Báteman, J., Guzmán, M., & Ardila, A. (1999). Frecuencia y características de los problemas específicos en el aprendizaje en una muestra escolar aleatoria. Revista de Neuropsicología, Neuropsiquiatría y Neurociencias, 1(2), 128-138.

Rosselli Cock, M., Matute Villaseñor, E., Ardila Ardila, A., Botero Gómez, V. E., Tangarife Salazar, G. A., Echeverría Pulido, S. E., … & Ocampo Agudelo, P. (2004). Evaluación neuropsicológica infantil (ENI): Una batería para la evaluación de niños entre 5 y 16 años de edad. Estudio normativo colombiano. Revista de Neurología, 38(8), 720-731.

Tunmer, W. E., & Herriman, M. L. (1984). The development of metalinguistic awareness: a conceptual overview. En W. E. Tunmer, C. Pratt, & M. L. Herriman (Eds.), Metalinguistic awareness in children (pp. 12-35). Springer-Verlag Berlin Heidelberg.

Vélez van-Meerbeke, A., Zamora, I. P., Guzmán, G., Figueroa, B., López Cabra, C. A., & Talero Gutiérrez, C. (2013). Evaluación de la función ejecutiva en una población escolar con síntomas de déficit de atención e hiperactividad. Neurología, 28(6), 348-355. doi: https://doi.org/10.1016/j.nrl.2012.06.011