ISSN Electronico 2011—7485
ISSN Impreso 0123—417X
Volumen 34, n.°3, septiembre — diciembre 2017
Fecha de recepción: 24 de abril de 2015
FFecha de aceptación: 6 de marzo de 2017
DOI: http://dx.doi.org/10.14482/psdc.34.3.11140


Análisis psicométrico del Connor—Davidson Resilience Scale (CD—RISC io) en población universitaria colombiana

Psychometric analysis of the Connor—Davidson Resilience Sacle (cd—risc 10) in college students in Colombia

Fernando Riveros Munévar, M.S. *
Liliana Bernal Vargas, M.S. **
Daniela Bohórquez Borda, M.S. ***
Stefano Vinaccia Alpi, Ph.D. ****
Japcy Margarita Quiceno, Ph.D. *****

* Universidad de San Buenaventura, Bogotá (Colombia)

** Universidad Cooperativa de Colombia, Villavicencio (Colombia)

*** Universidad El Bosque, Bogotá (Colombia)

**** Universidad del Sinú, Montería (Colombia)

***** Universidad de Medellín (Colombia)

Correspondencia: Carrera 8H n° 172 — 20, efriveros45@hotmail.com


Resumen

Este estudio tuvo como objetivo analizar las propiedades psicométricas de la versión en español del cuestionario Connor—Davidson Resilience Scale (CD—RISC 10) en población colombiana. La muestra estuvo conformada por 265 estudiantes universitarios de Bogotá y Villavicencio. El análisis factorial exploratorio denota un solo factor, resiliencia, que explica el 41,139 % del total de la varianza acumulada, modelo verificado con el análisis factorial confirmatorio, y un alfa de Cronbach de 0,838. Los resultados muestran una alta confiabilidad y concordancia en la estructura factorial con la versión original, lo cual implica adecuada validez de la prueba en población colombiana. Palabras clave: Resiliencia, CD—RISC10, estudiantes universitarios.


Abstract

The present study aimed to determine the psychometric characteristics of the Spanish version of the Connor—Davidson Resilience Scale (CD—RISC 10) in Colombian population. A total of 265 university students participated at the cities of Bogota and Villavicencio. Exploratory factor analysis indicates resilience as a single factor; we verified the model with confirmatory factor analysis, and a Cronbach's alpha of 0.838. The results show high reliability and factor structure in accordance with the original version, which implies adequate validity of this scale in Colombian population.

Keywords: Resilience, CD—RISC 10, college students.

Citación/referenciación: Andrés, M., Castañeiras, C., Stelzer, F., Canet Juric, L., & Introzzi, I. (2016). Funciones Ejecutivas y Regulación de la Emoción: evidencia de su relación en niños. Psicología Desde el Caribe, 2(33), 169—189. DOI: http://dx.doi.org/10.14482/psdc.33.2.7278


INTRODUCCIÓN

El constructo resiliencia tiene como punto de partida el reconocimiento de la gran heterogeneidad que existe en las respuestas de las personas frente a diferentes formas de adversidad. La resiliencia es un constructo basado en la evidencia de que algunas personas más que otras tienen la capacidad de sobrellevar la adversidad (Rutter, 1986, 1993, 2006, 2007).

En un principio la resiliencia se centró en las conductas individuales de superación que parecían más anecdóticas y en el estudio evolutivo de niños que habían vivido en condiciones de vulnerabilidad. Entre los primeros trabajos científicos que promovieron el establecimiento de la resiliencia fue el estudio longitudinal por 30 años (el estudio empezó en 1942) desarrollado por las psicólogas Werner y Smith (1982) en una cohorte de 698 niños nacidos en Hawái que estaban en condiciones desfavorables. Pasados los 30 años, un 80 % de estos niños habían tenido un desarrollo evolutivo estable y sano, siendo adultos integrados y funcionales (Luthar, Chichetti & Becker 2000; Sapienza & Masten, 2011). Más adelante aparecieron los estudios con niños que tenían madres con diagnóstico de esquizofrenia, cuyas hipótesis afirmaban que estos niños no podían tener un cuidado favorable en comparación con los niños que tenían padres sanos, lo cual era desfavorable para su desarrollo, pero se encontró que no todos los niños con padres con esquizofrenia o con alguna enfermedad eran afectados ni académica ni emocionalmente y podrían incluso ser competentes (Luthar et al., 2000).

La resiliencia es un constructo bastante amplio y existen diferentes definiciones, pero todas ellas se enfocan en la capacidad de adaptación y de salir adelante ante la adversidad. Garmezy (1991) la define como la capacidad para recuperarse y mantener los comportamientos adaptables después del maltrato; para Wagnild y Young (1993), es la habilidad de poder cambiar las desgracias con éxito, y para Bonanno (2004) es la capacidad de adultos expuestos a un evento especialmente traumático como la muerte de un pariente o un acontecimiento violento y/o peligroso para la vida de ellos, en personas que habían desarrollado hasta ese momento vidas normales, de mantener niveles estables de funcionamiento físico y psicológico y la capacidad de generar experiencias y emociones positivas.

A finales de los años 90 los estudios sobre resi—liencia se habían focalizado en muestras pobla—cionales de niños y adolescentes en estados de crisis y dificultades de diferentes índoles, pero además los estudios paulatinamente se fueron centrando en muestras poblacionales de adultos en condiciones de maltrato, extrema pobreza, sobrevivientes de terrorismo y desastres naturales, en personas con trastornos mentales, en adictos a sustancias psicoactivas, en veteranos de la guerra, personas de la tercera edad y cuidadores de enfermos crónicos (Quiceno & Vinaccia, 2011).

En relación con la forma de medir la resiliencia, Ahern, Kiehl, Sole y Byers (2006) y Windle, Bennett y Noyes (2011) desarrollaron revisiones sobre los principales instrumentos y plantearon que las escalas de resiliencia (RS) de Wagnild y Young (1993) y de resiliencia (CD—RISC) de Connor—Davidson (2003) eran la más utilizadas en poblaciones adultas. Al respecto, la escala de resiliencia CD—RISC fue desarrollada por Connor—Davidson (2003) sobre la base de trabajos previos de Kobasa (1979), Rutter (1986) y Lyons (1991), definiéndola como la "la capacidad personal que protege de las situaciones estresantes" (p.77).

Respecto al CD—RISC se han desarrollado 3 versiones: la versión original de 25 ítems (Connor—Davidson, 2003), la versión de 10 ítems de Campbell—Sills y Stein (2007) y la versión de 2 ítems de Vaishnavi, Connor y Davidson (2007). En cuanto a las dimensiones de cada una de estas escalas, los autores de la escala original Connor—Davidson (2003) refieren a 5 dimensiones: competencia personal, tolerancia al afecto negativo, aceptación positiva del cambio, control e influencias espirituales, mientras los autores de la escala de 10 ítems (Campbell—Sills y Stein, 2007) y la de dos ítems (Vaishnavi et al., 2007) concluyeron que las dos escalas eran unidimensionales. De esta escala se han realizado diferentes validaciones españolas tanto en la versión de 25 ítems como la de 10 ítems.

El primer estudio de validación lo desarrollaron Meneses de Lucena, Hernandez, Fernandes Ramos y Contador (2006) con una muestra de cuidadores formales de ancianos (n=166), quienes encontraron en la escala CD—RISC 25 una estructura factorial de tres factores (competencia personal, capacidad de acción y espiritualidad), con una consistencia interna elevada (a=0.89). Posteriormente Serrano, Garrido, Notario, Bartolomé, Solera, y Martínez (2012) desarrollaron una investigación para evaluar las características psicométricas de la versión española del CD—RISC 25 en una muestra de personas mayores no institucionalizadas y comparar su estructura factorial con la escala original; se obtuvo una escala final de 17 ítems y 3 dimensiones (tenacidad y autoeficacia, control personal y competencia social) con alfas de Cronbach entre .56 y .76. Luego, Manzano y Ayala (2013) con una muestra de 900 emprendedores encontraron que el 50 % de la varianza de la escala estaba explicada por 3 dimensiones originales del CD—RISC 25 (competencia personal, tolerancia de afecto negativo y aceptación positiva del cambio) con un alfa de Cronbach de 0,83 y 0,87. Por otro lado, Crespo, Fernandez—Lansac y Soberon (2014) evaluaron psicométricamente el CD—RISC—25 en situaciones de estrés crónico, con 111 cuidadores españoles familiares de personas mayores dependientes; la escala final queda de 21 ítems y 3 dimensiones: afrontamiento y persistencia ante situaciones de estrés, capacidad de superación y logro de objetivos, con alfas de Cronbach entre 0,76 y 0,86. Finalmente, Ponce (2015) desarrolló el análisis estructural de ecuaciones estructurales sobre la versión de la escala de 25 ítems con muestras de Chile (n=376) y España (n=300). La escala presentó un grado de unidimensionalidad elevado, donde las facetas específicas apenas portaron información no redundante más allá del factor general y con un alfa de Cronbach de 0,94. A la par Arias, Crespo, Arias, Martínez y Ponce (2015) con una muestra no clínica de 444 adultos españoles evaluaron la escala CD—RISC25 a través de un análisis de Rasch—Andrich con el fin de aclarar su estructura y analizar sus características psi—cométricas, planteando una escala final de 22 ítems y una estructura unidimensional con un alfa de Cronbach de 0,91.

En relación con el CD—RSC10, que es la versión más utilizada a nivel mundial, Notario et al. (2011) realizaron un estudio con 681 estudiantes universitarios y obtuvieron una escala unidimensional, con alfa de Cronbach entre 0,85. De otro lado, Serrano et al. (2013) en una muestra de 500 adultos mayores encontraron una escala multidimensional en el CD—RISC 10 y un alfa de Cronbach de 0,81. Además, Notario et al. (2014) desarrollaron la validación del CD—RISC 10 con una muestra de 208 pacientes de fibromialgia y encontraron una escala unidimensional y un alfa de Cronbach de 0,88. Más recientemente Soler, Mesaguer de Pedro y García (2015) desarrollaran una investigación para medir las propiedades psicométricas del CD—RISC 10 en dos muestras de trabajadores españoles, una de 386 trabajadores y la segunda de 238 trabajadores pertenecientes a empresas de distintos sectores socioeconómicos y diferentes ocupaciones, encontraron una escala unidimensional con un alfa de Cronbach de 0,87. Por último, Riveros, Bernal, Bohórquez, Vinaccia y Quiceno (2016) con una muestra de 52 pacientes con diagnóstico de enfermedad crónica en Colombia, encontraron en el análisis Factorial del CD—RISC 10 un solo factor (resi—liencia) y un alfa de Cronbach de 0,818.

Esto plantea que con relación al CD—RISC 10 todos los estudios psicométricos españoles encontraron una escala unidimensional como la del estudio original de Campbell—Sills y Stein (2007) véase Notario et al. (2011), Serrano et al. (2013), Notario et al. (2014) y Soler et al. (2015). En Colombia el único estudio psicométrico realizado por Riveros et al. (2016) con el CD—RISC 10, encontraron una escala unidimensional, pero el reducido tamaño de la muestra (n=52) y el que sean de pacientes enfermos crónicos amerita evaluar su funcionalidad. Es, por tanto, que el objetivo de este trabajo fue evaluar la estructura factorial y los índices de confiabilidad del cuestionario CD—RISC 10 en una muestra de estudiantes universitarios colombianos.

MÉTODO Diseño

Este fue un estudio de corte transversal, de alcance descriptivo y de tipo instrumental (Montero y León, 2002).

Participantes

265 estudiantes universitarios, comprendidos entre 19 y 42 años de edad (media = 22,30; d. e. = 3,82), siendo 64 hombres (media=22,09; d.e. = 3,43) y 201 mujeres (media=22,38; d.e.=3,99), pertenecientes a 3 instituciones educativas privadas de Bogotá (165 participantes) y Villavicencio (100 participantes).

Instrumento

El Connor—Davidson Resilience Scale (CD—RISC 10), desarrollada originalmente por Campbell y Stein (2007), es una escala que consta de 10 ítems en formato tipo Likert con 5 opciones de respuesta, de 0 a 4 puntos según corresponda. Para este estudio se utilizó la versión adaptada al español por Notario et al. (2011).

Procedimiento

Antes de iniciar la fase de campo de la investigación que implicaba la aplicación del cuestionario CD—RISC 10 se llevó a cabo la evaluación cultural del instrumento según los criterios de Alexandre y Guirardello (2002). El trabajo de adaptación cultural consistió en la aplicación del cuestionario CD—RISC 10 a un grupo de 10 estudiantes universitarios de ambos sexos. Luego de responder los cuestionarios, los estudiantes fueron entrevistados para identificar palabras o preguntas de difícil comprensión, evaluar la aceptabilidad y hacer comentarios sobre estos de una forma general. Igualmente, se registró el tiempo necesario para completar el cuestionario y la comprensión respectiva en el sistema de respuesta de cada ítem de los cuestionarios. No se presentaron dificultades que ameritaran cambios, los pacientes reportaron entendimiento y comprensión de los ítems en todos los instrumentos psicométricos evaluados. Posterior a la firma del consentimiento informado se procedió a realizar las aplicaciones de la escala en los participantes.

Análisis estadístico

Los datos obtenidos se analizaron por medio del paquete estadístico SPSS versión 24. Se llevaron a cabo análisis de tamaño de la muestra, análisis factoriales exploratorios, de confiabilidad y consistencia interna, y con el software Amos para efectuar el análisis factorial confirmatorio.

Con el fin de determinar la efectividad de un posible análisis factorial se sometieron los datos a un análisis estadístico por medio del índice de Káiser — Meyer — Olkin (KMO) y la prueba de esfericidad de Bartlett.

RESULTADOS

Inicialmente presentamos el índice de Káiser —Meyer — Olkin (KMO) y la prueba de esfericidad de Bartlett (tabla 1).

Al revisar los datos obtenidos en la tabla 1 (KMO = 0,855; Bartlett p = 0,000) se evidencia que con las aplicaciones realizadas es viable dicho análisis factorial, el cual realizamos por medio de la extracción de componentes principales, con rotación Varimax. En la tabla 2

En la figura 1 se observa el gráfico de sedimentación, que sugiere un único componente al interior de la prueba.

Adicional se muestra en la tabla 3 que evidentemente se halló un único factor, lo cual implica que la prueba es unidimensional, explicando el 41,139 % del total de la varianza.

Dada la estructura unifactorial encontrada, se procedió a realizar la confirmación factorial del modelo con el software Amos. El modelo confirmado con las cargas estandarizadas se muestra en la figura 2, mientras que los estadísticos hallados para el modelo confirmatorio se observan en la tabla 4.

Los datos de la figura 2 refieren cargas positivas y superiores a ,45 entre todos los ítems y el factor hallado, mientras que los estadísticos del análisis factorial confirmatorio (tabla 4) reafirman el ajuste unifactorial de la escala. Al realizar los análisis de confiabilidad se encontró un alfa de Cronbach general de ,838. La tabla 5 muestra los índices de confiabilidad de cada reactivo en comparación con el total de la prueba. Es importante destacar que la eliminación hipotética de alguno de los reactivos disminuye los índices de confiabilidad, lo cual indica lo apropiado de su conservación y refiere la consistencia de la escala.

DISCUSIÓN

Este estudio tuvo como objetivo analizar las propiedades psicométricas de la versión en español del cuestionario Connor—Davidson Resilience Scale (CD—RISC 10) en población colombiana. Al analizar los resultados obtenidos se halló un único factor, denominado Resiliencia, que explica el 41,139 % del total de la varianza acumulada, modelo que además es sometido y corroborado con un análisis factorial confirmatorio; y sobre la confiabilidad se halló un alfa de Cronbach de .838, con adecuados índices de consistencia entre ítems y entre cada ítem con el total de la prueba. La unifactoriali—dad de la escala, así como los alfas obtenidos, encontrados en este estudio concuerdan con la investigación realizada por Campbell—Sills y Stein (2007), Notario et al. (2011), Serrano et al. (2013), Notario et al. (2014) y Soler et al. (2015) fuera de Colombia, así como los hallazgos de Riveros et al. (2016) con pacientes crónicos en el país; todos hallaron una sola dimensión y alfas superiores a 0.8.

En las últimas décadas ha habido un cambio paulatino de intereses en la investigación en resiliencia empezado a focalizarse en el campo de adultos, y se ha encontrado en estos estudios que la flexibilidad cognitiva, el tener intereses en cosas nuevas, encontrar significado a la vida, el apoyo y compromiso social, las buenas relaciones familiares, las experiencias espirituales y trascendentales, el ejercicio físico, la tolerancia a la adversidad, la aceptación positiva al cambio, el autocontrol, la confianza en las estrategias de afrontamiento, la autoeficacia, la competencia personal, la autoestima, la perseverancia, el optimismo y bienestar emocional son factores asociados a la resiliencia que hacen que esta sea una variable protectora y moduladora de la salud física y mental (Vinaccia, Quiceno y Re—mor 2012). Una de las problemáticas asociadas a la investigación de la resiliencia en población adulta colombiana ha sido la ausencia de instrumentos de medición con un adecuado análisis psicométrico; por este motivo se consideran importantes los resultados encontrados en este estudio.

Entre las limitaciones que se encuentran en este estudio se indica que si bien el tamaño muestral es suficiente y amplio para llevar a cabo los análisis realizados, dicha muestra igual sigue siendo reducida, además de ser de solo dos ciudades colombianas, por lo cual se sugiere replicar esta investigación con tamaños muestrales mayores y además de otras ciudades universitarias. Con base en lo anterior se observa que el CD—RISC 10 se ajusta a la población de estudiantes universitarios colombianos, en términos de validez como de confiabilidad, lo cual favorecería su utilización nacional tanto en investigación en ambientes clínicos y hospitalarios, y la posibilidad de realizar estudios transculturales. Este estudio sugiere en primera medida mayor utilización de este instrumento, en procesos tanto de investigación como de uso clínico y terapéutico, realizar estudios comparativos en búsqueda de resiliencia en distintos grupos poblacionales y la ampliación de estudios encaminados a hallar factores que influyen en la capacidad de resi—liencia de las personas.


REFERENCIAS

Alexandre, N.M.C. y Guirardello, E.B. (2002). Adaptación cultural de instrumentos utilizados en salud ocupacional. Revista Panamericana de Salud Pública, 11 (2), 109—111.

Arias, V, Crespo, M.T., Arias, B., Martínez, A. y Ponce, F. (2015). An in—depth psychometric analysis of the Connor—Davidson resilience scale: calibration with Rasch—Andrich model. Health and Quality of Life Outcomes, 13, 154, 2—12. doi. org/10.1186/s12955—015—0345—y

Bonanno, G.A. (2004). Loss, trauma and human resilience. American Psychologist, 59 (1), 20—28.

Campbell, L. & Stein, M. (2007) Psychometric analysis and refinement of the Connor—Davidson resilience scale (CD—RISC): validation of a 10—item measure of resilience. Journal of trauma Stress, 20, 1019—1028. doi: 10.1002/jts.20271

Connor, K. M. & Davidson, J. R. (2003). Development of a new resilience scale: the Connor—Davidson Resilience Scale (CD—RISC). Depression and Anxiety, 18 (2), 76—82.

Crespo, M., Fernandez—Lansac, V. y Soberon, C. (2014). Adaptación española de la escala de resiliencia de Connor—Davidson (CD—RISC) en situaciones de estrés crónico. Psicología Conductual, 22 (2), 219—238.

Garmezy, N. (1991). Resilience in children's adaptation to negative life events and stressed environments. Pediatric Annals, 20, 459—466.

Kobasa, S. C. (1979). Stressful life events, personality, and health: An inquiry into hardiness. Journal Personality Social Psychology, 37, 1—11.

Luthar, S.S., Cicchetti, D. & Becker, B. (2000). The construct of resilience: A critical evaluation and guidelines for future work. Child Development, 71 (3), 543—562.

Lyons, J. A. (1991). Strategies for assessing the potential for positive adjustment following trauma. Journal of Traumatic Stress, 4, 93—111.

Manzano—García, G. y Ayala, J. C. (2013). Psychometric properties of Connor— Davidson Resilience Scale in a Spanish sample of entrepreneurs. Psicothema, 25(2), 245—251. doi: 10.7334/psicothema2012.183

Menezes de Lucena, V, Fernández, B., Hernández, L., Ramos, F. y Contador, I. (2006). Resiliencia y modelo de burnout: Engagement en cuidadores formales de Ancianos. Psicothema, 18 (4), 791—796.

Montero, I. y León, O. (2002). Clasificación y descripción de las metodologías de investigación en psicología. International Journal of Clinical and Health Psychology, 2, 503—508.

Notario—Pacheco, B., Solera—Martínez, M., Serrano—Parra, M. D., Bartolomé—Gutiérrez, R., García—Campayo, J. & Martínez—Vizcaíno, V. (2011). Reliability and validity of the Spanish version of the 10—item Connor—Davidson Resilience Scale (10—Tem CD—RISC) in young adults. Health and Quality of Life Outcomes, 9, 63. dx.doi. org/10.1016Zj.rlp.2015.09.002

Notario, B., Martínez, V., Trillo, E., Perez, M., Serrano, D. & García, J. (2014) Validity and reliability of the Spanish version of the 10—item CD—RISC in patients with fibromyalgia. Health and Quality of Life Outcomes, 12. doi: 10.1186/1477—752512—14

Ponce, F.P. (2015). Análisis exploratorio de modelos de ecuaciones estructurales sobre la escala Connor—Davidson (CD—RISC) en Chile y España. Saludy Sociedad, 6 (3), 238—247.

Quiceno, J.M., y Vinaccia, S. (2011). Resiliencia: una perspectiva desde la enfermedad crónica en población adulta. Pensamiento Psicológico, 10 (2), 69—82.

Riveros, F., Bernal, L., Bohórquez, D., Vinaccia, S. y Quiceno, J. (2016). Análisis psicométrico del Connor—Davidson Scale (CD—RISC10) en población colombiana con enfermedad crónica. Saludy Sociedad, 7 (2), 130—137.

Rutter, M. (1986). Resilience in the face of adversity: protective factors and resistance to psychiatric disorder. British Journal of Psychiatry, 147, 598—611.

Rutter, M. (1993). Resilience: Some conceptual considerations. Journal of Adolescent Health, 14 (8), 626—631.

Rutter, M. (2006). Implications of Resilience Concepts for Scientific Understanding. Annals New York Academy of Sciences, 1094, 1—12. doi: 10.1196/annals.1376.002

Rutter, M. (2007). Resilience, competence, and coping. Child Abuse & Neglect, 31, 205—209. doi: 10.1016/j.chiabu.2007.02.001

Sapienza, J. & Masten, A. (2011). Understanding and promoting resilience in children and youth. Curreent opinion in psychiatry, 24, 211—273.

Serrano, MD., Garrido, M., Notario, B., Bartolomé, R., Solera, M. y Martínez, V. (2012). Validez de la escala de resiliencia de Connor—Davidson (CD—RISC) en una población de mayores entre 60 y 75 años. International Journal of Psychological Research, 5 (2), 49—57.

Serrano, MD., Garrido., Notario, R., Gutiérrez, B., Solera, M., & Martínez, V (2013). Validez de la escala de resiliencia de Connor—Davidson (10 ítems) en una población de mayores no institucionalizados. Enfermería Clínica, 23, 14—21. doi: 10.22199/S07187475.2016.0002.00001

Soler, MI., Mesaguer de Pedro, M. y García, M. (2015). Propiedades psicométricas de la versión española de la escala de resiliencia de Connor—Davidson (CD—RISC10) en una muestra multio—cupacional. Revista Latinoamericana de Psicología, 48 (3), 159—166. doi.org/10.1016/j.rlp.2015.09.0020120—0534

Vaishnavi, S., Connor, K. & Davidson, J.R.T. (2007). An abbreviated version of the Connor—Davidson Resilience Scale (CD—RISC), the CD—RISC2: Psychometric properties and applications in psychopharmacological trials. Psychiatry Research, 152 (2—3), 293—297. doi: 10.1016/j.psychres.2007.01.006

Vinaccia, S., Quiceno, J. y Remor, E. (2012). Resi—liencia, percepción de enfermedad, creencias y afrontamiento espiritual—religioso en relación con la calidad de vida relacionada con la salud en enfermos crónicos colombianos. Anales de psicología, 28 (2), 366—377.

Wagnild, G.M. & Young, H.M. (1993). Development and psychometric evaluation of the resilience scale. Journal of Nursing Measurement, 1, 165—178.

Werner, E.E. & Smith, R.S. (1982). Vulnerable but invincible: A study of resilient children. New York: McGraw—Hill.

Windle, G., Bennett, K.M. & Noyes, J. (2011). A methodological review of resilience measurement scales. Health and Quality of Life Outcomes, 9, 1—18. doi: 10.1186/1477—7525—9—8


Psicología desde el Caribe
Revista del Programa de Psicología de la Universidad del Norte
http://rcientificas.uninorte.edu.co/index.php/psicologia
psicaribe@uninorte.edu.co

Universidad del Norte
Barranquilla (Colombia)
2015
©