ISSN Electronico 2011-7485 ISSN Impreso 0123-417X Volumen 33, n.°1, Enero - Abril 2016 Fecha de recepción: 5 de julio de 2014 Fecha de aceptación: 13 de abril de 2015 DOI: http://dx.doi.org/10.14482/psdc.33.1.8074

Carlos Alejandro Pineda Roa, M.S.*

* Universidad Pedagógica y Tecnológica de Colombia, Colombia.

Correspondencia: carlos.pineda01@uptc.edu.co

Resumen

El objetivo de este estudio fue analizar las propiedades psicométricas de la Prueba de Homo-fobia Internalizada (PHI), adaptada para autoinforme por Herek y Glunt en 1995. Un diseño instrumental de tipo psicométrico fue implementado. El muestreo fue no probabilístico tipo Bola de Nieve. 328 varones autoidentificados como homosexuales y bisexuales residentes en tres ciudades colombianas, con edades entre 14 y 67 años, contestaron la PHI. Se presenta evidencia de validez de contenido, nomológica y constructo. Se analiza la confiabilidad total y por subpruebas calculada mediante alfa de Cronbach a partir de los factores que arrojó el Análisis Factorial Exploratorio. Entre jueces expertos hubo concordancia significativa sobre coherencia, suficiencia, claridad y grado de aceptación pero no sobre relevancia de los ítems; PHI posee buena validez nomológica, al correlacionarse significativamente con otros cons-tructos como roles de género (r=.36; p=.001), preocupación por la imagen corporal (r=.35; p=.002) y estrés minoritario (r=.25; p=.033). Análisis factorial exploratorio arrojó dos factores que explican el 54 % de la varianza. La PHI tiene confiabilidad aceptable (a total =.71; al =.84; a2 =.60). Se concluye que esta prueba posee características psicométricas adecuadas.

Palabras clave: validación, homofobia internalizada, varones homosexuales, varones bisexuales.

Abstract

The aim of this study was to analyze the psychometric properties of the test Internalized Homophobia IHP, accessible and Herek auto Glunt report in 1995. A design of psychometric instruments was implemented. The sampling was non probabilistic type Snowball. 328 self-identified as homosexual men and bisexuals in three Colombian cities residents, aged 14 and 67, they answered the PHI. Evidence of content validity, and construct nomological is presented. Total reliability is analyzed and sub test was calculated by Cronbach's Alpha from the factors that threw the Exploratory Factor Analysis. Among expert judges there was significant agreement on consistency, adequacy, clarity and acceptability but not relevance of items; PHI has good nomological validity when correlated significantly with other cons-tructs such as gender roles (r =.36, p =.001), concern about body image (r =.35, p =.002) and minority stress (r =.25; p =.033). Exploratory factor analysis yielded two factors that explain 54% of variance. PHI has acceptable reliability (a total=.71; al =.84; a2 =.60). We conclude that this test has adequate psychometric characteristics.

Keywords: validity, internalized homophobia, homosexual men, bisexual men.

INTRODUCCIÓN

Homosexualidad es "una categoría de la orientación sexual que se define como la atracción erótica-afectiva entre personas del mismo sexo". Por su parte, bisexualidad se entiende como "la atracción erótica-afectiva simultánea hacia personas del mismo sexo, como del sexo contrario" (Hyde & Delamater, 2006, pp. 633,637). El presente trabajo está enmarcado en la categoría orientación sexual y se delimita únicamente sobre población homosexual y bisexual masculina en Colombia. Por su parte, el término homofobia es relativamente reciente y se entiende mejor como "actitudes negativas de heterosexuales hacia homosexuales" (Ahmad & Bhugra, 2010, p. 452). Sin embargo, dichas actitudes negativas pueden ser interiorizadas por individuos tanto homosexuales como heterosexuales a través de procesos de socialización en los cuales ellos están inmersos, formando en personas homosexuales lo que se denomina 'homofobia internalizada', y en personas heterosexuales, 'homofobia externalizada'. Pero Herek, Gillis y Cogan (2009) van más allá y señalan que el constructo homofobia internalizada se define como "el nivel de aceptación del estigma sexual como parte del sistema de valores del individuo y de su autoconcepto"; estos autores sugieren que la homofobia internalizada "tiene un marco de referencia estructural, enmarcado por el hetero-sexismo y uno individual en el cual se ven involucrados necesariamente sentimientos negativos hacia la propia homosexualidad" (Herek, 2004, p. 17).

No hay una única definición de homofobia internalizada. Esta puede entenderse como actitudes negativas dirigidas hacia el yo, homonegatividad internalizada (el cual se prefiere en el estudio actual), prejuicio antigay internalizado, estigma sexual internalizado. En todo caso, estas definiciones enfatizan en que la homofobia internalizada no es un rasgo al interior del individuo ni una fobia, lo cual implicaría algo psicopato-lógico, sino que proviene del contexto social dominante, es decir, del heterosexismo, entendido según Hide y Delamater, como "la creencia de que todas las personas son heterosexuales y de que la heterosexualidad es la norma, y la homosexualidad es lo denigrante" (p. 637).

De acuerdo con O'Hanlan, Cabaj, Schatz, Lock y Nemrow (1997), "la homofobia es un problema de salud pública que afecta el control de la epidemia de VIH-Sida". Resultados de un estudio realizado por Meyer (1995) con 738 hombres variadamente identificados como homosexuales residentes en Estados Unidos reportó una prevalencia de casi 70 % de algún nivel de homofobia internalizada. Además, la homofobia, como otras formas de discriminación, "genera en quienes la padecen un estrés psicológico que al prolongarse en el tiempo representará un estresor crónico que inducirá cambios neuroendocrinos, autonómicos e inmunes; estos cambios fisiológicos se relacionan con morbilidad, física y mental, y muerte prematura" (Nielsen, Kristensen, Schnohr & Gronbaek, 2008, p. 481). Meyer (1995) encontró que quienes reportan más altos niveles de problemas de salud mental como ansiedad, depresión, angustia, culpa, ideación suicida y estrés relacionado con adquirir VIH SIDA tuvieron entre dos a tres veces más probabilidad de reportar altos niveles de homofobia internalizada. Esto reafirma la importancia de medir homofobia internalizada.

Antecedentes de medición de la Homofobia Internalizada

No existe consenso sobre cómo medir la ho-monegatividad internalizada. Ross, Rosser y Smolenski (2010) advirtieron de la existencia de por lo menos nueve escalas distintas. Aun así, se siguen creando nuevas escalas a lo largo y ancho del mundo. Por ejemplo, solo dos años después de la publicación del artículo de Ross, Rosser y Smolenski, los autores Lingiardi, Baiocco y Nardelli (2012) construyeron una nueva escala para medir homonegatividad internalizada en Italia. Esto podría ser problemático en el sentido de no proveer marcos de referencia para establecer comparaciones de medidas transnacionales sobre el constructo. Más allá de la creación de nuevas instrumentos psicológicos, pueden establecerse elementos comunes al constructo homonegatividad internalizada en diversas culturas.

Entre los numerosos instrumentos disponibles en la actualidad para evaluar homonegatividad internalizada, el más utilizado ha sido la Prueba de Homofobia Internalizada PHI (en inglés, Internalized Homophobia, IHP). Esta prueba fue desarrollada originalmente por Martin y Dean en 1987 y, en principio, fue administrada mediante entrevistas cara a cara y posteriormente fue adaptada al formato de autoinforme por Herek y Glunt en 1995. Inicialmente, la PHI fue implementada para su uso en varones homosexuales. Posteriormente, Herek amplió el abánico de usuarios que podrían responderla, incluyendo versiones para mujeres homosexuales y personas bisexuales (Herek & Glunt, 1995; Herek, Gillis, & Cogan, 2009).

La PHI se compone de nueve ítems derivados de los criterios de diagnóstico para la homosexualidad ego-distónica contenidos en la tercera edición del Manual Diagnóstico y Estadístico de la Asociación Psiquiátrica Americana (1980). No obstante, se ha advertido que la homonegatividad internalizada y Homosexualidad Ego-distónica (HED) no se refieren a lo mismo. Mientras que la HED era concebida en el DSM III como un rasgo estático y era el objetivo de las llamadas terapias de conversión de la homosexualidad, la homo-negatividad internalizada se concibe como algo modificable, y permeable a las interacciones dinámicas entre el sujeto y sus intercambios con el entorno (Meyer & Dean, 1998).

En uno de los primeros estudios, la PHI se administró a una muestra de 147 adultos, compuesta por 74 mujeres y 73 hombres en California, Estados Unidos en 1998. Para esta muestra, la consistencia interna medida a través del alfa de Cronbach fue de 0.71 para las mujeres y 0.83 para los hombres, (Herek,Cogan, Gillis & Glunt, 1998), lo cual, de acuerdo con Nunnally y Berstein (1995), son valores adecuados de confiabilidad de una prueba. De acuerdo con las investigaciones hechas por Meyer (1995), y posteriormente por Meyer y Dean (1998) en contextos estadounidenses, la PHI mide "la existencia de insatisfacción con ser homosexual y el deseo de convertirse en heterosexual" (Meyer, 1995, p. 43; Meyer & Dean, 1998, p. 169).

Una nueva versión de la PHI de homonegatividad internalizada fue validada en Turkía en el 2006. Allí se incluyeron los nueve ítems de la PHI y se adicionó uno I avoid being seen and being involved with effeminate gay men (Yo evitaría ser visto y estar involucrado con hombres gay afeminados). La prueba se aplicó a 132 varones, con edades entre los17 y los 49 años, de los cuales 20 se autoidentificaron como bisexuales y 112 como homosexuales. Los resultados señalaron que la escala es confiable. La validez de constructo calculada a partir de análisis factorial encontró un único factor que explicó el 43.4 % de la varianza total y el cual denominaron insatisfacción con la propia orientación sexual. Adicionalmente, el constructo homonegatividad internalizada se correlacionó significativamente con síntomas depresivos, ansiedad, autoestima, afecto negativo, problemas psicológicos y hostilidad. Los autores concluyeron que la escala posee características psicométricas aceptables (Gencóz & Yüksel, 2006).

En Lisboa (Portugal), Pereira y Pereira (2005) construyeron una escala de homonegatividad internalizada a partir de la escala de Ross y Rosser (1996). La escala estuvo compuesta de 26 ítems que, mediante análisis factorial por componentes principales, logró evaluar dos dimensiones (percepción interna y externa del estigma asociado a homosexualidad). Se encontraron alfa de Cronbach total de 0.74 y por subescalas de 0.81 y 0.64, interpretados por los autores como aceptables. No obstante, no se reporta el porcentaje de varianza explicado y tampoco si se cumplieron los supuestos para realizar un análisis factorial.

En Latinoamérica se han diseñado y validado pocas escalas que midan homonegatividad internalizada. Por ejemplo, una escala validada en México fe la Escala de homofobia internalizada de Villagrán, Delgado y Solís (2000), adaptada por Hoppe (1995). Esta prueba evalúa la interiorización de actitudes negativas hacia las personas que tienen preferencias sexuales por aquellos individuos pertenecientes a su propio sexo. Fue validada en una muestra de 100 hombres homosexuales con un promedio de edad de 28 años. Los índices de confiabilidad obtenidos para las subescalas pueden considerarse aceptables. Sin embargo, no se conocen más detalles del proceso de validación y esta escala no ha sido suficientemente difundida.

La homofobia se ha considerado un prejuicio difícilmente extinguible en la cultura occidental, como señaló Fone: "...homofobia permanece... homofobia es quizá el último prejuicio aceptable" (2001, p. 3). Adicionalmente, como se señaló previamente, la homonegatividad internalizada genera consecuencias negativas para la salud física y mental y, según Moral, Valle & Martínez (2013), esta afecta más a hombres que a mujeres. Seguidamente, si se tiene en cuenta que la prueba PHI ha sido uno de los instrumentos de mayor uso en investigaciones sobre homonegatividad internalizada alrededor del mundo, cuyo objetivo es remover sentimientos negativos sobre la propia homosexualidad ayudando al proceso de autoaceptación de la orientación sexual diversa, y dada la necesidad de instrumentos válidos y confiables que nos permitan realizar estudios precisos de prevalencia sobre homonegatividad internalizada en poblaciones sexualmente diversas colombianas, el objetivo del presente estudio es evaluar la validez y la confiabilidad de la PHI en población autoidentificada como homosexual y bisexual masculina residentes en tres ciudades colombianas.

MÉTODO

Participantes

En este estudio participaron 328 personas con algún grado de identificación con la orientación sexual homosexual. La edad de los participantes osciló entre 14 y 67 años cumplidos con un promedio total de 23 (mediana =20, dt. 7.62). Los participantes residían en las poblaciones del centro de Colombia: Bogotá, Villavicencio y Tunja. La composición por ciudad según nivel educativo puede observarse en la tabla 1. Como se observa allí, la mayoría de los participantes tenían estudios secundarios completos o eran estudiantes universitarios al momento de participar en el estudio.

Los participantes del presente estudio fueron reclutados a través de muestreo no probabilístico tipo Bola de Nieve. Informaron ser varones identificados en algún grado mediante escala Kinsey modificada con puntajes entre 2 y 6, donde 2 es homosexual incidental con experiencia heterosexual sustancial y 6 es homosexual exclusivo (Kinsey, Pomeroy & Martin, 1948). Valores de 1 en esta escala fueron excluidos del estudio porque no cumplían con el único criterio de inclusión, el cual fue: "estar autoidentificado en alguna medida con la homosexualidad". Según autoidentificación con la orientación sexual, el 85.3 % (N=278) se ubicó en los valores 4, 5o 6 de la escala Kinsey correspondiente a haber tenido experiencia homosexual sustancial; en contraste 11.6 % (N=38) se autoidentificaron como bisexuales y solo 3 % (N=10) se autoidentificaron como esporádicamente homosexuales.

Instrumentos

El instrumento validado es la Prueba de Homofobia Internalizada (PHI) versión de autoinforme por Herek y Glunt (1995). La traducción del inglés al castellano se hizo atendiendo al método de traducción re-traducción y fue realizada por el equipo de investigación bilingüe de la Universidad de Puerto Rico en cabeza del Dr. José Toro Alfonso (Muñiz, Elosua & Hambleton, 2013; Balluerka, Gorostiaga, Alonso-Arbiol & Haranburu, (2007). La versión en español obtenida y aplicada, más que una traducción literal es una adaptación a la cultura hispana con cambios de sentido en varios de sus ítems, que conserva solo el número de ítems de la prueba original de Herek y Glunt (1995). Cada ítem puntúa en una escala likert que va desde Totalmente en desacuerdo (1) hasta Totalmente de acuerdo (5). La prueba supone la posibilidad de calcular un puntaje total, de tal forma que a mayor puntaje mayor es el nivel de homonegatividad internalizada. La redacción de la mayoría de los ítems está en modo subjuntivo, el cual se caracteriza por presentar una acción como posible o hipotética. Esta redacción es bien intencionada toda vez que algunos participantes viven un cierto estilo de vida para sí, pero socialmente se ven presionados a comportarse de acuerdo con los cánones de su contexto social. Por ejemplo, algunos ítems que posee la escala son Desearía ser heterosexual. Me gustaría que me atrajeran sexualmente las mujeres o No me molestaría tener hijos o hijas que fueran homosexuales o lesbianas.

Los instrumentos aplicados para establecer la validez nomológica fueron la Escala de Imagen corporal, de Cooper et al. (1987), adaptado por Raich et al. (1996), la cual se compone de 34 ítems y mide la preocupación por la imagen corporal; obtuvo un alfa de Cronbach en población colombiana de 0.97. La escala de roles de género Levant (1995), adaptación de Toro-Alfonso y Varas Díaz (2002), la cual se compone de 30 ítems y mide la adherencia los roles tradicionales de la masculinidad, obtuvo un alfa de Cronbach en población colombiana de 0.94. Finalmente, la escala de estrés minoritario de Rosario et al. (2002), que se compone de 10 ítems y obtuvo un Alfa de Cronbach en población colombiana de 0.88.

Procedimiento

Se aplicó el consentimiento informado a cada participante a pesar de tratarse de una investigación sin riesgo (Resolución 8430 de 1993). En dicho consentimiento se garantizó la confidencialidad al no permitir que escribieran datos personales, como número de teléfono, direcciones físicas o electrónicas e incluso podía firmar con las iniciales de su nombre si no deseaban firmar el consentimiento. El proceso investigativo de aplicación de varios instrumentos psicométricos, dentro de los cuales estaba la PHI, se realizó atendiendo los requerimientos de dos comités institucionales de ética, uno nacional y otro internacional. El primero con domicilio en Bogotá, en la Universidad El Bosque, el cual aprobó la recolección de la información de datos en el que se incluyeron varones jóvenes y adolescentes autoidentificados como homosexuales. El segundo, con domicilio en Antofagasta (Chile) en la Universidad Católica del Norte, la cual aprobó también el proyecto del que hizo parte Colombia.

La PHI se aplicó, por primera vez, en la ciudad de Bogotá en el Centro Comunitario LGBT en el 2010, en una muestra de 248 varones autoidentificados según orientación sexual no heterosexual. Esta muestra permitió recoger información de la PHI y otros constructos como imagen corporal, calidad de vida percibida, estrés minoritario, y una escala de roles de género, entre otras. Seguidamente, la prueba fue aplicada en el 2012 en Villavicencio y, posteriormente, en Tunja. En todos los casos se empleó muestreo no probabilístico usando la técnica de Bola de Nieve.

Con el fin de establecer un análisis cualitativo que posteriormente se confirmara o no mediante análisis cuantitativo, la PHI fue enviada a seis jueces expertos. Los jueces eran expertos en psicometría, conformación de maestría o doctorado en psicología, y expertos en temas de salud sexual y reproductiva y con publicaciones en temas de población sexualmente diversa, tanto residentes en Colombia como en Chile y Puerto Rico, para que evaluaran específicamente la relevancia, coherencia y claridad de los ítems de la PHI y la aceptación de los ítems.

Análisis estadísticos

El software usado es el SPSS versión 17. El análisis descriptivo dio cuenta del comportamiento de los nueve ítems de la escala. Con el fin reportar la validez de contenido de los criterios relevancia, coherencia y claridad, por puntuar en escalas likert (ordinales), se utilizó el estadístico W de Kendall.

Seguidamente, se llevó a cabo la verificación de supuestos para el análisis factorial, como la prueba KMO y el test de esfericidad de Bartlet. Se realizaron pruebas t y F para soslayar diferencias entre grupos para el constructo homo-negatividad internalizada. Mediante el test de Kolmogorov-Smirnov se verificó la normalidad de la variable puntaje total de homonegatividad internalizada.

Se determinó la correlación de Pearson (r) y la correlación de Spearman (rs) entre la PHI y las escalas de roles de género, la escala de estrés minoritario y la escala de imagen corporal (validez nomológica). El análisis paralelo de Horn permitió establecer el número de factores que se debían retener. Para el análisis de confiabilidad por consistencia interna se calculó el coeficiente alfa de Cronbach total y por subescalas, así como por ciudad de residencia y grupos etarios, aplicando pruebas de significancia para cada población.

RESULTADOS

A continuación se presentan, en primera instancia, los resultados descriptivos de cada ítem; posteriormente, los del puntaje total de la escala PHI con relación a la variable ciudad de residencia. Luego se presentan las correlaciones entre edad, nivel educativo y grado de identificación con la orientación sexual con respecto al puntaje total de homonegatividad internalizada. A continuación se presentan las correlaciones de la PHI con otros constructos distintos (validez nomológica). Se presentan los resultados de validez de contenido y constructo. Por último, se analizan los niveles de confiabilidad por consistencia interna a través del alfa de Cronbach con su respectiva prueba de significancia estadística según grupo etario, ciudad y grado de identificación con la orientación sexual (homosexual y bisexual para el caso del presente estudio).

Análisis descriptivos

Según la tabla 2, los estadísticos descriptivos de cada uno de los ítems dieron cuenta de bajos niveles de homonegatividad para siete de los nueve ítems (entre 1.87 y 2.35), mientras que dos de ellos no discriminaron adecuadamente y obtuvieron niveles promedio cercanos a 3.0, etiquetados como niveles de indiferencia ante el ítem. Tales ítems corresponden a La homosexualidad es una expresión natural de la sexualidad y No me molestaría tener hijos o hijas homosexuales o lesbianas.

No obstante, todos los ítems alcanzaron los valores mínimo y máximo esperados teóricamente (entre 1y 5). Esto implica que también la escala total tomó valores entre 9 y 45, acorde con lo esperado teóricamente. También se observan desviaciones estándar de los ítems bajas y muy similares con rangos entre 1 y 2. Por otro lado, el constructo homonegatividad internalizada se distribuyó normalmente (Kolmogorov-Smirnov = 1.28. p =.074).

La tabla 3 muestra los resultados promedio, mediana, mínimo y máximo, así como desviaciones estándar en cada una de las tres ciudades donde se aplicó la prueba. Es de resaltar la similitud de los valores promedio de los participantes residentes en las ciudades de Bogotá y Tunja, al igual que la tendencia a puntuar más alto, en promedio, con respecto a los participantes residentes en Villavicencio.

Un análisis de varianza arrojó diferencias significativas entre las medias de las tres ciudades (F = 10.51; p=.0000). Las pruebas post hoc dieron como resultado dos subconjunto homogéneos (Bogotá y Tunja) y un segundo grupo (Villavicen-cio). Este resultado implica una mayor influencia de la homonegatividad en ciudades grandes y pe-quenas, no así en ciudades capitales intermedias como Villavicencio, donde el puntaje promedio es significativamente más bajo.

Se encontraron correlaciones significativas, como se esperaba, entre edad y nivel educativo (rs=.41). No se encontró correlación significativa entre edad y homonegatividad internalizada (rs= -.076), ni entre identificación con la orientación sexual y homonegatividad internalizada (rs=-.88).

Sin embargo, sorpresivamente, se aprecia correlación significativa y negativa entre la edad y la identificación con la orientación sexual. Es decir que a mayor edad, los participantes tienden a tener menor alineación con la propia orientación sexual. Igualmente, la prueba discrimina adecuadamente con respecto a la variable autoidentificación con la orientación sexual. Específicamente, se encontraron diferencias significativas en los niveles promedio de homonegatividad internalizada entre quienes se autoidentificaron como homosexuales (me-dia=20,51; DE=6.14) y quienes se autoidentifi-caron como bisexuales (media= 23, DE = 6.41) (t=2.08, p=.041). Otro dato importante es que no hubo diferencias significativas en los niveles promedio de homonegatividad internalizada según rango de edad. La figura 1 ilustra que los promedios de homonegatividad internalizada en los tres grupos formados son bastantes similares y no se evidenciaron cambios significativos (F=0.82; p=0.43).

Análisis de validez de contenido

Debido a que el análisis de contenido se realizó posterior a la recolección de los datos, es importante aclarar que el objetivo de realizar este análisis es poder explicar con mayor eficiencia los resultados de validez de constructo y confiabilidad por consistencia interna, así como sugerir posibles cambios para futuras investigaciones con la PHI debido a términos influenciados culturalmente.

Análisis cualitativo de la validez de contenido

Con relación al análisis del contenido de los ítems de la PHI, se les pidió a los jueces que evaluaran cuatro criterios: coherencia, claridad, relevancia, suficiencia y si aceptaban el ítem o no. Estos criterios y sus definiciones se tomaron conforme la recomendaciones de Escobar y Cuervo (2008). Las observaciones a cada ítem se presentan en la tabla 4.

La escala en la cual los jueces marcaron sus respuestas fue entre 1 y 4, siendo 1: 1. No cumple con el criterio, 2. Bajo nivel, 3. Moderado nivel y 4 Alto nivel. El estadístico W de Kendall señaló que hubo concordancia entre los jueces en cuanto a coherencia (W de Kendall = 0.31, p=0.016), es decir que los ítems tienen una relación lógica con la dimensión o indicador que están midiendo.

Con respecto a claridad, los jueces estuvieron moderadamente de acuerdo en que los ítems se comprenden fácilmente (W de Kendall=0.40, p=0.003), es decir, su sintáctica y semántica son adecuadas.

Sin embargo, con respecto a relevancia, los jueces no concuerdan sobre la importancia de los ítems para dar cuenta del constructo (W de Kendall=0.12, p=0.33). Esto implica que algunos ítems no son necesariamente esenciales o importantes y que, en consecuencia, no deberían ser incluidos. Esto generó una pregunta: debido a los niveles de importancia asignados por los jueces a cada ítem, ¿cuáles ítems aceptan los jueces para dar cuenta del constructo homo-negatividad internalizada? Siguiendo a Lawshe (1975), si en un determinado ítem más de las mitad puntúo 4 (es decir, el ítem es relevante y debe ser incluido) entonces este ítem tiene al menos alguna validez de contenido. Con este criterio, los resultados indicaron que siete de los nueve ítems de la PHI deben ser incluidos.

Por otro lado, debido a que la literatura previa señala la existencia de un único factor relacionado con el heterosexismo, sin señalar cuáles ítems se agrupan alrededor de dicho factor, se obtuvo respuesta solo de uno de los jueces acerca de la suficiencia del número de ítems que dieran cuenta del constructo homonegatividad internalizada. En efecto, el juez experto señaló: "No tengo claro las dimensiones que se recogen en cada uno de los reactivos" y añadió: "es evidente que hay una dimensión sobre la posibilidad de cambiar la orientación sexual (ítems 2, 3, 4, 5); naturalidad/normalidad de la homosexualidad (ítems 1, 6); percepción de la felicidad como homosexual (# 8, 9); El numero 7 no tiene categoría evidente". Este dato se contrastará con el resultado de validez de constructo.

Análisis de validez nomológica de la PHI

La validez nomológica se explora cuando dos constructos independientes, o distintos, se relacionan teóricamente y se correlacionan matemáticamente entre ellos (San Martín, 2003). Por lo general, se acepta que una correlación es importante si el coeficiente es mayor a 0.30 (Van Ittersum, Pennings, Wansink & Van Trijp, 2007). Los resultados arrojaron correlaciones r de Pearson significativos. Se reportan también rs de Spearman, entre homonegatividad internalizada e imagen corporal (r=0.35, p=0.002; rs=0.29, p=0.012), roles de género (r=0.36, p=0.001; rs=0.39, p=0.001), estrés minoritario (r=0.25, p=0.033; rs=0.12, p=0.27). De todas estas variables la que mejor se correlaciona con homonegatividad internalizada es el constructo roles de género, tanto el r de Pearson como el rs de Spearman son significativos y mayores de 0.30.

Análisis de validez de constructo de la PHI

Para establecer la validez de constructo se procedió a aplicar el análisis factorial, el cual es uno de los métodos de reducción más importantes, cuyo objetivo es poder explicar el mayor porcentaje de varianza con el menor número de factores. Los resultados del índice de Kaiser-Meyer-Olkin KMO (0.784) y del test de esfericidad de Bartlet (854.55; p=.000) señalan que un análisis factorial es adecuado. Así, se procedió a realizar un Análisis Factorial Exploratorio (AFE) mediante Factorización de Ejes Principales, siendo este el método de extracción más adecuado cuando los ítems se encuentran bastante correlacionados y porque es una de las estrategias analíticas más ampliamente empleadas para analizar la estructura factorial de escalas compuestas (Afifi & Clark, 1999; Hair, Black, Babin, Anderson & Tatham, 2005; Tabachnik & Fidell, 2006).

El gráfico de sedimentación (Scree Plot de Catell) sugirió tres factores que explicaban el 66,56 % de la varianza y cuyos valores propios eran superiores a 1 (método de Kaiser- Guttman). No obstante, estos dos métodos han sido bastantes criticados en la literatura dada su tendencia a sobreestimar o subestimar la estructura factorial del test en función del número de ítems y del tamaño muestral. Se han propuesto varias alternativas, dentro de las que se destacan el análisis paralelo de Horn o el método MAP, que permiten realizar una selección de 'componentes' o 'factores' que no dependan de la longitud del test o del tamaño muestral (López-Pina, 2009).

Con el fin de establecer el número de factores a retener, se procedió a realizar un Análisis Paralelo AP (tabla 5 ), el cual compara los valores propios de los datos del estudio actual con valores propios aleatorios. El método consiste en "retener aquellos factores siempre que se cumpla que el valor propio del estudio actual supere el valor propio del estudio aleatorio o simulado" (Brett, Ted & Andrys, 2010, p. 8).

Análogamente, el resultado del AP es congruente con Gorsuch, quien señaló que "dadas las dificultades inherentes a tomar como valor de retención el criterio de Kaiser, en particular la sobrestimación de los factores relevantes, Gorsuch estimó y propuso que valores propios mayores de 1,41 sí indican de manera significativa los factores que agrupan las características más generales y significativas de un constructo y, en consecuencia, son los únicos que se deben retener en análisis de factores, como los dominios más importantes o notables del constructo en estudio" (Gorsuch, como se citó en Campo-Arias, Erazo & Oviedo, 2012, p. 666).

Los resultados del AP indicaron la existencia de dos factores, los cuales explican el 53.87 % de la varianza ( tabla 6). En efecto, de acuerdo con Streiner (1994), se considera que un análisis de factores es aceptable si la suma de las varianzas de los factores que se retienen es igual o superior al 50 %.

Al analizar los resultados de la tabla 7, se exigió que los ítems de la PHI tuvieran cargas factoriales superiores a 0,40, considerado como un valor adecuado para indicar una pertenencia significativa a un determinado factor (Hair et al., 2005; Meyers, Gamst & Guarino, 2006; Stevens, 2002).

Por otro lado, hay consenso de que un factor es importante, y debe ser retenido, si lo forman por lo menos entre tres y cinco ítems. Lo que ica que la PHI se encuentra dentro del rango exigido (véase: Anna & Osborne, 2005; Fabrigar, Weneger, MacCallum, et al.,1999; Streiner, 1994).

Así, se confirma que en el primer factor se encuentran agrupados cuatro ítems relacionados con la influencia del heterosexismo. Como lo señalara uno de los jueces, es un factor relacionado con "la posibilidad de cambiar la orientación sexual". Los restantes tres ítems del otro factor hacen parte de un factor individual relacionado a sentimientos negativos (felicidad/infelicidad) hacia la propia homosexualidad. Esto confirma de nuevo la teoría de Herek y Glunk (1995), Meyer (1995) y Meyer y Dean (1998). En consecuencia, como se verá a continuación, el constructo homonegatividad internalizada se puede medir con estos siete ítems sin alterar la confiabilidad de la PHI.

La confiabilidad por consistencia interna fue calculada a través del alfa de Cronbach. El resultado del alfa total de la prueba fue de.71 y de los dos factores encontrados en el análisis factorial es de.84 y.60, siendo la primera buena y la última aceptable. La confiabilidad acorde de la escala relacionada con el deseo de convertirse en heterosexual (alfa=.84) es explicable debido a que dicha escala tenía mayor número de ítems que la otra subescala y que estos estaban más el alfa adquiere su máximo valor. Cortada de Kohan (1999).

Según se muestra en la tabla 8, en siete de los nueve ítems, la correlación ítem-total corregida es superior a.30, lo que indica que los ítems de la PHI exhiben una adecuada homogeneidad, variando desde un mínimo de r=.32 (La mayoría de los homosexuales acaban solos y aislados) a un máximo de r=.60 (Si fuera posible aceptaría la oportunidad de ser completamente heterosexual) con un promedio para el conjunto de ítems de.40 (DE=.17).

Adicionalmente, los ítems que menos contribuyen a la confiabilidad, en tanto que si se eliminan la confiabilidad aumenta, son los ítems formulados en sentido positivo: La homosexualidad es una expresión natural de la sexualidad y No me molestaría tener hijos o hijas homosexuales o lesbianas. Tales ítems también tendieron a tener puntuaciones promedio de tres, lo cual es indicador de que los participantes se mostraron indiferentes ante el ítem, al tiempo que no asumieron una postura clara de acuerdo o de desacuerdo. Esto coincide con el hecho de que las correlaciones ítem-total para estos dos ítems son menores a 0.30.

En consecuencia, la PHI con siete de los nueve ítems iniciales asegura una consistencia interna adecuada. Se realizó un análisis adicional teniendo en cuenta solamente los 4 ítems del factor heterosexismo encontrado a través del AFE. Por ejemplo, la confiabilidad por grupo etario mostró (alfa = 0.77 entre 14 a 18 años), jóvenes (alfa = 0.86 entre 19 y 25 años) y para adultez media (alfa = 0.86; entre 26 a 65 años).

Con el fín de saber si la diferencia en los valores de los alfa de Cronbach tenían diferencias estadísticamente significativas, Alpha Testfor Windows, versión 1.0 fue utilizado para responder si los índices de confiabilidad eran significativamente diferentes (Lautenschlager & Meade, 2008). Los resultados permitieron inferir que los índices de confiabilidad son iguales en cada grupo etario (Chi-Cuadrado= 4,48; gl= 2; p =0,1061).

De modo similar, un análisis de la confiabilidad por ciudades se realizó y dio como resultado para Bogotá (alfa=0.84), Tunja (alfa=0.87) y Villavicencio (alfa=0.79), los cuales tampoco arrojaron diferencias estadísticamente significativas (Chi-Cuadrado = 1,64; gl = 2; p = 0,4395). Finalmente, para el caso de personas autoidentificadas como bisexuales (alfa=0.75) y para varones autoidentificados como homosexuales (alfa= 0.81), los cuales no presentaron diferencias estadísticamente significativas (Chi-cuadrado= 0,6913; gl =1; p =0,4057).

DISCUSIÓN

El objetivo del presente estudio fue evaluar la validez y la confiabilidad de la PHI en población autoidentificada como homosexual y bisexual masculina residentes en tres ciudades colombianas. La PHI resultó tener propiedades psicométricas adecuadas de validez de contenido, nomológica y de constructo. Igualmente, discrimina adecuadamente entre algunas variables, tales como ciudad de residencia y autoidentificación con la orientación sexual. También es preciso afirmar que posee niveles de consistencia interna aceptables.

Primeramente, estudios previos no tenían reportado validez de contenido a través de jueces expertos. La prueba fue aprobada por los jueces expertos en términos de los criterios de coherencia, suficiencia, claridad. Asimismo, el porcentaje de aceptación de siete de los ítems fue superior a 80 %, caso en el cual un ítem puede ser incorporado al instrumento, según las recomendaciones de Voutilainen y Liukkonen (como se citó en Hyrkas, Appelqvist & Oksa, 2003). Sin embargo, no hubo concordancia significativa entre los jueces en cuanto a la relevancia de los ítems. Esto implica que nuestros hallazgos van en la misma dirección de lo reportado por Ross, Rosser y Smolenski (2010) en tanto que no se ha logrado establecer consenso entre expertos en relación con la forma de definir homonegatividad internalizada y tampoco en torno a su medición. Hubo apreciaciones de parte de los jueces que permiten comprender el pobre desempeño psicométrico de dos ítems y estos fueron: La homosexualidad es una expresión natural de la sexualidad y No me molestaría tener hijos o hijas homosexuales o lesbianas. Tales ítems deberían descartarse a la hora de calcular el puntaje total de la prueba en tanto poseen una baja correlación ítem prueba, lo que indica que podrían no estar midiendo el mismo constructo.

En segunda instancia, en cuanto a validez no-mológica, la evidencia encontrada en el presente estudio fortalece la red de relaciones del cons-tructo homonegatividad internalizada, el cual ya tenía probado relaciones importantes con problemas de salud física y mental (Newcomb & Mustanski, 2010). Del mismo modo, en el estudio de Gencóz & Yüksel (2006), la homonegatividad internalizada se correlacionó significativamente con síntomas depresivos, ansiedad, autoestima baja, afecto negativo, problemas psicológicos y hostilidad (véase Gencóz & Yük-sel, 2006). El presente estudio halló evidencia de asociación entre homonegatividad internalizada y otros constructos, como adherencia a los roles tradicionales de género, preocupación por la imagen corporal y estrés minoritario. Este hallazgo sugiere que quienes construyan pruebas sobre homonegatividad internalizada deben tener en cuenta estos constructos como subescalas. Así mismo es un dato relevante para quienes realizan terapia afirmativa para homosexuales, revisar en sus consultantes sus roles de género, si presentan altos índices de estrés de minorías y su posible preocupación por la imagen corporal.

El análisis factorial exploratorio encontró dos factores, uno de orden individual (vivencia de la homosexualidad) y otro estructural (hetero-sexismo) que explican el 54 % de la varianza. Es de resaltar que este número de factores respaldan el marco teórico de Herek (2004). Otros autores también han encontrado dos factores o componentes, véase Villagrán Vázquez, Delgado Añorve y Solís Zamudio (2000), Pereira y Pereira (2005) y Moral y Valle (2014). Tales factores estuvieron compuestos por ítems con pesos factoriales adecuados, conforme a estándares exigidos (McDonald, como se citó en Ferrando & Anguiano, 2010). Análogamente, AFE corroboró deficiencias en dos ítems de los nueve identificados en el análisis descriptivo de los ítems de la PHI, en su aporte a la confiabilidad y mediante el juicio de expertos. En consecuencia, los dos ítems (La homosexualidad es una expresión natural de la sexualidad y No me molestaría tener hijos o hijas homosexuales o lesbianas) no obtuvieron una agrupación clara dentro de los dos factores encontrados mediante el análisis factorial exploratorio.

En cuarto lugar, la validación de un test no viene solo a través de un análisis factorial y la evaluación de la consistencia interna; es preciso demostrar también que la prueba (y subpruebas) discrimina entre las personas que componen la muestra que hemos utilizado. La prueba discriminó adecuadamente con respecto a la variable autoidentificación con la orientación sexual y por ciudad de residencia de los participantes. Específicamente, se encontraron diferencias significativas en los niveles promedio de homonegatividad internalizada entre quienes se autoidentificaron como homosexuales y quienes se autoidentificaron como bisexuales. Un análisis de varianza arrojó diferencias significativas entre las medias de las tres ciudades.

Las características psicométricas confirman lo encontrado por Meyer (1995) y posteriormente por Meyer y Dean (1998) en contextos estadounidenses. La PHI mide en efecto "la existencia de insatisfacción con ser homosexual y el deseo de convertirse en heterosexual" (Meyer & Dean, 1998). No se encontró respaldo para un único factor hallado en el estudio de Gencoz y Yuksel (2006) debido a que ellos aplicaron el Scree Plot de Catell, el cual es un método fuertemente cuestionado.

Por último, con relación a la confiabilidad total y por subpruebas, los resultados confirman a Herek, Cogan, Gillis y Glunt, (1998), Shidlo (1994), en relación a que los valores de alfa de Cronbach hallados están dentro de rangos considerados aceptables. De los nueve ítems propuestos inicialmente por los autores, siete de ellos dan cuenta de niveles de confiabilidad adecuados, en tanto que todos contribuyen a la confiabilidad de la escala. Los dos restantes podrían replantearse en términos de su redacción y la terminología empleada, siguiendo las recomendaciones de los jueces en el presente estudio, o decidir eliminarlos sin afectar la confiabilidad de la PHI.

Se concluye que La PHI de Herek y Glunk (2005) posee características psicométricas adecuadas en población de varones homosexuales colombianos y sigue siendo un buen instrumento de medición para dar cuenta de homonegatividad internalizada. Una fortaleza del presente estudio es el hallazgo no reportado previamente acerca de las relaciones significativas entre homonegatividad internalizada y otros constructos, como adherencia a roles de género, preocupación por la imagen corporal y estrés minoritario. Se recomienda el uso de este instrumento en contextos similares a los que aquí se describen para poblaciones de varones homosexuales y bisexuales. Una limitación del presente estudio es que no se controló por variables de interés clínico, para indagar alteraciones de salud mental que pudiesen haber afectado los resultados.

Estudios posteriores deberán indagar el funcionamiento psicométrico de la PHI en población homosexual y bisexual femenina, étnica y racial. También se recomienda controlar los resultados según población clínica informando sobre posible psicopatología de los participantes, tales como depresión, ansiedad, estrés, consumo de sustancias psicoactivas, ideas y/o intentos suicidas, así como variables demográficas como nivel socioeconómico, si mantiene una relación de pareja en la actualidad o un diagnóstico de enfermedades físicas como ITS o VIH. Finalmente, es importante averiguar otras fuentes de evidencia como validez de criterio y la realización de análisis factorial confirmatorio.

REFERENCIAS

Afín, A.A. & Clark, V (1999). Computer-aided multivariate analysis (3^a. ed.). Boca Ratón, Florida: Chapman & Hall/CRC.

American Psyquiatric Association (1980). Diagnostic and Statistic Manual of Mental Disorders (3^a ed.). Washington: APA.

Ahmad S. & Bhugra D. (2010). Homophobia: an updated review of the literature. Sexual and Relationship Therapy, 25, 447"55. DOI:10.1080/146 81994.2010.515206.

Anna, C. B. & Osborne, J. W (2005). Best practices in exploratory factor analysis: Four recommendations for getting the most from your analysis. Practical Assessment. Research and Evaluation, 10(7), 1-9.

Balluerka, N., Gorostiaga, A., Alonso-Arbiol, I. & Haranburu, M. (2007). La adaptación de instrumentos de medida de unas culturas a otras: una perspectiva práctica. Psicothema, 19(1), 124-133.

Brett, W., Brown, T. & Onsman, A. (2010). Exploratory factor analysis: A five-step guide for novices. Australasian Journal of Paramedicine, 8(3), Article 1. Available at: http://ro.ecu.edu.au/jephc/vol8/iss3/1.

Campo-Arias, A., Herazo, E. & Oviedo, H. (2012). Análisis de factores: fundamentos para la evaluación de instrumentos de medición en salud mental. Revista Colombiana de Psiquiatría, 41 (3), 659-671.

Cooper, P. J., Taylor, M. J., Cooper, Z. & Fairburn, C. G. (1987). The development and validation of the Body Shape Questionnaire. International Journal of Eating Disorders, 6, 485-494. DOI: 10.1002/1098-108X(198707)6:4<485::AID-EAT2260060405>3.0.CO;2-O.

Cortada de Kohan, N. (1999). Teorías psicométricas y construcción de test. Buenos Aires: Lugar Editorial.

Escobar, J. & Cuervo, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización, Avances en Medición, 6, 27-36.

Fabrigar L.R., Weneger, D. T. & MacCallum, R.C. et al. (1999). Evaluating the use of exploratory analysis in psychological research. Psychological Methods, 4,272-299.

Gencóz, T. & Yüksel, M. (2006). Psychometric properties of the Turkish version of the internalized homophobia scale. Archives of sexual behavior, 35(5), 597-602. http://dx.doi.org/10.1007/s10508-006-9063-1.

Hair, J. F., Black, WC., Babin, B. J., Anderson, R. E. & Tatham, R. L. (2005). Multivariate data analysis (6^th. ed.). Upper Saddle River, New Jersey: Prentice Hall.

Herek, G. M. & Glunt, E. K. (1995). Identity and community among gay and bisexual men in the AIDS era: Preliminary findings from the Sacramento Men's Health Study. In G. M. Herek & B. Greene (Eds.). AIDS. identity. and community: The HIV epidemic and lesbian and gay men (pp. 55-84). Thousand Oaks. CA: Sage.

Herek, G., Cogan, J. C., Gillis, J. R. & Glunt, E. K. (1998). Correlates of internalized homophobia in a community sample of lesbians and gay men. Journal of Gay and Lesbian Medical Association, 2(1), 17-25.

Herek, G. (2004). Beyond "Homophobia": Thinking about sexual prejudice and stigma in the twenty-first century. Sexuality Research & Social Policy, 1(2). 6-23. DOI 10.1525/srsp.2004.1.2.6.

Herek, G. M., Gillis, J. R. & Cogan, J. C. (2009). Internalized stigma among sexual minority adults: Insights from a social psychological perspective. Journal of Counseling Psychology, 56(1), 32-43. http://dx.doi.org/10.1037/a0014672.

Hernández, L.O. & García, M. I. (2005). Opresión internalizada y prácticas de riesgo. Revista de Saude Pública, 39(6), 956-964. doi: 10.1590/S0034-89102005000600014.

Hyde, J. S. & Delamater, D. (2006). Sexualidad humana. (9^a. ed.). México: McGrawHill.

Hyrkas, K., Appelqvist-Schmidlechner, K. & Oksa, L. (2003). Validating an instrument for clinical supervision using an expert panel. International Journal of nursing studies, 40(6), 619 -625.

Kinsey, A. C., Pomeroy, W B. & Martin, C. E. (1948). Sexual behavior in the human male. Filadelfia: W B. Saunders Company.

Lautenschlager, G. J. & Meade, A. W. (2008). Alphatest: A Windows program for tests of hypotheses about coefficient alpha. Applied Psychological' Measurement, 32, 502-503. http://dx.doiorg/10.1177/0146621607312307.

Lawshe, C.H. (1975). A quantitative approach to content validity. Personnel Psychology, 28, 563-575. DOI: 10.1111/j.1744-6570.1975.tb01393.x.

Levant, R. F.; Wu, R. & Fischer, J. (1996). Masculinity ideology: A comparison between U.S. and Chinese young men and women. Journal of Gender, Culture and Health, 1 , 217-220.

Lingiardi, V., Baiocco, R. & Nardelli, N. (2012). Measure of internalized sexual stigma for lesbians and gay men: a new scale. Journal of homosexuality, 59(8), 1191-1210. http://dx.doi.org/10.1080/00918369.2012.712850.

Locke, J. (1998). Treatment of homophobia in a gay male adolescent. American Journal of psychotherapy,52, 202-214.

López-Pina, J. A. (2009). El análisis paralelo de Horn: Un estudio Montecarlo de las ecuaciones de regresión para la selección de componentes. Avances en Medición, 7, 31-42.

Ferrando, P. J. & Anguiano, C. (2010). El análisis factorial como técnica de investigación en Psicología, Papeles del psicólogo, 31(1), 18-33.

Martin, J. L. & Dean, L. L. (1987). Ego-dystonic homosexuality scale. Available from School of Public Health, Columbia University.

Meyers, L. S., Gamst, G. & Guarino, A. J. (2006). Applied multivariate research. Thousand Oaks, California: Sage.

Meyer, I. H. (1995). Minority stress and mental health in gay men. Journal of Health and Social Behavior. 36, 38-56.

Meyer, I. H. & Dean, L. (1998). Internalized homophobia, intimacy and sexual behavior. In: G. M. Herek (Ed.). Psychological perspectives on lesbian and gay issues (pp. 160-186). Thousand Oaks (CA): Sage. (Stigma and sexual orientation. Unders-tanding prejudice against lesbian, gay men, and bisexuals, 4).

Ministerio de Salud. (1993). Resolución 8430 de 1993: Normas científicas técnicas y administrativas para la investigación en Salud. Bogotá: Minsalud.

Montero, I. & León, O. G. (2007). A guide for naming research studies in Psychology. International Journal of Clinical and Health Psychology, 7(3), 847-862.

Moral, J.; Valle, A. & Martínez, E. (2013). Evaluación del rechazo hacia la homosexualidad en estudiantes de medicina y psicología con base en tres escalas conceptualmente afines. Psicología desde el Caribe, 30(3), 526-550.

Moral, J. & Valle, A. (2014). Las dos dimensiones del rechazo a las personas homosexuales, Archivos de Medicina, 14(1), 103-116.

Muñiz, J., Elosua, P. & Hambleton, R. K. (2013). Directrices para la traducción y adaptación de los tests (2^a. ed.). Psicothema, 25(2), 151-157.

Newcomb, M. E. & Mustanski, B. (2010). Internalized homophobia and internalizing mental health problems: A meta-analytic review. Clinical Psychology Review, 30(8), 1019-1029. doi: 10.1016/j.cpr.2010.07.003.

Nielsen, N. R., Kristensen, T. S., Schnohr, P. & Gronbaek, M. (2008). Perceived stress and cause-specific mortality among men and women: results from a prospective cohort study. American Journal of Epidemiology, 168, 481-491. doi: 10.1093/aje/kwn157.

Nunnally, J. C. & Bernstein, I. J. (1995). Teoría psicométrica. México: McGraw-Hill.

O'Hanlan, K.A., Cabaj, R. P., Schatz, B., Lock, J. & Nemrow, P. (1997). A review of the medical consequences of homophobia with suggestion for resolution. Journal Gay Lesbian Medical' Association, 1, 25-40. DOI 10.1023/B:jOLA.0000007009.83600.ae.

Pereira, H. & Pereira I. (2005). Medindo a homofobia internalizada: A validacáo de um instrumento. Análise Psicológica, 3(XXIII), 323-328.

Ross, M. W & Rosser, B. R. S. (1996). Measurement and correlates of internalized homophobia: a Factor analytic study. Journal of Clinical Psychology, 52(1), 15-21.

Ross, M. W., Rosser, B. R. & Smolenski. D. (2010).The importance of measuring internalized homophobia/homonegativity. Archives Sexual Behavior, 39, 1207-1209. http://dx.doi.org/10.1007/s10508-010-9634-z.

San Martín, S. (2003). Depuración de escalas en marketing. Metodología de Encuestas, 5, 183-209.

Stevens, J.P. (2002). Applied multivariate statistics for the social sciences (4^th ed.). Mahwah, New Jersey: Lawrence Erlbaum Associates.

Streiner, D. L. (1994). Figuring out factors: the use and misuse of factor analysis. Canadian Journal of Psychiatry, 39,135-140.

Shidlo, A. (1994). Internalized homophobia: Conceptual and empirical issues in measurement. In B. Greene & G. M. Herek (Eds.). Lesbian and gay psychology: Vol. 1. Theory. research and clinical applications (pp. 176-205). Thousand Oaks, CA: Sage.

Van Ittersum, K., Pennings, J. M., Wansink, B. & Van Trijp, H. (2007). The validity of attribute-importance measurement: A review. Journal of Business Research, 60(11), 1177-1190. doi:10.1016/j.jbus-res.2007.04.001.

Villagrán Vázquez, G., Delgado Añorve, K. & Solís Zamudio, E. (2000). Homofobia internalizada y revelación de homosexualidad. La Psicología Social en México, 8, 763-769. (Escala de homofobia internalizada, adaptación de: Hoppe, S. (1995). STARProject. University Hospital, University of Texas in San Antonio).