Competencias del recién egresado de la licenciatura en psicología

Sandra Castañeda Figueiras*
sandra@servidor.unam.mx

* Laboratorio de Evaluación y Fomento det Desarrollo Cognitivo y el Aprendizaje. Posgrado, Facultad de Psicología, unam.

Resumen

Aun cuando se asume que la formación del licenciado en Psicología se fundamenta en principios académico - profesionales, altamente apreciados y comúnmente compartidos por académicos distinguidos de las instituciones formadoras, a la fecha se cuenta con evidencias insuficientes que permitan un análisis crítico acerca de su uso. Brechas importantes entre lo establecido y la realidad de la oferta educativa generada en este sentido plantean problemas serios que deben ser superados. Este trabajo aborda evidencias curriculares, un marco de trabajo y resultados derivados de una línea de investigación, desarrollada en México, cuyo interés ha sido aportar conocimiento acerca de mecanismos responsables del desarrollo de la pericia profesional en la formación académica del licenciado en Psicología. Asimismo, aborda avances y limitaciones de lo realizado hasta hoy.

Palabras claves: Formación en psicología, oferta educativa-psicología.

Abstract

Although it is assumed that the formation of the Bachelor of Arts in Psychology is based on academic- professional principies, which ate highly appreciated and commonly shared by distinguished academics of the training institutions, to ihe date, theie is insufficient evidence to allow a cntical analysis of its use. Important breadles between norms and the reality of the educative supply generated in this sense créate serious problems that must be overeóme. This work approaches curricular evidences, a fíame ofwork and results derived from a line of investigation, developed in México, whose interest has been to provide knowledge about mechanisms responsible for the development of professional skills in the academic formation of the Bachelor in Psychology. It also approaches advances and limitations of what has been done up to now.

Key wotds: Formation in psychology, supply educative-psychology.

INTRODUCCIÓN

En el campo del estudio del desarrollo de la pericia profesional es ampliamente reconocido que la educación formal, en el inicio, y los procesos de educación no formal, después, le aportan al practicante de una disciplina las competencias, iniciales y avanzadas, necesarias para ajustar su práctica profesional a los cambiantes requerimientos de la vida de trabajo. Sin embargo, el entendimiento de cómo se desarrollan las competencias iniciales en la formación académica, y las avanzadas en la práctica profesional independiente, es asunto insuficientemente atendido por la investigación. Esto es particularmente crítico en nuestro medio, donde el estudio de los perfiles de las competencias deseables, en los diversos ciclos formativos y en los variados campos de aplicación de la psicología, se encuentra "en mantillas". Mucho menos se conocen los mecanismos que dan cuenta de la transición entre unas y otras competencias.

En México, y aun cuando la formación del licenciado en Psicología se basa, teóricamente, en fundamentos altamente apreciados y comúnmente compartidos, académicos y profesionales competentes reconocen brechas importantes entre lo establecido y la realidad de la oferta educativa generada. a todas luces, generar evidencias que nos permitan ganar comprensión en los mecanismos responsables del desarrollo de la pericia profesional en la formación académica del licenciado en Psicología, es una tarea compleja pero necesaria. Si se desconoce la naturaleza de las competencias involucradas y no se identifican los mecanismos responsables del desarrollo gradual de los niveles de pericia en ellas, difícilmente se podrán fomentar para lograr la pericia profesional deseada y mucho menos podremos certificarlos válidamente. En este contexto, nos interesó indagar evidencias disponibles acerca de la naturaleza y los mecanismos que favorecen u obstaculizan la pericia en el recién egresado de la licenciatura en psicología pero, también, generar las evidencias no disponibles que nos permitieran profundizar la comprensión en el fenómeno para derivar, en el futuro, mejora basada en hallazgos confiables más que en meras observaciones casuísticas.

Con esta perspectiva en mente, se asumió que la medición de resultados de aprendizaje de la licenciatura constituye una parte integral del proceso general de formación del psicólogo y que la medición de las competencias desarrolladas en este nivel sería más útil en la medida en la que se encontrara más cercana al recién egreso de las instituciones formadoras. La noción central planteó que si bien es cierto que la formación académica, en un nivel inicial de competencias profesionales, no asegura que al término de los estudios de la licenciatura en psicología se tenga la capacidad para actuar con éxito como profesional competente, también lo es el que una buena formación inicial lo habilitaría para introducirse, de una manera más eficiente, al campo del psicólogo principiante.

Pero, para la experiencia que aquí se detalla, la insuficiencia de antecedentes documentados acerca de lo que significa egresar un licenciado competente en Psicología, generó la inquietud por identificar referentes, curriculares y empíricos, que permitieran abrir la caja negra del qué, del cómo y del hasta dónde de la formación en la licenciatura (Castañeda, 2002a).

Con base en este interés y dada la carencia de información acerca de qué es lo que realmente aprenden los estudiantes —por priorizar, en la práctica, la función administrativa a expensas del control de calidad que la evaluación debe ejercer sobre ellos—, se consideró importante utilizar la examinación a gran escala, como artefacto privilegiado, para obtener información que nos permitiera identificar factores que hubieran mostrado ser buenos predictores del éxito académico.

La consulta de la literatura contemporánea enfatizó, como actividad inicial, construir cuidadosamente el diseño de observación en el que se basaría la construcción de la examinación. En él se identifican y justifican, teóricamente, los constructos que guían la examinación, es decir, la selección y arreglo de los componentes que hacen factible inferir la calidad en los resultados de aprendizaje que se desea medir. De esta manera, los componentes de la examinación debían hacer explícitas las suposiciones (constructos) y establecer con claridad cómo y en qué diferirían los recién egresados más competentes de los menos competentes. Esto sólo es factible cuando las propiedades de medición son las más adecuadas para medir lo que se desea y cuando, en consecuencia, la utilidad de la evidencia generada por ellas permite derivar inferencias válidas.

En vías de satisfacer este requisito, se seleccionó un marco de trabajo que permite identificar componentes críticos de tareas complejas que reflejan pericia. a partir de premisas explicativas de naturaleza cognitiva, el marco fue construido en la Universidad Nacional Autónoma de México. Esta aproximación resulta útil cuando la medición tradicional de resultados a gran escala se ajusta, esencialmente, a necesidades prácticas de abatir costos en la calificación de las respuestas. Está de más decir que esta práctica ha generado un uso indiscriminado de reactivos objetivos que intentan medir habilidades intelectuales de orden superior basadas en taxonomías obsoletas, con fundamentación teórica y empírica cuestionable.

Para superar la limitación arriba planteada, el diseño de observación utilizado para identificar las competencias deseables en el recién egresado, utilizó el marco multicomponencial de Castañeda (1993, 1998, 2002b), porque descompone, en sus elementos críticos, una tarea criterio compleja mediante variados análisis cognitivos. Sus productos identificaron gradientes de complejidad ascendente donde las fallas y los logros del recién egresado pueden ser interpretados a partir de una estructura que organizabloques de conocimientos, habilidades y disposiciones. Dado que la medición es un proceso inferencial, el marco de trabajo permite asegurar que las regularidades observables en la ejecución del sustentante reflejen, con precisión, distinciones significativas en los constructos utilizados.

El desarrollo del perfil de competencias

Ante la inexistencia de un perfil general que estableciera los mínimos requeridos a un recién egresado de la licenciatura en Psicología en el país, desarrollado colegiadamente y validado por especialistas, se trabajó en la documentación que permitiera su establecimiento, toda vez que éste serviría de base para construir la exami-nación requerida. El reto representaba ir más allá de un enfoque basado en un currículo ideal preexistente.~La examinación no debía medir qué tan bien habían alcanzado los recién egresados el dominio en un contenido curricular particular a una institución, más bien, debía evaluar la extensión en la cual los recién egresados habían adquirido los conocimientos, las habilidades y los valores básicos, es decir, las competencias claves, comunes a todas o casi todas las instituciones formadoras, las transcurriculares, que aseguraran los mínimos necesarios para comenzarla vida profesional (Castañeda, 1999).

Así, el foco inicial se dirigió a construir un perfil que integrara, en competencias significativas, los principios académico profesionales representativos de lo que los especialistas nacionales (y extranjeros) consideran como esencial, significativo y de calidad incuestionable en la formación. Con este fin, se analizó sistemáticamente el 72% de los planes y programas de estudio disponibles e investigaciones nacionales acerca de la enseñanza de la disciplina. El juicío de expertos jugó un papel sustancial. 63 académicos, de alto nivel, conocedores y comprometidos con el desarrollo de la profesión en el ámbito nacional, identificaron, entre otros aspectos, los siguientes problemas importantes:

Distribución desigual en los contenidos que se enseñan y en las cargas curriculares para hacerlo. A partir del material disponible, la mayor carga curricular identificada —41% en formación básica y 22% en la específica— correspondió a contenidos teóricos, 63% en total; el segundo lugar (20%) lo ocuparon contenidos metodológicos —también de la formación básica. En contraste, la menor carga curricular correspondió a contenidos técnicos, tanto del área básica como de la específica (17% en total). Las cargas fueron identificadas por expertos, a partir de un análisis sistemático de los contenidos de todas las asignaturas contenidas en los mapas curriculares disponibles. La inclusión de las asignaturas en los ejes curriculares fue validada por jueces ( 86% de acuerdos). La gráfica 1 muestra la distribución de cargas curriculares en la formación básica con referencia al total de asignaturas de los planes de estudio.

Como se puede observar en la gráfica 1, fundamentos filosóficos - epistemológicos, psicosociales y psicobiológicos del comportamiento, tanto como los de las bases históricas de la psicología, mostraron cuestionables porcentajes menores. Nótese que la categoría "Otras disciplinas" presenta un porcentaje mayor a varios fundamentos de la disciplina, por ejemplo, los de las bases biológicas. El patrón anterior se reprodujo en las cargas curriculares de las áreas tradicionales de la formación - clínica, educativa y del trabajo (gráfica 2). Aunado a esto, el peso curricular de los contenidos de las áreas específicas, en contraste con los del total de los planes de estudio, es bajo (30% del total posible).

Aunado a lo anterior, los expertos también identificaron que: a) la formación se ha atado más a contenidos teóricos de la disciplina que a contenidos y prácticas formativas que propicien una adecuada vinculación entre la formación teórica y la práctica profesional; b) las estrategias instruccionales y los mapas curriculares mostraron que los egresados han recibido información más que formación sobre fundamentos teóricos, metodológicos y técnicos de la disciplina; c) la enseñanza es, en su mayoría, enciclopédica y la curricula nacional está centrada en contenidos más que en la formación integral del estudiante; d) el fomento al desarrollo de las competencias profesionales rara vez es apoyado por estancias prolongadas en escenarios reales que propicien el aprendizaje situado de los conocimientos, habilidades y valores clave de la disciplina y e) la enseñanza es más reproductiva que de resolución de problemas de la vida real.

Con base en las evidencias curriculares y empíricas recabadas y tomando en cuenta principios que especialistas nacionales y extranjeros (apa, aps y Federación Europea de Psicólogos) consideran como esenciales, significativos y de calidad incuestionable para la preparación del psicólogo se establecieron, colegiadamente, las competencias y sus contenidos.

Así se establecieron: a) un perfil apriorístico de competencias genéricas, validado entre los involucrados; b) criterios cuya satisfacción asegurara que las competencias incluidas en el perfil representaran lo que es esencial y de alta generalidad en el dominio de fundamentos teórico-metodológicos, técnicos y valórales, característicos de las competencias iniciales deseables en un recién egresado; c) la relevancia de conocimientos, habilidades y valores para una práctica profesional inicial, con base en tendencias actuales y emergentes a cinco años en el país; d) las funciones profesionales requeridas en los diversos campos y escenarios de la práctica profesional inicial; e) la extensión con la que serían evaluados conocimientos, habilidades y valores a fin de evitar sesgos innecesarios y, finalmente, f) los tipos de indicadores que permitieran establecerlos niveles logrados por los examinandos. Éstos fueron operacionalizados en operaciones cognitivas que harían evidente el manejo del contenido.

Establecer el Perfil final requirió, durante ocho meses de trabajo intenso, de la participación de más de 700 psicólogos de 51 escuelas y facultades y de 7 asociaciones, colegios o instituciones del sector público y privado. El Perfil estableció siete competencias genéricas, interdependiente, de cuya medición se debería obtener información útil para guiar acciones que aseguraran una formación profesional de calidad. La figura 1 muestra las siete competencias genéricas que lo conformaron.

La validación apriorística de las competencias se realizó tomando en cuenta dos aspectos: por una parte, la identificación por análisis funcional y validada entre expertos, de los constructos que a juicio de los especialistas representarían los resultados de aprendizaje que los examinandos deberían mostrar al término de sus estudios de licenciatura y, por la otra parte, las demandas cognitivas identificadas mediante análisis cognitivo de tareas y validadas por jueces independientes. El porcentaje de acuerdo, en ambos casos, fue superior al 90%. Participaron 600 especialistas de todas las áreas de formación, de todas las regiones del país. Lograrlo requirió utilizar la técnica Delphi modificada ex profeso para colectar información proveniente de diversas regiones, así como paneles de expertos para establecer consensos.

Los contenidos que se iba a evaluar

El paso siguiente fue delimitar y validar (por jueces) los contenidos que iban a ser incluidos. Involucró el trabajo de 515 psicólogos de las instituciones formadoras y de asociaciones, colegios e instituciones de servicio del sector público y privado. Requirió 15 meses completar la actividad debido a la necesidad de revisar, de manera continua e interactiva, los avances parciales. Cuidar la correspondencia entre los contenidos y la naturaleza de cada competencia, tanto como con la interdependencia establecida entre ellas, llevó a la identificación de un universo de referencia basado en la pertinencia, relevancia y calidad científica incuestionable, lo que aseguró máxima utilidad del Perfil. En el análisis y en el establecimiento de los consensos se tomaron en cuenta la heterogeneidad de demandas regionales y la desigualdad financiera entre las instituciones formadoras.

La experiencia de construir un perfil nacional de las competencias deseables en el egresado de la licenciatura en Psicología fue inédita en México. La aproximación seguida fue una mezcla original de: a) juicios de expertos y b) datos derivados del análisis de: i) planes de estudio, mapas curriculares, perfiles de egreso y programas de materias; ii) del análisis sistemático de los contenidos incluidos en ellos, iii) de investigaciones sobre matrícula, egreso, titulación y dinámica del mercado de trabajo y iv) de análisis funcional de competencias y cognitivo de tareas. A partir de los resultados presentados hasta aquí, es posible estimar el potencial que un buen diseño de observación tiene para apoyar la construcción de exámenes e, importantemente, para desarrollar investigación que de luz sobre fenómenos como los aquí descritos.

El diseño de medición y el examen de egreso derivado

A la luz de los planteamientos antecedentes, el diseño de medición del examen utilizó un modelo de desempeños críticos que incorpora la medición de los conocimientos, habilidades y valores establecidos, capaz de superar deficiencias de los que solamente atan la interpretación de los resultados del examen a puntuaciones promedio, derivadas de mediciones atomizadas y ligadas sólo a contenidos, como ha sido la aproximación tradicional en el campo. El diseño de medición generado para el examen sirvió para construir el universo de medida del examen porque permitió representar a) los desempeños críticos (conocimientos, habilidades y valores claves) y b) las características de las tareas y de los reactivos que hipotéticamente deberían interactuar con esos conocimientos, habilidades y valores. Incorporó medición criterial, sustentada en modelos cog-nitivos.

Tipologías de operaciones cognitivas y de unidades de medida

■ De las operaciones cognitivas

Se realizó un análisis de contenido de los objetivos de aprendizaje de los 2.060 programas de materia que no se repetían en los planes de estudio. Interesó agrupar en categorías inclusivas, de dificultad creciente, aquellos verbos que denotaban las acciones que deberían ejecutar los estudiantes como resultados de aprendizaje. De esta manera se identificaron tres cortes discretos en la ejecución esperada, y con base en la validación realizada de estos cortes se establecieron las operaciones cognitivas en las que serían evaluadas las competencias en el examen. Éstas fueron:

• Comprender y organizar lo aprendido. Es el nivel mínimo requerido en el que se puede mostrar el dominio sobre los contenidos establecidos. Evalúa la capacidad para identificar, clasificar, ordenar y jerarquizar hechos, conceptos, principios y fundamentos psicológicos, de manera no literal a como aparecen en los materiales originales.

'Aplicarlo aprendido. Es el nivel intermedio requerido en el examen. En él, el sustentante puede mostrar su dominio y pericia en la comprensión y utilización adecuada de conceptos, principios, procedimientos, técnicas, rutinas e instrumentación, acordes con el nivel científico en el que se les reconoce. En general, evalúa la capacidad para integrar la teoría con las habilidades técnico-metodológicas en la práctica profesional.

• Resolverproblemas. Es el de mayor nivel de complejidad. En él, el sustentante puede mostrar su dominio y pericia en la comprensión y utilización de los conocimientos y habilidades para resolver situaciones y problemas específicos. Evalúa su capacidad para analizar, sintetizar y evaluar conceptos, principios, métodos, técnicas, procedimientos, estructuras de tareas y de planes de acción, en función de ios principios de adecuación, organización y valores profesionales requeridos ante situaciones problemáticas diversas, novedosas o rutinarias, así como para identificar y corregir errores importantes y proponer cursos de acción adecuados.

■ Tipología de las unidades de medida

Los cuerpos académicos déterminaro que el Examen de Egreso de la licenciatura en Psicología fuera un examen objetivo, por lo que estableció que el tipo de reactivo que se debía utilizar fuera el de opción múltiple, con cuatro opciones de respuesta cada una, de las cuales sólo una es correcta y el resto fueran tres distractores verosímiles. Así, emplea cuatro tipos de formatos, ampliamente utilizados en las pruebas objetivas. Su utilización (aislada o en combinación) permite la elaboración de reactivos capaces de poner a prueba diferentes tipos de contenidos y diversos niveles de complejidad cognoscitiva (Haladyna, 1994). Los formatos a los que nos referimos son: Simple, Ordenamiento, Apareamiento y Grupo de reactivos dependientes del contexto (multirreactivo).

La selección de estos tipos de formato de opción múltiple obedeció a:

• Su versatilidad, flexibilidad y adaptabilidad. Los reactivos de opción múltiple pueden medir tanto la comprensión de las nociones fundamentales como la habilidad del sustentante para organizar, razonar, aplicarlo aprendido y resolver problemas propios de su formación y quehacer profesional inicial. Tienen la capacidad de evaluar diversos grados de complejidad, a partir de una gama amplia de formatos, siempre y cuando su construcción considere tales grados.

• Sufacilidad de calificación. Son calificados de manera rápida y exacta por computadora, lo que resulta indispensable cuando se requiere evaluar poblaciones extensas, ofrecer resultados rápidamente y evitar errores humanos.

• Su claridad. Permiten una mejor comunicación entre los evaluadores y el sustentante, al ganar precisión y perder ambigüedad sobre lo que se está evaluando.

El examen de egreso evalúa, hasta la fecha, componentes significativos de: a) la formación básica común a todo recién egresado y b) de la formación específica en una de cuatro áreas de aplicación: Clínica, Educativa, Industrial y Social. Es un examen objetivo que evalúa las competencias establecidas como esenciales para una práctica profesional inicial de buena calidad. Se toma por decisión voluntaria, personal o institucional, y es independiente de los procesos de evaluación o certificación que realizan las instituciones de: educación superior. Está dirigido a los psicólogos que hayan cubierto el 100% de los créditos, estén titulados o no. Evalúa el domi-' nio y la pericia sobre conocimientos, habilidades y valores esenciales, comunes, significativos y de"buena calidad para:

- comprender los fundamentos teóricos de la disciplina, tanto en el ámbito de la formación básica como en el de la formación específica del área en la que se desenvuelve el sustentante;

- utilizar las estrategias, los procedimientos y la instrumentación adecuados para resolver las demandas planteadas en los campos de aplicación profesional, así como para recopilar, organizar, analizar e interpretar información cuantitativa y cualitativa para traducirla a eventos psicológicos;

- seleccionar y aplicar técnicas, instrumentación y procedimientos psicológicos para la observación, detección, diagnóstico, intervención, evaluación, prevención y desarrollo, así como para interpretar y comunicar los resultados derivados de su función profesional;

- contextualizar su práctica profesional con base en la realidad social nacional;

- combinar la teoría con las habilidades técnicas requeridas en la práctica profesional;

- anticipar y ajustarse a cambios importantes que afecten su quehacer profesional y

- dominar los valores profesionales, el respeto a la diversidad y la promoción de lo justo y equitativo.

Es un examen objetivo, de opción múltiple con cuatro opciones de respuesta cada una de las cuales sólo una es correcta y el resto son tres distractores verosímiles. Está compuesto por 300 reactivos. Evalúa resultados de aprendizaje, no los insumos ni los procesos para lograrlos. La porción común del examen representa el 62% y la específica el 38% en el total del examen. Es de naturaleza criterial para calificar el logro de las competencias incluidas en él, lo que permite comparar el puntaje obtenido por el sustentante con los estándares de calidad establecidos.

Los reactivos del banco del examen fueron calibrados con técnicas de calibración clásica (iteman, 1993) y con dos calibradores basados en la Teoría de Respuesta al ítem (bigsteps, 1994, rascal, 1992). Se seleccionaron los reactivos que satisficieron los parámetros establecidos por los diferentes calibradores y cuando los parámetros arrojados por un calibrador para un reactivo específico lo hicieron dudoso, se compararon con los de los otros calibradores para tomar la decisión de incluirlo o excluirlo de las versiones de examen.

Hasta aquí se han presentado datos acerca de referentes curricu-lares y los fundamentos de la racional seguida para construir el diseño de observación y su derivado, el examen de egreso. Pero esto representa sólo una parte pequeña de la tarea compleja, pero necesaria, de identificar la naturaleza de las competencias involucradas. Queda ahora presentarlas evidencias generadas para identificar mecanismos responsables del desarrollo gradual de los niveles de pericia en ellas. No se presentarán datos técnicos al respecto de la validación y confiabilización del instrumento que las generó, el examen de egreso, porque el objetivo de este artículo no es éste.

El rendimiento de los sustentantes en la examinación

Los índices ceneval de logro medio, índices estandarizados, reflejan que en todos las competencias se rebasó el criterio Ceneval (1.000), lo que permite considerarlas como de Rendimiento Satisfactorio (véase gráfica 3).

En la misma gráfica, todos los logros máximos en las competencias medidas rebasan el criterio de 1.150 puntos ceneval, por lo que es posible establecerlas como de Alto Rendimiento. En cambio, las puntuaciones mínimas no satisfacen el criterio Ceneval para considerarlas de Rendimiento satisfactorio. En términos generales, es posible establecer que son las competencias Etica y Adaptatíva (porción común), así como las Conceptual, Técnica y Contextual (porción específica), las que establecen las diferencias entre los niveles alcanzados en el examen.

La gráfica 4 muestra que las puntuaciones medias y máximas, por porción común y específica no difieren sensiblemente, pero las mínimas se dan en la específica.

A partir de estas evidencias, interesó indagar las coocurrencias entre las competencias de la porción común y las de la porción específica, con el fin de llegar a una mejor comprensión del poder explicativo que el logro en ellas tendría sobre los niveles obtenidos en el puntaje global del examen y en el puntaje específico de cada una de las tres áreas de formación (Clínica, Educativa y del Trabajo). Dado que las competencias de la porción común representan conocimientos y habilidades generales y las de la porción específica, conocimientos y habilidades dependientes del campo de formación particular, se esperaría que las primeras predijeran, importantemente, el logro Alto en las segundas y que éstas lo hicieran en el puntaje total del examen.

Los resultados mostraron que las competencias de la porción común aportaron muy poca explicación del logro en las porciones específicas y en los dos niveles de logro analizados {Altoy Bajo). El logro Bajo sólo fue predicho en Clínica por las competencias Conceptual y Técnica, pero su poder fue bajo. En Educativa y del Trabajo, el logro Alto fue explicado por las competencias Metodológica y Conceptual, pero su poder explicativo también fue bajo.

En cambio, las competencias de la porción específica mostraron mayor poder explicativo en los logros Bajo y Alto, en el punta/e total del examen. El logro Alto en el puntaje global del examen fue explicado muy eficientemente por todas las competencias de la formación Clínica. En Educativa y del Trabajo se encontró lo mismo. Es de hacerse notar que para todas las áreas estudiadas, la competencia que mostró la mejor explicación parcial fue la Integrativa. La explicación del logro Bajo en el puntaje total del examen, a partir de las competencias de la porción específica fue aceptable. En Clínica explicó el 40% de la varianza e involucró todas las competencias medidas, en Educativa explicó el 74% de la varianza e involucró a tres de las cuatro competencias, y en el área del Trabajo explicó el 92% e involucró tres competencias. En dos de las tres áreas, la competencia Conceptual fue la que explicó mejor el logro Bajo.

La consistencia en las coocurrencias de la competencia Integrativa para explicar el logro Alto en el Puntaje General del examen, hace posible establecer su importancia en la ejecución eficiente. Sugiere que una buena cantidad de las diferencias individuales entre examinandos puede estar siendo causada por ella. De igual manera, la consistencia de la competencia Conceptual para explicar el logro Bajo en el Puntaje General del examen, sugiere, también, la importancia que ésta tiene en la explicación de ejecución deficiente.

Variables endógenas y exógenas

Debido a que la medición de egreso requiere de una extensa variedad de fuentes de estimación dada su complejidad, se diseñaron materiales auxiliares para identificar las relaciones entre lo que mide el examen y otras variables importantes que no se estiman directamente en él pero que, indiscutiblemente, interactúan con él para configurar el span nomotético en el que las redes de interrelaciones entre unos y otras se entrelazan. De esta manera, se dispuso de información endógena (variables relacionadas con el contexto de medición) y exógena (capital cultural de los sustentantes y su familia, por ejemplo) que permite modelar estructuralmente relaciones causales que explican niveles diferenciales del logro en los sustentantes.

Para este fin, se construyó una herramienta que permite identificar características del capital cultural de los sustentantes, de sus contextos familiar y formativo, de su experiencia laboral y de valoraciones acerca de sus estilos y orientaciones motivacionales para aprender, de igual manera recaba información sobre las valoraciones de los sustentantes acerca de la psicología como disciplina científica y como profesión.

Con base en los datos generados por este instrumento se identificaron resultados del logro de los sustentantes en el examen en relación a variables contextúales o exógenas. Entre ellos los siguientes:

• Género. La ji cuadrada entre Género y Nivel de logro Ceneval (índice estandarizado) identificó independencia entre ellos (X² = 5.23,2 gl-,p — .07). El género no generó diferencias en el logro académico en el examen.

'Edad. Se identificaron diferencias significativas,F(9-932) = 4.15, p = .000, a favor de los sustentantes con menor edad, los de recién egreso.

• Trabajo relacionado. Hay diferencias significativas, F(2,1760) = 6.95, p = .001, en el logro obtenido en el examen cuando los sustentantes laboran en actividades congruentes con formación académico - profesional.

• Escolaridad delpadrey de la madre. Hay diferencias significativas a favor de la mayor escolaridad de los padres. Para el caso del padre se obtuvo una F{\2-22\2) = 6.57, p = .000) y para la de la madre una F(12-2230) = 4.02, ¿ = .000).

• Elección de la profesión. La gráfica 5 muestra que la razón para elegir la profesión no influyó sobre los niveles obtenidos en el examen.

La gráfica 7 muestra valoraciones sobre cambios requeridos en la vinculación teoría práctica, la estructura del Currículo y las prácticas de campo.

• Cambios en prácticasjormativas. Los egresados consideran necesario actualizar a los docentes en técnicas profesionales modernas, así como incrementar prácticas profesionales in situ.

• Evaluación realizada por los docentes. Las valoraciones consideran deficiente la realimentación que los docentes brindan para apoyar el aprendizaje (gráfica 10).

• Régimen de sostenimiento de la institución de origen:públicayprivada. No se identificó una tendencia clara del régimen de sosteriimiento de las instituciones de origen de los sustentantes sobre los índices obtenidos en el examen.

El Perfil y los contenidos del examen han servido para orientar a las instituciones formadoras: cinco han modificado sus planes de estudio con base en el perfil del examen y otras tres se encuentran en el proceso; cuatro instituciones han cambiado de un currículo orientado por sylabus, de naturaleza acumulativa, a un currículo por competencias, de naturaleza integral; los datos generados por el examen han servido de insumo para diseñar cursos de preparación en competencias que presentan deficiencias y los contenidos incluidos en el examen, así como las referencias bibliográficas recomendadas para prepararlo han servido, también, para orientar mejoras en los acervos bibliotecarios de las instituciones formadoras.

Comentarios finales

Hasta aquí se han descrito desarrollos y análisis diversos que representan esfuerzos por identificar el qué y el cómo de resultados de aprendizaje de la formación de licenciados en Psicología en México.

Hasta el momento, la indagación ha estado centrada en nociones y procedimientos cognitivos y en medidas propias a un examen general de egreso de naturaleza objetiva, estandarizado y a gran escala.

Pero, aun cuando la racional que subyace a la medición de egreso presentada en este trabajo puede ser útil para incrementar la utilidad educativa de exámenes de egreso, dado que apoya al especialista a ganar autenticidad (molar y molecular) en las medidas utilizadas y a mejorar la transparencia en el qué, cómo, cuándo, para qué, hasta dónde y por qué se mide, se requiere que la gestión pedagógica en las instituciones formadoras utilice, prepositivamente, toda la información generada para implementar los cambios requeridos.

A este momento de la lectura del trabajo aquí descrito, el lector está en capacidad de derivar inferencias acerca del trabajo realizado y, sobre todo, del trabajo que falta por realizar para entender, cabalmente, los mecanismos responsables de resultados de aprendizaje. Los marcos y herramientas desarrollados han tratado responder a cuestionamientos del por qué es necesario investigar resultados de aprendizaje en el egreso de la licenciatura, del qué nociones y procedimientos cognitivos permiten crear puentes entre la teoría y la práctica en la medición contemporánea y del hasta dónde ha sido posible avanzar en un sistema de medición objetivo, estandarizado y a gran escala. Sin embargo, quedan en la agenda, sin lugar a dudas, muchas preguntas por ser contestadas para mejorarla. La medición del egreso de la licenciatura en Psicología, en este momento, dista mucho de satisfacer el papel prominente que debe jugar. Para lograrlo se requiere asegurar que:

Las políticas de medición de resultados de aprendizaje en la educación superior establezcan la obligatoriedad de la examinación para todos los egresados, de todas las instituciones de educación superior que forman psicólogos. Sólo así se podrá cumplir, a cabalidad, el control de calidad que la evaluación debe ejercer sobre la oferta generada y prescribir las estrategias de mejora. Bajo tal obligatoriedad, las instituciones cumplirán con la obligación de rendir cuentas a la sociedad civil, cosa que a la fecha no se cumple. Sin embargo, habrá de evitarse caer en el vicio de financiar sólo a instituciones educativas con buenos puntajes en los exámenes. La evaluación no es un fin en sí misma, más bien es un medio para obtener información que nos permita mejorar.

Asimismo, los centros que generan exámenes de egreso deberán asegurar que las nociones que fundan su construcción sean teóricamente sólidas y basadas en aproximaciones contemporáneas de la medición de resultados de aprendizaje, con fuerte sustento en hallazgos de investigación rigurosa. De aquí que sus especialistas deban ser expertos, ampliamente reconocidos por su obra en el área, con pericia probada mediante evidencias incuestionables acerca de sus competencias teóricas, metodológicas y técnicas para asegurar la calidad en todos los pasos requeridos por la medición. Si los especialistas no pueden explicar por qué determinadas acciones son mejores que otras en lo que quieren medir, su pericia no será de utilidad para la toma de decisiones requerida. Es necesario enfati-zar en este punto, como lo hizoMessick (1994), que validez, confia-bilidad, comparabilidad y equidad no son solamente requisitos de la medición, sino valores sociales que tienen significado y fuerza fuera de la medición, en tanto fundamentan juicios evaluativos y decisiones muy importantes para los usuarios.

También es prioritario extender la actitud inquisitiva de la investigación para: a) validar los procesos de examinación a gran escala, como se ha ejemplificado en este trabajo; b) identificar cuáles son los mecanismos que aseguran la adquisición de las competencias que contribuyen a la empleabilidad de los jóvenes colegas, en una sociedad cambiante como la actual y c) identificar condiciones y estrategias idóneas para fomentar el logro de niveles de desempeño altos en la formación profesional, con base en datos generados por indagación sistemática de los resultados de aprendizaje.

Cabe ahora enfatizarse la inaplazable necesidad por diversificar el tipo de mediciones que deben ser incorporadas en exámenes estandarizados que, por su naturaleza, imponen demandas cognoscitivas a los sustentantes. De esta manera, se podrán medir habilidades intelectuales de orden superior, como son la aplicación de conocimientos in situ, el pensamiento crítico y creativo, la solución de problemas, la toma de decisiones y la misma autorregulación de la actividad personal. Y dado que las pruebas de respuesta construida requieren que el sustentante elabore, activamente, su propia respuesta y tome decisiones que van más allá de la simple elección de la opción correcta, resulta necesario incorporarlas a exámenes objetivos estandarizados. Con su inclusión, se identificarían riesgos potenciales en la formación de las habilidades intelectuales, se combatiría el rezago tecnológico en las agencias evaluadoras y se combatiría el indeseable efecto generado por la examinación a gran escala, el que los docentes sólo enseñen conocimientos memorísticos e inertes, dado que es lo que se pide en los exámenes.

En tanto los resultados de aprendizaje continúen mostrando que los alumnos no, o por lo menos no con suficiencia, dominan el conocimiento y las habilidades y valores subyacentes a aprendizajes significativos, complejos y para toda la vida, es menester, en el futuro inmediato, continuar los esfuerzos y aumentar, importantemente, la investigación en el área para diseñar situaciones que evalúen y promuevan las competencias iniciales y la autonomía profesional de los recién egresados.

Referencias

BIGSSTEPS (1994). Versión 2.5.

Castañeda, S. (2002a). Referentes curriculares y empíricos en la formación del licenciado en Psicología. En G. Vázquez (Ed.) Enseñanza, ejercicioy regulación de la profesión: Psicología (pp. 79-108). México: CONAPSI-SESIC.

-- (2002b). A cognitive model for learning outcomes assessment. lnternational Journal of Continuing Engineenng Education and Life-Iong Learning, 12(1-4), 106. UNESCO:UK.

-- (1999). Algunos referentes para un análisis crítico de la preparación profesional del licenciado en Psicología en México. Una experiencia colegiada. En G. Vázquez &J. Martinez (Eds.). Laformación del psicólogo en México (pp. 25-41). Cuadernos de Investigación. México: Universidad Latinoamencana.

-- (1998). Evaluación de resultados de aprendizaje en escenarios educativos. &vÚta Sonoren.re de Psicología, 12(2),57- 67.

-- (1993). Procesos Cognitivosy Educación Médica. México: UNAM.

ITEMAN (1993). Conventional l/em Anafysis Program, version 3.5. Sto Paul, Minnesota: Assessment Systems Corporation.

RAsCA!.(1992). Rash Analysis Programo version 3.5. Minnesota: Assessment Systems Corporation.