ISSN Electronico 2145-9444 ISSN Impreso 1657-2416 Volumen 22, enero - junio 2015 Fecha de recepción: 24 de enero de 2014 Fecha de aceptación: 3 de marzo de 2015 DOI: http://dx.doi.org/10.14482/zp.22.6025

ARTÍCULO DE INVESTIGACIÓN / RESEARCH REPORT

Jimmy Yordany Ardila Muñoz
Profesor de la Licenciatura en Informática y Tecnología de la Universidad Pedagógica y Tecnológica de Colombia, Tunja (Colombia) Ingeniero de Sistemas, Especialista en Educación con Nuevas Tecnologías, Master en Bioinformática, Estudiante de Doctorado en Ciencias de la Educación
Correos: jimmy.ardila@uptc.edu.co o jimmy.yordany.ardila@gmail.com

Edith Marcela Ruiz Cañadulce
Profesional de la Vicerrectoría en Educación Virtual de la Universidad de Boyacá, Tunja (Colombia) Ingeniera de Sistemas, Especialista en Entornos Virtuales de Aprendizaje, Estudiante de la Maestría en Entornos Virtuales de Aprendizaje
Correo: emruiz@uniboyaca.edu.co

Proyecto Subvencionado por la Universidad de Boyacá

Resumen

El grupo de investigación EDUTIC de la Vicerrectoría de Educación Virtual de la Universidad de Boyacá se encuentra desarrollando el proyecto "Estudio comparativo entre plataformas virtuales libres y la plataforma virtual propietaria de la Universidad de Boyacá". El objetivo es Identificar la plataforma virtual libre que se ajuste a las políticas del modelo pedagógico virtual de la Universidad de Boyacá con el fin de mejorar los servicios académicos que se ofrecen. El proyecto se sustenta en los modelos de calidad de software planteados en la ingeniería del software, así como en la revisión de los estándares de calidad definidos para la formación académica a través de e-learning y b-learning. Como resultado hasta el momento se ha logrado construir un conjunto de formatos de evaluación de LMS, los cuales se han agrupado en tres dimensiones: la dimensión del modelo pedagógico, la dimensión del usuario y la dimensión técnica.

Palabras clave: evaluación de LMS, TIC en educación.

Abstract

The EDUTIC research group belongs to the Vicerrectoría de Educación Virtual of the Universidad de Boyacá. This group Is responsible of the "Comparative study between open source virtual platforms and the property virtual platform of the Universidad de Boyacá". Its target is to identify the open source platform that adjusts to the virtual pedagogic model of Universidad de Boyacá, to improve the academic offer of the institution. The project is supported on the software quality models, of software engineering, just like the check of the quality standards to e-learning and b-learning education. In this moment the result is a set of formats to evaluate LMS in three dimensions: pedagogical model dimension, user dimension, and technical dimension.

Keywords: LMS evaluation, ICT in education.

Introducción

La Universidad de Boyacá es una institución privada de educación superior que desde su fundación se ha caracterizado por ser pionera en la inclusión de avances tecnológicos en procesos académicos y administrativos. La Vicerrectoría de Educación Virtual (VREV) es una de las dependencias que se encarga de esta tarea a través de la coordinación y el fomento de los procesos formativos con el uso de las tic. Desde 2005 la institución posee una plataforma propietaria sobre la cual se ofrecen cursos b-learning (enseñanza semipresencial) y e-learning (aprendizaje electrónico). Tiempo después, la VREV ha formulado unos lineamientos pedagógicos para la educación virtual, escenario que ha generado inconvenientes para la implementación de los lineamientos sobre el LMS.

Esa separación de los lineamientos pedagógicos con la plataforma virtual crea inconvenientes en aspectos como: la gestión de grupos de estudiantes, recursos de comunicación síncrona, herramientas para la gestión de sistemas de seguimiento y evaluación en línea del progreso de los estudiantes, así como para la elaboración de informes detallados y consolidados.

A ello se agregan los cambios tecnológicos y el crecimiento de la población de la universidad, con lo que la plataforma muestra algunas señales de obsolescencia al no existir interoperabilidad con herramientas de comunicación (Skype y Google Talk, entre otras) y redes sociales (Facebook y Twitter, entre otras), al no tener opciones para integrarse con otros LMS y porque funciona de manera correcta en un solo navegador web, lo que afecta el acceso y el uso por los usuarios.

Estas circunstancias han hecho que el grupo de investigación EDUTIC, adscrito a la VREV, haya formulado el proyecto de investigación "Estudio comparativo entre plataformas virtuales libres y la plataforma virtual propietaria de la Universidad de Boyacá", cuyo objeto de estudio es identificar la plataforma virtual libre que se ajuste a los lineamientos pedagógicos para la educación virtual de la Universidad de Boyacá con el fin de mejorar los servicios académicos que ofrece la VREV a la comunidad académica.

Para cumplir este objetivo se hizo necesario establecer tres objetivos específicos: primero, establecer un mecanismo para la selección de las plataformas libres que han de ser incluidas en el estudio; segundo, plantear un instrumento de medición que se ajuste a los requerimientos institucionales; finalmente, aplicar el instrumento propuesto para definir resultados y seleccionar la herramienta a emplear por la VREV. Los dos primeros objetivos específicos son los resultados que se han incluido en el artículo.

El proyecto de investigación ha sido sustentado en las tendencias de la educación superior, los lineamientos pedagógicos para la educación virtual institucional, los ambientes virtuales de aprendizaje y LMS, y algunos antecedentes para la evaluación de LMS. A continuación se describen algunos apartes de esos temas.

Sobre la educación de 1970, Toffler (1970) consideraba que el rol del docente debía ser diferente, menos magistral. Veía la oferta educativa como algo que debía enfocarse en las necesidades del futuro, no en el pasado. Pensaba que el sistema educativo debía ser flexible, para que los educandos seleccionaran su ruta académica y mezclaran las sesiones a distancia y las presenciales.

Años después, Gibbons (1998), en un escenario más informatizado, confiaba en que los medios computacionales asumieran un rol protagónico en los procesos formativos, pero su postura agregaba dos caras a la moneda en el uso de las tic en educación. La primera, las tic para mejorar el proceso educativo, guiado por un aprendizaje autónomo; y la segunda, la posibilidad de deshumanizar la formación.

Internet ha florecido como el instrumento que permite a las visiones de Toffler emerger en la educación e-learning y b-learning. Pero la forma en que Internet se involucra en los procesos formativos va más allá de una plataforma educativa o un LMS. Las redes sociales y el correo electrónico se han convertido en instrumentos que facilitan el trabajo colaborativo. Las bibliotecas en línea y la consulta de revistas electrónicas otorgan un sentido de omnipresencia a la información científica y académica. Incluso las instituciones de educación superior de reconocida trayectoria han masificado la oferta de cursos online de forma gratuita.

La popularización de las tic ha creado un nuevo espacio social, denominado E3, que coexiste con los entornos naturales y humanos. La sociedad demanda procesos formativos flexibles y continuos. El E3 exige escenarios educativos con nuevos instrumentos y nuevas competencias en los docentes (Echeverría, 2000; Mendoza & Riveros, 2005). Este espacio es visto como un complemento para los procesos de enseñanza y aprendizaje, pero trae consigo el reto de desarrollar una vida universitaria plena. como valor agregado, el E3 cuenta con la posibilidad de construir una oferta educativa más allá de las fronteras definidas en el Estado-nación, por lo que puede ser global y transnacional (Echeverría, 2000).

El E3 es en este momento una innovación educativa que depende de los actores que se involucran en el proceso de enseñanza y aprendizaje, es decir, de quienes deben apropiarse de los conceptos, métodos e instrumentos que trae consigo el uso de las tic. El siglo xxi tiene como tarea pendiente una formación en línea con calidad, que debe responder a la pregunta, ¿cuál es el rol que debe cumplir la educación superior en el mundo globalizado? (López, 2011; Morales, 2011).

Una respuesta puede ser formar ciudadanos para actuar en una sociedad global (Altbach, Reisberg & Rumbley, 2009; Ramírez, Meyer & Min, 2009), empresa en la que el uso de las tic se convierte en una práctica que permite formar a los educandos para un entorno informatizado y automatizado (Guadarrama, 2006), escenario que propaga la globalización y se expande por la globalización.

Esta situación plantea, en términos de Brunner (2000) y Altbach et al. (2009) una serie de retos: acceso a la información, acumulación de conocimientos, respuesta y relación con el mercado laboral, tic en la educación, mundos de vida, reducción de la desigualdad entre los países evidenciada en la calidad del talento humano y consecución de recursos que se emplean en los procesos formativos.

Ante la necesidad de pensar una educación superior que aproveche de manera significativa el E3, la Universidad de Boyacá presenta sus lineamientos pedagógicos para la educación virtual en el texto "Educación virtual, prácticas transformadoras de los procesos de aprendizaje" (Correal & Montañez, 2009). Allí se se entiende la educación virtual como un escenario para el aprendizaje autónomo, colaborativo y autorregulado, en el que se destacan tres etapas: la planeación de módulos virtuales, la implementación de programas virtuales y su evaluación. Para tal fin, se parte de tres preguntas: ¿qué enseña?, ¿cómo enseña? y ¿qué y cómo evalúa?

El qué enseña se refiere a los contenidos y a quienes intervienen en el proceso de aprendizaje. Se tienen en cuenta el rol del tutor y su mediación con los contenidos y los componentes del campus, los recursos del campus y la estructura interna del curso. Se enfatiza en la pertinencia de los contenidos con las habilidades y destrezas de los estudiantes y las capacidades del tutor.

El cómo enseña se enmarca en las teorías de aprendizaje, las competencias por desarrollar y la forma como se realizará la interacción docente-estudiante. El cómo se enseña se sustenta en los principios para la enseñanza de la Universidad de Boyacá (filosófico, psicológico, sociológico y ético), en sus fundamentos (sociocultural, contenido temático, pedagógico y comunicacional) y en las teorías de aprendizaje.

En el qué y cómo se evalúa se destacan dos factores: el primero tiene que ver con el qué y cómo el docente indaga y valora el proceso formativo, así como la realimentación que hace durante ese proceso; el segundo se relaciona con los métodos de estudio que el estudiante incorpora en su proceso de aprendizaje.

Para llevar a buen puerto la propuesta de la VREV, se considera necesario acudir a los entornos virtuales de aprendizaje, definidos por Herrera (2006) como "entornos informáticos digitales e inmateriales que proveen las condiciones para la realización de actividades de aprendizaje. Su uso puede darse en cualquier modalidad (presencial, no presencial o mixta)" (pp. 2-3). La unesco (como se cita en Ávila & Bosco, 2001), en su informe mundial de la educación de 1998, señala que los entornos de aprendizaje virtuales son una nueva tecnología educativa, que brinda innumerables opciones de trabajo y tareas para las instituciones de educación, en que la comunicación se asocia con la tecnología.

Los Sistemas de Gestión de Aprendizaje (Learning Managment Systems - LMS) son herramientas que se pueden emplear para administrar las tareas de los estudiantes, en los que la comunicación es personalizada y efectiva, y con lo que se puede mejorar el seguimiento al proceso formativo (Miranda, 2004).

La mayoría de los LMS integran varias herramientas, entre las que se encuentran comunicación síncrona (chat y mensajería instantánea), comunicación asincrona (foros en web y correo electrónico), creación de contenidos digitales, repositorios para trabajos, calendario de actividades, encuestas, bitácoras de actividad y hasta sistemas de evaluación.

Entonces, ¿cuál es el problema de los LMS? El problema es su amplia oferta. La Universidad de Boyacá no puede seleccionar un LMS a partir de su popularidad o por ser un producto de moda. Por tal motivo, se ha hecho una revisión de situaciones semejantes en diferentes latitudes, con el fin de ampliar el espectro de posibilidades al momento de escoger un LMS. Para el artículo se involucran tres experiencias investigativas de las diez que han sido exploradas.

El primero es el estudio de Delgado (2003), titulado "Elearning: análisis de plataformas gratuitas". Proyecto que tenía como propósito hacer un análisis de plataformas de gestión del conocimiento que se distribuyen de manera libre, definiendo las ventajas y desventajas de las herramientas involucradas, con el fin de establecer qué LMS usar en la oferta de cursos de la Universidad de Valencia.

Los filtros que emplearon para la inclusión de plataformas LMS al estudio fueron los siguientes: en primera instancia, excluir herramientas con poca información de soporte, o sin versiones demo; segundo, excluir aquellas plataformas que no incluyeran los idiomas de interés de la Universidad de Valencia (castellano, inglés, valenciano y catalán); tercero, eliminar aquellas que exigían dependencia de terceros, como por ejemplo en tareas relacionadas con el almacenamiento de información; y cuarto, excluir las aplicaciones que no tengan herramientas de interés para la institución.

con la serie de filtros descritos, el estudio quedó con doce herramientas: Atutor, BolinOS, chef, Claroline, close, Eledge, Fle3, Ilias, Lon-capa, Manhattan, Moodle, y wb T-Master. Estas pasaron por un segundo proceso de filtración que inició con la descripción de cada una de las herramientas, obteniendo la información de los sitios web oficiales.

Las doce plataformas fueron evaluadas teniendo en cuenta los criterios de idioma, accesibilidad, recursos multimedia, apariencia, compatibilidad con estándares, copias de seguridad, control de acceso, perfiles, chequeo antivirus, correo electrónico, listas de distribución, tablón de anuncios, foros de discusión, chat, pizarra, videoconferencia, página personal, agenda, marcadores, creación de grupos de trabajo, autoevaluación, control de progreso, información sobre cursos y profesores, sencillez de la interfaz, conocimientos previos de informática, importación de material, plantillas, índices, glosario, cooperación entre profesores, gestión del curso, ejercicios, seguimiento al estudiante, ayuda, búsqueda, envío y descarga de ficheros, sincronización tras la desconexión y documentación. Al aplicar la evaluación de los factores, la herramienta que obtuvo mejor puntaje fue Ilias.

Un segundo estudio es el de Fertalj, Jercovic y Hlupic (2006), trabajo mancomunado entre la Universidad de Zagreb y la Escuela de Zagreb de Economía y Administración de croacia. La ponencia titulada "Comparison of e-learning management systems" (comparación de sistemas de gestión de aprendizaje electrónico) fue presentada en el marco del Quinto wseas International Conference on E-Activities (wseas conferencia internacional sobre Actividades Electrónicas).

El estudio incluyó diez plataformas LMS de los siguientes tipos: propietario; principalmente propietario y parcialmente basado en estándar LMS; principalmente basado en estándar LMS y parcialmente propietario; y plataformas de licenciamiento Open Source (código Abierto). Las plataformas que se involucraron por cada tipo se muestran en el cuadro 1.

Los investigadores hallaron que los sistemas propietarios tienen,un escaso margen de intero-perabilidad con otros LMS, situación que no ocurre con aquellas plataformas que están basadas en estándares y que cuentan con un alto grado de interoperabilidad, mientras que las arquitecturas abiertas no son realmente abiertas, debido a que se requiere un mayor esfuerzo para su configuración, integración y comunicación con otros sistemas.

Para el desarrollo de la investigación, emplearon el sitio web Edutools como instrumento de comparación y evaluaron factores como: autenticación, automatización de las pruebas y puntaje, calendario, administración del curso, plantillas de curso, personalización, foros de discusión, intercambio de archivos, trabajo en grupo, herramientas para el diseño instruccional, email interno, herramientas de calificación en línea, chat en tiempo real, autoevaluación y seguimiento a educandos. A cada criterio se le asignó una ponderación de 0 a 9.

Los resultados obtenidos en el estudio enuncian que Angel es la herramienta que ocupa el primer lugar con un 92.6% de cumplimiento de los criterios, seguida de WebCT con el 82.8%. De las herramientas libres involucradas en el estudio, la primera que aparece en el listado es Moodle en el quinto lugar con el 51.7%, seguida de Sakai en el sexto lugar con el 44.2%, mientras que Claroline ocupó el último lugar entre las diez plataformas con el 8.6%.

El estudio de Fertalj et al. (2006) concluye que las plataformas principalmente basadas en estándares LMS y parcialmente propietarias son las que lideran el mercado del e-learning, al verificar que las tres aplicaciones de este tipo involucradas en el estudio ocuparon los tres primeros lugares. A su vez, indican que las empresas que desarrollan plataformas virtuales para el aprendizaje procuran cumplir con el estándar scorm tratando de cubrir tres aspectos: la conformidad, el cumplimiento y la certificación. Finalmente, los investigadores enuncian que los resultados obtenidos no son definitivos debido a la dinámica que tiene el mercado de los LMS. Los factores que se han incluido en este estudio se relacionan en su mayoría con la dimensión del usuario.

Por último, en 2010, Macías desarrolla su proyecto de fin de carrera denominado "Plataformas de Enseñanza virtual libres y sus características de extensión: desarrollo de un bloque para la gestión de tutorías en Moodle". El objetivo del proyecto era generar un bloque para la gestión de tutorías en Moodle, en el que se realizó un estudio comparativo con Claroline, Dokeos y Sakai, con el fin de explorar alternativas para potenciales implementaciones.

A lo largo del informe del proyecto, Macías indica que las plataformas virtuales de enseñanza de distribución libre más importantes son Moodle, Sakai, Claroline, Docebo, Dokeos, Ilias, lrn, Atutor y Lon-Capa. Las plataformas enunciadas cuentan con características de gestión administrativa, gestión de recursos y herramientas de comunicación. Incluye como criterios de evaluación: despliegue e instalación, funcionalidad, usabilidad y capacidad de extensión.

Como conclusión, el autor indica que la plataforma Moodle es la que más ventajas ofrece debido a la modularidad que ofrece, su escala-bilidad, su documentación y la comunidad de desarrolladores, aspectos que se relacionan con la dimensión del usuario y la dimensión técnica de las herramientas.

Metodología

La investigación es de tipo aplicada, debido a que para resolver el problema de seleccionar la herramienta LMS que soporte la oferta e-learning y b-learning de la Universidad de Boyacá se hará uso de conceptos teóricos. En la investigación se incluyen conceptos de la ingeniería de software, el uso de las tic en educación, así como la inclusión de propuestas evaluativas de proyectos semejantes en el ámbito internacional.

El diseño de la investigación se considera experimental, en el que se definirá un ambiente virtual idéntico, que emulará las condiciones reales sobre las cuales funcionará la plataforma LMS que ha de sustentar la oferta en línea de la Universidad< de Boyacá. Se evaluará el funcionamiento de cada plataforma LMS a través de un curso.

La población que será beneficiada con la investigación corresponde a los administradores, docentes y educandos de la Universidad de Boyacá que interactúan con la oferta educativa e-learning y b-learning institucional.

La investigación se realiza en un ambiente controlado por los investigadores, en el que se elaborarán una serie de tests a las herramientas LMS, con lo que ha de construirse un perfil de cada una. La construcción de los instrumentos de evaluación hace parte del proceso de investigación.

El proceso metodológico de la investigación se divide en tres etapas; la primera es la selección de las herramientas; la segunda es la construcción de instrumentos y la última la evaluación de los LMS para la posterior selección.

La primera etapa consistió en la búsqueda de antecedentes sobre los cuales se escogieron cinco herramientas LMS para el estudio comparativo, incluida la actual plataforma propietario de la Universidad de Boyacá. Se procuró que la búsqueda de los antecedentes reuniera estudios de diferentes latitudes con el fin de obtener una visión amplia de las necesidades institucionales y criterios de evaluación.

En la segunda etapa se construyeron los instrumentos a través de la revisión de estándares internacionales de evaluación como los propuestos por adl e iso, los conceptos teóricos de la ingeniería de software como los factores de calidad de McCall, el modelo de calidad de Boehm, el modelo de calidad furps+ y el modelo mosca. Finalmente, se agregó la revisión de los lineamientos pedagógicos para la educación virtual de la Universidad de Boyacá.

La tercera y última etapa, en la que se encuentra el proyecto, consiste en configurar un servidor que emulará las condiciones reales sobre las cuales funcionaría la plataforma tecnológica de la Universidad de Boyacá. Se construirá un curso virtual que ha de implementarse en cada una de las plataformas LMS. La evaluación se abordará desde tres roles, administrador, docente y estudiante. Los investigadores asumirán el rol de administrador y docente, y se seleccionará a un grupo de personas para que evalúen las herramientas LMS como estudiantes.

Análisis y resultados

En la presente sección se muestran los resultados de las dos primeras etapas del proyecto de investigación, en la que se indican las herramientas seleccionadas y los instrumentos que se construyeron para la evaluación de los LMS.

La primera etapa implicaba elegir los LMS a involucrar en el estudio; para tal fin se optó por revisar diez proyectos de investigación que tuviesen como misión realizar un estudio comparativo de plataformas LMS. Estos proyectos son el de Delgado de 2003 en la Universidad de Valencia; Itmazi, Gea, Paderewzki y Gutiérrez de 2005 en la Universidad de Granada; Fertalj et al., 2006, proyecto croata que se desarrolló en conjunto entre la Universidad de Zagreb y la Escuela de Zagreb de Economía y Administración; Hamidian, Soto y Poriet de 2006 en la Universidad de Carabobo; Kljun, Vicic, Kvasek y Kavcic en 2007, en un trabajo conjunto de las universidades eslovenas de Primorska y de Ljubljana; Chacón-Rivas y Solano de 2009 del Instituto Tecnológico de Costa Rica y de la Universidad de Málaga, respectivamente; Sánchez de 2009 en la Universidad de Málaga; Aydin y Tirkes de 2010 de la Universidad de Atilim en Turquía; Macías de 2010 en la Universidad de Alcalá; y finalmente se incluye el trabajo de Alshomrani de 2012 en la King Abdulazis University en Arabia Saudita Alshohmrani, 2012.

Los proyectos enunciados emplearon diferentes estrategias para la selección de herramientas, entre las que se encuentra la popularidad de las herramientas, la documentación, las comunidades que poseen, el tipo de licenciamiento y el uso de instrumentos como edutools para orientar los resultados de la evaluación.

En lo referente a los LMS involucrados en los diez estudios se encontró que Moodle fue incluido en ocho investigaciones; Claroline en cinco; Atutor, Ilias y Dokeos en tres; y finalmente Sakai y olat en dos. Esta revisión de la frecuencia llevó a los investigadores del grupo de investigación edutic a seleccionar tres herramientas open source: Moo-dle, Claroline y Atutor. Posteriormente se incluyó el LMS Chamilo debido al interés del grupo por agregar una herramienta que no estuviese en los antecedentes y que contara con la aceptación del mercado. Por último, para completar el grupo de herramientas se involucró la herramienta propietario que actualmente funciona en la Universidad de Boyacá.

El sitio oficial de Moodle (http://docs.moodle.org/26/en/About_Moodle) indica que la herramienta es un software para producir cursos basados en Internet. Es una aplicación orientada a soportar un marco educativo social constructivis-ta. La herramienta requiere para su funcionamiento soporte para php y motores de base de datos que empleen el estándar sql. Tal característica lo hace viable para Windows, MacOS y múltiples distribuciones linux. Moodle cumple con una serie de estándares entre los que se encuentra la iniciativa Open Source, el certificado ims ltitm, scorm-ADL y Open Badges.

Según las cifras de Moodle, al 20 de enero de 2014, sus distribuciones cuentan con 64.985 sitios registrados en 233 países. Sobre los cuales se encuentran implementados 7'050.966 cursos, con 65'843.567 usuarios. Colombia figura entre los diez países que más implementan la herramienta con 1.780 sitios registrados, ocupando el séptimo lugar. Esta lista de países es encabezada por Estados Unidos con 11.234 sitios registrados, España con 5.492 y Brasil con 4.410.

Claroline en su sitio oficial (http://www.claroline.net/?lang=es) presenta la herramienta como un instrumento que facilita el aprendizaje y la colaboración en línea. Su modelo educativo es flexible sustentado en la motivación y la interacción. El proyecto es dirigido por el Consorcio Claroline y se encuentra implementado en 117 países, en 2.539 instituciones de las cuales 70 son colombianas (cifras obtenidas al 20 de enero de 2014).

Claroline ha sido ganador de premios internacionales tales como el premio de la unesco para la utilización de tecnologías de la información y la comunicación en educación, y los premios Trophées du Libre en los que se reconoce la innovación en proyectos de características libres en informática.

Al igual que Moodle, Claroline es una herramienta soportada en php y el estándar sql de bases de datos, por lo que puede ser empleada en sistemas operativos Windows, MacoS y distribuciones linux.

Atutor en su sitio oficial (http://atutor.ca/atutor/) presenta la herramienta como una aplicación basada en web para desarrollar y distribuir cursos en línea. Allí se considera que los estudiantes aprenden en un ambiente accesible, adaptativo y social. Atutor cumple con estándares de accesibilidad como W3C, ims, iso/iec 24751; los estándares de interoperabilidad Open Social 1.0,ims, scorm y W3C.

Dentro de los reconocimientos de Atutor se encuentra el ims Platinum Learning Impact Award 2012, el ims Best in Show Award 2009, el W4A Web Accessibility Challenge Award 2009, el IMS Gold Learning Impact Award 2008, y el Mellon Award for Technology Collaboration 2007.

Atutor se soporta tecnológicamente en PHP y MySql, lo que lo hace instalable en los sistemas operativos más populares del mercado: Windows, MacOS y distribuciones linux.

La Asociación Chamilo en su sitio oficial (http://www.chamilo.org/es) indica que la aplicación que distribuye está orientada a soportar el e-learning. La herramienta cuenta con una comunidad de grupos locales en Perú, Guatemala, Benelux (Bélgica, Holanda y Luxemburgo), España, Reino Unido y Venezuela. El campus virtual de Chamilo (https://campus.chamilo.org/), para enero 20 de 2014, cuenta con 19.600 usuarios y 3.500 cursos creados.

Después de seleccionar los LMS, la segunda etapa del proyecto se concentró en la definición de los criterios de evaluación. Para ello se definieron una serie de características que el LMS debe cumplir para ajustarse a los intereses de la Universidad de Boyacá: acoplarse al modelo pedagógico institucional, facilitar el aprendizaje, usar herramientas de comunicación y colaboración, ofrecer instrumentos que propendan por la inclusión, permitir una estrecha relación entre las competencias que se desean alcanzar y los materiales de aprendizaje, incorporar mecanismos de evaluación y seguimiento a estudiantes y tutores, y, por último, contar con instrumentos que puedan evaluar la calidad de la oferta educativa institucional.

Como resultado de esta etapa se obtuvo la definición de las dimensiones por evaluar y sus factores. Se precisaron los tipos de usuarios que han de participar en la evaluación (administradores, docentes y estudiantes) y los formatos que permitirán obtener un perfil para cada una de las herramientas. Finalmente, se ponderó cada dimensión a partir de los intereses institucionales.

En primera instancia para determinar los factores a evaluar en cada dimensión se acudió a revisar los criterios de evaluación de los diez antecedentes indicados en la primera etapa. La distribución de la frecuencia de los criterios de evaluación se muestra en el cuadro 2.

Además de los criterios enunciados se indagó por los criterios de evaluación de aplicaciones propuestos desde la ingeniería de software, específicamente las propuestas de McCall, Boehm, furps+ y el modelo mosca. El Modelo de calidad de McCall, propuesto en 1977, es descrito por Jamwal (2010) como un referente clásico centrado en la visión del usuario. En el modelo se plantean tres áreas particulares: operación, revisión y transición del producto. En el primero se involucran los criterios de correctitud, confia-bilidad, eficiencia, integridad y usabilidad. En el segundo se incluyen mantenibilidad, capacidad de prueba y flexibilidad. Y el tercer criterio incluye interoperabilidad, portabilidad y reusabilidad.

El modelo de Boehm de 1978 busca que el software realice lo que desea el usuario, el uso adecuado de los recursos, la facilidad de uso y aprendizaje, y, por último, garantizar un proceso de software correcto. Entre los factores involucrados se encuentran la portabilidad, la utilidad compuesta por la fiabilidad, la eficiencia y la ingeniería humana y, por último, la mantenibilidad compuesta por la capacidad de prueba, la modi-ficalidad y lo comprensible que pueda resultar la aplicación (Jamwal, 2010; Scalone, 2006)

Por otro lado, la propuesta de furps+ evalúa: funcionalidad, en la que se involucra lo referente al grupo de características, capacidades y seguridad; usabilidad, allí se evalúa la consistencia de la interface de usuario, ayuda al contexto, asistentes, documentación y materiales para el aprendizaje; confiabilidad, incluye la frecuencia y la severidad de los fallos, capacidad de recuperación ante fallos, exactitud en la salida y tiempo promedio de fallas; rendimiento, relacionado con la velocidad de procesamiento, tiempos de respuesta, consumo de recursos y eficacia; capacidad de soporte, en la que se evalúa extensibilidad, adaptabilidad, capacidad de prueba, configuración, compatibilidad y requisitos de instalación; finalmente el símbolo '+', involucra factores como requerimientos de diseño, implementación, interface y requisitos (Eeles, 2005; Jamwal, 2010)

El modelo mosca (modelo sistémico de calidad) enfatiza en la necesidad de evaluar el producto y el proceso de desarrollo. Para la investigación, solo se tendrá en cuenta el producto, debido a que no se persigue la construcción de una aplicación. El producto se evalúa desde seis categorías: funcionalidad, fiabilidad, usabilidad, eficiencia, mantenibilidad y portabilidad valoradas a partir de los aspectos contextuales e internos del producto. Los contextúales aluden a la comodidad del usuario y los internos hacen referencia a las buenas prácticas de diseño y programación. Por las características de la investigación solo se incluirán las contextuales. En la funcionalidad se incluye el ajuste a los propósitos, la precisión, la interoperabilidad y la seguridad; la fiabilidad involucra la madurez, la tolerancia a fallos y la recuperación; la usabilidad consta de la facilidad de comprensión, la capacidad de aprendizaje, la interfaz gráfica, la operabilidad y el uso de estándares; la eficiencia comprende el comportamiento en el tiempo y la utilización de recursos; la mantenibilidad abarca la capacidad de análisis, facilidad de cambio, estabilidad y capacidad de prueba; por último, la portabilidad consta de la adaptabilidad, la capacidad de instalación, la coexistencia y la capacidad de remplazo (Mendoza, Pérez & Grimman, 2005).

Esta combinación de criterios obtenidos de los antecedentes y de los modelos de calidad de software permitió a los investigadores de edu-tic plantear tres dimensiones sobre las cuales sustentar la evaluación: dimensión del modelo pedagógico, dimensión del usuario y dimensión técnica.

Durante el proceso de ponderación se le asignó a la dimensión del modelo pedagógico un peso de 14 puntos, a la dimensión del usuario 20 puntos y a la dimensión técnica 16 puntos. En cada dimensión se definieron una serie de factores que han sido seleccionadas a partir de los antecedentes y el marco teórico. Esos factores también fueron ponderados a partir de los intereses de la VREV.

La dimensión del modelo pedagógico se evaluará a partir de cuatro factores: inclusión, evaluación formativa, evaluación continua y aprendizaje efectivo.

La inclusión evalúa la configuración de la navegación, la consistencia de navegación e instrumentos emergentes que puedan apoyar el uso de los cursos (por ejemplo, teclados emergentes, lecturas automáticas y reconocimiento de voz). Para evaluar la inclusión se ha tenido en cuenta la propuesta que se realiza desde la W3C para evaluar la accesibilidad (http://www.w3.org/tr/WCAG10/fulkhecklist.html), realizada en 1999 y la norma íso/íec 24751 relacionada con la adaptabilidad individualizada y accesibilidad en e-learning.

Para evaluar la característica de la evaluación formativa, se ha tomado como base lo indicado en el modelo pedagógico institucional para la educación virtual y se enfatiza en la posibilidad de realimentar la labor del educando, así como las estrategias de evaluación, heteroevaluación y coevaluación que ofrece la herramienta.

La evaluación continua es revisada a partir de la automatización de la evaluación, la equidad que se logra durante el proceso, la orientación que el LMS puede brindar al educando y la forma como se presenta la evaluación. Aspecto que es evaluado a partir de los intereses institucionales planteados en el modelo pedagógico institucional para la educación virtual.

El aprendizaje efectivo evalúa la posibilidad que tienen los usuarios de personalizar sus estrategias de aprendizaje y la forma como el LMS les brinda soporte para esta tarea. También se indaga por la posibilidad que tienen los educandos de reflexionar acerca de su proceso de aprendizaje y de colaborar con el proceso de formación de sus compañeros. Este punto responde a los intereses institucionales y a la norma iso/iec 24751 relacionada con la adaptabilidad individualizada y accesibilidad en e-learning. A su vez, se busca cumplir con la propuesta de Díaz (2002), en la que considera importante que el estudiante se sienta constructor de su aprendizaje mediante la interacción con el entorno, en el que la revisión y la reflexión son las actividades que priman en la formación.

Los factores correspondientes a la dimensión del modelo pedagógico se han ponderado de la siguiente manera: inclusión, 10 puntos; evaluación formativa, 9 puntos; evaluación continua, 6 puntos; y aprendizaje efectivo, 6 puntos.

En lo que se refiere a la dimensión del usuario se evalúan factores como la accesibilidad, la usabilidad y las herramientas que ofrece la plataforma. Estos puntos se derivan de la revisión de los factores de calidad de Mccall, Boehm, furps+ y mosca, y de las sugerencias de Advanced Distributed Learning (adl) para la selección de LMS en 2013.

Se propone evaluar la accesibilidad desde dos aspectos: la visualización y la seguridad. La primera hace referencia a la manera como se muestra la información a pesar de los cambios de configuración. La segunda se enfoca en los modos de acceso y la verificación de usuarios que permita garantizar la integralidad de la información. Los ítems incluidos en esta característica se derivan de la norma iso/iec 24751.

En la usabilidad se evalúa la facilidad de uso de la aplicación, especialmente lo que tiene que ver con la forma como se distribuye la información y el manejo de sesiones del usuario. Además, se emplean aspectos propuestos en la scorm s-N de 2004 (adl, 2004), en la que se relacionan los criterios de navegación y el seguimiento que debe cumplir una herramienta. Entre los puntos por evaluar se encuentra la jerarquización de las tareas y la manera como se puede realizar la navegación a través de las diversas secciones de los cursos.

Finalmente, la evaluación de herramientas en la dimensión del usuario hace referencia a la revisión de los instrumentos que el LMS ofrece para la construcción y evaluación de los cursos y los instrumentos de comunicación que los usuarios tienen a disposición. Las características por evaluar se dividen en interacción sincrónica, en la que se involucran aspectos como chat, videoconferencia, audioconferencia; interacción asincrónica, en la que se incluyen foros, listas de distribución, correos electrónicos, entre otros; interacción individual, que tiene que ver con las herramientas que le permiten al educando hacer seguimiento de su proceso formativo; construcción de contenidos, relacionada con las herramientas authoring (construcción de contenidos) que posee la aplicación; tipos de evaluación y los tipos de pregunta que la plataforma LMS ofrece; finalmente, administración de usuarios en la que se evalúa los roles que pueden ser asignados. Estos instrumentos han sido clasificados a partir de las sugerencias que adl (2013) realiza para la selección de plataformas LMS.

Al igual que la dimensión del modelo pedagógico, se elaboró una ponderación de los factores correspondientes a la dimensión del usuario. A la accesibilidad se le han asignado 7 puntos; a la usabilidad, 9 puntos; y a las herramientas que ofrece, 10 puntos.

Los modelos de calidad que se emplearon en la dimensión anterior también han sido utilizados para la selección de los factores de la dimensión técnica: adaptabilidad, durabilidad, empaquetamiento, confiabilidad, funcionalidad, eficiencia, reutilización y, finalmente, interoperabilidad y portabilidad.

La evaluación de la adaptabilidad se ha construido a partir de la norma iso/iec 9126, en la que se verifica la capacidad de instalación de software frente a los sistemas operativos disponibles, su capacidad de reemplazamiento y su compatibilidad de compartir recursos con otro tipo de software.

La evaluación de la durabilidad se relaciona con el impacto de personalización de la propuesta de aprendizaje frente a los cambios tecnológicos que soporta un LMS y sus estándares y soportes. De igual forma, se valoran aspectos relacionados con la obsolescencia anticipada y la trayectoria de la plataforma virtual, lo cual es de gran importancia para el empalme y continuidad del actual LMS con que cuenta la Universidad de Boyacá.

El empaquetamiento evalúa la distribución e instalación del LMS. Se observan características como un único ejecutable, instaladores para diversos sistemas operativos, licenciamiento y las guías de instalación; se enfoca en la sencillez de instalación para un administrador con conocimientos básicos o avanzados y el manejo de imprevistos durante la instalación. Este factor se aplica explícitamente al rol administrador.

Otro de los factores que ha de evaluar el administrador es la confiabilidad, la cual se centra en el registro de fallas que presente la plataforma LMS durante la ejecución de un curso, la fecha de la falla, la fecha de solución y se evalúa el grado de severidad en una escala de 1 a 5, siendo cinco el grado de mayor dificultad. Finalmente, se realiza un promedio de la severidad de las fallas y un total de fallas por cada LMS evaluado.

La funcionalidad será evaluada por los tres roles de usuario del proyecto (estudiante, docente y administrador) y valora principalmente la gestión y creación de cursos y estudiantes, siendo estos últimos el rol de mayor impacto en la evaluación de las dimensiones. Evalúa la gestión del plan de estudios, las herramientas de anuncios como medios de comunicación, los objetos de aprendizaje y la generación de informes de rendimiento del LMS.

La eficiencia evalúa los tiempos de espera para el usuario final frente a la publicación de anuncios, foros y cambios realizados en los contenidos por parte de los docentes o el administrador; también se involucra el tiempo de respuesta en la comunicación a través del correo electrónico. Para la gestión de almacenamiento se tuvo en cuenta la personalización del límite de tamaño de archivos y la visualización fiel de un contenido.

La interoperabilidad y portabilidad basadas en la Norma ims (ti) se enfocan en realizar la ponderación del seguimiento al estudiante y docente frente a los estándar scorm como medio para compartir contenidos con otras herramientas, permitiendo así fortalecer la relación enseñanza-aprendizaje. De igual forma, evalúa la funcionalidad adecuada de los navegadores y sistemas operativos.

En último lugar, la reutilización se sustenta en la norma iso 19778-1 y evalúa la capacidad de reutilización de contenidos en otros LMS. Los ítems a tener en cuenta son: clonación de contenidos parcial o total, edición y/o modificación de los contenidos y actividades para ser reutilizadas.

La ponderación correspondiente a los factores de la dimensión técnica se distribuyó de la siguiente manera: durabilidad, 4 puntos; empaquetamiento, 2 puntos; confiabilidad, 10 puntos; funcionalidad, 9 puntos; eficiencia, 9 puntos; reutilización, 2 puntos; y el conjunto de interoperabilidad y portabilidad, 10 puntos.

Al culminar la segunda etapa se obtuvieron catorce formatos de evaluación, basados en listas de chequeo con las que se determina si se cumple o no una característica de evaluación. Un ejemplo de la apariencia de los formatos se puede observar en el cuadro 3.

Los formatos permitirán obtener el porcentaje de cumplimiento de las características de cada factor, que serán promediados por los resultados obtenidos en cada uno de los perfiles (educandos, docentes y administrador). El porcentaje consolidado de cada factor se multiplicará por la ponderación correspondiente y se obtendrá el puntaje de la dimensión.

Conclusiones

En lo que se refiere al primer objetivo específico, asociado con la selección de plataformas en el estudio se puede concluir que es necesario abordar el proceso a través de tres fuentes de información, conformadas por los antecedentes, la popularidad de las herramientas y la búsqueda de LMS que se destacan por su innovación y que no han sido incluidos en estudios previos. Con los antecedentes se evidenció la importancia de contar con diversas visiones asociadas con la selección de un LMS; esto permite enriquecer los criterios de evaluación y las plataformas que podrían incluirse. La revisión de la popularidad resultó importante porque involucra el estudio de las plataformas que dominan el mercado, para reconocer las características que sustentan su éxito comercial. Finalmente, el acudir a un LMS innovador permite enriquecer el proyecto, porque amplía las alternativas y, además, permite a la investigación ofrecer a la comunidad académica referencias de evaluación sobre plataformas poco conocidas.

Para el segundo objetivo asociado con la elaboración de instrumentos de evaluación, se concluyó que los diversos factores que se seleccionaron se podían agrupar en tres dimensiones: la del modelo pedagógico, la del usuario y la técnica, con las que se pretende establecer un perfil para cada LMS, en el que estudiantes, docentes y administrador del sistema pueden realizar una evaluación a través de la aplicación de formatos, organizados como cajas de chequeo que permitirán puntuar los LMS por factor, para obtener un consolidado por dimensión y, con las dimensiones, obtener un consolidado total.

Referencias

Advanced Distributed Learning (ADL). (2004). SCORM sequencing and navigation version 1.3.1. Alexandria, USA: Advanced Distributed Learning.

Advanced Distributed Learning (ADL). (2013). Choosing a learning management system. Versión 3.0. Alexandria, USA: Advanced Distributed Learning. Recuperado de http://www.adlnet.gov/wp-con-tent/uploads/2013/05/Choosing_an_ LMS.pdf.

Alshomrani, S. (2012). Evaluation of technical factors in distance learning with respect to open source LMS. Asian Transactions on Computers, 2(1), 1117. Recuperado de http://www.asian-transactions.org/Journals/Vol02issue01/ATC/ATC-40232015.pdf.

Altbach, P., Reisberg, L. & Rumbley, L. (2009). Trends in global higher education: tracking an academic revolution. París: UNESCO. Recuperado de http://unesdoc.unesco.org/images/0018/001831/183168e.pdf.

Ávila, P. & Bosco, M. (2001, abril). Ambientes virtuales de aprendizaje, una nueva experiencia. 20th. international Council for Open and Distance Education, Dusseldorf, Alemania. Recuperado de http://investigacion.ilce.edu.mx/panel_control/doc/c37ambientes.pdf.

Aydin, C. & Tirkes, G. (2010). Open source learning management systems in distance learnig. The Turkish Online Journal of Educational Technology, 9(2), 175-184. Recuperado de http://www.tojet.net/articles/v9i2/9218.pdf.

Brunner, J. (2000). Globalización y el futuro de la educación: tendencias, desafíos y exigencias. Seminario sobre prospectiva de la educación en la región de América Latina y el Caribe UNESCO, Santiago de Chile. Recuperado de http://mt.educarchile.cl/MT/jjbrunner/archives/brun-ner-4.pdf.

Chacón-Rivas, M. & Solano, I. (2009, septiembre). Modelo pedagógico para una plataforma LMS. 20th. EDUTEC 2009, Manaos, Brasil. Recuperado de http://digitum.um.es/jspui/bit-tream/10201/14625/1/LMS_CSC_edutec_09_def.pdf.

Chamilo Asociation. (2014, enero). Comunidad. Recuperado de http://www.chamilo.org/es/comunidad.

Chamilo Asociation. (2014, enero). Documentación. Recuperado de http://www.chamilo.org/es/documentacion.

Correal, R. & Montañez, C. (2009). Conceptualización del modelo pedagógico de UNIBOYACÁ virtual. In J. Llanos (Ed.), Educación virtual: prácticas transformadoras de los procesos de @prendizaje. Tunja: Universidad de Boyacá.

Delgado, S. (2003). Elearning: análisis de plataformas gratuitas. (Trabajo de grado de ingeniería Informática, Universidad de Valencia, Valencia, España). Recuperado de http://www.uv.es/ticape/docs/sedelce/mem-sedelce.pdf.

Díaz, M. (2002). Propuesta de una metodología de desarrollo y evaluación de software educativo bajo un enfoque de calidad sistémica. (Trabajo de grado de Especialización en informática Educativa, Universidad Simón Bolívar, Sartenejas, Venezuela).

Echeverría, J. (2000). Educación y tecnologías telemáticas. Revista Iberoamericana de Educación, (24), 17-36. Recuperado de http://www.rieoei.org/rie24a01.PDF.

Eeles, P. (2005, Junio). Non-functional requirements. IBM internal presentation, Warwick, UK. Recuperado de http://www.architecting.co.uk/presentations/NFRs.pdf.

Fertalj, K., Jerkovi, H., & Hlupi, N. (2006, noviembre). Comparison of e-learning management systems. 5th Wseas international Conference on E-activities. Venecia. Recuperado de http://www.zpr.fer.hr/zpr/Portals/0/Predmeti/UiS/Comparison of eLMS.pdf.

Gibbons, M. (1998). Pertinencia de la educación superior en el siglo XXI. Washington D.C.: Banco Mundial. Recuperado de http://campusvirtual.deusto.es/archivos/usuario129/gibbons_Perti-nenciaES98(4).pdf.

Guadarrama, P. (2006). Cultura y educación en tiempos de globalización posmoderna. Bogotá: Magisterio.

Hamidian, B., Soto, G., & Poriet, Y. (2006). Plataformas virtuales de aprendizaje: una estrategia innovadora en procesos educativos de recursos humanos. Bárbula, Venezuela, Facultad de Ciencias Económicas y Sociales, Universidad de Cara-bobo. Recuperado de http://www.utn.edu.ar/aprobedutec07/docs/266.pdf.

Herrera, M. (2006). Consideraciones para el diseño didáctico de ambientes virtuales de aprendizaje: una propuesta basada en las funciones cognitivas del aprendizaje. Revista Iberoamericana de Educación, 38(5), 1-19. Recuperado de http://www.rieoei.org/deloslectores/1326Herrera.pdf.

Itmazi, J., Gea, M., Paderewski, P., & Gutiérrez, F. (2005). A comparison and evaluation of open source learning management systems. IADIS International Conference - Applied Computing 2005, Algarve, Portugal. Recuperado de https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&ved=0CC0QFjAA&ur l=https%3A%2F%2Fmoodle.org%2Fpluginfile. php%2F554%2Fmod_forum%2Fattachment%2 F102498%2FJamil1.pdf&ei=KyOpUtnHLoawqQ HDh4FI&usg=AFQjCNFOAtOD5eZZ8WSiiXfamvM KmbfPZg.

Jamwal, D. (2010). Analysis of software quality models for organizations. International Journal of Latest Trends in Computing, 1(2), 19-23. Recuperado de http://ijltc.excelingtech.co.uk/vol1issue2/04-vol1issue2.pdf.

Kljun, M., Vicic, J., Kvasek, B., & Kavcic, A. (2007). Evaluating comparisons and evaluations of learning management systems. ITI 2007 29th International Conference on Information Technology Interfaces, Cavtat / Dubrovnik, Croatia. Recuperado de http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4283797.

López, R. (2011). "LMS" respuesta al aprendizaje del siglo XXI. Revista Educa PR, 1-7. Recuperado de http://www.revistaeducapr.com/up-loads/7/0/5/6/7056381/LMS.pdf.

Macías, D. (2010). Plataformas de enseñanza virtual libres y sus características de extensión: desarrollo de un bloque para la gestión de tutorías en Moodle. (Trabajo de grado de Ingeniería Informática, Universidad de Alcalá, Madrid, España). Recuperado de http://www2.uah.es/libretics/files/Tutorias.pdf.

Mendoza, L., Pérez, M. & Grimán, A. (2005). Prototipo de modelo sistémico de calidad (MOSCA) del software Computación y sistemas, 8(3), 196-217. Recuperado de http://www.journals.unam.mx/index.php/cys/article/download/2691/2252.

Mendoza, M. & Riveros, V. (2005). Bases teóricas para el uso de las TIC en educación. Encuentro educacional, 12(3), 315-336. Recuperado de http://tic-apure2008.webcindario.com/TIC_VE3.pdf.

Miranda, G. (2004). De los ambientes virtuales de aprendizaje a las comunidades de aprendizaje en línea. Revista Digital Universitaria, 5(10), 1-15. Recuperado de http://www.revista.unam.mx/vol.5/num10/art62/nov_art62.pdf.

Moodle HQ. (2014, enero). Moodle statistics. Recuperado de http://docs.moodle.org/26/en/About_Moodle.

Morales, S. (2011). La construcción de competencias en amientes virtuales de aprendizaje. Revista de investigaciones UDAN, 10(2), 10-23. Recuperado de http://web.unad.edu.co/revistainvestigaciones/images/revistas/UNAD%20WEB%20vol.10%20num.2%202011/1.%20La%20con-strucc¡on%20de%20competenc¡as%20en%20 amb¡entes%20v¡rtuales%20de%20aprend¡zaje.pdf.

Ramírez, F., Meyer, J. & M¡n, C. (2009). Global¡zac¡ón, c¡udadanía y educación: auge y expans¡ón de los marcos de referencia cosmopolitas, multiculturales y de empoderamiento ind¡vidual. Revista Peruana de Investigación Educativa, 7(1), 163-180. Recuperado de http://siep.org.pe/arch¡vos/up/79.pdf.

Sánchez, J. (2009). Plataformas de enseñanza virtual para entornos educativos. Pixel-Bit. Revista de Medios y Educación, (34), 217-233. Recuperado de http://www.sav.us.es/pixelbit/pixelbit/articulos/n34/15.pdf.

Scalone, F. (2006). Estudio comparativo de los modelos y estándares de calidad del software. (Tes¡s de Maestría, Buenos A¡res). Recuperado de http://laborator¡os.f¡.uba.ar/ls¡/scalone-tes¡s-maestria-ingenieria-en-calidad.pdf.

Toffler, A. (1970). Educat¡on ¡n the Future Tense. Future Shock (1), 398-427. New York: Random House.

W3C. (2013, Sept¡empre). Checklist of checkpoints for web content accesibility guidlines 7.0. Recuperado de http://www.w3.org/TR/WCAG10/full-checkl¡st.html.