Modelos de Evaluación y RED
1. Calidad de los Objetos de Aprendizaje CODA
Descripción
Esta herramienta de evaluación está dirigida a los profesores,
investigadores y estudiantes que son creadores y usuarios de Recursos
Educativos Digitales, quienes son expertos en sus disciplinas, pero no
necesariamente expertos en informática y didáctica. Permite mejorar sus
Objetos de Aprendizaje (OA) haciéndolos cumplir el mayor número de
criterios posible.
Criterios de evaluación
1. Objetivos y coherencia
didáctica: valora si se han definido y son coherentes los objetivos didácticos,
los destinatarios, las destrezas a desarrollar y sugerencias de explotación
didáctica.
2. Calidad de los contenidos: evalúa el contenido del OA, que puede ser un
archivo, varios archivos e, incluso, otros OA.
3. Capacidad de generar reflexión, crítica e innovación: se pregunta si
estimula la reflexión sobre las ideas presentadas, la capacidad crítica,
facilita que el alumno descubra, la capacidad de relacionar conceptos ya
aprendidos con los nuevos conceptos.
4. Interactividad y adaptabilidad: se refiere a que la presentación del
contenido no es estática, sino que dependen del uso que haga el alumno.
5. Motivación: verifica si el OA es capaz de atraer y mantener el interés del
alumno por aprender.
6. Formato y Diseño: determina si el diseño es organizado,
claro y conciso, los contenidos audiovisuales favorecen la comprensión y
asimilación del conocimiento que contienen, los textos, imágenes y los audios
son de buena calidad.
7. Usabilidad: mide la facilidad con la que una persona
interacciona con el OA.
8. Accesibilidad: verifica si el OA está adaptado a personas con alguna
discapacidad de tipo visual, auditiva o motora con el fin de que puedan
utilizarlos con los dispositivos asistenciales.
9. Reusabilidad: establece si existe la posibilidad de utilizar muchas veces el
OA o alguno de sus componentes.
10. Interoperabilidad: evalúa si puede ser utilizado en múltiples entornos y
sistemas informáticos.
Métrica o escala de valoración
Consiste en un formulario con diez criterios de calidad puntuables de 1 (mínimo) a 5 (máximo) y una guía de buenas prácticas para orientar la puntuación.
Metodología
Con este modelo de evaluación, tanto el autor del objeto de aprendizaje como los usuarios y posibles revisores externos pueden valorar los OA con respecto a diez criterios. Los cinco primeros criterios son de carácter didáctico, mientras que los otros cinco son tecnológicos de manera que ambos aspectos tienen el mismo peso
Instrumento de evaluación
2. Learning Object Review Instrument LORI
Descripción del modelo
Es una herramienta que se utiliza para evaluar la calidad de los Objetos de Aprendizaje (OA). LORI se centra en diferentes aspectos de los OA.
Criterios de evaluación
Calidad de contenido: La exactitud y actualidad de la información, la relevancia para los objetivos de aprendizaje, la profundidad y detalle, la adecuación al nivel de los estudiantes y la originalidad y creatividad.
Adecuación de los objetivos de aprendizaje: La claridad y especificidad de los objetivos, la alineación con el contenido y las actividades, la adecuación al nivel de los estudiantes y la medibilidad de los objetivos.
Retroalimentación y adaptabilidad: La provisión de feedback oportuno y detallado, la adaptación del OA al ritmo y necesidades de los estudiantes, la variedad de estrategias de retroalimentación y las oportunidades para la autoevaluación y la reflexión.
Motivación: El atractivo visual y auditivo, el uso de multimedia y actividades interactivas, el humor, drama y/o retos que estimulen el interés, el diseño que promueva la participación y la colaboración.
Diseño y presentación: La facilidad de navegación y uso, la organización lógica del contenido, el aspecto visual agradable y profesional, la accesibilidad para personas con discapacidades.
Interacción y usabilidad: La interactividad que promueva el aprendizaje activo, la usabilidad intuitiva y fácil de aprender, la variedad de actividades y experiencias de aprendizaje, la compatibilidad con diferentes dispositivos y navegadores.
Accesibilidad: La compatibilidad con diferentes tecnologías y software, la disponibilidad de formatos alternativos para personas con discapacidades, la traducción a diferentes idiomas, el costo accesible para los estudiantes.
Métrica o escala de valoración
La métrica o escala de evaluación de LORI se basa en una escala de 1 a 5, siendo 1 la calificación más baja y 5 la calificación más alta. La calificación final del OA es el promedio de las calificaciones de todos los descriptores.
Metodología
La metodología de evaluación de LORI se basa en los siguientes pasos:
Preparación: El evaluador debe familiarizarse con los criterios de evaluación de LORI. Si la evaluación se realiza en equipo, los miembros del equipo deben coordinarse para asegurarse de que todos tienen una comprensión clara de los criterios.
Revisión: El evaluador debe revisar el OA cuidadosamente para identificar sus fortalezas y debilidades en relación con los criterios de evaluación.
Evaluación: El evaluador debe asignar una calificación a cada descriptor de acuerdo con la escala de evaluación de LORI.
Reporte: El evaluador debe preparar un reporte de la evaluación que incluya una descripción de las fortalezas y debilidades del OA, así como recomendaciones para mejorarlo.
Instrumento de valoración
3. Modelo Reeves
Descripción
Su creador fue Thomas Reeves, profesor de la Universidad de Georgia. El modelo se basa en 14 dimensiones pedagógicas que se consideran esenciales para el diseño y evaluación de recursos educativos digitales (RED).
Criterios de evaluación
Los criterios de evaluación de Reeves se basan en las 14 dimensiones pedagógicas del modelo Reeves. Estos criterios se utilizan para evaluar la calidad de un recurso educativo digital (RED). Se dividen en dos categorías:
- Criterios de diseño: Estos criterios se utilizan para evaluar la calidad del diseño del RED.
- Criterios de implementación: Estos criterios se utilizan para evaluar la calidad de la implementación del RED.
Epistemología: Esta dimensión se refiere a la teoría del conocimiento que subyace al RED. El RED debe reflejar una visión del conocimiento como algo constructivo, que se construye a partir de la experiencia y la interacción.
Filosofía pedagógica: Esta dimensión se refiere a la filosofía educativa que sustenta el RED. El RED debe estar basado en una filosofía educativa que promueva el aprendizaje activo, significativo y autónomo.
Sustento psicológico: Esta dimensión se refiere a los principios psicológicos del aprendizaje que se aplican en el RED. El RED debe estar basado en principios psicológicos que promuevan el aprendizaje eficaz.
Orientación de las metas: Esta dimensión se refiere a los objetivos de aprendizaje que se persiguen con el RED. El RED debe estar claramente orientado a unos objetivos de aprendizaje específicos y medibles.
Valor de la experiencia: Esta dimensión se refiere a la calidad de la experiencia de aprendizaje que ofrece el RED. El RED debe ser atractivo, motivador y desafiante.
Rol del profesor: Esta dimensión se refiere al papel del profesor en el RED. El RED debe permitir al profesor desempeñar un papel activo en el aprendizaje de los estudiantes.
Flexibilidad: Esta dimensión se refiere a la capacidad del RED para adaptarse a las necesidades individuales de los estudiantes. El RED debe ser flexible y adaptable a diferentes estilos de aprendizaje.
Accesibilidad: Esta dimensión se refiere a la disponibilidad del RED para todos los estudiantes. El RED debe ser accesible a todos los estudiantes, independientemente de sus capacidades o circunstancias.
Tecnología: Esta dimensión se refiere al uso de la tecnología en el RED. El RED debe usar la tecnología de manera efectiva para apoyar el aprendizaje.
Costo: Esta dimensión se refiere al costo del RED. El RED debe ser asequible para los estudiantes y las instituciones educativas.
Efectividad: Esta dimensión se refiere a la eficacia del RED en el logro de sus objetivos de aprendizaje. El RED debe ser evaluado para determinar su efectividad.
Métrica o escala de valoración
La métrica o escala de valoración de Reeves es una herramienta que se utiliza para evaluar la calidad de un recurso educativo digital (RED). La métrica se basa en los 14 criterios de evaluación de Reeves, que se dividen en dos categorías: criterios de diseño y criterios de implementación.
La métrica de Reeves utiliza una escala de cinco puntos para evaluar cada criterio:
1: Muy deficiente
2: Deficiente
3: Aceptable
4: Bueno
5: Excelente
Metodología
La sección 1 del instrumento de evaluación de Reeves se centra en los criterios de diseño del RED. Las preguntas de esta sección abordan los siguientes temas:
- La teoría del conocimiento que subyace al RED
- La filosofía educativa que sustenta el RED
- Los principios psicológicos del aprendizaje que se aplican en el RED
- Los objetivos de aprendizaje del RED
- La experiencia de aprendizaje que ofrece el RED
La sección 2 del instrumento de evaluación de Reeves se centra en los criterios de implementación del RED. Las preguntas de esta sección abordan los siguientes temas:
- El papel del profesor en el RED
- La flexibilidad del RED
- La accesibilidad del RED
- El uso de la tecnología en el RED
- El costo del RED
- La efectividad del RED
Para cada pregunta del instrumento de evaluación de Reeves, el evaluador debe proporcionar una puntuación de 1 a 5, donde:
- 1: Muy deficiente
- 2: Deficiente
- 3: Aceptable
- 4: Bueno
- 5: Excelente
Instrumento de valoración
4. Modelo Boehm
Descripción
Este modelo de calidad fue propuesto por Barry Boehm en el año de 1978, define la calidad en términos de atributos cualitativos y métricas para realizar las medidas.
El modelo se basa en que el software debe hacer lo que el usuario quiere que haga:
- Utilizar los recursos de la computadora correcta y eficientemente.
- Ser fácil de usar y de aprender para los usuarios.
- Estar bien diseñado, bien codificado y ser probado y mantenido fácilmente.
Criterios de evaluación
Portabilidad: independencia de dispositivos, exactitud, completitud, consistencia, robustez
Eficiencia: accesibilidad, eficiencia de uso de dispositivos
Usabilidad: comunicación, accesibilidad
Testeabilidad: comunicación, auto descripción, estructuración
Entendibilidad: Consistencia, estructuración, concisidad, legalidad.
Modificabilidad: Estructuración, aumentalidad
Métrica o escala de evaluación
El modelo de Boehm utiliza una escala de valoración para cada uno de los atributos de calidad del software. Esta escala generalmente se basa en una métrica cuantitativa que va de un rango, por ejemplo, de 0 a 1, donde:
- 0: Indica que el software no cumple con el atributo en absoluto.
- 0.5: Indica que el software cumple parcialmente con el atributo.
- 1: Indica que el software cumple completamente con el atributo.
Metodología
El modelo Boehm, conocido como la métrica de calidad de software de Boehm, es una forma de evaluar y medir la calidad del software desde varias dimensiones. Se basa en la idea de que diferentes atributos de calidad del software pueden ser valorados y cuantificados para obtener una visión general del estado del software.
Instrumento de valoración
5. Modelo Furps
Descripción
Es un modelo de calidad fijo propuesto por Hewlett Packard y Robert Grady (1987) cuyo nombre proviene de los criterios que evalúa: Funcionalidad, usabilidad, confiabilidad (reliability), desempeño (performance) y soportabilidad (Soto, 2015). El cual incluye, además de los factores de calidad y el atributo, restricciones de diseño y requerimientos de implementación, físicos y de interfaz.
Criterios de evaluación
Funtional-Funcional: Características,
capacidades y algunos aspectos de seguridad
Usability- Facilidad de uso: Factores
humanos(interacción), ayuda documentación
Realibilitu-Fiabilidad: Frecuencia
de fallos, capacidad de recuperación de un fallo y grado de previsión.
Performance-Rendimiento: Tiempo
de respuesta, productividad, precisión, disponible uso de recursos
Supportabilidad-Soporte: Adaptabilidad
y fortalecer el mantenimiento, internalización, facilidad de configuración
Métrica o escala de valoración
El modelo FURPS utiliza escalas de valoración para evaluar cada una de las características de calidad. Aquí tienes un ejemplo de cómo se puede aplicar una escala de valoración de 1 a 5 para cada característica
Instrumento de evaluación
6. Modelo McCall
Descripción
El modelo de McCall fue el primer modelo de medición de calidad del software, desde el principio de la ingeniería de software, McCall se observa que la calidad está compuesta por infinidad de características, un modelo de calidad describe diferentes relaciones con modelos muy diversos con distinción de atributos internos y externos que dificultan la comprensión del concepto de calidad. El modelo de McCall focaliza su producto identificando sus atributos desde la perspectiva del usuario, estos atributos (factores de calidad) son los que realmente desarrollan e implementan calidad, ellos puedes ser abstractos para diferentes medios por lo que cada uno interviene criterios de calidad reflejando McCall que el atributo tiene efecto directo en el atributo correspondiente.
Criterios de evaluación
1. Factores Relacionados con el Producto:
Corrección:
- Grado en que el software cumple con los requisitos especificados.
- Número de defectos encontrados en pruebas y en producción.
Fiabilidad:
- Tiempo medio entre fallos (MTBF).
- Tasa de fallos por hora de operación.
Eficiencia:
- Tiempo de respuesta medio.
- Uso de recursos (CPU, memoria, ancho de banda).
Integridad:
- Número de violaciones de seguridad detectadas.
- Capacidad para prevenir accesos no autorizados.
Usabilidad:
- Tiempo necesario para que los usuarios aprendan a usar el software.
- Satisfacción del usuario medida a través de encuestas.
2. Factores Relacionados con la Operación:
Disponibilidad:
- Porcentaje de tiempo en que el sistema está operativo y disponible.
- Tasa de tiempo de inactividad planificado vs. no planificado.
Seguridad:
- Número de incidentes de seguridad.
- Efectividad de los mecanismos de autenticación y autorización.
Precisión:
- Exactitud de los resultados generados por el software.
- Número de errores de cálculo o procesamiento.
Eficiencia de tiempo de procesamiento:
- Tiempo total necesario para completar tareas específicas.
- Comparación con tiempos de procesamiento esperados.
3. Factores Relacionados con la Revisión:
Mantenibilidad:
- Tiempo promedio necesario para corregir un defecto.
- Facilidad para realizar modificaciones y actualizaciones.
Flexibilidad:
- Capacidad del software para adaptarse a cambios en los requisitos.
- Esfuerzo necesario para realizar adaptaciones.
Reusabilidad:
- Porcentaje de componentes reutilizables en otros proyectos.
- Facilidad para integrar componentes reutilizables.
Portabilidad:
- Tiempo y esfuerzo necesarios para transferir el software a otro entorno.
- Grado de dependencia del entorno específico de hardware/software.
Interoperabilidad:
- Capacidad del software para interactuar con otros sistemas.
- Número de interfaces y protocolos soportados.
Métrica o escala de valoración
Para aplicar una escala de valoración a los factores del modelo de McCall, generalmente se utilizan valores numéricos para proporcionar una evaluación cuantitativa y objetiva. Aquí tienes un ejemplo de una escala de valoración de 1 a 5, similar a las que hemos discutido anteriormente: