Fecha de recepción: 30/10/2022 / Fecha de revisión: 31/01/2023 / Fecha de aceptación: 17/04/2023

Introducción

En México, en el Estado de Nuevo León (2017), existe una gran demanda por Ingenieros que lideren la transformación digital hacia la Industria 4.0 que tiene un pilar fuerte en Tecnologías Computacionales basadas a su vez en programación (PwC, 2020); por otra parte, según un reporte del Banco Mundial, sólo el 50% de los alumnos que inician un programa de Ingeniería se gradúan (Ferreyra et al., 2017). Una de las causas principales de deserción en los programas de Ingeniería es la reprobación (Sithole et al., 2017) que puede ser atenuada logrando el involucramiento del alumno como se expondrá en este estudio.

En Nuevo León, de acuerdo al anuario estadístico de la Asociación Nacional de Universidades e Instituciones de Educación Superior, (ANUIES, 2022) del año escolar 2021-2022, se tienen 73,286 alumnos de Ingeniería y Tecnologías y se gradúan anualmente 10,155. Esta cifra, pudiera ser el doble si todos los alumnos que ingresan, se graduaran, considerando el reporte del Banco Mundial, (Ferreyra et al., 2017). El plan estratégico de Nuevo León (2022) para el año 2030 relacionado con indicadores económicos, contiene el objetivo “3.3 Promover la generación de capital humano con enfoque en innovación, ciencia y tecnología” (p. 120), cuyo indicador es el número de egresados de posgrado por cada 100,000 habitantes, que en el año 2020 fue de 106 y se espera en una meta conservadora que sea de 162 (y con una meta optimista de 262) para el año 2030; se habla particularmente de asesoría especializada en Industria 4.0.

La necesidad de contar con más profesionales que se hagan cargo de la transformación hacia Industria 4.0 ha causado una reflexión sobre los porcentajes de aprobación de la materia introductoria a programación para Ingenieros, en donde el porcentaje de aprobación es menor cuando se compara con otras materias del área en una universidad privada del Noreste de México; es necesario diseñar estrategias basadas en un diagnóstico de la situación. El objetivo del estudio fue investigar la relación entre involucramiento estudiantil y los resultados de aprendizaje medidos por el desempeño académico del alumno, utilizando analíticas de aprendizaje del sistema de gestión de aprendizaje (SGA) Backboard y con base en la Teoría de Involucramiento.

Burch et al. (2015) consideran que el involucramiento estudiantil en los cursos académicos está entre los mejores predictores del aprendizaje y el desarrollo del estudiante.

El involucramiento está relacionado con la retención y con las calificaciones del alumno. Tinto (2016) identifica tres factores que influencian la motivación para persistir: la autoeficacia del alumno, el sentido de pertenencia y el valor percibido del currículum. Por otra parte, Yamauchi et al. (2016) argumentan que el involucramiento está relacionado con persistencia, retención y calificaciones del alumno.

“Independientemente de su definición, el involucramiento estudiantil está asociado generalmente de manera positiva con resultados deseables de aprendizaje, tanto académicos, sociales como emocionales” (Christenson et al., 2012, p. v).

En la revisión sistemática de literatura que hicieron Hernández Barrios y Camargo Uribe (2017) sobre el aprendizaje autoregulado (que estudia la autoeficacia del alumno) en Iberoamérica, encontraron que el 42% de los estudios ha sido hecho en España y Portugal y únicamente se encontraron publicaciones de cinco de los 19 Países que forman Latinoamérica. Solamente 11% de estas investigaciones, analizaron la relación con el rendimiento académico, situación que constituyó otra causa para considerar relevante su estudio.

Este documento está organizado de la siguiente manera: primero se muestra la revisión de literatura en investigación sobre el involucramiento del estudiante, después se analiza el rendimiento académico y posteriormente, estudios sobre sistemas de gestión del aprendizaje. A continuación se presenta la hipótesis de estudio y la metodología usada para probar el modelo de investigación. Se concluye con una discusión de los resultados encontrados y los trabajos futuros que pueden realizarse.

Involucramiento del estudiante de Educación Superior

El involucramiento (engagement en inglés) del estudiante de educación superior ha sido motivo de estudio durante los últimos 50 años y también constituye una tendencia de investigación como lo muestran Franklin et al. (2021).

Tight (2020) invita a contribuir en el tema de involucramiento estudiantil debido a su creciente importancia causada por el florecimiento de la economía basada en el conocimiento. Barbera et al. (2020) explican que, tras décadas de esfuerzo, se pueden identificar indicadores de retención y graduación del estudiante, siendo uno de ellos el involucramiento social o académico en el primer año de estudios de licenciatura como predictor de éxito, pues está directamente conectado con la persistencia hasta graduación.

Fredricks et al. (2016) explican que el involucramiento se ha estudiado cada vez más en los pasados 20 años por su potencial para trabajar con problemas persistentes en Educación, como el rendimiento académico del alumno, la deserción, así como el aburrimiento y aislamiento del alumno. El aumento en su popularidad es debido a que:

Ha mostrado su relación con el rendimiento académico, menor tasa de deserción, menor tasa de delincuencia y depresión, porque es observable, porque todos los profesores lo entienden y porque la mayoría de los profesores presentan el desinvolucramiento como el mayor desafío que encuentran, (p. 2).

“El involucramiento es atractivo porque es maleable a los cambios que un profesor hace en sus prácticas educativas” (Fredricks et al., 2016, p. 3).

Tight (2020) afirma que mientras más involucrado esté un alumno con su educación superior y con la Institución que se la ofrece, menos probable es que voluntariamente deserte sin completar sus estudios. Zepke (2018) sugiere que el involucramiento del alumno puede servir como un antídoto hacia los resultados de aprendizaje que son problemáticos. Mandernach (2015) analiza la literatura para evaluar involucramiento estudiantil y las herramientas que se han usado para medirlo e indica que el involucramiento no sólo incluye el tiempo invertido en una tarea (componente conductual) sino que enfatiza también una inversión de atención y vigor intelectual, por lo que el involucramiento tiene componentes cognitivos y afectivos.

De acuerdo con Astin (1984), Fredricks et al. (2004) y Trowler (2010) existe evidencia de que un alto nivel de involucramiento del estudiante está asociado con resultados positivos deseables que incluyen un incremento en el aprendizaje, menor deserción, un incremento en su desarrollo personal y su éxito, satisfacción, persistencia, logro académico e involucramiento social.

Kahu y Nelson (2018), sugieren que un camino conocido para el éxito estudiantil es el involucramiento.

Mandernach (2015) provee las siguientes definiciones sobre involucramiento, citando a sus autores; se presentan a continuación en orden cronológico:

• Astin (1984) define involucramiento como “la cantidad de energía (física y psicológica) que un alumno dedica a su experiencia académica” (p. 298).
• Natriello (1984) afirma que el involucramiento incluye “participar en las actividades ofrecidas como parte del programa académico” (p. 14).
• Skinner y Belmont (1993) definen el involucramiento como un “comportamiento de intervención sostenida en actividades de aprendizaje acompañado de un tono emocional positivo” (p. 572).
• Kuh (2003) explica que hay una responsabilidad recíproca en fomentar el involucramiento, su definición es “el tiempo y energía que el alumno dedica a actividades significativas tanto dentro como fuera del salón de clases, así como las políticas y prácticas que la institución usa para inducir al alumno a tomar parte de estas actividades” (p. 25).
• Barkley (2010) sostiene que el involucramiento del alumno “…no significa que está siendo entretenido, significa que está pensando” (p. xii).

Christenson et al. (2008), definen el involucramiento estudiantil como el conjunto de compromisos que los estudiantes hacen para aprender y participar en el ambiente educativo con el fin de lograr los resultados deseados.

Skinner et al. (2009) definen el involucramiento como “la calidad de la participación de los alumnos en las actividades, valores y metas académicos” (p. 494).

Kanaparan et al. (2017) exponen las siguientes definiciones sobre involucramiento, citando a sus autores:

• Fredricks et al. (2004) definen el involucramiento académico como el conjunto de intentos psicológicos y de comportamiento que un alumno hace para aprender, es decir, para dominar las habilidades y el conocimiento de las actividades académicas. Los estudiantes con alto involucramiento académico pensarán que son aceptados y apreciados en sus actividades de aprendizaje y esto, detonará intentos serios para lograr un rendimiento académico alto. El involucramiento escolar es la intervención del alumno en actividades tanto académicas como no académicas que pueden ser observadas a través de su comportamiento, emociones y aspectos cognitivos tanto en el salón de clases como en la escuela en general.
• Christenson et al. (2012) afirman que el involucramiento es un constructo multidimensional y es definido como “la participación activa del estudiante en actividades académicas y cocurriculares o en actividades relacionadas con la escuela y su compromiso con las metas educativas y de aprendizaje” (p. 4).
• Christenson et al. (2012) agregan que “el involucramiento del alumno conduce al aprendizaje, requiere energía y esfuerzo, es afectado por múltiples influencias contextuales y puede ser logrado por todas las personas que quieren aprender” (p. 4).

Henrie et al. (2015) sugieren que el involucramiento académico “es el compromiso o el intento que un alumno hace para intervenir en el contexto del aprendizaje académico en la escuela” (p. 37).

Tight (2020) también explora definiciones sobre involucramiento y cita a Zepke (2018) que afirma que el involucramiento del alumno “es un constructo complejo usado para identificar lo que el alumno hace, piensa y siente cuando aprende y cómo los profesores pueden mejorar lo que es hecho, pensado y sentido en el ambiente instruccional” (p. 695), e invita a la crítica.

Aunque se aprecian diferencias en las definiciones, se observa un acuerdo general entre los autores en que existen tres dimensiones en el involucramiento del estudiante: del comportamiento (conductual), cognitiva y emocional (también llamada motivacional o afectiva).

Las definiciones previas hablan de tres factores interrelacionados: (1) cognitivos: la cantidad de esfuerzo mental en las tareas encontradas expresada en acciones como pensar, aprender, reflexionar, disfrutar el aprendizaje y usar estrategias de estudio; (2) del comportamiento: la cantidad de respuestas activas hacia las tareas presentadas, manifestada en acciones como comprometerse, invertir energía y tiempo, intervenir, socializar, interactuar y participar de forma sostenida y (3) afectivos: el nivel de inversión en las tareas de aprendizaje considerando sus reacciones emocionales a estas tareas, manifestada en su motivación, su sentir, su gratitud y sus emociones.

Un sistema de gestión del aprendizaje almacena indicadores sobre las respuestas activas del estudiante durante un curso, por ejemplo, midiendo el número de clics de un estudiante y el tiempo invertido en la plataforma, entre otros; estos indicadores de comportamiento han sido considerados para el presente estudio y están disponibles en la Universidad.

Debido a la relevancia del involucramiento estudiantil según se ha expuesto, se ha analizado la relación que existe entre involucramiento del estudiante medido a través de indicadores de la plataforma Blackboard y su rendimiento académico.

Rendimiento académico

La Educación Superior es un factor clave para el desarrollo de los individuos y de los países. Los individuos con mayor grado de educación superior tienen más probabilidad de encontrar un empleo, se desempeñan mejor en diversos exámenes y tienen mejor salud que sus contemporáneos (Schneider & Preckel, 2017).

De acuerdo al reporte de la Organización para la Cooperación y Desarrollo Económico (OECD, 2017), los estudiantes que completan un grado de Educación Superior tienen mayor probabilidad de tener un empleo y de percibir salarios más altos y tienen menor probabilidad de sufrir depresión cuando se les compara con sus compañeros que no terminaron un grado de Educación Superior.

En los modelos de Tinto (1975) y Bean y Metzner (1985) para estudiantes tradicionales y no tradicionales el logro académico es un predictor de persistencia. Li y Carroll (2017) mostraron que estar en riesgo de desertar está asociado con tener calificaciones más bajas que la media institucional.

El estudio del rendimiento académico ha sido un tema de interés en la investigación y se sigue estudiando como un indicador de calidad académica. Sakiz et al. (2021) afirman que el rendimiento académico es una medida confiable del nivel de conocimiento y de las habilidades que se adquieren en Educación Superior.

Kumar et al. (2021) han desarrollado un estudio de las definiciones sobre rendimiento académico a través del tiempo y han encontrado que son variadas y van “desde el logro de un grado académico hasta el desarrollo del alumno en un sentido moral”, desde “aprobar cursos y tener conocimientos y destrezas, hasta desarrollar habilidades que permitan lograr una carrera de progreso” (p. 3091). En general, se trata de “asegurar e inculcar un cambio significativo que se dará en los niveles psicológico, afectivo, cognitivo y conductual en el alumno, lo que constituye el fin último del sistema educativo en el Mundo” (p. 3091).

El rendimiento académico, agregan Kumar et al. (2021), puede ser definido como:

El conocimiento que es logrado por el alumno y que es evaluado a través de calificaciones que asigna el profesor y/o por las metas educativas establecidas por alumnos y profesores que deben ser alcanzadas en un período específico de tiempo, (p. 3092).

El rendimiento académico se puede entender “como el núcleo alrededor del cual giran importantes componentes del sistema educativo y es por esto que es fuente de atención para investigadores, padres de familia, gobernantes y estadistas” (Kumar et al., 2021, p. 3092).

Con base en estos estudios, se decidió analizar la relación entre involucramiento del estudiante y su calificación final en el curso introductorio de programación.

Sistema de gestión del aprendizaje

Un sistema de gestión del aprendizaje (SGA) es un conjunto de herramientas y características digitales diseñadas para facilitar el aprendizaje y el trabajo en un curso según presentan Dahlstrom y Bichsel (2014) quienes también aseguran que su uso como parte complementaria de un curso tradicional ha sido bien aceptado porque provee muchas oportunidades de involucramiento en el aprendizaje tanto para profesores como para estudiantes.

Curtis (2016) explora métodos para medir el involucramiento en experiencias de aprendizaje mediadas por tecnología y lo define como una intervención acordada, enfocada y energética del estudiante con su aprendizaje. Se busca que las medidas empleadas sean escalables, efectivas en costo y mínimamente disruptivas.

Venugopal y Rajashree (2015) estudiaron el involucramiento en línea en términos del aprendizaje del estudiante, su participación y su rendimiento académico en un ambiente mixto que usa un SGA. Encontraron que existe una correlación positiva entre el involucramiento y su uso.

Lu et al. (2017) afirman que cuando se desarrollan ambientes de aprendizaje para enseñar programación se pueden mejorar los resultados de aprendizaje y de involucramiento aplicando Analíticas de Aprendizaje (AA). En su estudio, entregaron al profesor un reporte mensual sobre alumnos en riesgo usando las AA en un curso MOOC (Massive Online Open Course) en programación en una Universidad en Taiwán. Los resultados demostraron que su uso mejoró los resultados de aprendizaje y de involucramiento del estudiante.

Tempelaar et al. (2020) afirman que la medición del involucramiento en el aprendizaje es un tema de investigación tanto en el área de Educación como en el área de Analítica del Aprendizaje (Learning Analytics) y mencionan un rango de instrumentos usados, como cuestionarios para autorreporte, bitácora de los datos de sistemas de aprendizaje basados en tecnología, estrategias de think-aloud y pruebas. Los autores combinaron un cuestionario de autorreporte con rastreo digital durante algunas evaluaciones en un curso de Estadística universitaria y encontraron patrones de involucramiento que pueden ayudar a diseñar intervenciones efectivas.

Gardner et al. (2020) se preguntaron cuáles AA son más convenientes en Educación Superior y se enfocaron en el diseño de un módulo en un curso de Computación en la Universidad Abierta de Londres que está diseñado con un ambiente CALT (computer aided learning and teaching) para encontrar la relación entre el ambiente y el rendimiento del estudiante. Su conclusión es que estos datos son muy útiles para conocer el comportamiento del involucramiento del estudiante en un ambiente en línea y que los resultados les sirvieron para hacer análisis retrospectivo.

Atwell et al. (2021), encontraron una relación fuerte entre la entrega de tareas y actividades del alumno y su rendimiento académico por lo que consideran que su ausencia es un factor de alto riesgo en la aprobación de una materia. La entrega oportuna de tareas y actividades se relaciona con el involucramiento del alumno.

Ahmadi et al. (2023) hicieron una revisión sistemática de literatura para detectar los principales indicadores de involucramiento que provee un SGA; afirman que monitorear y promover el involucramiento del estudiante es un factor determinante para su éxito y que los datos de actividad del estudiante que provee un SGA pueden ser usados para medir el involucramiento.

Por lo anteriormente expuesto, se decidió estudiar la relación que existe entre el involucramiento del estudiante medido a través de analíticas de Blackboard y el rendimiento académico medido por la calificación final del alumno, en la materia introductoria de programación.

Pregunta de investigación

¿Existe relación entre el involucramiento del estudiante medido por analíticas de Blackboard en la materia introductoria de programación en Ingeniería y su desempeño académico medido por la calificación final?

Hipótesis de investigación

H0: El involucramiento estudiantil (medido a través de analíticas de Blackboard) no se relaciona con los resultados de aprendizaje del alumno, siendo un resultado su calificación final.

H1. El involucramiento estudiantil (medido a través de analíticas de Blackboard) se relaciona con los resultados de aprendizaje del alumno, siendo un resultado su calificación final.

Método

Para medir la asociación entre dos variables (Hair et al., 2020) se utiliza el análisis de correlación, que es una metodología estadística que trata de establecer la relación entre dos o más variables a través del cálculo del coeficiente de correlación entre ellas. El coeficiente varía entre -1 y 1, siendo |1| la correlación perfecta y debe ser estadísticamente significativa para que tenga validez. Los coeficientes de correlación más usados son: Pearson, Spearman y Kendall.

El coeficiente de correlación de Pearson (Hair et al., 2020) mide la asociación lineal entre dos variables cuantitativas y tiene varias suposiciones sobre los datos: (a) las variables deben ser cuantitativas, (b) la relación entre las variables debe ser lineal y (c) los datos deben tener una distribución normal. Si alguna de las suposiciones no se satisface, debe usarse el coeficiente de correlación de Spearman y si las variables son cualitativas, debe usarse el coeficiente de correlación de Kendall.

Se tuvo como objetivo desarrollar un estudio cuantitativo relacional de corte transversal entre involucramiento del alumno medido a través de analíticas de Blackboard v9.1 y su rendimiento académico medido a través de su calificación final.

Se aplicó metodología estadística para encontrar cuál hipótesis es verdadera. Se desea que los errores en la aceptación de una hipótesis sean del menor tamaño posible, típicamente, se trabaja con α < .05 y β <.20, límites que han sido adoptados en este estudio.

Primero se estudiaron las analíticas del sistema Blackboard disponibles en la Universidad y que pueden ser consultadas a través de la opción de evaluación y reportes del curso; se encontraron nueve reportes entre los que se seleccionaron dos por su pertinencia para el estudio de involucramiento: el primero de ellos llamado “Actividad del usuario en las áreas de contenido” muestra toda la actividad de cada estudiante durante el período académico y el segundo llamado “Información de la actividad del curso” muestra el tiempo total que el estudiante dedicó al curso estando activo en la plataforma durante el período académico. Los detalles de estos indicadores se muestran en la Tabla 1 y la justificación de la decisión sobre cada indicador seleccionado se muestra en la Tabla 2.

Tabla 1

Reportes disponibles sobre analíticas en Blackboard v9.1

Número	Nombre del reporte	Descripción
1	Actividad del usuario en las áreas de contenido	Resumen de la actividad de todos los usuarios en las áreas de contenido del curso entre ciertas fechas especificadas al pedir el informe (máximo seis meses hacia atrás con respecto al día en que se solicita el reporte). Contiene el número de clics en un cierto elemento, tanto en un formato de tabla como de gráfica y también el número de peticiones por usuario a cada uno de los elementos de contenido y el total por usuario
2	Información de la actividad del curso	Actividad general del curso, ordenada por alumno y fecha. Los datos incluyen el tiempo total y el tiempo promedio, medido en horas, que cada alumno tiene en el curso
3	Informe de cobertura del curso	Muestra información sobre los elementos del curso que se han alineado con metas Universitarias
4	Rendimiento del curso	Rendimiento de un curso en comparación a un conjunto seleccionado de metas
5	Resumen general de la actividad del usuario	Muestra la actividad del usuario para todas las áreas del curso, así como las fechas, las horas y los días de la semana de las actividades
6	Informe de participación de usuario en el curso	Número de envíos de usuario en su curso para actividades, evaluaciones, discusiones, blogs y diarios dentro del marco de tiempo elegido
7	Descripción general del alumno para un curso	Actividad de un alumno en el curso, ordenada por fecha. Los datos incluyen el tiempo total que el alumno ha dedicado al curso
8	Actividad del usuario en foros	Resumen de la actividad llevada a cabo por el usuario en foros de discusión del curso
9	Actividad del usuario en grupos	Resumen de la actividad llevada a cabo por el usuario en grupos del curso

Tabla 2

Justificación sobre el uso de los reportes disponibles de Blackboard v9.1

Número	Nombre del reporte	Decisión	Justificación
1	Actividad del usuario en las áreas de contenido	sí	Este reporte se seleccionó para analizar la actividad del alumno en el curso introductorio de programación dado que la teoría sobre involucramiento, Mandernach (2015), ha mostrado la relación que existe entre el comportamiento del alumno a través de sus acciones (comportamiento) y el rendimiento académico.
2	Información de la actividad del curso	sí	Este reporte se seleccionó porque existe teoría (Halverson y Graham, 2019) y Henrie et al. (2015) que demuestra que el involucramiento del alumno se relaciona con el tiempo invertido en una tarea.
3	Informe de cobertura del curso	no	Este reporte no está activo en la Universidad.
4	Rendimiento del curso	no	Este reporte no está activo en la Universidad.
5	Resumen general de la actividad del usuario	no	La información de este reporte coincide con la información que genera el primer reporte en lo que se refiere a la actividad del alumno; no se seleccionó porque tiene mayor detalle que no agrega valor para el estudio que se ha realizado
6	Informe de participación de usuario en el curso	no	Este informe está desarrollado para cumplir ciertas leyes sobre devolución del importe de colegiaturas en EEUU, no se utiliza en la Universidad.
7	Descripción general del alumno para un curso	no	Los datos coinciden con los generados en el reporte dos, pero deben obtenerse alumno por alumno.
8	Actividad del usuario en foros	no	En la materia introductoria a programación no se promueven los foros de discusión.
9	Actividad del usuario en grupos	no	En la materia introductoria a programación, se fomenta el trabajo en pares en el laboratorio y en el proyecto final, este trabajo es presencial, no se registra en Blackboard.

Por lo anteriormente expuesto, en el estudio se tienen tres variables cuantitativas: actividad del alumno (ACT) que proviene del reporte uno de Blackboard, tiempo invertido por el alumno (TPO) que proviene del reporte dos y calificación final del alumno (CF) que proviene del sistema central de la Universidad.

Para determinar el tamaño de la muestra en el estudio relacional se analizaron las sugerencias de varios autores.

Conforme a Hernández Sampieri y Mendoza Torres (2018), se sugiere un tamaño de muestra de 82 para una prueba de hipótesis en un estudio de correlación de dos colas. Por otra parte, Morales Vallejo (2012) sugiere investigar el coeficiente de relación encontrado por otros autores para conocer el coeficiente de correlación esperado y consultar las tablas correspondientes en los libros de Estadística que permitan encontrar el tamaño de la muestra.

Se analizaron varios estudios de correlación entre involucramiento estudiantil y rendimiento académico cuyos resultados se muestran en la Tabla 3 y con los datos obtenidos se calculó un promedio ponderado para considerar así una correlación moderada de r =.3 con el fin de consultar las tablas que indican el tamaño de la muestra recomendado.

Tabla 3

Estudios que analizan una relación entre involucramiento estudiantil y rendimiento académico

Ámbito	Coeficiente de correlación Pearson (conductual)	n	Autor(es)
Alumnos de Enfermería en Egipto y Arabia Saudita	.290	425	Bayoumy y Alsayed (2021)
Alumnos de Psicología en Uruguay	.110	589	Curione et al. (2019)
Alumnos de Educación en Filipinas	.208	305	Delfino (2019)
Alumnos de Negocios de dos Universidades en Sri Lanka	.452	318	Glapaththi et al. (2019)
Alumnos de Educación en Turquía. (No de primer semestre)	.255	304	Gunuc(2014)
Alumnos de Inglés Universitario en Turquía	.290	294	Karabıyık (2019)
Alumnos de tres universidades en Etiopía (no de primer año)	.548	530	Meseret y Ananda (2018)
Alumnos de Farmacología en Jordania	.774	144	Qetesh et al. (2020)
Alumnos de Enfermería en Irán	.630	310	Zare et al. (2017)

Al consultar las tablas para encontrar el tamaño de la muestra, se encontró que es de tamaño 85 con un nivel de confianza α = .05 y potencia estadística (1- β) de .80; si la potencia se aumenta hacia .90, el tamaño de la muestra se sugiere de 113.

Santabárbara (2021) sugiere tamaño de muestra de 90 para un nivel de confianza de α = 0.05 y potencia estadística de .80. Pértegas Díaz y Pita Fernández (2002), sugieren un tamaño similar de 85, en ambos casos para un coeficiente de correlación r = .3. Los autores sugieren agregar un 10% al tamaño de la muestra para superar datos perdidos.

También hay autores como Clark-Carter (2019) que recomiendan consultar tablas estadísticas disponibles en libros de Estadística o usar software como G*Power para calcular el tamaño de la muestra solicitando un estudio a priori en el mismo. Se instaló el software y se hizo la consulta, encontrando un tamaño de muestra de 84 para una potencia estadística de .80 y de 112 para una potencia estadística de .90.

Con base en los autores consultados, para el estudio relacional, se estableció un tamaño de muestra de 125 participantes que representan el tamaño de la muestra recomendado más un porcentaje por posibles datos perdidos.

Posteriormente, se realizó un muestreo no probabilístico por conveniencia considerando al total de los alumnos que cursaron la materia en el período académico de enero-mayo 2022 y se obtuvo una muestra de 123 participantes de primer semestre que incluyó estudiantes registrados en el curso introductorio de programación para ingeniería. Se descartaron cinco participantes porque excedieron el número de faltas permitido durante el semestre. Para 118 participantes, se extrajeron del sistema Blackboard las analíticas seleccionadas y posteriormente en el sistema central de la Universidad, se identificaron sus calificaciones finales. Los datos fueron integrados y anonimizados.

Al hacer un estudio relacional, se deben examinar los datos para descubrir si presentan una distribución normal (Hair et al., 2019) y así utilizar estadística paramétrica; si los datos siguen una distribución diferente a la normal, se debe usar estadística no paramétrica; los autores explican que para detectar si los datos presentan una distribución normal, se conocen los métodos gráficos que dependen de una revisión visual y los métodos formales de prueba de contraste de hipótesis en donde los estadísticos más usados son Shapiro-Wilk y Kolmogorov-Smirnov; también se recomienda observar la estadística descriptiva del comportamiento de los datos, valores de asimetría y curtosis cercanos a cero, indicarán que los datos tienen una distribución normal. Flores Tapia y Flores Ceballos (2021) explican que la prueba Kolgomorov-Smirnov debe aplicarse para un tamaño de muestra mayor que 50, como es el caso del presente estudio.

Con base en lo anterior, se hicieron pruebas para decidir el uso de estadística paramétrica o no paramétrica para hacer el estudio relacional con el uso del software SPSS v28; se encontró que los datos no seguían una distribución normal, por lo que se decidió hacer un estudio relacional calculando el coeficiente rho de Spearman en el mismo software.

Posteriormente, se hizo el cálculo de potencia estadística usando el software G*Power 3.1 de Faul et al. (2009) y aplicando las recomendaciones de Cárdenas Castro y Arancibia Martini (2014).

Con los resultados obtenidos se escribieron las respuestas a las hipótesis planteadas en el estudio.

Resultados

Para hacer el estudio de correlación se analizó primero la estadística descriptiva de las variables estudiadas, los resultados se observan en la Tabla 4.

Tabla 4

Estadística descriptiva de las variables

	n	Mínimo	Máximo	Media	Desviación estándar	Asimetría	Error estándar	Curtosis	Error estándar
ACT	118	35	652	225.16	115.14	1.219	0.224	2.113	0.444
TPO	118	11	208	56.58	33.85	1.535	0.224	3.776	0.444
CF	118	30	100	76.27	15.96	-0.896	0.224	0.490	0.444

Los resultados de estadística descriptiva de las variables de estudio, muestran que los datos presentan un sesgo al observar su asimetría, en el caso de ACT y TPO tienen una asimetría positiva, presentan un sesgo a la derecha, mayores frecuencias están asociadas a menores valores de ACT y TPO; en el caso de CF se observa una asimetría negativa, un sesgo hacia la izquierda, mayores frecuencias están asociadas a mayores valores de CF. En el caso de la curtosis, los valores de ACT y TPO presentan una curtosis positiva, la mayoría de los valores están cercanos a la media. Los valores de asimetría y curtosis (Hair, 2020) estarían cercanos a cero si la distribución de estos datos fuese normal.

Para cada variable, también se hizo una prueba de normalidad para decidir si se debían usar pruebas de Estadística paramétrica (correlación de Pearson) o no paramétrica (correlación de Spearman).

La prueba de normalidad se hizo considerando la siguiente hipótesis:

H₀: Los datos de ACT y CF sí tienen una distribución normal

H₁: Los datos de ACT y CF tienen una distribución diferente a la normal

Se aplicaron los estadísticos Shapiro-Wilk y Kolmogorov-Smirnov en SPSS v28. Los resultados se observan en la Tabla 5.

Tabla 5

Pruebas de normalidad de ACT: actividad del alumno en la plataforma Blackboard y CF: Calificación final del alumno

Pruebas de normalidad
	Kolmogorov-Smirnov a			Shapiro-Wilk
	Estadístico	gl	Sig.	Estadístico	gl	Sig.
ACT	.130	118	<.001	.920	118	<.001
CF	.136	118	<.001	.934	118	<.001

Nota. ^a. Corrección de significación de Lilliefors

Una vez hecho el estudio de normalidad y dado que el nivel de significancia fue menor que 0.05 se procedió a rechazar H₀ que indica que los datos tienen una distribución normal, por lo que los datos tienen una distribución diferente a la normal y por tanto, debe usarse estadística no paramétrica para el estudio relacional.

Del mismo modo, se hizo prueba de normalidad para el indicador “Información de la actividad del curso” que muestra el tiempo total (TPO) que el estudiante dedicó al curso estando activo en la plataforma durante el período académico, encontrando los resultados que se muestran en la Tabla 6 y con resultados similares al indicador de actividad.

Tabla 6

Pruebas de normalidad para las variables TPO (Tiempo registrado en la plataforma Blackboard) y CF (calificación final del alumno)

Pruebas de normalidad
	Kolmogorov-Smirnov a			Shapiro-Wilk
	Estadístico	gl	Sig.	Estadístico	gl	Sig.
TPO	.115	118	<.001	.896	118	<.001
CF	.136	118	<.001	.934	118	<.001

Nota.^a. Corrección de significación de Lilliefors

Para hacer el estudio relacional entre ACT (“Actividad del usuario en las áreas de contenido”) y CF (calificación final del estudiante), después de investigar la distribución de los datos, se procedió de la siguiente manera:

Se estableció la hipótesis de relación del estudio:

H₀: No existe relación entre la actividad de un alumno en la plataforma Blackboard y su calificación final de la materia.

H₁: Existe relación entre la actividad de un alumno en la plataforma Blackboard y su calificación final de la materia.

El nivel de significancia para todos los estudios, fue considerado en 95%, es decir, que se permite un error α de .05 y buscando una potencia estadística (1- β) de 80%.

Posteriormente, se hicieron los estudios correlacionales, cuyos resultados se muestran en las Tablas 7 y 8.

Tabla 7

Correlación Spearman entre el indicador de actividad del sistema Blackboard (ACT) y la calificación final del alumno (CF)

Correlaciones
			ACT	CF
Rho de Spearman	ACT	Coeficiente de correlación	1.000	.448***
		Sig. bilateral		<.001
		n	118	118
	CF	Coeficiente de correlación	.448***	1.000
		Sig. (bilateral)	<.001
		n	118	118

Nota.***. La correlación es significativa en el nivel 0.001 (bilateral).

Tabla 8

Correlación Spearman entre el indicador de tiempo registrado en el sistema Blackboard (TPO) y la calificación final del alumno (CF)

Correlaciones
			TPO	CF
Rho de Spearman	TPO	Coeficiente de correlación	1.000	.447**
		Sig. bilateral		<.001
		n	118	118
	CF	Coeficiente de correlación	.447**	1.000
		Sig. (bilateral)	<.001
		n	118	118

Nota.**. La correlación es significativa en el nivel 0.01 (bilateral).

Una vez hechos los estudios relacionales y dado que el nivel de significancia fue menor que 0.05 se procedió a rechazar H₀ que indica que las variables no se relacionan y por tanto, se acepta H₁ que indica que existe relación entre las variables.

Con los resultados obtenidos de los estudios correlacionales, se procedió a calcular la potencia estadística en el software G*Power y los resultados se pueden observar en las Figuras 1 y 2.

Figura 1

Cálculo de la potencia estadística para la relación entre la actividad (ACT) del alumno registrada en el sistema Blackboard y la calificación final (CF) del alumno

Figura 2

Cálculo de la potencia estadística para la relación entre el tiempo invertido por el estudiante (TPO) registrado en Blackboard y la calificación final (CF)

Como puede observarse en las Tablas 7 y 8, se encontró una relación moderada considerando la escala que presentan Hair et al. (2020), significativa y positiva tanto entre la actividad del estudiante en la plataforma y el rendimiento académico (rho₍₁₁₆₎=.448, p<.001 con potencia estadística de .970), como entre el tiempo invertido en la plataforma y el rendimiento académico (rho₍₁₁₆₎ =.447, p<.01 con potencia estadística de .995). Estos resultados apoyan la hipótesis de investigación y se concluye que sí existe una relación entre la actividad y el tiempo invertido por el alumno en Blackboard y su calificación final.

El tamaño del efecto en un estudio relacional, expone Clark-Carter (2019), es una medida de la cantidad de varianza en una variable que puede ser explicada por la varianza en la otra variable. Se calcula elevando al cuadrado el coeficiente de correlación y multiplicando por 100; el tamaño del efecto en este estudio es 20.07% para actividad del alumno y calificación final y 19.88% para tiempo invertido en la plataforma y calificación final; el autor considera este tamaño del efecto como un efecto ubicado entre mediano y grande en las Ciencias Sociales.

Aun y cuando la relación es moderada, considerando el número de factores que intervienen en el rendimiento del estudiante, los hallazgos encontrados se pueden considerar como resultados que ayudan al profesor para promover el comportamiento enfocado del estudiante durante el curso.

Discusión y conclusiones

Con base en los resultados, se puede concluir que tanto la actividad del alumno como el tiempo invertido por el alumno y que está registrado en Blackboard, se relacionan positiva y significativamente con sus resultados de rendimiento académico medidos por la calificación final, lo cual coincide, según lo expuesto por Atwell (2021), Halverson y Graham (2015), Henrie et al. (2015) y Kuh (2009) con la teoría del involucramiento que afirma que el esfuerzo, la persistencia y el tiempo en la tarea son dimensiones del involucramiento cognitivo que se manifiestan como forma externa del comportamiento del alumno y reflejan la inversión real de energía mental en el aprendizaje, relacionados a su vez, significativamente con el rendimiento académico.

Los resultados también coinciden con los obtenidos por diversos investigadores que han estudiado la relación entre las analíticas de un SGA y el rendimiento académico: Ahmed y Mesonovich (2019) hicieron un estudio en la materia de precálculo y encontraron que existe relación entre las calificaciones de las actividades del SGA y la calificación final del estudiante. Akai y Koral Gumusoglu (2020) encontraron que, en materias de idiomas, el uso de un SGA predice la calificación final del estudiante. Bulut et al. (2023) encontraron que los resultados de la evaluación formativa (completar tareas, tiempo de entrega, calificaciones) son predictores importantes de la calificación final del alumno. Darko (2021), utilizando datos de un SGA, analizó el tiempo promedio que el alumno invirtió durante sus estudios de Licenciatura relacionándolo con sus calificaciones finales y encontró una correlación positiva y significativa. Firat (2016), encontró que existe relación entre analíticas de un SGA y la calificación final, particularmente, el tiempo invertido por el alumno. Fleur et al. (2023) diseñaron un tablero adicional para mostrar a los alumnos sus analíticas y afirman que su impacto social influyó positivamente en la motivación y en las calificaciones finales. Liz-Domínguez et al. (2022) encontraron correlación entre analíticas de un SGA y calificación final para alumnos que cursan Computación para Arquitectura por primera vez. Shayan y van Zaanen (2019) encontraron que la actividad del estudiante es un predictor de su calificación final a partir de la segunda mitad del período académico. Por otra parte, Saygili y Çetin (2021) hicieron un metaanálisis para estudiar la relación entre las analíticas de un SGA y la calificación final en Matemáticas y encontraron una relación baja. Broadbent (2016) afirma que es la autoeficacia del alumno y no las analíticas de un SGA lo que tiene relación con el rendimiento académico.

Limitaciones y propuestas de continuidad

Aun cuando los resultados se consideran positivos porque guían hacia observaciones futuras sobre indicadores de involucramiento del estudiante relacionados con su rendimiento académico, no se pueden generalizar a la población debido a que sólo se ha estudiado la materia en programas de ingeniería en una Universidad. Examinar las analíticas de Blackboard en diferentes universidades, permitiría tener un mejor panorama para la construcción de un modelo relacionado con la materia introductoria de programación. También debe considerarse que la población estudiada pertenece a una región de México y las analíticas provienen de Blackboard, extender el estudio hacia todo el País e incluyendo analíticas de otras plataformas sería enriquecedor. Los antecedentes del estudiante no han sido estudiados y sería otro factor a considerar. La correlación encontrada no garantiza una relación causa-efecto entre las variables de estudio. En investigaciones futuras también se podría estudiar la motivación y las percepciones de los estudiantes sobre la plataforma Blackboard, así como la comparación de los resultados con otros indicadores de involucramiento del estudiante. También se podría hacer investigación cualitativa mediante entrevistas con alumnos que no muestran un comportamiento activo en la plataforma Blackboard.

Referecias

Ahmadi, G., Mohammadi, A., Asadzandi, S., Shah, M., & Mojtahedzadeh, R. (2023). What Are the Indicators of Student Engagement in Learning Management Systems? A Systematized Review of the Literature. International Review of Research in Open and Distributed Learning, 24(1), 117 – 136. https://doi.org/10.19173/irrodl.v24i1.6453

Ahmed, K., & Mesonovich, M. (2019). Learning Management Systems and Student Performance. International Journal of Sustainable Energy Development (IJSED), 7(1), 582 – 591.

Akai, E., & Koral Gumusoglu, E. (2020). The impact of learning management systems on students´achievement in language exams. Turkish Online Journal of Distance Education-TOJDE, 21(4), 12, 206 – 222.

ANUIES (2022). Asociación Nacional de Universidades e Instituciones de Educación Superior. Año escolar 2021 – 2022. México. http://www.anuies.mx/informacion-y-servicios/informacion-estadistica-de-educacion-superior/anuario-estadistico-de-educacion-superior

Astin, A. (1984). Student involvement: A developmental theory for higher education. Journal of college student personnel, 25(4), 297–308.

Atwell, A., Mrusek, B., Solti, J., & Wilson, K. (2021). Risks to Student Achievement in Higher Education. Advances in Human Factors in Training, Education, and Learning Sciences, 269. https://doi.org/10.1007/978-3-030-80000-0_20

Barbera, S. A., Berkshire, S. D., Boronat, C. B., & Kennedy, M. H. (2020). Review of undergraduate student retention and graduation since 2010: Patterns, predictions, and recommendations for 2020. Journal of College Student Retention: Research, Theory & Practice, 22(2), 227–250.

Bayoumy, H., & Alsayed, S. (2021). Investigating Relationship of Perceived Learning Engagement, Motivation, and Academic Performance Among Nursing Students: A Multisite Study. Advances in Medical Education and Practice, 12, 351 – 369.

Bean, J., & Metzner, B.(1985). A Conceptual Model of Nontraditional Undergraduate Student Attrition. Review of Educational Research, 55(4), 485 – 540. https://doi.org/10.3102/00346543055004485

Broadbent, J. (2016). Academic success is about self-efficacy rather than frequency of use of the learning management system. Australasian Journal of Educational Technology, 32(4).

Bulut, O., Gorgun, G., Yildirim-Erbasli, S., Wongvorachan. T., Daniels, L., Gao, Y., Ka Wing, L., & Shin. J. (2023) Online formative assessments as the foundation for predictive learning analytics models. British Journal of Educational Technology, 54(1), 19 – 39. https://doi.org/10.1111/bjet.13276

Burch, G., Heller, N., Burch, J., Freed, R., & Steed, S. (2015). Student Engagement: Developing a Conceptual Framework and Survey Instrument. Journal of Education for Business, 90(4), 224 – 229. https://doi.org/10.1080/08832323.2015.1019821

Cárdenas Castro, M., & Arancibia Martini, H. (2014) Potencia estadística y cálculo del tamaño del efecto en G*Power: complementos a la prueba de significación estadística y su aplicación en Psicología. Salud y Sociedad, 5(2), 210 - 224.

Christenson, S. L., Reschly, A. L., Appleton, J. J., Berman-Young, S., Spangers, D., & Varro, P. (2008). Best practices in fostering student engagement. A. Thomas, & J. Grimes (Eds.), Best practices in school psychology, V, 1099-1120.

Christenson, S. L., Reschly, A. L., & Wylie, C. (2012). Handbook of Research on Student Engagement. Springer.

Clark-Carter D.(2019). Quantitative Psychological Research. Routledge.

Curione, K., Huertas, J., Ortuño, V., Gründler, V., & Píriz, L. (2019). Validación del bloque Estrategias de aprendizaje del MSLQ con estudiantes universitarios uruguayos. Revista Interamericana de Psicología/Interamerican Journal of Psychology (IJP), 53(1), 66 - 80.

Curtis H.(2016). Measuring Student Engagement in Technology-Mediated Learning Environments. [Tesis doctoral, Brigham Young University]. https://scholarsarchive.byu.edu

Dahlstrom, E., & Bichsel, J. (2014). ECAR Study of Undergraduate Students and Information Technology, ECAR Survey, https://net.educause.edu/ir/library/pdf/ss14/ERS1406.pdf

Darko, C. (2021). An Evaluation of How Students Use Blackboard and the Possible Link to Their Grades. SAGE Open, 11(4). https://doi.org/10.1177/21582440211067245

Delfino A. (2019). Student Engagement and Academic Performance of Students of Partido State University. Asian Journal of University Education, 15(1).

Faul, F., Erdfelder, E., Buchner, A., & Lang, A. (2009). Statistical power analyses using G*Power 3.1: Tests for correlation and regression analyses. Behavior Research Methods, 41, 1149 - 1160.

Ferreyra, M., Avitabile, C., Botero Álvarez, J., Haimovich Paz, F., & Urzúa, S. (2017). Momento decisivo. La educación superior en América Latina y el Caribe. Grupo Banco Mundial.

Firat, M. (2016). Determining the effects of LMS learning behaviors on academic achievement in a learning analytic perspective. Journal of Information Technology Education Research, 15, 75-87. http://www.jite.org/documents/Vol15/JITEv15ResearchP075-087Firat1928.pdf

Fleur, D., van den Bos, W., & Bredeweg, B. (2023). Social comparison in learning analytics dashboard supporting motivation and academic achievement. Computers and Education Open. 4(100130) 1 – 11. https://www.sciencedirect.com/journal/computers-and-education-open

Flores Tapia, C., & Flores Ceballos, K. (2021). Pruebas para comprobar la normalidad de datos en procesos productivos: Anderson-Darling, Ryan-Joyner, Shapiro-Wilk y Kolgomorov-Smirnov. Societas. Revista de Ciencias Sociales y Humanísticas Universidad de Panamá, 3(2) 83 – 97.

Franklin, M., Chan, J., Gardner, K., Measom, E., Sandberg, B., Irvine, J., & Kimmons, R. (2021). Higher Education: A History of Research Trends from 1970 to 2020. In R. Kimmons & J. Irvine (Eds.), 50 Years of Education Research Trends. Open Scholars Press. https://openscholarspress.org/50_years/higher_education

Fredricks, J., Blumenfeld, P., & Paris, A. (2004). School engagement: Potential of the concept, state of the evidence. Review of educational research, 74(1), 59 – 109.

Fredricks, J., Filsecker, M., & Lawson, M. (2016). Student engagement, context, and adjustment: Addressing definitional, measurement, and methodological issues. Learning and Instruction, 43, 1 – 4.

Gardner, C., Jones, A., & Jefferis, H. (2020). Analytics for Tracking Student Engagement. Journal of Interactive Media in Education, 1(22). http://doi.org/10.5334/jime.590

Glapaththi, I., Dissanayake, R., Welgama, T., Somachandara, U., Weerarathna, R., & Pathirana, G. (2019). A Study on the Relationship between Student Engagement and Their Academic Achievements. Asian Social Science, 15(11), 1 - 16.

Gunuc, S. (2014). The relationships between student engagement and their academic achievement. International Journal on New Trends in Education and Their Implications, 5(4), 4 – 19.

Hair Jr., J., Black, W., Babin, B. & Anderson, R. (2019). Multivariate Data Analysis, Eighth Edition. Cengage.

Hair Jr., J., Page, M., & Brunsveld, N. (2020). Essentials of Business Research Methods. Fourth Edition. Routledge.

Halverson, L., & Graham, C. (2019). Learner engagement in blended learning environments: A conceptual framework. Online Learning, 23(2), 145-178. https://doi.org/10.24059/olj.v23i2.1481

Henrie, C., Halverson, L., & Graham, Ch. (2015). Measuring student engagement in technology-mediated learning: A review. Computers & Education, 90, 36 – 53.

Hernández Barrios, A., & Camargo Uribe, A. (2017). Autorregulación del aprendizaje en la educación superior en Iberoamérica: una revisión sistemática. Revista Latinoamericana de Psicología, 49(2), 146 - 160.

Hernández Sampieri, R., & Mendoza Torres, C. (2018). Metodología de la investigación. Las rutas cuantitativa, cualitativa y mixta. McGraw Hill Education.

Kahu, E., & Nelson, K. (2018). Student engagement in the educational interface: Understanding the mechanisms of student success. Higher Education Research & Development, 37(1), 58 - 71.

Kanaparan, G., Cullen, R., & Mason, D. (2017). Self efficacy & Engagement on Students. Australasian Journal of Information Systems. Vol 23, Selected Papers from ACIS.

Karabıyık, C. (2019). The relationship between student engagement and tertiary level English Language Learners´s Achievement. International Online Journal of Education and Teaching (IOJET), 6(2), 281-293.

Kuh, G. (2009). The National Survey of Student Engagement: Conceptual and Empirical Foundations. New Directions for Institutional Research. Wiley Periodicals, 141. https://doi.org/10.1002/ir.283

Kumar, S., Agarwal, M., & Agarwal, N. (2021). Defining And Measuring Academic Performance of Hei Students-A Critical Review. Turkish Journal of Computer and Mathematics Education, 12(6), 3091 – 3105.

Li, I., & Carroll, D. (2017). Factors Influencing University Student Satisfaction, Dropout and Academic Performance: An Australian Higher Education Equity Perspective. National Centre for Student Equity in Higher Education (NCSEHE), Curtin University: Perth.

Liz-Domínguez, M., Llamas-Nistal, M., Caeiro-Rodríguez, M., & Mikic-Fonte, M.(2022) LMS Logs and Student Performance: The Influence of Retaking a Course. In Global Engineering Education Conference,https://doi.org/10.1109/EDUCON52537.2022.9766691

Lu, O., Huang, J., Huang, A., & Yang, S. (2017) Applying learning analytics for improving students engagement and learning outcomes in an MOOCs enabled collaborative programming course, Interactive Learning Environments, 25(2), 220 – 234. https://doi.org/10.1080/10494820.2016.1278391

Mandernach, B. (2015). Assessment of Student Engagement in Higher Education: A Synthesis of Literature and Assessment Tools. International Journal of Learning, Teaching and Educational Research, 12(2), 1-14.

Meseret, G., & Ananda, R. (2018). University Students’ Engagement and Academic Achievement in Ethiopian Public Universities. Journal of Advances and Scholarly Researches in Allied Education, Multidisciplinary Academic Research, 15(12), 115 – 122.

Morales Vallejo (2012). Estadística aplicada a las Ciencias Sociales. Universidad Pontificia Comillas, Madrid, Facultad de Humanidades, http://www.upcomillas.es/personal/peter/investigacion/Tama%F1oMuestra.pdf

Nuevo León (2017). Presentación sobre el Plan de Desarrollo Industrial del Gobierno del Estado de Nuevo León, iniciativa Nuevo León 4.0: un ecosistema de colaboración entre Gobierno, Academia e Industria. México. http://www.nl.gob.mx/publicaciones/nuevo-leon-40

Nuevo León (2022). Plan estratégico 2030. Consejo Nuevo León. https://planestrategico.conl.mx/desarrollo-economico

OECD (2017). Education at a Glance 2017: OECD Indicators. OECD Publishing.

Pértegas Díaz, S., & Pita Fernández, S. (2002). Investigación: Determinación del tamaño muestral para calcular la significación del coeficiente de correlación lineal. Unidad de Epidemiología Clínica y Bioestadística. Complexo Hospitalario Juan Canalejo. A Coruña.

PwC (2020). Skills for Industry Curriculum Guidelines 4.0. European Commission. Executive Agency for Small and Medium-sized Enterprises (EASME). https://doi.org/10.2826/097323

Qetesh, M., Saadh, M., Kharshid, A., & Acar, T. (2020). Impact of the Covıd-19 Pandemic on Academic Achievement and Self-Regulated Learning Behavior for Students of The Faculty of Pharmacy, Middle East University. Multicultural Education, 6(5).

Santabárbara, J. (2021). Cálculo del tamaño de muestra necesario para estimar el coeficiente de correlación de Pearson mediante sintaxis en SPSS. REIRE Revista d’Innovació i Recerca en Educació, 14(1), 1 – 7. https://doi.org/10.1344/reire2021.14.132565

Sakiz, H., Özdaş, F., Göksu, İ., & Ekinci, A. (2021). A Longitudinal Analysis of Academic Achievement and Its Correlates in Higher Education. SAGE Open.

Saygili, H., & Çetín, H. (2021). The Effects of Learning Management Systems (LMS) on Mathematics Achievement: A Meta-Analysis Study. Necatibey Faculty of Education Electronic Journal of Science and Mathematics Education, 15(2), 341-362. https://doi.org/10.17522/balikesirnef.1026534

Schneider, M., & Preckel, F. (2017). Variables associated with achievement in Higher Education: A systematic review of meta-analyses. Psychological Bulletin. APA, 143(6), 565 – 600.

Shayan, P., & van Zaanen, M. (2019). Predicting Student Performance from Their Behavior in Learning Management Systems. International Journal of Information and Education Technology, 9(5), 337 – 341.

Sithole, A., Chiyaka, E., McCarthy, P., Mupinga, D., Bucklein, B., & Kibirige, J. (2017). Student Attraction, Persistence and Retention in STEM Programs: Successes and Continuing Challenges. Higher Education Studies, 7(1). https://doi.org/10.5539/hes.v7n1p46

Skinner, E., Kindermann, T., & Furrer, C. (2009). A Motivational Perspective on Engagement and Disaffection. Educational and Psychological Measurement. 69(3), 493-525.

SPSS v28 (2022). Statistical Package for Social Sciences. IBM Academic Initiative.

Tempelaar, D., Nguyen, Q., & Rienties, B. (2020). Learning Analytics and the Measurement of Learning Engagement. Ifenthaler D. & Gibson D. (Eds) Adoption of Data Analytics in Higher Education Learning and Teaching. Advances in Analytics for Learning and Teaching. Springer, Cham. https://doi.org/10.1007/978-3-030-47392-1_9

Tight, M. (2020). Student retention and engagement in higher education. Journal of Further and Higher Education,44(5), 689–704. https://doi.org/10.1080/0309877X.2019.1576860

Tinto, V. (1975) Dropout from Higher Education: a theoretical synthesis of recent research. Review of Educational Research, 45(1), 89 -125.

Tinto, V. (2016). How to improve student persistence and completion (essay). https://www.insidehighered.com/views/2016/09/26/how-improve-student-persistence-and-completion-essay

Trowler, V. (2010). Student engagement literature review. The higher education academy,11, 1 – 15.

Venugopal, G., & Rajashree, J. (2015). Influence of learning management system on student engagement. In IEEE 3rd International Conference on MOOCs, Innovation and Technology in Education (MITE). https://doi.org/10.1109/MITE.2015.7375358

Yamauchi, L., Taira, K., & Trevorrow, T. (2016). Effective instruction for engaging culturally diverse students in Higher education. International Journal of Teaching and Learning in Higher Education, 28(3), 460 – 470.

Zare, S., Zeinalipoor, H., & Naseri Jahromi R. (2017). Study of the relationship between self-regulated learners strategies with academic achievement. Research in Medical Education, 9(4), 57 - 49.

Zepke, N. (2018). Student Engagement in Neo-Liberal Times: what is missing? Higher Education Research and Development, 37(2), 433 - 446.