Fecha de recepción: 29/11/2022 / Fecha de revisión: 11/12/2022 / Fecha de aceptación: 22/12/2022

Introducción

El cambio de paradigma de la educación a distancia en el ámbito de la salud

La educación a distancia –en sus modalidades no escolarizada y mixta- representa un paradigma del concepto de enseñanza-aprendizaje, alternativo al método tradicional, que permite llegar a un mayor número de personas en un escenario global basado en el conocimiento.

Este cambio de paradigma lleva implícito la incorporación de modelos de universidades virtuales que ofrecen a los estudiantes la ventaja de poder elegir un tiempo y un lugar para el aprendizaje. Esto es importante en el ámbito de la educación continua de posgrado para la salud, sobre todo, en aquellos colectivos sanitarios emplazados en entornos rurales o poco accesibles (Domínguez, 2021).

En este sentido, las investigaciones se han enfocado más a establecer relaciones entre diferentes variables que a definir específicamente el perfil del egresado de un programa a distancia (Pérez, Martínez y Martínez, 2015; Álvarez, Chaparro y Reyes, 2015; Surdez, Sandoval y Lamoyi, 2018), de ahí la necesidad de realizar estudios que sirvan para:

[…] continuar investigando en la línea de un modelo más enfocado en el participante, implementado en plataformas de software reutilizables para contextos de aprendizaje específicos, con el propósito de ofrecer una formación “a medida” para el usuario al que va dirigida la formación, especialmente en contextos inexplorados (Fainholc, 2016).

Por tanto, las tendencias actuales del e-learning en educación para la salud requerirán un compromiso por parte de los educadores, con el fin de utilizar tecnologías que faciliten este cambio curricular hacia una formación autorregulada por el estudiante (Brydges et al., 2015).

No obstante, no ha sido hasta hace pocos años, con la irrupción de las tecnologías de la información y comunicación (TIC), que surgieron una serie de teorías y modelos de evaluación de la formación e-learning con enfoques parcial y global, bajo diferentes perspectivas. 

Por ejemplo, el modelo de formación e-learning Knowlege, Process, Practice (KPP), propuesto por Shaw, Barnet, McGregor, y Avery (2015), para su aplicación a diferentes grupos profesionales del área de la salud, se mostró flexible al avance tecnológico al garantizar, no tan sólo la entrega de conocimiento, sino también la forma de procesarlo mediante herramientas de evaluación de la satisfacción y de aplicación en la práctica.

Paralelamente, la Organización Mundial de la Salud (OMS, 2005) hizo un llamamiento a todos los gobiernos miembros a adoptar y usar las tecnologías de la información en beneficio de la salud pública, a través de la Resolución WHA58.28 Cibersalud, y en particular, a promover un disfrute equitativo a precio asequible, reducir la brecha digital y:

[…] que prosiga la extensión a los Estados Miembros de mecanismos tales como la Academia de la Salud, que fomentan modos de vida sanos y un mejor conocimiento de cuestiones ligadas a la salud mediante el ciberaprendizaje (p.128).

En este contexto, el término e-Salud, también denominado salud digital, es un concepto integral que reúne a un grupo de aplicaciones, asociadas a las TIC, y que han ayudado a fortalecer, avanzar y crear oportunidades en el desempeño de los ámbitos relacionados con la salud (Shiferaw y Zolfo, 2012; WHO, 2018).

A pesar de ello, la naturaleza heterogénea de los modelos y la falta de concreción del concepto de calidad en el contexto de la evaluación en general, han impedido definir unos criterios universales de valoración de la satisfacción del estudiante (Pereira y Gelvez, 2018).

Modelos de medición del nivel de satisfacción del estudiante en la formación virtual

La relación entre la satisfacción de los egresados y el grado de calidad educativa constituye uno de los temas que más ha preocupado a las Universidades, interesadas desde hace años en mejorar su oferta para atraer nuevas generaciones de estudiantes a las diferentes modalidades de educación superior (González, Tinoco y Torres, 2017).

En este contexto, conocer el nivel de satisfacción de los egresados de posgrado puede ayudar a las instituciones educativas a: atraer nuevas generaciones de estudiantes (Gónzalez et al., 2016), dar respuesta a organismos [nacionales] e internacionales de evaluación universitaria (Pérez et al., 2015), averiguar sus necesidades (Mejías y Martínez, 2013) y, finalmente, obtener un mejor posicionamiento en el desempeño académico entre instituciones de educación superior (Surdez et al., 2018).

En consecuencia, resulta importante contemplar modelos y estándares de gestión de la calidad que señalen como requisito la necesidad de establecer un proceso de medición de la satisfacción del cliente o usuario (Pérez et al., 2015). Sin embargo, en comparación con la educación presencial, existen pocos modelos dirigidos a la formación e-learning y, aún menos, que consideren la satisfacción de los egresados como un elemento a tener en cuenta para la toma de decisiones. 

Una de estas pocas herramientas es la norma de “Gestión de la Calidad. Calidad de la Formación Virtual (UNE 66181:2012)”, que determina los tres factores principales que intervienen en la satisfacción de las necesidades y expectativas de los estudiantes: reconocimiento de formación para la empleabilidad, metodología de aprendizaje y accesibilidad. 

De esta manera, en la Tabla 1 se recoge una definición de los factores que se han considerado más importantes durante el desarrollo de esta investigación.

Tabla 1

Factores que condicionan la satisfacción de los estudiantes en la formación virtual

Factores	Descripción
Accesibilidad	Capacidad del programa formativo para satisfacer las necesidades y expectativas de accesibilidad del estudiante por problemas de brecha digital, discapacidad…
Metodología de aprendizaje	Capacidad para que el programa formativo pueda encontrar de forma eficiente solución a problemas complejos, a partir del análisis y en el contexto de una planificación metodológica
Coste	Coste monetario del programa formativo
Mantenibilidad	Capacidad potencial de que el programa formativo pueda ser modificado, ampliado, etc.
Empleabilidad	Capacidad de que el programa formativo facilite el ingreso al mundo laboral

Nota: Adaptado de UNE 66181:2012

Instrumentalización del modelo

El instrumento de medición debe contener los criterios de medida y tener un nivel de abstracción mínimo, por lo que es necesario que las variables del modelo se sometan a un proceso denominado “operacionalización de variables”, que pase de lo general a lo particular, de lo abstracto a lo concreto.

Por otro lado, el instrumento debe ser válido y confiable. En este contexto, la validez puede ser de contenido, de criterio y de constructo Por lo general, es habitual en los modelos realizar mayoritariamente una validez de contenido mediante revisión bibliográfica y consulta a paneles de expertos (Mejías y Martínez, 2013). En relación a qué tan confiable es el modelo, el indicador de referencia es el estadístico “Alpha de Cronbach”, de uso generalizado en el ámbito universitario (González y Pazmiño, 2015), y donde la aproximación a la unidad es lo más deseable.

Inteligencia artificial: Machine Learning y Deep Learning

La inteligencia artificial es una importante herramienta para contribuir a cerrar la brecha entre la satisfacción del egresado y el grado de calidad educativa, contribuyendo al cambio de paradigma que representa la educación virtual.

Según Pedemonte (2020), la Inteligencia Artificial (IA) se define como aquella tecnología de software que abarca una o varias capacidades referidas a la percepción, predicción, clasificación, toma de decisiones, diagnóstico y razonamiento lógico, entre otros.

Por su parte, el aprendizaje automático o Machine Learning se refiere a la capacidad de la máquina de aprender por si sola en base a la experiencia, a partir de la interpretación de un set de entradas, y proporcionar así una o varias salidas para cumplir un objetivo determinado (Faggella, 2018).

La metodología de machine learning ha servido para desarrollar lo que en la actualidad se conoce como “Deep Learning”, un sistema de aprendizaje automático basado en un conjunto secuencial de capas de redes neuronales artificiales, que intentan imitar el funcionamiento de las neuronas del cerebro humano (Schmidhuber, 2015).

Arquitectura simple de la red neuronal artificial

En la práctica, la materialización de dicha metodología se traduce en un modelo matemático constituido por una serie de unidades de procesamiento o neuronas conectadas, que intentan imitar el funcionamiento de la red neuronal biológica del cerebro humano.

El modelo más simple de una red neuronal artificial (ANN), también denominado como perceptrón, está constituido por una capa de entrada, una neurona y una única salida, cuyas conexiones están asociadas a pesos (w_jk), que dan idea de la intensidad de la señal de entrada. Cada neurona lleva asimismo asociada un umbral o bias (u_k), que funciona como un interruptor de activación o apagado de la neurona (Figura 1).

Figura 1

Modelo de perceptrón simple

En los modelos de redes neuronales, se realiza una combinación lineal de los pesos multiplicados por las entradas para, posteriormente, determinar la salida en base a la suma resultante, mediante una función de activación continua, diferenciable y no lineal (sigmoide, ReLu, tangente hiperbólica…), ya que lo que se pretende es obtener a la salida valores lo más cercanos posibles a 0 y 1 (feed-forward):

y la salida:

siendo f la función de activación o de transferencia.

Arquitectura de una red neuronal multicapa

Sin embargo, las aplicaciones del perceptrón simple son muy limitadas, por lo que es habitual añadir capas de neuronas (denominadas ocultas) entre la entrada y la salida, lo que añade complejidad a la red.

En este sentido, en la Figura 2 se ilustra la arquitectura de una red neuronal multicapa compuesta por una capa de entrada, una capa oculta y, finalmente, una capa de salida.

Figura 2

Arquitectura de una red neuronal multicapa. Nota: Las funciones de activación pueden ser distintas para cada capa

La elección del número de capas ocultas y su composición condiciona la eficiencia del aprendizaje e influye en la generalización de la red (Castillo, Solórzano y Moreno, 2018). Normalmente, en la metodología de Machine Learning, a diferencia del Deep Learning, una sola capa oculta es suficiente para que el algoritmo converja, aunque su composición se determina por pruebas de tipo ensayo-error. No obstante, como orientación, se suele escoger un número de neuronas de la capa oculta igual a la media entre el número de neuronas de la capa de entrada y la de salida.

Train, Validation y Testing

Durante el aprendizaje de la red, pueden producirse problemas de sobre-entrenamiento (overfitting), donde la red funcionará de forma excelente para los patrones de entrenamiento, pero tendrá poca capacidad de generalización, es decir, no podrá responder de manera adecuada para aquellos valores ajenos al entrenamiento. 

Con el fin de evitar el overfitting, se divide el conjunto de datos de entrada en tres partes: train (train+validation) y testing, de tal manera que para cada época se proporciona un error de entrenamiento y un error de validación. La obtención del mínimo error de validación es la señal para salir finalmente del algoritmo, evitar el overfitting y comenzar la etapa de test.

Los datos de testing sirven para comprobar el modelo con nuevas entradas que no han sido entrenadas ni validadas.

Diseño de la investigación

En apartados precedentes se puso de manifiesto la importancia de contar con un instrumento válido y confiable, para medir el nivel de satisfacción de los egresados de varios programas de posgrado online en el ámbito de la salud. Sin embargo, la heterogeneidad de normas y estándares ha impedido definir hasta ahora unos criterios de medida universales que sirvan para su aplicación en la práctica.

De esta manera, una vez planteado el problema, la pregunta de investigación fue la siguiente:

• ¿Es posible desarrollar una metodología de aprendizaje profundo, que tenga como parámetros de entrada un conjunto de criterios de medida, para clasificar y realizar pronósticos sobre el nivel de satisfacción de egresados de programas de posgrado online del área de salud?

En la Tabla 2 se muestran las directrices de esta investigación.

Tabla 2

Directrices de la investigación

Unidad de análisis:	Satisfacción de egresados de posgrados online en el área de salud
Variable dependiente o de salida:	Nivel de satisfacción de egresados de posgrados online en el área de salud
Definición operacional de la variable
Valores de la variable dependiente:	alto, medio, bajo
Variables independientes o de entrada:	Criterios de medición
¿Cómo se recopilan los datos?
Unidad de observación:	Conjunto de respuestas tipo escala de Likert emitidas por los egresados y administradas por paneles de expertos

Nota: Adaptado de Martinsuo & Huemann (2021) y Azcona & Manzini (2019)

En este contexto, las sub-preguntas de investigación fueron las siguientes:

• ¿Por qué es necesario operacionalizar las variables de un modelo?
• ¿Qué criterios de medida son los más valorados por los egresados? ¿Cuáles son aquellos que hay que mejorar? 
• ¿Puede la inteligencia artificial reducir la brecha existente entre el nivel de satisfacción del estudiante y el grado de calidad educativa en los posgrados del área de salud?
• ¿Es posible determinar la probabilidad de predicción del nivel de satisfacción de un egresado de posgrados de salud, a partir de las respuestas aportadas a los criterios de medida de un cuestionario o instrumento?

Método

La metodología seguida en esta investigación fue de tipo descriptivo y correlacional, de enfoque cuantitativo, no experimental, transeccional, ya que no se plantearon hipótesis ni se manipuló ninguna variable, pero sí se “[…] midieron, evaluaron o recolectaron datos sobre diversos aspectos, dimensiones o componentes del fenómeno a investigar [en su ambiente de trabajo natural y en un tiempo único]” (Hernández, Fernández y Baptista, 2003; Pérez et al., 2015).

El diagnóstico del nivel de satisfacción de los egresados con los posgrados de referencia, estuvo compuesto por diferentes fases: en primer lugar, un panel de expertos de la Universidad elaboró un modelo abstracto utilizando teorías, modelos y herramientas de evaluación de la formación virtual; en segundo lugar, tras un proceso de operacionalización de las variables, se obtuvo un conjunto de 13 criterios de medida, que formaron parte de un cuestionario de satisfacción en escala de Likert, que se aplicó, validó y determinó su confiabilidad sobre un total de 241 participantes; finalmente, a partir de las medidas de tendencia central y dispersión, se encontraron dos umbrales de decisión para clasificar los resultados obtenidos en un nivel de satisfacción alto, medio o bajo. Este último resultado sirvió para entrenar, validar y testear una red neuronal, y establecer un pronóstico del nivel de satisfacción de nuevos estudiantes mediante el software matemático Matlab R2021b®.

El panel de expertos estuvo formado por dos doctoras del área de salud y nutrición, un docente en tecnologías de la información y una doctora en proyectos, que previamente establecieron unas directrices comunes para llegar a un buen nivel de consenso.

Principales teorías, modelos y herramientas de la formación virtual

En la Tabla 3 se muestran los principales referentes bibliográficos que sirvieron para determinar las variables, dimensiones, factores e indicadores del modelo. 

Tal y como se muestra, la recopilación de bibliografía se orientó a la acción formativa y a la infraestructura logística y tecnológica.

Tabla 3

Principales modelos de educación virtual y variables asociadas

Ámbito de influencia	Modelos	Variables
Acción formativa	Modelo sistémico de Vann Slyke et al. (1998)	Institución que implementa la acción formativa Capacidad de los destinatarios de la formación Capacidad de adaptación del sistema e-learning Adaptación de los usuarios al campus virtual
	Modelo de los cinco niveles de Marshall & Shriver (1994), en McArdle (1999)	Capacidad comunicativa del docente Materiales del curso (dificultad, pertinencia…) Contenido o Currículum Estructura modular Transferencia del aprendizaje
	Modelo de los cuatro niveles de Kirkpatrik (1994)	Satisfacción de los participantes Evaluación del aprendizaje, comportamiento y resultados
	Modelo de Marcelo & Zapata (2008)	Contexto sociocultural del participante Diseño de objetivos y estrategias Facilitación de recursos Ambiente virtual de aprendizaje Tutorización Evaluación continua Seguimiento
	Modelo de evaluación de educación virtual de Marciniak (2015). Metodología de Benchmarking	Plan estratégico de la institución Contexto institucional Agentes educativos Procesos de enseñanza-aprendizaje Plataforma virtual
Infraestructura logística y tecnológica	SCORM	Agregación de contenido Entorno de ejecución Secuenciación y navegación
	IMS (Global Learning Consortium)	Metadatos Secuenciación Diseño de contenidos virtuales

Diseño del instrumento en base a los criterios de medida

En su concepción más abstracta, el modelo investigado consideró las siguientes variables: “Género”, “Procedencia”, “Programa”, “Edad”, “Perfil de Ingreso” y, finalmente, “Satisfacción del Egresado”.

El alto grado de abstracción de la variable “Satisfacción del Egresado” hizo que fuera necesario su transformación, mediante un proceso denominado operacionalización de variables, con el fin de hacerla más observable y medible (Reguant y Martínez, 2014). De esta manera, se contemplaron cinco dimensiones para medir el grado de satisfacción de los egresados de los posgrados online de referencia (Figura 3).

Figura 3

Dimensiones de la variable “Satisfacción del Egresado”

Si bien el grado de abstracción de las dimensiones permite en estos momentos proponer una visualización gráfica, no sucede lo mismo si más adelante hay que instrumentalizar la variable en un cuestionario de escala de Likert, por lo que hay que seguir sometiendo las dimensiones a un mayor grado de concretización, que progresivamente vaya de lo general a lo particular, en base a las siguientes etapas secuenciales: factores, indicadores y criterios de medida (Reguant y Martínez, 2014).

Una vez se tuvo el listado de factores e indicadores, se elaboraron los criterios de medida para el diagnóstico, mediante la búsqueda bibliográfica y la contribución de un panel de expertos.

De esta manera, se obtuvieron 13 ítems o criterios de medida, que proporcionaron la base de un cuestionario de escala de Likert, con categorías “1. Totalmente en desacuerdo”; “2. En desacuerdo”; “3. De acuerdo” y “4. Totalmente de acuerdo”, para medir la variable de satisfacción del egresado con los posgrados de referencia.

Población y Muestra

En un principio, la población objeto de estudio se dirigió a un total de 325 egresados de posgrados del área de salud de la Universidad Europea del Atlántico. Con el objeto de determinar el tamaño de muestra necesario, y dado que la intención fue estimar distribuciones de porcentajes de variables cualitativas en los cálculos estadísticos, se utilizó la siguiente fórmula para poblaciones finitas (Torres y Karim, 2021):

donde:

• n = tamaño de muestra requerido.
• N = tamaño de la población.
• Z_1- α _/2 = 1.96 (estadístico Z, calculado a un nivel de confianza del 95%).
• p = q = 0.5 (valores típicos en las peores condiciones).
• Error () = 0.05.

El muestreo fue de conveniencia, es decir, no probabilístico.

Sustituyendo los valores en la fórmula, resultó un tamaño de muestra requerido para el estudio de

Características generales de los egresados

Una vez aplicado el cuestionario de escala de Likert a 241 participantes, se reportaron un total de 54 valores perdidos en los ítems (22.4%), debido a vacíos en las respuestas que, sumados a una omisión descrita en la variable de “Procedencia”, totalizaron un total de 55 casos, que fueron extraídos del análisis, con lo que el número de egresados válidos incluidos para el diagnóstico fue finalmente de 186.

En la Tabla 4 se muestran las características generales definitivas de los egresados, una vez realizada la depuración de datos del análisis.

Tabla 4

Características generales de los egresados de los programas de posgrado (N=186)

Variables nominales	Categoría	n	%		Variables ordinales	Categoría	n	%
Género	Masculino	56	30.1		Grupo de edad (años)	20-29	50	27
	Femenino	130	69.9			30-39	70	37
Procedencia	Norteamérica	54	29.2			40-49	39	21
	Centroamérica	47	25.2			50-59	21	12
	Sudamérica	72	38.5			60-69	6	3
	Eurasia	13	7.2		Perfil de ingreso	Doctorado	8	4.4
Programa	Endocrinología y nutrición	20	10.6			Máster	30	16.0
	Elaboración de dietas	13	6.8			Posgrado	23	12.3
	Psicología clínica y nutrición	7	3.8			Grado/Dip/Lic	125	67.3
	Actividad física y nutrición	31	16.6
	Técnicas culinarias	31	16.6
	Salud y nutrición	85	45.6

Se pudo observar que el 69.9% pertenece al género femenino y el 30.1% restante, al masculino; el 38.5% procede de Sudamérica, el 29.2% de Norteamérica, el 25.2% de Centroamérica y el 7.2% de Eurasia. En relación a la edad, se tiene que el grupo comprendido entre 30 y 39 años supone el 37%, el de 20-29 años un 27%, el de 40-49 años un 21%, el de 50-59 años un 12% y el de 60-69 años un 3%. En referencia a los estudios previos, el 67.3% ha cursado algún grado/diplomatura/licenciatura, el 16% un Máster, el 12.3% un posgrado y el 4.4% un doctorado. Finalmente, un 45.6% ha cursado el programa de Salud y Nutrición, un 16.6% el de Técnicas Culinarias, otro 16.6% el de Actividad Física y Nutrición, un 10.6% el de Endocrinología y Nutrición, un 6.8% el de Elaboración de Dietas y un 3.8% el de Psicología Clínica y Nutrición.

Variable “Nivel de satisfacción del egresado”

Se creó la variable “Nivel de satisfacción” como resultado de la suma de los ítems de cada uno de los 186 participantes, y que fue la que se tomó a partir de ahora como referencia para el estudio. Esta nueva columna (variable dependiente o target) incluyó la categorización del nivel de satisfacción correspondiente (bajo, medio, alto) para cada egresado.

Diseño e implementación de la red neuronal artificial

Preparación de datos de la hoja de cálculo

En esta primera etapa, se elaboró una matriz (186 x 13) en el programa Excel v2016^®, correspondiente al set de entrada de la red neuronal, y que contenía las valoraciones de los egresados en relación a las 13 preguntas o ítems. 

A efectos de su implementación en el algoritmo, dicha columna se codificó en variables dummy (Tabla 5).

Tabla 5

Codificación en variables dummy de las categorías del nivel de satisfacción

Nivel de satisfacción	Codificación target
Bajo	0 0 1
Medio	0 1 0
Alto	1 0 0

Importación de la matriz al software matemático Matlab R2021b^®

El siguiente paso consistió en importar la matriz descrita al software matemático Matlab R2021b^®, y a almacenar los datos de entrada y target en dos matrices diferentes.

División de los datos

Los datos se dividieron en tres sets: entrenamiento, validación y testing.

• El 70% de los datos se utilizó para el entrenamiento de la red, es decir, para el cálculo del gradiente y la actualización de los pesos y biases de la red. 
• El 15% de los datos se empleó para la validación de la red. Estos datos, que también forman parte del entrenamiento, se utilizaron para encontrar el mejor modelo (más probable) y detener el entrenamiento para evitar el sobreajuste de la red neuronal (overfitting).
• El 15% de los datos restantes se utilizaron para testear la generalización óptima de la red mediante datos no utilizados durante el entrenamiento.

Normalización o escalamiento de datos

La normalización o escalamiento de datos se realizó, según la ecuación 4 en el intervalo [-1 1]:

 Creación de la arquitectura del modelo de red neuronal

Se agregaron 17 neuronas en la capa de entrada, correspondientes a las valoraciones de cada uno de los SDGs, otras 10 en la capa oculta y, finalmente, 3 en la capa de salida.

Las funciones de activación de la capa oculta y de salida fueron del tipo tansig y softmax, respectivamente, ya que dichas funciones proporcionarán la probabilidad de que el proyecto tenga un nivel de sostenibilidad alto, medio o bajo.

Entrenamiento y validación de la red neuronal

Una vez preparados los datos y diseñada la arquitectura, se procedió a realizar el entrenamiento de la red neuronal.

Se escogió para la actualización de pesos y biases la función “trainscg” de Matlab R2021b ^®, de acuerdo al método de descenso del gradiente y, para el cálculo de las pérdidas entre las predicciones y los datos target, la función “crossentropy”.

Paralelamente al entrenamiento, Matlab R2021b ^® realizó la validación del conjunto de datos correspondiente para cada iteración, determinando un promedio de error de validación mínimo, que sirvió para delimitar el mejor modelo más probable, detener el entrenamiento y evitar el overfitting, tras confirmar un descenso de la curva de error del entrenamiento conjuntamente a un aumento del error de validación, de forma consecutiva, durante seis iteraciones más (técnica early stopping).

Testing de prueba del modelo

Una vez entrenada la red, durante la fase de testing o de prueba, se introdujeron datos no utilizados durante el entrenamiento, con el fin de comprobar la óptima generalización del modelo.

Resultados

Selección de las variables cualitativas nominales y ordinales del modelo

El modelo se compuso de variables cualitativas nominales y ordinales. Entre las primeras, se consideraron el “Género”, la “Procedencia” y el “Programa” cursado por el egresado/a. En referencia a las variables cualitativas ordinales, se identificaron la “Edad”, “Perfil de Ingreso” y “Satisfacción del Egresado”.

Variables, dimensiones, factores e indicadores

La Tabla 6 muestra los indicadores identificados de la variable “Satisfacción del Egresado”, los cuales serán utilizados como criterios de medida para la elaboración del instrumento.

Tabla 6

Variables, dimensiones, factores e indicadores identificados de la variable “satisfacción del egresado

Variable	Dimensiones	Factores	Indicadores
Satisfacción del egresado	Formación	Expectativas iniciales	Grado de satisfacción conseguido
		Relevancia para la formación	Grado de aprendizaje conseguido
		Dificultad del programa académico	Nivel de dificultad del programa académico
	Contexto del participante	Estatus económico	Nº de becas otorgadas, facilidades de pago…
	Comunicación	Interacción entre participantes, tutores/as y otras partes interesadas	Grado de satisfacción del participante con los canales establecidos para la comunicación externa
		Información sobre el producto y/o servicio	Nivel de transparencia e información veraz sobre el programa académico
	Metodología de enseñanza-aprendizaje	Programa académico	Asignaturas del programa académico
		Evaluación	Actividades de evaluación continua
		Evaluación docente	Grado de satisfacción del participante con los tutores/as académicos
			Grado de satisfacción del participante con el tutor/a del PFM
	Recursos	Accesibilidad al producto y a otros servicios ofertados por la institución	Nº de envíos de material docente, tiempos de recepción
		Campus virtual	Facilidad de manejo del campus virtual
			Soporte técnico   y número de incidencias

Validación y confiabilidad del instrumento de medida

La Tabla 7 muestra el instrumento de medida adaptado a una escala tipo Likert.

Tabla 7

Instrumento de medida o cuestionario tipo escala de Likert para la medición de la satisfacción de los egresados con el programa de posgrado

Dimensión	Nº de Ítem	Criterio de medida
Formación	1	El programa académico ha satisfecho mis expectativas iniciales
	2	El tutor/a ha conseguido que este programa sea relevante para mi formación y desempeño profesional
	3	El grado de dificultad del programa ha sido superior al de otros que he cursado
Contexto del participante	4	La Institución me ha otorgado facilidades económicas para poder llevar a cabo el estudio
Comunicación	5	Estoy satisfecho/a con la atención recibida en el momento previo a la matriculación
	6	La información académica que me han proporcionado durante el programa me ha parecido suficiente
Metodología de enseñanza-aprendizaje	7	La estructura curricular del programa me ha parecido muy adecuada
	8	La valoración que hago de la evaluación continua es muy satisfactoria
	9	Mi tutor/a se ha esforzado por ayudarme
	10	Mi director/a de Proyecto final de Máster se ha mostrado accesible
Recursos	11	La entrega de los materiales didácticos ha sido puntual en tiempo y forma
	12	El manejo del campus virtual ha sido muy amigable
	13	La valoración que hago de la atención de soporte técnico del campus virtual es muy satisfactoria

La validez del instrumento se determinó a partir de la pertinencia, relevancia y claridad de cada uno de los ítems, por parte de expertos (Pérez et al., 2015),  En el caso de esta investigación, ya que las dimensiones se encontraron a partir de la revisión bibliográfica, se procedió a realizar la validez de contenido por medio de una prueba de distribución binomial mediante paneles de expertos, si bien hubiera sido más adecuado plantear, desde un inicio, la idea de realizar un análisis factorial exploratorio.

Por su parte, la confiabilidad del instrumento se basó en la determinación del Alpha de Cronbach, e incluyó todas las variables cualitativas ordinales con sus dimensiones asociadas.

El estadístico proporcionó un resultado de 0.791, considerado un valor de consistencia interna adecuado (Rodríguez y Reguant, 2020).

Métricas de tendencia central y de dispersión para las variables cualitativas ordinales

Se pudo observar que la media de satisfacción general fue de 2.66/4 y que la del Grupo de Edad se situó en el rango de los 30-39 años. Asimismo, la media del perfil de ingreso se mantuvo entre el Grado/Diploma/Licenciatura y el Posgrado.

En relación a la variable “Satisfacción del Egresado”, las medias del ítem oscilaron entre 2,46 (ítem 5) y 2,79 (ítem 3).

En el diagrama de la Figura 4 se ilustra que los recursos -entrega de materiales y manejo y soporte del campus virtual-, fue lo más valorado, en general, mientras que la comunicación y las posibilidades de mejora del contexto social y económico de los estudiantes, constituyeron los aspectos menos satisfactorios.

Figura 4

Diagrama radial de la variable “Satisfacción del Egresado”

Variable “Nivel de satisfacción”

En la Tabla 8 se muestran los descriptivos de tendencia central y de dispersión de esta nueva variable.

Tabla 8

Estadísticos básicos de la variable “Nivel de satisfacción”

	N	Mínimo	Máximo	Media	Desv. Tipo
Nivel de Satisfacción	186	25	43	33.7	5.53

Prueba de normalidad

Con el fin de determinar el comportamiento normal de la variable, y dado que la muestra fue superior a los 50 estudiantes, se procedió a realizar la prueba de Kolmogorov-Smirnov (De la Garza, Morales y González, 2013). El resultado se muestra en la Tabla 9.

Tabla 9

Prueba de normalidad Kolmogorov-Smirnov de la variable “Nivel de Satisfacción”

	Pruebas de normalidad
Variable	Kolmogorov-Smirnova				Shapiro-Wilk
	Estadístico	gl	Sig.	Estadístico	gl	Sig.
Nivel de satisfacción	0.193	186	0.000	0.810	186	0.000
Nota: a. Corrección de Lilliefors.

Dado que el p-valor resultante (0.000) es menor que 0.05 se rechazó la hipótesis nula de distribución normal de los datos, por lo que estos valores no siguen una normal. 

Categorización

Los umbrales de decisión de la variable “Nivel de satisfacción” se determinaron a partir de los puntos de corte siguientes (media= 33.7, desv. tipo= 5.53):

33.7 – 0.75*5.53= 29.55 ~ 29

33.7 + 0.75*5.53= 37.84 ~38

De esta manera, los datos quedaron agrupados según se muestra en la Tabla 10. 

Tabla 10

Nivel de satisfacción de los egresados por rangos de agrupamiento

Nivel de satisfacción	Rango	Frecuencia	%
Bajo	Valores<=29	40	21.5
Medio	Valores 30-38	112	60.2
Alto	Valores>=39	34	18.3

De la Tabla 10 se deduce que un 60.2% de los egresados presenta un nivel general medio de satisfacción con los programas de posgrado online de la institución, un 21.5% obtiene una baja satisfacción y, el resto, se siente altamente satisfecho tras haber realizado el posgrado correspondiente.

Rendimiento del modelo de red neuronal

El rendimiento del conjunto de datos de entrenamiento, validación y prueba del modelo, se ilustra en la Figura 5.

La entropía cruzada se prefiere para clasificación, mientras que el error cuadrático medio para regresión o predicciones. 

Figura 5

Pérdidas de entropía cruzada para el entrenamiento, validación y testing.

Se observó que el entrenamiento terminó cuando el error de validación no mejoró durante las seis iteraciones siguientes a la época 14^th, donde se obtuvieron los mejores resultados de entrenamiento y validación, con un valor mínimo de error de entropía cruzada de 0.056108.

Asimismo, después de la época 14^th, se constata que el entrenamiento sigue una tendencia lineal descendente, mientras que la función de pérdida de validación se estabiliza en etapas tempranas, lo que significa un cierto sobreajuste del modelo a los datos de entrenamiento. No obstante, dicho sobreajuste no es significativo al ser el error pequeño.

Como quiera que, previsiblemente, los datos que se obtendrán en el futuro se parecerán mucho a los utilizados en el set de entrenamiento, se puede dar por válido el modelo, en caso contrario, deberían buscarse otras fórmulas para reducir el overfitting.

Matriz de confusión global

Una vez realizado el entrenamiento y las etapas de validación y testing, se obtuvo la matriz de confusión global, la cual sirvió para analizar la sensibilidad y precisión del modelo, entre otras características (Tabla 11).

Tabla 11

Matriz de confusión global

Output Class	1	33 17.7%	1 0.5%	0 0.0%	97.1% 2.9%
	2	1 0.5%	111 59.7%	4 2.2%	95.7% 4.3%
	3	0 0.0%	0 0.0%	36 19.4%	100% 0.0%
		97.1% 2.9%	99.1% 0.9%	90.0% 10.0%	96.8% 3.2%
		1	2	3
		Target Class

En el análisis por columnas, se puede observar que, de los 34 egresados con un alto nivel de satisfacción, 33 fueron clasificados correctamente y, tan sólo 1, de forma incorrecta. Por tanto, la tasa de falsos positivos fue en este caso del 2.9%. Análogamente, de los 112 egresados con un nivel de satisfacción medio, 111 fueron clasificados de forma correcta y 1 incorrectamente, siendo la tasa de falsos positivos de 0.9%. Finalmente, de los 40 egresados con un bajo nivel de satisfacción, 36 fueron clasificados correctamente y 4 incorrectamente, siendo en este caso la tasa de falsos positivos del 10%.

En el análisis por filas, se observa que de 34 proyectos identificados como de alto nivel de sostenibilidad, 33 lo eran realmente, lo que supone el 97.1%, mientras que el 2.9% restante de los proyectos era realmente de sostenibilidad media. Asimismo, de los 116 proyectos identificados como de sostenibilidad media, 111 proyectos lo eran realmente, mientras que 1 era de sostenibilidad alta y otros 4 de baja sostenibilidad. Finalmente, de los 36 proyectos identificados como de baja sostenibilidad, todos ellos resultaron ser realmente de este nivel.

Se observa que la precisión global es del 96.8%, lo que indica que la clasificación realizada por el modelo es muy buena.

Ejemplo de testing

En la Tabla 12 se muestra el ajuste de algunos datos de la prueba de testing. Se puede observar que lo que se predice en una clasificación son probabilidades, a diferencia de la regresión, en la que se proporciona un valor exacto. Por ejemplo, en el primer caso, la probabilidad de que un egresado con las características mostradas tenga un nivel de satisfacción medio es del 98.23%.

Tabla 12

Valores predichos de probabilidad del modelo en la prueba de testing

	Criterio de medida													Valores predichos			Clasificación
Egresado	1	2	3	4	5	6	7	8	9	10	11	12	13	Alto	Medio	Bajo
1	3	4	3	3	3	4	3	3	3	2	3	3	3	.0004	.9823	.0173	Medio
2	2	4	3	4	4	4	4	4	3	3	3	4	4	.0266	.9715	.0019	Medio
3	4	4	3	2	4	4	4	2	2	1	2	2	4	.0000	.0025	.9975	Bajo
4	4	4	4	4	4	4	4	4	4	4	3	4	3	.9775	.0225	.0000	Alto
5 …	4	4	4	4	3	3	3	3	3	2	3	2	3	.0024	.9955	.0021	Medio

Nota: Fuente: Elaboración propia, 2022

Discusión

En este artículo se investigó la necesidad de elaborar un modelo para evaluar la satisfacción de los egresados de varios programas de posgrado online en el ámbito de la salud y nutrición, a partir de una serie de variables y dimensiones, como partes interdependientes de la globalidad.

Se constata en la bibliografía la existencia de una gran cantidad de información documentada en diferentes etapas de la formación del egresado, iniciativas y otros modelos y herramientas, dirigidos al mismo objetivo (González et al., 2016). Sin embargo, la falta de un criterio único a la hora de abordar la investigación, hace que existan diversos enfoques, algunos más complejos que otros.

Con el fin de constituir el referente abstracto, la revisión bibliográfica dio como resultado un modelo compuesto por variables cualitativas nominales y ordinales, que incluían aspectos socioculturales y demográficos del egresado (edad, género, procedencia, programa cursado y perfil de ingreso), así como otra referida específicamente a su satisfacción con los programas de posgrado online, incluyendo cuatro dimensiones: metodología, organización, expectativas académicas y labor docente. Esto significa que no se trata de un modelo exhaustivo, ya que no se tuvieron en cuenta otro tipo de variables (administrativas, servicios auxiliares…). En este sentido, existen modelos virtuales o no que se refieren únicamente a la satisfacción de los estudiantes con la tutoría universitaria (Pérez et al., 2015). Otras investigaciones más complejas incorporan un mayor número de dimensiones e indicadores; por ejemplo, al margen del plan docente, la metodología de enseñanza y la capacitación, servicios de apoyo, administrativo, ambiente propicio, nivel de autorrealización e infraestructuras e instalaciones, entre otros (Fainholc, 2004; Álvarez et al., 2013; Mejías y Martínez, 2013; Pérez et al., 2015). Se puede concluir que la falta de homogeneidad de los modelos enfocados tanto a la enseñanza virtual como presencial, hace que existan diversos planteamientos, algunos más complejos que otros, y que, por tanto, la medición del nivel de satisfacción de los egresados resulte ser una tarea compleja.

La obtención de un instrumento de medición en escala de Likert, a partir del grado de abstracción de las variables, constituye otro de los puntos en los que se produce disparidad entre modelos. Esto es así porque la mayor parte de las referencias bibliográficas consultadas obtienen los criterios de medida del instrumento de medición, partiendo de indicadores ya contemplados en investigaciones anteriores de uno o varios autores. Por ejemplo, es el caso de Álvarez et al. (2013), que se apoyan en los estudios de Gento y Vivas (2003). En esta investigación, sin embargo, la variable del modelo “Satisfacción del Egresado” se sometió a un proceso denominado operacionalización, que subyace en todos los modelos instrumentalizados, aunque no se explicita su desarrollo en la bibliografía revisada (Reguant y Martínez, 2014). Resulta por tanto necesario obtener un instrumento de medición lo más concreto posible, sin ambigüedades, que permita medir el nivel de satisfacción de los egresados directamente Pérez et al. (2015), en lugar de la diferencia entre la percepción final y las expectativas iniciales (Mejías y Martínez, 2013). 

En esta investigación, al determinar la confiabilidad del instrumento, los resultados reflejaron un valor de 0.791. Esto significa que el instrumento es consistente y proporciona una buena confiabilidad (Rodríguez y Reguant, 2020). En este sentido, todos los modelos revisados basan la confiabilidad del instrumento en la determinación del coeficiente de consistencia interna “Alpha de Cronbach”, aplicado a una prueba con un reducido número de estudiantes (Álvarez et al., 2013). Los valores observados en todos los casos se sitúan por encima de 0.8 (Romo et al., 2012; Surdez et al., 2018), lo cual da a entender una buena confiabilidad (Rodríguez y Reguant, 2020). Se puede interpretar, por tanto, un elevado nivel de estabilidad del instrumento debido a que no hay demasiadas diferencias de resultado en su aplicación a diferentes realidades.

El indicador medio de satisfacción global fue de 2.66/4. Esto demuestra un buen nivel de satisfacción de los participantes con los posgrados online de la institución en el ámbito de la salud. Se demuestra asimismo que cerca del 80% presentó una satisfacción entre media y alta con los posgrados de salud en general. En este sentido, se encontró que no existieron diferencias significativas entre las medias de las dimensiones de la variable “Satisfacción del Graduado”, por lo que éstas fueron atribuidas al azar.

Con el objetivo de determinar las fortalezas y debilidades del proceso formativo, los resultados mostraron que el manejo del campus virtual, soporte técnico y logística de entrega de materiales didácticos, fueron los criterios mejor valorados por los egresados, mientras que la comunicación y las facilidades adoptadas por la institución para mejorar el contexto socioeconómico del estudiante, fue lo que obtuvo una peor calificación. Esto quiere decir que la institución debe mejorar los canales de comunicación externos e internos con el estudiante, así como fortalecer la política de becas y otras ayudas al estudio, respectivamente. No obstante, las comparaciones con otros estudios son dispares, ya que la realidad es muy diversa. Por ejemplo, en la investigación de Álvarez et al. (2013) las variables que obtuvieron una mejor calificación, es decir, aquellas en las cuales los estudiantes se encontraban mayormente satisfechos, eran la “Capacitación y habilidad para la enseñanza de los docentes” y el “Nivel de autorrealización de los estudiantes”. En cambio, las variables de “Infraestructura” y “Servicios administrativos”, fueron los ítems con un nivel de satisfacción más bajo. Por lo que respecta al modelo de Romo et al. (2012), se hace mención a una relación altamente significativa entre la calidad educativa y la satisfacción estudiantil en determinados aspectos de formación, profesorado, diseño curricular y organización administrativa; sin embargo, no se encontraron dependencias de la satisfacción con cuestiones de género o de la carrera cursada. Análogamente, los resultados de la investigación de Surdez et al. (2018) arrojaron que un 53% de los estudiantes sentía algún grado de insatisfacción -parcial o total-, sobre todo, en lo referido a infraestructura y estado de instalaciones, mobiliario y equipo, lo que repercutía a su vez en el proceso de enseñanza-aprendizaje. Sin embargo, sí se halló satisfacción en lo que se refiere a la autorrealización y trato respetuoso de los tutores hacia el alumno. Tampoco se encontraron diferencias significativas entre la satisfacción y algunas dimensiones como las de género, promedio de años en la universidad y ciclo escolar. Por su parte, Kuo, Walker, Belland y Schroder (2013) realizaron una prueba preliminar con un conjunto de 111 estudiantes de Estados Unidos, para medir su satisfacción en un curso en línea. El estudio concluyó que la satisfacción estaba condicionada por el manejo de las TIC y que había diferencias entre el género, el nivel académico (pregrado y graduado) y el tiempo de dedicación. A la vista de estos resultados, se confirma el predominio de los modelos de enseñanza presencial frente a la modalidad a distancia, muchos de los cuales no tienen en cuenta el contexto socioeconómico del estudiante, a diferencia del modelo planteado en esta investigación.

Tras el entrenamiento y validación de la red neuronal, se obtuvo un valor mínimo de error de entropía cruzada de 0.056108 justo en la iteración número 14. Asimismo, después de la etapa de testing con datos no utilizados, se obtuvo una precisión global del 96.8%. Esto indica que la clasificación y predicción realizada por el modelo es excelente. A este respecto, no se han encontrado estudios de estas características aplicados a egresados de formación e-learning, sin embargo, es importante destacar la forma en que la inteligencia artificial puede complementar la estadística para la toma de decisiones.

Conclusiones

En este artículo de investigación se desarrolló una metodología, para clasificar y pronosticar el nivel de satisfacción de un conjunto de egresados de programas de posgrado en el ámbito de la salud.

A pesar de la existencia de algunos modelos y estándares, la revisión bibliográfica reveló la existencia de una brecha entre el grado de calidad de la formación e-learning y el nivel de satisfacción de los egresados, en su mayor parte ocasionada por la heterogeneidad de los modelos existentes y la insuficiencia de una metodología para determinar el nivel de satisfacción de los estudiantes, en general, y de los egresados, en particular.

La elaboración de un instrumento a partir de la operacionalización de las variables del modelo, contribuyó a responder afirmativamente a la pregunta de investigación y a elaborar una clasificación que, conjuntamente con las respuestas obtenidas del cuestionario, formó parte de un modelo de aprendizaje automático basado en una red neuronal, que permitió establecer pronósticos con un alto nivel de precisión del 96.8% sobre el nivel de satisfacción de los egresados para la toma de decisiones. En este sentido, más del 80% de los egresados presentó un nivel de satisfacción entre medio y alto; no obstante, también se puso de manifiesto la importancia de fortalecer el compromiso de la Institución con las circunstancias sociales y económicas del estudiante, facilitando el acceso a posibles becas o flexibilizando los horarios de determinadas tareas calendarizadas, por ejemplo.

Por tanto, y respondiendo a una de las subpreguntas de investigación, queda claro el papel fundamental que desempeña la inteligencia artificial para reducir la brecha entre la calidad educativa y el nivel de satisfacción del egresado, al poder complementarse con la estadística tradicional e interactuar sobre aquellos aspectos más críticos que afectan en este contexto. 

Recomendaciones

Para finalizar, algunas recomendaciones son las siguientes:

• Realizar un análisis mediante chi-cuadrado para determinar si existen relaciones entre variables, por ejemplo, para evaluar el grado de influencia que tienen variables como la procedencia, grupos de edad, etc., sobre la variable “nivel de satisfacción del egresado”, teniendo en cuenta la no normalidad de la distribución de datos.
• Constatar con un diseño factorial exploratorio la validez del instrumento de medición.
• Realizar una comparación con otros posgrados online, presenciales o títulos de grado (Pérez et al., 2015).
• Complementar los resultados obtenidos con las opiniones del profesorado (Llorent y Corbano, 2019).
• Ampliar el número de la muestra con más participantes, sobre todo de la zona euroasiática.

Referencias

Álvarez, J., Chaparro, E.M., Reyes, D.E. (2015). Estudio de la satisfacción de los estudiantes con los servicios educativos brindados por instituciones de educación superior del Valle de Toluca. REICE. Revista iberoamericana sobre calidad, eficacia y cambio en educación, 13(2). https://revistas.uam.es/reice/article/view/2788

Azcona, M., Manzini, F. (2019). La unidad de análisis y la unidad de observación. https://docer.com.ar/doc/v881vc

Brydges, R., Manzone, J., Shanks, D., Hatala, R., Hamstra, S. J., Zendejas, B., Cook, D. A. (2015). Self‐regulated learning in simulation‐based training: A systematic review and meta‐analysis. Medical Education, 49(4), 368–378. https://doi.org/10.1111/medu.12649

Castillo, J., Solórzano, B., Moreno, J. (2018). Design of a neural network for the prediction of the coefficient of primary losses in turbulent flow regime. https://machinelearningmastery.com/learning-curves-for-diagnosing-machine-learning-model-performance

De la Garza, J., Morales, B.N., González, B.A. (2013). Análisis Estadístico Multivariante. McGraw Hill.

Domínguez, I. (2021). Diseño y validación de una metodología para mejorar la experiencia de usuario de egresados latinoamericanos de maestrías en salud cursadas bajo metodología eLearning en un entorno Moodle adaptado. [Tesis doctoral no publicada]. Universidad Internacional Iberoamericana (UNINI-MX).

Faggella, D. (2018). What is artificial intelligence? An informed definition. Emerj Artificial Intelligence Research. https://emerj.com/ai-glossary-terms/what-is-artificial-intelligence-an-informed-definition.

Fainholc, B. (2004). La calidad en la educación a distancia continúa siendo un tema muy complejo. Revista de Educación a Distancia (RED), 12. https://revistas.um.es/red/article/view/25311

Fainholc, B. (2016). Presente y futuro latinoamericano de la enseñanza y el aprendizaje en entornos virtuales referidos a educación universitaria. Revista de Educación a Distancia (RED), 48. https://revistas.um.es/red/article/view/253431

Gento, S., Vivas, M. (2003). EL SEUE: Un Instrumento para Conocer la Satisfacción de los Estudiantes Universitarios con su Educación. Acción Pedagógica, 12 (2), 16-27. https://dialnet.unirioja.es/descarga/articulo/2972060.pdf

González Alonso, J., Pazmiño Santacruz, M. (2015). Cálculo e interpretación del Alfa de Cronbach para el caso de validación de la consistencia interna de un cuestionario, con dos posibles escalas tipo Likert. Revista Publicando, 2(1), 62-67. https://nbn-resolving.org/urn:nbn:de:0168-ssoar-423821

González Sánchez, R., Tinoco Zermeño, M., Torres Preciado, V. (2017). Análisis de la satisfacción de la experiencia universitaria de los egresados en 2015 de la Universidad de Colima. Paradigma económico, 8(2), 59-84. https://paradigmaeconomico.uaemex.mx/article/view/4803

Hernández R., Fernández, C., Baptista, P. (2003). Metodología de la investigación, (3ª. Ed.). McGraw-Hill. http://catarina.udlap.mx/u_dl_a/tales/documentos/lad/pinera_e_rd/capitulo3.pdf

Kirkpatrick, D. L. (1994). Evaluating training programs: The four levels. Berret-Koehler Publishers.

Kuo, Y.C., Walker, A.E., Belland, B.R., Schroder, K.E.E. (2013). A predictive study of student satisfaction in online education programs. The International Review of Research in Open and Distributed Learning, 14(1), 16-39.https://doi.org/10.19173/irrodl.v14i1.1338

Llorent, V., Cobano, V. (2019). Análisis crítico de las encuestas universitarias de satisfacción docente. Revista de Educación, 385, 91-117. doi:10.4438/1988-592X-RE-2019-385-41

Marcelo, C., Zapata, M. (2008). Cuestionario para la evaluación. "Evaluación de la calidad para programas completos de formación docente a través de estrategias de aprendizaje abierto y a distancia". Metodología de uso y descripción de indicadores. RED: Revista de Educación a Distancia, 7.

Marciniak, R. (2015).Propuesta metodológica para la aplicación del benchmarking internacional en la evaluación de la calidad de la educación superior virtual. RUSC Universities and Knowledge Society Journal, 12(3), 46–61. https://doi.org/10.7238/rusc.v12i3.2163

Martinsuo, M., Huemann, M. (2021). Reporting case studies for making an impact. International Journal of Project Management, 39(8), 827-833. https://doi.org/10.1016/j.ijproman.2021.11.005

McArdle, G. E. (1999). Training Design and Delivery. American Society for Training and Development.

Mejías, A., Martínez, D. (2013). Desarrollo de un Instrumento para Medir la Satisfacción Estudiantil en Educación Superior. Docencia Universitaria, 10(2). http://saber.ucv.ve/ojs/index.php/rev_docu/article/view/3704

Organización Mundial de la Salud (OMS). (2005). 58ª Asamblea Mundial de la Salud [Internet]. OMS. https://apps.who.int/iris/bitstream/handle/10665/23058/A58_2005_REC1-sp.pdf?sequence=1&isAllowed=y 

Pedemonte, V. (2020). AI for sustainability: an overview of AI and the SDGs to contribute to the european policy-making. https://ec.europa.eu/futurium/en/system/files/ged/vincent-pedemonte_ai-for-sustainability_0.pdf

Pereira Campos S.A., Gelvez Pinto, L.N. (2018).  Propuesta de un modelo latinoamericano para apoyar la gestión de calidad de la educación virtual. Un enfoque dinámico sistémico. In IV Foro de Evaluación y Calidad.

Pérez Cusó, F.J., Martínez Clares, P., Martínez Juárez, M. (2015). Satisfacción del estudiante universitario con la tutoría. Diseño y validación de un instrumento de medida. Estudios sobre educación, 29, 81-101. https://doi.org/10.15581/004.29.81-101

Reguant Álvarez, M., Martínez Olmo, F. (2014). Operacionalización de conceptos/variables. Dipòsit Digital de la UB. http://diposit.ub.edu/dspace/bitstream/2445/57883/1/Indicadores-Repositorio.pdf

Rodríguez, J., Reguant, M. (2020). Calcular la fiabilidad de un cuestionario o escala mediante el SPSS: el coeficiente alfa de Cronbach. REIRE Revista d’Innovació i Recerca en Educació, 13(2), 1–13. https://doi.org/10.1344/reire2020.13.230048

Romo, J. R., Mendoza, G., Flores, G. (2012). Relaciones conceptuales entre calidad educativa y satisfacción estudiantil, evaluadas con ecuaciones estructurales: El caso de la facultad de filosofía y letras de la Universidad Autónoma de Chihuahua. http://cie.uach.mx/cd/docs/area_04/a4p11.pdf

Salinas, A. (2007). Satisfacción del estudiante y calidad universitaria: un análisis explicatorio en la Unidad Académica Multidisciplinaria. Agronomía y Ciencias de la Universidad Autónoma de Tamaulipas. [Tesis Doctoral]. Universidad de Sevilla, Sevilla.

Shaw, T., Barnet, S., McGregor, D., Avery, J. (2015). Using the Knowledge, Process, Practice (KPP) model for driving the design and development of online postgraduate medical education. Medical Teacher, 37(1), 53–58. https://doi.org/10.3109/0142159X.2014.92356

Shiferaw, F., Zolfo, M. (2012). The role of information communication technology (ICT) towards universal health coverage: The first steps of a telemedicine project in Ethiopia. Global Health Action, 5(1), 1-8 https://doi.org/10.3402/gha.v5i0.15638

Schmidhuber, J. (2015). "Deep learning in neural networks: An overview. Neural Networks, 61, 85-117.

Surdez, E. G., Sandoval, M del C., Lamoyi, C.L. (2018). Satisfacción estudiantil en la valoración de la calidad educativa universitaria. Educación y Educadores, 21(1), 9-26.  https://doi.org/10.5294/edu.2018.21.1.1.

Torres, M., Karim, P. (2021).  Size of a sample for a market research. Faculty of Engineering. Rafael Landívar University. Boletín Electrónico, 2. https://docplayer.es/424351-Tamano-de-una-muestra-para-unainvestigacion-de-mercado.html

UNE 66181:2012. Gestión de la calidad. Calidad de la formación virtual Madrid: AENOR.

Vann Slyke, C., Kittner, M., Belanger, F. (1998). Identifying Candidates for Distance education: A telecommuting perspective. In Proceedings of the America’s Conference on Information Systems. Baltimore,

World Health Organization (WHO). (2018). Digital Health. Seventy-first World Health Assembly - Agenda item 12.4 (A71/A/CONF./1). WHO.  http://apps.who.int/gb/e/e_wha71.html