Recibido: 11/01/2023 │ Aprobado: 20/07/2023

Valoración de objetivos educacionales: una propuesta para su medición y mejora (Revisión).

Assessment of educational objectives: a proposal for its measurement and improvement (Review).

Guadalupe Elvira García Cortés. Ingeniera en Sistemas Computacionales. Doctora en Socioformación y Sociedad del Conocimiento. Prof. Tiempo Completo. Universidad Tecnológica de Chihuahua. México. [ggarcia@utch.edu.mx] . 

María del Rocío Flores Licón. Química Bromatóloga. Maestra en Educación Superior Directora de carrera. Universidad Tecnológica de Chihuahua. México. [rflores@utch.edu.mx] . 

Martha Lina Castillo Pérez. Licenciada en Relaciones Industriales. Maestra en Educación Superior. Prof. Tiempo Completo. Universidad Tecnológica de Chihuahua. México. [mcastillo@utch.edu.mx] .  

Resumen

El propósito del presente estudio bibliográfico fue analizar y sintetizar la experiencia en la definición y evaluación de los objetivos educacionales, con fines de acreditación del programa educativo de Ingeniería en Mantenimiento Industrial de la Universidad Tecnológica de Chihuahua en el contexto de la emergencia sanitaria del COVID-19, para lo cual se diseñó un proceso formal y sistemático a partir de la definición de los objetivos, que permite estructurar y clarificar los pasos a seguir para la evaluación y mejora.  Se presenta el esquema del proceso elaborado y el instrumento de evaluación diseñado para medir el logro de los objetivos educacionales, así como sugerencias para su implementación a través de recursos digitales como estrategia alterna a las actividades no presenciales.  

Palabras clave: acreditación; evaluación internacional; evaluación de programas;

objetivos educativos.

Abstract

The purpose of this bibliographic study was to analyze and synthesize the experience in the definition and evaluation of educational objectives for accreditation purposes of the Industrial Maintenance Engineering educational program at the Technological University of Chihuahua in the context of the COVID-19 health emergency, for which a formal and systematic process was designed from the definition of the objectives, which allows structuring and clarifying the steps to follow for evaluation and improvement.  The outline of the process developed and the evaluation instrument designed to measure the achievement of the educational objectives are presented, as well as suggestions for its implementation through digital resources as an alternative strategy to non-face-to-face activities.  

Keywords: accreditation; international evaluation; program evaluation; educational objectives.

Introducción

La acreditación de programas educativos responde a la necesidad de las Instituciones de Educación Superior (IES) de contar con un reconocimiento de calidad otorgado por instancias que asumen las tareas de evaluadoras y acreditadoras a partir de marcos de referencia nacionales e internacionales y en cumplimiento a las políticas públicas implementadas por la Secretaría de Educación, en correspondencia con las exigencias internacionales. En México existen los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES) y 30 organismos miembros del Consejo para la Acreditación de la Educación Superior (COPAES). Actualmente se cuenta con 4,811 programas reconocidos por su buena calidad en 510 IES de México (Quetzalli, et al., 2020)

El tema de evaluación de los objetivos educacionales (OE) de un programa educativo (PE), se suscribe en el ámbito de la gestión de la educación, pues su relevancia consiste en verificar el cumplimiento de los objetivos educativos que alcanzan los egresados -de más de cinco años de haber concluido sus estudios universitarios-, alineados a la misión institucional y que se encuentran habitualmente definidos en el objetivo general del PE. Su valoración y mejora permiten asegurar la pertinencia del diseño curricular del PE y la actuación de los egresados en el mercado laboral acorde con las necesidades y expectativas del sector. Es por ello que la evaluación y mejora de los OE forman parte primordial del nuevo marco de referencia internacional del Consejo de Acreditación de la Enseñanza de la Ingeniería (CACEI), primer organismo acreditador en México

La acreditación es un proceso diseñado con el fin de garantizar la calidad y pertinencia de los PE, buscando que cumplan los estándares mínimos de las tendencias internacionales, reconocidos para los programas de buena calidad en la formación de ingenieros (CACEI, 2017). Entendiendo -en este documento- por calidad educativa “el cumplimiento de las expectativas de los estudiantes, egresados y sociedad en general, a través de servicios educativos reconocidos nacional e internacionalmente por la excelencia académica de sus egresados” (García-Cortés, 2019, p. 10).

Por tanto,  para conocer si el PE está cumpliendo verdaderamente con sus objetivos educacionales, es menester contar con un proceso formal, periódico y estandarizado que permita mejorar continuamente la formación de los ingenieros en Mantenimiento Industrial. Los criterios del marco de referencia del CACEI sirven como base del modelo de gestión académica de un PE, promoviendo la búsqueda permanente para fortalecer la formación profesional de los estudiantes de ingeniería a través de procesos planificados que midan y mejoren continuamente sus desempeños (Rojas, 2019)

La Universidad Tecnológica de Chihuahua (UTCH) es un organismo público descentralizado con participación estatal y federal, perteneciente a la Dirección General de Universidades Tecnológicas, con un elevado compromiso con la calidad educativa, demostrada tanto en la certificación de sus procesos bajo la norma ISO:9001 desde el año 2003, como con la permanente acreditación de sus  programas educativos en el nivel de Técnico Superior Universitario (TSU), acorde con las políticas públicas establecidas de manera sostenida desde el año 1985 cuando surgió el Programa para la Modernización Educativa en México y se inician los esfuerzos por establecer una cultura de evaluación con miras a fortalecer la calidad educativa, a través de agencias y organismos externos que evalúan a las instituciones -de manera voluntaria- por medio del cumplimiento de estándares definidos previamente, con la finalidad de obtener un reconocimiento público de calidad (Martínez-Iñiguez, López-Ramírez, y Pacheco-Camacho, 2019) y (Quetzalli et al.,  2020)

En la UTCH, los esfuerzos por consolidar el reconocimiento público de buena calidad de sus PE han sido permanentes; por ello, se iniciaron los trabajos de autoevaluación con fines de acreditación para ampliar el reconocimiento a los PE de la licenciatura. Sin embargo, la actualización del marco de referencia de CACEI con su nuevo enfoque a resultados, considerando las tendencias y estándares internacionales, así como el advenimiento de la suspensión de actividades presenciales derivadas de la emergencia sanitaria mundial, que en la región de América Latina y el Caribe se ha prolongado por más de un año y que en México afecta a 4’430,248 estudiantes universitarios (UNESCO, 2021), representan importantes desafíos que han requerido notables esfuerzos de liderazgo, coordinación y trabajo colaborativo de los actores involucrados en el proceso de acreditación

El presente escrito da cuenta del proceso de intervención, centrado en uno de los apartados de gran relevancia del proceso de autoevaluación; particularmente en la necesidad de definir, alinear y evaluar los objetivos educacionales del programa educativo de mantenimiento industrial en cumplimiento a los indicadores 3.4. Congruencia entre los objetivos educacionales del PE y la misión de la institución y el 4.1. Evaluación de los objetivos educacionales del programa, pertenecientes al Marco de Referencia 2018 del CACEI en el contexto Internacional (CACEI, 2017). La importancia del presente documento es servir de referente a los PE del área de Ingenierías, para la elaboración de un proceso formal que apoye  la autoevaluación -en los indicadores señalados- con fines de acreditación

De acuerdo con lo expuesto, el presente estudio se enfocó en las siguientes metas: 1) Definir los objetivos educacionales del programa educativo de Ingeniería en Mantenimiento Industrial, alineados a la misión institucional; 2) Diseñar un instrumento de evaluación que permita medir el logro de los OE en los egresados de más de cinco años de haber concluido su formación profesional y 3) Elaborar un proceso formal y estructurado que permita establecer los pasos a seguir para la medición y mejora de los OE, considerando las medidas pertinentes ante la contingencia sanitaria del COVID-19.

Desarrollo

Un objetivo se refiere a aquello que se considera como finalidad de una acción; en términos de educación, se puede definir como las modificaciones de comportamiento que se desean obtener en el educando. Si se tiene conciencia explícita de los objetivos, el docente tendrá mayores oportunidades de actuar en forma creativa para conducir al educando al punto anhelado, con mayores probabilidades de alcanzar lo deseado (Guzmán-Paz, 2013). Por ello, la importancia de que los OE sean definidos de forma clara, publicados y difundidos entre los actores del proceso educativo, tal como lo marca uno de los criterios del CACEI

Para CACEI (2017), los OE de un programa educativo constituyen la visión de éxito de sus egresados, representan una aspiración para los estudiantes que cursan el PE o que están considerando ingresar; deben definirse de una forma amplia y se valoran a través de mecanismos de seguimiento de la trayectoria de los egresados. Así mismo, describen los logros que se espera alcancen los egresados en unos cuantos años (4 o 5 después de su egreso) y están basados en las necesidades de los grupos de interés del programa

Por otra parte:

Los objetivos de la educación deben formularse como resultado de una consideración acerca de los propios alumnos, de la vida contemporánea fuera de la escuela, la naturaleza de las materias de enseñanza, la psicología del aprendizaje y una filosofía o un conjunto de valores. (Coll, 2004, p.51)

Lo anterior justifica la participación activa de los grupos de interés tanto en la formulación como en su evaluación.  Estos grupos de interés “son los sectores específicos de la sociedad, los cuales tienen opinión sobre la formación de los egresados del PE” (CACEI, 2017, p. 160)

Todo PE presupone la existencia de objetivos generales; no obstante, la mayoría de las veces no se establecen de forma reflexiva, son vagos o inadecuados, lo que dificulta sustancialmente su medición al no existir comportamientos observables o criterios de desempeño vinculados a la consideración de si el objetivo se ha alcanzado satisfactoriamente o no. A causa de su carácter vago y poco preciso, y de su elevado nivel de abstracción, los objetivos generales se prestan a interpretaciones múltiples (Guzmán-Paz, 2013); estos son diseñados para  proporcionar un marco de referencia útil para la planificación educativa, a diferencia de los atributos del egresado, que proporcionan directrices claras y precisas para el diseño de resultados de aprendizaje que se definan como enunciados relativos a cambios válidos, deseables, observables y duraderos en el comportamiento de los estudiantes (Coll, 2004)

Para la definición de los objetivos educacionales del programa educativo Ingeniería en Mantenimiento Industrial, se parte de considerar que el plan de estudio de este programa educativo perteneciente al Sistema de Universidades Tecnológicas y Politécnicas (SUTP), cuenta con una reciente actualización –del año 2020–con diseño curricular basado en competencias profesionales, resultado de las exigencias apremiantes del sector productivo con relación a la implementación de la industria 4.0.

 Las referidas actualizaciones se realizan de manera colaborativa con la participación de los directores y profesores de las carreras a nivel nacional, por lo que se comparte el mismo currículo, perfil de egreso y modelo educativo. Los OE de la carrera Ingeniería en Mantenimiento Industrial de la Universidad Tecnológica de Chihuahua, México, se concretaron a través de los siguientes pasos:

1. Se tomó como referencia la experiencia de la Universidad Tecnológica de Ciudad Juárez que inició el proceso de definición de los OE de sus PE de Ingeniería con el apoyo de las diez Universidades Tecnológicas y Politécnica (UTP) del Estado de Chihuahua y la encomienda de iniciar los procesos de acreditación como parte de los objetivos estratégicos del Plan Sectorial de Educación del Estado. Estos primeros esfuerzos de colaboración participativa entre las distintas UTP fueron impulsados y coordinados por el Secretario de Educación y Deporte a través de su equipo de asesores, vía videoconferencia por plataforma Zoom, lo que permitió una mayor participación en las sesiones de trabajo, además de la capacitación pues se evitó incurrir en gastos de transportación para todos los involucrados de las instituciones, atendiendo los protocolos de seguridad establecidos por la Secretaría de Salud en atención a los desafíos enfrentados ante el COVID-19 (Ruiz-Hernández y Ruiz-Arnaud, 2021)
2. En sesiones asíncronas con las direcciones de las carreras de ingeniería de la UTCH, la Secretaría Académica, la Dirección de Vinculación y la Rectoría, se revisó y autorizó la alineación de los OE  con la misión institucional (Tabla 1), propuesta por la coordinación de acreditación de PE; concluyendo que los seis OE contribuyen de manera sustancial al logro de la misión
3. A continuación, en reunión de academia presencial con algunos de los profesores clave de la carrera de Mantenimiento Industrial –igualmente atendiendo los protocolos de seguridad instaurados por las autoridades, derivados de la contingencia sanitaria–  se revisó la pertinencia de los seis OE diseñados de manera general para las ingenierías en el contexto de la UTCH, se realizaron algunas adecuaciones para especificar el ámbito del ingeniero en Mantenimiento Industrial, así como las competencias genéricas y específicas de la carrera, en concordancia con los atributos de egreso definidos por CACEI (2017), es decir, las competencias o capacidades adquiridas para ejercer la práctica de la ingeniería a un nivel apropiado
4. Posteriormente, se presentaron para su análisis, discusión y validación, a la comisión de pertinencia –organismo colegiado de consulta, apoyo y orientación que coadyuva al desarrollo de los programas educativos de las Universidades Tecnológicas– conformada por los grupos de interés. Su constitución, organización y actuación forman parte de los lineamientos de operación del Sistema de Universidades Tecnológicas del país. Esta actividad fue coordinada por la Dirección de Vinculación y se realizó, igualmente, vía videoconferencia utilizando la plataforma Microsoft Team.  Las actas y acuerdos derivados de la reunión estuvieron a cargo del área jurídica institucional
5. Una vez definidos los OE como se muestran en la Tabla 1, se publicaron en el sitio web institucional y se dieron a conocer tanto a profesores como a estudiantes. Nuevamente, al no contar con clases y actividades presenciales por la emergencia sanitaria, se convocó a sesiones virtuales programadas por la plataforma Microsfot Team y a los profesores que atienden las tutorías de los grupos, se les capacitó para comunicar la importancia de la acreditación, los OE y los AE a los estudiantes en sus clases virtuales de tutoría. Las listas de asistencia generadas automáticamente por Team, así como las capturas de pantalla con los participantes permiten evidenciar el cumplimiento de estas actividades

Tabla 1.

Alineación de los objetivos educacionales con la misión institucional

Fuente: elaboración propia.

Instrumento de medición del logro de los objetivos educacionales

Se elaboró una rúbrica analítica (Tabla 2), con el fin de que el instrumento permita una evaluación integral, ya que no solo se valora la presencia o ausencia de indicadores en una evidencia o acción, sino también el grado de calidad con el que se realizó el desempeño, es decir, a través de los niveles de dominio o logro establecidos (Hernández, Tobón y Guerrero, 2016)

 El objeto del instrumento es medir el proceso de   aprendizaje, considerando que no se trata de   una   simple   huella   o   retención   pasajera, sino que “debe poder manifestarse en un tiempo futuro y contribuir, además, a la solución de problemas concretos, incluso   diferentes   en   su   esencia   a   los   que   motivaron   inicialmente el   desarrollo del conocimiento, habilidad o capacidad” (Díaz, Martínez y Sánchez, 2020, p.667)

Tabla 2.

Instrumento de evaluación para egresados de más de 4 años de egreso del PE.

Fuente: elaboración propia.

La rúbrica se diseñó con siete ítems y cuatro niveles de dominio para cada ítem, para lo cual, se redactaron preguntas que aspiran lograr la operacionalización de los OE con el fin de captar la percepción de los egresados a través de una comprensión más clara de los OE. La operacionalización de un objetivo consiste en especificar el comportamiento deseado, las pautas suficientes de desempeño, o bien, encuadrarlo dentro de condiciones en las que se torna observable y evaluable (Guzmán-Paz, 2013). Luego de la evaluación de los OE, se adicionaron dos preguntas que recopilan la percepción cualitativa de las capacidades o competencias adquiridas en la universidad

Proceso formal y estructurado para la medición y mejora de los OE

Para llevar a cabo la valoración del logro de los objetivos educacionales se estableció un proceso sistematizado (Figura 1), tomando como referencia primordial la opinión de los egresados de más de 4 años de haber concluido su formación profesional, de los empleadores donde actualmente laboran, y de los grupos de interés representados en la comisión de pertinencia, tomando como referencia la definición de OE y sus indicadores relacionados, acorde con los requerimientos de CACEI (2017)

Figura 1.

Mapa de proceso de evaluación de objetivos educacionales

Fuente: elaboración propia.

El proceso fue documentado como un mapa de proceso del Sistema de Gestión de Organizaciones Educativas (SGOE) bajo la norma ISO21001:2018 como estrategia de armonización entre las actividades de la acreditación de las carreras de ingeniería y la implementación de la nueva norma que actualmente está por concluirse en la institución. Es importante resaltar la participación de la academia en el proceso, pues como parte de su compromiso con el PE  es trascendental; como menciona Molina, Pacheco y Roquet (2018), es necesario que:

No solo conozcan y ejecuten lo que está normado en los diferentes documentos y resoluciones que definen el trabajo institucional, sino que también asuman un papel activo y transformador dentro de las relaciones en las que se insertan, para elevar el nivel de satisfacción, de desarrollo y el de los demás. (p.98)

El mapa toma como insumos de entrada: los reportes de las encuestas de recién egresados de satisfacción de empleadores resultantes del proceso documentado de seguimiento a egresados; los OE vigentes autorizados por la Comisión de Pertinencia y el análisis situacional del trabajo –que se elabora por requerimiento del SUTP, cuando se actualizan los planes de estudio–. Posteriormente, la valoración se establece a través de los siguientes pasos:  

1. La dirección de vinculación aplica -en línea- el instrumento de evaluación de los objetivos educacionales tanto a egresados como a empleadores, para lo cual  se establecieron indicadores de desempeño y metas de cumplimiento para cada objetivo educacional. Al tratarse de una evaluación indirecta, los indicadores que se determinaron miden el grado de satisfacción para cada OE tanto de egresados como de empleadores y la meta de cada uno se definió en un 80% de encuestados satisfechos, determinados por aquellos que respondieran a los descriptores 1 y 2 en los niveles de logro o de dominio de la rúbrica de evaluación. A diferencia de las evaluaciones directas que requieren un examen, informe, producto u observación directa del conocimiento o las habilidades de los estudiantes contra resultados de aprendizaje medibles, las evaluaciones indirectas se definen como el proceso para determinar el alcance o el valor percibidos de experiencias de aprendizaje y pueden incluir respuestas a una encuesta o cuestionario para determinar una percepción de qué tan bien un estudiante logró un determinado resultado (Detman, 2013)
2. La dirección de carrera recibe los resultados de la valoración de los OE elaborados por la dirección de vinculación a partir de la aplicación de los instrumentos de evaluación
3. En reunión de academia del PE, se analiza colaborativamente los reportes para proponer acciones de mejora y presentarlo a validación en la comisión de pertinencia, con la participación de los grupos de interés
4. La comisión de pertinencia revisa el cumplimiento de las metas establecidas, analiza, discute, valida y autoriza las mejores propuestas al Programa Educativo en su conjunto
5. Las conclusiones u observaciones del análisis del resultado de la evaluación se utilizan para mejorar los procesos de formación y evaluación tanto de los objetivos educacionales como de los atributos de egreso, a través de la descripción de hallazgos que complementarán el plan de perfeccionamiento institucional y de la participación en las actualizaciones del plan de estudio a nivel nacional

Cabe destacar que los procesos de salida relacionados con este proceso son: acciones de mejora, evaluación de indicadores, y el de control de cambios, con lo que se busca respectivamente, que se documenten las acciones de mejora generadas; se revise el cumplimiento de metas en conjunto con los indicadores institucionales; y se controlen los cambios generados en los planes y programas de estudios derivados de las mejoras

La periodicidad de la evaluación de los OE por los grupos de interés  podrá realizarse cada dos o tres años –a diferencia de los atributos de egreso– debido a que los objetivos educacionales son a largo plazo y buscan verificar su cumplimiento y mejorar el objetivo general del PE sustentado en las necesidades cambiantes del ambiente y los grupos de interés; dichos cambios de mejora podrán concretarse posterior al proceso de valoración, pues los planes de estudio del SUT actualizan regularmente sus contenidos temáticos del plan de estudio entre 3 y 5 años

Conclusiones

1. El proceso de evaluación de objetivos educativos para lograr la acreditación del programa educativo ante el CACEI, no debe ser una tarea compleja, a pesar de los retos que presenta la emergencia sanitaria, pues si bien, ha generado un alto nivel de estrés en los profesores por la súbita necesidad de adaptarse al uso de nuevas tecnologías, también ha permitido acelerar la eficiencia en la gestión académica al mejorar los tiempos y costos de reuniones de trabajo.
2.  El referido documento ha delineado un proceso paso a paso para desarrollar un plan de evaluación de los objetivos educacionales, los elementos clave de este proceso son: comprender la terminología de la evaluación; operacionalizar los OE, es decir, asociar criterios de desempeño esperados para cada OE; determinar cuidadosamente la estrategia de recopilación de información; contar con el compromiso y participación de los grupos de interés y lograr que la cultura de evaluación se integre en el trabajo diario de la institución y pueda convertirse en un activo del programa educativo y conducir a una acreditación de la calidad exitosa y sostenible
3. La evaluación de los objetivos educacionales debe ir de la mano de la evaluación de los atributos de egreso, pues ambos se complementan para lograr la formación integral de los egresados.
4. Se recomienda realizar pruebas de validez y confiabilidad al instrumento de evaluación aquí presentado con el fin de asegurar un alto grado de relevancia y coherencia teórica. Asimismo,  es conveniente profundizar en la complementariedad del proceso de evaluación entre los AE y los OE.

Referencias bibliográficas

Coll, César. (2004), Psicología y curriculum, México: Paidós

CACEI [Consejo de Acreditación de la Enseñanza de la Ingeniería]. (2017). Marco de Referencia 2018 del CACEI en el Contexto Internacional. México: CACEI. http://www.cacei.org/docs/marco_ing_2018.pdf

Detman, M. (2013). Developing a Sustainable Assessment Plan for EAC-ABET Accreditation. En   LACCEI. Innovation in Engineering, Technology and Education for Competitiveness and Prosperity. Eleventh LACCEI Latin American and Caribbean Conference for Engineering and Technology. 78-91. http://laccei.org/LACCEI2013-Cancun/RP078.html

Díaz, T., Martínez, R., y Sánchez, P. A. (2020). Las relaciones interdisciplinarias en el trabajo metodológico de los equipos multi e interdisciplinarios. (Original). Roca. Revista científico - Educacional De La Provincia Granma, 16(1), 665-675. https://revistas.udg.co.cu/index.php/roca/article/view/1579

García-Cortés, G. (2019).  Modelo Integral de Calidad para las Universidades Politécnicas de México. Un Enfoque desde la Socioformación. Atenas, 3(47), 70-89. http://atenas.umcc.cu/index.php/atenas/article/view/490  

Guzmán-Paz, V. (2013). Metodología para el Diseño de Objetivos Educacionales. México: RED TERCER MILENIO S.C.

Hernández, J., Tobón, S. y Guerrero, G. (2016). Hacia u na Evaluación Integral del Desempeño: Las Rúbricas Socioformativas. Ra Ximhai, 12(6), 359-376. https://www.redalyc.org/articulo.oa?id=46148194025

Martínez-Iñiguez, J., López-Ramírez, E. y Pacheco-Camacho, O. (2019) Acreditación de la calidad en la educación superior de América Latina. Una visión socioformativa. Atenas, 3(47), 34-51. http://atenas.umcc.cu/index.php/atenas/article/view/488/757

Molina, L. E., Pacheco, E. N., y Roquet, N. J. (2018). La satisfacción del cliente. Una mirada a la calidad de la educación desde la educación a distancia en instituciones de educación universitaria (Revisión). Roca. Revista científico - Educacional De La Provincia Granma, 14(4), 85-99. https://revistas.udg.co.cu/index.php/roca/article/view/540

Quetzalli, L., Pérez, C., Veytia, M. y Hernández, J. (2020). Tendencias en la Cultura de Evaluación en Prácticas Institucionales de Acreditación de Programas Educativos. Academia Journals 12(7). 428-450. https://bit.ly/3wu5SWE

Rojas-Villegas, J. (2019). Acciones recomendadas para implementar en una fase previa al autoestudio con fines de acreditación. Revista Electrónica ANFEI Digital 6(11). https://anfei.mx/revista/index.php/revista/article/view/562

Ruiz-Hernández, J., y Ruiz-Arnaud, J. R. (2021). Desafíos de la Gestión de Información, la Ética y Educación Ambiental frente a la Covid-19 (Original). Roca. Revista científico - Educacional De La Provincia Granma, 17(2), 170-188. https://revistas.udg.co.cu/index.php/roca/article/view/2336

UNESCO. [Organización para las Naciones Unidas para la Educación, la Ciencia y la Cultura]. (2021). Impacto de la COVID-19 en la educación. https://es.unesco.org/covid19/educationresponse