Evolución de la Evaluación de Competencias Objetiva Estructurada (ECOE) en la Facultad de Medicina de la Universidad de Santiago de Compostela

Resumen

La evaluación de competencias objetiva y estructurada (ECOE) se ha convertido en un instrumento indispensable en la evaluación del estudiantado de medicina en los últimos años. Se trata de una prueba muy exigente tanto para el estudiantado como para los organizadores, sobre todo cuando se trata de grandes grupos de estudiantes. Esta prueba ha tenido varias modificaciones desde su implantación. Lo idóneo sería realizarla a todos los estudiantes simultáneamente, aspecto que en muchos casos no es posible fundamentalmente por los recursos necesarios y el número de estudiantes. Inicialmente y siguiendo las directrices de la Conferencia Nacional de Decanos de las Facultades de Medicina de España, se realizaban 20 estaciones presenciales, pero con posterioridad este modelo evolucionó hacia una realización en la que se pudieran evaluar la mayor parte de los centros con un examen similar, esta forma de pensar llevó a que se planteara una ECOE con dos vertientes, una telemática con 10 estaciones en la que participan múltiples centros de todo el país simultáneamente y otra, habitualmente al día siguiente, con 10 estaciones presenciales que realiza cada centro individualmente. Esta forma de actuar supuso un importante esfuerzo de adaptación y le confiere uniformidad a nivel nacional a la ECOE sin dejar de mantener una cierta independencia de los centros. En este trabajo analizamos la evolución de esta prueba en la Facultad de Medicina de la Universidad de Santiago de Compostela, con un elevado número de alumnos, y que siguió la ejecución de ambas pruebas conforme se fueron implantando.

Palabras Clave:

ECOE, competencias, evaluación, modalidad mixta, virtual, medicina

Abstract

The evaluation of objective and structured competencies (OSCE) has become an indispensable instrument in the evaluation of medical students in recent years. This is a very demanding test for both the students and the organizers, especially when large groups of students are involved. This test has had several modifications since its implementation. The ideal thing would be to do it for all students simultaneously, an aspect that in many cases is not possible mainly due to the necessary resources and the number of students. Initially and following the guidelines of the National Conference of Deans of the Faculties of Medicine in Spain, 20 in-person stations were carried out, but later this model evolved towards a realization in which most of the centers could be evaluated with a similar exam. . , this way of thinking led to the proposal of an OSCE with two aspects, a telematic one with 10 stations in which multiple centers from all over the country participate simultaneously and another, usually the next day, with 10 in-person stations carried out by each center individually. This way of acting required a significant adaptation effort and gave national uniformity to the OSCE while maintaining a certain independence of the centers. In this work we analyze the evolution of this test at the Faculty of Medicine of the University of Santiago de Compostela, with a high number of students, and which followed the execution of both tests as they were implemented.

Keywords:

OSCE, competences, assessment, mixed modality, virtual, Medicine

Introducción

La evaluación de competencias objetiva y estructurada (ECOE) es un instrumento indispensable en la actualidad en la evaluación de competencias del estudiantado de medicina. Fue introducida por Harden en 1975, con ella se pretendía evitar las desventajas del tradicional examen de habilidades clínicas (Harden RM 1975; Harden RM 1990). En esta línea, el plan Bolonia trata de imprimir un cambio de paradigma en la pedagogía mediante la transición del “modelo basado en la enseñanza al basado en el aprendizaje” (Garrido 2024). Para lograrlo se incluye en la formación tradicional, centrada en la adquisición de conocimientos, la formación por competencias, adquisición de habilidades y aptitudes. La materialización de estas ideas viene de la mano de la Conferencia Nacional de Decanos de las Facultades de Medicina de España (CNDFME) que ha definido las bases que debería tener una ECOE para todo el territorio nacional (Garrido 2024). La ECOE en la Facultad de Medicina de la Universidad de Santiago de Compostela (FM-USC), se inició en 2014, al igual que en muchos centros del país siguiendo las indicaciones de la CNDFME que establecía una prueba con 20 estaciones presenciales en la que los componentes de la ECOE, estaciones y ruedas configuran un escenario clínico tipificado, que permite realizar una evaluación estandarizada. Las estaciones son espacios en los que se evalúan competencias, ya sea un paciente simulado, el análisis de una imagen médica, etc. A su vez, un conjunto de estaciones conformará un circuito llamado rueda por el que los alumnos rotarán de manera consecutiva3. Este modelo evolucionó con el tiempo a otra forma de hacer la prueba, también presencial, pero en la Facultad, con formato virtual con casos-clínicos computarizados simulados (ECOE-CCS).

Objetivos

Analizar la evolución de la prueba ECOE de la modalidad presencial a la híbrida mediante un formato virtual con casos-clínicos computarizados simulados (ECOE-CCS) en la FM-USC, con el fin de identificar fortalezas y debilidades en dicha transformación.

Descripción de la metodología aplicada

En este trabajo describimos el paso de la ECOE a ECOE-CCS, siguiendo los designios de la CNDFME, en la Facultad de Medicina de la Universidad de Santiago, con un elevado número de alumnos por año. Este análisis se realiza en la FM-USC, que es una de las facultades con más estudiantes matriculados por curso. En el curso 2018-2019 se evaluaron 372 alumnos. De ello deriva el dimensionado de la ECOE: nº coordinadores: 14, nº de evaluadores/actores: 120, nº de PAS,: 12, nº estaciones 20, nº ruedas 6, nº días: 1, nº turnos 3, tiempo de cada turno: 3 horas 30 minutos.

La prueba ECOE consta de 20 estaciones y en cada una de ellas se evalúa un porcentaje de competencias, según los acuerdos establecidos hasta 2016 (Arnalich Fernández 2010; De Serdio Romero 2022; Martínez González 2019) por la CNDFME. Este formato se cambia por otro con 10 estaciones presenciales virtuales que se realiza simultáneamente en múltiples facultades del país con el mismo contenido y otras 10 con el mismo formato anterior. Consiste en hacer una prueba presencial con estaciones en el hospital (ECOE convencional) y la otra presencial-virtual, en la Facultad, con casos-clínicos computarizados simulados que llamaremos ECOE-CCS, en una proporción de estaciones flexible pero equilibrada entre ambas pruebas, con un formato de 10 +10. De esta forma nuestro centro, siguiendo las indicaciones de la CNDFME, acordó elaborar una ECOE de 20 estaciones, con una selección de casos y distribución de competencias a establecer por los comités correspondientes. Diez de estas estaciones serían con formato presencial-virtual, ECOE-CCS, comunes para todas las facultades, con la cual los estudiantes están en el aula, cada uno con su ordenador y realizando la ECOE-CCS simultáneamente en múltiples centros del país. Esta prueba tiene dos fechas, nuestro centro suele participar en la primera de ellas, habitualmente en los primeros días de mayo. Para elaborar todos los contenidos, se estableció la creación de distintos grupos de trabajo encargados de llevar a cabo la elaboración de Casos Clínicos que posteriormente se debatieron en común, en sucesivas reuniones del Comité de prueba y finalmente, el Comité de selección de casos, diseñó el contenido de la prueba final. Lógicamente el comité de prueba de la ECOE-CCS está compuesto por representantes de diversas facultades del país, mientras que el comité de la ECOE es estrictamente local.

Resultados

El modelo ECOE planteaba una gran dificultad en nuestro centro que tiene alrededor de 350 alumnos por año. Por este motivo y para que la prueba fuera lo más homogénea posible, nos planteamos realizarla en un solo día a todo el estudiantado. Este desafío implicó desarrollar un diseño de una ECOE genérica con 20 estaciones según las normas de la CNDFME, para grandes grupos de alumnos, a gran escala, en un solo día, con las mismas estaciones para todos los estudiantes. Esta planificación nos planteaba múltiples problemas, los más importantes, un edificio capaz de albergar una prueba de este calibre y un número de tutores, PAS, actores y simuladores muy elevado. Había por tanto que buscar un edificio adecuado para realizar esta prueba y planificar y adaptar los componentes de la ECOE al edificio elegido (Garrido 2024).

Para buscar un edificio capaz de albergar una prueba de este tipo, no existe mucha bibliografía al respecto. Las publicaciones consultadas coinciden en utilizar edificios sanitarios (Arnalich Fernández 2010; De Serdio Romero 2022; Martínez González 2019), en concreto los edificios de consultas externas de los hospitales. En nuestro caso también se estudiaron los edificios docentes que pudieran albergar la prueba y sus características, entre las cuales destacan el número de consultas, capacidad total, número de plantas y el tipo de actividad que se realiza, llegando a la conclusión de que la mejor opción era el edificio de consultas externas del hospital clínico de nuestra ciudad. La localización de este edificio es idónea, ya que está adyacente pero separado del edificio principal, por lo que no se causan molestias a los pacientes ingresados ni a la actividad de urgencias, además el acceso principal es independiente del resto del complejo. Desde el punto de vista arquitectónico, consta de cuatro plantas, posee dos claros bloques de consultas: un módulo de consultas rectangular articulado con otros cinco módulos perpendicularmente, esto genera dos flujos principales de personas, uno longitudinal y otro transversal, que se mueven de proximal a distal respecto a la entrada principal. Esta distribución es homogénea respecto al resto de las cuatro plantas permitiendo una organización con mínimas variaciones, lo que facilita la adaptación de las ruedas diseñadas previamente, las cuales son reproducibles para otros edificios de características similares (Garrido 2024). Un aspecto de gran relevancia que hemos constatado durante los años en los que se ha realizado este diseño de ECOE, es la gran importancia que tiene la planificación y la elaboración de planos (Fig. 1) que le permitan conocer el desarrollo de la prueba a todos los implicados en ella, tanto estudiantes como PAS, profesorado, tutores y actores. Estos aspectos se fueron confirmando en las sucesivas ediciones, en donde al ser los mismos protagonistas y donde solo cambiaban los estudiantes, las pruebas eran cada vez más satisfactorias y ágiles en su desarrollo.

Figura 1. Sección longitudinal de la planta -1 del edificio de consultas externas utilizada para las ruedas 1 y 2. Se utilizó un código de colores, el verde son las estancias utilizables, habitualmente consultas médicas (ahora estaciones), y sobre ellas se han planificado las ruedas 1 y 2 con 20 estaciones cada una. Se adjuntan fotos de los espacios reales que ayudan a dimensionar la utilización de los espacios y el flujo de alumnos.

Fuente: Elaboración propia

La ECOE-CCS significaba un cambio importante respecto a la planificación realizada para la ECOE. La realización de esta compleja prueba se organizó de la siguiente forma, la ECOE-CCS tiene una duración y una complejidad de organización mucho menor en nuestro caso y basada en la experiencia adquirida con la ECOE. Para esta prueba, presencial-virtual, se necesitan aulas, recursos informáticos y logística para que un número tan elevado de participantes, alrededor de 350 en nuestro caso, no tenga problemas de conexión a las redes durante la realización de la prueba telemática, esto supuso un problema para los servicios informáticos de nuestro centro. La prueba se desarrolla en las aulas de la facultad de medicina, donde los alumnos, cada uno con su ordenador y conectados a la red, hacen el examen presencialmente, en el aula, pero de forma virtual con su ordenador. Cada uno allí resuelve y contesta a todos los casos que se le plantean virtualmente (Fig. 2).

Figura 2. Captura de pantalla de la situación de partida de una estación en la ECOE-CCS. En el entor- no del Campus Virtual de la Universidad (plataforma Moodle), el alumno recibe el contexto clínico en el que se sitúa el supuesto práctico que debe resolver y las instrucciones para llevarlo a cabo. En el recuadro de la izquierda, el alumno tiene la posibilidad de monitorizar in situ, la extensión y grado de avance en la prueba global. Del mismo modo, un temporizador on-line, le informa del tiempo restante para la finalización de la prueba. El avance a través de las sucesivas pantallas (flecha amarilla), se realiza de forma secuencial, sin posibilidad de retroceder.

Fuente: Elaboración propia

Desde el punto de vista de la vigilancia, se proponen dos vigilantes por aula, o sea que con 12 o 14, serían suficientes dependiendo de la capacidad de las aulas. Una vez planificada en su totalidad, se realiza el viernes anterior a la ECOE, empezando a las 9 y terminando a las 12. El aspecto más importante es la coordinación para que todos los centros realicen la ECOE-CCS en el mismo tramo horario y de esta forma no se pueda producir fuga de información. Al día siguiente, sábado, se realiza la segunda parte de la prueba mediante una ECOE con 10 estaciones que sigue las pautas ya descritas en el apartado anterior para la ECOE con 20 estaciones, pero en este caso de 10, en las instalaciones del edificio de Consultas externas del Hospital Clínico Universitario, y con una organización mucho más compleja, también descrita en el apartado anterior. La nota final se obtuvo de la evaluación de ambas pruebas, y entre ambas se analizaron todos los aspectos y competencias planteados por los comités locales y nacionales. La ECOE no pretende medir el conocimiento médico sino evaluar la calidad de la práctica clínica, y dado que ya contamos con una experiencia considerable en la realización de la prueba, tanto en el formato ECOE-CCS como en el formato ECOE, desde el curso 23-24, la calificación obtenida por el estudiante en las correspondientes estaciones que componen esta prueba supuso hasta un máximo del 40% de la nota final en las materias prácticas de sexto curso.

Discusión

El paso de ECOE a ECOE-CCS le da una gran homogeneidad a la prueba al facilitar que alumnos de todo el país realicen la misma prueba simultáneamente Este aspecto es, sin duda, una gran fortaleza al analizar esta transición. La sinaléctica que se pone en el edificio, demostró ser también una gran fortaleza para ambas pruebas, ya que agiliza y facilita su desarrollo, sobre todo para el estudiantado. Esta sinaléctica se planifica sobre los planos y luego se plasma en el edificio, siendo de una enorme ayuda en el desarrollo y ejecución de la prueba tanto para estudiantes como para evaluadores. Se ha comprobado una evolución muy favorable desde las primeras ediciones en donde no había personal con experiencia previa y sin sinaléctica, a las ediciones posteriores en donde prácticamente no había dudas, ni ningún retraso en ninguna rueda, resultado de la experiencia y conocimiento previo de los evaluadores y PAS (Garrido 2024).

Como debilidades de esta forma de hacer la ECOE, podemos comentar la fuga de información, que unos estudiantes puedan hacer a compañeros que hagan ruedas posteriores, a pesar de las recomendaciones realizadas al respecto, aunque en los análisis realizados para este formato no parece relevante (Arce 2017; Arce 2019). Otro aspecto para tener en cuenta es la fatiga de los actores y evaluadores ante un número tan ingente de alumnos y de turnos, por tanto, de horas de trabajo. Esto podría resolverse, y de hecho se hace, estableciendo turnos para aquellos que lo soliciten, y de hecho se hacen a través de los coordinadores de estación, sobre todo para los actores. La ECOE-CCS reduce considerablemente estas limitaciones al utilizar solo 10 ruedas en lugar de 20 para la evaluación. Otra posible debilidad sería la dificultad para la “vigilancia” de un “aula” tan extensa, con riesgo de que haya alumnos que quieran conocer de antemano las distintas situaciones de partida y vayan al centro el día anterior, aspecto que influye tanto en la ECOE como en la ECOE-CCS. Esto se ha resuelto reforzando la vigilancia del propio hospital, que ya realiza estas funciones de forma rutinaria. No se ha observado este problema desde que se insistió en la vigilancia y las posibles repercusiones de esta actitud (Garrido 2024).

En encuestas realizadas a los estudiantes se observa un elevado grado de satisfacción con este desarrollo de la ECOE y de la ECOE-CCS y la mayoría proponen la implantación de dicho sistema como parte de todas las asignaturas del plan de estudios, lo cual les permitiría familiarizarse de forma progresiva con la adquisición de competencias, estos resultados son coherentes con la literatura al respecto (Sánchez Ferrer 2017; Spretz 2013; Ramírez Romero 2018; Universidad de Málaga 2016; Universidad de Murcia 2015; Universidad de Santiago de Compostela 2018; Universidad de Sevilla 2018). Podemos decir que tanto la ECOE como la ECOE-CCS necesitan un tiempo de planificación y un conocimiento de los diferentes aspectos que suponen un condicionante importante, sobre todo si se trata de grandes grupos de alumnos, pero en todo caso es la forma más homogénea de planificar esta prueba. Buscar un edificio adecuado y dimensionar el número de tutores, profesorado, PAS y actores, así como el de simuladores necesarios, son aspectos obligados antes de plantearnos hacer una prueba de este tipo. Nuestra experiencia con este diseño ha sido muy positiva y ha mejorado cada año con el aprendizaje derivado de su realización. Tras siete años realizando este formato de ECOE y tres realizando la ECOE-CCS, la satisfacción de todos los sectores implicados en la elaboración de ambas pruebas es bueno, en el caso de la ECOE-CCS, le da uniformidad a nivel nacional a la prueba y permite una cierta discrecionalidad a cada centro, y también la ECOE es más fácil de realizar al pasar de 20 a 10 estaciones presenciales, con lo que se necesitan menos recursos para su realización.

Conclusiones

La planificación previa, incluyendo la búsqueda y análisis del edificio que albergue la ECOE son aspectos de gran relevancia para el éxito de la misma. La sinaléctica y la experiencia de los equipos que dirigen y controlan el proceso también se reveló como un aspecto de gran importancia. La transición de la ECOE a la ECOE-CCS supuso un gran paso de cara a su uniformidad a nivel nacional, que en nuestro caso, facilitó su realización al pasar de 20 estaciones presenciales a un formato de 10 estaciones presenciales-virtuales y 10 presenciales, con la consiguiente reducción de recursos necesarios para su realización. Tanto estudiantes como profesorado y PAS han manifestado su satisfacción con la ECOE-CCS.

Referencias bibliográficas