Doctutor
Resumen: La Evaluación Programática (EP) puede ser considerada como el último producto de innovación en el mundo de la evaluación. Este es el primer artículo de dos donde tratamos de explicar de una forma básica en que consiste la EP y presentar algunas de las ventajas que su aplicación supondría para la evaluación de la competencia de los médicos. En un segundo artículo abordaremos los ingredientes claves de la EP, cómo incorporarlos en una realidad práctica evaluativa, para después tratar de argumentar sobre lo que esto supondría para un sistema evaluativo de grado y de formación especializada como el nuestro.
The Programmatic Assessment: what it is and some advantages for the evaluation system in medicine improvement (I)
Summary: The Programmatic Assessment (PA) can be considered as the last innovation product in the world of evaluation. This is the first article of two where we try to explain in a basic way what the PA is and to present some of the advantages that its application would suppose for the assessment of the physicians competence. In a second article we will address the key ingredients of PE, how to incorporate them into a practical evaluative reality, and then try to argue about what this would mean for an evaluation system of pregraduate and postgraduate medical training like ours.
¿Qué es la Evaluación Programática?
Para comprobar los conocimientos y las habilidades de las personas en el colegio o la universidad, o en el trabajo o para promocionar a algún puesto concreto, se les suele someter diferentes tipos de pruebas. Disponemos de una variada y suficiente cantidad de herramientas para llevar a cabo estas pruebas y valorar distintos aspectos de la competencia, cada uno de estos métodos sin embargo tiene sus limitaciones, generalmente importantes, pero estadística y educativamente no existe ningún método que aisladamente nos pueda servir aunque sin embargo, sí nos servirían todos considerándolos en su conjunto. Así, deberíamos dejar de optimizar un único método de evaluación para más bien tratar de optimizar el programa de evaluación en su globalidad. Pues bien, a esto es a lo que se llama “Evaluación Programática” (EP).
En la EP cada momento evaluativo aislado se considera como un único punto informativo y este nunca se utiliza para tomar una decisión del tipo de “aprobado” o “suspenso”, o pasa al siguiente curso o no pasa; o se le da el puesto o no se le da. Cada una de estas evaluaciones aisladas ofrece información valiosa para dar un feedback significativo al aprendiz. La toma de decisiones sobre la progresión del alumno sin embargo se realiza en base a múltiples evaluaciones aisladas o puntos de información. El número de evaluaciones aisladas a tener en cuenta dependerá de la importancia de la decisión que se tenga que tomar. Decisiones tan importantes como la promoción a un puesto de más nivel, la obtención de una plaza o la certificación, precisarán basarse en muchas evaluaciones o puntos de información. En esos puntos de información puede usarse cualquier método evaluativo. La elección del método evaluativo dependerá de la justificación educativa para su utilización y se elegirá en el conjunto del Programa Evaluativo. El feedback realizado sobre una evaluación es lo que guía el aprendizaje, y se basa en promocionar un diálogo que tiene como fundamento cualquier tipo de información evaluativa disponible. Este es usado a modo de coaching para el desarrollo personal y profesional del aprendiz. La EP recoge y ofrece así una información muy rica sobre la progresión del aprendiz, hasta que se dispone de la información suficiente como para tomar una decisión global lo suficientemente robusta. Se puede aplicar tanto en la escuela, como en la universidad o el lugar de trabajo. Es una forma de implementar una evaluación más significativa para el aprendizaje a la vez que ofrece evidencias más sólidas para tomar decisiones más fundamentadas sobre el aprendiz.
La EP en Educación Médica
La evaluación programática se está utilizando en algunas escuelas de medicina y también se está haciendo muy popular en la educación médica especializada y en algunos lugares para el desarrollo profesional continuado (1-3). Como lo hemos definido antes, en una aproximación evaluativa del tipo de EP, las evaluaciones individuales se utilizan como componentes que deben recopilarse, por ejemplo, en un portafolio, para luego este ser analizado por un miembro de la facultad o un comité de profesores al objeto de obtener una “imagen diagnóstica” lo suficientemente completa como para permitirles a los evaluadores tomar decisiones de importancia respecto al candidato o aprendiz y que estas puedan sean consistentes. Por lo general, toda la información debe de ser revisada periódicamente por un comité de evaluación para tomar decisiones de tipo sumativo, combinando información de varias fuentes de manera significativa por contenido (4-6). Así, por ejemplo, los resultados de un examen de preguntas de opción múltiple pueden combinarse con partes de un examen mini-CEX o una ECOE y extraer conclusiones sobre el progreso del examinando en un dominio competencial o del desempeño. Después y en base en esta revisión, se deben de ofrecer planes para que el alumno o candidato solucione sus déficits (remediación). Se pretende aquí que mediante el diálogo continuado entre el alumno y un miembro del personal docente (que puede ser el tutor, mentor, profesor o personal de apoyo) se promueva aún más un enfoque basado en el feedback, el análisis del desarrollo de competencias, la recuperación y el desarrollo personal. En lugar de una evaluación convencional, como realizar un examen de preguntas de selección múltiple de alto nivel seguido de una decisión de aprobar o suspender, la EP aborda tanto los niveles de competencia alcanzados como la forma de alcanzarlos.
Problemas que puede solucionar la EP
A continuación resumimos algunos problemas comunes en la evaluación donde un enfoque programático puede ofrecer soluciones.
Escasa confianza en la calificación
Un evaluador que observa evaluaciones individuales suele reconocer que no tienen información suficiente para estar seguro de emitir un juicio. Si también se le pide que tome una decisión sobre un alumno, basándose en esta información, generalmente tenderá a favorecer al aprendiz y permitir el aprobado en lugar de suspenderlo (7,8). Si luego se van agregando varias decisiones de este tipo, todo lo que ven los responsables de realizar la certificación, es una serie de resoluciones positivas (aprobados), cuando, sin embargo, en algunos casos, el alumno puede haber estado persistentemente por debajo de los estándares requeridos, pero es solo cuando se ve toda la información en conjunto cuando esto aparece. Esto contribuye al fenómeno denominado “fallo en el fallo” (failure to fail) o equivocarse al calificar y se suele ver como un problema del examinador. Sin embargo, generalmente suele ser más un problema de agregación de información donde a los evaluadores se les pide que tomen decisiones importantes basándose en una información limitada (9). En cambio, si las observaciones individuales se registrasen de forma narrativa o descriptiva, y fuesen luego incorporadas a un proceso más amplio de toma de decisiones en el que también se analizase otra información de este tipo, se podría tomar una decisión más segura y defendible.
Combinación inadecuada de resultados de la evaluación
La agregación de resultados puede ocurrir en períodos de tiempo definidos (en cortes transversales) o longitudinalmente. Si se agregan de manera transversal y en forma de números se corre el riesgo de hacer compensaciones inadecuadas entre atributos o competencias diferentes, por ejemplo, los resultados sobre el conocimiento clínico se combinan con los resultados sobre la comunicación, algo por otra parte frecuente en, por ejemplo, la evaluación de los rotatorios clínicos, donde un buen conocimiento clínico puede compensar una comunicación deficiente (10). En cambio, la combinación de resultados por atributo o competencia puede ayudar a detectar patrones. Un ejemplo podría ser sintetizar todas las observaciones sobre comunicación en varios puntos de tiempo, reunirlas y observar la trayectoria de un estudiante o residente en esta competencia y ver si ha alcanzado el estándar requerido. Se podría realizar un ejercicio similar para otras competencias, como el razonamiento clínico, las habilidades de exploración física, etc.
Sesgos en la toma de decisiones
En la toma de decisiones existen sesgos bien conocidos. Algunos evaluadores ponen más énfasis en la fuerza de la evidencia (considerar más un solo comportamiento inadecuado) que en el peso de la evidencia (considerar más un patrón de conductas a lo largo del tiempo) (8). También está el efecto “halo” (11), donde la fortaleza de un estudiante o residente en un área hace que sea más difícil para el evaluador ver las debilidades que tiene en otra. Una forma de evitar estos sesgos es asegurar que las decisiones sean tomadas por un grupo de personas (12,13).
Los resultados llegan sorpresivamente o con tiempo insuficiente para remediar los déficits.
Si un patrón de déficit solo se revela cuando todos los resultados de la evaluación están disponibles (como sucede en la enseñanza tradicional con los exámenes al final de un año académico), esto no deja tiempo suficiente para remediar cualquier déficit y los alumnos pueden no ser conscientes de sus problemas de aprendizaje hasta ese momento. En cambio, si el feedback de la evaluación se usa para guiar el aprendizaje de manera continuada, junto con asesorías eficaces, muchos problemas podrían remediarse antes de convertirse en retos difíciles (14).
Finalmente, y esto no es específico de la EP, en situaciones donde el tiempo y los recursos de personal son limitados, se debería dar prioridad a asesorar y guiar a aquellos alumnos que tienen mayores necesidades de aprendizaje. Si bien todos los alumnos se benefician del feedback y todos pueden mejorar, si tuviéramos que establecer prioridades, deberíamos prestar mayor atención a aquellos alumnos que corren mayor riesgo de fracasar.
Referencias
- Dannefer E, Henson L. The portfolio approach to competency based assessment at the Cleveland Clinic Lerner College of Medicine. Acad Med. 2007;82:493–502.
- Fishlede A, Henson L, Hull A. Cleveland Clinic Lerner College of Medicine: an innovative approach to medical education and the training of physician investigators. Acad Med. 2007;82:390–6
- Chan T, Sherbino J. The mcmaster Modular Assessment Program (mcMAP): a theoretically grounded work-based assessment system for an emergency medicine residency program. Acad Med 2015;90:900–5
- Schuwirth LWT, Van der Vleuten CPM. Programmatic assessment: from assessment of learning to assessment for learning. Med Teach. 2011;33:478–85.
- Van der Vleuten CPM, Schuwirth LWT, Driessen EW, et al. A model for programmatic assessment fit for purpose. Med Teach 2012;34:205–14
- Schuwirth LWT, Ward H, Heeneman S. Assessment for learning. In: Higgs J, Baldry-Currens J, Jensen G et al, editors. Realising exemlary practice-based education. Rotterdam: Sense Publishers; 2013. pp. 143–50
- Tweed M, Ingham C. Observed consultation: confidence and accuracy of assessors. Adv Health Sci Educ Theory Pract. 2010;15(1):31–43.
- Tweed MJ, Thompson-Fawcett M, Wilkinson TJ. Decision-making bias in assessment: the effect of aggregating objective information and anecdote. Med Teach. 2013;35(10):832–837.
- Wilkinson TJ, Wade WB. Problems with using a supervisor’s report as a form of summative assessment. Postgrad Med J. 2007;83(981):504–506.
- Tweed M. Passing assessment should not just be jumping hurdles. Focus on Health Professional Education: A Multi-disciplinary Journal. 2010;11(3):85–89.
- Nisbett RE, Wilson TD. The halo effect: evidence for unconscious alteration of judgments. J Pers Soc Psychol. 1977;35(4):250–256.
- Oudkerk Pool A, Govaerts MJB, Jaarsma DADC, Driessen EW. From aggregation to interpretation: how assessors judge complex data in a competency-based portfolio. Adv Health Sci Educ Theory Pract. Epub 2017 Oct 14.
- Giles J. Wisdom of the crowd. Nature. 2005;438(7066):281
- Wilkinson TJ, Tweed MJ, Egan TG, et al. Joining the dots: conditional pass and programmatic assessment enhances recognition of problems with professionalism and factors hampering student progress. BMC Med Educ. 2011;11(1):29.
