Impacto educacional de los sistemas multimétodos de evaluación de competencias que se aplican en la carrera de medicina de la UNNE

Abstract

INTRODUCCION: Numerosas evidencias demuestran que la evaluación tiene efectos positivos en el aprendizaje de los estudiantes, pero también reportan efectos menos deseables. Este fenómeno conocido como “impacto educacional” de las evaluaciones, ha sido muy estudiado en diferentes instrumentos de evaluación en forma aislada, pero pocos investigadores lo han explorado en el contexto de sistemas de evaluación que utilizan múltiples herramientas. En tal sentido se planteó como problema de investigación: ¿Qué impacto educacional puede producir en los estudiantes de medicina la aplicación de sistemas multimétodos para evaluar competencias?; y como principales interrogantes que dan sentido a los objetivos específicos de este trabajo: ¿Cómo se integran las evaluaciones al entorno de aprendizaje de los estudiantes?; ¿Como influyen las evaluaciones sobre el aprendizaje de los estudiantes?; ¿Qué puede aportar cada momento de la evaluación al aprendizaje de los estudiantes? METODOLOGÍA: Desde un paradigma “interpretativo-constructivista”, la investigación fue desarrollada con un enfoque metodológico mixto a predominio cualitativo; diseñada como un estudio de caso de tipología múltiple, diseño incrustado con diferentes unidades de análisis; y con alcance interpretativo. Los casos de estudio seleccionados fueron las dos asignaturas que aplicaban sistema de evaluación multimétodo en la Carrera de Medicina: “Medicina, Hombre y Sociedad” (MHS) de 1° año y “Medicina III” (MED-III) de 5° año. Las categorías preliminares de análisis fueron: el entorno de aprendizaje y evaluación en los casos de estudio; los aspectos motivacionales y enfoques de aprendizaje de los estudiantes, sus comportamientos de estudio, y sus experiencias y percepciones en las evaluaciones. Para recabar la información se utilizaron: documentos, registros y materiales curriculares; inventarios estandarizados; y cuestionarios autoadministrados. Para analizar la información cualitativa se aplicó la Teoría Fundamentada constructivista; y para los datos cuantitativos, rúbricas específicas y análisis estadísticos. Durante el trabajo de tesis, se elaboró una matriz analítica-metodológica con tres ejes de análisis: evaluación del aprendizaje, evaluación para el aprendizaje y evaluación como aprendizaje, y diferentes categorías de las que se desprenden las preguntas exploratorias que guiaron la investigación. RESULTADOS: En relación al entorno de aprendizaje-evaluación: los casos de estudio diseñaron sus propios sistemas de evaluación de competencias en forma integrada a los procesos de aprendizaje, con diversos instrumentos adecuados a los objetivos de cada evaluación, acorde al nivel curricular y al contexto de cada materia; con propósitos diferentes, sumativo (MHS) y formativo-sumativo (MED-III). La mayoría de los estudiantes tenían orientación por metas de aproximación al aprendizaje (predisposición por aprender) y aplicaban enfoques de aprendizaje profundo, lo que se vio reflejado en los resultados que obtuvieron en las evaluaciones. En cuanto a los efectos de las evaluaciones sobre el aprendizaje: Hubo diferencias entre los casos, debidas principalmente al elevado número de cursantes de MHS (1363) que contrastó notoriamente con MED-III (151). En ese contexto “masivo” de cursado, los alumnos principiantes (P): no conocían (antes de las pruebas) los objetivos de aprendizaje y los criterios de evaluación; tuvieron poca interacción personal con los docentes; afrontaron instancias de evaluación muy cercanas en el tiempo; y no recibieron devoluciones oportunas y efectivas. Estas experiencias fueron inversas en los estudiantes avanzados (A). En cuanto a los procesos cognitivos realizados durante las evaluaciones, las diferencias entre (P) y (A) estuvieron relacionadas a su nivel de formación en la carrera, los primeros aplicaron principalmente procesos mentales de “orden inferior” (Taxonomía de Bloom) como recordar, comprender y aplicar; y los (A), operaciones mentales de “orden superior” como analizar, evaluar y crear. Los tres momentos de la evaluación tuvieron efectos de aprendizaje. Antes de la evaluación, los alumnos adecuaron sus comportamientos de estudio para mejorar su preparación, valorando el “aprendizaje grupal colaborativo” y los beneficios de revisar exámenes de otras cohortes; los principales motivadores para el estudio fueron: “las exigencias del sistema de evaluación de MHS” y la posibilidad de “promoción meritoria” en MED-III; y como factores de desánimo, el escaso tiempo entre las pruebas (MHS) y el cursado intenso con evaluaciones simultáneas (MED-III). Durante las evaluaciones, facilitaron el rendimiento: la diversidad de instrumentos aplicados y las cualidades de algunas herramientas; y obstaculizaron el buen rendimiento, fallas en el diseño de los instrumentos y, en la aplicación y corrección de ciertas evaluaciones; algunos alumnos tenían autoconcepto académico “negativo” auto atribuido a la formación inadecuada en el nivel medio (P) y a ciertas limitaciones intelectuales (A); Los principales riesgos percibidos fueron, no ingresar a la carrera de medicina (P) y no poder cursar la POF (A). Entre los beneficios que aportó el sistema de evaluación al aprendizaje de la materia, reconocieron como más significativos: ampliar y profundizar los conocimientos, identificar las necesidades de aprendizaje, y desarrollar habilidades para trabajar en equipo y para reflexionar sobre el aprendizaje. CONCLUSIONES: Esta investigación permitió comprender los factores, mecanismos y efectos de aprendizaje vinculados al impacto educacional de los sistemas multimétodo de evaluación de competencias en las dos materias que aplican dichos sistemas en la Carrera de Medicina de la UNNE. Además, posibilitó agrupar los factores relacionados a los efectos de aprendizaje de las evaluaciones en tres categorías: “factores que promovieron el aprendizaje”; “factores que dificultaron el aprendizaje”; y “factores con efectos ambivalentes”, que son los principales aportes de esta investigación para las prácticas docentes en Educación Médica.

INTRODUCTION: Numerous pieces of evidence show that assessment has positive effects on student learning, but less desirable effects are also reported. This phenomenon known as the "educational impact" of assessments has been extensively studied in different assessment instruments in isolation, but few researchers have explored it in the context of assessment systems that use multiple tools. In this sense, the following research problem was raised: What educational impact can the application of multi-method systems to assess competencies produce in medical students? and as main questions that give meaning to the specific objectives of this work: How are evaluations integrated into the student learning environment? How does assessment influence student learning?; What can each moment of evaluation contribute to student learning? METHODOLOGY: From an "interpretivist/constructivist" paradigm, the research was developed with a mixed methodological approach with a predominance of qualitative; designed as a case study of multiple typology, embedded design with different units of analysis; and with interpretive scope. The case studies selected were the two subjects that applied a multi-method evaluation system in Medicine Career: “Medicine, Man and Society” (MMS) in the 1st year and “Medicine III” (MED-III) in the 5th year. The preliminary categories of analysis were: the learning and evaluation environment in the case studies; the motivational aspects and learning approaches of the students, their study behaviors, and their experiences and perceptions in the evaluations. To collect the information, the following were used: documents, records and curricular materials; standardized inventories; and self-administered questionnaires. To analyze the qualitative information, the constructivist Grounded Theory was applied; and for quantitative data, specific rubrics and statistical analyses. During the thesis work, an analytical-methodological matrix was elaborated with three axes of analysis: evaluation of learning, evaluation for learning and evaluation as learning, and different categories from which the exploratory questions that guided the research emerged. RESULTS: In relation to the learning-assessment environment: the case studies designed their own competency assessment systems in an integrated manner to the learning processes, with various instruments appropriate to the objectives of each assessment, according to the curricular level and to the context of each subject; with different purposes, summative (MMS) and formative-summative (MED-III). Most of the students were oriented by learning-approach goals (predisposition to learn) and applied deep learning approaches, which was reflected in the results they obtained in the evaluations. Regarding the effects of the evaluations on learning: There were differences between the cases, mainly due to the high number of MMS students (1363) that contrasted markedly with MED-III (151). In this “massive” course context, the beginning students (P): did not know (before the tests) the learning objectives and the evaluation criteria; they had little personal interaction with teachers; they faced evaluation instances very close in time; and did not receive timely and effective returns. These experiences were reversed in advanced students (A). Regarding the cognitive processes carried out during the evaluations, the differences between (P) and (A) were related to their level of training in the career, the former mainly applied “lower order” mental processes (Bloom’s Taxonomy) such as remember, understand and apply; and the (A), “higher order” mental operations such as analyze, evaluate, and create. The three moments of the evaluation had learning effects. Before the evaluation, the students adapted their study behaviors to improve their preparation, valuing “collaborative group learning” and the benefits of reviewing exams from other cohorts; the main motivators for the study were: “the demands of the MMS evaluation system” and the possibility of “meritorious promotion” in MED-III; and as factors of discouragement, the short time between the tests (MMS) and the intense course with simultaneous evaluations (MED-III). During the evaluations, they facilitated the performance: the diversity of applied instruments and the qualities of some tools; and hindered the good performance, flaws in the design of the instruments and, in the application and correction of certain evaluations; some students had a "negative" academic self-concept attributed to inadequate training at the secondary level (P) and to certain intellectual limitations (A); The main perceived risks were not entering the medical degree (P) and not being able to take the POF (A). Among the benefits that the assessment system brought to the learning of the subject, they recognized as the most significant: broaden and deepen knowledge, identify learning needs, and develop skills for teamwork and reflection on learning. CONCLUSIONS: This research made it possible to understand the factors, mechanisms and learning effects linked to the educational impact of multi-method competency assessment systems in the two subjects that apply these systems in the UNNE Medical School. In addition, it made it possible to group the factors related to the learning effects of the evaluations into three categories: “factors that promoted learning”; “factors that hindered learning”; and “factors with ambivalent effects”, which are the main contributions of this research for teaching practices in Medical Education.