Nivel de correlación en la evaluación de la intubación traqueal efectuada por anestesiólogos docentes y residentes de anestesiología

• Alejandro Delfino ^[1] ; Fernando Altermatt ^[1] ; Marcia Corvetto ^[1] ; Ghislaine Echeverria ^[2]
  1. [1] Pontificia Universidad Católica de Chile

     Pontificia Universidad Católica de Chile

     Santiago, Chile

     
  2. [2] New York University

     New York University

     Estados Unidos

     
• Localización: FEM. Revista de la Fundación Educación Médica, ISSN-e 2014-9840, ISSN 2014-9832, Vol. 19, Nº. 2 (Abril 2016), 2016, págs. 85-91
• Idioma: español
• Títulos paralelos:
  • Level of correlation in the assessment of tracheal intubation between anaesthesiology staff and residents
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    Introducción.La educación médica ha experimentado numerosos cambios. Uno de éstos es el uso de la autoevaluación para establecer la progresión de los estudiantes. Hasta donde sabemos, en la realidad chilena no existen hasta el momento estudios sobre la validez y confiabilidad del uso de la autoevaluación en el proceso educacional.

    Sujetos y métodos.

    Las intubaciones traqueales efectuadas durante cuatro meses por los residentes de anestesia de la Pontificia Universidad Católica de Chile se evaluaron utilizando el instrumento ‘observación directa de procedimientos y habilidades’ (DOPS). Una vez intubado el paciente, el anestesiólogo a cargo efectuó la evaluación inmediata de la técnica de intubación del residente. A su vez, empleando el mismo instrumento, el residente efectuó una autoevaluación del mismo procedimiento. El nivel de acuerdo entre anestesiólogo y residente se estableció mediante el índice de correlación intraclase (ICC). Se realizó una encuesta de opinión sobre el método entre los participantes.

    Resultados.Se evaluaron 585 intubaciones. Participaron 31 residentes y 30 anestesiólogos. El ICC general fue 0,423. Éste disminuyó a medida que aumentaba el nivel de experiencia de los estudiantes, y alcanzó el nivel más bajo en los residentes de tercer año, con un ICC de 0,39. Anestesiólogos y residentes manifestaron satisfacción con el método, pero poca experiencia previa.

    Conclusiones.El nivel de concordancia entre las evaluaciones y autoevaluaciones fue bajo. La falta de experiencia previa de los participantes pudo influir en los resultados. Para utilizar adecuadamente instrumentos de autoevaluación, éstos deberían implementarse desde etapas tempranas de la formación.

  • English

    Introduction.The medical education has experienced numerous changes. One of these is the use of self-assessment to establish students’ progress, even with summative purposes. As far as we know, in our setting there are not studies about the validity and reliability of the use of self-assessment in the educational process.

    Subjects and methods.The intubations performed during four months by anesthesia residents at Pontificia Universidad Católica de Chile were assessed using the instrument Direct Observation of Procedural Skills (DOPS). Once the patient was intubated, the anesthesia staff in charge of patient’s care carried out the resident’s assessment and each student performed a self-assessment of the procedure using the same instrument. The level of agreement between staffs and students was established using intraclass correlation (ICC). An opinion survey among the participants about the method was performed.

    Results.585 intubations were assessed. 31 students and 30 staff participated in the study. The general ICC was 0.423. The ICC decreased according to the residents’ student year reaching the bottom at third year residents with 0.39. All participants were satisfied with the method but they pointed out the lack of previous experience.

    Conclusions.The agreement between staffs’ assessments and students’ self-assessment was poor. The lack of participants’ experience could affect the results. To properly use self-assessment instruments, they should be implemented in early stages of educational process.