Acceso usuarios
Silvia Cristina Barrios Araya, Marcela Urrutia Egaña, Carolina Guerra Ferrada
Objetivo: Evaluar la estructura y validez de contenido del banco de “Multiple Choice Questions” (MCQ) del examen de titulación de una carrera de enfermería de una institución de la región metropolitana de Chile, según tipos de conocimiento y las habilidades cognitivas. Material y Método: Estudio metodológico cuantitativo, con una muestra de 1.108 MCQ retenidas entre el 2017 a diciembre 2020; las variables fueron: complejidad de los contenidos y las habilidades cognitivas; para categorizar los MCQ se utilizó la clasificación de ítems propuesta por Barrios, Urrutia y Catoni; se conformó un panel de jueces expertos con 26 profesores, previo consentimiento informado; cada profesor analizó en promedio 43 ítems y emitió juicio respecto a: a) pertinencia del MCQ en el examen de titulación, b) dificultad para evaluarlo y c) tipo de conocimiento y habilidad cognitiva a evaluar. Los ítems dudosos se resolvieron con entrevista cognitiva, grabada y autorizada, a egresados y transcrita verbatim. Resultados: el 50,9% de los MCQ se clasificaron como relevantes para incorporarse al examen de titulación. De los 564 MCQ pertinentes, el 75% evalúa un conocimiento de tipo conceptual y el 17% procedimental; con relación a la habilidad cognitiva, el 46,5% evalúa habilidades superiores. Al analizar la correspondencia existente entre los MCQ con las competencias declaradas en el perfil de egreso, 404 del total de MCQ contribuyen a las competencias asistenciales, 78 a gestión, 50 a investigación, 20 a educación y 12 a competencias transversales. Conclusión: Esta evaluación contribuyó a asegurar la construcción de un examen de titulación que cumple con los criterios de validez de contenido y psicométrico.
Objetivo: Avaliar a estrutura e a validade de conteúdo do banco “Multiple Choice Questions” (MCQ) do exame de qualificação de uma carreira de enfermagem de umainstituição da região metropolitana do Chile, de acordo com os tipos de conhecimento e habilidades cognitivas. Material e Método: Estudo metodológico quantitativo realizado com uma amostra de 1.108 QME entre 2017 e dezembro de 2020. As variáveis foram a complexidade do conteúdo e as habilidades cognitivas abordadas pelas MCQ. A classificação de itens proposta por Barrios foi usada para categorizar as QME. Foi formado um painel de juízes especialistas com 26 professores, com consentimento prévio e informado. Cada professor analisou uma média de 43 itens e fez um julgamento sobre: a) a relevância das MCQ no exame de certificação, b) a dificuldade de avaliá-las e c) o tipo de conhecimento e a habilidade cognitiva avaliados. Os itens duvidosos foram resolvidos por meio de uma entrevista cognitiva com graduados que foi gravada em áudio com autorização e transcrita literalmente. Resultados: 50,9% das MCQ foram consideradas relevantes para inclusão no exame de qualificação. Das 564 MCQ relevantes, 75% foram avaliadas como conhecimento conceitual, 17% como conhecimento processual; e emrelação à capacidade cognitiva, 46,5% foram avaliadas como habilidades superiores. Ao analisar a correspondência entre as MCQ e as competências declaradas no perfil dograduado, 404 do total de MCQ contribuem para as competências de prestação de cuidados, 78 para a administração, 50 para a pesquisa, 20 para a educação e 12 para as competências transversais. Conclusão: Esta intervenção contribui para a construção de um exame dequalificação que atende aos critérios de validade de conteúdo e psicométrica.
Objective: To evaluate the structure and content validity of the Multiple-Choice Questions (MCQ) bank of the certification exam, of a nursing career at an institution in the metropolitan region of Chile, according to types of knowledge and cognitive skills.Material and Method: Quantitative methodological study conducted with a sample of 1,108 MCQs between 2017 and December 2020. The variables were the complexity of thecontents and the cognitive skills addressed by the MCQs. The item classification proposed by Barrios was used to categorize the MCQs. An expert panel of 26 professors was formed, with prior informed consent. Each professor analyzed an average of 43 items and made a judgment regarding: a) relevance of the MCQs in the certification exam, b) difficulty in assessing them, and c) type of knowledge and cognitive ability being assessed. Doubtful items were resolved through a cognitive interview with graduates, which was audio- recorded with authorization and transcribed verbatim. Results: 50.9% of the MCQs were found to be relevant for inclusion in the certification exam. Of the 564 relevant MCQs, 75% were assessed as conceptual knowledge, 17% as procedural knowledge; and in termsof cognitive abilities, 46.5% were assessed as higher-level skills. When analyzing the correspondence between the MCQs and the competencies declared in the graduate profile, 404 of the total MCQs contribute to care-provision competencies, 78 to management, 50 to research, 20 to education and 12 to transversal competencies. Conclusion: This intervention contributed to the construction of a certification exam that meets the criteria of content andpsychometric validity.
