Índice

Agradecimientos

Presentación

Capítulo 1. Introducción

Capítulo 2. Evaluación de la práctica docente en medicina clínica

Capítulo 3. Propiedades psicométricas de los test de evaluación

Capítulo 4. Estudio exploratorio

Capítulo 5. Diseño del cuestionario de evaluación de la supervisión clínica en medicina

Capítulo 6. Evidencias de confiabilidad y validez

Capítulo 7. Conclusiones

Referencias

Apéndice A

Apéndice B

Apéndice C

Apéndice D

Apéndice E

Apéndice F

Apéndice G

Legales

Universidad Autónoma de Baja California

Rubén Abdel Villavicencio Martínez

Evaluación de la competencia docente en el ámbito de la enseñanza clínica de medicina

Selección Anual para el Libro Universitario

Para Griselda, mereces lo que sueñas

AGRADECIMIENTOS

A la doctora Edna Luna por permitirme encontrar mi propio camino, aunque eso significara transitar por una cuesta paralela a la planicie que ella me recomendaba de inicio. Por enseñarme el oficio de la investigación científica y, sobre todo, a buscar la calma para organizar mis ideas y transmitirlas claramente.

A las doctoras Graciela Cordero, Alicia Chaparro, Yolanda Leyva e Ileana Seda por sus críticas y consejos para el diseño y desarrollo de mi investigación doctoral, lo cual representó una ayuda inmensurable en mi proceso formativo como investigador y como persona.

A los doctores Lewis McAnally, Luis Lizasoain, Víctor Corona, Javier Organista, Guadalupe López, Alicia Chaparro y Juan Carlos Rodríguez por compartir sus conocimientos a través de las clases obligatorias y optativas que cursé en el doctorado.

A los doctores Mario Rueda, Jesús Cabrales, Christian Rodríguez, Lynnette Velasco, Juan Pérez, Gilberto Gutiérrez y Carmen Aguirre por sus apoyos para desarrollar los estudios empíricos de la investigación.

A mis compañeros del doctorado: gracias, David, Melanie, Cristina, Lolita, Martín, Valeria, Genoveva, Horacio, Moisés, Carmen y Cecilia por compartir parte de estos tres años y medio.

Al personal administrativo, de servicios y de apoyo del Instituto de Investigación y Desarrollo Educativo de la Universidad Autónoma de Baja California.

PRESENTACIÓN

Este documento consta de siete capítulos y representa el reporte del proceso de investigación que se condujo para desarrollar un cuestionario de evaluación formativa de las competencias de los supervisores clínicos de la licenciatura en medicina de la Universidad Autónoma de Baja California (UABC).

La investigación partió de identificar la insuficiencia de información y evidencias empíricas en torno a la evaluación de la docencia en los campos clínicos de la medicina. La pregunta general que guio la investigación fue ¿cómo evaluar formativamente las competencias de los supervisores clínicos con base en la percepción de los alumnos de medicina de la UABC?, la cual se presenta en el primer capítulo, junto con la justificación y la revisión de antecedentes.

Por la complejidad de la pregunta se decidió iniciar el análisis de la literatura en torno a cuatro temas, que constituyen los capítulos 2 y 3: 1) la enseñanza, 2) la evaluación de la docencia, 3) la enseñanza y la evaluación de la docencia en medicina clínica y 4) las propiedades psicométricas de los cuestionarios de evaluación de la docencia.

Los capítulos 4, 5 y 6 exponen la parte empírica de la investigación. Esta división del trabajo empírico en tres estudios se debió a la necesidad de organizar lógicamente la investigación, lo que permitió profundizar en cada una de las etapas, que obedecían a propósitos particulares, y destacar los hallazgos de cada una.

El capítulo 4 consiste en un estudio exploratorio que buscó la caracterización de la supervisión clínica en la licenciatura en medicina de la UABC, lo cual resultó fundamental para enmarcar el resto de la investigación y, sobre todo, contextualizar los estudios y sus resultados.

En éste se respondieron las dos primeras preguntas de investigación específicas: 1) ¿cuáles son los lineamientos de la actividad de supervisión clínica en la licenciatura en medicina de la UABC?, y 2) ¿cuáles son las prácticas de enseñanza que se desarrollan en dicha licenciatura? La primera cuestión se respondió mediante el análisis del plan de estudios de la carrera, y la segunda, a través de entrevistas con supervisores clínicos.

El capítulo 5 se desarrolló con el propósito de responder a la pregunta ¿cuáles son los elementos esenciales que se deben considerar para evaluar las competencias de los supervisores clínicos en medicina con base en la opinión de los estudiantes?

Los resultados del segundo estudio empírico presentado en el capítulo 5 permitieron identificar tres dimensiones para el cuestionario de evaluación de las competencias de los supervisores clínicos de la licenciatura en medicina de la UABC: la planificación didáctica, la intervención didáctica y la evaluación de los aprendizajes.

Asimismo, se diseñó un cuestionario formado por cinco competencias y 38 reactivos, mediante un proceso sistemático de consulta tanto de la literatura especializada como de expertos en supervisión y psicometría, y la ejecución de un estudio piloto de aplicación del cuestionario diseñado.

El capítulo 6 se basó en la pregunta ¿cómo fundamentar la confiabilidad y validez de las interpretaciones y usos formativos de los resultados de la evaluación de los supervisores clínicos de la licenciatura en medicina de la UABC con base en la opinión de los estudiantes?

De acuerdo con las puntuaciones obtenidas de la aplicación del cuestionario desarrollado a una muestra estadísticamente representativa, se llevó a cabo un procedimiento de validación cruzada que consistió en dividir la muestra en dos y llevar a cabo un análisis factorial exploratorio con la mitad de la muestra y un análisis factorial confirmatorio con la otra mitad.

Los resultados del tercer estudio empírico (capítulo 6) permitieron concluir con un cuestionario integrado por dos factores y 24 reactivos. Las interpretaciones producto del uso de este cuestionario se consideran válidas y confiables en función de las evidencias recolectadas en el proceso. Por último, se diseñó un procedimiento de interpretación de las puntuaciones del cuestionario.

En síntesis, la pregunta general de la investigación se respondió mediante el cuestionario de evaluación formativa de las competencias de los supervisores clínicos de la licenciatura en medicina de la UABC, y su proceso de desarrollo evidenció la sistematicidad y rigurosidad científica con la que se alcanzó el producto.

CAPÍTULO 1. INTRODUCCIÓN

PLANTEAMIENTO DEL PROBLEMA

La atención a personas en condición de enfermedad ha sido un elemento fundamental para desarrollar las competencias profesionales médicas en el desarrollo histórico de la enseñanza de la medicina, lo que complementa la formación teórico-metodológica del médico (Santana et al., 2013).

La enseñanza de la medicina se divide en tres tipos de actividades: 1) teóricas con objetivo informativo, desarrolladas en el aula universitaria; 2) actividades prácticas llevadas a cabo en laboratorio y anfiteatros, las cuales centran su atención en técnicas y procedimientos específicos; y 3) asistenciales desarrolladas en entornos clínicos, las cuales consisten en prácticas de atención a pacientes reales con supervisión de médicos expertos (Hamui et al., 2012).

La distinción entre estos tres tipos de actividades no implica la segmentación de la enseñanza de la medicina. Por lo menos en teoría y en los currículos de medicina actuales, el modelo educativo basado en competencias demanda la integración de los tres tipos de contenidos durante toda la formación profesional, por lo cual, en un mismo periodo lectivo, confluyen los tres tipos de actividades (Díez, 2007).

Las actividades didácticas de contenido clínico suelen ser referidas por los expertos en el estudio de los procesos pedagógicos en medicina como enseñanza clínica o supervisión clínica y hacen referencia al proceso formativo centrado en los pacientes y sus problemas, desarrollado en hospitales, clínicas, medio ambulatorio y en la comunidad (Spencer, 2003).

La supervisión clínica se desarrolla típicamente cuando los estudiantes participan directamente en el cuidado de los pacientes bajo la supervisión de un médico experimentado y dentro de un contexto institucional como puede ser el hospital o el consultorio (Vaughan, 2015).

La supervisión clínica en medicina es una forma de enseñanza en el servicio, demanda la promoción del aprendizaje activo de los estudiantes y la regulación constante del grado de control ejercido por el supervisor, por lo cual constituye un nivel de complejidad mayor en comparación con la tradicional enseñanza en el aula (Kilroy, 2006; Vaughan, 2015).

La enseñanza clínica demanda un balance entre supervisión y autonomía. Schumacher, Bria & Frohna (2013) sostienen que “[…] el ambiente educativo óptimo se construye proveyendo autonomía a los aprendices incluso cuando están siendo supervisados” (p. 2613). Lo anterior se justifica con el fin último de la educación médica: la práctica independiente de la profesión (Schumacher, Bria & Frohna, 2013).

Más aún, a la supervisión clínica en medicina subyace la concepción del doctor como profesor (Kilroy, 2006). Esto conlleva al reconocimiento de tres aspectos: 1) parte de la función del galeno experimentado es enseñar formalmente a los nuevos integrantes del equipo médico; 2) se basa en el compromiso ético del supervisor para compartir sus experiencias con los aprendices que se desempeñan en la clínica; y 3) persigue el propósito de promover la práctica autónoma de la profesión médica (Kilroy, 2006).

Por ende, la supervisión clínica tiene relación con los conceptos de aprendizaje en el trabajo y aprendizaje basado en la práctica, ya que ambos hacen referencia al desarrollo de competencias profesionales con base en el desarrollo de tareas reales propias del gremio o disciplina en la que se centra el proceso (Durante, 2012).

En estas condiciones, la supervisión clínica se centra en la promoción del aprendizaje activo mediante la búsqueda de soluciones a problemas reales, el desarrollo de competencias para autorregular el aprendizaje, la aplicación del rigor metodológico de las ciencias y el trabajo en equipos multidisciplinarios (Lifshitz-Guinzberg, 2012; Santana et al., 2013; Schumacher, Bria & Frohna, 2013).

En síntesis, la supervisión clínica es una modalidad de enseñanza con dos características medulares e interrelacionadas: por una parte, se centra en la atención integral a pacientes en condición de enfermedad y, por otra, promueve gradualmente en los estudiantes la práctica independiente de la profesión médica.

A este propósito, Deane & Murphy (2013) sostienen que la supervisión clínica busca desarrollar la competencia médica y se divide en dos tipos de actividades: por un lado, las actividades clínicas, donde el aprendiz es un miembro integral del equipo de atención médica de una institución de salud, donde observa, asiste y ejecuta labores propias de la profesión; por otro lado, las actividades académicas, que aluden a sesiones tutoriales interactivas de discusión de casos, hipotéticos o reales, en pequeños grupos.

Esta distinción entre los dos tipos de actividades en la supervisión clínica de la medicina también es señalada por Sinclair (2004), con una diferencia: él agrega la distinción entre dos tipos de sesiones académicas: la conferencia de casos y el journal club. La conferencia de casos hace referencia a sesiones semanales de presentación de un caso clínico concreto y la discusión sobre las posibles formas de abordarlo; el journal club es posterior a la conferencia de casos, centrándose en el análisis de artículos de divulgación científica.

Respecto a los métodos didácticos utilizados en la supervisión clínica de la medicina, Hamui y colaboradores (2012) reportaron cuatro tipos de actividades privilegiadas: 1) revisión de expedientes clínicos, 2) planificación de intervenciones clínicas, 3) paso de visita supervisada por el médico de base, y 4) planteamiento de una pregunta relevante a partir de la práctica clínica.

Las especificidades de la clínica condicionan las características de la supervisión; esto es, dependiendo de la especialidad médica (cirugía, medicina interna, gineco-obstetricia, pediatría, etcétera) y del contexto (hospitalario, atención ambulatoria, entre otras), la función de supervisión clínica será distinta (Razmjou et al., 2015).

Sin embargo, Kilminster & Jolly (2000), Kilroy (2006) y Razmjou y colaboradores (2015) consideran que, independientemente de las características del contexto clínico, existen dos elementos clave para entender el concepto de supervisión: 1) el aseguramiento de la calidad en la atención de los pacientes en condición de enfermedad y 2) la promoción del desarrollo profesional de los médicos aprendices.

Si bien hay algunas coincidencias entre los autores sobre algunos elementos referentes a la supervisión clínica, Kilroy (2006) indica que no hay consenso sobre el significado del concepto. Donde sí existe un acuerdo en la literatura es en sostener que el concepto y la práctica de la supervisión clínica es uno de los aspectos menos desarrollados en la enseñanza de la medicina, tanto en la investigación científica como en la discusión entre profesionales (Kilminster & Jolly, 2000; Martin et al., 2015; Razmjou et al., 2015; Vaughan, 2015). Además, la mayor parte de los estudios en torno al concepto, las prácticas y la evaluación de la supervisión clínica se han desarrollado en enfermería (Martin et al., 2015).

Las principales limitaciones en la investigación científica desarrollada en torno a la supervisión clínica en medicina son de carácter metodológico: la utilización de muestras no aleatorias, la aplicación de instrumentos no validados y el uso de técnicas estadísticas descriptivas (Razmjou et al., 2015).

Sumado a lo anterior, el argumento sobre la relación causal existente entre la calidad de la supervisión clínica y la atención de los pacientes en condición de enfermedad (Fluit et al., 2010; García-Vigil, 2005; Valle et al., 2004) parece ser más bien una hipótesis no comprobada, sin evidencias empíricas robustas al respecto (Buss & Gonge, 2009; Wheeler & Richards, 2007).

En consecuencia, la evaluación de la supervisión clínica, entendida como un proceso formativo, se presenta como una condición para el aseguramiento de la calidad de la atención de los pacientes y la formación de los nuevos médicos (Beckman, Cook & Mandrekar, 2005; Fluit et al., 2010). La evaluación de la supervisión clínica en medicina presenta limitaciones, principalmente en cuanto al objeto y los métodos de evaluación utilizados (Beckman, Cook & Mandrekar, 2005; Fluit et al., 2010; García-Vigil, 2005; Vaughan, 2015).

En medicina suelen privilegiarse tres métodos para evaluar a la docencia: 1) la autoevaluación, 2) el rendimiento académico de los estudiantes, y 3) la evaluación con base en la opinión de los alumnos (Gómez, Rosales & Vázquez, 2014).

En primer lugar, la autoevaluación de los médicos ha sido adoptada sobre todo en Estados Unidos, explícitamente por la American Board of Medical Specialities, como un elemento de desarrollo profesional continuo a considerar en sus programas de certificación (Davis, et al.; 2006). Algo similar sucede en Canadá, donde, al igual que en Estados Unidos, el aprendizaje de la medicina en campos clínicos demanda la utilización de la autoevaluación para el mejoramiento de la práctica docente (Davis et al, 2006).

La autoevaluación, de acuerdo con lo argumentado por Davis y colaboradores (2006), se puede clasificar en tres tipos: 1) autoevaluación predictiva, que se refiere a la habilidad del médico para estimar su desenvolvimiento en una futura evaluación del desempeño; 2) autoevaluación sumativa y retrospectiva, donde los médicos califican su desempeño en algún ejercicio clínico, simulado o real, que es comparado con la calificación dada por observadores externos; y 3) autoevaluación concurrente, donde los médicos identifican sus propias necesidades de formación, incluyendo reflexiones sobre su propio desempeño, conocimientos y habilidades.

En segundo lugar, la evaluación docente con base en el rendimiento académico de los estudiantes de medicina es un método que parte de la premisa de que la principal función de la enseñanza es el logro de aprendizajes útiles en los alumnos (Rodríguez et al., 2000). No obstante, los autores reconocen que es un método muy poco utilizado y que para establecer relaciones entre ambas variables (aprendizaje y desempeño docente) es fundamental excluir la influencia de otros elementos que intervienen en el proceso educativo (Rodríguez et al., 2000).

En torno al tercer método, García-Vigil (2005) señala que la mayoría de los cuestionarios de evaluación docente desarrollados en las universidades con base en la opinión de los estudiantes han sido de utilidad para valorar el desempeño de los profesores asignados a las aulas de las facultades de medicina; sin embargo, debido a las particularidades de la enseñanza en atención directa a pacientes, la evaluación de la supervisión clínica queda fuera del alcance de estos cuestionarios.

Los argumentos de García-Vigil son consistentes con lo establecido por Vaughan (2015), quien pondera la necesidad de pertinencia en estos instrumentos al señalar que “[…] varios autores sostienen que los cuestionarios [de evaluación de los supervisores con base en la opinión de los estudiantes] deben de ser específicos para el ambiente en el que se desarrolla la enseñanza clínica” (p. 2).

Las evidencias de validez de las interpretaciones de las puntuaciones de los cuestionarios utilizados para evaluar a los supervisores clínicos también representan un objeto de investigación de interés de acuerdo con Beckman, Cook & Mandrekar (2005). En primer lugar, según lo argumentado por los autores, las investigaciones referentes a la evaluación de los supervisores clínicos reportan insuficiente información sobre validez. En segundo lugar, quienes la reportan se centran en una variedad de evidencias limitada, sin lograr la comprobación de las hipótesis subyacentes a sus estudios (Beckman, Cook & Mandrekar, 2005). Por último, los resultados de la recolección de evidencias de validez de las puntuaciones de los cuestionarios pueden verse condicionadas si se lleva a cabo análisis estadístico con base en datos preexistentes y si se reportan pruebas de confiabilidad equivocadas para el tipo de escala (Beckman, Cook & Mandrekar, 2005).

En resumen, se identificaron cinco factores a considerarse en la investigación empírica sobre las características de la supervisión clínica en medicina y la evaluación de los supervisores clínicos: 1) la supervisión clínica es un concepto poco discutido y sin definición unívoca; 2) si bien hay pocas evidencias producto de la investigación en el tema, los hallazgos han sido estudiados preponderantemente en enfermería; 3) las investigaciones científicas desarrolladas en torno a la supervisión clínica presentan limitaciones metodológicas en sus diseños; 4) no hay claridad sobre la relación causal entre supervisión clínica y calidad de la atención a los pacientes; y 5) la evaluación de la supervisión clínica requiere que las interpretaciones producto del uso de cuestionarios contengan suficientes evidencias de validez y confiabilidad.

Los elementos descritos hasta el momento, permiten señalar la insuficiencia de desarrollo teórico y, sobre todo, evidencia empírica acerca del concepto de supervisión clínica en medicina y la evaluación de los supervisores; esto es, a diferencia de lo que sucede en las actividades áulicas, es poca la evidencia empírica que describa cómo se enseña en el ambiente clínico en atención directa a pacientes y, principalmente, cómo se evalúa a los supervisores clínicos en medicina (Fluit et al., 2010; Gómez, Rosales & Vázquez, 2014).

Con el propósito de identificar las particularidades de la enseñanza en los campos clínicos en la licenciatura en medicina de la Universidad Autónoma de Baja California (UABC), se desarrolló un estudio exploratorio como parte de esta investigación.

La información recabada en el estudio exploratorio permitió resumir que la supervisión clínica en la licenciatura en medicina de la UABC se caracteriza por: 1) poca evidencia documentada de la planificación didáctica por parte de los supervisores clínicos; 2) no hay evidencias suficientes para establecer cómo se desarrolla la supervisión clínica; 3) los métodos e instrumentos de evaluación utilizados son contradictorios a lo que idealmente se utiliza en modelos educativos basados en competencias y en la enseñanza clínica de la medicina, dado que se soslaya la perspectiva formativa de la evaluación de los aprendizajes y todo el desarrollo teórico y metodológico de la enseñanza basada en competencias; y 4) la evaluación del desempeño de los supervisores clínicos no está documentada, existiendo evidencias sólo de la evaluación de la docencia que se desarrolla en el aula.

El problema de investigación que subyace a este trabajo es que los elementos teóricos y la evidencia empírica identificados en el análisis de la literatura especializada son consistentes con la situación que guarda la enseñanza en la modalidad de supervisión clínica en la licenciatura en medicina de la Universidad Autónoma de Baja California. Dichas similitudes radican en la escasa evidencia documentada de la finalidad, el objeto y los métodos utilizados para evaluar a los supervisores clínicos en medicina.

PREGUNTA GENERAL DE INVESTIGACIÓN

¿Cómo evaluar formativamente las competencias de los supervisores clínicos con base en la percepción de los alumnos de medicina de la UABC?

PREGUNTAS ESPECÍFICAS

1. ¿Cuáles son los lineamientos de la actividad de supervisión clínica en la licenciatura en medicina de la UABC?

2. ¿Cuáles son las prácticas de enseñanza que se desarrollan en esta licenciatura?

3. ¿Cuáles son los elementos esenciales para evaluar las competencias de los supervisores clínicos en medicina con base en la opinión de los estudiantes?

4. ¿Cómo fundamentar la confiabilidad y validez de las interpretaciones y usos formativos de los resultados de la evaluación de los supervisores clínicos de dicha carrera con base en la opinión de los estudiantes?

OBJETIVOS DE INVESTIGACIÓN

GENERAL

Desarrollar un instrumento de evaluación formativa de las competencias de los supervisores clínicos con base en la opinión de los estudiantes de la licenciatura en medicina de la UABC.

ESPECÍFICOS

1. Caracterizar la supervisión clínica en la licenciatura en medicina de la UABC.

2. Diseñar un instrumento de evaluación formativa de los supervisores clínicos de dicho programa educativo con base en la opinión de los estudiantes.

3. Aportar evidencias de confiabilidad y validez de las interpretaciones y los usos de los resultados de la evaluación de los supervisores clínicos de esta licenciatura con base en la opinión de los estudiantes.

JUSTIFICACIÓN DE LA INVESTIGACIÓN

El concepto de supervisión clínica es polisémico y polifacético, con pocos acuerdos en la literatura en cuanto a su definición y rara vez operacionalizado (Kennedy et al., 2007). El desarrollo de esta investigación parte de evidencias empíricas insuficientes acerca de la definición de los dominios, la utilización de instrumentos necesarios para evaluar a los supervisores clínicos en medicina y las limitaciones que representa la utilización de dominios e instrumentos que han sido diseñados para la evaluación de la enseñanza dentro del aula.

El principal aporte del trabajo es el desarrollo de un cuestionario de evaluación de la competencia de supervisión clínica para la retroalimentación de los supervisores en medicina. En segundo lugar, los resultados de la investigación abonan a la utilización de la evaluación formativa de la docencia: sobre la base de un deber ser (los dominios del supervisor clínico) se podrá reflexionar sobre los desempeños de los supervisores e identificar los elementos susceptibles de optimizar. De esta manera, se apoya a la mejora de la actividad de supervisión.

REVISIÓN DE ANTECEDENTES

En búsqueda de identificar el contenido, validez y fines de los instrumentos de evaluación de la docencia clínica en medicina presentados en reportes de investigación, Fluit y colaboradores (2010) desarrollaron un metaanálisis. Para ello partieron de dos premisas: 1) a mayor calidad en la formación de pregrado y posgrado de los profesionales de la medicina, habrá mayor calidad en la atención de los pacientes en condición de enfermedad, y 2) puesto que la mayor parte de la evaluación de la enseñanza en los campos clínicos de la medicina se desarrolla mediante cuestionarios con base en la opinión de los estudiantes, es fundamental que sus propiedades psicométricas sean robustas.

Con estas premisas en mente, los investigadores mencionados analizaron más de 2 700 estudios publicados entre 1976 y 2010. Utilizaron los siete dominios de la enseñanza clínica propuestos por el Real Colegio de Médicos y Cirujanos de Canadá (The Royal College of Physicians and Surgeons of Canada [CanMEDS]).

Los dominios de CanMEDS son: 1) modelador, donde el docente clínico enseña, mediante la demostración de sus competencias profesionales, cómo se resuelven problemas en la atención directa a los pacientes; 2) profesor, que consiste en la utilización de diversas estrategias didácticas para promover el aprendizaje de los estudiantes; 3) supervisor, en el que el docente clínico asigna tareas potencialmente significativas para la formación de los nuevos médicos y retroalimenta para mejorar el desempeño de los estudiantes y estimular su aprendizaje; 4) supporter, basado en la creación de ambientes estimulantes para el aprendizaje a través de sus relaciones interpersonales con los alumnos; 5) evaluador, se refiere al dominio mediante el cual el profesor valora el desempeño de los estudiantes y toma decisiones al respecto; 6) planificador/organizador, se compone por el trabajo diario que hace el supervisor clínico para la gestión eficiente de los recursos; y 7) desarrollador de recursos, basado en el desarrollo de materiales educativos (Fluit et al., 2010).

Los resultados del estudio reflejan que la mayoría de los instrumentos cubren los dominios y competencias docentes en campos clínicos que tomaron como base, esto es, 79% de los ítems se concentran en cuatro dominios: profesor, supporter, modelador y supervisor. No obstante, los instrumentos analizados presentan vacíos en cuanto a su generabilidad, confiabilidad y validez.

Además, la competencia docente para evaluar los aprendizajes clínicos no está representada en los instrumentos de evaluación que suelen utilizar las universidades e instituciones de salud, lo que muestra que existe escasa información de cómo se valoran los procesos y resultados del proceso de aprendizaje y su retroalimentación (Fluit et al., 2010).

Otro de los principales hallazgos de la investigación es la subrrepresentación de la competencia de planificación, lo cual significa que las competencias que los docentes poseen para planificar las intervenciones didácticas en los campos clínicos de la medicina se evalúan poco (Fluit et al., 2010).

Un par de años después, el grupo de investigadores reportaron el diseño de un cuestionario de la enseñanza clínica de posgrado en medicina (Fluit et al., 2012). Dicho instrumento está formado por 11 factores, que incluyen 58 ítems. Reportaron tres evidencias de validez en torno a tres fuentes: de contenido, de proceso de respuesta y de estructura interna. Para validar el contenido, los investigadores consultaron expertos en supervisión clínica; para validar el proceso de respuesta, entrevistaron a los residentes que participaron respondiendo al cuestionario en el estudio; y para la estructura interna llevaron a cabo un análisis factorial confirmatorio. La confiabilidad la reportaron mediante el valor del coeficiente alfa de Cronbach (Fluit et al., 2012).

En Suiza, un grupo de investigadores de la Universidad de Uppsala diseñaron un cuestionario de evaluación de la supervisión clínica conformado por 10 ítems en escala tipo Likert y una pregunta abierta (Kihlberg et al., 2011). Para el diseño del cuestionario formaron un comité que incluía directivos de la universidad, supervisores clínicos y alumnos (Kihlberg et al., 2011). Con base en un cuestionario de la Universidad de Stamford, crearon los 11 reactivos que se aplicaron a 577 estudiantes, reportaron estadísticos descriptivos, análisis de varianza y la comparación de interclase mediante chi cuadrada (Kihlberg et al., 2011).

En Estados Unidos, uno de los cuestionarios más citados en la literatura sobre evaluación de la enseñanza en medicina es el Clinical teaching effectiveness instrument (CTEI), desarrollado de manera colegiada en la Clinical Clinic Foundation, considerando las opiniones de directivos, administradores, supervisores clínicos y estudiantes (Copeland & Hewson, 2000). El cuestionario está formado por 15 reactivos en escala tipo Likert, una pregunta abierta y espacio para comentarios generales (Copeland & Hewson, 2000).

El CTEI fue aplicado a 8 048 estudiantes en un intervalo de año y medio, y los autores reportaron las siguientes evidencias: de confiabilidad mediante el cálculo del coeficiente de generalizabilidad relativa (coeficiente G); de validez de contenido con base en el trabajo desarrollado por el comité diseñador y la consulta a los estudiantes; de validez de estructura interna a través de un análisis factorial exploratorio (AFE); y de validez basadas en relaciones con otras variables, donde compararon los puntajes de una muestra del cuestionario aplicado con los del cuestionario que tradicionalmente se utilizaba (Copeland & Hewson, 2000).

En otro estudio, en el contexto chileno, Navarro (2009) presenta una experiencia de validación de un instrumento de evaluación del desempeño de los supervisores clínicos con base en la opinión de los estudiantes de la Universidad de la Frontera, el cual está constituido por 67 ítems que evalúan cinco dimensiones: 1) organización de los programas, 2) práctica docente, 3) rol del estudiante, 4) ambiente de aprendizaje, y 5) experiencia clínica. Las evidencias de validez de contenido se obtuvieron con base en juicios de expertos; posteriormente, se aplicó a un grupo piloto de 40 estudiantes, se ajustaron los ítems y se volvió a aplicar a 75 estudiantes. La confiabilidad se midió con el alfa de Cronbach y se utilizaron los AFE y AFC para verificar la consistencia interna del instrumento (Navarro, 2009).

En la Universidad Nacional Autónoma de México (UNAM), la evaluación de la enseñanza médica evolucionó por más de 10 años con base en el desarrollo de tres cuestionarios. El primero es el “Cuestionario para evaluar la enseñanza de las áreas básica y sociomédica” (CEEABS), integrado por 30 ítems definidos con base en tres factores: estrategias de enseñanza, respeto a los alumnos y evaluación del aprendizaje. Las asignaturas consideradas en este cuestionario son anatomía, biología celular y tisular, biología del desarrollo, bioquímica, farmacología, fisiología, inmunología, microbiología y parasitología, historia y filosofía de la medicina, psicología médica y salud pública (Salas, Ortiz & Alaminos, 2006; Valle et al., 2004).

El segundo instrumento utilizado en la UNAM es el “Cuestionario para evaluar la enseñanza del laboratorio de microbiología y parasitología” (CEELAMP), formado por 13 reactivos en torno a dos aspectos: estrategias de enseñanza y compromiso del profesor (Salas, Ortiz & Alaminos, 2006).

El tercero es un instrumento que se utiliza en los cursos de cirugía I y II: el “Cuestionario para evaluar la enseñanza de cirugía” (Ceeci), compuesto por 27 reactivos relacionados con tres factores: estrategias de enseñanza, compromiso y responsabilidad (Salas, Ortiz & Alaminos, 2006).

Este tipo de cuestionarios han sido de utilidad para valorar el desempeño de los profesores que desarrollan su labor didáctica en las aulas de la Facultad de Medicina; sin embargo, debido a las particularidades de la enseñanza en la atención directa a pacientes, la evaluación de la supervisión clínica queda fuera de su alcance (García-Vigil, 2005).

Hamui y colaboradores (2013) construyeron y validaron un instrumento de evaluación de los ambientes de aprendizaje clínicos de la medicina y reportaron, como punto de inicio, la identificación de cuatro dimensiones: 1) relaciones interpersonales, 2) procesos educativos, 3) cultura institucional, y 4) dinámica de servicio. Posteriormente diseñaron un cuestionario inicial de 47 preguntas y, para evaluar la estabilidad y consistencia de las variables, se recabaron evidencias de validez de contenido mediante la consulta de expertos (Hamui et al., 2013).

Asimismo, hubo una aplicación piloto del instrumento con una muestra de 112 estudiantes y se analizó el nivel de correlación entre variables mediante el alfa de Cronbach, y un análisis de componentes principales, con lo que se efectuó una primera depuración del instrumento. Una vez validado el cuestionario piloto, se aplicó a una muestra de 4 189 estudiantes y fueron analizados los resultados con pruebas estadísticas similares a las del estudio piloto (Hamui et al., 2013).

Por su parte, Gómez (2008) desarrolló y validó un instrumento de evaluación de la docencia en campos clínicos de la odontológica en la UNAM. Para ello, partió de la creación de un banco de ítems a partir del análisis de la literatura, el perfil de egreso y el programa de estudios; posteriormente, la selección de los ítems más importantes se realizó con base en la opinión de expertos. El resultado fue el desarrollo de un total de 25 ítems organizados en seis dominios:

1. Metodología usada por el docente en la clínica, que hace referencia a todas las acciones desempeñadas por éste para fomentar el aprendizaje de las competencias operativas de atención a pacientes por parte de los alumnos.

2. Fundamentación de las actividades de la clínica, específicamente, las ciencias odontológicas, biomédicas, de la conducta y sociales que subyacen a las prácticas en los campos clínicos de la odontología.

3. Consistencia y disponibilidad en la clínica, explicada por el cumplimiento de los elementos formales (horarios y gestión de recursos) por parte del docente en los campos clínicos de la odontología.

4. Relación con el estudiante, que se utiliza para incluir la preparación profesional y gusto por la enseñanza del profesor y las interacciones socioafectivas con los alumnos en los campos clínicos de la odontología.

5. Evaluación del aprendizaje, la cual se refiere a los sistemas, métodos y estrategias que utiliza el docente para valorar el aprendizaje de los alumnos y retroalimentar su desempeño.

6. Valoración global, que se fundamenta en la opinión que tienen los alumnos acerca de los docentes en los campos clínicos de la odontología.

Asimismo, después de la aplicación del instrumento, se sistematizaron evidencias de validez de constructo mediante el análisis factorial. La confiabilidad se estimó mediante el alfa de Cronbach.

En el contexto de la Universidad Autónoma de Baja California, Luna & Reyes (2015) reportan el proceso de validación del “Cuestionario de evaluación de la competencia docente” (CECD). Este instrumento, integrado por cuatro dimensiones y 35 reactivos, utiliza una escala de tipo Likert de nivel de frecuencia (Luna & Reyes, 2015). Cabe señalar que el CECD se diseñó y se ha utilizado para la evaluación de los docentes que se desempeñan en las aulas universitarias, pero no en los campos clínicos.

Las autoras aplicaron el CECD a una muestra de 128 791 estudiantes de licenciatura y se utilizó el método de validación cruzada. Posteriormente analizaron una mitad de la muestra mediante un AFE, y la otra, aplicando un AFC (Luna & Reyes, 2015). Los resultados del estudio condujeron a la reespecificación del modelo, el cual pasó de cuatro dimensiones iniciales a la consideración de sólo dos (“Planeación y gestión del proceso de enseñanza aprendizaje” y “Conducción y valoración del proceso de enseñanza y aprendizaje”), y de 35 reactivos originalmente, a 25 ítems (Luna & Reyes, 2015).

En síntesis, en los ocho estudios analizados (véase cuadro 1) se evidencia que, independientemente de los dominios que evaluaron, los procedimientos seguidos son similares: la operacionalización del constructo, el desarrollo de pruebas piloto, la consulta de expertos y el análisis estadístico. El cuadro presenta el tipo de estudios analizados, los dominios de la supervisión clínica considerados, así como comentarios en torno a las fortalezas y debilidades que se consideran en relación con el objeto de estudio.

CAPÍTULO 2. EVALUACIÓN DE LA PRÁCTICA DOCENTE EN MEDICINA CLÍNICA

LA ENSEÑANZA

En la actualidad parece existir un acuerdo entre los especialistas sobre concebir a la enseñanza y al aprendizaje como dos procesos diferentes (Coll & Solé, 2002). En lo que respecta a la enseñanza, Shulman (1989) argumenta que las investigaciones desarrolladas en Estados Unidos sobre el tema se pueden clasificar dentro de seis programas de investigación: 1) el proceso-producto centra su atención en la relación entre el comportamiento docente y el rendimiento del alumno; 2) el tiempo y aprendizaje, al igual que el anterior, se enfocan en el profesor y, específicamente, en la cantidad de tiempo destinado a las actividades áulicas; 3) la cognición del alumno fija su interés en los procesos cognitivos de éste y la concepción mediadora de la enseñanza; 4) la ecología del aula es un programa de investigación predominantemente cualitativo que busca el significado de las interacciones en diferentes niveles de concreción (micro, meso y macro); 5) el proceso áulico y de ciencia cognitiva centra su atención en el análisis de las interacciones de los miembros de la clase; y 6) la cognición del profesor enfoca su análisis en las representaciones de los docentes (Shulman, 1989).

Good (1996) sostiene que la enseñanza se circunscribe en el contexto social y es condicionada por éste, donde existe una discrepancia entre las expectativas sociales y el desarrollo teórico moderno. El autor señala que “[…] la investigación acerca de la enseñanza no ha sido acumulativa […] de cierta manera es más circular que espiral” (p. 623).

Asimismo analiza siete categorías que representan la mayoría de las investigaciones sobre docencia que se han desarrollado en Estados Unidos: 1) aquellas centradas en la personalidad de los profesores como variable predictora del logro de los alumnos; 2) investigaciones enfocadas en la implementación del currículo; 3) las naturalistas interesadas en las expectativas de los profesores y el estudio de la cultura en el aula; 4) las que se ocupan de las conductas de los docentes y su relación con el aprendizaje de los alumnos; 5) las centradas en la cognición del profesor, incluyendo sus expectativas, procesos de toma de decisiones, responsabilidad, ética, entre otros aspectos; 6) las enfocadas en la mediación de los estudiantes (cognición social, trabajo en equipo, aprendizaje autorregulado, entre otras cuestiones); y 7) un paradigma emergente que se centra en la enseñanza para el entendimiento y considera que el conocimiento se construye dialécticamente, reconociendo las diversas capacidades (Good, 1996).

Estas distinciones entre líneas de investigación que desarrollan Shulman y Good permiten conocer más acerca de los modelos instruccionales y utilizarlos para reflexionar sobre las prácticas docentes y mejorarlas, ya que como Good (1996) argumenta, la enseñanza es un proceso complejo y las responsabilidades, deberes y roles que los docentes asumen van más allá de la posesión y transmisión de conocimiento, exposición o guía intelectual: un buen profesor ayuda a conformar grupos estimulantes, proveer seguridad, promover actividades comunitarias y, sobre todo, adaptar sus propios roles a las necesidades evolutivas (en sus dimensiones cognitivas, físicas y sociales) de los alumnos, los grupos y la comunidad (Good, 1996).

En relación con la enseñanza en educación superior, Hativa (2000) define la enseñanza efectiva en función de los resultados; esto es, como aquella que logra que los alumnos construyan aprendizajes significativos y útiles, volviéndose estudiantes exitosos y efectivos. Asimismo, señala que tanto las características personales del profesor —su conocimiento institucional (currículo, fines educativos y diseño organizacional) del contexto, la disciplina y la didáctica—, como su motivación para enseñar y sus percepciones, son factores que condicionan su desempeño áulico. Esta aproximación propone usar las diferentes categorías que analizan Shulman y Good y utilizarlas dentro del constructo de enseñanza efectiva de forma integral.

La medicina es una disciplina profesional que representa un gran reto en su enseñanza, ya que en ella se forma para ayudar a personas en condición de enfermedad, lo que implica tomar decisiones basándose en los conocimientos teóricos y prácticos para resolver problemas situados, y donde los errores pueden comprometer el bienestar de los pacientes. Por lo tanto, es fundamental analizar las particularidades de la enseñanza de la medicina en contacto directo con pacientes.

MODELO DE ENSEÑANZA POR COMPETENCIAS

En escenarios de preocupación por la calidad de la educación superior, a nivel internacional se ha optado por aquélla basada en competencias como un intento de asegurar que los sistemas educativos formen a través de la habilitación de las personas para la vida, con capacidades para resolver problemas, ejercer de manera eficiente sus profesiones y ser ciudadanos responsables. Este modelo ha sido impulsado por el desarrollo de estándares de competencia laboral desde la década de 1970 en Estados Unidos, Inglaterra y Australia (Kerka, 1998; citado en García et al., 2008), y condicionados por los intensos cambios en la división internacional del trabajo (Luengo, Luzón & Torres, 2008).

Como sucede con muchos conceptos en educación, no existe una definición unívoca del referido a competencias; sin embargo, la mayoría de los autores coinciden en señalar tres elementos fundamentales: 1) conjuga conocimientos, habilidades y actitudes que desarrolla y posee la persona; 2) estos atributos son movilizados de manera consciente para adaptarse a diferentes situaciones; y 3) ser competente implica cumplir con tareas concretas prescritas (Argudín, 2005; Luengo, Luzón & Torres, 2008; Tobón, 2006).

La movilización de los saberes es un elemento fundamental para entender el concepto de competencia en el ámbito educativo, puesto que, a diferencia de la educación centrada en objetivos conductuales, el modelo por competencias pretende explícitamente que las personas sean capaces de utilizar sus conocimientos, habilidades y actitudes en diferentes contextos no sólo para resolver problemas, sino también para producir nuevos saberes y seguir aprendiendo constantemente con autonomía (Luengo, Luzón & Torres, 2008; Tardiff, 2008; Tiana, 2011). Sumado a lo anterior, ser competente es ser capaz de cumplir tareas concretas bajo estándares de calidad prescritos y solucionar problemas de manera racional (Perrenoud, 2010).

De esta manera, según los argumentos de Luengo, Luzón & Torres (2008), Perrenoud (2010) y Tobón (2006), se propone entender a la educación basada en competencias como los modelos y prácticas educativas que promueven sistemáticamente el dominio de conocimientos, habilidades y actitudes que, al ser movilizados de forma consciente, permiten resolver problemas en escenarios diversos.

La educación por competencias ha representado una reforma de los sistemas educativos de acuerdo con requerimientos externos (función social y económica de la educación profesional, técnica y básica) e internos (necesidad de lograr la eficiencia de los recursos y aumentar la calidad de la educación), no solamente en la formación del alumnado, sino también en la de los profesores (Perrenoud, 2010).

En el modelo por competencias, la enseñanza en educación superior demanda el reconocimiento del estudiante y su aprendizaje como el centro del proceso, donde el docente es un mediador que desarrolla un enfoque crítico de enseñanza (Gairín, 2011). En este sentido, de acuerdo con Gairín (2011), el profesor tiene cuatro funciones sustantivas: 1) didáctica, que se refiere a la planificación, conducción y evaluación; 2) tutorial, que se basa en el acompañamiento de los alumnos en sus procesos de aprendizaje; 3) de vinculación, que se desarrolla conforme se establece interlocución con los actores del contexto; y 4) formación permanente, que se basa en la obligación de actualización profesional del docente. Estas funciones requieren el dominio de competencias técnicas, metodológicas, sociales y personales (Gairín, 2011).

En educación superior, las competencias están circunscritas al debate profundo sobre la función social que ha de cumplir la universidad y la necesidad de asegurar que los procesos educativos sean de calidad (Zabalza, 2007). A este tenor, las competencias suelen ser referidas en dos perspectivas: en primera instancia, en todo lo relacionado con los aprendizajes esperados en los alumnos y, en segundo término, lo concerniente al papel que deben jugar los profesores universitarios en la educación por competencias (Zabalza, 2007).

El interés en el aprendizaje desde la perspectiva de la educación basada en competencias se basa en la necesaria transición de un enfoque centrado en el conocimiento, hacia uno dirigido a las capacidades adaptativas a diversos contextos y la utilización del conocimiento para la resolución de problemas vividos (Zabalza, 2007).

En lo que respecta al profesorado, la educación basada en competencias ha significado la demanda de profesionalización del gremio en la búsqueda de asegurar que la promoción y el desarrollo de competencias profesionales en los alumnos sea el centro de la enseñanza (Zabalza, 2007).

LA EVALUACIÓN DE LA DOCENCIA

García-Cabrero y colaboradores (2014) argumentan que los sistemas educativos diseñados con el enfoque basado en competencias requieren un sistema evaluativo docente en concordancia con el modelo de enseñanza por competencias. Por consiguiente, la evaluación de los docentes se erige como un mecanismo que puede convertirse en una herramienta de mejora de la calidad de la enseñanza (Luna & Rueda, 2008).

En México, los procesos de evaluación de la docencia se generalizaron a principios de la década de 1990 (Luna & Torquemada, 2008). Este interés en la evaluación de la docencia surge debido a la política educativa iniciada en 1989, que condicionó los estímulos económicos a partir de los resultados de las evaluaciones (Rueda et al., 2010).

A partir del análisis de las publicaciones en materia de evaluación docente en México, varios autores destacan que los trabajos académicos sobre el tema son insuficientes para describir con precisión el panorama de la evaluación del profesorado en el país (Luna & Rueda, 2008); sin embargo, es posible identificar los siguientes rasgos: 1) las políticas públicas en educación superior favorecen la función de investigación en detrimento de la función docente (Luna & Rueda, 2008); 2) existe una distinción entre la evaluación de los académicos y la de la docencia (Rueda & Elizalde, 2008); 3) hay una necesidad de incluir a los propios profesores en la evaluación de la docencia y de incrementar la información empírica (Rueda & Elizalde, 2008); y 4) la necesidad de impulsar la investigación tanto teórica como empírica en materia de evaluación de la docencia y que sus resultados impacten en las políticas públicas (Luna & Torquemada, 2008).

En educación superior, y en medicina en particular, suelen privilegiarse tres estrategias para evaluar a la docencia: 1) la evaluación con base en la opinión de los estudiantes, 2) la autoevaluación, y 3) el rendimiento académico de los estudiantes (Gómez, Rosales & Vázquez, 2014).

Gómez (2008) señala que la calidad de la enseñanza es un aspecto que suele obviarse y existe escasa evidencia sobre la utilización de instrumentos de evaluación en los campos clínicos, ya que se presta mayor atención a la evaluación de los docentes en escenarios áulicos a través de cuestionarios con base en la opinión de los alumnos.

EVALUACIÓN CON BASE EN LA OPINIÓN DE LOS ESTUDIANTES

En educación superior, los cuestionarios con base en la opinión de los estudiantes han representado el instrumento más utilizado a nivel internacional para la evaluación del desempeño docente (Benton & Cashin, 2012; Gómez, Rosales & Vázquez, 2014; Luna, 2002; Luna et al., 2012; Luna & Torquemada, 2008; Reyes & Luna, 2015).

Su amplia utilización se debe a: 1) su utilidad tanto para propósitos de control administrativos, como para intenciones formativas de retroalimentación del desempeño docente (Benton & Cashin, 2012; Marsh, 2007); 2) la evidencia empírica en torno a las propiedades psicométricas (confiablidad, estabilidad y validez) de este tipo de cuestionarios, generada durante varias décadas, es suficiente para recomendar su uso (Luna, 2002); y 3) los puntajes de los cuestionarios de evaluación de la docencia con base en la opinión de los estudiantes han mostrado correlaciones altas con las calificaciones obtenidas por ellos (Benton & Cashin, 2012).

Para el diseño de este tipo de cuestionarios, como fundamento se han utilizado definiciones de la enseñanza eficaz y se han desagregado diferentes dimensiones para operacionalizar (Benton & Cashin, 2012). Si bien no existe consenso acerca de las dimensiones que constituyen la enseñanza efectiva, Centra (1993) señala que hay seis factores comunes en la mayoría de los cuestionarios estudiantiles de evaluación docente: 1) planificación y organización del curso, 2) habilidades de comunicación, 3) interacción profesor-estudiante, 4) dificultad del curso, 5) evaluación de los aprendizajes y 6) aprendizaje autoevaluado por los estudiantes.

A pesar de las evidencias empíricas, siguen existiendo falacias alrededor de la utilización de los cuestionarios estudiantiles. Benton & Cashin (2012, p. 2) argumenta en torno a ocho premisas erróneas sobre estos instrumentos: 1) los estudiantes no pueden formular juicios consistentes; 2) estos cuestionarios son sólo un concurso de popularidad; 3 no son confiables ni válidos; 4) son afectados por el horario en que se ofrece el curso; 5 los estudiantes tienen la capacidad de apreciar la buena enseñanza únicamente cuando han pasado algunos años; 6) ellos sólo quieren cursos fáciles; 7) la retroalimentación de los alumnos no se puede usar para mejorar la enseñanza; y 8) el uso desmesurado de los cuestionarios estudiantiles ha conducido a su sobreestimación.

Hay un problema central en el uso de los cuestionarios estudiantiles: su utilización para fines formativos se queda corta en comparación con su potencial (Pallett, 2006, citado en Benton & Cashin, 2012). Existen, según Pallett (citado en Benton & Cashin, 2012, p. 12), tres razones para este fenómeno: 1) algunas instituciones prestan mucha atención al carácter sumador de los cuestionarios; 2) el diseño de cuestionarios que permitan la retroalimentación con la presentación de evidencias de validez y confiabilidad es un trabajo oneroso; y 3) en algunas instituciones no se cuenta con la figura de mentor que ayude a la retroalimentación y la mejora.

MODELO DE EVALUACIÓN DE LA COMPETENCIA DOCENTE (MECD)

En un intento por guiar los procesos evaluativos de la función docente y abonar a la mejora de los procesos de enseñanza y aprendizaje en educación superior, García-Cabrero y colaboradores (2008) diseñaron el modelo de evaluación de la competencia docente, el cual se fundamenta en nueve premisas: 1) tomar en cuenta el contexto social de las instituciones educativas; 2) ubicar las acciones de la evaluación del desempeño docente en un marco conceptual de sistema; 3) caracterizar las prácticas de evaluación vigentes; 4) utilizar las prácticas existentes como punto de partida; 5) analizar las distintas propuestas disponibles; 6) considerar el enfoque basado en competencias; 7) reconocer el impacto de las políticas públicas; 8) apelar a la responsabilidad de los actores sociales; y 9) promover la autonomía y autorregulación del profesorado (García-Cabrero et al., 2008).

De esta manera, se definieron cuatro dimensiones (véase cuadro 2), que representan una aproximación sencilla y lógica al proceso de la enseñanza eficaz, al considerar desde los elementos institucionales que condicionan la actividad docente, hasta concentrarse en tres procesos fundamentales en toda actividad didáctica sistemáticamente desarrollada: la planificación, la intervención didáctica propiamente dicha y la evaluación de los aprendizajes.

LA PRÁCTICA DOCENTE EN MEDICINA CLÍNICA Y SU EVALUACIÓN

En el proceso didáctico en la medicina clínica existe una tensión entre el nivel de control sobre el aprendizaje que requiere ejercer el supervisor clínico y la necesidad de fomentar el pensamiento y la práctica autónomos. Es así como las funciones de los supervisores adquieren diversos matices y surgen distinciones semánticas. En este sentido, en la literatura confluyen al menos tres conceptos para referirse a los profesionales que se desempeñan como enseñantes en los campos clínicos de la medicina: profesor, supervisor y facilitador.

Trejo-Mejía y colaboradores (2005) utilizan el concepto de profesor, subrayando el aspecto didáctico de la función docente más que la atención específica a los pacientes en condición de enfermedad; esto es, concentran su análisis en el aspecto metodológico de la enseñanza clínica y el consecuente diseño de experiencias de aprendizaje significativo.

El profesor clínico crea un clima constructivo para el aprendizaje; capitaliza su experiencia clínica diaria al reflexionar sobre su propia práctica y compartirla con los alumnos, a quienes incluye en la atención al paciente; discute las particularidades de los casos y fomenta la participación (Trejo-Mejía et al., 2005).

Asimismo, existen otros autores que utilizan el concepto de supervisor clínico (Fluit et al., 2010; Clinical Excellence Commission, 2012), concentrándose en los procesos de enseñanza y aprendizaje que se desarrollan al atender directamente a los pacientes en condición de enfermedad. Asimismo incluyen las funciones administrativas y de gestión de recursos que demandan las condiciones de las instituciones de salud sede.

Por su parte, Harvey y colaboradores (2002) promueven el concepto de facilitador con tintes más humanistas y sostienen que la práctica médica basada en evidencias requiere procesos en los cuales los profesionales de la salud más experimentados hagan más fácil la implementación de la evidencia en la práctica, por lo cual la facilitación surge como un concepto proveniente “[…] de los campos de la consejería y del aprendizaje centrado en el estudiante, influenciado ampliamente por la psicología humanista” (Harvey et al., 2002, p. 580).

Cada uno de estos conceptos (supervisor, profesor y facilitador) comparten el enfoque en el modelamiento del desempeño de los estudiantes para el desarrollo de las competencias profesionales de la medicina. Por otra parte, el análisis de la literatura permite identificar la predominancia del concepto de supervisor clínico para referirse a aquellos médicos especialistas que se desempeñan como docentes en los campos clínicos de la medicina.

ESTRATEGIAS DIDÁCTICAS PARA LA SUPERVISIÓN CLÍNICA

La situación de la supervisión clínica en medicina se caracteriza por su complejidad, dado que coexisten diferentes aproximaciones didácticas aceptadas, entre las que destacan cuatro: el aprendizaje basado en problemas, el modelo de enseñanza de la medicina por competencias, la medicina basada en evidencias y la enseñanza centrada en las necesidades de los pacientes.

Promoción del aprendizaje basado en problemas

En esta estrategia se utilizan los preceptos del aprendizaje activo, donde se contextualizan los casos, se fomenta la realimentación sistemática y el trabajo en equipo (Díez, 2007). Por centrarse en la adquisición de capacidades para el aprendizaje autorregulado, suele utilizarse el concepto de aprendizaje basado en problemas (Donner & Bickley, 1993; Lee & Yin Kwan, 1997; Wood, 2003).

El aprendizaje basado en problemas (ABP) surge a finales de la década de 1960 en la Universidad de McMaster en Canadá, como una reforma curricular y didáctica en la escuela de medicina, con el propósito de superar la enseñanza enciclopédica, que buscaba la memorización de contenidos, los cuales no eran recordados a largo plazo por los estudiantes (Lee & Yin Kwan, 1997). En este modelo, los estudiantes de medicina “[…] son expuestos a los campos clínicos y la atención a pacientes desde la primera semana del programa” (Lee & Yin Kwan, 1997, p. 151).

Como establece Wood (2003), el ABP capitaliza los intereses, habilidades y motivación de los estudiantes para promover aprendizaje significativo. La estrategia no se basa en la solución del problema presentado; centra su interés en el proceso de resolución, ya que los cuestionamientos que los profesores plantean detonan un proceso de aprendizaje autodirigido, donde se adquieren conocimientos y habilidades como la comunicación, la solución de problemas, el trabajo en equipo y la responsabilidad (Wood, 2003). Mientras que, en la tutoría académica tradicional el profesor es quien tiene el conocimiento y la autoridad, en el ABP el tutor es un facilitador (Lee & Yin Kwan, 1997). Así, este último promueve la participación de todos los miembros del grupo, establece los plazos para el desarrollo de las actividades y se asegura de que los objetivos de aprendizaje que logran los estudiantes estén alineados con aquéllos establecidos en el currículo (Wood, 2003).

Una ventaja de la enseñanza y el aprendizaje basados en problemas radica en que es una estrategia centrada en el estudiante, mediante la promoción del aprender haciendo y el desarrollo de competencias para el aprendizaje a lo largo de la vida (Wood, 2003). Debido a que la integración y aplicación del conocimiento van en paralelo, los estudiantes descubren la importancia tanto del proceso de aprendizaje como de los conocimientos y habilidades que van adquiriendo.

Otra ventaja del ABP se enfoca en la búsqueda de aprendizajes profundos: el aprendizaje significativo se logra a través de la motivación que se funda en el deseo de resolver un problema de manera autónoma, la utilización de conocimientos previos para la acomodación de nuevos conocimientos y la relación de conceptos con las actividades del día a día (Wood, 2013).

En síntesis y de acuerdo con Donner & Bickley (1993), se puede establecer que el ABP se caracteriza por al menos cinco rasgos: 1) el problema biomédico consiste en la generación de problemas presentados como preguntas, como resultado del análisis de un caso típico referente a una enfermedad, que permite vislumbrar el área de conocimiento que será estudiada; 2) las sesiones tutoriales en grupos pequeños (no más de siete estudiantes y dos miembros de la facultad), en las que los tutores no son la fuente de información: su papel es moderar las participaciones y asegurarse de que vayan encaminadas al logro del aprendizaje esperado; 3) el aprendizaje autodirigido se fundamenta en las decisiones de los estudiantes sobre qué se aprenderá, cómo se aprenderá y cómo participarán en el proceso instruccional; 4) la utilización del aprendizaje tutorial es quizá la característica principal del ABP, debido a que es dónde se establece la agenda formativa al definir la secuencia de los temas presentados; y 5) la evaluación recíproca, donde los profesores y los estudiantes evalúan sus desempeños.

El modelo de enseñanza de la medicina por competencias

Esta estrategia busca la formación de la competencia médica, entendida como la utilización de los conocimientos, las habilidades, la comunicación, el razonamiento clínico y la sensibilidad humana para el beneficio de las personas (Ruiz, González & Fonseca, 2012). En esta lógica, una de las características de la educación médica en la actualidad es que persigue la formación de competencias en la práctica clínica (cuadro 3).

Por lo general, la formación de médicos se inicia en un ambiente formal universitario, donde la enseñanza se basa en la promoción del dominio de conocimientos teóricos, pero hay que entenderla como esencialmente clínica, esto es, la medicina se aprende en el trabajo y se fundamenta en la atención vis a vis de los pacientes en el hospital y la clínica y en la asistencia ambulatoria (Lifshitz-Guinzberg, 2012; Fluit et al., 2010; Santana et al., 2013).

Los autores señalan que el referente de la enseñanza clínica de la medicina ha sido la pirámide de Miller (véase figura 1), donde el alumno aprende el conocimiento declarativo, después el metodológico, para posteriormente llevarlo a la práctica real.

Enseñanza de la medicina basada en evidencias

Si bien la actividad clínica se ha centrado en la resolución práctica de problemas concretos —hasta cierto punto, más vinculada a la experiencia acumulada que a los avances científicos (Santana et al., 2013)—, la creciente preocupación por la calidad de los servicios médicos, la cultura de la evaluación y rendición de cuentas han llevado a que la medicina basada en evidencias (evidence based medicine [EBM]) sea un modelo privilegiado en la práctica y formación de los médicos (Sinclair, 2004).

Sinclair (2004) argumenta que la EBM es un enfoque de la práctica médica, que sostiene la necesidad de fundamentar la toma de decisiones en el conocimiento divulgado a través de artículos científicos en revistas académicas. Su implementación es explicada por la relación entre evidencia (resultados de investigaciones), contexto (social y organizacional) y facilitación (Harvey et al., 2002).

La EBM surge como una respuesta a la práctica médica que sustentaba las decisiones clínicas en la experiencia e incluso en creencias (Santana et al., 2013). Aunque tiene sus orígenes filosóficos a finales del siglo XIX, se considera una disciplina joven cuyas aportaciones continúan siendo validadas (Sackett et al., 1996).

La mayor crítica a la EBM se centra en la supuesta postura cientificista, que significa una suerte de estandarización del abordaje de los casos clínicos (Sackett et al., 1996); sin embargo, se responde a esta crítica al reconocer que la EBM no es un libro de recetas de cocina (Sackett et al., 1996) y que se fundamenta en la conjugación de tres elementos: 1) las evidencias científicas producto de la investigación médica, 2) las particularidades y preferencias concretas de los pacientes que se atienden, y 3) la experiencia y estilo del propio médico (Harvey et al., 2002; Santana et al., 2013; Sinclair, 2004).

El Centro para la Medicina Basada en Evidencias (Centre for Evidence-Based Medicine [OCEBM]) de la Universidad de Oxford desarrolló un modelo jerárquico de resolución heurística de problemas clínicos que puede ser considerado un atajo para tomar decisiones pragmáticas en la clínica (Howick et al., 2014). El modelo permite decidir la fuente de evidencia necesaria en un caso particular, valiéndose de siete preguntas, que ayudan a establecer si el problema es común, si es el caso de un tratamiento de diagnosis o prognosis, y los beneficios y perjuicios (Howick et al., 2014). De esta manera se puede decidir si la mejor fuente de evidencia científica es una encuesta con muestra aleatoria o un estudio de caso o de cohorte, entre otros.

La enseñanza centrada en los pacientes

Puede considerarse la característica medular de la educación médica, ya que, si bien el dominio de la teoría y procedimientos de simulación son esenciales, los pacientes reales, sus características, necesidades y expectativas de mejora son el epicentro de la práctica profesional de la medicina (Santana et al., 2013).

De esta manera, la enseñanza centrada en los pacientes se considera un proceso vivencial, de formación en el servicio, que busca el aprendizaje significativo. A partir de lo argumentado por Santana y colaboradores (2013), en la medida en que la enseñanza se concentre en atender las enfermedades de los pacientes reales, estudiar temas y revisar artículos científicos sobre dichas enfermedades y sostener sesiones tutoriales centradas en el análisis y discusión de los padecimientos que tienen los pacientes reales que atienden los alumnos, se asegura el aprendizaje significativo.

En la aproximación de la enseñanza centrada en los pacientes, según Santana y colaboradores (2013), el maestro desempeña al menos cuatro roles simultáneos: 1) médico erudito y competente, quien evidencia sus valores y profesionalismo y tiene la capacidad de entender a sus pacientes y considerar sus necesidades; 2) maestro centrado en la promoción del aprendizaje de sus alumnos, capaz y disponible para resolver dudas y guiar; 3) supervisor que guía a los estudiantes a través de la delegación de actividades propias de la profesión y la retroalimentación de los desempeños; y 4) soporte que valora a los estudiantes como personas y muestra una actitud positiva en su atención.

Por consiguiente, la enseñanza centrada en el paciente es una estrategia didáctica constituida por tres elementos: 1) razonamiento clínico, entendido como el “[…] conjunto de procesos mentales mediante los cuales el médico plantea un diagnóstico y decide los planes de manejo y pronóstico en un caso particular” (Norman, 2000, citado en Brailovsky & Centeno, 2012, p. 179); 2) práctica guiada, donde se muestra cómo hacer las cosas y se promueve gradualmente una práctica autónoma (Miller, 1990); y 3) aprendizaje vicario, que se refiere al modelaje que ejerce el profesor sobre los estudiantes (Fluit et al., 2010; HHS, s.f.).

LOS DOMINIOS DEL SUPERVISOR CLÍNICO

Uno de los mayores desafíos que enfrenta el desarrollo de la supervisión clínica es la definición de sus dimensiones, dado que su conceptualización teórica y empírica es pobre, por lo que se dificulta clarificar qué es la supervisión clínica y cómo funciona (Milne et al., 2008). Tradicionalmente, las teorías de la supervisión han sido derivadas del modelo de terapia, de extrapolar modelos de otros campos y de la experiencia clínica. No obstante, la literatura reconoce dominios o ámbitos de la actividad que desempeña el supervisor clínico, entre los que destacan: modelar el desempeño esperado, asegurar la calidad del cuidado clínico y evaluar los aprendizajes.

Modelar el desempeño esperado

Los supervisores en los campos clínicos modelan el desempeño profesional, tanto respecto al cuidado del paciente como en las interacciones propias del trabajo en las instituciones de salud relacionadas con aspectos administrativos, legales y éticos (Fluit et al., 2010; HHS, s.f).

De acuerdo con Boerebach y colaboradores (2013), el modelaje es un tema nuevo y controversial en la investigación sobre educación médica, ya que hay diversos estudios que han argumentado las características de los buenos modelos, pero no existe mucha evidencia empírica al respecto.

El modelaje es una estrategia de enseñanza que consiste en promover el aprendizaje de los estudiantes a través de la observación; esto es, en el proceso vivencial de aprendizaje en la clínica, los estudiantes observan, identifican e imitan las acciones que admiran de sus profesores (Boerebach et al., 2013; Cruess, Cruess & Steinert, 2008; Lombarts, Heineman & Arah, 2010).

Así, el aprendizaje mediante modelaje es una mezcla entre observación y reflexión (Cruess, Cruess & Steinert, 2008) donde se emulan valores, actitudes y conductas (Lombarts, Heineman & Arah, 2010; Paice, Heard & Moss, 2002) provenientes de una persona que demuestra un estándar de excelencia profesional (Jochemsen-Van der Leeuw et al., 2013).

Diversos autores (Boerebach et al., 2013; Cruess, Cruess & Steinert, 2008; Jochemsen-Van der Leeuw et al., 2013; Paice, Heard & Moss, 2002) señalan que las características del modelaje se pueden estudiar con mayor precisión mediante tres categorías de análisis:

1. Competencia clínica, que se refiere a los conocimientos, habilidades y actitudes que el supervisor clínico evidencia al analizar y resolver problemas de su ámbito. En este sentido, este profesional tiene experiencia en el diagnóstico y tratamiento de las enfermedades de sus pacientes (Cruess, Cruess & Steinert, 2008; Jochemsen-Van der Leeuw et al., 2013).

2. Competencia didáctica, que consiste en los fundamentos y capacidades para promover el aprendizaje y la práctica autónoma de la profesión médica. El modelaje demanda que el supervisor clínico cree ambientes que favorezcan el aprendizaje de los estudiantes, provea retroalimentación y promueva la reflexión de los supervisados (Cruess, Cruess & Steinert, 2008; Falender & Shafranske, 2004; Hore, Lancashire & Fassett, 2009; Jochemsen-Van der Leeuw et al., 2013; Paice et al., 2002).

Bajo estas condiciones, se establecen alianzas de aprendizaje considerando que la supervisión efectiva se basa en tres pilares interrelacionados: la supervisión, el cuestionamiento y la praxis educativa. La relación de supervisión constituye una alianza de aprendizaje y responsabilidades compartidas; el cuestionamiento alude a los procesos de resolución de dudas y formación del pensamiento crítico, y la praxis educativa se refiere a las estrategias de aprendizaje que utilizará el supervisado (Falender & Shafranske, 2004).

3. Competencia humanista, que centra su atención en las cualidades personales que los médicos poseen y promueven en el trato con los pacientes, los estudiantes, los colegas y las personas que los rodean. El supervisor clínico es una persona confiada y confiable, que muestra compasión, desarrolla su trabajo con honestidad y entusiasmo y considera las necesidades y deseos de sus pacientes, alumnos y colegas (Cruess, Cruess & Steinert, 2008; Jochemsen-Van der Leeuw et al., 2013; Weissmann et al., 2006).

Para mejorar el proceso de modelaje, Cruess, Cruess y Steinert (2008) consideran fundamental que el supervisor clínico reconozca la importancia de su labor, dedique tiempo al diálogo con sus estudiantes, reflexione públicamente, en presencia de ellos, sobre su desempeño y participe en programas de desarrollo profesional.

Asegurar la calidad en el cuidado clínico

El supervisor en los campos clínicos es un mentor que facilita el desarrollo de competencias de los profesionales de la salud, no solamente durante su formación sino a lo largo de la vida, mediante un especial interés en las funciones de atención y cuidado adecuados de los pacientes reales (HHS, s.f.).

El conocimiento de las cualidades y necesidades de los pacientes permite la verificación de los diagnósticos, la retroalimentación del desempeño de los estudiantes y el aseguramiento de que los recursos de los que se dispone están siendo utilizados para resolver los problemas de salud de los pacientes y las necesidades de aprendizaje de los estudiantes (Irby, 1994).

Sin embargo, a pesar de que la supervisión clínica busca el desarrollo gradual de las competencias de los nuevos profesionales para el ejercicio independiente de la medicina, existe una gran preocupación por la prevalencia de errores médicos (Kennedy et al., 2005).

En estas condiciones, a nivel internacional, representantes del sector gubernamental, consejos legales de medicina, investigadores y especialistas se han sumado a la demanda de un incremento de la vigilancia en la supervisión clínica para asegurar la calidad y seguridad de los servicios médicos, esto es, de abandonar el modelo de independencia progresiva que tradicionalmente se ha utilizado en medicina, aunque son escasas las evidencias que soporten estos argumentos (Kennedy et al., 2005). Bajo estas condiciones, dicho modelo sigue siendo hegemónico.

Con el fin de aumentar la calidad de la atención médica, Kennedy y colaboradores (2007) establecen que es recomendable considerar que existen cuatro tipos de supervisión de las actividades clínicas en la medicina:

1. Supervisión rutinaria. Se fundamenta en las actividades planificadas con antelación y representan el nivel más bajo de intervención del supervisor en el cuidado del paciente. Este tipo de supervisión equivale a un desempeño casi independiente por parte del supervisado.

2. Supervisión responsiva. Se refiere a los procesos de supervisión que se desarrollan con base en las necesidades —explícitas o no— de los pacientes y de los supervisados. Este tipo de supervisión suele llevarse a cabo cuando hay problemas que los supervisados no pueden atender de manera autónoma, o bien que los pacientes así lo soliciten.

3. Supervisión en el cuidado directo al paciente. Representa el nivel más intenso de actividad clínica para el supervisor. Se basa en la intervención directa de éste en el cuidado del paciente y se lleva a cabo cuando la situación ha rebasado la competencia del supervisado.

4. Supervisión encubierta. Se centra en las actividades de observación e intervención que lleva a cabo el supervisor sin que los supervisados estén al tanto. Un ejemplo de este tipo de supervisión es la doble revisión de una prueba clínica o un diagnóstico.

Evaluar los aprendizajes

La utilización de diversas estrategias para la evaluación formativa y sumativa de las competencias médicas de los supervisados es parte de las funciones que los supervisores clínicos deben realizar. Además se destaca la evaluación como un proceso formativo de constante valoración del desempeño de los supervisados y su retroalimentación (Fluit et al., 2010; Kilminster & Jolly, 2000).

Para la evaluación del desempeño clínico de los estudiantes por parte de los supervisores —esto es, para valorar las ejecuciones de tareas que representen la movilización de conocimientos y habilidades— es recomendable utilizar tres estrategias: escalas globales al final de la rotación, observación estructurada directa y examinaciones orales (Epstein, 2007).

Las escalas globales al final de la rotación son estrategias que se desarrollan una vez terminado el paso por las diferentes estaciones por las que rotan los aprendices y permiten evaluar tanto la competencia clínica como las habilidades de organización y trabajo colegiado; sin embargo, en ocasiones, las valoraciones se basan en reportes de segunda mano y presentación de casos en lugar de la observación directa.

La observación estructurada directa se lleva a cabo con el uso listas de verificación en las que se registra información que permite valorar las habilidades clínicas y de comunicación. Esta estrategia facilita la realimentación por parte de expertos; sin embargo, suelen registrarse conductas de forma selectiva en lugar de las habituales y consumen una cantidad de tiempo considerable.

Un ejemplo de esta estrategia de evaluación que incluye todos los niveles de la pirámide de Miller (saber, saber cómo, demostrar y hacer) es el denominado mini clinical evaluation exercise (mini-CEX), que consiste en un proceso de recolección de información mediante la observación directa del desempeño de los estudiantes en la atención a pacientes reales y la utilización de formularios de registro (Durante, 2006; Fornells-Vallés, 2009). Con esta estrategia se valoran elementos de la competencia médica, tales como habilidades de interrogación clínica, exploración física, profesionalismo, razonamiento clínico, habilidades de comunicación y organización del tiempo y recursos (Fornells-Vallés, 2009).

Las examinaciones orales sirven para evaluar el conocimiento declarativo y el razonamiento clínico. Son utilizadas comúnmente con propósitos de certificación y sus principales limitaciones consisten en la cantidad de tiempo que consumen, la necesidad de evaluadores muy bien entrenados y el sesgo que pueden representar con base en el género y la raza.

CONCLUSIÓN

La enseñanza clínica de la medicina es una actividad compleja que necesita de las competencias suficientes que permitan capitalizar la resolución de problemas verdaderos en tiempos reales para la promoción del aprendizaje de los alumnos y la práctica independiente de la profesión.

De acuerdo con la literatura analizada, la medicina clínica se enseña con base en problemas reales, mediante el desarrollo de competencias profesionales, a través del sustento de las decisiones clínicas en evidencias científicas y poniendo el bienestar del paciente como eje medular del proceso didáctico.

En estas condiciones, el supervisor clínico en medicina requiere, en primer lugar, prever todos los escenarios posibles para su labor a través de la planificación didáctica, en donde establece las metas formativas, las estrategias de las que echará mano en condiciones determinadas, los materiales que requiere para desarrollar su trabajo y los procedimientos para asegurar el logro de las metas.

En segundo lugar, es necesario que el supervisor clínico garantice el dominio de las competencias médicas de sus alumnos. Para este propósito, el modelaje es el método por excelencia, a través del cual el supervisor promueve la autonomía progresiva, empezando por mostrar los procedimientos, promover las preguntas y respuestas, fomentar que sus alumnos ensayen dichos procedimientos de forma supervisada, hasta lograr la ejecución independiente de las actividades en cuestión.

El tercer elemento esencial del supervisor clínico se refiere al monitoreo permanente del desempeño de los estudiantes y el ajuste de las estrategias didácticas utilizadas para resolver las necesidades que se vayan presentando en el proceso formativo. En consecuencia, la evaluación del aprendizaje de los supervisados es un elemento fundamental para la efectividad de la supervisión clínica en medicina.

Con base en la complejidad señalada, se vuelve prioritaria la evaluación de la supervisión clínica en medicina, de tal manera que se promueva la reflexión sobre la propia práctica y la mejora constante de los desempeños de los supervisores. Dicha evaluación debe ser contextualizada y desarrollada de manera sistemática para lograr que sea útil la información resultante.

Como es evidente, resulta necesario que la evaluación de los supervisores clínicos considere esas especificidades y se lleve a cabo mediante instrumentos adecuados que permitan interpretaciones válidas y confiables. La evaluación de la docencia con base en la opinión de los estudiantes es un método muy recurrido a nivel internacional, con una amplia tradición y evidencias suficientes para sustentar las ventajas de su utilización.

Por lo tanto, es fundamental que los cuestionarios para evaluar a los supervisores clínicos se desarrollen con rigurosidad científica, apegados a los lineamientos que se han construido por décadas en la psicometría. Ergo, es menester analizar las propiedades psicométricas que deben considerarse al desarrollar un cuestionario con estas características.

CAPÍTULO 3. PROPIEDADES PSICOMÉTRICAS DE LOS TEST DE EVALUACIÓN

En este capítulo se discuten algunos argumentos teóricos en torno a las propiedades de los test de evaluación psicológica y educativa. Tiene el propósito de identificar la conceptualización, la lógica y los requisitos que suelen ser valorados en el desarrollo de cuestionarios de evaluación. El capítulo se subdivide en tres apartados: 1) teoría de los test, donde se inicia con el concepto y clasificación de los test, para después presentar las dos teorías que históricamente han dominado la psicometría; 2) confiabilidad, con los principales índices que se reportan en la literatura; y 3) validez, con la definición del concepto, su evolución histórica, los elementos que lo componen y con especial atención en el análisis factorial como una de las técnicas de validación privilegiadas en este tipo de estudios.

TEORÍA DE LOS TEST

Los test son instrumentos de recolección de información empírica que se utilizan para hacer inferencias como parte de procesos de evaluación. Se caracterizan por reflejar una medida objetiva, constituir una técnica sistemática, utilizar muestras de conductas, comparar estas últimas, y se emplean para hacer predicciones (Martínez-Arias, 1996).

Los test pueden clasificarse, según Martínez-Arias (1996), en torno a 10 categorías (véase figura 2): 1) con base en el método, 2) de acuerdo con su finalidad, 3) acordes al planteamiento del problema, 4) según el área de comportamiento en que se concentran, 5) con base en su modalidad de aplicación, 6) en función de las demandas exigidas al sujeto, 7) basados en el grado de aculturación del test, 8) sujetos a los que van dirigidos, 9) modelo estadístico en el que se fundamentan y 10) el modelo conceptual subyacente.

Para analizar matemáticamente las respuestas de los sujetos a estos instrumentos se cuenta con la teoría de los test y, de acuerdo con Lord & Norvick (1968, citados en Martínez-Arias, 1996), para la legitimación de su uso existen dos tipos de estudios: 1) de contraste, en los que se prueba que la información empírica cumpla con los supuestos del modelo, y 2) probar éste en cuanto a su utilidad para predecir hechos observables.

Así, la teoría de los test responde a la necesidad de controlar las propiedades de las pruebas que se utilizan para evaluar atributos que no pueden medirse directamente; esto es, busca asegurar la precisión con la que se determina la presencia o ausencia de los atributos de un constructo en un determinado sujeto (Martínez-Arias, 1996). Además responde a la solución de cinco problemas relacionados con la pertinencia de las inferencias que se formulan con base en las puntuaciones de los test: 1) la diversidad de aproximaciones para medir un constructo, 2) la definición de una muestra de datos adecuada, 3) el grado de error de medida, 4) propiedades de la escala de medida, y 5) las relaciones que guardan los constructos con otros de éstos y con datos empíricos.

Con el propósito de analizar las puntuaciones de los test y asegurar la pertinencia de las inferencias que se realizan a partir de ellas, por más de un siglo se han estudiado las propiedades de los test. De acuerdo con Navas (1994) y Muñiz (2010), los trabajos seminales de Spearman referentes al modelo lineal clásico inician lo que se ha denominado la teoría clásica de los test (TCT).

Navas (1994) y Muñiz (2010) argumentan que la TCT se fundamenta en los supuestos de que la puntuación obtenida empíricamente está compuesta por una puntuación verdadera y un error (X = V + E), que la puntuación verdadera no está relacionada con el error de medida [r (v, e) = 0] y que los errores de medida de un test no guardan relación con los de otro [r(ej,ek) = 0].

En el intento de estimar los componentes del error, Cronbach propuso la teoría de la generalizabilidad (Muñiz, 2010) como una extensión de la TCT, partiendo del reconocimiento de que las diferencias individuales no son la única fuente de variación y midiendo el efecto que cada condición tiene sobre el valor del error mediante el análisis de varianza (analysis of variance [anova]).

Sin embargo, de acuerdo con Navas (1994), la TCT tiene una serie de debilidades: 1) los supuestos que subyacen son de carácter tautológico; 2) el error típico está calculado para el test global; 3) asume homocedasticidad de la varianza del error en todos los niveles de θ, y 4) los datos son dependientes del grupo, lo que conlleva a una limitada generalizabilidad.

Si bien la TCT ha sido el enfoque hegemónico históricamente, las debilidades del modelo han sido atendidas por la teoría de la respuesta al ítem (TRI), que representa una evolución en la medición psicológica y educativa concentrándose en los problemas técnicos de los test (Navas, 1994; Muñiz, 2010).

La TRI parte de tres supuestos: 1) existe una relación funcional entre valores de la variable que miden los ítems y la probabilidad de acertar éstos, a la que se le denomina curva característica del ítem (CCI); 2) los ítems son unidimensionales, y 3) las respuestas de éstos no pueden estar condicionadas entre sí (independencia local) (Navas, 1994; Muñiz, 2010); sin embargo, hay algunos elementos que pueden resultar debilidades en la TRI: demanda muestras mayores a las que se ocupan en la TCT, las técnicas matemáticas son más complejas en la TRI, hay probabilidades de introducir error al equiparar estimaciones de parámetros de diferentes grupos y puede significar una matematización y trivialización de la realidad.

CONFIABILIDAD

Esta característica expresa el grado de precisión de la medida, de tal forma que, con una confiabilidad alta, los sujetos medidos con el mismo instrumento en dos ocasiones deberían quedar ordenados de manera semejante (Morales, 2007; Leyva, 2011). Así, se puede decir que a menor confiabilidad, mayor error en la medida. Asimismo, es necesario indicar que este atributo no es la propiedad de un instrumento, sino del conjunto de puntuaciones que con dicho instrumento se obtienen (Morales, 2007). Si bien la confiabilidad es diferente de la validez y puede existir una medición válida y poco confiable o viceversa, un nivel de confiabilidad adecuado favorece la validez (Morales, 2007).

La Asociación Estadounidense de Investigación Educativa (American Educational Research Association [AERA, 2004]) propone entender la confiabilidad como la consistencia en las mediciones cuando se repiten los procedimientos en una población y reconoce, al igual que Morales (2007) y Leyva (2011), la utilización de tres categorías de coeficientes de confiabilidad: 1) de prueba reprueba, que consisten en aplicar dos veces el mismo examen; 2) de estabilidad, que se obtienen mediante la medición en momentos diferentes con el mismo instrumento; y 3) de consistencia interna, que se fundamentan en la relación entre mediciones.

Los coeficientes de consistencia interna son los más utilizados para medir la confiabilidad, en especial el alfa de Cronbach, en el que se determina en qué medida los ítems se discriminan entre sí; esto es, la varianza verdadera se define con base en la suma de las covarianzas (Morales, 2007). El alfa de Cronbach se ha popularizado debido a su practicidad al requerir sólo una medición, y para calcularlo es suficiente multiplicar la media de las correlaciones observadas en los ítems por el número de éstos y dividir el producto entre el resultado de la suma de 1 más el producto. Otra situación digna de consideración es que los coeficientes de consistencia interna ayudan a identificar el grado de interrelación entre los ítems, pero para saber las formas de correlación se necesita utilizar la matriz de correlaciones y el análisis factorial (Morales, 2007).

VALIDEZ

La validez es un concepto históricamente polisémico y, de acuerdo con Messick (1989, 1995) y Sireci (2009), no es una propiedad inherente a los test; más bien se refiere a las interpretaciones y acciones que se llevan a cabo con las puntuaciones que resultan del uso intencional y sistemático de los test.

Históricamente, el concepto de validez ha evolucionado desde una postura pragmática a principios del siglo XX, como lo reportaron Kelly, Thurstone y Bringham, hasta la conceptualización unitaria surgida a finales de la centuria, la cual es la dominante en la actualidad (Sireci, 2009).

En un estadio inicial, la validez fue entendida como validez de criterio, esto es, con base en las correlaciones entre la puntuación de un test y algún otro criterio (Sireci, 2009). Esta concepción coincide con la aparición del coeficiente de correlación de Pearson y del desarrollo del análisis factorial por parte de Spearman y conlleva a la definición de validez como el grado en que un test mide lo que dice medir (Sireci, 2009).

Los criterios que se utilizaban para correlacionar con las puntuaciones de los test empezaron a ser criticados, ya que, según Jenkins (1946), los psicómetras en esa época no discriminaban sistemáticamente los criterios, sino que los tomaban bajo un supuesto de verdad. En estas circunstancias, la validez de contenido, entendida como una comparación entre los contenidos curriculares y los test, emergió como una propuesta para resolver las carencias que contenía la validez referida a criterio (Sireci, 2009).

A mediados del siglo XX, el consenso en torno al concepto de validez y los procesos de validación fue impulsado por la American Psychological Association (Asociación Estadounidense de Psicología [APA]) con la publicación de un manual técnico donde se describían cuatro categorías de validez: predictiva, de estatus, de contenido y de congruencia (Sireci, 2009).

En 1954 se publicó una segunda versión del manual, pero esta vez se formó un comité conjunto entre la APA, la AERA y el Consejo Nacional de Medición en Educación (National Council on Measurement in Education [NCME]), de cuya resolución las categorías evolucionaron a tipos de validez, reconociendo la existencia de cuatro: validez de contenido, concurrente y predictiva.

A partir de 1966 aparecen los estándares para test educativos y psicológicos de la APA, la AERA y el NCME, lo cual representó una evolución en el concepto de validez y la nomenclatura utilizada, con el cambio de considerar cuatro tipos de validez en 1966, a tres aspectos de ésta en 1974, tres categorías en 1985 y un concepto unificado de validez con cinco fuentes en 1999 (Sireci, 2009).

Messick (1995) sostiene que la concepción tradicional de validez constituye una visión fragmentada, ya que soslaya las implicaciones de las puntuaciones en la acción y las consecuencias sociales de su uso. Esta perspectiva tradicional se divide en tres tipos de validez: de contenido, de criterio y de constructo.

Actualmente, el concepto de validez es unificado y concentra particular atención en cómo se usan las pruebas (Messick, 1989). La validez puede entenderse como el grado en el que la evidencia empírica y los argumentos teóricos sustentan la pertinencia y precisión de las interpretaciones y acciones basadas en los resultados de la evaluación (Messick, 1989). Es importante señalar que los principios de la validez son aplicables a todo tipo de evaluaciones, incluyendo las que miden el desempeño (Messick, 1995).

Este autor (1996) distingue seis aspectos a considerar en esta concepción unificada de validez: 1) el aspecto de contenido se centra en la determinación de los conocimientos, habilidades y demás atributos que serán revelados en la evaluación; 2) el sustantivo gira en torno a la correspondencia teórica que se revela en las mediciones; 3) el estructural valora la fidelidad de la estructura de las puntuaciones con el constructo; 4) el de generalización valora si se representan el contenido y los procesos del constructo; 5) el externo se refiere al grado en que las puntuaciones se relacionan con otras medidas; y 6) el de las consecuencias se refiere a las evidencias de los posibles efectos, negativos y positivos, de las interpretaciones y los usos de las puntuaciones.

Por su parte, para la AERA (2004) la validez es la principal preocupación al desarrollar pruebas de evaluación, entendiendo por validez “[…] el grado en el que evidencia y teoría soportan las interpretaciones de las puntuaciones de las pruebas” (p. 9).

Asimismo, la AERA (2004) argumenta que no toda la información es crítica; dicha selección de información se puede llevar a cabo a través de proposiciones que fundamenten la interpretación del constructo a evaluar y propone considerar cinco fuentes de evidencias de validez basadas en:

1. El contenido. Se refieren a los temas y la utilización de las palabras y pueden incluir análisis lógico y/o empírico, así como la opinión de expertos.

2. Los procesos de respuesta. Centran su atención en la correspondencia entre el constructo a evaluar y el desempeño (respuesta) de los examinados. Generalmente se obtienen del análisis de respuestas individuales para identificar las diferentes interpretaciones.

3. La estructura interna. Permiten determinar el grado en que los ítems y los componentes de las pruebas conforman el constructo que se evalúa.

4. Las relaciones con otras variables. Ayudan a analizar la relación entre los puntajes de las pruebas y las variables externas, que pueden pertenecer a otras pruebas que buscan medir el mismo constructo y permiten recabar evidencias convergentes y discriminantes, así como relaciones pruebas-criterio.

5. Las consecuencias de las pruebas. Analiza las consecuencias deseadas y las indeseadas que pueden resultar de la utilización de una prueba (AERA, 2004).

Cabe señalar que estas fuentes de evidencia no representan tipos de validez, ya que la AERA coincide con Messick (1989, 1995, 1996) al señalar que la validez es un concepto unitario que no se desagrega en una taxonomía.

ANÁLISIS FACTORIAL COMO TÉCNICA DE VALIDACIÓN

El concepto de validación, de acuerdo con Kane (2006), se puede entender de dos maneras: 1) como el proceso de generación de evidencias que permitan sostener la validez de las interpretaciones y usos de los cuestionarios diseñados o adaptados; y 2) como la evaluación de la plausibilidad de dichas interpretaciones y usos.

El autor agrega que la validación no es un proceso sencillo, ya que existe un acuerdo sobre la necesidad de incluir diversas fuentes de evidencia para definir la validez de las interpretaciones y usos de las puntuaciones de los test (Kane, 2009).

Una de las técnicas privilegiadas en la validación de test es el análisis factorial (AF). El AF es una técnica multivariada que busca correlacionar variables latentes (constructos) con variables observadas. El AF se debe distinguir del análisis de componentes principales (ACP), ya que el ACP es una técnica de reducción de dimensiones sin tomar en cuenta el error de medida (Ferrando & Anguiano-Carrasco, 2010).

Dentro del AF se distinguen dos tipos: el análisis factorial exploratorio (AFE) y el análisis factorial confirmatorio (AFC). Las principal diferencia entre ambos es que en el AFE se asume que todos los reactivos están relacionados con todos los factores, mientras que el AFC es más restrictivo (Viswanthan, 2005).

Análisis factorial exploratorio (AFE)

El análisis factorial exploratorio (AFE) es una técnica de validación de test psicológicos que ha sido privilegiada por más de un siglo y persigue “[…] determinar el número mínimo de factores requeridos para reproducir adecuadamente la matriz de correlaciones de los reactivos” (Izquierdo, Olea & Abad, 2014, p. 395, traducción propia).

Lloret y colaboradores (2014) consideran que existen dos tendencias en la utilización del AFE en investigaciones científicas: 1) una perspectiva centrada en el contenido de los test, que busca identificar la estructura de los reactivos; y 2) una aproximación con un objeto de estudio metodológico, interesada en comparar las técnicas y criterios de decisión.

En concordancia con lo planteado por Yela (1996), el AFE suele constar de cuatro fases: 1) la preparación, que se refiere a la definición del constructo que se pretende medir, la recolección de información empírica y la definición del tipo de matriz de correlación idóneo; 2) la factorización, donde se define el número de factores que arroja la evidencia empírica; 3) la rotación, que busca estimar la estructura más simple en la que se puedan organizar los datos; y 4) la interpretación, que consiste en la redefinición del constructo con la consideración de las particularidades de la información empírica recabada.

Los constructos son representaciones conceptuales que se definen con precisión y se utilizan con cautela con propósitos de investigación (Viswanthan, 2005). Estos elementos no existen en la realidad material y, por lo tanto, no se pueden observar. Típicamente, los constructos se operacionalizan para generar indicadores medibles que permitan su contrastación empírica.

El tamaño de la muestra es un elemento fundamental en la recogida de la información empírica. No existen acuerdos sobre el tamaño muestral óptimo en los AFE; sin embargo, predominan dos criterios hegemónicos en la literatura: 1) la recomendación clásica, que consiste en utilizar una muestra de 200 casos o más, siendo el ideal una n > 500 (Barrett & Kline, 1981); y 2) la ratio personas/ítems, que generalmente recomienda una muestra 10 veces mayor que el número de reactivos (Velicer & Fava, 1998).

Izquierdo, Olea y Abad (2014) argumentan que en la actualidad se debe considerar que las demandas del tamaño de la muestra se definen por “[…] las comunalidades de las variables (proporción de varianza explicada por los factores comunes), el nivel de correlación entre los factores y el número de variables que definen cada factor” (p. 396).

Un problema que se presenta de forma recurrente es el que señala Baglin (2014): al momento de definir la matriz de correlación se suele optar por una del tipo producto-momento (de Pearson) para llevar a cabo AFE de reactivos. No obstante, con variables ordinales, la matriz de correlaciones de Pearson suele subestimar la magnitud de la relación entre reactivos (Baglin, 2014; Lloret et al., 2014).

La matriz de correlaciones policóricas se recomienda para el análisis de reactivos politómicos (Ferrando & Anguiano-Carrasco, 2010) y representa una técnica para estimar la correlación entre dos variables latentes continuas, que son manifestadas mediante dos variables ordinales observadas (Olsson, 1979).

La extracción de factores permite la estimación de las cargas factoriales y las correlaciones entre las dimensiones a través de la separación de la varianza común de la varianza única y el error (Costello & Osborne, 2005; Izquierdo, Olea & Abad, 2014). Los métodos que más se utilizan son la máxima verosimilitud (MV), los ejes principales y los mínimos cuadrados no ponderados, estos últimos dos aglutinados como métodos de mínimos cuadrados ordinarios (MCO) (Lloret et al., 2014). No obstante, el método MV presenta la desventaja de que requiere la normalidad multivariada de los datos; asimismo, el valor de la distribución x^2 presenta sensibilidad al tamaño de la muestra (Baglin, 2014; Lloret et al., 2014).

La definición del número de factores que se habrán de retener en un AFE es una decisión fundamental. Los métodos más utilizados son el de Kaiser (K1), que consiste en conservar los factores que presenten eigenvalores mayores a uno, y el método de scree plots, que examina la gráfica de eigenvalores en la búsqueda de los puntos de ruptura en la curva que representa los datos (Baglin, 2014; Lloret et al., 2014; Viswanthan, 2005). Ambos métodos han sido objeto de cuestionamientos: el K1 por retener un número excesivo de factores y definirlos con menos de tres variables (Ferrando & Anguiano-Carrasco, 2010); el método de scree plots puede presentar confusiones para definir claramente las rupturas de la curva y sobreestimar el número de dimensiones (Costello & Osborne, 2005). Los métodos de análisis paralelo y promedio parcial mínimo (minimum average partial [MAP]) son dos alternativas adecuadas para la definición del número de factores a retener que superan las limitaciones del K1 y el scree plots (Izquierdo, Olea & Abad, 2014; Lloret et al., 2014).

Una vez definido el número de factores, es necesario elegir un método para la rotación de éstos. Los métodos más utilizados son el varimax, oblimin y promax (Lloret et al., 2014).

El criterio principal para decidir el método de rotación más pertinente fue decantarse por aquel que brinda la estructura más simple posible (Bryant & Yarnold, 1995). Los autores sostienen que el modelo más simple significa que 1) cada variable debe tener por lo menos una carga cero (-0.1, 0.1); 2) cada par de factores debe incluir variables con cargas factoriales significativas (> 0.3) en uno y cargas cero en otro, y 3) el número de factores complejos (que presentan cargas de 0.3 en más de un factor) debe ser mínimo.

El AFE es una técnica de validación que se utiliza para analizar la dimensionalidad, asumiendo que todos los elementos del modelo están interrelacionados; por su parte, para precisar, de forma más restrictiva, las relaciones específicas entre reactivos y factores se utiliza el análisis factorial confirmatorio (AFC).

Análisis factorial confirmatorio (AFC)

El AFC es una técnica de modelación estadística que, al formar parte de los modelos de ecuaciones estructurales, permite someter a prueba hipótesis que hayan sido propuestas acerca de variables medidas (Flora & Curran, 2004). Esto significa que el AFC se utiliza “[…] cuando el experimentador ha obtenido una cierta cantidad de conocimiento acerca de las variables medidas y está, por lo tanto, en posición de formular hipótesis sobre los factores involucrados” (Jöreskog, 1969, p. 183, traducción propia).

En esencia, el AFC contrasta el ajuste entre dos modelos: por un lado, un modelo hipotético de correlaciones y, por el otro, uno empírico, que se forma con las correlaciones de las variables observadas (Viswanathan, 2005). El ajuste se mide a través de una serie de índices cuyos valores van de 0 a 1.

Aunque hay una variedad de índices de bondad de ajuste, la prueba de chi cuadrada (X^2) es la que se ha utilizado tradicionalmente (Hu & Bentler, 1998). La X^2 surgió como un criterio de evaluación de modelos y, al presentar un valor elevado, se consideraba evidencia de bondad de ajuste; sin embargo, este argumento ha sido rebasado por la evidencia empírica, por lo que dicha prueba no se considera suficiente en un estudio de esta naturaleza (Hu & Bentler, 1998).

En este contexto, surgieron índices complementarios a X^2 que permitieron evaluar el ajuste de los modelos. De acuerdo con Levy, Varela & Abad (2006), se pueden clasificar en tres tipos de medidas: 1) de ajuste absoluto, que miden la precisión con la que el modelo predice la matriz de covarianzas observada, donde destacan la X^2, el índice de bondad de ajuste (goodness of fit index [GFI]), la media del error de la aproximación (root mean square error of approximation [RMSEA]) y el parámetro de no centralidad ponderada (scaled noncentrality parameter [SNCP]); 2) de ajuste incremental, que comparan el modelo empírico con un modelo de base llamado nulo, y los índices más utilizados son el de ajuste normalizado (normed fit index [NFI]), de ajuste no normalizado (non-normed fit index [(NNFI]) y de ajuste comparativo (comparative fit index [CFI]); y 3) de ajuste de parsimonia, donde se calcula el ajuste del modelo para cada coeficiente estimado, y se emplean mayormente el criterio de información de Akaiké (Akaiké instruction criterion [AIC]), el índice de ajuste parsimónico normalizado (parsimony normed fit index [PNFI]), el índice de bondad de ajuste parsimónico (parsimony goodness-of-fit index [PGFI]), X^2 normalizada (normed chi square ) y N crítico de Hoelter.

Para llevar a cabo un AFC, como señalan Levy, Varela & Abad (2006), es necesario, seguir un proceso de al menos cuatro pasos: 1) la especificación del modelo, que consiste en la definición de las relaciones entre las variables latentes y observadas; 2 la estimación de los parámetros, que implica la decisión sobre cómo presentar los datos a analizar, la muestra necesaria y el método de estimación de los parámetros; 3) la evaluación de los criterios de bondad de ajuste, la cual parte de identificar si se comete alguna estimación infractora,[1] para posteriormente calcular los índices de bondad de ajuste que se hayan decidido utilizar; 4) la reespecificación del modelo, que significa modificar a éste con base en la información tanto empírica como teórica para ser sometido de nuevo a la evaluación de los índices de bondad de ajuste; y 5) la interpretación del modelo reespecificado, que conlleva a presentar las consecuencias de las decisiones tomadas en el proceso y la explicación de las características del nuevo modelo.

CONCLUSIONES

La confiabilidad y la validez de las interpretaciones producto de las puntuaciones obtenidas con base en un cuestionario de evaluación son conceptos que han evolucionado históricamente y representan el producto de procesos sistemáticos de recolección de información empírica y análisis profundo de los preceptos teóricos que subyacen al constructo objeto de evaluación.

En la actualidad, la validez se considera un concepto unitario, que demanda la sistematización de la información recolectada en torno a diversos aspectos, como el contenido, la estructura interna, las consecuencias en el uso de los cuestionarios, entre otros. La consulta de expertos y los análisis factoriales son estrategias privilegiadas en la acumulación de evidencias de validez.

Por último, la contextualización de los cuestionarios es un requisito fundamental para argumentar a favor de la validez de las interpretaciones de los cuestionarios, motivo por el cual se presenta, en el siguiente capítulo, un estudio exploratorio a guisa de contextualización y fundamento para el cuestionario desarrollado.

[1] Las estimaciones infractoras más frecuentes son: 1) varianzas de error negativas o no significativas para cualquier constructo, 2) coeficientes estandarizados que sobrepasan o están muy cerca de 1.0; y 3) errores estándar muy elevados asociados con cualquier coeficiente de estimado (Hair et al. 1999, citado en Levy, Varela & Abad, 2006).

CAPÍTULO 4. ESTUDIO EXPLORATORIO

En este capítulo se reporta el estudio preliminar que se desarrolló como un medio para caracterizar la supervisión clínica en la licenciatura en medicina de la UABC. Este trabajo fue la base de la investigación empírica, ya que, con base en los resultados, se definieron particularidades de la investigación, tales como: la organización de la enseñanza en la licenciatura en medicina de la UABC, las características normativas de los campos clínicos, las estrategias didácticas privilegiadas en estos últimos, así como el proceso de evaluación de los docentes que se desempeñan en dichos.

OBJETIVO

El primer paso en la recolección de información empírica fue la exploración del contexto en el que se desarrolla la supervisión, de tal manera que el objetivo específico que persigue este estudio exploratorio es caracterizar la supervisión clínica en la licenciatura en medicina de la UABC.

MÉTODO

Para lograr el propósito de este apartado se analizó el contexto normativo de la licenciatura en medicina de la UABC y se consultó a expertos en el área. La descripción de los participantes, materiales y procedimiento se presentan a continuación.

INFORMANTES CLAVE

Se entrevistó a un grupo de seis supervisores clínicos de medicina que colaboran en la Universidad Autónoma de Baja California en el campus de Tijuana y en las instituciones de salud sede que reciben a estudiantes de la licenciatura en medicina en las etapas clínicas. Los informantes clave se identificaron de acuerdo con tres criterios: 1) supervisores que se desempeñen en actividades docentes en campos clínicos de la medicina; 2) experiencia igual o mayor a cinco años como supervisor clínico en medicina; 3) no se consideraron como criterios de selección el género, la edad o el estatus económico. Las características de los informantes se presentan en el cuadro 4.

MATERIALES

Se utilizó una guía de entrevista con una pregunta general sobre las características de la supervisión clínica en medicina y cuatro preguntas específicas sobre la planificación, el proceso didáctico, la evaluación y los principales problemas que enfrentan los supervisores clínicos en su labor (véase apéndice A). Estas cuestiones específicas se basan en las dimensiones planteadas en el modelo de evaluación de la competencia docente (García-Cabrero et al., 2014).

Para el análisis de contenido se utilizaron las transcripciones completas de las entrevistas, mientras que para el análisis documental se recurrió al plan de estudios de la licenciatura en medicina.

PROCEDIMIENTO

La exploración se desarrolló en dos fases: un análisis documental de la normatividad de la supervisión clínica y una etapa empírica de consulta a los supervisores. En la primera fase se analizó el plan de estudios de la licenciatura en medicina, se recuperó la información que permitiera entender cómo se enseña en los campos clínicos y cómo se evalúa a los supervisores.

Posteriormente se identificaron las asignaturas que corresponden a los campos clínicos y se analizaron las cartas descriptivas, destacando los siguientes aspectos: 1) las competencias profesionales a las que contribuyen; 2) la explicitación de actividades clínicas in situ; 3) las estrategias didácticas que se favorecen, las cuales podrían indicar la naturaleza de las actividades clínicas que se desarrollan; 4) las estrategias de evaluación y su correspondencia con las estrategias didácticas; y 5) los criterios de evaluación que indican los procesos y resultados que se privilegian.

En la segunda fase se entrevistó a un grupo de seis médicos que se desempeñan como supervisores clínicos. La información se registró mediante grabaciones de audio, para posteriormente transcribirlas y analizarlas mediante la técnica de análisis del contenido (véase cuadro 5).

Este análisis fue de tipo inductivo, esto es, en función de la información que emergía de los informantes se fueron generando códigos y categorías. La categorización fue un proceso que se desarrolló en cuatro fases: 1) el autor de este trabajo y un lector externo codificaron las transcripciones de las entrevistas; 2) posteriormente se discutieron las diferencias de códigos y se acordaron los códigos finales; 3) se construyeron categorías de análisis; y 4) finalmente se redactaron las inferencias inductivas.

RESULTADOS

En primera instancia, se reporta el producto del análisis de la normatividad, incluyendo la organización curricular y los contenidos de los programas de curso. Posteriormente se describen las características de la supervisión clínica en la licenciatura en medicina desde la perspectiva de los supervisores entrevistados.

CARACTERÍSTICAS NORMATIVAS DE LA SUPERVISIÓN CLÍNICA EN LA LICENCIATURA EN MEDICINA DE LA UABC

La Universidad Autónoma de Baja California (UABC) fue creada el 28 de febrero de 1957 a partir de la publicación de su Ley Orgánica en el Periódico oficial del gobierno de Baja California (Alcántar, Arcos & Mungaray, 2006). La uabc es la institución de educación superior pública de mayor importancia en la región, tanto por su tamaño como por su prestigio, la cual se creó con el fin de contribuir a la promoción del desarrollo regional con base en la investigación en áreas prioritarias y estratégicas. Asimismo, como uno de sus mayores retos, asume el logro de las metas de calidad educativa y transparencia (uabc, 2009). En el ciclo escolar 2016-1, su matrícula fue de 65 323 estudiantes (UABC, s.f.).

La licenciatura en medicina de la UABC se imparte en los campus de Ensenada, Mexicali y Tijuana y cuenta con un plan de estudios homologado, que se diseñó con base en la modalidad de competencias (véase cuadro 6).

El plan de estudios vigente de la licenciatura en medicina data de 2009 y contempla un total de 606 créditos, de los cuales 552 corresponden a unidades de aprendizaje obligatorias, y 54, a unidades de aprendizaje optativas (UABC, 2009). En la figura 3 se presenta el mapa curricular de la licenciatura en medicina de la UABC, en el que se representan cuatro tipos de asignaturas: 1) en rectángulos color verde, 18 asignaturas del área biomédica; 2) en rectángulos color salmón, 13 asignaturas del área socio-médica; 3) en rectángulos color blanco, siete asignaturas optativas; y 4) en rectángulos de color azul, 36 asignaturas clínicas.

La primera etapa del plan de estudios es la básica, transcurre del primero al quinto semestre, y está constituida por asignaturas contextualizadoras, metodológicas, cuantitativas e instrumentales. Consta de 34 unidades de aprendizaje, de las cuales 30 se desarrollan por completo en las aulas universitarias, y las cuatro restantes, en los campos clínicos.

La segunda etapa (disciplinaria) integra 36 unidades de aprendizaje que se cursan del sexto al décimo semestre con el propósito de desarrollar conceptos, metodologías y técnicas de las disciplinas específicas de la medicina. En esta etapa se desarrolla la mayor parte de la enseñanza clínica de pregrado gestionada por la universidad, y se constituye de 27 asignaturas clínicas y, si bien se desarrollan en parte en instituciones del sector de la salud, la planificación, conducción y evaluación es responsabilidad exclusiva de la universidad a la que están inscritos los alumnos de pregrado (UABC, 2009).

Por su parte, la tercera etapa, conocida como internado rotatorio de pregrado, se desarrolla en el último año de la carrera e integra seis asignaturas que se desempeñan en centros públicos del sector de la salud. Es la etapa en la que los alumnos de pregrado rotan por los servicios clínicos de la institución de salud sede, y donde la planificación, conducción y evaluación es responsabilidad compartida (UABC, 2009); es decir, los supervisores clínicos de los alumnos del internado son profesores de la universidad de procedencia y a la vez se desempeñan como especialistas y jefes de piso de las instituciones de salud sede.

Del total de 66 unidades de aprendizaje obligatorias (552 créditos), 36 corresponden al área clínica (327 créditos); sin embargo, en los documentos a los que se tuvo acceso, sólo están disponibles 25 cartas descriptivas (véase cuadro 7).

Los programas de curso no disponibles en Internet ni en el plan de estudios corresponden a los semestres X, XI y XII. Por otro lado, en ningún programa se establecen explícitamente las actividades del docente en términos de planificación, proceso de enseñanza y evaluación, y en 60% de los programas de curso disponibles del área clínica (n = 15) no se describe la estructura de las prácticas.

En lo que respecta a la evaluación de la formación profesional, en el plan de estudios se reconocen dos tipos de ésta: 1) la evaluación del plan de estudios, donde se plantea que habrá de utilizarse la guía metodológica institucional en tres momentos: al finalizar el tronco común, al concluir la etapa básica y al término de la disciplinaria; asimismo establece la obligación de utilizar evaluaciones externas del plan de estudios, recurriendo, para ello, a organismos como los Comités Interinstitucionales de Evaluación en Educación Superior (CIEES), el Consejo para la Acreditación de la Educación Superior (Copaes) y la Asociación Mexicana de Facultades y Escuelas de Medicina, A. C. (AMFEM); y 2) la evaluación de los aprendizajes se llevará a cabo conforme a la normatividad institucional, y se reconocen los exámenes departamentales, los de trayecto y el “Examen general para el egreso de la licenciatura” (EGEL) como instrumentos de evaluación.

A pesar de utilizar un modelo educativo basado en competencias, la evaluación de los aprendizajes se reduce a la utilización de instrumentos estandarizados (exámenes departamentales, de trayecto y el EGEL) (UABC, 2009). De esta manera, se soslaya la práctica de la autoevaluación y coevaluación o el uso de portafolios de evidencias.

Asimismo, la evaluación de la práctica docente es un elemento que no se menciona en los documentos revisados ni por los miembros de la facultad que participaron en las entrevistas. A este respecto, Reyes (2014) señala que, con base en el modelo de evaluación institucional, en la UABC se utiliza el “Cuestionario de evaluación de la competencia docente” (CECD), el cual es administrado por el Sistema de Evaluación Docente.

El CECD está integrado por cuatro dimensiones y 35 reactivos, utiliza una escala de tipo Likert de nivel de frecuencia (Luna & Reyes, 2015). Cabe señalar que este instrumento se diseñó y se ha utilizado para la evaluación de los docentes que se desempeñan en las aulas universitarias, pero no en los campos clínicos.

CARACTERÍSTICAS DE LA SUPERVISIÓN CLÍNICA EN LA OPINIÓN DE LOS SUPERVISORES

De acuerdo con las entrevistas desarrolladas, la planificación didáctica de las clases se basa en la utilización de los programas de curso, producto del diseño del nuevo plan de estudios. En palabras de uno de los entrevistados:

El plan que tenemos actualmente se estuvo trabajando en el 2009 y se inició en 2010-1. El semestre que viene vamos a pasar a décimo con el nuevo plan de estudios. En esa planificación de estudios, quienes trabajamos esa parte somos los PTC. Me imagino que cuando se seleccionó la gente que iba a desarrollar las unidades de aprendizaje se mandó a la gente más idónea (supervisor 2, comunicación personal, marzo de 2014).

Asimismo, está establecido en el marco normativo institucional que los profesores tienen la obligación de diseñar planes de clase por cada sesión que se tenga, habiendo poca evidencia de que eso suceda en los campos clínicos. Esta necesidad es también una de las áreas de oportunidad que tiene el programa educativo de acuerdo con un informe de acreditación que efectuó la Asociación Mexicana de Facultades y Escuelas de Medicina (AMFEM). A este respecto, los entrevistados expresaron:

Lo que me comentabas de los planes de clases, cuando entran profesores nuevos siempre hay un ínter en que el profesor va trastabillando, viendo qué actividades vas a hacer. Pasa el tiempo y ya vas tomando el rumbo y le puedes dar un toque personal sin descuidar la carta descriptiva. Hay materias que respetan el 100% de la carta descriptiva como en anatomía, y hay algunas otras donde sí hay algunas particularidades en la evaluación de las asignaturas, pero básicamente la estructura se conserva. Algunos profesores comentan que los contenidos son muy abundantes. Esas situaciones nos van desviando en cuanto al tiempo que van dedicando a la clase (supervisor 5, comunicación personal, marzo de 2014).

Otro de los entrevistados señala: “Acabamos de ser visitados por un organismo acreditador y tenemos un área de oportunidad muy importante. El área que descubrimos, la más importante, es la planificación de las clases. Tenemos esa parte como un área de oportunidad, un área de crecimiento” (supervisor 3, comunicación personal, marzo de 2014).

Como se observa en las entrevistas, sigue existiendo resistencia por parte de los supervisores a documentar, sistematizar y reportar el proceso y producto de la planificación didáctica. Esta resistencia se intenta disminuir a través de cursos de formación:

Mira, los médicos, por naturaleza formativa, nos movemos en la soberbia. Yo lo puedo ver porque además de médico tengo un doctorado en psicología y me cambió la vida, ¿no? Porque yo también vivía en ese mundo de la soberbia. A los médicos nos es muy difícil aceptar que nos digan cómo necesitamos hacer las cosas, ¿sí? Ahorita estamos en el proceso de, a través de educación continua, ofrecerles cursos a los profesores sobre la elaboración de planes de clases porque no los estamos haciendo (supervisor 1, comunicación personal, marzo de 2014).

En los programas de curso que se analizaron no se encontró información sobre estrategias de enseñanza y aprendizaje. Los entrevistados señalaron que la modelación es la estrategia privilegiada en la enseñanza clínica: los profesores enseñan con el ejemplo y utilizan estrategias de aprendizaje basado en problemas, enfrentan al alumno con las realidades que se viven en la profesión médica y comparten estrategias para enfrentar la incertidumbre y los problemas.

Es un proceso de modelaje, o sea, el médico de vez en cuando interactúa con el estudiante diciéndole: “Ah, mira, encontré esto. Mira, ve, esto es una amígdala hipertrófica; esto es hipertrófico”. Hay profesores que, por ejemplo, si van a revisar los oídos, la nariz, la garganta, ya tienen equipo con microscopios que los proyectan a una pantalla para asegurarse de que todos los estudiantes puedan ver el procedimiento. Entonces, básicamente, el profesor en el área se encarga de que aprenda a interrogar a través del modelaje. Claro, aprendió la teoría primero. Mira, tienes que preguntar esto o tienes que preguntar lo otro. Luego se lo lleva al consultorio, que puede ser en lo privado o en lo público, y el estudiante ve cómo le pregunta y cómo interactúa con el paciente, cómo interroga al paciente. Después es esta parte del proceso de intervención y le dice: “V amos a poner una sonda. Las sondas son de este tipo, miden tanto, hay de estos calibres, de estos materiales. Es importante que preguntes al paciente si no es alérgico al látex”. Y luego ya, van con él a una cama en el hospital y ponen las sondas (supervisor 2, comunicación personal, marzo de 2014).

Otro supervisor explica: “Es que no es como que sepas, sino que además lo hagas; no hay otra forma. Tú le puedes decir: ‘Toma la presión’, aunque ya le dije cómo la tome, pero necesito estar seguro de que la sabe tomar. Entonces le muestro yo cómo se hace y ya lo hace, ¿no?” (supervisor 4, comunicación personal, marzo de 2014).

A través del modelaje, los alumnos de medicina aprenden cuestiones técnicas como procedimientos, a contrastar la teoría con la práctica y a basar sus decisiones en forma dialéctica. Por su parte, los supervisores otorgan un valor considerable al modelaje como una estrategia de dar forma a las actitudes y la manera en que el médico es percibido en su contexto de trabajo y fuera de él.

Es el modelaje, incluso yo recuerdo que alguna vez llegué a la sala donde se atienden los partos y vi al médico especialista, el gineco-obstetra, que estaba encargado del área de atender los partos, como con cuerpo de luchador, con una cadenota y diciendo, vociferando contra las mujeres, y yo dije: “Yo no quiero ser como ese médico”. También a veces eso enseñamos como profesores. A veces enseñamos qué hacer y qué no hacer, en qué no me quiero convertir (supervisor 6, comunicación personal, marzo de 2014).

De acuerdo con los entrevistados, la evaluación de los aprendizajes es otra de las principales áreas de oportunidad en la licenciatura, apreciación que es acorde con los informes de la AMFEM sobre el programa educativo de referencia: “Acabamos de ser visitados por el organismo acreditador del área de salud. El principal problema es la evaluación; ése es el principal problema. No hemos logrado estandarizarla (supervisor 1, comunicación personal, marzo de 2014)”. Otro comentario en este sentido es el siguiente: “El área de evaluación me parece que es débil porque no tenemos los recursos para llevarla a cabo: personal, tiempo, ni espacio” (supervisor 3, comunicación personal, marzo de 2014).

Uno de los motivos para considerar que la evaluación del aprendizaje es un área de oportunidad se centra en la falta de sistematicidad y rigurosidad de dicho proceso, lo que impide que esta labor arroje información documentada sobre el proceso y los resultados del aprendizaje. Aunque la evaluación suele centrarse en la participación y disposición de los estudiantes, no se tiene una clara definición de lo que esos conceptos significan y cuáles indicadores los constituyen:

La forma de evaluar generalmente es su participación. Como viste en el pase de visita ahorita, hay quien participa más y quien participa menos, y eso día con día, pues generalmente vas ubicando quiénes estudian más, quiénes saben más y tratas de emparejar a los que se van rezagando. Entonces les dejas temas, los haces que participen. Casi siempre, la primera semana es como de diagnóstico, de darnos cuenta de quiénes necesitan más y entonces jalarlos para que cumplan con los requerimientos, con los conocimientos básicos (supervisor 2, comunicación personal, marzo de 2014).

A pesar de las discrepancias, existen acuerdos sobre la importancia que tiene la atención adecuada a los pacientes en condición de enfermedad, siendo, este elemento, un objeto de evaluación que se privilegia, independientemente de que el método sea sistemático o no: “Hacemos mucho hincapié en la disposición que tienen para atender a los pacientes, en su arreglo personal, y hacemos mucho hincapié también en la disposición que tienen para resolver situaciones que se presentan día con día en el servicio, aquí en el piso” (supervisor 3, comunicación personal, marzo de 2014). Asimismo se comenta: “En lo general es la actitud frente al paciente, el trato que les dan al paciente, se evalúa desde cómo les hablan, cómo le preguntan, si les brindan un espacio privado para la exploración, el orden de la exploración, el diagnóstico, que el diagnóstico sea más certero, los diagnósticos diferenciales” (supervisor 1, comunicación personal, marzo de 2014).

Los resultados del estudio exploratorio permitieron caracterizar la licenciatura en medicina de la UABC en torno a cinco elementos: 1) su organización curricular; 2 las características normativas de la supervisión clínica en la carrera; 3) estrategias didácticas privilegiadas en la supervisión clínica; 4) las principales áreas de oportunidad; y 5) las conductas mejor valoradas por los supervisores clínicos de la licenciatura.

DISCUSIÓN

El estudio exploratorio que aquí se presenta se propuso mostrar las principales características de la enseñanza en los campos clínicos de la licenciatura en medicina de la UABC. Esta fase resultó fundamental para las decisiones que se tomaron a lo largo de la investigación, ya que fue un proceso preliminar de identificación de las características de la supervisión clínica en medicina.

En consecuencia, en este último apartado del primer estudio se discuten los hallazgos y su significado a la luz del objetivo que se perseguía y la teoría que se utilizó como marco en la investigación. Para lograrlo se usaron cuatro categorías analíticas: 1) principales hallazgos del estudio y su relación con la teoría considerada en la investigación; 2) interpretaciones alternativas de los hallazgos; 3) limitaciones del diseño y del método; y 4) futuras investigaciones.

PRINCIPALES HALLAZGOS DEL ESTUDIO Y SU RELACIÓN CON LA TEORÍA

La licenciatura en medicina de la UABC está organizada en tres etapas: introductoria básica, que se desarrolla casi exclusivamente en las aulas de la facultad; disciplinaria, que se lleva a cabo predominantemente en los campos clínicos (atención directa a pacientes), y terminal, que corresponde al internado rotatorio de pregrado, que se desarrolla por completo en las instituciones de salud sede. Cabe señalar que los cursos en los que se atiende directamente a pacientes bajo la supervisión de un especialista están presentes a lo largo de las tres etapas, siendo la segunda la que concentra el mayor número de cursos y en la que se ha centrado la investigación.

Esta forma de organización curricular es consistente con lo argumentado por Hamui y colaboradores (2012) sobre los tipos de actividades que se privilegian en la educación médica en México: áulicas, de laboratorio y actividades clínicas. Asimismo, existe un acuerdo en la literatura al considerar que la formación médica es un continuo que va desde la formación teórica introductoria, la metodológica intermedia y la práctica real avanzada (Fluit et al., 2010; Lifshitz-Guinzberg, 2012; Miller, 1990; Santana et al., 2013).

La licenciatura en medicina tiene un programa de estudios homologado en todos los campus de la UABC, diseñado bajo el enfoque por competencias. El contenido, los métodos de enseñanza, las actividades y las estrategias de evaluación de los aprendizajes se deben presentar en los programas de curso; sin embargo, no están documentadas a detalle las características de las actividades clínicas que se desarrollan en cada curso.

En la literatura analizada se encontraron argumentos concordantes con los resultados del estudio exploratorio: escasea la evidencia empírica sobre los procesos didácticos y evaluativos que se desarrollan en la supervisión clínica de la medicina y casi no existe un debate académico en torno a esta escasez de evidencias (Fluit et al., 2010; Gómez, Rosales & Vázquez, 2014).

El modelaje es la estrategia didáctica por excelencia en la enseñanza clínica de la licenciatura en medicina. A través de éste, los expertos muestran los procedimientos clínicos para posteriormente ceder de forma gradual la ejecución del tratamiento, brindando en todo momento, la retroalimentación necesaria para el mejoramiento continuo del desempeño de los supervisados.

La supervisión clínica en medicina es un proceso de enseñanza in situ que, desde la perspectiva teórica normativa, debe transitar desde un esquema inicial de fuerte control por parte del médico supervisor hasta una práctica clínica autónoma en la que los estudiantes supervisados sean capaces de tomar decisiones fundamentadas (Schumacher, Bria & Frohna, 2013). A estas prácticas se les denomina modelo de independencia progresiva (Kennedy et al., 2005).

El modelaje es una estrategia de enseñanza vivencial en la que se promueve que el supervisado observe, reflexione sobre lo observado, actúe y medite sobre la propia práctica (Boerebach et al., 2013; Cruess, Cruess & Steinert, 2008; Lombarts, Heineman & Arah, 2010).

De acuerdo con los entrevistados, las principales áreas de oportunidad se pueden subsumir en la necesidad de documentar sistemáticamente las actividades que se desarrollan en la supervisión clínica. No se encontraron evidencias de la planificación didáctica de la supervisión clínica y sigue existiendo resistencia por parte de los supervisores para desarrollarlo. El proceso de evaluación de los aprendizajes también carece de sistematicidad.

Los supervisores clínicos de la licenciatura en medicina valoran, como el elemento central de su labor, la atención profesional, oportuna y humana a los pacientes en condición de enfermedad. Asimismo asumen la responsabilidad de la transmisión del arquetipo de médico: la reproducción de su estilo de vida, incluyendo la apariencia física y el mantenimiento del prestigio social.

En la supervisión clínica, entendida como una forma particular de enseñanza de la medicina, además de reproducirse los conocimientos conceptuales y procedimentales necesarios para la práctica de la profesión médica, los estudiantes interiorizan los valores que subyacen a la labor de sus supervisores y emulan las actitudes y conductas (Jochemsen-Van der Leeuw et al., 2013; Lombarts, Heineman & Arah, 2010; Paice, Heard & Moss, 2002).

INTERPRETACIONES ALTERNATIVAS DE LOS HALLAZGOS

Debido a que el primer estudio consiste en una exploración que buscó evidencias a nivel descriptivo, no se profundiza en la interpretación de los resultados; sin embargo, puede ser constructivo plantear algunas preguntas e hipótesis en torno a éstos.

Uno de los principales hallazgos fue la falta de documentación sobre las actividades clínicas que se desempeñan en los cursos analizados. Una posible explicación de este fenómeno se desprende de considerar que las condiciones y actividades que se desarrollan en las instituciones de salud que atienden a pacientes reales y que acogen a los estudiantes de los campos clínicos son dinámicas, lo cual demanda dejar de lado la rigidez de un plan en el sentido estricto del término.

Otro descubrimiento fue la utilización del modelo de independencia progresiva en la supervisión clínica en la licenciatura en medicina; sin embargo, al no existir evidencias documentadas de los criterios para evaluar y del proceso evaluativo en sí, emergen las siguientes preguntas: ¿cómo se asegura que los alumnos van adquiriendo independencia en sus prácticas clínicas en función de sus conocimientos y habilidades?; ¿será que el simple hecho de transitar por los campos clínicos y legitimar las formas conlleva a alcanzar el nivel más alto del modelo de independencia progresiva?

Por último, el tercer hallazgo que se considera en este apartado hace referencia al arquetipo de médico como algo muy valorado por los supervisores clínicos. Esta característica va más allá de los conocimientos y las habilidades, centrándose en aspectos simbólicos que dan estatus a los miembros de la profesión.

Los supervisores clínicos de la licenciatura en medicina estiman esencial la transmisión de este modelo y, al considerar las evidencias recabadas sobre los problemas de sistematización de la práctica clínica, surgen las preguntas: ¿en qué medida la evaluación y promoción de los supervisados clínicos está en función del cumplimiento del arquetipo mencionado?; ¿ese imaginario gremial se convierte en una competencia de los supervisores?

LIMITACIONES DEL DISEÑO Y DEL MÉTODO

Si bien el diseño y el método utilizados en el estudio permitieron alcanzar el objetivo planteado, es necesario indicar cuatro elementos que, de haberse considerado, hubieran permitido profundizar en la caracterización de la supervisión clínica en la licenciatura en medicina: 1) solo se entrevistó a supervisores clínicos de Tijuana, y bajo la consideración de que la exploración intenta mostrar cómo se desarrolla la supervisión clínica en la licenciatura en medicina en todos sus campus, habría sido recomendable entrevistar a supervisores de cada uno de éstos; 2) en el diseño de las entrevistas se tomaron en cuenta las categorías del MECD, pero, de haberse construido éste con una sola pregunta general, se habría reducido la influencia del entrevistador en las respuestas; 3) las entrevistas fueron individuales; el haber considerado el desarrollo de uno o varios grupos focales se habría prestado para crear un diálogo entre las distintas experiencias de los supervisores; y 4) el análisis de las transcripciones de las entrevistas podría mejorarse si incluyera, por lo menos, a otro lector-codificador.

FUTURAS INVESTIGACIONES

Con el propósito de describir con mayor profundidad lo que sucede en los campos clínicos de la licenciatura en medicina de la UABC, un estudio que aportaría información valiosa al respecto consistiría en caracterizar lo que sucede en la supervisión de la atención directa a pacientes, y llevar a cabo entrevistas cognitivas con los supervisores para que reconstruyan algunas sesiones de supervisión y sumar registros de observación participante. De esta manera, se documentaría a posteriori lo que sucede en la clínica.

Una línea de investigación necesaria por desarrollar es la referente a la evaluación del aprendizaje en la supervisión clínica. Partiendo de la premisa de la utilización del modelo de independencia progresiva, sería recomendable profundizar en la búsqueda de información que permita identificar los fines, el objeto y el método de evaluación del aprendizaje que se privilegia en la supervisión clínica.

Por último, es recomendable abordar lo que hemos denominado imaginario gremial entre los supervisores clínicos de la medicina, con el propósito de identificar el significado que otorgan a ser miembro del gremio, los requisitos que hay que cumplir para ser reconocido como médico y la relación entre ese imaginario y el desempeño de los supervisores y los supervisados.

CAPÍTULO 5. DISEÑO DEL CUESTIONARIO DE EVALUACIÓN DE LA SUPERVISIÓN CLÍNICA EN MEDICINA

Este capítulo contiene el proceso y los resultados del diseño del cuestionario de evaluación de la supervisión clínica en la licenciatura en medicina de la UABC. El proceso partió de la identificación, en la literatura, de los dominios esenciales que se pueden considerar para evaluar a los supervisores clínicos en medicina; posteriormente se depuraron esos dominios a través de la consulta de expertos y el desarrollo de un estudio piloto. El resultado es un cuestionario que consta de cinco competencias y 38 reactivos.

OBJETIVO

Diseñar un instrumento de evaluación formativa de los supervisores clínicos de la licenciatura en medicina de la UABC con base en la opinión de los estudiantes.

MÉTODO

En este apartado se describen las características de los participantes en el estudio; posteriormente se definen los materiales utilizados en el proyecto y las siete fases que se siguieron para desarrollar el trabajo empírico.

PARTICIPANTES

La participación se desarrolló de manera grupal e individual. En diferentes momentos del proceso se recurrió a tres grupos de participantes que se desempeñan en el campo de la medicina: uno integrado por expertos de la supervisión clínica en la UABC para validar la matriz de planeación del cuestionario; otro conformado por experimentados profesionales de la supervisión clínica en varias instituciones en la Ciudad de México para validar el contenido del cuestionario; un tercer grupo compuesto por estudiantes de licenciatura de la UABC en el estudio piloto; y una experta en gramática.

Grupo de validación de la matriz de planeación

El primer comité de validación del contenido de la matriz de planeación se conformó por cuatro supervisores clínicos de la medicina y una experta en psicometría, todos de la UABC. Los criterios de inclusión fueron tres: 1) los supervisores clínicos que se desempeñen o se hayan desempeñado en la licenciatura en medicina de la UABC; 2) la psicómetra fue seleccionada de acuerdo con su disposición y trayectoria en el campo; y 3) el género, la edad o el estatus económico no son criterios que se hayan tomado en cuenta.

Grupo de validación de los reactivos esenciales

El comité de validación del contenido del cuestionario estuvo integrado por seis supervisores de campos clínicos de medicina con una media de 46.5 años de edad, un promedio de 22.5 años de experiencia médica y 18.5 años de ejercicio docente.

Los criterios de inclusión fueron: 1) supervisores que se desempeñen en actividades docentes en campos clínicos de la medicina en alguna universidad y/o institución de salud en la Ciudad de México; 2) experiencia igual o mayor a cinco años como supervisor clínico en medicina; 3) el género, la edad o el estatus económico no son criterios que se hayan tomado en cuenta.

Experta en gramática, semántica y sintaxis

Se consultó a una experta en redacción y corrección de textos científicos. Los criterios de inclusión fueron su disposición a participar en el proyecto y su experiencia en el análisis y corrección de artículos científicos y de divulgación. Como se mencionó, el género, la edad y la condición económica no fueron criterios que se consideraran.

Alumnos del estudio piloto

La primera versión del cuestionario de evaluación de la competencia de supervisores clínicos en medicina se aplicó a un grupo de 37 estudiantes que la Coordinación de Medicina en Tijuana asignó. Las principales características de este grupo son que cursan alguna de las cinco unidades de aprendizaje clínicas (véase cuadro 8) que se ofertan en la licenciatura en medicina de la Universidad Autónoma de Baja California, campus Tijuana; sus edades oscilan entre 21 y 26 años (véase cuadro 9), y 56.8% pertenecen al sexo femenino.

MATERIALES

El modelo de evaluación de la competencia docente (MECD) (García-Cabrero et al., 2008) fue el material principal que permitió la presente investigación. El MECD se fundamenta en cuatro dimensiones: contexto institucional, previsión del diseño, conducción y valoración de los procesos de enseñanza y aprendizaje. Asimismo, se utilizó el “Cuestionario de autoevaluación de la competencia de supervisión de prácticas clínicas en medicina y psicología”, producto del proyecto “Redes colaborativas en la formación-evaluación de profesores”.

El cuestionario de autoevaluación que se adoptó parte de tres de las dimensiones del MECD (planificación de la enseñanza, conducción y evaluación) y las adapta para los escenarios clínicos de enseñanza de la medicina y la psicología. El cuestionario está integrado por seis competencias; a saber: 1) planear el programa de supervisión, 2) gestionar el proceso de supervisión, 3) dar seguimiento, ajustar y monitorear las acciones desarrolladas, 4) utilizar formas de comunicación adecuadas para realizar el trabajo de supervisión, 5) valorar los procesos de supervisión individual y grupal, y 6) comunicar los resultados del proceso de supervisión.

PROCEDIMIENTO

La investigación se desarrolló en seis fases, que van desde la identificación de los dominios del supervisor clínico hasta la integración del cuestionario, la validación del contenido y la aplicación del cuestionario a una muestra intencional en el estudio piloto.

Fase 1. Identificación de los dominios del supervisor clínico

Esta fase permitió sistematizar la información de la literatura sobre el proceso de supervisión clínica y los dominios de los supervisores en los campos clínicos de la medicina. Primeramente, se recurrió a libros, bases de datos y revistas especializadas para buscar información sobre los dominios. Una vez sistematizada esta información, se tomaron los dominios que emergieron del análisis de la literatura y se compararon con las dimensiones del cuestionario de autoevaluación que se describe en el apartado de materiales.

Posteriormente se procedió a definir la correspondencia entre los dominios identificados en la literatura y las competencias del cuestionario de autoevaluación. El nivel de correspondencia de los dominios definidos en el análisis teórico y las competencias que se desprenden del cuestionario de autoevaluación se plasmaron en un cuadro de contraste (véase cuadro 10), de acuerdo con el procedimiento desarrollado por Kendall y colaboradores (2011, citados en García-Cabrero et al., 2014).

Fase 2. Diseño de la matriz de planeación del cuestionario

En la segunda fase se definieron las dimensiones, indicadores y reactivos que se considerarían en la matriz de planeación. Esta definición se logró con la adaptación del contenido del “Cuestionario de autoevaluación de la competencia de supervisión de prácticas clínicas en medicina y psicología”.

Esta adaptación fue posible por medio de la selección de los ítems que representan acciones susceptibles de ser observadas por los alumnos. Los reactivos se clasificaron a partir de tres categorías: 1) aceptados (A), que se refieren a todos los ítems que serían utilizados solamente con la modificación del sujeto de la acción y con el cambio de la primera a la tercera persona del singular; 2) no aceptados (NA), entendidos como aquellos que no corresponden a acciones que pueden ser observadas por los alumnos; y 3) aceptados con modificaciones (AM), que incluyen a los ítems que pueden ser valorados por los alumnos, pero que es necesario reestructurar mediante la agregación o la desagregación, según sea el caso.

Esta discriminación entre acciones susceptibles de ser observadas por los alumnos y aquellas que no lo eran, se llevó a cabo por parte del autor de la investigación y se consultó a una investigadora experta en evaluación de la docencia con base en la opinión de los estudiantes. Las decisiones se basaron principalmente en considerar si: 1) el verbo de la oración representa acciones que el docente ejecuta frente a los alumnos, 2) las acciones se desarrollan en contextos donde los alumnos están presentes, y 3) estas últimas son consistentes con los hallazgos del estudio exploratorio.

Una vez descartados los atributos no observables por los alumnos, los ítems seleccionados se sometieron a análisis semántico y sintáctico. Para este propósito, el banco de ítems se puso a consideración de una experta en redacción de textos científicos para que emitiera recomendaciones de forma.

Fase 3. Validación de la matriz de planeación del cuestionario por parte de expertos

El banco de ítems fue transformado en una matriz de planeación del instrumento, la cual se tomó como base para el formato de validación de su contenido, donde se desagregaron las dimensiones en subdimensiones con su respectiva descripción y los reactivos ya modificados.

Las dimensiones, competencias e ítems que constituyen la matriz de planeación se pusieron a consideración de un psicómetra y cuatro expertos en la supervisión clínica. En esta sesión de jueceo se valoraron tres elementos: 1) la claridad del reactivo, que se refiere al grado en que el ítem comunica de manera objetiva el enunciado; 2) la factibilidad del reactivo, que es el grado en que el ítem puede ser contestado por el estudiante; y 3) la congruencia, que consiste en el grado en que los reactivos se corresponden lógicamente con la competencia a la que pertenecen. Los juicios de los expertos fueron tratados mediante el análisis de contenido cualitativo.

Se tomaron en consideración las modificaciones que fueron propuestas por al menos dos jueces, integrándose la primera versión del cuestionario con los reactivos que habrían de utilizarse en la fase piloto del estudio.

Fase 4. Estudio piloto

En esta fase se aplicó la primera versión del cuestionario a 37 estudiantes de medicina que cursan unidades de aprendizaje clínicas en la UABC en Tijuana con el propósito de analizar la consistencia interna del cuestionario y empezar con la depuración de los ítems.

Para esto, primero se contactó al coordinador de los campos clínicos de la licenciatura en medicina del mencionado campus, a quien se le expusieron las intenciones y la dinámica que se pretendía desarrollar. Una vez que el coordinador aprobó la solicitud, se acordó, con un profesor, la fecha y hora para la aplicación.

Ésta se llevó a cabo en un aula de la Facultad de Medicina y Psicología de la UABC en Tijuana. El proceso inició cuando el profesor presentó al aplicador con los estudiantes, explicándoles que se requería su participación; en un segundo momento, el aplicador describió los objetivos de investigación que subyacen a la aplicación del cuestionario y las características del tipo de respuestas; el proceso de contestación de los cuestionarios duró 18 minutos y, una vez entregados en su totalidad, un grupo de seis alumnos se acercaron al aplicador y expresaron una serie de comentarios sobre su percepción acerca de su formación. Dichas opiniones fueron registradas en un diario de campo.

La información recolectada se capturó en el programa Statistical Package for the Social Sciences versión 21 y posteriormente se sometió a análisis de frecuencias e índice de confiabilidad (alfa de Cronbach).

Fase 5. Definición de los reactivos esenciales

Se solicitó a los expertos que valoraran los reactivos calificándolos, de acuerdo con lo propuesto por Lawshe (1975), en tres tipos: esenciales, útiles pero no esenciales, y no necesarios.

Para analizar la información producto del jueceo se utilizó la propuesta de adaptación del content validity ratio (CVR) y content validity index (CVI), originalmente planteada por Lawshe (1975) y modificada por Tristán (2008). La expresión algebraica utilizada para el cálculo del CVR’ fue:

CVR’= ne/N

donde:

ne = número de expertos que tienen acuerdo en la categoría esencial.

N = número total de expertos que participaron en el proceso de jueceo.

El índice de validez de contenido (CVI) se calculó mediante un promedio simple de todos los ítems aceptables (CVR ≥ 0.58).

Fase 6. Integración del cuestionario

En esta fase se integraron los resultados del estudio piloto y la validación por jueceo, de tal forma que se pudo depurar el instrumento y tener una versión más parsimoniosa y adecuada. Los criterios para desechar reactivos fueron: 1) aquellos cuyo valor sea menor a 0.35 en el índice de homogeneidad corregido[2] y que no afecten los valores del alfa de Cronbach en caso de ser eliminados; 2) los que presenten comentarios similares por parte de los jueces y los alumnos que participaron en el pilotaje; y 3) los reactivos que obtienen valores por debajo de 0.5823 en el cálculo de la razón de validez de contenido (CVR) por considerarse no esenciales de acuerdo con los criterios propuestos por Tristán (2008).

RESULTADOS

En este apartado se describen los resultados del estudio, divididos en seis apartados correspondientes a cada una de las etapas seguidas en el proyecto.

Fase 1. Identificación de los dominios del supervisor con base en la literatura

Los dominios del supervisor clínico que surgieron del análisis de la literatura, tal como se presentó en el capítulo 1, fueron modelar el desempeño, asegurar la calidad en el cuidado clínico y evaluar los aprendizajes (véase cuadro 11).

Una vez identificados los dominios, se analizaron las dimensiones (previsión, conducción y valoración del proceso de supervisión) y las subdimensiones que forman parte del cuestionario de autoevaluación que fungió como el principal material.

En el nivel de dimensiones y dominios, la comparación entre el análisis teórico y el cuestionario de autoevaluación (véase cuadro 12) se presenta complicada debido a las lógicas que se utilizan en cada caso, por lo que se decidió comparar a nivel de subdimensiones y subdomios.

El subdominio “Competencia clínica” guarda un nivel específico de coincidencia con la subdimensión “Gestionar el proceso de supervisión”. Cabe recordar que el nivel específico se refiere a que las características de ambos son similares, pero difieren en detalles. Esta relación se justifica al considerar que ambos elementos se centran en las habilidades que el supervisor requiere poner en juego para facilitar la intervención clínica (atención a pacientes) de los supervisados. Las diferencias que no permiten que la equivalencia sea total radican en que la subdimensión “Gestionar el proceso de supervisión” también incluye habilidades didácticas del supervisor.

El subdominio “Competencia didáctica” y la subdimensión “Gestionar el proceso de supervisión” mantienen un nivel de coincidencia específico, dado que ambos elementos se concentran en la competencia que posee el supervisor para seleccionar y poner en práctica estrategias que aseguren el aprendizaje de los supervisados. Asimismo, el referido subdominio tiene un nivel de coincidencia específico con la subdimensión “Planear el programa de supervisión”, debido a que los dos elementos se basan en las capacidades del supervisor para definir las metas formativas y todos los recursos para alcanzarlas.

El subdominio “Competencia humanista” y la subdimensión “Utilizar formas de comunicación adecuadas para realizar el trabajo de supervisión” muestran un nivel de coincidencia específico, en virtud de que ambos se basan en las cualidades personales que el supervisor pone en juego en su trabajo, las cuales facilitan el entendimiento entre los miembros del equipo.

El subdominio “Definir el grado de control en la supervisión” y la subdimensión “Planear el programa de supervisión” presentan un nivel de coincidencia específico, ya que los dos elementos se refieren a las capacidades del supervisor para definir el nivel de intervención que tendrá en la relación supervisado-paciente, esto es, la competencia del supervisor para establecer el nivel de control que ejercerá sobre los procedimientos que entable el supervisado.

El subdominio “Utilizar estrategias de evaluación sumativa” y la subdimensión “Valorar los procesos de supervisión individual y grupal” tienen un nivel de coincidencia fuerte, gracias a que tanto el subdominio como la subdimensión hacen referencia a las capacidades que el supervisor clínico necesita para determinar el nivel de logro de las metas formativas definidas.

El subdominio “Utilizar estrategias de evaluación formativa” registra un alto nivel de coincidencia con la subdimensión “Dar seguimiento, ajustar y monitorear las acciones desarrolladas”, debido a que la retroalimentación del desempeño de los supervisados subyace a ambos elementos.

Mención particular merece el subdominio “Conocer las cualidades y necesidades de los pacientes”, que si bien no se corresponde con ninguna subdimensión, es un elemento medular en toda la actividad del supervisor clínico, ya que no se puede entender la medicina en los campos clínicos sin la atención a las particularidades de los pacientes.

Asimismo, la subdimensión “Comunicar los resultados del proceso de supervisión”, que se constituye por el rendimiento de cuentas institucional, es un elemento que no guarda coincidencia con ningún subdominio y no se retomó en esta investigación por considerarse una competencia que no se puede evaluar con base en la opinión de los supervisados.

Por lo anteriormente expuesto, se decidió utilizar el cuestionario de autoevaluación en función de tres premisas. En primera instancia, es ampliamente compartido por los especialistas en diseño de escalas psicológicas y educativas lo recomendable que resulta partir de un cuestionario ya desarrollado, y así concentrar los recursos en su adaptación en lugar de empezar uno desde la operacionalización del constructo.

El segundo elemento a considerar se refiere a que el contenido de las subdimensiones del cuestionario coincide con los elementos que emergieron del análisis de la literatura (véase cuadro 13). La tercera premisa consiste en reconocer que las subdimensiones y reactivos del cuestionario se fundamentan en las dimensiones del MECD (contexto institucional, planificación didáctica, conducción de la enseñanza y evaluación), el cual ha sido probado en diversos estudios empíricos y cuenta con evidencias de validez y confiabilidad recogidas en diferentes contextos.

Fase 2. Diseño de la matriz de planeación del cuestionario

El proceso de diseño de la matriz de planeación del cuestionario se basa en la adaptación del “Cuestionario de autoevaluación de la competencia de supervisión de prácticas clínicas en medicina y psicología”. Para este cometido, de inicio, se tomaron los 83 reactivos contemplados en dicho instrumento para definir aquellos que podían ser respondidos por los alumnos y los que no. Como resultado de esto se descartaron 23 reactivos (véase apéndice B).

En resumen, como se muestra en el cuadro 14, se tomaron las decisiones de: 1) aceptar nueve de los 14 reactivos considerados en la competencia “Planear el programa de supervisión”; 2) incluir 22 reactivos de la denominada “Gestionar el proceso de supervisión”, de los cuales uno requiere modificaciones; 3) tomar 10 de los 14 reactivos de la competencia “Dar seguimiento, ajustar y monitorear las acciones desarrolladas”; 4) adoptar 13 de los 14 reactivos de la titulada “Utilizar formas de comunicación adecuadas para realizar el trabajo de supervisión”, incluyendo uno que requiere modificaciones; 5) aceptar seis de los ocho reactivos de la competencia “Valorar los procesos de supervisión individual y grupal”; y 6) rechazar los dos reactivos que se incluyen en la de “Comunicar los resultados del programa de supervisión”.

De esta manera, fueron seleccionados 60 reactivos para formar parte del banco de ítems que se presenta en el apéndice C. Asimismo, en el D se exponen el producto de la modificación de la primera a la tercera persona del singular y otros cambios de redacción que se efectuaron para que se ajustaran a las necesidades de un cuestionario de evaluación con base en la opinión de los estudiantes.

Fase 3. Validación de la matriz de planeación del cuestionario por parte de expertos

Cuatro de los cinco jueces expresaron su opinión en el formato de validación diseñado (véase apéndice E). A continuación se presentan las recomendaciones de cada uno de ellos. Recomendaciones del juez número uno (supervisor clínico). El primer elemento a ser considerado se refiere específicamente a la evaluación de los supervisores clínicos del internado. La recomendación consiste en replantear aquellas actividades que no son responsabilidad del supervisor, sino que son desarrolladas por el jefe de enseñanza de la institución de salud sede (véase cuadro 15). En esta categoría entran los reactivos 2, 3, 4, 6, 8 y 58.

La segunda categoría de recomendaciones se enfoca en la necesidad de realizar cambios en la redacción de algunos reactivos. Tal es el caso de los ítems 13, 15 y 16, en los que se sugiere utilizar la palabra paciente en lugar de usuarios. Asimismo, en el reactivo número 30 se recomienda sustituir intervención por realizados en la rotación del servicio.

Recomendaciones del juez número dos (supervisor clínico). El comentario más recurrente se refiere a la definición de las competencias, ya que considera que son poco claras y eso condiciona la congruencia de cada ítem con cada competencia. Asimismo recomendó fusionar las competencias 3 y 5, ya que ambas están centradas en la reflexión sobre la propia práctica y la evaluación (véase cuadro 16).

Los comentarios a los reactivos se clasificaron en tres categorías: 1) ítems que por referirse a lo mismo deben fusionarse, como se indica para el 2 al 5, 7, 8, 9 14, 15, 20 al 24, 27 al 29, 31, 32, 36, 38 al 40, 44, 45, 48 y 49; 2) los que se deben eliminarse porque no son susceptibles de ser respondidos por los alumnos, tales como el 12, 16, 17, 25, 55 al 57, 59 y 60; y 3) aquellos en los que se necesita mejorar la redacción, como en el caso del 13, 15, 19 y 26.

Recomendaciones del juez número tres (psicómetra). A juicio de este experto, sería pertinente revisar la exhaustividad del cuestionario, entendiéndola como el reflejo de todos los elementos de las definiciones de las competencias en los ítems, ya que considera que varias de las competencias no son evaluadas totalmente (véase cuadro 17).

Los comentarios de este juez se organizaron en torno a tres categorías de ítems: 1) aquéllos que presentan falta de congruencia con la definición de la competencia, tales como el 1, 8, 9, 11 al 17, 38, 39, 43, 47, 50 al 54 y 58; 2) que necesitan desagregarse en múltiples reactivos, como el 10 y 36, o que deben ser agregados en uno solo, como es el caso de los reactivos 2 al 5, 7 y 55 al 57; y 3) ítems que presentan problemas de redacción, como el 6, 22 al 26, 29, 30, 32, 33, 37, 39, 44 al 46, 52, 55 y 56.

Recomendaciones del juez número cuatro (supervisor clínico). En términos generales, este experto calificó como muy claros, muy factibles y muy congruentes los ítems que se pusieron a su consideración; sin embargo, planteó recomendaciones en torno a la redacción de dos de los reactivos: 1) para el 29 sugirió que se incluyera la simulación dentro del paréntesis, y 2) en el 31, definir el concepto apoyos de contención o utilizar otro término.

Como muestran los resultados del contraste de las opiniones de los jueces (véase cuadro 18), las valoraciones de los expertos no son unívocas, esto es, no necesariamente hay un acuerdo; sin embargo, para utilizar la información del jueceo de la matriz de planeación e integrar la primera versión del cuestionario, se optó por efectuar las modificaciones sólo en aquellos reactivos que fueron objeto de comentarios similares de por lo menos dos jueces.

Con base en lo anterior, se tomaron las siguientes decisiones (véase cuadro 19) respecto a los reactivos: 1) se cambió la redacción del 13, 15, 26 y 30; y 2) se eliminaron el 3 y 4, que se encuentran subsumidos en el 2; caso similar sucedió con el 5, que ya estaba contenido en el 7. De esta manera quedó un cuestionario de 57 reactivos, que se utilizó en el pilotaje (véase apéndice F).

Fase 4. Estudio piloto

El índice de confiabilidad obtenido a través del cálculo del alfa de Cronbach para las medidas captadas con los 57 reactivos es de 0.947, lo que se interpreta como un valor excelente de acuerdo con las recomendaciones de George & Mallery (2003).

Al analizar las correlaciones entre los reactivos y el total de la medida, se identificaron siete reactivos con valores no significativos por debajo de 0.35 y que, de ser eliminados, no afectarían la confiabilidad (véase cuadro 20).

Sumado a lo anterior, los alumnos que participaron en el pilotaje del cuestionario expresaron escrita y oralmente varios elementos que podrían considerarse para mejorar la claridad del instrumento (véase cuadro 21). Los comentarios se organizan en torno a 1) problemas con la escala, donde las opciones de respuesta no permiten discriminar y tienden a sugerir respuestas dicotómicas (presencia o ausencia del atributo); 2) la claridad de los reactivos, sobre todo la utilización de conceptos que no son claros para los estudiantes; 3) la redundancia entre reactivos, que reflejaría que varios ítems miden el mismo atributo, lo cual podría estar relacionado con el alto valor del alfa de Cronbach reportado en esta medición; y 4) la falta de correspondencia con la realidad empírica, esto es, reactivos que poco tienen que ver con lo que los estudiantes viven en el día a día.

Fase 5. Definición de los reactivos esenciales

Los expertos distinguieron entre reactivos que son esenciales y aquellos que no lo son en un formato de validación diseñado para tal propósito (véase apéndice G). Con base en ello, se presenta la relación de reactivos que no alcanzaron el valor mínimo de content validity ratio (CVR) de 0.5823, de acuerdo con Tristán (2008). De esta manera, del total de 57 reactivos sometidos a juicio, 13 no alcanzaron el valor mínimo de CVR. El 11, 14, 18, 24, 26, 28, 29, 34, 35, 41, 42, 50 y 51 son descartables con base en la opinión de los expertos (véase cuadro 22).

Fase 6. Integración del cuestionario

Los reactivos 1, 9, 13, 14, 37, 38 y 47 obtuvieron un índice de homogeneidad corregido menor a 0.35, por lo cual se decidió eliminarlos del cuestionario. Con el cálculo del CVR se identificaron 13 reactivos (11, 14, 18, 24, 26, 28, 29, 34, 35, 41, 42, 50 y 51) que pueden desecharse por no obtener un valor mínimo de 0.5823 en la razón mencionada, lo que significa que no son contenidos esenciales.

Segunda versión del cuestionario

Con base en las decisiones que se tomaron partiendo de la información recabada, la segunda versión del cuestionario consta de 38 reactivos, divididos en cinco competencias: 1) “Planear el programa de supervisión”, compuesta por cinco reactivos; 2) “Gestionar el proceso de supervisión”, que incluye 13 reactivos; 3) “Dar seguimiento, ajustar y monitorear las acciones desarrolladas”, constituida por ocho reactivos; 4) “Utilizar formas de comunicación adecuadas”, que integra siete reactivos, y 5) “Valorar los procesos de supervisión individual y grupal”, formada por cinco reactivos.

En síntesis, los resultados más importantes de este estudio fueron: 1) la definición de los dominios del supervisor clínico en medicina, con la capitalización del contraste entre la información identificada en la literatura y las evidencias empíricas; y 2) el diseño de una versión del cuestionario de evaluación, del cual se recabaron evidencias de validez de contenido en diferentes contextos.

DISCUSIÓN

En el segundo estudio, que aquí se presenta, se persiguió el objetivo de sustentar el desarrollo de un instrumento de evaluación formativa de los supervisores clínicos de la licenciatura en medicina de la UABC con base en la opinión de los estudiantes. En este último apartado del estudio se discuten los hallazgos y su significado a la luz del objetivo propuesto. Para lograrlo se usaron cinco categorías analíticas: 1) principales hallazgos del estudio y su relación con la teoría considerada en la investigación; 2) relación de los hallazgos con los resultados de investigaciones similares; 3) interpretaciones alternativas de los hallazgos; 4) limitaciones del diseño y del método; y 5) futuras investigaciones que se pueden desprender.

PRINCIPALES HALLAZGOS Y SU RELACIÓN CON LA TEORÍA

El desarrollo del segundo estudio empírico permitió identificar, como primer hallazgo, los dominios del supervisor clínico en medicina. Con base en la adaptación de un cuestionario de autoevaluación de la supervisión clínica, se definieron tres dominios en torno al proceso de supervisión: su previsión, conducción y valoración.

El dominio de previsión del proceso de supervisión se refiere al establecimiento de las metas formativas, los recursos (didácticos, materiales, espaciales y temporales) que se requieren para lograr dichas metas y las acciones formativas que se habrán de desarrollar en la supervisión. Se divide en dos subdominios: planear el programa y gestionar el proceso de supervisión.

El dominio de conducción de este último trata del proceso de supervisión en sí, donde se busca retroalimentar in situ los desempeños de los supervisados para lograr la práctica independiente reflexiva. Para ello considera dos subdominios: 1) seguimiento, ajuste y monitoreo de las acciones; y 2) formas de comunicación adecuadas.

El dominio de valoración del proceso de supervisión se refiere a la evaluación del logro de las metas formativas y su comunicación. Inicialmente consideraba dos subdominios: 1) valorar los procesos de supervisión individual y grupal, y 2) comunicar los resultados del proceso de supervisión; sin embargo, se decidió omitir el segundo subdominio, debido a que era un elemento que difícilmente podrían evaluar los supervisados, puesto que no constituía un proceso observable por parte de dichos estudiantes.

Estos resultados concuerdan con los elementos que se identificaron en el análisis de la literatura: el modelaje (Fluit et al., 2010) como eje fundamental de la supervisión, la atención a los pacientes (HHS, s.f.) como principal responsabilidad del médico experimentado y del que se encuentra en formación, la evaluación del aprendizaje como medio para el mejoramiento de la formación (Fluit et al., 2010; Kilminster & Jolly, 2000), la gestión eficiente de los recursos como parte de las responsabilidades de los profesionales de la salud (Fluit et al., 2010), el trabajo colaborativo (Falender & Shafranske, 2004), la generación de un ambiente de aprendizaje estimulante (Falender & Shafranske, 2004; Hore, Lancashire & Fassett, 2009) y la promoción del pensamiento crítico como una condición para la búsqueda sistemática de evidencias que sustenten las decisiones (Harvey et al., 2002).

Como se estableció en el segundo capítulo de esta investigación, los elementos identificados en la literatura fueron subsumidos en tres dominios: el modelaje del desempeño, la calidad del cuidado clínico al paciente y la evaluación de los aprendizajes de los supervisados. La relación entre estos dominios identificados en la teoría y aquellos utilizados fue evidenciada, allende sus diferentes nomenclaturas.

El segundo hallazgo de este estudio fue el diseño de la primera versión del cuestionario de evaluación de la competencia de supervisión clínica en la licenciatura en medicina. El cuestionario quedó integrado por cinco competencias, que corresponden a 38 reactivos en escala de tipo Likert.

Con las evidencias recabadas a través de una ronda de validación de la matriz de contenido del cuestionario de evaluación, los resultados del estudio piloto y la validación del contenido de los reactivos, se logró reducir la extensión del cuestionario de 83 reactivos iniciales a sólo 38 ítems.

Mediante la consulta de expertos en la ronda de validación de la matriz de contenido del cuestionario, se llevaron a cabo mejoras en cuanto a la claridad, factibilidad y congruencia de los reactivos considerados en el instrumento de validación. En esta fase se efectuó una depuración, que concluyó con la primera versión del cuestionario con 57 reactivos, que fue aplicado en el estudio piloto. Con base en la información de este último y de la validación de contenido de los reactivos, se descartaron 19 ítems, ya que los valores del índice de homogeneidad y del content validity ratio estaban por debajo del rango deseado.

RELACIÓN DE LOS HALLAZGOS CON LOS RESULTADOS DE INVESTIGACIONES SIMILARES

Los resultados en la definición de los dominios del supervisor clínico en medicina y su utilización en el diseño del cuestionario fueron consistentes con lo que se ha llevado a cabo en estudios similares. Tal es el caso de las investigaciones de Fluit y colaboradores (2010), Kihlberg y colaboradores (2011), Navarro (2009), Hamui y colaboradores (2013) y Gómez (2008).

En el estudio desarrollado por Fluit y colaboradores (2010) se reconoce que las competencias de planificación didáctica y de evaluación de los aprendizajes son muy importantes en los cuestionarios de evaluación de la docencia clínica que se utilizan en medicina y que suelen soslayarse. Los autores prestan especial atención a la competencia de modelación del desempeño de los estudiantes en medicina (Fluit et al., 2010).

En el reporte de Kihlberg y colaboradores (2011) se describe el diseño de un cuestionario de evaluación similar al que se presenta en esta investigación, para cuya elaboración se valen de un comité de validación del contenido de dicho instrumento. Los elementos que consideraron esenciales a evaluar en la supervisión clínica son aquellas competencias relacionadas con la conformación de climas de aprendizaje constructivos, la retroalimentación de los desempeños, el aprendizaje autodirigido, el control de las interacciones didácticas y la evaluación de los aprendizajes.

Por su parte, Navarro (2009) diseñó un cuestionario similar a partir del análisis de la literatura. Sin validar el contenido con jueces expertos, llevó a cabo un estudio piloto que aplicó a 40 estudiantes. El autor reporta que la planificación y la intervención didácticas, la creación de ambientes adecuados de aprendizaje, la promoción de la competencia clínica y de la atención adecuada a pacientes son elementos que deben de ser evaluados en los supervisores clínicos.

Dentro de una investigación que buscó diseñar y validar un cuestionario de evaluación del ambiente clínico, Hamui y colaboradores (2013) presentan, como una de las cuatro dimensiones a evaluar, la denominada “Procesos educativos”. En esta dimensión se evalúa el proceso de enseñanza y aprendizaje y se subdivide en programación didáctica, métodos didácticos, uso de la tecnología y evaluación de los aprendizajes. Para lograr la definición de estos dominios, Hamui y colaboradores (2013) validaron el contenido del cuestionario a través de jueceo y llevaron a cabo un estudio piloto.

Gómez (2008) diseñó y validó un cuestionario para evaluar la docencia clínica en odontología. Partiendo de la generación de un banco de ítems, se consultó la opinión de expertos para ajustar el contenido del cuestionario y se aplicó en un estudio piloto. Los dominios que fueron considerados se enfocan en las estrategias didácticas en la clínica, la relación de la actividad clínica con la teoría, el cumplimiento de la reglamentación, la interacción social positiva y la evaluación de los aprendizajes.

En este punto es plausible concluir que en las investigaciones analizadas: 1) la definición de los dominios que se evaluarán es producto de un proceso de búsqueda de información teórica y validación empírica de la información, 2) los dominios considerados en los cuestionarios presentados concuerdan en que los ámbitos de actividad que se deben evaluar son la planificación, las interacciones didácticas, el ambiente en el que se aprende y la evaluación del aprendizaje.

INTERPRETACIONES ALTERNATIVAS DE LOS HALLAZGOS

Los hallazgos del estudio coinciden con los reportes de investigaciones analizados; sin embargo, el objeto de estudio es diferente de aquéllos presentados en los reportes que se mencionan. De esta consideración surge la posibilidad de interpretar que los dominios para evaluar la competencia docente en el ámbito clínico pueden homogeneizarse, independientemente del contexto y la disciplina específica que enseñen dichos docentes, esto es, independientemente de si se evalúa la competencia clínica del odontólogo, del médico general, del cirujano o del enfermero, siempre y cuando se circunscriban a las ciencias de la salud.

LIMITACIONES DEL DISEÑO Y DEL MÉTODO

El diseño y método utilizados permitieron el logro de los objetivos planteados; sin embargo, se reconoce que hay cambios que se podrían considerar en el estudio. En primer lugar, para el diseño del cuestionario se decidió utilizar un cuestionario de autoevaluación ya diseñado. Esta decisión podría reemplazarse por el diseño completo del cuestionario, esto es, a partir de la información recuperada de la literatura, diseñar los reactivos y someterlos posteriormente a validación de contenido.

En segundo lugar, es necesario reconocer que una vez decidido que se utilizaría el cuestionario de autoevaluación, la correspondencia de los dominios de dicho cuestionario con aquellos que se desprendieron del análisis de la literatura se llevó a cabo unilateralmente por parte del autor de la investigación. De haber considerado la consulta de un grupo de personas que evaluaran dicha correspondencia, se habría sumado sistematicidad a esta fase específica.

El tercer punto consiste en reconocer las limitaciones en la conformación del grupo de validación de la matriz de planeación del cuestionario, el cual estuvo formado por cuatro supervisores y una psicómetra. La consideración de contar con estos profesionales por partes iguales —o al menos otro psicómetra— podría aportar mayor discusión y una construcción más precisa del cuestionario.

Por último, utilizar el alfa de Cronbach para estimar la confiabilidad del cuestionario utilizado en el estudio piloto fue una decisión imprecisa desde el punto de vista metodológico, ya que para analizar variables ordinales, como las que se consideran en la investigación, es necesario utilizar una matriz de correlaciones policóricas en lugar de la matriz producto-momento.

FUTURAS INVESTIGACIONES

La asignatura que queda pendiente a partir de este estudio es el análisis de la estructura interna del cuestionario, con el propósito de definir si la conformación de los dominios es la más adecuada para evaluar el constructo “Competencias de la supervisión clínica en medicina”. Asimismo, probar los dominios considerados en este cuestionario en diferentes contextos permitiría acumular mayores evidencias de su validez.

[2] El índice de homogeneidad corregido (IHc) hace referencia al cálculo de la correlación de cada ítem con la puntuación total del cuestionario si eliminamos el efecto del ítem en cuestión. Si el IHc es muy bajo es indicativo de que el reactivo no mide lo que el resto de ítems, a lo que Likert llamó reactivos indiferenciadores y aconsejó eliminar porque perjudican la confiabilidad y validez de un instrumento.

CAPÍTULO 6. EVIDENCIAS DE CONFIABILIDAD Y VALIDEZ

En este capítulo se presenta el tercer y último estudio empírico de esta investigación, el cual consiste en generar evidencias de validez y confiabilidad de las interpretaciones que se producen con el uso del cuestionario desarrollado. Esto se logró mediante un proceso de validación cruzada.

OBJETIVO

Aportar evidencias de confiabilidad y validez de las interpretaciones y los usos formativos de los resultados de la evaluación de los supervisores clínicos de la licenciatura en medicina de la UABC con base en la opinión de los estudiantes.

MÉTODO

Para lograr el objetivo del estudio, el cuestionario diseñado se aplicó a una muestra estadísticamente representativa y se llevó a cabo un análisis de la estructura interna del instrumento mediante una validación cruzada. La descripción de los participantes, materiales y procedimiento se presenta a continuación.

PARTICIPANTES

La muestra total (n = 350) se obtuvo mediante el muestreo probabilístico estratificado con afijación proporcional (véase cuadro 23). Para lograrlo, se consideró el total de alumnos que cursan la etapa disciplinaria como población, esto es, 1 490 estudiantes que están en asignaturas consideradas clínicas. Asimismo se definieron los porcentajes que se correspondían con cada estrato y se realizó el cálculo de la muestra con universo finito. Mediante una lista de matrículas se seleccionaron los participantes que, al interior de cada estrato, serían considerados en el estudio.

Los resultados del cálculo muestral se redondearon en 350 estudiantes como una forma de prevenir cualquier falta de información por cuestionarios inconclusos. La muestra se dividió en dos submuestras con el propósito de llevar a cabo una validación cruzada.

MATERIALES

Se utilizó el “Cuestionario de evaluación de las competencias de supervisión clínica en medicina” reportado en el capítulo 5 de esta investigación como único material. El instrumento se divide en cinco factores y 38 reactivos en una escala ordinal de tipo Likert de cuatro opciones (nunca, casi nunca, algunas veces y siempre).

PROCEDIMIENTO

Ésta es la fase donde se desarrolla la versión final del cuestionario y consta de cuatro pasos: 1) la aplicación del instrumento a una muestra estadísticamente representativa; 2) la captura de los registros producto de la aplicación; 3) un proceso de validación cruzada: un análisis factorial exploratorio con una mitad de la muestra y un análisis factorial confirmatorio con la otra mitad; y 4) una propuesta de procedimiento para interpretar los resultados de la aplicación del cuestionario.

Aplicación del cuestionario y preparación de los datos

Primeramente, se calculó la muestra y se efectuaron las gestiones para llevar a cabo la aplicación del cuestionario. Una vez autorizada, se procedió a su cumplimiento en las cuatro unidades de la UABC en las que se cursan campos clínicos de medicina.

La información producto de la aplicación se capturó en SPSS versión 21, se dividió la muestra en dos submuestras mediante selección aleatoria de datos y posteriormente se exportó al formato ASCII con extensión .txt para que pudiera utilizarse en cualquier paquete informático para cálculos estadísticos.

Análisis factorial exploratorio (AFE)

Una vez preparados los datos, el primer paso que se llevó a cabo fue la definición del AFE como método de reducción de dimensiones. Posteriormente se optó por trabajar con una matriz de correlaciones policóricas, ya que, a diferencia de la matriz de Pearson, no existen sesgos al calcular escalas ordinales (Olsson, 1979).

Es necesario indicar que se realizaron tres AFE para lograr los resultados que se buscaban. El primero se llevó a cabo con base en los cinco factores que se incluyen en el cuestionario diseñado; sin embargo, dicha estructura factorial resultó insatisfactoria, por lo que se recurrió a un segundo AFE libre. Del análisis paralelo optimizado que se desarrolló en éste se derivó la recomendación de utilizar dos factores. A partir de los resultados de los dos primeros AFE, se decidió correr un tercer análisis, el cual fue el definitivo.

El método de extracción factorial utilizado fue el de mínimos cuadrados no ponderados (unweighted least squares [ULS]). Si bien existen otros métodos como el de ejes principales y el de máxima verosimilitud, debido a que este último es menos robusto en muestras pequeñas, se optó por el ULS (Izquierdo, Olea & Abad, 2014). El método de ejes principales, al igual que el ULS, están aglutinados dentro del método denominado mínimos cuadrados ordinarios (Ferrando & Anguiano-Carrasco, 2010); sin embargo, Lloret y colaboradores (2014) consideran que el ULS es más recomendable, ya que funciona bien con muestras pequeñas y con pocos factores a retener.

La definición del número de factores a retener se llevó a cabo mediante el método de análisis paralelo (AP). Si bien existen otras opciones como el método K1 y el scree plots, el AP supera las limitaciones de ambos (Baglin, 2014; Hayton, Allen & Scarpello, 2004).

Por último, se llevó a cabo la rotación de los factores. Se probó entre diferentes métodos ortogonales y oblicuos, hasta que se definió el que mejor se adaptó a las necesidades. Se optó por la rotación oblicua promin con base en una premisa: los métodos de rotación oblicuos pueden ser utilizados para calcular también un modelo ortogonal (Costello & Osborne, 2005) y la diferencia entre ambos modelos radica en la unidimensionalidad de la escala que se analiza.

Una vez tomadas estas decisiones, se optó por utilizar el programa Factor[3] para el análisis estadístico, a través de los siguientes pasos: 1) se inició Factor con la indicación del número de variables (38 reactivos) y el de registros (175 cuestionarios); 2) se configuró el análisis con la selección de las opciones análisis factorial exploratorio, matriz de correlaciones policóricas, mínimos cuadrados no ponderados como método de extracción, análisis paralelo para definir el número de factores, y rotación oblicua promin; y 3) en la opción de número de factores que ofrece el programa se decidió poner cinco, cero y dos para cada uno de los tres AFE.

Análisis factorial confirmatorio (AFC)

Con la utilización del número de factores definidos en el AFE, se llevó a cabo un primer AFC. Para definir los índices de bondad de ajuste del modelo se utilizó el programa Lisrel 9.2. Al no lograrse los valores mínimos del índice, se optó por reconfigurar el análisis, eliminar reactivos y definir relaciones entre variables.

Procedimiento de interpretación de los resultados

Con base en los resultados de la aplicación del cuestionario a la muestra estadísticamente representativa, se calcularon los percentiles con el programa SPSS versión 21, de tal manera que los baremos permitan la interpretación de los resultados de las pruebas.

RESULTADOS

Durante esta fase se analizó la estructura interna del cuestionario diseñado en búsqueda de evidencias de validez y confiabilidad. Posteriormente se realizó el análisis factorial exploratorio (AFE) con un primer ejercicio para definir cinco factores, seguido de un AFE libre y otro a dos factores, que fue el definitivo. Con esta información disponible se procedió a desarrollar el análisis factorial confirmatorio (AFC), de donde se obtuvieron índices de bondad de ajuste inadecuados, por lo que se procedió a realizar modificaciones hasta que los índices confirmaran la bondad del modelo.

Análisis factorial exploratorio

En esta fase se llevaron a cabo tres análisis factoriales exploratorios: el primero con las cinco dimensiones que se definieron en la etapa de diseño del cuestionario; el segundo, un AFE libre para definir el número de factores que emergían de la información empírica, y un tercero con los dos factores que el AFE libre sugirió.

De esta manera, se presenta el proceso de definición de la estructura factorial del cuestionario. Para lograr dicho propósito fue necesario ir y venir entre la información empírica y la teórica en la que se basa la investigación. Muestra de ello es que de las cinco dimensiones que se proponían en el diseño inicial del cuestionario, sólo quedaron dos factores.

La decisión del modelo factorial a utilizar se basó en indicadores como el residuo cuadrático medio (RMSR) y las cargas factoriales que se presentaron en las rotaciones. Asimismo se retomó información cualitativa resultante del estudio piloto.

Análisis factorial exploratorio con cinco factores

La matriz de correlación indica que es adecuado llevar a cabo un análisis factorial con la matriz, ya que: el determinante de la matriz es de 9.641^-13; el estadístico de esfericidad de Bartlett registró un valor de 4440.7, con 703 grados de libertad y una p = 0.00001, y la prueba de Kaiser-Meyer-Olkin (KMO) arrojó un valor de 0.91047, que se considera muy bueno.

Para extraer los factores se utilizó el método de mínimos cuadrados no ponderados (ULS); al rotar los factores extraídos mediante el método Promin, se identificaron 12 variables que presentan una carga mayor o igual a 0.3 en más de un factor (véase cuadro 24).

El residuo cuadrático medio (RMSR) presenta un valor de 0.0465, que está por debajo del criterio de Kelley, que estima un valor de 0.0758. Esta información, aunada a las cargas cruzadas que se identificaron al extraer los factores, llevaron a tomar la decisión de ejecutar un AFE libre para evaluar el número de dimensiones que la información empírica arroja.

ANÁLISIS FACTORIAL EXPLORATORIO LIBRE

Los resultados del análisis paralelo optimizado de los datos de la aplicación indican que la cantidad óptima de factores para llevar a cabo el análisis factorial exploratorio es de dos. Como se puede apreciar en el cuadro 25, un modelo de dos factores explica 54.5% de la varianza de los datos reales. En consecuencia, se procede a llevar a cabo el AFE con dos factores.

ANÁLISIS FACTORIAL EXPLORATORIO CON DOS FACTORES

La extracción de factores se llevó a cabo con el método de mínimos cuadrados no ponderados; al rotar los factores extraídos mediante el método promin, se identificaron tres variables que presentan una carga mayor o igual a 0.3 en más de un factor: ítems 16, 18 y 28 (véase cuadro 26).

El siguiente paso fue cambiar el método de rotación a promax; sin embargo, las cargas cruzadas continuaron presentándose en los mismos tres factores que con el método Promin. Al excluir las tres variables del cálculo y volver a rotar, se presentó carga cruzada de dos reactivos (29 y 30) que no había resultado en los cálculos anteriores.

En vista de que emergían cinco reactivos con cargas cruzadas (véase cuadro 27) en diferentes combinaciones de métodos de rotación, se intentaron varias combinaciones de exclusión de ítems hasta que se lograron eliminar las cargas factoriales cruzadas con la supresión de sólo cuatro reactivos (16, 18, 29 y 30).

Una vez evidenciado empíricamente que era recomendable eliminar cuatro variables, se procedió a revisar el contenido de los reactivos y se llegó a las siguientes conclusiones, considerando los comentarios expresados en el estudio piloto: 1) el reactivo 16 ya había recibido un comentario de falta de claridad conceptual por parte de un estudiante, pero como no se registraron más opiniones en este sentido, se decidió mantener dicho ítem; 2) acerca del 18 se emitieron opiniones sobre su redundancia (hay otro par de reactivos que preguntan sobre la retroalimentación); y 3) lo mismo se indicó en cuanto a los reactivos 29 y 30, pues son redundantes respecto a otro reactivo en el que también se habla de la libre expresión de las ideas; asimismo, en la matriz de correlaciones sin rotar se presentaron comunalidades con valores inferiores a 0.5.

Por lo tanto, se decidió utilizar el modelo de dos factores (véase cuadro 28), con la eliminación de los reactivos 16, 18, 29 y 30, con lo que se obtuvo una matriz de correlaciones cuyo estadístico de esfericidad de Bartlett registró un valor de 3799.8, con 561 grados de libertad y una p = 0.00001, y la prueba de Kaiser-Meyer-Olkin (KMO) con un valor de 0.90648, que se considera muy bueno.

Los reactivos quedaron agrupados en dos factores, el primero compuesto por 18 ítems, y el segundo, por 16. En el cuadro 29 se representan las cargas factoriales de los reactivos por factor. Cabe señalar que se omitieron aquellas cargas con valores inferiores a 0.3.

El primer factor contiene ítems de las siguientes competencias: “Gestionar el proceso de supervisión” (10 reactivos), “Dar seguimiento, ajustar y monitorear las acciones desarrolladas” (todos los ítems: n = 5), y “Utiliza formas de comunicación adecuadas” (tres reactivos). Se decidió nombrar a este factor modelación de la intervención clínica, debido a que se conjugan reactivos que se concentran en la intervención didáctica directa y es congruente con los hallazgos teóricos sobre los dominios del supervisor clínico en medicina.

El segundo factor, planeación y evaluación de la supervisión, integra reactivos de las competencias denominadas: “Planear el programa de supervisión” (todos los reactivos: n = 5), “Gestionar el proceso de supervisión” (dos ítems), “Utiliza formas de comunicación adecuadas” (dos reactivos) y “Valora los procesos de supervisión individual y grupal” (todos los ítems: n = 6).

Análisis factorial confirmatorio

El cuestionario quedó integrado por 34 reactivos divididos en dos factores: 1) modelación de la intervención clínica, y 2) planeación y evaluación de la supervisión. En el cuadro 30 se presentan las cargas factoriales en orden de importancia, lo que representa los efectos estandarizados directos de los reactivos del cuestionario. De esta manera, en el primer factor, los reactivos con valores más altos hablan de la retroalimentación y la práctica independiente reflexiva. El segundo factor tiene los puntajes más altos en lo que se refiere a la evaluación formativa y la comunicación de las condicionantes normativas y programáticas.

En la figura 4 se aprecia la representación gráfica del modelo, que no presenta un ajuste adecuado. En la figura, los óvalos representan las variables latentes (factores) y se relacionan a través de flechas unidireccionales, que indican su influencia sobre las variables observadas (ítems).

El primer factor se denomina modela para referirse al proceso de modelaje que se privilegia en la supervisión clínica en medicina, y el segundo, planea para representar las actividades de planificación didáctica y evaluación de los aprendizajes. En todas las correlaciones entre variables se presentan valores entre 0.56 y 0.78.

Los índices de bondad de ajuste del cuestionario que se tomaron en cuenta son: 1) para el ajuste absoluto, la prueba de chi cuadrada (X^2), el índice de bondad de ajuste (GFI) y la media del error de la aproximación (RMSEA); 2) para el ajuste incremental se aplicaron los índices de ajuste normalizado (NFI), no normalizado (NNFI) y comparativo (CFI); y 3) el índice de ajuste de parsimonia fue el normalizado (PNFI). En el cuadro 31 se aprecia que los valores de los índices de bondad de ajuste no cumplen con los rangos mínimos que deben presentar para conseguir un modelo adecuado.

Como consecuencia de esta ausencia de ajuste, se decidió reespecificar el modelo para buscar mejores índices de bondad de ajuste. Este cambio se basó en las recomendaciones que el propio programa Lisrel 9.2 emitió con base en los cálculos de los índices presentados.

Replanteamiento del análisis factorial confirmatorio

Los resultados del primer cálculo arrojaron la recomendación de modificar las covarianzas de los errores de las variables observadas (1-2, 3-5, 5-24, 7-8, 11-13, 13-18, 23-24, 29-30, 30-31, 31-32-33, 33-34). En la figura 5 se representa gráficamente la realización de estos cambios sugeridos.

Con base en el modelo reespecificado, se eliminaron los reactivos 2, 5, 7, 13, 23, 30, 31, 32, 33 y 34 debido a que covariaban en sus errores. Una vez suprimidos, se determinaron los índices de bondad de ajuste. En el cuadro 32 se muestra que todos los índices están en el rango de los valores aceptables. Entre éstos, destacan los de CFI (0.932) y NNFI (0.917); el RMSEA está en el límite de lo aceptable (0.0532).

Esta reespecificación del modelo llevó a la eliminación de diez ítems, de manera que éste quedó formado por 24 reactivos, divididos en dos factores: el primero, denominado modelación de la intervención clínica, se refiere al desarrollo de la supervisión in situ y está integrado por 15 reactivos; el segundo, que se refiere a las actividades de planeación y evaluación de la supervisión, contiene nueve reactivos (véase cuadros 33 y 34). El índice theta para estimar la confiabilidad arrojó un valor de 0.98, mientras que el alfa ordinal fue de 0.961, ambos valores considerados muy buenos.

USOS DEL CUESTIONARIO

Para lograr utilizar el cuestionario de evaluación de competencias de los supervisores clínicos en medicina como un instrumento formativo es necesario interpretar los resultados y generar un informe que sea útil para promover, en el supervisor, la reflexión sobre su propia práctica.

El procedimiento de interpretación que aquí se propone parte de la construcción de baremos percentilares con base en los 350 cuestionarios considerados en este estudio de validación. En el cuadro 35 se presentan los valores que corresponden a los percentiles 25, 50 y 75.

El nivel de competencia para cada factor que se consideró en el cuestionario desarrollado se puede ubicar dentro de tres rangos: bajo para los supervisores que obtengan un puntaje total inferior a45; intermedio para aquellos que logren entre 45 y 65 puntos; y alto para quienes acrediten puntajes totales mayores a 65.

De esta manera, en el cuadro 36 se muestran los rangos para la interpretación de los niveles de dominio de las competencias de los supervisores clínicos en medicina con base en el cuestionario desarrollado.

Para el dominio planeación y evaluación de la supervisión, que se refiere a las competencias que los supervisores clínicos en medicina deben tener para planificar y evaluar la supervisión clínica, se utiliza un rango de puntuación que va de 0 a 27 y se subdivide en tres niveles de dominio.

El nivel bajo representa la necesidad de que el supervisor clínico en medicina considere que la sistematicidad en la planificación didáctica, así como la explicitación del marco institucional donde se desarrolla la práctica clínica, la comunicación con el grupo y la retroalimentación de los desempeños de los estudiantes son inexistentes en su práctica, o resultan deficientes en caso de llevarlas a cabo.

El nivel medio sugiere la necesidad de que el supervisor tome en cuenta que la sistematicidad en la planificación didáctica que realiza, así como la explicitación del marco institucional donde se desarrolla la práctica clínica, la comunicación con el grupo y la retroalimentación de los desempeños de los estudiantes son elementos incluidos en las prácticas del supervisor, aunque con un margen considerable de mejora.

El nivel alto del dominio planeación y evaluación de la supervisión indica que la sistematicidad en la planificación didáctica que realiza el supervisor clínico en medicina, así como la explicitación del marco institucional donde se desarrolla la práctica clínica, la comunicación con el grupo y la retroalimentación de los desempeños de los estudiantes son elementos óptimamente incluidos en las prácticas del supervisor.

Por su parte, el dominio modelación de la intervención clínica se refiere al desarrollo de las actividades propias de la supervisión en el contexto específico de trabajo y se fundamenta esencialmente en el modelaje de los desempeños de los supervisados. El rango de puntuación que se considera para este dominio en el cuestionario desarrollado va de cero a 45 puntos y se subdivide en tres niveles de dominio.

El nivel bajo representa la necesidad de que el supervisor clínico en medicina considere que la construcción de ambientes propicios para el aprendizaje, la demostración sistemática de estrategias de intervención clínica, el reforzamiento del desempeño y la promoción de la reflexión crítica en los supervisados son elementos inexistentes o deficientes en su actividad de supervisión.

El nivel medio sugiere la necesidad de que el supervisor tome en cuenta que la construcción de ambientes propicios para el aprendizaje, la demostración sistemática de estrategias de intervención clínica, el reforzamiento del desempeño y la promoción de la reflexión crítica en los supervisados son elementos incluidos en las prácticas del supervisor, aunque con un margen considerable de mejora.

El nivel alto del dominio modelación de la intervención clínica es indicador de que la construcción de ambientes propicios para el aprendizaje, la demostración sistemática de estrategias de intervención clínica, el reforzamiento del desempeño y la promoción de la reflexión crítica en los supervisados son elementos óptimamente incluidos en las prácticas del supervisor clínico en medicina.

DISCUSIÓN

En el tercer estudio empírico se persiguió el objetivo de “Aportar evidencias de confiabilidad y validez de las interpretaciones y los usos formativos de los resultados de la evaluación de los supervisores clínicos de la licenciatura en medicina de la UABC con base en la opinión de los estudiantes”.

En este último apartado se discuten los hallazgos y su significado a la luz del objetivo que se persiguió. Para lograrlo se usaron cinco categorías analíticas: 1) principales hallazgos del estudio y su relación con la teoría considerada en la investigación; 2) relación de éstos con los resultados de investigaciones similares; 3) interpretaciones alternativas de los hallazgos; 4) limitaciones del diseño y del método; y 5) futuras investigaciones que se pueden desprender.

PRINCIPALES HALLAZGOS Y SU RELACIÓN CON LA TEORÍA

El tercer estudio empírico condujo a obtener, como principal resultado, la reconfiguración del cuestionario diseñado. Los cambios más relevantes fueron la definición de dos factores en lugar de los cinco inicialmente considerados y la eliminación de reactivos que presentaron inconsistencias estadísticas y, a la vez, habían sido señalados ya en el estudio piloto.

El “Cuestionario de evaluación de las competencias de la supervisión clínica en medicina” quedó integrado por 24 reactivos divididos en dos factores. El factor de modelación de la intervención clínica se basa en un proceso didáctico compuesto por tres elementos: 1) las actividades de demostración que los supervisores desarrollan en su práctica docente, mediante las cuales muestran, a los estudiantes, cómo se deben ejecutar los procedimientos clínicos; 2) la promoción de la práctica autónoma, que implica empoderar a los estudiantes para que ejecuten los procedimientos clínicos; y 3) la reflexión sobre la práctica autónoma, que constituye una disciplina permanente en la que los estudiantes cuestionan sus propias decisiones para identificar posibles áreas de mejora.

El primer factor de modelación de la intervención clínica tiene un sustento empírico no solamente basado en el análisis estadístico de las puntuaciones. En el capítulo 4 de esta investigación se evidenció que, en opinión de los expertos consultados, la modelación de la práctica clínica es un elemento medular de la supervisión clínica en medicina.

Asimismo, el factor de modelación cuenta con un sustento teórico sólido. El modelaje es una estrategia privilegiada en la enseñanza de la medicina y consiste en un proceso vivencial en el que el supervisor promueve el trabajo clínico independiente del estudiante a través del ejemplo de las mejores prácticas clínicas para el cuidado del paciente y el desarrollo institucional (Boerebach et al., 2013; Cruess, Cruess & Steinert, 2008; Falender & Shafranske, 2004; Fluit et al., 2010; HHS, s.f.; Hore, Lancashire & Fassett, 2009; Jochemsen-Van der Leeuw et al., 2013; Lombarts, Heineman & Arah, 2010; Paice, Heard & Moss, 2002; Weissmann et al., 2006).

El segundo factor, planeación y evaluación de la supervisión, se refiere a actividades de diseño previo de la intervención didáctica y al proceso constante de retroalimentación de los desempeños de los estudiantes de medicina. Al igual que el anterior, este factor cuenta con sustento empírico y teórico.

De acuerdo con lo expresado por los expertos en supervisión entrevistados en el capítulo 4, la planificación didáctica y la evaluación de los aprendizajes son elementos fundamentales en la supervisión clínica en medicina, que suelen ser descuidados y forman la principal área de oportunidad.

La planificación y la evaluación son procesos inseparables en la enseñanza y forman parte de un continuo que permite el ajuste constante de las actividades que desarrolla el supervisor clínico en medicina y su adecuación a las necesidades formativas de los estudiantes (Durante, 2006; Epstein, 2007; Fornells-Vallés, 2009; Fluit et al., 2010; Kilminster & Jolly, 2000).

RELACIÓN DE LOS HALLAZGOS CON LOS RESULTADOS DE INVESTIGACIONES SIMILARES

En el proceso de validación del “Cuestionario de evaluación de la competencia docente” (CECD), Reyes (2014) partió de un cuestionario compuesto por tres dimensiones y un indicador. En su proceso, el autor lo aplicó a muestras considerablemente grandes en tres diferentes universidades y utilizó la validación cruzada para analizar la estructura interna del instrumento. Como resultado de la investigación, se integró una nueva versión del cuestionario conformado por un menor número de factores (dos) y de reactivos (Reyes, 2014).

INTERPRETACIONES ALTERNATIVAS DE LOS HALLAZGOS

La estructura interna del cuestionario desarrollado, aunada a las evidencias empíricas en la validación del contenido y la literatura analizada, sustenta las decisiones tomadas en esta investigación. Asimismo, sería posible tomar otras decisiones con base en otra interpretación de las evidencias.

Una vía alternativa sería no llevar a cabo el AFE libre y utilizar las cinco dimensiones que consideraba el cuestionario de inicio. Este proceso se simuló y los resultados fueron insatisfactorios; aunque se podría sostener la utilización de las cinco dimensiones, esto claramente iría en detrimento de la precisión en la estructura interna porque los valores de los índices de bondad de ajuste no serían los recomendados.

Otra alternativa sería nombrar de diferente manera a los dos factores del cuestionario que emergieron en la investigación. El primero podría nombrarse planificación y gestión de la supervisión, y el segundo, conducción de la supervisión, de tal manera que existiera mayor coincidencia semántica con el MECD y los resultados de los diversos estudios de validación desprendidos de dicho modelo.

LIMITACIONES DEL DISEÑO Y DEL MÉTODO

El diseño y el método utilizados en el estudio fueron suficientes para alcanzar el objetivo que se planteó. También existía la posibilidad de tomar otras decisiones metodológicas, algunas de las cuales se presentan a continuación.

La decisión de llevar a cabo un proceso de validación cruzada, donde se desarrolló un AFE a la mitad de la muestra y un AFC a la otra mitad, se tomó con base en la poca evidencia con la que se contaba para sostener que la estructura factorial óptima consistía en cinco dimensiones. En este sentido, se podría llevar a cabo solamente un AFC con los 350 registros obtenidos de la aplicación del cuestionario.

Si bien los métodos oblicuos de rotación de factores resultan igual de útiles para estimar un modelo ortogonal, son recomendables para investigaciones donde se consideran muestras pequeñas y con un número de factores reducido. De esta manera, podría estimarse adecuada la utilización de un método de rotación ortogonal debido a la unidimensionalidad de la escala.

FUTURAS INVESTIGACIONES

El desarrollo del cuestionario de evaluación de las competencias de supervisión clínica en medicina responde a un proceso sistemático y cuidadoso, con acumulación de evidencias y un constante ir y venir entre la teoría y la realidad empírica; sin embargo, es necesario continuar la investigación mediante la aplicación del cuestionario a muestras diferentes, dentro y fuera de la UABC.

Otra línea de investigación que se desprende de este estudio es retomar el cuestionario de autoevaluación del que se partió y acumular evidencias de validez y confiabilidad de las interpretaciones que se pueden formular con su utilización. También podría resultar interesante desarrollar un cuestionario de evaluación del aspecto disciplinario de la medicina en los campos clínicos, de tal manera que se valore la competencia médica: los conocimientos técnicos y habilidades clínicas, no solamente docentes.

[3] Factor es un programa específicamente desarrollado para llevar a cabo AFE. Ofrece las opciones de realizar análisis univariados y multivariados, diferentes métodos para la retención de factores, una variedad de métodos de rotación de factores, entre otros elementos.

CAPÍTULO 7. CONCLUSIONES

El “Cuestionario de evaluación formativa de la supervisión clínica en medicina” permitió interpretaciones válidas y confiables de las puntuaciones obtenidas por los supervisores clínicos de la licenciatura en medicina de la UABC con base en la opinión de sus estudiantes.

El objetivo general y los objetivos específicos de la investigación se lograron mediante el desarrollo del cuestionario, y su proceso de construcción evidenció la sistematicidad y rigurosidad científicas con las que se alcanzó el producto.

Con base en los resultados y todo el proceso que se desarrolló, se plantean las conclusiones de la investigación en torno a tres categorías: objeto de estudio, carácter metodológico y conclusiones prácticas acerca de la supervisión en dicha licenciatura.

CONCLUSIONES EN TORNO AL OBJETO DE ESTUDIO

El diseño y desarrollo de un cuestionario de evaluación formativa de la supervisión clínica que permitiera hacer inferencias válidas y confiables se logró a través de tres elementos: 1) identificación de las características principales de la evaluación de la supervisión clínica en medicina según la literatura especializada, 2) caracterización de los campos clínicos de la licenciatura en medicina de la UABC, 3) definición de los elementos constitutivos de un cuestionario de evaluación formativa de la supervisión clínica.

EVALUACIÓN DE LA SUPERVISIÓN CLÍNICA SEGÚN LA LITERATURA

La supervisión clínica en medicina es una forma particular de docencia universitaria en la que se enseña en contacto directo con pacientes en condición de enfermedad, situación que complejiza el proceso didáctico. La atención no sólo está puesta en los aprendizajes que deben desarrollar los estudiantes: la prioridad es la integridad de los enfermos y el respeto a sus derechos humanos y a la salud.

Como se argumentó a lo largo de la investigación, la evaluación de la supervisión clínica de la medicina demanda atender tres elementos esenciales: 1) los fines de la evaluación, 2) los dominios que evaluará, esto es, el objeto de dicha actividad, y 3) el método que se utilizará.

El tipo de evaluación que se consideró central en esta investigación es de carácter formativo, es decir, la que se utiliza como un medio para generar información útil que al docente le permita reflexionar sobre su propia práctica y mejorarla. Por ello, en esta investigación, la búsqueda de la información y la discusión en torno a ella se condicionaron a esta modalidad de evaluación.

Una aportación fundamental de esta investigación es definir los dominios del supervisor clínico. A partir de la consideración de que el modelaje del desempeño de los estudiantes, la calidad en el cuidado clínico de los pacientes y la evaluación de los aprendizajes son los tres dominios básicos de la supervisión, se creó una base para contrastar la información empírica generada en la investigación.

En la literatura se identificaron acuerdos en torno a cómo evaluar la docencia: 1) dentro de las diversas estrategias utilizadas a nivel internacional, la evaluación de la docencia con base en la opinión de los estudiantes ha sido ampliamente utilizada y validada, 2) el desarrollo de un cuestionario de evaluación de la docencia con base en la opinión de los estudiantes requiere la acumulación de evidencias de validez y confiabilidad, y 3) los cuestionarios de evaluación de la docencia con base en la opinión de los estudiantes necesitan la explicitación de sus usos.

CARACTERIZACIÓN DE LA SUPERVISIÓN CLÍNICA EN LA UABC

El estudio exploratorio de la investigación aportó la sistematización de la organización interna de la enseñanza clínica, la identificación de las principales estrategias didácticas, las áreas primordiales de oportunidad y el modelo de enseñanza que se utilizan en la licenciatura en medicina de la UABC.

Esta explicitación significó una gran aportación debido a cinco factores: 1) el análisis de la organización de los contenidos de la licenciatura permitió enfocar el objeto de estudio de la investigación e identificar las consistencias entre las condiciones empíricas de la enseñanza clínica en la carrera y la información recogida en la literatura; 2) reconocer en el modelaje la estrategia didáctica por excelencia confirmó la importancia que tiene este método de enseñanza en la medicina; 3) la identificación del arquetipo médico y de los valores gremiales que se privilegian en la licenciatura en medicina orientó la posterior definición de las competencias a evaluar; 4) la sistematización de las áreas de oportunidad manifestadas por los supervisores aportó información a guisa de detección de necesidades; y 5) el modelo de independencia progresiva, referido en el estudio exploratorio, aportó información fundamental en la posterior definición de los dominios de los supervisores clínicos.

ELEMENTOS CONSTITUTIVOS DE UN CUESTIONARIO DE EVALUACIÓN FORMATIVA

La planificación didáctica, el modelaje y la evaluación de los aprendizajes son los tres elementos esenciales para evaluar a los docentes que se desempeñan en los campos clínicos de la medicina. Este argumento se sustenta en la evidencia que se recolectó durante la investigación y es consistente con las dimensiones que se consideran en la literatura de evaluación de la docencia.

Estas evidencias representan una aportación al objeto de estudio debido a que confirman que la evaluación de las competencias docentes requiere considerar la previsión/planificación didáctica, la conducción del proceso de enseñanza propiamente dicho y la evaluación de los aprendizajes de los estudiantes.

CONCLUSIONES DE CARÁCTER METODOLÓGICO

El diseño de cuestionarios de evaluación de la docencia suele iniciar con el análisis de la literatura para posteriormente contrastar los resultados con las realidades empíricas. En esta investigación se inició con una exploración en el contexto del estudio para caracterizar, de forma preliminar, la enseñanza clínica en la licenciatura en medicina de la UABC.

El permanente ir y venir entre la información empírica y el análisis teórico permitió diseñar un cuestionario de evaluación de la docencia rigurosamente fundamentado y contextualizado, lo que abona a incrementar su utilidad para la mejora de la actividad docente en los campos clínicos de la medicina. La consulta de expertos se utilizó para la validación del contenido del cuestionario, y el establecimiento de inferencias a partir de la información brindada por ellos es un proceso bastante complejo que demandó rigurosidad.

Utilizar medidas cuantitativas como el content validity ratio hizo posible establecer cortes para distinguir entre la información que resultó esencial según la opinión del grupo de expertos y aquella que, si bien puede ser interesante, no era fundamental ni representativa del fenómeno.

En lo que se refiere a las evidencias de consistencia interna del cuestionario, utilizar la validación cruzada —esto es, dividir la muestra y aplicar un AFE a una mitad y un AFC a la otra— es un método que es cuestionado por algunos psicómetras; sin embargo, en circunstancias como las que se presentaron en esta investigación, donde no existían suficientes evidencias para sostener que las dimensiones iniciales del cuestionario fueran las adecuadas, usar un AFE es de gran utilidad y abona a la rigurosidad metodológica del trabajo.

CONCLUSIONES SOBRE LAS PRÁCTICAS DE SUPERVISIÓN EN LA LICENCIATURA EN MEDICINA

El “Cuestionario de evaluación formativa de la supervisión clínica en medicina” se desarrolló para brindar información susceptible de ser utilizada en la reflexión sobre la propia práctica de los supervisores. En este sentido, una aportación fundamental de la investigación consiste en la explicitación de los baremos del cuestionario, de manera que los supervisores evaluados estén en condiciones de ubicar sus desempeños en uno de los tres niveles de dominio e interpretar dichos resultados.

Por otra parte, de acuerdo con la información empírica recabada a partir de las declaraciones de los supervisores consultados en el desarrollo de la investigación, la supervisión clínica en la licenciatura en medicina de la UABC obedece a un modelo de independencia progresiva, esto es, los estudiantes inician su proceso de aprendizaje en los campos clínicos con un total control por parte del supervisor y, conforme van adquiriendo conocimientos y desarrollando habilidades, dicho control disminuye paulatinamente.

Este modelo de independencia progresiva no está sistematizado en el plan de estudios ni en ninguno de los documentos que se analizaron en la investigación, de tal manera que, como cierre de ésta, se pretende contribuir con la propuesta de un modelo de supervisión clínica para la licenciatura en medicina de la UABC.

REFERENCIAS

Alcántar, V., Arcos, J. & Mungaray, A. (2006). Vinculación y posicionamiento de la Universidad Autónoma de Baja California con su entorno social y productivo. México: ANUIES/UABC.

American Educational Research Association (2004). Standards for educational and psychological testing. Washington, D.C.: AERA.

American Educational Research Association (2014). Standards for educational and psychological testing. Washington, D.C.: AERA.

Argudín, Y., (2005). Educación basada en competencias. México: Trillas.

Baglin, J. (2014, junio). Improving your exploratory factor analysis for ordinal data: A demonstration using FACTOR. Practical assessment, research & evaluation, 19(5), 1-15. Recuperado de http://pareonline.net/getvn.asp?v=19&n=5

Barrett, P. T. & Kline, P. (1981). The observation to variable ratio in factor analysis. Personality Study in Group Behavior, 1(1), 23-33. Recuperado de https://www.researchgate.net/publication/232561774_The_Observation_to_Variable_Ratio_in_Factor_Analysis

Beckman, T., Cook, D. & Mandrekar, J. (2005). What is the validity evidence for assessments of clinical teaching? Journal of General Internal Medicine, 20(12), 1159-1164. Doi: 10.1111/j.1525-1497.2005.0258.x

Benton, S & Cashin, W. (2012). IDEA Technical Report No. 50 Student Ratings of Teaching: A Summary of Research and Literature. Manhattan: The IDEA Center. Recuperado de http://ideaedu.org/sites/default/files/idea-paper_50.pdf

Boerebach, B., Lombarts, K., Scherpbier, A., & Arah, O. (2013). The teacher, the Physician and the person: Exploring causal connections between teaching performance and role model types using direct acyclic graphs. PLoS One, 8(7). Doi: 10.1371/journal.pone.0069449

Brailovsky, C., & Centeno, A. (2012). Algunas tendencias actuales en educación médica. REDU. Revista de Docencia Universitaria, 10(número especial), 23-33. Recuperado de https://polipapers.upv.es/index.php/REDU/article/view/6091/6140

Bryant, F. & Yarnold, P. (1995). Principal components analysis and confirmatory factor analysis. En L. Grimm & P. Yarnold (eds.). Reading and understanding multivariate statistics (pp. 99-136). Washington, D.C.: American Psychological Association.

Buss, N., & Gonge, H. (2009, agosto). Empirical studies of clinical supervision in psychiatric nursing: A systematic literature review and methodological critique. International Journal of Mental Health Nursing, 18(4), 250-264. Doi: 10.1111/j.1447-0349.2009.00612.x.

Centra, J. (1993). Reflective faculty evaluation: enhancing teaching and determining faculty effectiveness. Nueva York: Jossey-Bass.

Clinical Excellence Commission (2012). Clinical supervision at the point of care. Patient Safety Report. Australia: CEC. Recuperado de http://www.cec.health.nsw.gov.au/__documents/programs/patient-safety/patient-safety-report-clinical-supervision-2012.pdf

Coll, C. & Solé, I. (2002). Enseñar y aprender en el contexto del aula. Desarrollo psicológico y educación 2. Psicología de la educación escolar. Madrid: Alianza Editorial.

Copeland, L. & Hewson, M. (2000, febrero). Developing and testing an instrument to measure the effectiveness of clinical teaching in an academic medical center. Academic Medicine, 75(2), 161-166. Recuperado de http://journals.lww.com/academicmedicine/Fulltext/2000/02000/Developing_and_Testing_an_Instrument_to_Measure.15.aspx

Costello, A. & Osborne, J. (2005, julio). Best practices in exploratory factor analysis: Four recommendations for getting the most from your analysis. Practical Assessment, Research & Evaluation, 10(7), 1-9. Recuperado de http://pareonline.net/pdf/v10n7.pdf

Cruess, S., Cruess, R., & Steinert, Y. (2008). Role modeling-making the most powerful teaching strategy. British Medicine Journal, 336, 718-721. Doi:10.1136/bmj.39503.757847.BE

Davis, D., Mazmanian, P., Fordis, M., Van Harrison, R., Thorpe, K. & Perrier, L. (2006, 6 de septiembre). Accuracy of Physician self-assessment compared with observed measures of competence. A systematic review. The Journal of American Medical Association, 296(9), 1094-1102. Doi:10.1001/jama.296.9.1094.

Deane, R. & Murphy, D. (2013, 4 de diciembre). Student attendance and academic performance in undergraduate obstetrics/gynecology clinical rotations. The Journal of American Medical Association, 310(21), 2282-2288. Doi:10.1001/jama.2013.282228.

Díez, R. (2007). La enseñanza de la medicina en nuestros días. Ars Médica Revista de Humanidades, 6(1), 69-82. Recuperado de http://www.anm.org.ve/FTPANM/online/2013/boletines/N50/Seccion5-DIEZ-LOBATO-La_ensenanza_de_la_Medicina.pdf

Donner, R. & Bickley, H. (1993, julio). Problem-based learning in American medical education: An overview. Bulletin of the Medical Library Association, 81(3), 294-298. Recuperado de http://www.ncbi.nlm.nih.gov/pmc/articles/PMC225793/

Durante, E. (2006, agosto). Algunos métodos de evaluación de las competencias: Escalando la pirámide de Miller. Revista del Hospital Italiano de Buenos Aires, 26(2), 55-61. Recuperado de http://www.aspefam.org.pe/intranet/CEDOSA/metodo%20de%20evaluacion%20minicex.pdf

Durante, E. (2012). La enseñanza en el ambiente clínico: Principios y métodos. REDU. 10(número especial), 149-175. Recuperado de en http://redaberta.usc.es/redu

Epstein, R. (2007, 25 de enero). Assessment in medical education. New England Journal of Medicine, 356(4), 387-396. Doi: 10.1056/NEJMra054784.

Falender, C. A. & Shafranske, E. P. (2004). Clinical supervision a competency-based approach. Washington, D.C.: American Psychological Association.

Ferrando, P., & Anguiano-Carrasco, C. (2010). El análisis factorial como técnica de investigación en psicología. Papeles del Psicólogo: Revista del Colegio Oficial de Psicólogos, 31(1), 18-33. Recuperado de https://www.researchgate.net/publication/41734042_El_analisis_factorial_como_tecnica_de_investigacion_en_psicologia

Flora, D. & Curran, P. (2004). An empirical evaluation of alternative methods of estimation for Confirmatory Factor Analysis with ordinal data. Psychol Methods, 9(4), 466-491. Doi:10.1037/1082-989X.9.4.466.

Fluit, C., Bolhuis, S., Grol, R., Laan, R. & Wensing, M. (2010, diciembre). Assessing the quality of clinical teachers. Journal of General Internal Medicine, 25(12), 1337-1345. Doi: 10.1007/s11606-010-1458-y.

Fluit, C., Bolhuis, S., Grol, R., Ham, M., Feskens, R., Laan, R. & Wensing, M. (2012, 20 de julio). Evaluation and feedback for effective clinical teaching in postgraduate medical education: validation of an assessment instrument incorporating the CanMEDS roles. Medical Teacher, 34(11), 893-901. Doi: 10.3109/0142159X.2012.699114.

Fornells-Vallés, J. (2009). El ABC del Mini-CEX. Educación Médica, 12(2), 83-89. Recuperado de http://scielo.isciii.es/pdf/edu/v12n2/revision.pdf

Gairín, S. (2011). Formación de profesores basada en competencias. Bordón, 63(1), pp. 93-108. Recuperado de http://dialnet.unirioja.es/descarga/articulo/3601043.pdf

García-Cabrero, B., Loredo, J., Luna, E. & Rueda, M. (2008). Modelo de evaluación de competencias docentes para la educación media y superior. Revista Iberoamericana de Evaluación Educativa, 1(3e), 97-100.

García-Cabrero, B., Loredo, J., Luna, E. & Rueda, M. (2014). Competencias docentes en educación media y superior. Desarrollo y validación de un modelo de evaluación. México: UABC/Juan Pablos Editor.

García-Vigil, J. (2005). Propuesta de instrumento de evaluación. Revista de Medicina del Instituto Mexicano del Seguro Social, 43(1), 71-73. Recuperado de http://www.medigraphic.com/pdfs/imss/im-2005/im051k.pdf

George, D. & Mallery, P. (2003). SPSS for Windows step by step: A simple guide and reference. 11.0 update (4ª ed.). Boston, MA: Allyn & Bacon.

Gómez, J. (2008, septiembre). Desarrollo y validación de un cuestionario para evaluar la docencia clínica odontológica (CEDCO) en la FES Iztacala de la UNAM. Revista Odontológica Mexicana, 12(3), 120-125. Recuperado de http://www.medigraphic.com/pdfs/odon/uo-2008/uo083b.pdf

Gómez, V., Rosales, S. & Vázquez, J. (2014, enero-marzo). Validez y consistencia de un instrumento para evaluar la práctica docente en clínica médica de pregrado. Educación y Desarrollo, 11(28), 15-20. Recuperado de http://www.cucs.udg.mx/revistas/edu_desarrollo/anteriores/28/028_Gomez.pdf

Good, T. (1996). Teaching effects and teacher evaluation. En J. Sikula (Ed.). Handbook of research

Hamui, A., Lavalle, C., Díaz, A., Gómez, D., Carrasco, J. & Vilar, P. (2012). Las actividades académicas en contextos clínicos por especialidades: Percepción de los estudiantes. Investigación en educación médica, 2(1), 25-36. Recuperado de http://riem.facmed.unam.mx/sites/all/archivos/V2Num01/05_AO_HAMUI.PDF

Hamui, A., Anzarut, M., Cruz, G., Ramírez, O., Lavalle, C. & Vilar, P. (2013). Construcción y validación de un instrumento para evaluar ambientes clínicos de aprendizaje en las especialidades médicas. Gaceta Médica de México, 149(4), 394-405. Recuperado de http://www.anmm.org.mx/GMM/2013/n4/GMM_149_2013_4_394-405.pdf el 12 de mayo de 2014.

Harvey, G., Loftus-Hills, A., Rycroft-Malone, J., Titchen, A., Kitson, A., McCormack, B. & Seers, K. (2002, marzo). Getting evidence into practice: The role and function of facilitation. Journal of Advanced Nursing, 37(6), 577-588. Recuperado de http://onlinelibrary.wiley.com/doi/10.1046/j.1365-2648.2002.02126.x/pdf

Hativa, N. (2000). Teaching for effective learning in higher education. Holanda: Kluwer Academic Publishers.

Hayton, J., Allen, D., & Scarpello, V. (2004, abril). Factor retention decisions in exploratory factor analysis: A tutorial on parallel analysis. Organizational Research Methods, 7(2), 191-205. Doi: 10.1177/1094428104263675.

Health and Human Services. (s.f.). Competencias para supervisores clínicos de tratamiento para abuso de drogas. Addiction Technology Transfer Center Network. Recuperado de http://www.attcnetwork.org/regcenters/productDocs/16/TAP21AManual.pdf

Hore, C. T., Lancashire, W. & Fassett, R. G. (2009, agosto). Clinical supervision by consultants in teaching hospitals. Medical Journal of Australia, 191(4), 220-222. Recuperado de https://www.mja.com.au/journal/2009/191/4/clinical-supervision-consultants-teaching-hospitals

Howick, J., Chalmers, I., Glasziou, P., Greenhalgh, T., Heneghan, C., Liberati, A., Moschetti, I., Phillips, B., & Thornton, H. (2014). The 2011 Oxford CEBM levels of evidence. Oxford Centre for Evidence-Based Medicine. Recuperado de http://www.cebm.net/index.aspx?o=5653

Hu, L & Bentler, P. M. (1998, diciembre). Fit indices in covariance structure modeling: Sensitivity to underparameterized model misspecification. Psychological Methods, 3(4), 424-453. Doi: http://dx.doi.org/10.1037/1082-989X.3.4.424

Irby, D. (1994, mayo). What clinical teachers in medicine need to know? Acad Med, 69(5), 333-342. Recuperado de http://www.ncbi.nlm.nih.gov/pubmed/8166912

Izquierdo, I., Olea, J., & Abad, F. (2014). Exploratory factor analysis in validation studies: Uses and recommendations. Psicothema, 26(3), 395-400. Doi: 10.7334/psicothema2013.349.

Jenkins, J. (1946, marzo). Validity for what? Journal of Consulting Psychology, 10(2), 93-98. Recuperado de http://psycnet.apa.org/psycinfo/1946-03975-001

Jochemsen-Van der Leeuw, R., Van Dijk, N., Van Ettern-Jamaludin, F. & Wieringa-de Waard, M. (2013, enero). The attributes of the Clinical trainer as role model: A systematic review. Academic Medicine, 88(1), 26-34. Doi: 10.1097/ACM.0b013e318276d070

Jöreskog, K. (1969, junio). A general approach to confirmatory maximum likelihood factor analysis. Psychometrika. 34(2), 183-202. Recuperado de http://onlinelibrary.wiley.com/doi/10.1002/j.2333-8504.1967.tb00991.x/epdf

Kane, M. (2006). Validation. En R. Brennan (ed.), Educational Measurement. (4a ed.). Washington, D.C.: ACE/NCME, pp. 17-64.

Kane, M. (2009). Validating the interpretations and uses of test scores. In R.W. Lissitz (ed.), The concept of validity: Revisions, new directions, and applications (pp. 39-64). Charlotte, N.C.: Information Age Publishing.

Kennedy, T., Lingard, L., Ross, G., Kitchen, L. & Regehr, G. (2007, agosto). Clinical oversight: Conceptualizing the relationship between supervision and safety. Journal of General Internal Medicine, 22(8), 1080-1085. Doi: 10.1007/s11606-007-0179-3.

Kennedy, T., Regehr, G., Baker, R., & Lingard, L. (2005, octubre). Progressive independence in clinical training: A tradition worth defending? Academic Medicine, 80(10), 106-111. Recuperado de http://www.ncbi.nlm.nih.gov/pubmed/16199447

Kihlberg, P., Perzon, M., Gedeborg, R., Blomqvist, P. & Johansson, J. (2011, diciembre). Uniform evaluation of clinical teaching-an instrument for specific feedback and cross comparison between departments. Högre Utbildning. 1(2), 139-150. Recuperado de http://api.ning.com/files/pM3ABSV3WVVYmbue416p2Kni-1IeD6mF5JE2BiM7mPdUggc2F-5mSlpBWSn02MA8DXx0cDniYqQnvGOx9RHjjMRk2fcLXJQs/HU_nr_2_2012.pdf

Kilminster, S. & Jolly, B. (2000, octubre). Effective supervision in clinical practice settings: A literature review. Medical Education, 34(10), 827-840. Doi: 10.1046/j.1365-2923.2000.00758.x

Kilroy, D. (2006, febrero). Clinical supervision in the emergency department: A critical incident study. EMJ: Emergency Medicine Journal, 23(2), 105-108. http://doi.org/10.1136/emj.2004.022913

Lawshe, C. (1975). A quantitative approach to content validity. Personnel Psychology, 28(1), 563-575. Recuperado de http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.460.9380&rep=rep1&type=pdf

Lee, R. & Yin Kwan, C. (1997). The use of problem-based learning in medical education. Journal of Medical Education, 1(2), 149-157. Recuperado de https://surgery.mcmaster.ca/docs/default-source/faculty-resources/pblarticle.pdf?sfvrsn=2

Levy, J., Varela, J., & Abad, J. (2006). Modelización con estructuras de covarianzas en ciencias sociales: Temas esenciales, avanzados y aportaciones especiales. España: Netbiblo.

Leyva, Y. (2011). Evaluación de competencias médicas. Validez de constructo de pruebas criteriales. Alemania: Editorial Académica Española.

Lifshitz-Guinzberg, A. (2012). La enseñanza clínica en la era moderna. Revista de Investigación en Educación Médica, 1(4), 210-217. Recuperado de http://riem.facmed.unam.mx/sites/all/archivos/V1Num04/08_AR_LA_ENSENANZA_DE_LA_CLINICA.PDF

Lloret, S., Ferreres, A., Hernández, A. & Tomás, I. (2014, septiembre-diciembre). El análisis factorial exploratorio de los ítems: Una guía práctica, revisada y actualizada. Anales de Psicología, 30(3), 1151-1169. Recuperado de http://www.redalyc.org/articulo.oa?id=16731690031

Lombarts, K., Heineman, M. & Arah, O. (2010, 29 de diciembre). Good clinical teachers likely to be specialist role models: Results from a Multicenter Cross-Sectional Survey. PLoS ONE, 5(12), e15202. Doi:10.1371/journal.pone.0015202.

Lorenzo-Seva, U. & Ferrando, P. (2013). FACTOR 9.2: A Comprehensive program for fitting exploratory and semiconfirmatory factor analysis and IRT models. Applied Psychological Measurement, 37(6), 497-498. Doi: 10.1177/0146621613487794.

Luengo, J., Luzón, A. & Torres, M. (2008, diciembre). El enfoque por competencias en el desarrollo de políticas de formación del profesorado. Entrevista con Claude Lessard. Profesorado. Revista de curriculum y formación profesional, 12(3), 1-16. Recuperado de http://www.ugr.es/~recfpro/rev123ART5.pdf

Luna, E. (2002). La participación de docentes y estudiantes en la evaluación de la docencia. México: Plaza y Valdés.

Luna, E., Calderón, N., Caso, J. & Cordero, G. (2012). Desarrollo y validación de un cuestionario de la competencia docente con base en la opinión de los estudiantes. En E. Cisneros-Cohernour, B. García-Cabrero, E. Luna & R. Marín (coords.), Evaluación de competencias docentes en la educación superior (pp. 119-158). México: Red para el Desarrollo y Evaluación/Juan Pablos Editor.

Luna, E., & Reyes, E. (2015, septiembre). Validación de constructo de un cuestionario de evaluación de la competencia docente. Revista Electrónica de Investigación Educativa, 17(3), 13-27. Recuperado de http://redie.uabc.mx/vol17no3/contenido-luna-pinuelas.html

Luna, E. & Torquemada, A. (2008). Los cuestionarios de evaluación de la docencia por los alumnos: Balance y perspectivas de su agenda. Revista Electrónica de Investigación Educativa, 10(número especial), 1-16. Recuperado de: http://redie.uabc.mx/NumEsp1/contenido-lunatorquemada.html

Luna, E., & Rueda, M. (2008). Estado del conocimiento sobre la evaluación de la docencia universitaria 1990-2004. En M. Rueda (coord.). La evaluación de los profesores como recurso para mejorar su práctica (pp. 59-71). México: IISUE-UNAM Educación/Plaza y Valdés Editores.

Marsh H. W. (2007). Students’ evaluations of university teaching: Dimensionality, reliability, validity, potential biases and usefulness. En R. P. Perry & J. C. Smart (eds.), The scholarship of teaching and learning in higher education: An evidence-based perspective (pp. 319-383). Dordrecht, Holanda: Springer.

Martin, P., Kumar, S., Lizarondo, L. & VanErp, A. (2015). Enablers of and barriers to high quality clinical supervision among occupational therapists across Queensland in Australia: Findings from a qualitative study. BMC Health Services Research, 15(413), 1-8. Doi: 10.1186/s12913-015-1085-8.

Martínez-Arias, R. (1996). Psicometría: Teoría de los tests psicológicos. Madrid: Síntesis.

Messick, S. (1989). Validity. En R. L. Linn (ed.), Educational measurement. (3a ed., pp. 13-103). Nueva York: Macmillan.

Messick, S. (1995). Validity of psychological assessment. Validation of inferences from persons’ and performance as scientific inquiry into score meaning. American Psychologist, 50(9), 741-749. Recuperado de http://gaius.fpce.uc.pt/niips/novoplano/mip1/documentos/Messick1995.pdf

Messick, S. (1996). Validity in performance assessments. En W. Phillips (ed.), Technical issues in large-scale performance assessment. Washington, D.C.: National Center for Education Statistics.

Miller, G. (1990, septiembre). The assessment of clinical skills/competence/performance. AcadMed, 65(9), S63-S67. Recuperado de http://www.ncbi.nlm.nih.gov/pubmed/2400509

Milne, D., Aylott, H., Ftzpatrick, H. & Ellis. M. (2008). How does clinical supervision work? Using a “best evidence synthesis” approach to construct a basic model of supervision. The Clinical Supervisor, 27(2) 170-190. Doi: 10.1080/07325220802487915

Morales, P. (2007). Estadística aplicada a las ciencias sociales. Madrid: Universidad Pontifica Comillas.

Muñiz, J. (2010). Las teorías de los tests: Teoría clásica y teoría de la respuesta a los ítems. Papeles del Psicólogo, 31(1), 57-66.

Navarro, N. (2009). Diseño y validación de un instrumento de evaluación clínica. Revista de Educación en Ciencias de la Salud, 6(2), 79-86. Recuperado de http://www2.udec.cl/ofem/recs/anteriores/vol622009/artinv6209a.pdf

Navas, M, (1994). Teoría clásica de los tests versus teoría de respuesta al ítem. Psicología 15(1).

Olsson, U. (1979, diciembre). Maximum likelihood estimation of the polychoric correlation coefficient. Psychometrika, 44(4), 443-460. Recuperado de http://link.springer.com/article/10.1007%2FBF02296207

Paice, E., Heard, S., & Moss, F. (2002, 28 de septiembre). How important are role models in making good doctors? British Medicine Journal, 325(7366), 707-710.

Razmjou, S., Reza, H., Kouhpayehzadeh, J., & Soltani-Arabshahi, K. (2015). Comparison of quality of clinical supervision as perceived by attending physicians and residents in university teaching hospitals in Tehran. Medical Journal of the Islamic Republic of Iran, 29(1), 702-706. Recuperado de http://www.ncbi.nlm.nih.gov/pubmed/26793639

Reyes, E. (2014, junio). Validez del cuestionario de opinión de alumnos universitarios sobre la competencia docente. (Tesis doctoral). Ensenada, México: UABC. Recuperado de http://iide.ens.uabc.mx/images/pdf/tesis/DCE/Tesis%20DCE%20Erika%20Paola%20Reyes%20Pinuelas.pdf

Rodríguez, R., Martínez, A., Ponce, R., Contreras, E., Colina, C. & Cerritos A. (2000). Una nueva estrategia para evaluar la calidad del desempeño docente en las instituciones de educación superior. Revista de Educación Superior, 115, 129-141. Recuperado de http://publicaciones.anuies.mx/acervo/revsup/res115/art9.htm

Rueda, M., Luna, S. E., García, C. B. & Loredo, E. J. (2010). La evaluación de la docencia en las universidades públicas mexicanas: Un diagnóstico para su comprensión y mejora. Revista Iberoamericana de Evaluación Educativa, 3(1e), 77-92. Recuperado de http://rinace.net/riee/numeros/vol3-num1_e/art6.html

Rueda, M. & Elizalde, L. (2008). Evaluación de la docencia y compensación salarial. En M. Rueda (coord.), La evaluación de los profesores como recurso para mejorar su práctica (pp. 89-101). México: IISUE-UNAM/Educación-Plaza y Valdés Editores.

Ruiz, P, González, V. & Fonseca, M. (2012, septiembre-octubre). Una formación en ciencias de la salud basada en la lógica social de las competencias: ¿Profesionales comprometidos o técnicos? Revista de Docencia Universitaria, 10(número extraordinario), 95-117. Recuperado de http://red-u.net/redu/documentos/vol_10_extraordinario_completo.pdf

Sackett, D., Rosenberg, W., Gray, J., Haynes. B., & Richardson, S. (1996). What it is and what it isn’t. British Medical Journal, 312(7023), 71-73. Recuperado de http://www.cebma.org/wp-content/uploads/Sackett-Evidence-Based-Medicine.pdf

Salas, L., Ortiz, A. y Alaminos, I. (2006). La evaluación de la enseñanza en la Facultad de Medicina de la UNAM. Revista Médica del Instituto Mexicano del Seguro Social, 44 (2), 171-180. Recuperado de http://www.medigraphic.com/pdfs/imss/im-2006/im062m.pdf

Santana, L., Lifshitz-Guinzberg, A., Castillo, J. & Prieto, S. (2013). El aprendizaje de la clínica. México: s.e. Recuperado de http://www.fundacionlegadopatronus.org/libro.pdf

Schumacher, D., Bria, C. & Frohna, J. (2013). The quest toward unsupervised practice: Promoting autonomy, not independence. The Journal of American Medical Association, 310(24), 2613-2614. Doi:10.1001/jama.2013.282324

Shulman, L. S. (1989). Paradigmas y programas de investigación en el estudio de la enseñanza: Una perspectiva contemporánea. La investigación de la enseñanza I. Barcelona/Buenos Aires/México: Paidós.

Sinclair, S. (2004). Evidence-based medicine: A new ritual in medical teaching. British Medical Bulletin, 69(1), 179-196. doi:10.1093/bmb/ldh014

Sireci, S. (2009). Packing and unpacking sources of validity evidence. History repeats itself again. En R. Lissitz (ed.), The concept of validity: Revisions, new directions and applications. Estados Unidos: Information Age Publishing.

Spencer, J. (2003, 15 de marzo). Learning and teaching in the clinical environment. British Medical Journal, 326, 591-594.

Tardiff, J. (2008). Desarrollo de un programa por competencias: De la intención a su implementación. Profesorado. Revista de Curriculum y Formación Profesional, 12(3), 1-16. Recuperado de http://www.ugr.es/~recfpro/rev123ART2.pdf

Tiana, A. (2011). Análisis de las competencias básicas como núcleo curricular en la educación obligatoria española. Bordón, 63(1), 63-75. Recuperado de http://dialnet.unirioja.es/servlet/articulo?codigo=3601025

Titscher, S., Meyer, M., Wodak, R. & Vetter, E. (2000). Methods of Text and Discourse Analysis. Londres: Sage Publications.

Tobón, S. (2006). La calidad en la docencia: Aspectos básicos de la educación basada en competencias. En S. Tobón, J. Montoya, B. Ospina, E. M. Gonzalez & E. Dominguez, E. (eds.), Pedagogía y currículo: Una mirada compleja. Medellín: Uniciencia.

Trejo-Mejía, J., Estrada-Salgado, D., Peña-Balderas, J., Garnica-García, J., Ángeles-Cruz, R., Díaz-Reyes, J. & Hernández, R. (2005). Desafíos en la enseñanza de la medicina familiar en el pregrado: El caso de México. Archivos en Medicina Familiar, 7(3), 109-116. Recuperado de http://www.redalyc.org/articulo.oa?id=50730707

Perrenoud, P. (2010). La formación del profesorado: Un compromiso entre visiones inconciliables de la coherencia. Revista Interuniversitaria de Formación del Profesorado, 68(24, 2), 103-122. Recuperado de https://dialnet.unirioja.es/servlet/articulo?codigo=3276051

Tristán, A. (2008). Modificación al modelo de Lawshe para el dictamen cuantitativo de la validez de contenido de un instrumento objetivo. Avances en Medición, 6(1), 37-48. Recuperado de http://www.humanas.unal.edu.co/psicometria/files/8413/8574/6036/Articulo4_Indice_de_validez_de_contenido_37-48.pdf

Universidad Autónoma de Baja California (2009). Acuerdo Nuevo Plan de Medicina. Mexicali: Autor.

Universidad Autónoma de Baja California (s.f.). Registro de estadística poblacional, periodo escolar 2016-1. Recuperado de http://csege.uabc.mx/documents/10845/34287/Poblaci%C3%B3n%20Estudiantil%202016-1

Valle, R., Alaminos, I., Contreras, E., Salas, L., Tomasini, P. & Varela, M. (2004). Student Questionnaire to Evaluate Basic Medical Science Teaching (METEQ-B). Revista de Medicina del Instituto Mexicano del Seguro Social, 42(5), 405-411. Recuperado de http://www.facmed.unam.mx/sem/pdf/articulosrocio/StudentQuestionnaire.pdf

Vaughan, B. (2015). Developing a clinical teaching quality questionnaire for use in a university osteopathic pre-registration teaching program. BMC Medical Education, 15(70). Doi: 10.1186/s12909-015-0358-6

Velicer, W. F. & Fava, J. L. (1998). Effects of variable and subject sampling on factor pattern recovery. Psychological Methods, 3(2), 231-251. Recuperado de https://www.researchgate.net/publication/232509045_Effects_of_Variable_and_Subject_Sampling_on_Factor_Pattern_Recovery

Viswanthan, M. (2005). Measurement error and research design. Estados Unidos: Sage.

Weissmann, P., Branch, W., Gracey, C., Haidet, P. & Frankel, R. (2006). Role modeling humanistic behavior: Learning bedside manner from the experts. Academic Medicine, 81(7), 661-667. Recuperado de http://www.ncbi.nlm.nih.gov/pubmed/16799294

Wheeler, S. & Richards, K. (2007). The impact of clinical supervision on counselors and therapists, their practice and their clients. A systematic review of the literature. Couns Psychother Res, 7(1), 54-65. Recuperado de http://www.ncbi.nlm.nih.gov/pubmedhealth/PMH0025383/

Wood, D. (2003). Problem based learning. BMJ: British Medical Journal, 326(7384), 328-330. Recuperado de http://www.ncbi.nlm.nih.gov/pmc/articles/PMC1125189/

Yela, M. (1996). Los test y el análisis factorial. Psicothema, 8(1), 73-88. Recuperado de http://www.psicothema.com/psicothema.asp?id=654

Zabalza, M. (2007). Competencias docentes del profesorado universitario. Calidad y desarrollo profesional. Madrid: Narcea.

APÉNDICE A

Guion de entrevista para la caracterización de la supervisión clínica de la licenciatura en medicina de la UABC

APÉNDICE B

Selección de reactivos

APÉNDICE C

Banco de ítems depurado

1. Puntualiza los conceptos importantes involucrados en la supervisión.

2. Explica el marco reglamentario y los procesos administrativos de la institución sede donde se desarrollan las prácticas clínicas.

3. Informa el marco reglamentario que orienta el ejercicio de la profesión (código de ética, normas oficiales, entre otras).

4. Explica las normas de seguridad (protección civil) que se deben atender en la institución sede.

5. Explicita la orientación (enfoque y/o modelo) del plan de supervisión.

6. En las primeras clases identifica los conocimientos de los estudiantes sobre la asignatura en el marco de la supervisión.

7. Presenta el plan general de supervisión.

8. Define las unidades de aprendizaje en el programa de supervisión.

9. Presenta los criterios de evaluación del programa de supervisión.

10. Realiza actividades para presentarse ante los alumnos, que se conozcan entre ellos y se integren al grupo.

11. Presenta a los estudiantes con los profesionales y personal involucrado en el servicio que se brinda en la sede.

12. Realiza visitas al escenario con los estudiantes para que conozcan la población, instalaciones, servicios y recursos.

13. Sugiere a los alumnos estrategias e instrumentos para identificar las necesidades de atención de los usuarios del servicio.

14. Guía a los alumnos en la elaboración de un cronograma de trabajo que se ajuste a los requerimientos del programa en la sede.
15. Guía a los alumnos en la elaboración de un cronograma de trabajo que se ajuste a las necesidades de servicio de los usuarios.

16. Guía a los alumnos para que identifiquen los recursos pertinentes para la intervención a partir de los propósitos del programa y las necesidades del usuario.

17. Orienta a los alumnos para que incluyan en la planificación de la intervención: lineamientos, procedimientos e instrumentos para realizar detección de necesidades.

18. Ante la presentación de una problemática determinada, promueve que los alumnos colaboren y propongan soluciones.

19. Promueve que los estudiantes apliquen estrategias que mejoren su desempeño individual y grupal.

20. Plantea situaciones de la sede que exigen a los estudiantes tomar decisiones sobre los procedimientos más adecuados para desarrollar su intervención.

21. Organiza sesiones de análisis de casos para que los alumnos vinculen la teoría con la práctica.

22. Desarrolla sesiones de análisis de situaciones prácticas de intervención para que los alumnos reflexionen sobre la dimensión teórica.

23. Desarrolla sesiones de análisis de situaciones prácticas de intervención para que los alumnos reflexionen sobre la dimensión práctica.

24. Desarrolla sesiones de análisis de situaciones prácticas de intervención para que los alumnos reflexionen sobre la dimensión ética.

25. Selecciona diversas estrategias didácticas acordes al nivel de desempeño del alumno para que realice eficazmente la intervención (como el modelamiento, discusión de videos, etcétera).

26. Promueve que los alumnos participen de acuerdo con sus necesidades de formación.

27. En el transcurso de una intervención se incorpora para modelar y/o corregir a los alumnos.

28. Observa y retroalimenta a los alumnos en la ejecución de algún procedimiento.

29. Utiliza diversos recursos didácticos para mostrar a los estudiantes cómo intervenir eficazmente en el escenario (videograbaciones, transcripciones de entrevistas, informes).

30. Contempla, durante la supervisión, la asignación de un tiempo y espacio apropiados para que los alumnos reflexionen acerca de los sentimientos experimentados en diferentes etapas o situaciones del proceso de intervención.

31. Cuando los alumnos se enfrentan a una situación de crisis, antes o durante la intervención, promueve apoyos de contención.

32. Promueve que los alumnos dialoguen acerca de los factores que influyen en los alcances y limitaciones de sus intervenciones.

33. Guía a los estudiantes en la selección y uso de instrumentos para que documenten y den seguimiento a sus intervenciones.

34. Explica a los estudiantes los criterios de desempeño que deben alcanzar para garantizar una intervención exitosa en la sede.

35. Al final de las sesiones identifica los avances y limitantes de los alumnos en su intervención para proporcionar retroalimentación positiva, constructiva y correctiva.

36. Durante la retroalimentación favorece que los alumnos analicen su propio desempeño y expresen juicios de valor fundamentados.

37. Sugiere a los estudiantes materiales y lecturas específicas de acuerdo con las necesidades que detectó durante su intervención.

38. Apoya a los estudiantes a través de modelamiento e intervención directa para la solución de problemas que se presentan en el escenario.

39. Apoya a los estudiantes para que resuelvan eficazmente incidentes o situaciones imprevistas.

40. Promueve la autoevaluación de los estudiantes.

41. Propicia que los estudiantes participen en la evaluación de desempeño de sus compañeros de equipo.

42. Proporciona explicaciones e instrucciones claras y precisas.

43. Se expresa de manera clara y coherente en los escritos que envía o entrega a los estudiantes y comunidad del escenario.

44. Manifiesta sus emociones de manera oportuna ante situaciones que surgen durante el proceso de supervisión.

45. Manifiesta sus emociones de manera respetuosa ante situaciones que surjan durante el proceso de supervisión.

46. Identifica situaciones, durante la supervisión, en las que resulta pertinente compartir vivencias profesionales que contribuyan a mejorar el desempeño de los alumnos.

47. Respeta los diferentes puntos de vista de los estudiantes.

48. Promueve que los estudiantes expresen sus diferentes puntos de vista.

49. Genera confianza en los estudiantes para que manifiesten los sentimientos y estados de ánimo que afectan su desempeño.

50. Interactúa de forma amable con los estudiantes.

51. Se comunica de manera respetuosa con los alumnos.

52. Retoma los planteamientos de los estudiantes durante el desarrollo de las actividades en las sesiones grupales para promover la participación.

53. Durante las sesiones de supervisión considera un tiempo razonable para que el alumno pueda responder.

54. Comunica a las estudiantes altas expectativas de desempeño.

55. Realiza evaluaciones para retroalimentar a los alumnos sobre su avance en el proceso de adquisición de las competencias.

56. Realiza evaluaciones para retroalimentar sobre el logro de las metas de formación.

57. Utiliza diversas estrategias y recursos para evaluar el desempeño de los alumnos.

58. Promueve que los alumnos opinen sobre los procesos de evaluación.

59. Retroalimenta a los alumnos sobre los logros alcanzados en su desempeño.

60. Ofrece recomendaciones específicas para mejorar el desempeño de los alumnos.

APÉNDICE D

Relación de reactivos originales y modificados

APÉNDICE E

Formato de validación de contenido de la matriz de planeación

APÉNDICE F

Cuestionario de apreciación estudiantil de la competencia de supervisión clínica en medicina

APÉNDICE G

Instrumento de validación de contenido del cuestionario de apreciación estudiantil de la competencia de supervisión en campos clínicos de medicina

LEGALES

Esta investigación fue dictaminada por pares académicos

Villavicencio Martínez, Rubén Abdel.

Evaluación de la competencia docente en el ámbito de la enseñanza clínica de

medicina [recurso electrónico] / Rubén Abdel Villavicencio Martínez.-- Mexicali, Baja

California : Universidad Autónoma de Baja California, 2019.

1 recurso en línea. (Selección Anual para el Libro Universitario)

ISBN: 978-607-607-566-1

1. Educación médica -- Evaluación. 2. Formación profesional de maestros -- Evaluación. 3.

Capacitación docente en medicina. Universidad Autónoma de Baja California. II. t. III s.

R751 V55 2019

©D.R. 2019 Rubén Abdel Villavicencio Martínez

Las características de esta publicación son propiedad de la

Universidad Autónoma de Baja California.

Departamento de Editorial. Av. Reforma 1375.

Col. Nueva. Mexicali, Baja California, México. C.P. 21100.

Teléfono: (686) 552-1056.

Correo electrónico: editorial@uabc.edu.mx

www.uabc.mx

ISBN: 978-607-607-566-1

Coordinación editorial: Laura Figueroa Lizárraga.

Formación electrónica: Lilian Guadalupe Beckham Lara.

Edición: Gerardo Ávila Pérez.

Portada: César Alonso Cervantes Vargas.

Universidad Autónoma de Baja California

Dr. Daniel Octavio Valdez Delgadillo

Rector

Dr. Édgar Ismael Alarcón Meza

Secretario general

Dra. Mónica Lacavex Berumen

Vicerrectora Campus Ensenada

Dra. Gisela Montero Alpírez

Vicerrectora Campus Mexicali

Mtra. Edith Montiel Ayala

Vicerrectora Campus Tijuana

DMtro. Jorge Magdaleno Arenas

Secretario de Rectoría e Imagen Institucional