Índice

PRESENTACIÓN

Evaluación de los docentes, evaluación institucional y planificación estratégica en el contexto universitario latinoamericano

El desarrollo de la docencia en las Instituciones de Educación Superior: las condiciones contextuales

Condiciones contextuales para el desarrollo de la docencia en una universidad del Sureste de México

Algunas consideraciones sobre la evaluación de la docencia en dos universidades venezolanas

Evaluación docente en la educación superior: Un dialogo comparativo México-Brasil

El uso de los resultados de la evaluación docente

Formación y evaluación de profesores: la experiencia de una red de colaboración

Evaluación de las competencias docentes para la tutoría universitaria

Competencias docentes que demanda el plan de estudios 2012 de la Licenciatura en Educación Primaria para la actividad frente a grupo

Estilos educativos familiares y evaluación de sistemas educativos

El modelo educativo y la evaluación docente como factores que influyen en la práctica docente en la Universidad Iberoamericana, Ciudad de México

Metaevaluación de los sistemas de evaluación de la docencia Meta-Evaluation of Systems for the Evaluation of Teaching

Metaevaluación: herramienta para la valoración integral del proceso evaluativo docente de la UAEH

Metaevaluación de un sistema de evaluación docente en una Universidad Pública Mexicana

Metaevaluación educativa: conceptualización, alcances y desafíos metodológicos

Diseño y validación de los instrumentos de evaluación de la docencia. Las concepciones de profesores universitarios sobre la función docente de supervisión en escenarios de práctica profesional en Psicología

Desarrollo de un cuestionario de autoevaluación de la competencia de supervisión de clínica en medicina

Diseño y validación de instrumentos en el proceso de evaluación docente de la UAEH. Una experiencia metodológica en busca de mejora

La reflexión como herramienta para la evaluación y la mejora de la práctica docente en la universidad

Evaluación de la docencia: una posibilidad de mejora permanente en la División de estudios profesionales de la ENEO-UNAM

Análisis de los resultados de un proceso de validación de indicadores de contexto que podrían afectar el desarrollo de la docencia

La relevancia y susceptibilidad de cambio en la docencia del valor social subjetivo de la educación: validación de constructo

El desempeño docente. Análisis de un instrumento

Validación de un cuestionario sobre las actitudes, conocimientos y prácticas de los docentes de la ciudad de Esmeraldas (Ecuador) ante la Educación Inclusiva

Análisis de un instrumento para la evaluación del profesorado en el Instituto Tecnológico de Costa Rica

Construcción de un instrumento de medición orientado a la identificación de perfiles profesionales docentes

Percepción de estudiantes universitarios del proceso de evaluación docente, un estudio correlacional

Factor

BIBLIOGRAFÍA

Referencias - Evaluación de los docentes, evaluación institucional y planificación estratégica en el contexto universitario latinoamericano.

Referencias - El desarrollo de la docencia en las Instituciones de Educación Superior: las condiciones contextuales.

Referencias - Condiciones contextuales para el desarrollo de la docencia en una universidad del Sureste de México.

Referencias - Algunas consideraciones sobre la evaluación de la docencia en dos universidades venezolanas.

Referencias - Evaluación docente en la educación superior: Un dialogo comparativo México-Brasil.

Referencias - El uso de los resultados de la evaluación docente.

Referencias - Formación y evaluación de profesores: la experiencia de una red de colaboración.

Referencias- Competencias docentes que demanda el plan de estudios 2012 de la Licenciatura en Educación Primaria para la actividad frente a grupo.

Referencias - Estilos educativos familiares y evaluación de sistemas educativos.

Referencias - El modelo educativo y la evaluación docente como factores que influyen en la práctica docente en la Universidad Iberoamericana, Ciudad de México.

References - Meta-Evaluation of Systems for the Evaluation of Teaching.

Referencias - Metaevaluación: herramienta para la valoración integral del proceso evaluativo docente de la UAEH.

Referencias - Metaevaluación de un sistema de evaluación docente en una Universidad Pública Mexicana.

Referencias - Metaevaluación educativa: conceptualización, alcances y desafíos metodológicos.

Referencias - Las concepciones de profesores universitarios sobre la función docente de supervisión en escenarios de práctica profesional en Psicología.

Referencias - Desarrollo de un cuestionario de autoevaluación de la competencia de supervisión de clínica en medicina.

Anexo 1. Cuestionario de autoevaluación para supervisores clínicos en medicina.

Referencias - Diseño y validación de instrumentos en el proceso de evaluación docente de la UAEH. Una experiencia metodológica en busca de mejora.

Referencias - La reflexión como herramienta para la evaluación y la mejora de la práctica docente en la universidad.

Referencias - Evaluación de la docencia: una posibilidad de mejora permanente en la División de estudios profesionales de la ENEO-UNAM.

Referencias - Análisis de los resultados de un proceso de validación de indicadores de contexto que podrían afectar el desarrollo de la docencia.

Referencias - Análisis de los resultados de un proceso de validación de indicadores de contexto que podrían afectar el desarrollo de la docencia.

Referencias - El desempeño docente. Análisis de un instrumento

Referencias - Validación de un cuestionario sobre las actitudes, conocimientos y prácticas de los docentes de la ciudad de Esmeraldas (Ecuador) ante la Educación Inclusiva.

Referencias - Validación de un cuestionario sobre las actitudes, conocimientos y prácticas de los docentes de la ciudad de Esmeraldas (Ecuador) ante la Educación Inclusiva.

Anexo 1. Universidad de Valencia departamento métodos de investigación y diagnóstico en educación. Doctorado en intervención educativa.

Referencias - Construcción de un instrumento de medición orientado a la identificación de perfiles profesionales docentes.

Referencias - Percepción de estudiantes universitarios del proceso de evaluación docente, un estudio correlacional.

LEGALES

Universidad Autónoma de Baja California

Experiencias de evaluación de la docencia en Iberoamérica

Edna Luna Serrano y Mario Rueda Beltrán

(coordinadores)

PRESENTACIÓN

Este libro reúne la mayor parte de los trabajos del V Coloquio organizado por la Red Iberoamericana de Investigadores Sobre Evaluación de la Docencia (RIIED), los primeros días de septiembre de 2014 en Ensenada, Baja California, México. El V Coloquio se realizó bajo el patrocinio y coordinación de la Universidad Autónoma de Baja California a través del Instituto de Investigación y Desarrollo Educativo y el apoyo del Sistema Educativo Estatal[1].

El volumen representa un conjunto de experiencias iberoamericanas de evaluación de la docencia, en las que se identifican políticas, propuestas metodológicas, enfoques e instrumentos para contribuir a la calidad de la enseñanza. En los tres capítulos en que está dividido, se reflexiona sobre estas experiencias y prácticas específicas con la finalidad de avanzar hacia su metaevaluación.

En cada uno, se pone énfasis en la evaluación de la docencia en los sistemas educativos e instituciones, la metaevaluación o el diseño y validación de los instrumentos de evaluación de la docencia. En el primero, el lector encontrará referencias a la planificación estratégica en el nivel universitario latinoamericano, al papel del contexto institucional en diferentes organizaciones de este tipo, así como algunas consideraciones sobre la evaluación de la docencia en distintos países. De igual manera se abordan aspectos vinculados con la evaluación, como sus usos, la formación, las competencias para el desempeño de la tutoría, las derivadas de una reforma, los estilos educativos familiares o el modelo educativo impulsado desde la dirección central.

En el segundo, se incluyen los documentos que centran su atención en los distintos aspectos a considerar en los procedimientos para desarrollar la metaevaluación de los sistemas de evaluación de la docencia, con distintas experiencias realizadas en una diversidad de contextos institucionales.

En el último se incluyen los trabajos de mayor profundidad en los cuales se abordan los diversos aspectos del diseño y la validación de los instrumentos de evaluación de la docencia; los conceptuales, los referidos a su aplicación, o a su adaptación en situaciones de formación específicas, al punto de vista de sus protagonistas, a los procesos de validación de indicadores de contexto o a sus propiedades métricas. De igual manera se plantean la validación de constructo, la cohesión social, la educación inclusiva, la adaptabilidad de los instrumentos en instituciones específicas, perfiles profesionales o la perspectiva estudiantil.

Consideramos que el conjunto de trabajos contribuirá a mantener el interés por la evaluación de la docencia, a resaltar la importancia de la labor docente y recuperar su tradicional prestigio, así como alentar la discusión e intercambio que nos conduzca a una mayor comprensión de esta actividad y a su perfeccionamiento

1 Agradecimiento especial a la Mtra. Sandra Conzuelo por su dedicada labor en la recopilación de los textos y a la Mtra. Yareni Annalie Domínguez por su cuidadosa lectura.

EVALUACIÓN DE LOS DOCENTES, EVALUACIÓN INSTITUCIONAL Y PLANIFICACIÓN ESTRATÉGICA EN EL CONTEXTO UNIVERSITARIO LATINOAMERICANO

Norberto Fernández Lamarra

Martín Aiello

Cristian Pérez Centeno

Este trabajo busca dar cuenta del estado de situación de acerca de los procesos de evaluación que se dan a nivel de las instituciones universitarias en el contexto latinoamericano, tanto en relación con la función docente como a nivel institucional, así como el modo en que ambos se integran –o no- con el proceso de planificación estratégica de las instituciones. A partir de ello, se plantea los principales desafíos que se le plantean a las universidades en la actualidad para atender las necesidades sociales de su futuro inmediato y mediato.

Metodológicamente, presentaremos, en primer lugar, el contexto sobre el cual este estado de situación y los desafíos tienen lugar: cuál ha sido la dinámica del sistema de educación superior latinoamericano en las últimas décadas y de qué modo impactaron en las instituciones universitarias las políticas neoliberales y su lógica mercantilista así como los procesos de globalización. Particularmente describiremos el modo en que el sistema se masifica en niveles inéditos, se diversifica y privatiza institucionalmente y queda expuesto a una alta heterogeneidad de los niveles de calidad, afectando los logros alcanzados respecto de la ampliación del acceso a sectores de población tradicionalmente marginados de la educación superior y, por lo tanto, de su democratización.

En segundo término, abordaremos los principales desafíos que este contexto presenta a la universidad en América Latina para hacer frente a las nuevas responsabilidades que se les plantean en lo político, lo social, lo institucional y lo académico. La apuesta es alimentar los debates que deben sostenerse para asegurar su transformación y adecuación a las exigencias que le plantea el nuevo siglo. Entre los más importantes destacaremos las contribuciones político-institucionales de los sistemas universitarios al afianzamiento de la gobernabilidad democrática de la región en su conjunto y en cada uno de los países. Un aporte sustantivo de la universidad, como institución social, será el trabajo que pueda realizar en la promoción de consensos básicos en materia de políticas públicas a través de procesos de concertación, la promoción de nuevas modalidades de representación social y de canalización de demandas de participación social, el desarrollo de programas y proyectos articulados con los requerimientos nacionales y sociales, y el mejoramiento de su eficiencia y pertinencia social. Parece, entonces, necesaria la construcción de una nueva y sólida articulación con la sociedad y sus organizaciones representativas tendiendo a establecer una nueva alianza sociedad-universidad.

Posteriormente presentaremos sintéticamente el debate sobre la calidad de las instituciones universitarias, de sus carreras y programas, de sus investigaciones y de sus académicos; así como el de la evaluación de la calidad y su aseguramiento. Una discusión avivada en el marco del denominado “Estado Evaluador”, del impulso de los organismos internacionales y de los posicionamientos respecto de la agenda político-educativa neoliberal.

Finalmente, propondremos algunas conclusiones que entendemos permitirán el desarrollo de estrategias de evaluación de los docentes y las universidades integradas a su planificación estratégica con el objetivo de asegurar un eficaz movimiento permanente hacia la mejora y la calidad.

EVOLUCIÓN DE LA EDUCACIÓN SUPERIOR EN AMÉRICA LATINA[2]

La universidad en América Latina, hasta la década de los ochenta, ha sido predominantemente estatal y con autonomía institucional y académica. Hacia fines de esa década e inicios de los noventa, en el marco de los procesos de globalización se introdujeron estrategias de carácter neoliberal que tendieron a reemplazar las políticas de bienestar impulsadas por el Estado, por otras en que predominaban las concepciones de mercado y de privatización de los servicios públicos, entre ellos la educación. Además, las sucesivas crisis nacionales en materia económica, llevaron a una fuerte restricción del financiamiento público para los sectores sociales en general, y para la educación y la universidad en particular. A pesar de ello y como ya se señaló, durante la década de los noventa se incrementó la fuerte demanda por educación superior, reflejada en el aumento significativo de las tasas de escolarización y del número de estudiantes.

La educación superior en América Latina registró importantes incrementos desde la segunda mitad del siglo XX: así, el número de instituciones universitarias pasó de 75 en 1950 a más de 3.000 en los últimos años, las que en su mayoría son particulares. El número de estudiantes pasó de 276,000 en 1950 a casi 18 millones en la actualidad; es decir, que la matrícula se multiplicó, aproximadamente, 65 veces.

Para atender el aumento de las demandas crecientes de educación superior, se crearon diversos tipos de instituciones –en su mayoría, como ya se ha señalado, de carácter privado- sin criterios previos en cuanto a niveles de calidad y de pertinencia institucional. Esto generó, por lo tanto, una fuerte diversificación de la educación superior con una simultánea privatización en materia institucional y con una gran heterogeneidad de los niveles de calidad.

En América Latina –entre el año 1950 y el año 2007– las instituciones universitarias se multiplicaron por 40 en ese periodo y los estudiantes por 60. Entre los años 1996-2005, la tasa de incremento anual de la matrícula fue del 6% (8% para el sector privado y sólo del 2,5% para el público) La tasa bruta de escolarización terciaria se multiplicó por 15, aunque aún sigue siendo baja en relación con la de EE.UU. (80,7%) y Europa (63%), y aún con la de Asia y Oceanía (46%). El crecimiento de la matrícula ha llevado a un incremento significativo de la tasa bruta de escolarización terciaria: del 2% en 1950 a aproximadamente el 31% en 2007.

Para América Latina –en el año 2003– el promedio de matrícula de la educación superior que concurría a instituciones particulares oscilaba entre el 50% y el 60%. En Brasil era del orden del 80%. En Colombia y Chile del 60%; en Centroamérica era, también, de alrededor del 60%. Para México era de alrededor del 45%, para Argentina del 20%, para Uruguay del 10%. En Cuba es totalmente pública. En el caso de Argentina, si se toma únicamente la matrícula universitaria, en el año 2006 sólo el 14% concurría a universidades privadas. Sin embargo,

La explosión matricular generó un escenario para el cual la universidad tradicional no estaba preparada, tanto en lo estrictamente físico –recursos, infraestructura, etc. – como en lo referente a la disponibilidad de recursos humanos y sobre todo de los presupuestos mínimos para absorber con posibilidades de éxito estos desafíos. Las universidades sufrieron un crecimiento que las terminó desbordando (Lémez, 2005).

La privatización y la fuerte diversificación –tanto en su organización como en su calidad– con la inclusión de modelos universitarios diferentes y contradictorios, manifiestan una situación claramente diferente de lo que había ocurrido hasta la década de los años ochenta: hasta ese momento la educación superior había sido predominantemente estatal –como ya se señaló- y con fuerte autonomía institucional y académica de las universidades, a partir del Movimiento de la Reforma Universitaria originado en la Universidad Nacional de Córdoba, Argentina, en el año 1918. El modelo predominante era el “napoleónico”, en el que las facultades de carácter profesional se constituían en el centro de la organización universitaria. En ese modelo, las carreras profesionales son largas, de tipo “túnel” –como las denominan los europeos–, donde los alumnos obtienen el título luego de 6 o 7 años de estudios y no existen ciclos ni titulaciones intermedias.

A lo largo de casi todo el siglo XX, el modelo napoleónico de universidad y las concepciones de autonomía universitaria y de primacía de la universidad pública se fueron afianzando en la mayor parte de los países latinoamericanos. El número de instituciones universitarias –fundamentalmente estatales– fue creciendo gradualmente y los niveles de calidad se mantuvieron relativamente homogéneos hasta los ochenta. Conjuntamente con la diversificación institucional y la disparidad en relación con la calidad, aparece una gran heterogeneidad en materia de modelos universitarios que se constituyen más como “deformaciones” del modelo napoleónico que como superadores del mismo. Se podría plantear que, en muchos casos, se mantienen y se profundizan ciertos aspectos negativos del modelo profesionalizante por facultades y se introducen ciertos aspectos menos deseables de algunos de los modelos vigentes en Estados Unidos (tipo College). Así, se crean en algunos países de América Latina instituciones universitarias particulares, denominadas “universidades garajes”, por sus dimensiones, por su baja calidad y por el tipo de infraestructura física disponible. En varios países es difícil actualizar la información sobre el número de instituciones de educación superior existentes por la falta de registros adecuados (por ello, en la información ofrecida se ha puesto “aproximadamente”). A esta caótica heterogeneidad institucional se agrega la fuerte disparidad en materia de planes de estudio, con denominaciones de titulaciones muy diversas y con objetivos formativos y, por ende, duración de los estudios muy disímiles. Así, se encuentran en un mismo país denominaciones muy diferentes de las titulaciones de una misma área profesional y, a su vez, duraciones también distintas de una misma carrera profesional.

Frente a esta situación, ha sido necesario establecer procesos de regulación de la educación superior que hicieran frente al aumento del número y a la disparidad en la calidad de las instituciones, en especial de las particulares. Por ejemplo, en países como Argentina, Chile, Colombia y Uruguay, se pusieron en funcionamiento distintos mecanismos, en algunos casos implementados a través de normas jurídicas, para regular ya sea tanto la apertura o el funcionamiento de dichas instituciones como el de las carreras de grado y posgrado.

En el nuevo siglo, la evolución de la educación superior ha intensificado su carácter elitista. El acceso a las instituciones de educación superior, públicas y privadas de mejor calidad ha quedado reservado casi exclusivamente a los jóvenes de clase media y media alta, provenientes de escuelas medias públicas y privadas de buena calidad. Los de menos nivel social, provenientes de escuelas medias públicas de más baja calidad, han tenido que asistir a instituciones de educación superior, universitarias y no universitarias de muy baja calidad, en general privadas, cuyo número, lamentablemente, ha crecido sustantivamente.

Se está asistiendo a la generación de un nuevo proceso de “fraude”, porque si los estudiantes de menor nivel social egresan ese último tipo de instituciones –luego de un gran esfuerzo por parte de sus familias y de ellos mismos- sus títulos tendrán una más baja valoración en el mercado de trabajo; es decir, menos posibilidades ocupacionales y menores salarios. Además, al no modificarse las condiciones estructurales de la desigualdad social, con dificultades de acceso y permanencia y con la persistencia de modelos universitarios diseñados para los sectores medios y altos y con fuertes desigualdades de formación en el nivel medio, predomina una perspectiva encubridora, que preserva el status quo, lo que implica una lógica de reproducción de la desigualdad cultural socialmente condicionada (Ezcurra, 2011). O, como plantea Dias Sobrinho (2011), la exclusión se registra dentro del sistema por la oferta de enseñanza precaria y de baja calidad en un alto número de instituciones de educación superior.

En la Argentina, por ejemplo, que tiene un sistema prácticamente de “libre ingreso” a las universidades públicas, entre el 50% y el 60% de los ingresantes deserta habiendo cursado sólo el primer año o parte limitada del segundo, luego de haber permanecido varios años en las instituciones universitarias. Prevalece la concepción de que fallan los estudiantes, no las instituciones ni el sistema.

DESAFÍOS POLÍTICOS PARA LA UNIVERSIDAD EN AMÉRICA LATINA

En diversos trabajos previos (Fernández Lamarra, 2003, 2005a, 2005b, 2007, 2009, 2010, 2012 y 2014; Fernández Lamarra y otros, 2012) hemos señalado los principales desafíos que las universidades deben asumir –desde nuestra perspectiva- frente a las nuevas responsabilidades que se les plantean en lo político, en lo social y en lo académico en América Latina, frente a las exigencias cada vez más urgentes de la Sociedad del Conocimiento y de las Nuevas Tecnologías. Estos desafíos -y muchos otros- deben considerarse en los necesarios debates que deben sostenerse para asegurar que nuestras instituciones educativas y universitarias respondan a los requerimientos políticos, sociales y académicos, tanto de largo plazo como más inmediatos. Es de esperar que estos debates posibiliten estructurar entre todos un nuevo proyecto de Reforma Universitaria que –como homenaje a los estudiantes de Córdoba de 1918- refleje los lineamientos para atender dichos requerimientos. Ojalá esta propuesta de Reforma Universitaria para el siglo XXI pueda elaborarse antes de alcanzar –ya muy pronto- el centenario de la Reforma Universitaria.

Los contextos socio-políticos predominantes en América Latina en los últimos años muestran un difícil proceso hacia el mejoramiento de las condiciones para asegurar la gobernabilidad democrática de cada uno de los países. Muchos de ellos están transitando complejas situaciones de consolidación gradual de la democracia, conjuntamente con los impactos de la globalización, de la imposición de las economías de mercado, de la internacionalización de las decisiones económicas, de las reformas del Estado de orientación neoliberal, de las crisis de las economías nacionales y de procesos crecientes de pobreza, exclusión social y marginalidad.

Simultáneamente, los países de América Latina realizan esfuerzos, a veces en condiciones muy difíciles, para integrarse en bloques regionales -como, por ejemplo, MERCOSUR, Comunidad Andina de Naciones, Centroamérica y el NAFTA- y simultáneamente hacen frente a los desafíos de la nueva sociedad del conocimiento y de la tecnología.

La pertinencia político-institucional de los sistemas universitarios se define en términos de sus contribuciones al afianzamiento de la gobernabilidad democrática de la región en su conjunto y en cada uno de sus países. De ahí que la universidad debe trabajar efectivamente para alcanzar consensos básicos en materia de políticas públicas a través de procesos de concertación, para promover nuevas modalidades de representación social, para establecer canales institucionales para las demandas de participación social, para el desarrollo y aceptación colectiva de valores ético-morales en el marco de una cultura cívica democrática, para el desarrollo en sus estudiantes y graduados de actitudes y juicios críticos sobre instituciones, procesos y actores y para que la educación y la universidad se constituyan nuevamente en medios eficientes de movilidad e integración social. Particularmente, para atender prioritariamente los requerimientos de los sectores sociales pobres, de manera de posibilitar su mejor inserción en el sistema educativo y en la educación superior, aprovechando todas las herramientas técnicas, tecnológicas, institucionales y pedagógicas a su alcance.

En este sentido, es central favorecer el desarrollo institucional -a mediano y largo plazo-, basado en programas y proyectos específicos de carácter estratégico, articulados con los requerimientos nacionales y de cada región establecidos con una orientación prospectiva. Así como también el establecimiento –y fortalecimiento de las existentes- de redes académicas interinstitucionales nacionales, regionales e internacionales que incrementen el intercambio de estudiantes, docentes e investigadores y el establecimiento de programas articulados de docencia, investigación y extensión.

Por otra parte, el fortalecimiento de la gobernabilidad democrática requiere de la mejor gobernabilidad de los sistemas educativos y de la universidad en términos de legitimidad, eficiencia y participación (Puelles Benítez y Urzúa, 1996). La legitimidad plantea la necesidad de políticas educativas y universitarias establecidas a través de procesos de concertación, con planes y programas de carácter estratégico, que consideren escenarios alternativos de largo plazo, que aseguren la pertinencia de contenidos, la calidad de la formación y de las instituciones y fomenten la equidad social con el financiamiento disponible. En otras palabras, una sólida articulación con la sociedad y sus organizaciones representativas tendiendo a establecer una nueva alianza sociedad-universidad, que permita asumir sus demandas y posibilitar su participación efectiva en el diseño y desarrollo de las políticas sectoriales e institucionales. Desde su autonomía, el funcionamiento de las instituciones universitarias debe articularse con los sectores del trabajo y la producción, con las organizaciones sociales y con todos los ámbitos públicos y privados pertinentes.

La participación, condición sine qua non de la gobernabilidad democrática, plantea la necesidad de promover un mayor protagonismo de la sociedad organizada en la fijación de las políticas de educación superior y en la conducción de las instituciones universitarias, en sintonía con lo que estamos planteando. Así como ya desde la Reforma Universitaria de 1918 se estableció la participación imprescindible de los claustros de docentes y estudiantes -y luego de los graduados- en la conducción de las universidades, debe considerarse también la participación de representantes de las organizaciones sociales y del Estado, siempre en el marco de una autonomía universitaria fortalecida. Esto, por un lado, exige democratización de los procesos participativos intra y extra universitarios y la promoción de nuevas modalidades de participación y de representación y, por otra parte, democratiza la universidad en términos institucionales y del sistema en su conjunto. Para lo cual, un desafío importante será contar con estructuras institucionales innovadoras que favorezcan nuevas modalidades de conducción y de toma de decisiones, de carácter democrático y ampliamente participativo.

Este nuevo vínculo entre universidad y sociedad en el marco de procesos democratizadores y participativos conlleva un tránsito desde el “Estado Docente” a la “Sociedad Educativa y del Conocimiento”. En este punto, el desafío es la articulación con las políticas y planes del conjunto de la educación y del sistema científico-tecnológico, de manera de responder en forma pertinente a sus desafíos. Asumir que el conocimiento es un factor decisivo para el desarrollo equilibrado de los países, implica que las universidades deben producirlo y utilizarlo para impulsar su propio desarrollo y el de la sociedad en su conjunto. Le cabe a la sociedad en su conjunto y –particularmente- al Estado incrementar sustantivamente los recursos financieros para la educación superior y para la investigación científico-tecnológica, así como mejorar los procesos de asignación y utilización de los disponibles en función de prioridades de mediano y largo plazo.

Como analizaremos en el siguiente apartado, aun cuando en las últimas décadas la calidad y la evaluación –particularmente los procesos de evaluación y acreditación- han tenido un lugar preeminente en el sistema universitario a nivel global, todavía es un desafío vigente el mejoramiento de la calidad de las instituciones universitarias en cuanto a su eficiencia y pertinencia académica y social. La eficiencia exige que la educación superior –así como el conjunto del sistema educativo- brinden respuestas satisfactorias a las necesidades de la población escolar y universitaria y a la sociedad en su conjunto. Esto requiere buena gestión de los procesos y de los recursos humanos, financieros y materiales involucrados, la mayor profesionalización de docentes y no docentes y un proceso permanente de evaluación de resultados y de impacto. Pero, también, tender a superar la fragmentación actual de la educación superior y la heterogeneidad en cuanto a su calidad, promoviendo procesos de convergencia tanto a nivel nacional como regional.

Al respecto, los procesos de evaluación institucional y de acreditación deben tener un carácter permanente y constituirse –verdaderamente- en la base para los cambios e innovaciones institucionales que aseguren la mejora de la calidad y de su pertinencia académica y social. Estos procesos deben facilitar el tránsito de la “cultura de la evaluación” a la de una cultura de gestión responsable, autónoma, pertinente y eficiente a nivel de cada institución.

No queremos soslayar un reto que atiende un señalamiento recurrente que pesa casi sistemáticamente sobre la universidad: su resistencia a los cambios. Más bien podría señalarse que existen tantas experiencias de innovación, cambio y adaptación de la más diversa naturaleza, a cambios internos y externos a su institucionalidad, en aspectos parciales académicos u organizacionales o bien en su integralidad –como en el caso de la Reforma del 18-, como de su rigidez para hacerlo.

La universidad debería constituirse en un ámbito de creatividad e innovación para sí misma y para la sociedad en su conjunto. Para ello –como ya mencionamos- debe superar los problemas de su escasa articulación con la sociedad, el trabajo y la producción; su aislamiento con el resto del sistema educativo; de sus modelos académicos y de gestión tradicionales, con una muy limitada profesionalidad; de la rigidez de sus estructuras académicas; de la escasez de estudios, investigaciones y reflexión sobre sí misma y sobre la educación superior en su conjunto.

De ahí, que sea necesario plantearse nuevas modalidades para la docencia, con nuevos objetivos para la formación, con diseños curriculares innovadores que atiendan los requerimientos académicos y los de la sociedad con una perspectiva de futuro, con renovadas metodologías de enseñanza-aprendizaje y con un enfoque de educación permanente. Miguel A. Escotet plantea la necesidad de construir una universidad

para la innovación, orientada hacia el logro permanente de una vigorosa capacidad de creación y cambio” y “una universidad para el hombre y su medio, orientada al progreso económico y social en el marco de un desarrollo sostenible al servicio de del hombre y su habitat”. También plantea la necesidad de “una universidad que contribuya a ampliar la capacidad de su sociedad para convivir en un mundo interdependiente y cuyo futuro es patrimonio de la sociedad global (2002, p.16).

Por último, digamos que todos estos desafíos que tiene por delante la universidad y que hemos presentado, quizás puedan condensarse en el siguiente: la construcción de nuevos modelos institucionales que, afirmando su autonomía universitaria y cogobierno: fortalezcan su gobernabilidad; asuman una concepción estratégica de reforma y cambio, en un marco de planeamiento y gestión innovador, en lo institucional, en lo académico, en lo organizativo y en lo pedagógico; flexibilicen y profesionalicen las estructuras de gestión institucional, académica y administrativa; planifiquen estratégicamente; incorporen nuevas modalidades de formación; sistematicen procedimientos que aseguren la innovación y el cambio para la mejora; y funcionen integradamente con otras a nivel local e internacional, fortaleciendo los procesos de integración regional y subregional de manera que los sistemas universitarios se incorporen a una alianza estratégica tendiente a construir una comunidad latinoamericana de naciones y un Espacio Común Latinoamericano de Educación Superior.

CONCEPCIONES SOBRE LA CALIDAD Y LA EVALUACIÓN INSTITUCIONAL

Durante las últimas dos décadas, la universidad en América Latina ha interiorizado un debate sobre la calidad de sus instituciones, de sus carreras y sus programas, de sus investigaciones y de sus académicos. Esta discusión ha estado acompañada por otra, necesariamente asociada pero que ha tenido su propia dinámica, sobre la evaluación de la calidad y su aseguramiento.

La problemática de la calidad y su evaluación se ha relacionado con la puesta en marcha de nuevos modelos de políticas educativas, especialmente lo que Neave y Van Vught (1991) denominaron “Estado Evaluador”, con discusiones teóricas sobre los tipos de evaluación y, con la agenda que impulsaron, sobre todo durante la década de los ’90, organismos internacionales como el Banco Mundial. Esto hizo que por un lado se generalizara una disputa desde posicionamientos macropolíticos, en favor o en contra de la agenda neoliberal de los ’90 o de una política activa del gobierno en relación a lo que se denominó cambio del paradigma del “Estado Benévolo” hacia el “Estado Evaluador” (Brunner, 2007). Por otro lado, desde el punto de vista micropolítico, se generalizaron estudios sobre cómo el cuerpo académico había “sufrido” los nuevos procedimientos evaluativos y de otros sobre las descripciones de los procesos.

Lo anteriormente planteado exigió, sobre todo durante los últimos diez años, integrar los conceptos de calidad y de evaluación y los conocimientos técnicos específicos, sin renunciar al posicionamiento en determinadas líneas de políticas universitarias y de concepciones de la universidad y sus misiones para el siglo XXI. El rol central que continúa desempeñando la temática de la calidad y su evaluación, tanto a nivel nacional como regional, hace necesario profundizar el debate sobre las distintas concepciones de calidad en la educación superior, definiendo con mayor precisión sus dimensiones, criterios e indicadores, sus enfoques metodológicos y las estrategias para su aseguramiento y mejoramiento permanente. Se hace necesario también considerar, las experiencias existentes y atender las distintas concepciones que se han desarrollado en Estados Unidos y en Europa. Siguiendo esta línea, presentamos a continuación un panorama de las perspectivas sobre la calidad y su evaluación y su vinculación con los procesos de evaluación institucional universitaria.

A. CONCEPCIONES SOBRE LA CALIDAD

Con anterioridad a la década de los ’90, en América Latina predominaban enfoques en materia de planeamiento y desarrollo de la educación que enfatizaron los aspectos cuantitativos que se relacionaban mayoritariamente con aspectos económicos y sociales. En este primer momento, aunque previo a la implantación de la discusión sobre la calidad educativa, supuso una concepción de calidad ligada a la cobertura. El desafío mayor para los sistemas educativos lo constituía el crecimiento, la ampliación de su cobertura, el aumento de la cantidad de escuelas, la promoción de la formación de docentes, brindando escasa atención a los aspectos sustantivos de la calidad.

Ya en la década del 90 –denominada por algunos especialistas como la “década de la calidad”- se iniciaron discusiones sobre la necesidad de promover la calidad; y se organizaron y pusieron en marcha operativos nacionales y regionales de medición y evaluación de la misma. Como lo señalaron diversos actores, por ejemplo Toranzos (1996), hubo una evolución de las concepciones de la calidad. Inicialmente surgieron visiones mayoritariamente economicistas, donde predominaban las ideas de efectividad y eficiencia de los sistemas y las instituciones, asociadas a mecanismos específicos de evaluación, básicamente centrados en los resultados (entendidos como capacidad de graduar estudiantes) o en la medición de conocimientos cognitivos previamente estipulados.

Luego, estas visiones se fueron enriqueciendo desde diversas perspectivas. Del propio campo de las organizaciones, se trató de incorporar la idea de Calidad Total promovida por la Internacional Standard Organization (ISO) o la aplicación de estándares de calidad de las organizaciones empresarias a las instituciones educativas, como el caso de la European Fundation for Quality Management (EFQM). Uno de los aspectos a resaltar de estos modelos, independientemente de la discusión si se pueden aplicar o no al campo de la educación como derecho, es la introducción de criterios de calidad relacionados con los procesos y no solamente con los resultados.

Paralelamente, perspectivas pedagógicas enriquecieron las concepciones de calidad desde el punto de vista de los aprendizajes, no ligándolo solamente a aspectos meramente cognitivos, sino también a procedimentales, actitudinales y éticos. La consideración no sólo de indicadores de resultados sino también de procesos favoreció la recolección de información para una gestión orientada a la calidad. En cuanto a los aspectos institucionales se incorporó el análisis de la relación de los establecimientos educativos con sus contextos, su impacto social y su pertinencia, asignando a la evaluación una dimensión social, orientada también a mejorar condiciones sociales y económicas en contextos específicos.

Por lo tanto, la calidad puede ser entendida como la conjunción e integración de pertinencia, eficiencia y eficacia, un norte para las instituciones, un derecho de los ciudadanos, un proceso continuo e integrado, una relación entre productos-procesos-resultados tanto como un mérito, un premio a la excelencia, la adecuación a propósitos, y como producto económico o como transformación y cambio.

Como expresara hace casi medio siglo Pirsig (1976), es difícil definir la calidad pero se la reconoce en cuanto se observa. Es decir que debe ser entendida en su composición multidimensional y desde su relatividad en tanto depende de la misión, de los objetivos y de los actores de cada sistema educativo. Díaz Barriga (2007) la define como la capacidad institucional de mostrar el incremento de una serie de indicadores que se demanda a las autoridades responsables de instituciones y organismos.

Siguiendo este razonamiento, se podría afirmar que la mayor calidad de la educación de una unidad educativa está asociada a su capacidad de dar información, independientemente de los aspectos sustantivos de los procesos académicos. En este sentido, hasta el momento, no hay una definición de calidad que se refiera a aspectos más cualitativos relacionados con la formación, el proceso de aprendizaje y los elementos pedagógicos intrínsecos del trabajo educativo (Díaz Barriga, 2007). Esto plantea la consideración sobre cómo se considera la calidad y cómo se encuentran indicios de ésta en una unidad educativa.

B. LAS CONCEPCIONES DE CALIDAD UNIVERSITARIA.

Fernández Lamarra (2005a), por su parte, plantea que en el contexto de una universidad en donde diversos “stakeholders” tienen intereses en ella, la idea de calidad ofrece diversas perspectivas: para los académicos, se refiere a los saberes; para los empleadores, a las competencias; para los estudiantes ,a la capacidad de conseguir un buen empleo; para la sociedad, a ciudadanos respetables y competentes; para el Estado -según la posición que se asuma-, con aspectos vinculados con el desarrollo social y humano o a los requerimientos de capital humano.

Algunas iniciativas, como la European Network for Quality Assurance (ENQA) y la Joint Quality Initiative en el marco del Proceso de Bologna, han contribuido a este debate y a homogeneizar concepciones, estándares e indicadores de calidad en el marco de la Unión Europea. En Estados Unidos y en Canadá –con una larga tradición sobre esta temática- las concepciones y sus metodologías se revisan periódicamente, en función de los requerimientos sociales y profesionales. En América Latina aún el debate es incipiente aunque se han hecho algunos avances parciales. Hasta ahora, ha sido complejo alcanzar acuerdos sobre calidad de la educación, sobre eficiencia y sobre productividad.

Más allá de los diversos conceptos de calidad, hay una definición que surgió en el seno de UNESCO (1998) que sintetiza el espíritu de otras definiciones mencionadas en los informes nacionales, elaborados en el marco del IESALC/UNESCO: esta definición señala que la calidad es la adecuación del ser y quehacer de la educación superior a su deber ser. En el informe nacional de Venezuela (2003-2005) a partir de esta premisa, se relacionaron los distintos aspectos (ser, quehacer y deber ser) con los criterios de evaluación que se debía aplicar a cada uno de los elementos institucionales que componen la definición de calidad; así, la misión, al igual que los planes y proyectos que de ella se deriven, es evaluada en cuanto a su pertinencia (ser); el funcionamiento (quehacer) es evaluado en términos de eficiencia; y los logros y resultados son evaluados en cuanto a su eficacia (deber ser).

La definición de calidad de UNESCO se centra, fundamentalmente, en el nivel de las instituciones de educación superior. En tal sentido, cabe considerar -como lo señala Dias Sobrinho (1995)- que el concepto de calidad es una construcción social, que varía según los intereses de los grupos de dentro y de fuera de la institución educativa, que refleja las características de la sociedad que se desea para hoy y que se proyecta para el futuro. No es un concepto unívoco y fijo sino que debe ser construido a través de consensos y negociaciones entre los actores.

Por lo tanto, se puede afirmar que el espíritu de las distintas definiciones de calidad coincide en que es una concepción de construcción colectiva y gradual, que integra y articula visiones y demandas diferentes actores, con los valores y propósitos de la institución educativa y de la sociedad.

Finalmente, conscientes de la imposibilidad de realizar una definición única de calidad, algunos autores agrupan diversas concepciones según cómo se relacionan con los procesos de evaluación asociados. Harvey y Knight (1996) presentan cinco tipos para categorizar las concepciones de calidad universitaria: como excelencia o excepción, como consistencia, como alcance de objetivos o metas, como valor de dinero y como transformación.

La primera refiere a concepciones que asocian la calidad universitaria con criterios de selección exclusiva de las unidades evaluadas. No todos pueden tener excelencia, sólo los excepcionales. Se relacionan con procesos de evaluación que plantean alcanzar “golden standards”, criterios de alta calidad. Estas concepciones, aunque se puedan aplicar para identificar y promover ciertos centros universitarios de excelencia, plantean criterios que no se pueden extender a la totalidad del sistema como política de aseguramiento de la calidad, pues, por definición, dejaría fuera del sistema de calidad a la mayoría de las instituciones, docentes y estudiantes.

La calidad como consistencia se asocia a la idea del cumplimiento de criterios de calidad previamente acordados por organizaciones externas a las propias instituciones: colegios profesionales, organismos públicos o privados, organizaciones académicas, etc. Estos criterios, comunes a todos los miembros de universos también definidos con anterioridad -por ejemplo, los profesores con el mismo cargo, las carreras de doctorado o las carreras de (pre)grado de Medicina- se denominan estándares. Desde estas perspectivas, una institución o una carrera tienen calidad si son consistentes con los criterios mínimos predefinidos. Este modelo plantea la posibilidad de establecer sistemas de calidad ya que todas las unidades del universo considerado serían evaluadas con idéntico criterio (sin implicar un carácter elitista, como en la concepción anterior). Pero esta misma potencialidad implicaría cierta falta de consideración a la diversidad de situaciones institucionales, que en algunos casos pueden convertirse en un avance sobre la autonomía universitaria.

Las concepciones de la calidad como alcance de una meta se asocian con la promoción de las ideas de planificación estratégica. Esto significa entender que una institución o carrera es de calidad si alcanza las metas previamente estipuladas para dicha unidad (o incluso, si el proceso se ha planificado adecuadamente). A diferencia del modelo anterior de calidad, los procesos para evaluar estas concepciones no generan un sistema, sino diferentes experiencias particulares, aunque en la mayoría de los casos se han socializado instrumentos y estrategias comunes de evaluación. Esto, incluso, se puede aplicar a los docentes universitarios; ejemplo de ello son los modelos de “contrato programa”, donde docentes e instituciones acuerdan ciertos desarrollos que deben alcanzar los profesores y que, después de un periodo, se premiará su alcance con promociones o premios económicos.

La idea de calidad como dinero está relacionada con la consideración de un criterio de “valor universal”. En muchos casos, un indicador de calidad puede ser el presupuesto que se invierte en cierta actividad o la cantidad de fondos concursables de investigación a los que se accede. Sin embargo, aunque en ciertos aspectos puede ser un indicador claro e inobjetable, la calidad como valor dinero tiene un límite al considerar la calidad de los procesos pedagógicos.

Finalmente los autores señalan las concepciones de la calidad como transformación. Este modelo de calidad se relaciona con la forma en que las instituciones universitarias buscan evaluar sus procesos en busca de mejores condiciones para la transformación de sus agentes principales: estudiantes, docentes y comunidad. Este modelo se liga, según los autores, con la transformación sustantiva que debieran tener los procesos universitarios

C. LA EVALUACIÓN INSTITUCIONAL COMO RESPUESTA.

Es indudable que las instituciones deben cumplir con los desafíos que la sociedad les requiere y que, para ello, deben revisar su acción mediante la evaluación de sus procesos, privilegiando los procesos centrados en la mejora y en las autoevaluaciones, preservando la autonomía y promoviendo la búsqueda de la calidad como proceso.

La evaluación institucional es uno de los principales instrumentos para tal fin, en tanto se orienta a la mejora de la calidad de la gestión institucional, administrativa y académica de las unidades universitarias (universidades, facultades, centros, escuelas, etc.). Esta herramienta institucional, que se debiera complementar con una evaluación externa, debe centrarse en un proceso interno de autoevaluación participativa que identifique puntos débiles y fuertes de la unidad evaluada, así como oportunidades para la mejora. Por lo tanto, el modelo de autoevaluación en el marco de una evaluación institucional debe adaptarse a la singularidad de la unidad evaluada, y no tender a la uniformidad, como es el caso de las acreditaciones a partir de criterios comunes.

Tanto en el informe interno como en el externo, es importante que se identifiquen y planteen propuestas y recomendaciones aplicables a la unidad a evaluar y comprensibles y posibles para sus actores. Esto permitirá entender a la evaluación como una dinámica de mejora de la calidad con respeto de la autonomía pero con responsabilidad para con la sociedad y los diversos actores -internos y externos- involucrados. Para que esta dinámica se efectivice, estas recomendaciones deben incluirse en un plan estratégico de mejora que transforme estas propuestas en objetivos o metas estratégicas de su planificación y gestión (Aiello, 2011).

Es fundamental que un proceso de evaluación institucional basado en una autoevaluación contribuya a establecer un plan de mejoras, producto ya sea de la propia autoevaluación o de las recomendaciones de los expertos del comité de evaluación externa. La participación activa de los miembros de la institución es relevante, no sólo para generar información de calidad sino también para legitimar la implementación del plan de mejora generando lo que algunos autores (Rodríguez, 1997; Vroeijenstijn, 1994) llamaron “espiral de la evaluación de la calidad”. Esto significa que un proceso de evaluación de la calidad se continúa en la aplicación de sus recomendaciones, cuyo seguimiento da lugar a un nuevo proceso de evaluación, y así sucesivamente, como un movimiento permanente hacia la calidad.

EVALUACIÓN DE LOS DOCENTES, EVALUACIÓN INSTITUCIONAL Y PLANIFICACIÓN ESTRATÉGICA

A. PERSPECTIVA SOBRE LA EVALUACIÓN DE LA FUNCIÓN DOCENTE EN EL DESEMPEÑO DE LOS ACADÉMICOS.

La evaluación institucional, de carreras académicas y de profesores universitarios se extendió rápidamente en la mayoría de los países, aunque con distintos matices. En este sentido, podríamos afirmar que en Latinoamérica, tanto las prácticas de evaluación institucional como la evaluación o acreditación de carreras académicas han sido las más extendidas y sistematizadas. En el caso de la evaluación de la docencia universitaria aún es un tema incipiente “que ha recibido una menor atención en las políticas gubernamentales y en las prácticas cotidianas de las universidades” (Rueda, 2006, p.4).

La docencia universitaria es una de las funciones esenciales de la universidad y el profesorado universitario es uno de los actores fundamentales sobre los que se apoya la calidad, por lo cual la evaluación de la docencia universitaria, tanto como estrategia de gestión de la calidad o como problemática de investigación, aparece como de suma importancia. En parte por el papel fundamental que cumple en la mejora de las instituciones, pero también por ser objeto de políticas institucionales y nacionales de evaluación.

Por lo tanto, la evaluación de la docencia universitaria es uno de los aspectos esenciales de la universidad, tanto para llevar a cabo políticas de mejoramiento e innovación como para la toma de decisiones políticas, académicas y administrativas. Ricco (2001) manifiesta que una primera posibilidad es concebir la evaluación como un proceso tecnológico y productivista. En esta concepción la evaluación es entendida como instrumento de control y de regulación de las actividades. Esta perspectiva es la que prevalece cuando se utiliza la evaluación de la docencia como un sistema normativo de gestión, orientado a la generación de datos y bases estadísticas.

Pero como lo señala Neave (2009), en la universidad y en contextos académicos, hay mayores acuerdos sobre cómo evaluar la actividad profesional a partir de la función de investigación que desde de la de docencia. Por su complejidad, es más difícil evaluar de forma normativizada los resultados de la docencia, y por lo tanto, asociarlos a mecanismos sistemáticos de premios o castigos, sin afectarla distorsivamente. Sin embargo, abandonar la evaluación de la docencia por no poder estandarizar sus resultados nos llevaría a privilegiar la función de investigación y, paradójicamente, el interés por evaluar una actividad que le da mayor reputación.

Es importante para el desarrollo y la reputación de la función docente en la universidad desarrollar concepciones alternativas de evaluación. En aparente contraposición, la evaluación participativa supone una reflexión colectiva de los miembros de una institución universitaria sobre la propia institución. Más que poner énfasis en los resultados, esta evaluación trata de contextualizar la acción de referencia en el medio socioeconómico, y realza la identidad del proyecto educativo y centrándose en la mejora de la institución, ya que -en general- en el análisis de los procesos se encuentran mayores indicios para cómo mejorar las actividades de docencia. Como señala Dias Sobrinho (1995), la evaluación más que una tarea técnica debe ser entendida como un proceso público y político dotado de repercusiones sociales, tanto al interno de la institución como hacia afuera.

B. EVALUACIÓN INSTITUCIONAL Y EVALUACIÓN DE LA DOCENCIA

Considerar la evaluación de la docencia y de los docentes en el marco de la evaluación institucional nos remite a una serie de posibilidades y desafíos. Por un lado, a la posibilidad de integrar la evaluación de las prácticas docentes en el marco de estrategias orientadas a la mejora y no al control. La evaluación de la función docente en la universidad ha tenido diversos objetivos en los últimos años: acceso y promoción a cargos, control de la actividad por organismos centrales o responsables de unidades académicas, etc. Y, como señalan Fernández Lamarra y Coppola (2008), ha tenido una serie de deficiencias en sus implementaciones: falta de claridad en los instrumentos, en las aplicaciones pero, sobre todo, en los propósitos; también falta de consenso en los actores capaces de considerar qué es ser un buen docente, más allá de la consideración basada en los resultados de aprendizaje de sus estudiantes.

La evaluación institucional, desde la perspectiva participativa, con diversidad de estrategias, instrumentos y actores que deben participar en ella, debiera ser un lugar de articulación de diversos procesos de evaluación, en el que se incluya la evaluación de la docencia, del docente y de su desempeño. Incorporar procesos de evaluación de la docencia en el marco de mecanismos de evaluación institucional beneficiaría a ambos procesos. Por un lado, la evaluación del desempeño docente se realizaría con una perspectiva más “despegada” de la mera evaluación de resultados de aprendizajes o la satisfacción por los estudiantes. A su vez, al integrarla a procesos de evaluación más extendidos y periódicos, le otorga previsibilidad, persistencia y orientación a la mejora de la función. Como Mateo ha señalado “la evaluación de la docencia universitaria cobra significado cuando se integra en el concepto de evaluación a la docencia, como una función y responsabilidad de la universidad y de todos aquellos que intervienen en su desarrollo” (2000, p.95).

Paralelamente, al integrar la evaluación de la docencia y del desempeño docente, entendida como un proceso formativo y no meramente administrativo, la evaluación institucional se nutre de contenido sustancial. Como hemos mencionado en otros trabajos (Fernández Lamarra y Aiello, 2013), la evaluación institucional corre el peligro de convertirse en un proceso administrativo, formal, en “hacer como si” se autoevalúa una institución o una unidad académica. Este peligro iría en contra de la potencialidad formativa de la evaluación institucional. La sistematización continua de revisiones en torno a la docencia contribuiría a “llenar de contenidos” a la evaluación institucional sobre una de las funciones fundamentales de la universidad.

Pero la integración de la evaluación de la docencia en procesos de evaluación institucional plantea desafíos desde ambas perspectivas. Pensando en la evaluación docente, los académicos deberán entender que la revisión de sus procesos deberá extenderse más allá de las prácticas áulicas, de auto-reflexión. Será fundamental incorporar a otras voces: estudiantes, graduados, responsables académicos, de su propia unidad pero también de la institución. Esto implica que los profesores deberán adoptar lo que Harvey y Knight (1996) denominan una actitud responsable y abierta, fundamental para contribuir a modelos de evaluación para la transformación de la calidad.

Paralelamente, desde perspectivas institucionales se deberá “resistir” la tentación de normativizar el proceso. Existe una tendencia a cristalizar institucionalmente los procesos de revisión de la docencia orientada a resultados, relacionando la evaluación de la docencia al control o rendición de cuentas. De ese modo, un modelo formativo vinculado con la carrera docente y la formación permanente se convertiría en otro relacionado con la permanencia, la promoción de los cargos, y, posiblemente, con los incentivos monetarios a la docencia y a la investigación.

C. PROCESOS DE EVALUACIÓN Y SU RELACIÓN CON LA PLANIFICACIÓN ESTRATÉGICA.

La planificación estratégica en las instituciones educativas ha tenido un desarrollo iniciado en la segunda mitad del siglo XX. La planificación tradicional y normativa en el campo de la educación (también llamada “plan libro”), se reformuló hacia concepciones de planificación estratégica (Fernández Lamarra, 1991). Después del dominio de la agenda universitaria por concepciones neoliberales, la concepción estratégica de la planificación y la gestión universitaria asumió nuevos impulsos en América Latina.

Esta concepción dinámica de la planificación estratégica entiende el rol de la universidad en la sociedad en contextos de inestabilidad y turbulencia; se orienta hacia la concertación de intereses contrapuestos, tiende a la compensación –o superación- de desigualdades; posee una visión circular y recurrente; y anticipa condiciones de viabilidad. Para ello asume una perspectiva interaccionista, en la que todos los actores asumen un espacio de planificación; por lo tanto, plantea soluciones diversas, no únicas ni homogéneas, en la que se planifica una realidad de la que se es parte. Así, el lugar que le corresponde al planificador será –más bien- el de contribuir a crear las condiciones para que el cambio colectivamente definido sea posible (Fernández Lamarra, 2006).

El pensamiento y la visión estratégica son fundamentales para entender la nueva situación universitaria de autonomía evaluada. A una perspectiva de control normativo por el Estado Evaluador se le contrapone la revisión sistematizada, autónoma, planificada y estratégica de las instituciones educativas. Es decir, aplicado al campo de la evaluación universitaria, existe un modelo de aseguramiento de la calidad basado en acreditaciones y otro, formativo y autónomo, basado en el desarrollo y la evaluación institucional. Por lo tanto la evaluación institucional se debe enmarcar en prioridades de la planificación institucional, si lo que se pretende es una efectiva contribución al desarrollo de las instituciones universitarias.

Desde este enfoque es fundamental fortalecer los procesos de autoevaluación para el aseguramiento de la calidad y para la mejora de su pertinencia académica y social. Estos procesos deben tener carácter permanente y facilitar el tránsito –como ya fue señalado- de la “cultura de la evaluación” a la de una “cultura de planificación y gestión estratégica, responsable, autónoma, pertinente y eficiente” (Fernández Lamarra, 2010, p.159) en cada institución. Para ello, las universidades y sus unidades académicas, deben definir y registrar las distintas estrategias y procedimientos para el diseño de programas formativos de evaluación, los requerimientos para su seguimiento, y la generación de datos para documentar y validar dichos procesos, garantizando una calidad continua.

La planificación estratégica se vincula, así, a la evaluación de la docencia, a su gestión basada en procesos integrados y a hechos públicos relacionados con la formación universitaria y con la participación de diversos agentes. Al desarrollar la política y los objetivos de calidad de la docencia en vinculación con la revisión interna de la docencia y la propuesta de planes de mejora, contribuirá tanto la mejora de la evaluación específica de la docencia como de la evaluación institucional.

EVALUACIÓN INSTITUCIONAL UNIVERSITARIA Y ESTRATEGIAS DE MEJORA DE LA DOCENCIA. EL CASO DE ARGENTINA.

A. LA EVALUACIÓN INSTITUCIONAL EN LAS UNIVERSIDADES ARGENTINAS.[3]

Considerar que una adecuada perspectiva de la evaluación de la docencia universitaria debe asumirla como un proceso participativo en el contexto de evaluaciones institucionales, la aleja de una concepción mecanicista y la complejiza tanto en su concepción como en su implementación. Cómo se ha señalado en otros trabajos (Fernández Lamarra y Aiello, 2013), sostener posiciones favorables a la evaluación formativa conlleva una preocupación constante de cómo estos procesos contribuyen efectivamente, en las diferentes dimensiones institucionales, en las prácticas y en la cultura organizacional, a la mejora de la calidad.

Una forma de canalizar estas preocupaciones es realizar investigaciones buscando analizar la contribución de las evaluaciones y hallar las posibilidades, estructuraciones, configuraciones o disposiciones que faciliten o interfieran en la mejora de la docencia universitaria. Un buen ejemplo es el estudio del impacto que ha tenido la Evaluación Institucional Universitaria en Argentina.

La sanción de la Ley de Educación Superior (LES) en el año 1995 fue un punto de inflexión en relación a la evaluación y la acreditación el sistema universitario argentino, independientemente de que ya se habían desarrollado diversas actividades en relación a la acreditación y a la evaluación. Una de éstas estuvo relacionada con un acuerdo del Ministerio de Educación con una serie de universidades -Universidad Nacional del Sur, la Universidad Nacional de Cuyo y la Universidad Nacional de la Patagonia Austral- para realizar procesos de evaluación institucional. Paralelamente, y con fondos provenientes de un préstamo internacional, se organizó la Comisión de Acreditación de Posgrado (CAP) con el objetivo de acreditar maestrías y doctorados (Marquis, 2009).

Las actividades de evaluación anteriores a la LES y la configuración que esta conformó, ya planteaba para el sistema universitario argentino modelos diferenciados a partir de controles mediante acreditaciones y organización de ciertos niveles (como el posgrado) y actividades formativas a partir de evaluaciones institucionales. El inicio de la evaluación y la acreditación para el conjunto del sistema universitario se dio en un marco de fuerte presencia de fondos de organismos internacionales que promovían dichos procesos, una importante intervención estatal en el marco del proceso de reforma del Estado y de una comunidad académica que se enfrentaba a los cambios vía evaluación, aunque reconocía la necesidad de introducir procesos de mejora.

B. LA PREOCUPACIÓN POR LA MEJORA DE LA DOCENCIA EN LAS EVALUACIONES INSTITUCIONALES UNIVERSITARIAS EN ARGENTINA.

La Evaluación Institucional tal como quedó estructurada a partir del establecimiento de la CONEAU se dividió en dos claras etapas: la autoevaluación y la evaluación externa, esta última precedida por un acuerdo entre la institución que será evaluada y la CONEAU para desarrollar el proceso. La CONEAU es la agencia responsable de coordinar y llevar adelante la evaluación externa de las instituciones universitarias. La evaluación externa tiene como resultado un informe que es enviado a la institución evaluada para su conocimiento y la respuesta con los comentarios de su Rector.

Las dimensiones de análisis de las evaluaciones institucionales son:

— la docencia;

— la investigación, el desarrollo y la creación;

— la extensión, la producción de tecnología y la transferencia;

— la gestión y administración;

— los recursos humanos;

— la infraestructura y los recursos naturales;

— los servicios de biblioteca, de información e informáticos;

— la integración de la institución universitaria.

Fernández Lamarra, y Alonso Brá (2004) mencionan que la evaluación, al tener como objeto la institución, focaliza en la gestión, más que en aspectos sustantivos de cada una de estas dimensiones. Cuando uno se centra en los informes internos o externos se identifican cuatro áreas consideradas en el análisis: el gobierno, la gestión institucional, la gestión administrativa y la gestión académica (docencia, investigación, extensión). Los autores señalan que las observaciones de los informes finales de evaluación institucional se centran principalmente en la gestión académica.

Con respecto a la docencia, se han identificado dos tipos de dificultades que por las cuales se preocupan las evaluaciones institucionales (Fernández Lamarra, Aiello y Grandoli, 2013):

— Dificultades para operar sobre las condiciones institucionales que afectan el desarrollo de la docencia

— Dificultades para intervenir sobre las condiciones institucionales que afectan el desempeño académico de los estudiantes.

En menor medida también se identifican:

— Dificultades para la articulación horizontal y

— Dificultades para la articulación vertical de la función docencia.

Analíticamente –entre los aspectos que se relacionan específicamente con la evaluación de la docencia y el desempeño docente- los aspectos fundamentales que se encontraron están centrados en la organización académica, la carrera docente y las condiciones del trabajo académico.

Un primer límite de la mejora de las condiciones que surge de los estudios es la rígida estructuración del modelo de organización por “cátedras”, que es asumido tanto en el ámbito público como en el privado. Esta debilidad tiene consecuencias en una fragmentación de los planes de estudios y del trabajo de los docentes en los diversos espacios curriculares. Por otro lado, se observan limitaciones para flexibilizar el diseño curricular, como la incorporación de materias optativas, la rotación de carreras, la estructuración en ciclos, la no duplicación de la oferta por sedes y el traslado de estudiantes entre éstas.

En relación con la carrera docente y las condiciones del trabajo académico, las observaciones de las evaluaciones institucionales se concentran principalmente en el notable aumento de la relación entre estudiantes y docentes, aspecto que afecta negativamente la calidad de la docencia y del trabajo de los profesores. A esta debilidad se agrega una cierta limitación para incorporar nuevos docentes y cubrir cargos de profesores en algunas asignaturas específicas.

Por otro lado, en otros dos casos analizados, se señala una limitada formación académica en la mayoría de los docentes, quienes poseen como máximo nivel de estudios alcanzados el nivel de grado, aspecto que se ha identificado independientemente en otras investigaciones (Perez Centeno y Aiello, 2011). Este aspecto se combina con el escaso número de becas a docentes para el desarrollo de posgrados.

Es clara la focalización de las recomendaciones de las evaluaciones externas en el diseño de las estructuras curriculares, en el perfil del plantel docente y en su relación con la cantidad de estudiantes. Se echa de menos aspectos más específicos relacionados con la calidad de la docencia universitaria: cómo se gestiona y se evalúa, la calidad de los materiales de apoyo a la docencia, el desarrollo de las actividades docentes, la innovación docente, el real impacto de la actividad docente, etc. Es decir no se identifican aspectos concretos y específicos de la calidad de la docencia.

En el sistema universitario argentino, se observa un límite de profundidad de la evaluación institucional en relación a la calidad de la docencia. A su vez, se identifican pocos indicios sobre información relacionada con la evaluación de los docentes y el uso de la información de dicha evaluación para la toma de decisiones. Pareciera que la CONEAU se concentra en cómo llevar adelante los procesos de evaluación externa de las instituciones, pero tanto la agencia como las propias instituciones universitarias -en su mayoría, claro está- no presentan sistemáticamente indicios que relacionen los procesos de evaluación con aspectos sustantivos de mejora de la calidad en general y de la docencia, en particular.

Es preciso señalar que, al ser la evaluación institucional prácticamente la única estrategia de evaluación formativa, debería concentrar los esfuerzos, tanto institucionales como del sistema en su conjunto, en contribuir a la mejora de las actividades universitarias. Para la función docente, es primordial ligar procesos y sistemas formativos de evaluación de la docencia con los planes estratégicos de calidad de las instituciones y de sus unidades académicas, contribuyendo a tener mayores elementos sustantivos para realizar juicios orientados a la mejora, tanto del desempeño docente como de la propia gestión de la docencia. Por esta vía sería mucho más probable que la evaluación institucional contribuya, a partir de los juicios internos y externos, a desarrollar el “espiral de la calidad” de la mejora de la docencia.

ALGUNAS CONCLUSIONES PARA EL DESARROLLO UNIVERSITARIO FUTURO.

Como hemos visto, las recomendaciones de los informes de evaluación institucional sólo se refieren al diseño de las estructuras curriculares, al perfil del plantel docente y a su relación con la cantidad de estudiantes. Pero, lamentablemente, no se focalizan en la calidad específica de la docencia universitaria, en cómo se gestiona y se evalúa, en la calidad de los materiales de apoyo a la docencia, en el desarrollo de las actividades docentes ni en la innovación docente. Así pues, las apreciaciones de los pares evaluadores alcanzan hasta un determinado y limitado nivel de profundidad que no permiten alcanzar aspectos concretos y específicos de la calidad de la docencia y su mejoramiento.

La evaluación institucional parece concretarse más como una actividad de aseguramiento de la calidad -de control-, que como un proceso de búsqueda de la mejora. Esta percepción que se tiene de la evaluación tiene un impacto en todo el proceso, generando autoevaluaciones de carácter fuertemente descriptivo o autocomplacientes, sin las riquezas necesarias para orientarse hacia la mejora; o, por otro lado, con evaluaciones externas centradas en un modelo relativamente rígido y preestablecido de institución y con el objetivo de controlar que cada institución se adapte a ese modelo.

Sería indispensable redefinir la evaluación institucional como actividad tendiente a la mejora. Además, ¿podrían evaluarse formativamente todas las carreras? Parecería un trabajo burocrático de gran envergadura y podría ser contradictorio con el concepto de autonomía institucional. La mejor y más eficaz alternativa sería, quizás, la de promover la calidad hacia dentro de las instituciones; es decir, trasladar hacia sí mismas los mecanismos de evaluación para la mejora, promoviendo la cultura de calidad y de revisión y evaluación de la actividad docente de las unidades académicas, por ejemplo.

El rol de la evaluación externa, bajo este marco de análisis, pasaría a ser más bien una meta-evaluación -una evaluación de los procesos de evaluación de las universidades-, que supervise los procesos internos a fin de proponer recomendaciones para su mejora. Un buen ejemplo al respecto –que quizás podría asumirse- es el modelo ya utilizado en Canadá y por utilizarse por parte de las agencias de Evaluación Institucional de Estados Unidos.

Será, entonces necesario, abrir un debate amplio y participativo con funcionarios y docentes universitarios, con funcionarios y especialistas del Ministerio de Educación y de su Secretaría de Políticas Universitarias, con otros especialistas –tanto del país como de la región latinoamericana- para dar nuevas bases conceptuales y metodológicas para procesos de mejoramiento de la calidad de las universidades a partir de nuevos e innovadores modelos de organización institucional y académica que tiendan a alcanzar una gestión autónoma, socialmente eficiente, democrática, participativa, responsable y pertinente.

2 Este apartado se ha desarrollado sobre la base de lo desarrollado al respecto en Fernández Lamarra (2010). Debe señalarse la dificultad de disponer datos estadísticos sistemáticos y actualizados para el conjunto de la Región. Los que aquí se presentan son elaboraciones propias basadas en datos IESALC/UNESCO; UNESCO, el Banco Mundial y de Altbach y otros (2009).

3 Puede encontrarse un análisis con mayor detalle del caso argentino en Fernández Lamarra (2014).

EL DESARROLLO DE LA DOCENCIA EN LAS INSTITUCIONES DE EDUCACIÓN SUPERIOR: LAS CONDICIONES CONTEXTUALES

Alejandro Canales Sánchez

Edna Luna Serrano

Mario Rueda Beltrán

INTRODUCCIÓN

El presente trabajo se desarrolló como parte de un proyecto cuyo interés central es realizar un diagnóstico sobre las condiciones contextuales en las que los profesores de las instituciones públicas de educación superior desempeñan actividades de docencia, así como identificar las posibles situaciones que pudieran promover la calidad de la misma.

El estudio considera tres dimensiones de análisis: la macro, alude a las políticas internacionales y nacionales sobre la docencia; la meso, comprende las condiciones y políticas institucionales; y la micro, hace referencia a las condiciones del aula que afectan la práctica docente (Canales, Leyva, Luna y Rueda, 2014). Se considera importante explorar las condiciones contextuales que enmarcan la actividad docente para progresar en la identificación de nuevas estrategias que contribuyan al desarrollo de la docencia misma.

Por contexto institucional, entendemos al conjunto de condiciones y acciones de la organización vinculadas a la función docente, como las políticas, la gestión curricular, la formación permanente, los requerimientos de contratación del personal, entre otras. En esta ocasión se enfatiza el análisis desde algunos elementos de las políticas internacionales, contrastadas con las de una organización específica, la Universidad Nacional Autónoma de México (UNAM).

El estudio sobre las condiciones institucionales que facilitan la calidad de la docencia retoma el Modelo de Evaluación de Competencias Docentes (MECD) de García-Cabrero, Loredo, Luna y Rueda (2008). Dado que el MECD asume la importancia del contexto institucional para la enseñanza, e incorpora su valoración desde la perspectiva de: 1) realizar la planeación macro relacionada con el programa oficial de las asignaturas, su filosofía, misión, visión y las características de la operación administrativa del plan de estudios; 2) los procesos de formación continua y los programas de formación docente para el desarrollo profesional del profesorado; así como 3) la cultura organizacional de gestión y evaluación que considera los procesos colegiados y de colaboración fomentados por la organización (García, Loredo, Luna y Rueda, 2008).

En la primera sección se presenta un panorama de las grandes tendencias, a nivel internacional en el estudio del profesorado y las principales líneas de atención a las condiciones para el desarrollo de la profesión, así como algunos hallazgos de los estudios.

En el segundo apartado, se aportan algunos elementos de lo referido a las condiciones institucionales más sobresalientes vinculadas con el cumplimiento de la función docente en la UNAM. Se revisan algunos aspectos de los documentos oficiales sobre la docencia, las características del personal académico y sus condiciones laborales, además de algunos rasgos de los planes y programas de estudio, para identificar posibles acciones dirigidas al perfeccionamiento continuo de la función docente.

Finalmente, se concluye con algunas reflexiones sobre la vinculación entre los aspectos de políticas de organismos internacionales y los elementos más sobresalientes de la UNAM y sus perspectivas en el perfeccionamiento de una función vital para las instituciones de educación superior: la docencia.

EL MARCO INTERNACIONAL EN EL DESARROLLO DE LA ACTIVIDAD ACADÉMICA

En todo el mundo, entre los años sesenta y fines de los años ochenta, se registró un crecimiento exponencial de la matrícula en las instituciones de educación superior. Un desarrollo que modificó los patrones de acceso y organización institucional. En una distinción amplia, Trow (1973) consideró que podríamos hablar de una etapa de élites si la tasa bruta de matrícula en la educación superior es menor al 15%; una etapa de masas si la tasa está entre el 15% y el 50%; o bien, una etapa de franca universalización si la tasa era mayor al 50%. Los ciclos, las dinámicas y los números han sido muy diferentes entre los países desarrollados y los que están en vías de desarrollo: Estados Unidos se aproximó a la etapa de masas desde el periodo de la posguerra, la mayoría de los países europeos alcanzaron tasas superiores al 30% desde los años noventa y en la mayoría de los países en vías de desarrollo el crecimiento ha sido más tardío pero también más veloz (Altbach, 2009). Sin embargo, en todos los casos se puede advertir que la expansión de los sistemas de educación superior implicó no solamente un incremento en el número de establecimientos y estudiantes, sino también en la cantidad de profesores que debieron responsabilizarse de los procesos de enseñanza y aprendizaje en condiciones muy cambiantes e inéditas.

La creciente expansión de los servicios educativos, primero en la base de los sistemas, en los niveles elementales, también implicó advertir el papel central que desempeñaban los profesores y las condiciones de su trabajo. De hecho, desde mediados de los años sesenta, la serie de recomendaciones conjuntas de la Organización Internacional del Trabajo (OIT) y la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO) destinadas a precisar deberes y derechos de los profesores de la educación básica, así como la serie de normas que podrían regular las condiciones de contratación, su empleo y su participación en la enseñanza y el aprendizaje, son una de las primeras expresiones para establecer normas a nivel internacional para regular la entonces creciente profesión docente (OIT y UNESCO, 1966).

En la educación superior, el crecimiento de la matrícula, junto con la del profesorado, siguió diferentes ritmos; no solamente entre países desarrollados y en vías de desarrollo, también en una misma región. Aunque para la gran mayoría, hacia los años noventa, la situación del profesorado parecía muy diferente de lo que había sido unas décadas atrás, en Estados Unidos ya se decía que la época de la expansión, la del prestigio de la profesión, los fondos para investigación y el crecimiento de los salarios se había terminado, “la edad de oro había llegado a su fin” (Altbach, 2009, p.150). Por el contario, en países de reciente industrialización, en esos años, la profesión pareció ingresar a un mejor estatus y mejores condiciones laborales para su desempeño. También, en otros casos, en el contexto de expansión del sistema educativo y disminución de recursos financieros institucionales, la situación se tornó más ardua y complicada para el trabajo de los profesores. Difícilmente se puede generalizar y hablar de un panorama homogéneo para el conjunto de sistemas educativos en el mundo, las distinciones no solamente se refieren al nivel de desarrollo o de ingresos de la nación, en el mismo sistema se advierten diferencias por la naturaleza disciplinaria, el tipo de establecimiento, el nivel educativo al que se orienta, la actividad prioritaria en la que se concentra, el sexo, entre otras (Clark, 1987).

No obstante, a pesar de las diferencias, en todos los sistemas educativos fue evidente que la situación para la profesión académica demandaba atención porque en muchas regiones se había modificado sustancialmente y en otras regiones estaba en proceso de cambio. Una de las primeras contribuciones al debate, fue la propuesta de Ernest Boyer acerca de las reconsideraciones al trabajo del profesorado (Boyer, 1990). Un planteamiento que ampliaba la definición del trabajo académico y sugería, en lugar de hablar solamente de investigación, docencia y divulgación, distinguir por lo menos cuatro funciones básicas: descubrimiento, integración, aplicación y enseñanza. La primera función sería similar a la que se designa con investigación centrada en el descubrimiento y avance del conocimiento; la segunda, integración, estaría representada por aquellos académicos que vinculan conocimientos diversos para ofrecer interpretaciones y perspectivas sugerentes de hechos aislados; la tercera, aplicación, se refería a aquella función que se preocupa por la manera en que se aplican los conocimientos a problemas importantes considerando la especialidad y la actividad profesional del académico; y la cuarta, la enseñanza, con un sentido más apegado a la función docente, pero que enfatizaba su papel estimulante, crítico y creativo.

Igualmente, al inicio de los noventa, comenzó la idea de documentar con mayor precisión, a nivel internacional por la Carnegie Foundation for the Advancement of Teaching, las tendencias demográficas del personal académico, lo mismo que las actitudes hacia la enseñanza y el aprendizaje, así como la participación y las actividades desempeñadas por los académicos. Una primera encuesta internacional en 14 países de diferentes regiones, planeada a fines de los años ochenta, y finalmente aplicada entre 1991 y 1993, mostró que las condiciones de trabajo del profesorado eran muy diferentes en los distintos países, lo mismo que el tiempo de dedicación o la distribución por género, pero la mayoría tenía un sentido positivo de la atmósfera intelectual de sus lugares e incluso de los cursos que enseñaban (Altbach and Lewis, 1996).[4] No obstante, mayormente en ocho de los 14 países encuestados, los profesores estaban insatisfechos con sus salones de clase, con los laboratorios, equipos de investigación, bibliotecas y con las tecnologías disponibles para la enseñanza, aunque mostraron satisfacción con la existencia de facilidades informáticas.

Otro de los temas explorados en la encuesta fue la distribución del tiempo e interés del profesorado en las tres funciones básicas: enseñanza, investigación y divulgación. Los modelos se dividían entre universidades claramente orientadas a la investigación; otras, en una mezcla de investigación y enseñanza; y unas más definitivamente centradas en la actividad de enseñanza. Los datos mostraron que: el profesorado de Brasil, Chile, México y Rusia tenían una mayor preferencia por la enseñanza, mientras que una mayoría de profesores del resto de países mostraron una mayor inclinación por la investigación e incluso la proporción fue mayor en Alemania, Holanda, Japón, Suecia e Israel. No obstante, incluso en naciones donde las preferencias se dividían casi en partes iguales, como en Estados Unidos, permanecía una mayor inclinación por la investigación. Además, por género, la tendencia hacia la investigación era más marcada en los hombres y, por el contrario, las mujeres estaban más interesadas en la enseñanza.

A pesar de que se trata de países muy distintos, Altbach y Lewis (1996) destacaron las similitudes entre académicos y científicos en las diversas naciones y cuyas diferencias internacionales resaltan porque sus condiciones de trabajo son afectadas por políticas e iniciativas locales y culturales.

La atención al tema, a lo largo de los años noventa, fue en ascenso, principalmente por las previsiones sobre las tendencias demográficas del personal académico, la distribución del tiempo de dedicación a la actividad y las condiciones laborales. De hecho, hacia el final de esa década, nuevamente la UNESCO publicó una serie de recomendaciones sobre el personal docente de nivel superior que eran complementarias de las emitidas tres décadas antes para el personal de educación básica (UNESCO, 1997). Las normas emitidas incluían casi un centenar de recomendaciones divididas en una decena de componentes, en los que sobresalía el asunto de la libertad de cátedra, el polémico tema de la autonomía institucional, las condiciones del empleo y el complejo asunto de la evaluación del desempeño.

El documento de UNESCO, entre los principios rectores reconoció el nivel de profesionalización de la actividad:

La docencia en la enseñanza superior constituye una profesión que se adquiere y se mantiene gracias a un esfuerzo riguroso de estudio y de investigación durante toda la vida: es una forma de servicio público que requiere del personal docente de la enseñanza superior profundos conocimientos y un saber especializado; exige además un sentido de responsabilidad personal e institucional en la tarea de brindar educación y bienestar a los estudiantes y a la comunidad en general así como para alcanzar altos niveles profesionales en las actividades de estudio y la investigación (UNESCO, 1997, recomendación III, punto 6).

También, como principio, destacó las condiciones que debían reunirse para un adecuado desempeño:

Las condiciones de trabajo del profesorado de la enseñanza superior deben ser tales que fomenten en el mayor grado posible una enseñanza, una labor intelectual, una investigación y un trabajo de extensión a la comunidad eficaces y permitan al personal docente de la enseñanza superior desempeñar sus tareas profesionales (UNESCO, 1997, recomendación III punto 7).

Se debe considerar y reconocer a las organizaciones que representan al personal docente de la enseñanza superior como una fuerza que puede contribuir en gran medida al progreso de la educación y que, por consiguiente, deben participar, junto con otros actores y partes interesadas, en la determinación de las políticas de enseñanza superior (UNESCO, 1997, recomendación III, punto 8).

En torno al complejo tema de la autonomía institucional y transparencia, las recomendaciones de la UNESCO (1997, p.3) sugerían que debía ceñirse a los sistemas de control público, particularmente en lo concerniente a la rendición de cuentas, al financiamiento estatal y el respeto a las libertades académicas y los derechos humanos. También, claramente, estableció que el ingreso a la profesión académica debía basarse “exclusivamente, en las calificaciones, la competencia y la experiencia académicas” y la no discriminación, así como el derecho del personal docente de enseñanza superior a llevar a cabo sin interferencias, ni restricciones y con sujeción a principios profesionales aceptados, la labor de enseñanza e investigación.

Sobre las condiciones de empleo, las recomendaciones también incluyeron la necesidad de contar con sistemas abiertos y equitativos de desarrollo profesional, tanto en materia de nombramientos, ascensos y definitividad, como de seguridad y despido. En lo que concierne al tema de la evaluación, se llamó la atención a las garantías que debían ofrecer las instituciones. Por ejemplo, incluyó media docena de recomendaciones; en primer lugar estableció que la principal función de la evaluación docente debía ser “el desarrollo de las personas de acuerdo con sus intereses y capacidades”, basarse únicamente en criterios académicos y realizarse con objetividad. También que los resultados debían comunicarse a las personas interesadas y tomarse en cuenta para efectos de nombramientos y prórrogas de contrato, lo mismo que establecer recursos de revisión en caso de inconformidad con la evaluación practicada.

La serie de recomendaciones fueron recuperadas en la “Declaración mundial sobre la educación superior” (UNESCO, 1998). En especial, sobre el tema de la libertad y la autonomía, en el artículo dos de la declaración, se puntualizó que tanto los establecimientos de enseñanza superior, como el personal y los estudiantes, podrían opinar sobre “problemas éticos, culturales y sociales, con total autonomía y plena responsabilidad”, estas últimas consideradas como un conjunto de derechos y deberes.

Asimismo, la declaración insistió en las condiciones del personal docente:

Un elemento esencial para las instituciones de enseñanza superior es una enérgica política de formación del personal. Se deberían establecer directrices claras sobre los docentes de la educación superior, que deberían ocuparse sobre todo, hoy en día, de enseñar a sus alumnos a aprender y a tomar iniciativas, y no a ser, únicamente, pozos de ciencia. Deberían tomarse medidas adecuadas en materia de investigación, así como de actualización y mejora de sus competencias pedagógicas mediante programas adecuados de formación del personal, que estimulen la innovación permanente en los planes de estudio y los métodos de enseñanza y aprendizaje, y que aseguren condiciones profesionales y financieras apropiadas a los docentes (UNESCO, 1998, Artículo10).

Es decir, como se podrá advertir, las preocupaciones, en buena medida, se concentraron en tratar de garantizar la autonomía y libertad de cátedra para el personal académico, pero también en puntualizar su responsabilidad, la obligación de rendir cuentas y condiciones justas y equitativas de evaluación. Asimismo, en recomendar condiciones adecuadas de trabajo y un salario digno para los docentes, pero igualmente señalando la necesidad de una preparación y formación pedagógica profesional.

Al comienzo del año 2000, un nuevo estudio comparativo internacional de países de ingresos medios y bajos, enfatizó una perspectiva pesimista sobre la profesión académica (Altbach, 2004)[5]. Aunque se aceptaba que en muchas partes del mundo el profesorado había y estaba cambiando, la realidad en los países de bajos ingresos era más complicada. Por ejemplo, se afirmaba que, en comparación con naciones desarrolladas, en el tercer mundo:

Existe un mayor número de personal de tiempo parcial. Los profesores de tiempo completo cuentan con un nivel de seguridad menor y en algunas ocasiones están sujetos a condiciones inseguras en sus nombramientos. No están bien calificados y provienen de estratos más modestos. Aunque se han realizado esfuerzos por mejorar las habilidades académicas en algunos países en desarrollo, la masificación ha tenido como consecuencia que el nivel de formación no se haya mantenido a la par con la necesidad de más maestros en las aulas del tercer mundo (Altbach, 2004:30).

En el estudio, a pesar de las diferencias en los distintos casos, también se llamaba la atención sobre las condiciones poco favorables para el desempeño del profesorado; especialmente porque se trata de atender durante buena parte de la jornada laboral a grupos con un gran volumen de alumnos, una actividad docente centrada en la cátedra, un aprendizaje memorístico y con escasas posibilidades de una interacción más personalizada. La infraestructura también es poco propicia: salones equipados solamente con materiales didácticos mínimos o incluso con una franca ausencia de laboratorios y equipo.

En la Declaración Final de la segunda Conferencia Mundial de la UNESCO, nuevamente se insistió en la importancia de la autonomía institucional y libertad académica, aunque se incorporaron nuevos tópicos. Por ejemplo, la cooperación internacional para el asunto de la movilidad de alumnos y profesores, así como la formación de los docentes, pero con nuevos enfoques, particularmente el “uso del aprendizaje abierto y a distancia y de las tecnologías de la información y la comunicación (TIC)” (UNESCO, 2009:3).

LA TENSIÓN ENTRE LA ENSEÑANZA Y LA INVESTIGACIÓN

Con la preocupación por un desempeño más competitivo de las universidades, en buena medida impulsado por los rankings globales y la idea de universidades de clase mundial, de nueva cuenta ha cobrado presencia la tensión entre dos de las actividades fundamentales de las instituciones de educación superior: la enseñanza y la investigación. Una segunda encuesta internacional realizada en 19 países entre 2007 y 2008 para tratar de documentar los cambios que se habían verificado en la profesión académica, respecto de la primera encuesta de principios de los años noventa (Teichler, Arimoto, y Cummings, 2013). Teniendo presente tres de las tendencias que se habían advertido más recientes: la relevancia de la educación superior, debido a la importancia concedida al conocimiento, tanto para la formación de recursos humanos como para el desarrollo de las sociedades; las tendencias hacia la internacionalización de profesores y alumnos, pero variables en función de los sistemas económicos y políticos nacionales, la localización geográfica, la cultura y la calidad de los sistemas educativos; y un creciente poder y control administrativo en los sistemas de educación superior, alentado por los procesos de aseguramiento de la calidad que han modificado los valores tradicionales de la profesión y las prácticas académicas.

Los responsables del estudio reconocen las limitaciones comparativas de los datos obtenidos y son cuidadosos con las generalizaciones y la imagen sobre la profesión académica que se deriva, pero subrayan la brecha que se abrió entre los jóvenes académicos (junior academic) y los académicos de mayor antigüedad (senior academic), los primeros caracterizados por una alta selectividad, una mezcla entre aprendizaje y trabajo productivo, con contratos de interinato y empleos de tiempo parcial. Mientras que los segundos con empleos más estables, mayor libertad para proyectar sus propias actividades profesionales, aunque sus remuneraciones pueden no ser muy altas, en comparación con otras profesiones, se sienten satisfechos con su trabajo y su prestigio.

Uno de los tópicos de indagación de la encuesta a nivel internacional, en sus dos aplicaciones, fue el de las preferencias del profesorado sobre las actividades de investigación o las de docencia. Un asunto sobre el que existen posiciones muy variadas pero que, sin duda, pone en el centro de la discusión la orientación y fines de la universidad. Los resultados muestran que países con sistemas educativos consolidados, como los Estados Unidos, Alemania o Japón, “se movieron hacia un equilibrio [tanto en horas de dedicación como en preferencia] entre enseñanza e investigación” (Shin, et al 2014:3). Por el contrario, en sistemas educativos relativamente emergentes se produjo una mayor inclinación hacia la investigación, fue el caso de países como Australia, Corea y Hong Kong que incrementaron su tiempo de dedicación a esa actividad del total de su jornada laboral. Algunos países de América Latina no incrementaron su tiempo de dedicación, pero su planta de personal sí declaró una mayor preferencia por tal actividad. Los elementos que pueden estar gravitando para la expresión de tales preferencias y la modificación en la distribución de actividades, es el modelo de universidad que sobresale en las clasificaciones internacionales y en la idea de sociedades basadas en el conocimiento, las cuales están asociadas a las instituciones altamente competitivas y orientadas a la generación de conocimiento. Un modelo que no necesariamente se ajusta al conjunto amplio y heterogéneo de los sistemas de educación superior en las distintas regiones que se replica al interior de los mismos sistemas nacionales de educación superior, en donde se advierte una diversidad institucional con diferentes orientaciones y una concentración en una u otra actividad.

La enseñanza y la investigación son dos de las actividades centrales de las universidades, casi tres cuartas partes del profesorado participante en la segunda encuesta internacional declaró estar a favor del nexo de ambas actividades y “el énfasis es mayor (más del 80%) en académicos de Corea, Italia y la mayoría de los países emergentes” (Teichler, Arimoto y Cummings, 2013, p. 119). Por el contrario, el énfasis es menor (menos de dos tercios) en países como Alemania, Australia, Estados Unidos, Finlandia, Holanda, Noruega o el Reino Unido.

Desde los años noventa, Clark (1997) argumentó sobre la relación y formas de integración entre la investigación y la docencia. Aunque no siempre fue así en la historia de las universidades, quedó claro que la investigación es una actividad privilegiada sobre la enseñanza. No obstante, para Clark, el vínculo entre investigación y docencia se da principalmente en el posgrado, en donde se complementan ambas actividades claramente, lo que nos lleva, nuevamente, al punto de la diversificación y diferenciación entre niveles, funciones y tipos institucionales. En las instituciones profesionalizantes, a nivel de licenciatura, la actividad docente se desarrolla con grupos numerosos y predominan las clases expositivas centradas en el profesor, por lo que la investigación se suele ver como una actividad separada de la docencia y por tanto con una cierta incompatibilidad. Para el caso de México, el estudio de Galaz y colaboradores es claro al afirmar que “las actividades de enseñanza e investigación están inversamente relacionadas, particularmente en los programas académicos de licenciatura” (Galaz, Martínez, Estévez, Padilla, Gil, Sevilla & Arcos, 2014:217). Y aunque tal relación era un tanto diferente en el posgrado, por el volumen de alumnos atendidos no se modificaba la apreciación. Entonces, pareciera necesaria una mayor exploración a nivel institucional de los distintos sistemas de enseñanza para aclarar su vinculación con las actividades de investigación.

En general, como se puede advertir desde los años sesenta se prestó atención a las condiciones del ejercicio docente y particularmente desde los años noventa al profesorado de la educación superior. Una parte importante se ha concentrado en las condiciones laborales (proceso de selección, salario, contratación, acceso y calidad de la infraestructura y equipamiento, seguridad laboral). Pero también en la autonomía institucional y libertad de cátedra, en su posibilidad de agremiarse, profesionalizarse y realizar una carrera académica.

En las décadas más recientes se han producido grandes tendencias que han tenido una influencia en la integración de los sistemas educativos de nivel superior. Algunas de las más notables han sido la integración de las tecnologías de la información y comunicación a los salones de clase, la participación en los procesos de internacionalización, la importancia que han adquirido los procesos administrativos en las instituciones educativas o una creciente inclinación hacia las actividades de investigación, propiciada por los modelos de universidad de clase mundial o la ideología de un desarrollo basado en el conocimiento. No obstante, en todos los casos también es claro el papel de las iniciativas locales y el tipo de sistema educativo del que se trate para impulsar, inhibir o moldear tales tendencias.

El sistema de educación superior en México también es diverso y heterogéneo, pero la mayor parte de las instituciones que lo integran tiene a la docencia como su actividad central, ejemplo de ello es el 95.2% de docencia exclusiva, 3.9% de una combinación entre docencia e investigación, 1.2% únicamente orientada a la investigación (ANUIES, 2000). Sin embargo, no solamente a nivel de sistema se puede apreciar la diversidad y rasgos homogéneos. En una misma institución pueden coexistir diferentes orientaciones y tensión entre actividades, en función de su complejidad organizativa, grado de consolidación, niveles educativos que atiende y áreas de conocimiento que ofrece. En el siguiente apartado se presenta una aproximación a esa diversidad y complejidad institucional, considerando la fuerza centrípeta de la actividad docente.

CONTEXTO INSTITUCIONAL PARA EL DESARROLLO DE LA DOCENCIA EN LA UNAM

En esta segunda sección se pretende responder a la pregunta ¿Cuáles son las condiciones institucionales en la Universidad Nacional Autónoma de México (UNAM) para el desarrollo de la docencia? tomando en cuenta que un análisis del contenido de documentos oficiales no es sino una parte del acercamiento al conocimiento de las situaciones de la vida institucional, refleja de alguna manera las posturas de las organizaciones con respecto a algún tema. No obstante, la información derivada de este ejercicio deberá completarse con las perspectivas de los actores clave que den cuenta de la complejidad del tópico estudiado.

Los documentos incluidos en el análisis son la Legislación Universitaria (UNAM, 1988), el Estatuto General de la UNAM (1996), el Plan de Desarrollo de la Universidad (UNAM, 2012) e información de diversos sitios de la página electrónica de la UNAM. Se partió de ellos a fin de conocer el punto de vista oficial sobre la docencia y los diferentes aspectos que la enmarcan, con el propósito de reflexionar sobre su involucramiento en el desarrollo de esta actividad. Para cumplir con esta finalidad, se abordan diez temas identificados como claves en el cumplimiento de dicha función. El primero, explora las concepciones más generales de la institución sobre la docencia. A partir del cual se derivaron tópicos como: el personal académico, los estímulos a la docencia, la carga académica docente y el tamaño de los grupos. Posteriormente, se da lugar a la evocación de los planes y programas de estudio, la evaluación de la docencia, el trabajo colegiado, la formación y actualización docente. Finalmente, esta sección cierra con una mirada a los apoyos previstos para los estudiantes.

LA DOCENCIA EN LA UNAM.

Dentro del sistema universitario mexicano la UNAM es la primer institución de educación superior pública en México (Ibarra y Buendía, 2013), y actualmente atiende la mayor matrícula de educación superior del país. Es un organismo descentralizado del Estado dotado de plena capacidad jurídica.

La UNAM declara como propósito primordial “estar al servicio del país y de la humanidad, formar profesionistas útiles a la sociedad, organizar y realizar investigaciones, principalmente acerca de las condiciones y problemas nacionales y extender con la mayor amplitud posible, los beneficios de la cultura” (UNAM, 2014a).

En este sentido y acorde a su propósito declara como sus funciones sustantivas la docencia, la investigación y la extensión universitaria (UNAM, 1945, Artículo 1°). Por investigación se entiende la organización y realización de estudios tendientes a la generación de conocimiento original en las diferentes áreas del saber sobre la naturaleza, la sociedad y la cultura, a fin de incidir en la formación de los alumnos y contribuir en la conformación de un ámbito académico reflexivo y crítico. Por su parte, la extensión trata de hacer accesible la cultura para contribuir al mejoramiento de la sociedad. Finalmente, la docencia es la actividad orientada a la formación de recursos humanos, se sustenta en los principios de autonomía y de libertad de cátedra, desde una perspectiva humanística y científica, con un sentido social de servicio al país. La docencia no se circunscribe al trabajo dentro de las aulas, laboratorios, escenarios profesionales o de servicio, sino que se despliega en una serie de labores previas y posteriores a la interacción directa con los alumnos (UNAM, 1988).

En la UNAM es innegable la importancia dada a la docencia, ejemplo de ello es el Marco Institucional de Docencia, donde se expresa un fuerte compromiso con la formación de recursos humanos caracterizados por ser “competentes e informados, dotados de sentido social y conciencia nacional, que actúen con convicción y sin egoísmo, que pretendan un futuro mejor en lo individual y en lo colectivo” (UNAM, 1988:591).

Adicionalmente, en la Legislación Universitaria se advierte un empeño declarativo con la calidad educativa y específicamente con la práctica docente ya que en el inciso II. Principios Generales Relativos a la Docencia a la letra dice “Las actividades docentes de la UNAM se realizan conforme a un proyecto de Universidad que pugna por mejorar la calidad de enseñanza; para alcanzar esto, se requiere que el proceso enseñanza-aprendizaje se apoye en la investigación y en la capacitación a través de la práctica profesional” (UNAM, 1988, p. 594). Esta idea se ve reforzada en el Plan de Desarrollo de la Universidad (UNAM, 2012:10) en el que se establece como parte de sus programas y proyectos “Mejorar la calidad y pertinencia de los programas de formación de los alumnos de la UNAM e incrementar la equidad en el acceso a aquellos métodos, tecnologías y elementos que favorezcan su preparación y desempeño”.

También como proyecto institucional se instauran las líneas de acción: a) que el proceso de enseñanza-aprendizaje se nutra de la investigación (UNAM, 1988) y b) la pertinencia de la formación brindada a su planta docente. El primer inciso, se refleja en las políticas actuales de contrataciones de profesores con estudios de posgrado y experiencia en la investigación (dan testimonio las convocatorias recientes y en especial las referidas al programa de contratación de profesores jóvenes); línea de acción que podría fortalecerse si además se aclarara si se trata de la investigación disciplinaria o la referida a las dimensiones didácticas. El segundo inciso, no proporciona de forma explícita los recursos particulares a poner en juego para lograr su cumplimiento, sin embargo el esfuerzo hecho en materia de evaluación de la docencia puede ser un insumo valioso para lograrlo.

En el Marco Institucional de Docencia se declara el compromiso por alcanzar la excelencia académica, entre otras acciones, a través de “[…] la mejoría de las condiciones académicas en las que se lleva a efecto el proceso docente” (UNAM, 1988:592). En este documento se expresan condicionantes de la docencia universitaria como “las características de profesores y estudiantes; la naturaleza, tipos y niveles de aprendizaje; las características del entorno social, así como los métodos, técnicas, procedimientos y recursos de apoyo al proceso de enseñanza-aprendizaje” (UNAM, 1988:592).

Continuando con los factores reconocidos por la propia UNAM como importantes para la práctica docente, en el Marco Institucional de la Docencia, se considera que “la docencia como actividad organizada requiere de una instrumentación que se da a nivel institucional, en cada dependencia académica y en cada aula o espacio académico en donde interactúan un profesor y sus alumnos. Entre los elementos y factores de carácter instrumental y metodológico que deben tenerse en cuenta, se pueden identificar los distintos objetivos de la tarea educativa, sistemas, métodos y técnicas de la administración educativa; la organización académica; la investigación educativa; la planeación y programación de la enseñanza; la evaluación institucional y curricular; así como los diversos tipos de recursos físicos y materiales que forman parte del proceso” (UNAM, 1988:592).

La aseveración anterior pone de relieve una concepción compleja de diversos factores institucionales que influyen en la práctica docente de sus profesores. En este sentido y tomando en cuenta los párrafos anteriores, queda patente la necesidad de una continua valoración de las condiciones académicas donde se desarrolla la docencia, y de forma más amplia las condiciones del contexto institucional relativas a la misma.

En el discurso oficial hay un reconocimiento positivo al afirmar que “la responsabilidad del proceso-aprendizaje recae en maestros, alumnos y autoridades en la medida en que cada uno de ellos participa en él, al emitir opiniones, coordinar actividades, investigar situaciones, diagnosticar problemas o proponer opciones de solución” (UNAM, 1988:595-596), dando además de una mirada global sobre el compromiso de cada actor en el proceso enseñanza-aprendizaje, la posibilidad de que cada uno de ellos reflexione y asuma su responsabilidad en el mismo.

Otra declaración que enmarca la “La función docente de la UNAM se sustenta en el principio de su autonomía, garantía constitucional que faculta a la Institución para, sin presión ni injerencia externa alguna, crear y modificar libremente sus planes y programas de estudio, seleccionar sus contenidos de información, sus métodos de enseñanza y sus proyectos de investigación, así como para organizarse y administrarse de conformidad con sus propias necesidades. […]. Así pues, la tarea docente de la UNAM es consustancial al principio de libertad de cátedra, según el cual maestros y alumnos tienen derecho a expresar sus opiniones, sin restricción alguna, salvo el respeto y tolerancia que deben privar entre los universitarios en la discusión de sus ideas. La libertad de cátedra es incompatible con cualquier dogmatismo o hegemonía ideológica y no exime de ninguna manera a maestros y alumnos de la obligación de cumplir con los respectivos programas de estudio” (UNAM, 1988:594). Esta idea se refuerza en el Estatuto del Personal Académico, en el artículo 2o al establecer que “las funciones del personal académico de la Universidad son: impartir educación, bajo el principio de libertad de cátedra y de investigación […]” (UNAM, 1988:197).

El principio de la libertad de cátedra por su énfasis en el amplio respeto a la expresión de las ideas resulta limitado como guía o marco de orientación de las prácticas docentes, en las que sería de mayor utilidad la explicitación de un modelo psicopedagógico asumido por la UNAM, y en concordancia con lo recomendado por diversos organismos internacionales y nacionales.

PERSONAL ACADÉMICO DE LA UNAM

Un acercamiento a algunas de las características del personal académico de la UNAM permitirá apreciar el reto que representa hacer realidad las aspiraciones de lo expresado en sus documentos orientadores de la función docente y a la vez poder vislumbrar oportunidades para su perfeccionamiento.

La UNAM imparte estudios a nivel bachillerato, licenciatura y posgrado. Durante el ciclo escolar 2013-2014 atendió una matrícula de 337,763 estudiantes, de los cuales 196,565 corresponden al nivel de licenciatura, 58.2% de la matrícula total (UNAM, 2014b).

Los académicos de la UNAM reciben principalmente nombramientos de profesor, investigador, técnico académico, ayudante de profesor y ayudante de investigación; y al interior de cada uno de los nombramientos existen diferentes subcategorías (tiempo completo, medio tiempo, por horas, definitivo, asociado, titular, nivel “A”, “B” o “C”) (UNAM, 1988).

En el ciclo 2013-2014 el alumnado fue atendido por una planta docente conformada por 46,452 académicos[6], de los cuales por su nombramiento 41,581 (89.5%) se dedican especialmente a la docencia, mientras que el resto tiene una orientación más fuerte a la investigación. De los 41,581 docentes 13.17% son docentes de carrera contratados de tiempo completo, 70.62% son profesores de asignatura, 11.19% son ayudantes de profesor y el 5% son técnicos académicos en docencia (UNAM, 2014b).

La combinación de un número muy grande de académicos, la diversidad de nombramientos y su dedicación focalizada a distintas funciones, particularmente a la investigación o la docencia, plantea un grado de dificultad muy alto en la perspectiva de contar con las situaciones de desarrollo pleno de una actividad compleja y especializada como lo es la docencia. Una revisión de las funciones que deben de cubrir los investigadores, los profesores o los contratados por horas, respecto de la docencia, ayudaría a mejorar los criterios de asignación de materias, la planeación y el acompañamiento para la impartición de cursos.

En el Plan de Desarrollo de la Universidad, la UNAM (2012) reconoce abiertamente a los docentes como actores fundamentales dentro de la institución, por lo que prevé un programa que contemple el rejuvenecimiento de la planta académica y un programa de retiro voluntario. En el mismo documento también se expresa la idea de continuar con iniciativas para incrementar el número de profesores de tiempo completo con maestría y doctorado; a su vez un programa especial para que los académicos no titulados de tiempo completo y menores de 40 años obtengan su grado académico.

En este sentido, la contratación de los docentes tiene lugar mediante nombramiento interino o definitivo o por contrato de prestación de servicios (UNAM, 1988:198); la selección, en términos generales, es un proceso académico con base en el juicio de una comisión dictaminadora conformada por académicos de cada dependencia.

Sin duda, el aumento de profesores de tiempo completo puede fortalecer la actividad docente dentro del aula (permitiendo grupos más pequeños, por ejemplo) y ayudará a brindar una mejor atención de los alumnos a través de la ampliación de la cobertura del programa de tutoría o la implantación de asesoría para aclarar dudas puntuales de aprendizaje. Sin embargo, al poner el énfasis en la contratación de profesores con estudios de posgrado, sin advertir la orientación de los mismos (disciplinar o docente), deja la puerta abierta a tener buenos investigadores o profesionistas, pero no necesariamente buenos profesores. De ahí la necesidad de contar con un programa de formación y actualización docente, dirigido a toda la planta de profesores, a fin de garantizar su formación didáctica.

ESTÍMULOS A LA DOCENCIA

En el Plan de Desarrollo de la UNAM, se establece que “Con objeto de reconocer la tarea del profesorado universitario, se revisarán integralmente los programas de estímulos y apoyo al personal académico, además de que se generará un sistema único para los de nuevo ingreso, en ese contexto se actualizarán los criterios de evaluación de su trabajo” (UNAM, 2012:25-26).

En el marco de los programas de compensación salarial presentes en las IES públicas, podemos encontrar que en la UNAM está el Programa de Estímulos a la Productividad y al Rendimiento del Personal Académico de Asignatura (PEPASIG) directamente vinculado con la docencia y dirigido sólo a los profesores de asignatura. En él, se pide como requisitos contar con un año de antigüedad, título de licenciatura o superior, presentar solicitud, al menos el 90 por ciento de asistencia, cubrir el programa del curso y entregar oportunamente las actas (UNAM, 2014c). Como se puede observar se carece de indicadores de desempeño, únicamente existe una serie de requisitos de corte administrativo a cubrir.

En el mismo caso, se encuentra el Programa de Primas al Desempeño del Personal Académico de Tiempo Completo (PRIDE), en el cual el rubro que se evalúa relacionado con la docencia es “Labores docentes y de formación de recursos humanos” (UNAM, 1996b:2). Sin embargo, para cubrir este rubro se solicita una constancia de la actividad docente y se menciona que de existir evaluación de la docencia a través de la opinión de los alumnos se tomará en cuenta, pero no se especifica cómo.

Para ambos programas sería importante reflexionar sobre la pertinencia de incluir dentro de los requisitos el análisis de los profesores sobre los resultados de su evaluación del desempeño docente, así como las acciones que desarrolló para atender los principales hallazgos y si fuera el caso con base en estos resultados, a nivel de la dependencia o institucional, planificar la actualización tanto disciplinar como psicopedagógica.

CARGA ACADÉMICA DOCENTE

El Estatuto de Personal Académico (artículo 61 de UNAM, 1988) establece la distribución de horas para la actividad docente de los profesores.

En su Artículo 6º, VII se establece que los docentes, sin importar su tipo de contratación, en licenciatura no podrán impartir más de 18 horas a la semana en enseñanza teórica, pero puede solicitar horas prácticas adicionales, sin que, en su conjunto, excedan las 40 hrs. semanales. También autoriza a los profesores tener hasta 40 hrs. de enseñanza exclusivamente práctica a la semana (UNAM, 1988).

En términos generales, el número de horas asignadas a los investigadores habla de que su orientación general está dirigida para la labor investigativa. En contraste, los profesores titulares pueden ocupar hasta un tercio de su tiempo de contratación para la impartición de asignaturas. Finalmente los asociados, son quienes pueden invertir casi la mitad de su tiempo frente a grupo. A pesar de la dedicación laboral de los profesores de tiempo completo, queda evidente su orientación a otras actividades diferentes a la docencia, de ahí el alto número de profesores de asignatura que se contrata semestre a semestre (70% del total).

Cabe resaltar que para la contratación de profesores de asignatura, se busca contratar profesionistas dedicados a su disciplina, esto reditúa en la ventaja de poder vincular el desarrollo de la teoría con la práctica de la profesión. Sin embargo, no puede descartarse que en la mayoría de los casos se trata de docentes con clases frente a grupo en otras instituciones; esta situación también dificulta la posibilidad de trabajo colegiado para la planeación y el acompañamiento de las actividades docentes.

EL TAMAÑO DE LOS GRUPOS

En los documentos oficiales revisados, no se identificó una normatividad o políticas para regular el tamaño de los grupos y al parecer más bien éste obedece a la demanda y necesidades de atención de los alumnos. Cada facultad o escuela determina los límites de estudiantes por grupo, pero los criterios no son formalmente comunicados. Regularmente, en los primeros semestres los grupos son más numerosos, aunque en los avanzados donde los alumnos pueden seleccionar al profesor, existen casos donde un docente puede atender más de cien estudiantes.

En algunos casos de grupos numerosos, la razón del alto número radica en los comentarios positivos de quienes ya cursaron la asignatura y ubican al maestro como “buen profesor”. Esta situación pareciera premiar a los “buenos profesores” con una gran carga de trabajo en comparación con quienes no han sido señalados como tales.

Recordando que la docencia no sólo tiene que ver con las horas frente a grupo, sino también con un trabajo previo de planeación, posterior de reajustes y retroalimentación a los alumnos. En este sentido, se recomienda la creación de políticas institucionales sobre el número de alumnos por grupo para ayudar a equilibrar la carga de los docentes. También es importante buscar los mecanismos necesarios para garantizar que cada docente, sin importar su tipo de contratación, brinde a los alumnos clases de calidad, donde se cumplan los propósitos planteados en las asignaturas.

PLANES Y PROGRAMAS DE ESTUDIO

“La iniciativa de crear nuevos planes y programas de estudio o de reorientar los ya existentes, debe partir de formas cada vez más sistemáticas, actualizadas y totalizadoras de entender el proceso enseñanza-aprendizaje, y al mismo tiempo relacionar sus contenidos con las necesidades del país y de la Institución” (1988, UNAM:593). Esta aseveración podría complementarse si también considerara una propuesta de un modelo didáctico con funciones específicas asignadas a profesores y estudiantes, ubicadas en la naturaleza de la disciplina de la profesión, comprometida con las necesidades sociales más apremiantes.

Sin embargo, en la normatividad institucional no se prevé una metodología u orientación general, para actualizar o crear planes y programas de estudio, sino que cada dependencia ha establecido sus propios lineamientos. En la información oficial sólo se establecen los apartados a contener: fundamentación del proyecto, metodología empleada en el diseño curricular, perfil del egresado, requisitos escolares previos para inscribirse, estructura del plan de estudios, valor en créditos de cada asignatura o módulo y del plan completo, duración en periodos académicos del plan de estudios, programas de cada asignatura o módulo, criterios para la implantación, requisitos académicos complementarios para la obtención del título o diploma correspondiente, mecanismos para la evaluación y actualización del plan de estudios. Para el caso de los programas de asignatura también se establecen de manera general los elementos mínimos que deben considerarse.

La normatividad institucional no contempla de forma explícita la participación de los docentes en la actualización o formulación de planes de estudio. Lo anterior aunado a la falta de lineamientos académicos para la actualización y creación de planes siendo ellos una pieza clave en el desarrollo de los mismos ya que son quienes despliegan los contenidos en el aula, en el caso de algunos profesores de tiempo completo y asignatura, los que cuentan con la información y contactos con el mercado laboral así como conocimiento de las necesidades de la sociedad.

En la información oficial se sostiene que para la aprobación de un nuevo plan de estudios, así como su modificación, “se debe establecer la viabilidad de contar con los recursos humanos y materiales que se requieran” (UNAM, 1988:598). Sin embargo, se podría completar con la especificación de la forma de selección de aspirantes y un análisis detallado de los recursos (sobre todo en el caso de que sean compartidos con otros programas educativos), asimismo cuidar el apego a la normatividad vigente (por ejemplo, en lo referente a la asignación de horas de docencia).

EVALUACIÓN DE LA DOCENCIA

La UNAM considera a la evaluación de la docencia dentro de las herramientas que les permitirán elevar la calidad educativa. No obstante, reconoce la necesidad de mejorar de forma continua sus criterios y establecer los usos de los resultados que se obtienen (UNAM, 2012). En el Plan de Desarrollo de la Universidad (UNAM, 2012:25) se establece “poner en operación un programa de formación y superación del personal académico que contemple […] el análisis y replanteamiento de los procesos de evaluación y reconocimiento del trabajo académico […]” actualizando los criterios de evaluación (UNAM, 2012). Esto evidencia, la necesidad de contar con lineamientos generales para garantizar que el proceso evaluativo de la docencia tenga calidad, parámetros de diseño y operación claros, validez, confiabilidad y el desarrollo de estrategias que empleen los resultados para promover acciones de mejora.

En este sentido, la UNAM cuenta con la Dirección General de Evaluación Educativa (DGEE) que tiene a su cargo la realización de diversas tareas relacionadas con las evaluaciones del aprendizaje, estudios de trayectorias escolares, la evaluación de programas, la evaluación de la docencia, entre otras. La Subdirección de Evaluación de Procesos y de Programas es la encargada de la evaluación de la docencia. El proceso coordinado por esta dependencia, es voluntario y comienza con la solicitud que hace la dirección de la facultad o escuela a la DGEE. Esta instancia, puede apoyarlos en el diseño y operación del proceso completo. En general, la DGEE realiza la evaluación de la docencia a través de la aplicación de un cuestionario de opinión de los alumnos constituido en su mayoría por reactivos de opción múltiple donde la definición de los participantes en el diseño del instrumento y la implementación es decisión de las autoridades de cada facultad o escuela.

Un diagnóstico sobre la evaluación de la docencia en la UNAM (Rueda, 2006) muestra que hasta ese momento de las 14 facultades consideradas en el estudio, 12 ya implementaban el proceso, mientras que las dos restantes estaban trabajando en su diseño. De las 14 facultades, 13 reportaron que el objetivo de la evaluación de la docencia perseguía fines académicos e institucionales como la retroalimentación, la mejora de la calidad de la docencia y la planeación; aunque no se encontraron evidencias de actividades de formación derivadas de los resultados de la evaluación.

Se puede afirmar la ausencia de una política institucional que establezca los lineamientos para desarrollar los procesos de valoración de los docentes ni el uso, apoyo y orientación de los resultados de la evaluación. En un estudio posterior (Rueda, Linares y Reyes, 2011), los participantes sugirieron que los resultados de las evaluaciones se emplearán para diseñar el programa de actualización docente, a fin de darle opciones al profesor para mejorar su práctica dirigir de mejor manera los esfuerzos y recursos a las áreas de formación que más se necesitan y de esta manera favorecer la mejora de la calidad educativa.

TRABAJO COLEGIADO

En la UNAM existen diversos órganos colegiados como el Consejo Universitario, el Consejo Técnico y las comisiones dictaminadoras; en todos los casos son instancias encargadas de la toma de decisiones de corte académico-administrativo. En el Estatuto General artículo 10 (1996), se establece que “el fomento y coordinación de proyectos colegiados de docencia y de investigación en que participen facultades, escuelas, institutos y centros de investigación de la Universidad, así como su realización a través de las diversas instancias que contempla la Legislación Universitaria, corresponderán a los órganos que la propia legislación señala”. En el Estatuto de Personal Académico (UNAM, 1988:232) en el artículo 113 “la Universidad reconoce la libertad de su personal académico para organizarse en asociaciones o colegios de acuerdo con los principios de la Legislación Universitaria, principalmente la autonomía y la libertad de cátedra y de investigación” “las asociaciones o colegios […] podrán agrupar a profesores, investigadores, ayudantes y técnicos de una o varias facultades, escuelas, institutos o centros según la libre decisión del propio personal académico” (artículo 114).

Como se observa en estos estatutos, la Universidad reconoce las organizaciones de los profesores con fines de docencia o investigación. Sin embargo, no son normadas de forma específica y en la práctica, al no haber un grado de obligatoriedad, son pocos los casos donde los docentes se reúnen rutinariamente, lo que dificulta el cultivo de un espacio de reflexión sobre su práctica, el rol que juegan dentro del proceso enseñanza-aprendizaje, la posibilidad de compartir sus experiencias y organizar actividades que pudieran enriquecer su labor.

Para promover la mejora educativa es necesario que los docentes participen activamente; de ahí la necesidad de fomentar espacios de discusión formales y continuos como academias, a fin de que lo planteado en la normatividad institucional tenga un efecto en la vida docente e institucional.

FORMACIÓN Y ACTUALIZACIÓN DOCENTE

En el Marco Institucional de Docencia se expresa que “para el óptimo desempeño de su función docente, el personal académico de la UNAM debe mostrar, […] su actualización y dominio de conocimientos y métodos de enseñanza y su actitud y comportamiento consecuentes con los principios éticos y académicos de la Institución” (UNAM, 1988:595). Esta aseveración pareciera retomarse en el plan de desarrollo cuando se afirma que se pondrá en operación un programa de formación y superación del personal (UNAM, 2012). Además de agregar que “Se impulsará el uso de las nuevas tecnologías de la información y la comunicación, para fortalecer el desempeño escolar de los alumnos y las capacidades de los profesores” (UNAM, 2012:10-11). Igualmente se agrega que “se vincula con el desarrollo de un programa de formación de profesores de nuevo ingreso, que inicie con el bachillerato, orientado hacia la utilización intensiva de las tecnologías de la información y la comunicación”.

Un acierto importante en el plan de desarrollo de la UNAM es considerar que “para fortalecer el perfil competitivo del personal académico, se analizará la conveniencia y viabilidad de restaurar en la Universidad una instancia de formación de profesores relacionada con la problemática educativa y docente, que promueva y haga uso de las nuevas tecnologías y que obligue a todos los académicos de nuevo ingreso a aprobar los cursos fundamentales” (p.26).

La instancia encargada del fortalecimiento de la docencia en la UNAM es la Dirección General de Asuntos del Personal Académico (DGAPA) que tiene entre sus funciones coordinar los esfuerzos en la materia para brindar formación y actualización a los profesores a través de las demás dependencias de la UNAM, como por ejemplo el Centro de Docencia de la Facultad de Ingeniería y la Dirección General de Cómputo y de Tecnologías de la Información y Comunicación (DGTIC), a través de la Dirección de Docencia en tecnologías de la Información y Comunicación (DDTIC).

Asimismo, en la DGAPA existe el “Programa de actualización y superación docente” (PASD) que “busca el equilibrio entre la formación disciplinaria, pedagógica y transdisciplinaria, tomando en cuenta la tarea educativa en la licenciatura y ofrece, además, un medio de actualización docente que proporciona a los profesores de las escuelas y facultades de la UNAM, las herramientas didácticas para el mejor ejercicio de la docencia en el aula, con la organización de cursos en todas las áreas del conocimiento” (UNAM, 2011). El PASD, en 2013 registró 508 cursos de actualización en licenciatura, con 5,519 académicos participantes; y 11 diplomados de actualización en licenciatura, con el concurso de 242 académicos (Narro, 2014).

Actualmente, la oferta es de 463 actividades, en términos generales las temáticas están relacionadas a la actualización disciplinar (65.4%) y a la formación docente (34.6%). En el segundo caso, versan sobre la enseñanza del uso de las TIC en la educación, sobre estrategias de enseñanza-aprendizaje, análisis del plan de estudios, planeación didáctica, inducción a la docencia, evaluación educativa, entre otros temas generales. Una oportunidad importante para el desarrollo futuro de esta iniciativa podría estar representada por una presencia más vigorosa de cursos sobre didácticas específicas, rubro cada vez más presente en las recomendaciones de la literatura especializada.

Una oferta de formación permanente para mejorar las prácticas de enseñanza tendría que considerar el número de participantes al que va dirigido, las acciones podrán ser muy diferentes si se trata de decenas, centenas o miles de profesores; además de la diversidad de especializaciones en cada disciplina y el grado de desarrollo de sus didácticas específicas, la disponibilidad de tiempo para participar en las acciones planeadas, sobre todo si predominan los profesores de asignatura contratados por horas, asi como el reconocimiento del papel protagónico de los recursos materiales y personal capacitado disponibles para poner en marcha las iniciativas.

Adicionalmente, a pesar del número actual de actividades ofertadas para los académicos, es importante desplegar esfuerzos adicionales para garantizar la difusión apropiada entre la planta docente y su impacto en la atención de las necesidades de los profesores.

APOYO A LOS ESTUDIANTES

Hasta este momento se han destacado aspectos más bien vinculados con los académicos, sin embargo, aunque este trabajo está dedicado a ellos, es indispensable mencionar la contraparte de su labor: los estudiantes. La UNAM brinda diferentes apoyos a los estudiantes para favorecer su permanencia en la institución y su titulación en los programas educativos; ejemplo de ello son las tutorías, las becas, la orientación psicopedagógica y la orientación educativa (DGOSE, 2013).

En 2013 se estableció formalmente el Sistema Institucional de Tutoría en el que se registraron “143,230 alumnos atendidos (tutorados) y 8,126 tutores. En el caso de licenciatura, de los 196,570 alumnos, 75,025 cuentan con una beca: 63,379 de programas institucionales, 1,674 beca alimentarias y 9,972 coordinadas por otras entidades y dependencias” (Narro, 2014:11).

Las becas otorgadas en licenciatura fueron 63 379, “de las becas de programas institucionales 36,561 pertenecen al Programa Nacional de Becas para la Educación Superior (Pronabes), 11,535 a Universitarios Prepa Sí del gobierno del Distrito Federal, 904 a Bécalos-Pronabes-UNAM Licenciatura, 2,103 a Becas de Titulación para Licenciatur a (SEP-CNBES), 1,498 al Programa de Alta Exigencia Académica (PAEA), 1,568 al Programa de Fortalecimiento de los Estudios de Licenciatura (PFEL), 2,600 al Programa de Becas para Estudios en Universidades de Prestigio (Probeup) y 6,610 a otros tipos de becas” (Narro, 2014:12).

En términos generales, la importancia de conocer los programas encargados de atender a los alumnos, entre otras razones, se orienta en dos vertientes vinculadas con los docentes: a) ¿qué programas o apoyos son atendidos, y por tanto, se incluyen en la carga académica de los profesores?, ¿se les ha brindado la capacitación y los recursos para desarrollarlos?, ¿existe un reajuste en las horas destinadas a las funciones sustantivas de los profesores?, ¿a cuál de sus actividades le restarán tiempo para atender los programas de apoyo a los alumnos?; y b) ¿los programas apoyan las necesidades de los alumnos prioritarias para facilitar su desempeño dentro del aula?, ¿su operación es efectiva y eficiente de tal manera que la atención al estudiantado facilita la labor docente dentro del aula?. Evidentemente, los dos temas generales abordados no son los únicos y las preguntas planteadas no son exhaustivas de ellos, son apenas una primera mirada a lo que constituirá la indagación del proyecto de investigación del cual este trabajo forma parte.

COMENTARIOS GENERALES

Con el ejercicio analítico realizado se espera haber contribuido al acopio de información para ampliar el conocimiento y la comprensión de las condiciones en las que desempeñan sus actividades los profesores en las instituciones públicas de educación superior, en particular el caso de la UNAM. Con ello se han identificado algunas situaciones para promover la mejora permanente de la docencia.

El recorrido inicial sirvió para identificar distintos intereses que han orientado la discusión sobre las funciones atribuidas a las Instituciones de Educación Superior y que han variado a lo largo del tiempo, como si deben estar orientadas a la formación de las élites, o, a la población general. Si la revisión del funcionamiento de estas instituciones debe focalizarse a la regulación del trabajo académico, a la puntualización de los deberes y derechos de la planta docente, o la obtención de mejor estatus y mejores condiciones laborales para su desempeño.

Lo que aparece de forma muy clara es que las condiciones de trabajo del profesorado son muy diferentes en los distintos países, lo mismo que el tiempo dedicado para cada una de las funciones asignadas, o la distribución por género observada en los modelos de universidad claramente orientados a la investigación, a una mezcla de investigación y enseñanza, o centradas en la actividad de enseñanza.

Las recomendaciones sobre las condiciones de empleo, incluyen la necesidad de contar con sistemas abiertos y equitativos de desarrollo profesional, tanto en materia de nombramientos, ascensos, definitividad, como de seguridad y despido. Se percibe una búsqueda para lograr un equilibrio en garantizar la autonomía y libertad de cátedra para el personal académico, la puntualización de su responsabilidad, la obligación de rendir cuentas, condiciones justas y equitativas de evaluación; así como condiciones adecuadas de trabajo, un salario digno para los docentes, así como una preparación y formación pedagógica profesional.

Hay un reconocimiento de la existencia aún de condiciones poco favorables en muchas IES para el desempeño del profesorado, como la atención a grupos numerosos, una actividad docente centrada en la cátedra, un aprendizaje memorístico y escasas posibilidades de una interacción personalizada. Otro de los aspectos poco propicio es la infraestructura: salones equipados con materiales didácticos mínimos o incluso con una ausencia de laboratorios y equipo. Una presencia creciente de un control administrativo alentado por los procesos de aseguramiento de la calidad que han modificado los valores tradicionales de la profesión y las prácticas académicas.

La revisión de la docencia en la UNAM permitió reconocer una conceptualización sustentada en los principios de autonomía y de libertad de cátedra, desde una perspectiva humanística y científica, con un sentido social de servicio. Su contraste con algunas características del personal académico, sus condiciones laborales y la función asumida en cada uno de sus recintos, representan un gran desafío para un desarrollo constante. El reconocimiento de diversos factores institucionales que influyen en la práctica docente de sus profesores, es una invitación a precisar acciones de sistematización para su conocimiento y para una intervención de todos los involucrados.

Han sido notorias y diferentes las iniciativas institucionales para apoyar a los estudiantes y a los docentes, por lo que sería deseable valorar su alcance e impacto, a fin de optimizar los recursos y tomar las decisiones pertinentes para garantizar su mejora permanente. Se puede observar que si bien la UNAM expresa una concepción amplia de la docencia, cuenta con una reglamentación específica, programas de apoyo e instancias para apoyar el desarrollo de esta función; existen algunas ausencias en el marco legislativo y una desarticulación entre los mecanismos involucrados, lo cual podría estar impidiendo que las aspiraciones en la mejora y actualización de esta función, no se vean suficientemente reflejadas en la vida cotidiana de la comunidad universitaria.

El énfasis hasta ahora puesto en la mejora de la docencia a través de la formación en posgrados podrá complementarse si además se alienta la preparación en las dimensiones didácticas de cada disciplina y se avanza en la explicitación de un modelo psicopedagógico asumido por la propia organización. Todo ello cristalizado en un programa de formación y actualización docente. Por otro lado, una revisión de la diversidad de nombramientos, su dedicación focalizada a la investigación o la docencia ayudaría a mejorar los criterios de asignación de materias, la planeación y el acompañamiento para la impartición de cursos. Acercamientos hacia las condiciones que propicien el trabajo colegiado para la planeación y el acompañamiento de las actividades docentes, la revisión de los programas de evaluación y el análisis de los procesos de enseñanza-aprendizaje, podrán contribuir a enriquecer su labor.

El esfuerzo institucional de la UNAM ha sido considerablemente grande para apoyar a los estudiantes y a los docentes, sin embargo el reto de armonizar las aspiraciones y las condiciones contextuales para lograr el desarrollo pleno de la docencia aún está por consolidarse. La participación de todos los actores involucrados es indispensable.

4 Los países participantes en el estudio fueron: Australia; las naciones asiáticas de Corea del Sur, Hong Kong, Japón; de América latina: Brasil, Chile y México; Estados Unidos; de Europa: Alemania, Holanda, Inglaterra, Suecia y Rusia; e Israel del medio este. Al comienzo también estaba considerado Egipto, pero por problemas metodológicos y de aplicación de la encuesta, los datos de ese país finalmente no fueron considerados.

5 Los casos reportados son de 13 países (tres de ellos latinoamericanos: Argentina, Brasil y México), la versión original es del 2002 publicada por el Center for International Higher Education Lynch School of Education, Boston College Chestnut Hill, Massachusetts, con el título de: The Decline of Guru: the Academic profession in developing and middle-income countries.

6 La cifra se refiere al número de nombramientos, no al número de personas. Los primeros representan una cifra mayor, dado que una misma persona puede tener más de un nombramiento. En total, para el mismo ciclo escolar que se menciona, el número de personas sumaban 37,610.

CONDICIONES CONTEXTUALES PARA EL DESARROLLO DE LA DOCENCIA EN UNA UNIVERSIDAD DEL SURESTE DE MÉXICO

Edith Juliana Cisneros-Cohernour

Lucely Carballo Solís

Galo López Gamboa

INTRODUCCIÓN

El desarrollo de todas las profesiones es diferente, más aún en el caso de los docentes, el desarrollo no está supeditado a un orden lógico como si se tratase de cambios biológicos, antes bien existen diferentes factores que hacen diferencias en la manera en cómo el profesor se mira a sí mismo, a su práctica y a su evolución personal y profesional. Tal como señala Feixas (2004) citando a Burke “El entorno organizativo, por otro lado, influye en la carrera profesional a través de las regulaciones de la profesión, los estilos de gestión, la administración pública, las expectativas sociales, las organizaciones profesionales y los sindicatos”.

En esa misma línea es preciso considerar que si todos esos factores (entre otros) influyen en la docencia, también tendrían que ser considerados los elementos contextuales en el proceso de evaluación de la misma. No obstante, aunque la evaluación de la docencia tiene una gran tradición en las instituciones educativas desde hace más de sesenta años, existe preocupación por su validez y por su contribución a la mejora de la calidad de la práctica educativa. Como afirma Darling-Hammon (2012: p. i):

Los sistemas existentes rara vez ayudan a los maestros a mejorar o distinguir aquellos que están teniendo éxito con claridad de los que tienen problemas. Las herramientas que se utilizan (para evaluar) no siempre representan las características importantes de una buena enseñanza.

Ory y Ryan (2001), quienes realizaron una revisión de la literatura sobre la validez de las evaluaciones de la docencia, encontraron que éstas se han centrado en las evaluaciones basadas en opiniones de los estudiantes. Los resultados de estos estudios indican que a primera vista, existen pocas dudas sobre su validez externa de los puntajes, dado que existe una relación entre los resultados de la evaluación y el aprovechamiento de los estudiantes, medido por su calificación obtenida en el curso (Cohen, 1981; Ory y Ryan, 2001).

Resultados similares fueron encontrados por Abrami, d’Apollonia & Cohen, 1990; así como por Abrami (1989), Feldman (1989), Kulik y Kulik (1974), y Marsh (1987). Estudios posteriores han demostrado que existe una relación positiva entre las conductas observadas en el aula y los puntajes que los estudiantes otorgaron a sus instructores y cursos (Koon & Murray, 1995; Renaud & Murray, 2004).

Sin embargo, los puntajes otorgados por los estudiantes tienen una correlación moderada con el aprovechamiento de los estudiantes. (Emery, Kramer & Tian, 2003). Estudios realizados por Arthur, Tubré, Paul y Edens (2003) sobre el incremento en aprendizaje de los estudiantes en un curso introductorio de psicología, encontraron una débil correlación entre los puntajes que otorgan los estudiantes al evaluar la efectividad de su profesor y el incremento de aprendizaje de los estudiantes después de participar en el curso. Se encontró una relación moderada entre calificaciones de los estudiantes y logros de aprendizaje.

Ory y Ryan (2001), concluyen que existe un limitado número de estudios acerca de los aspectos de validez de contenido, substantiva y de consecuencias de las evaluaciones basadas en opiniones de estudiantes, así como de los factores que pueden influir en el proceso de evaluación. Es decir, se carece de estudios que indaguen sobre el significado del constructo buena docencia, de la forma en que quienes evalúan comprenden este constructo y llevan a cabo la evaluación y sus consecuencias, así como de las condiciones en las que se vive la docencia, de tal forma que sirvan como punto de partida para entender mejor la evaluación en todas sus dimensiones.

Tomando en consideración lo anterior, se hace evidente la necesidad de que la evaluación de la docencia tome en consideración el contexto en que ésta tiene lugar. Cómo afirman Stake y Burke (2000), la calidad de la docencia solo puede ser juzgada propiamente en el contexto en que tiene lugar y tomando en consideración todos los factores que en ella influyen. Si no se hace un esfuerzo por examinarla en su complejidad, la evaluación será inválida.

Por su parte Kuh et al. (2005) y Rueda, Canales, Leyva y Luna (2014), indican que la investigación ha mostrado que el contexto juega un papel importante junto con las prácticas de enseñanza y aprendizaje en los logros del aprendizaje de los estudiantes. Como afirma Jornet (2012), el contexto es un elemento que influye en la docencia, ya que la práctica no es exclusivamente responsabilidad individual ni se realiza en un vacío.

El contexto involucra no solo el ambiente del aula y el del centro escolar, sino también el contexto interno y externo de la organización, incluyendo aspectos sociales, políticos y culturales (Coll, 1994; Coll et al. 2007). Luego entonces, si la docencia se ve influida por el contexto esto ocurre también con la evaluación.

Este trabajo es parte del estudio sobre las prácticas y condiciones institucionales para el desarrollo de la docencia en universidades iberoamericanas de Rueda, Canales, Leyva y Luna (2014), que se centra en analizar las políticas y prácticas que promueven un adecuado desarrollo de la función docente en el contexto de seis universidades (México, Venezuela, Argentina y España).

En particular, el trabajo presenta los resultados preliminares del estudio en una universidad del sureste mexicano.

OBJETIVO DEL ESTUDIO

Analizar las políticas, prácticas y condiciones institucionales que promueven un adecuado desarrollo de la función docente en el contexto de una universidad pública en el sureste de México.

METODOLOGÍA

En consistencia con el proyecto del cual forma parte, el estudio utiliza el diseño de estudio de casos que involucra diversos métodos de recogida de datos y múltiples actores en el contexto de una universidad mexicana.

El trabajo se desarrolla en tres niveles de análisis: nivel macro, nivel meso y nivel micro. El macro se refiere al entorno de políticas, nacionales e internacionales, que orientan los propósitos, planes y programas generales de las Instituciones de Educación Superior (IES) en relación a la actividad docente.

El nivel meso integra las condiciones institucionales que configuran el trabajo docente. Aquí importa, por un lado, identificar la recepción de los lineamientos y las iniciativas del nivel anterior. Por otro lado, se analiza el conjunto de normas de la institución. Además, este nivel también incluye los programas institucionales que elaboran periódicamente los directivos de las instituciones.

El nivel micro se refiere a las condiciones institucionales, las cuales pueden ser previas, durante o posteriores al proceso educativo. Sin embargo, tienen una influencia más directa en la práctica docente dentro del aula. Dentro de cada nivel se distinguen ciertas dimensiones que lo describen y explican. Se incluye a continuación un cuadro resumen de esas dimensiones, los aspectos clave que se investigarán en cada una y las técnicas de investigación previstas.

Específicamente este trabajo presenta resultados del nivel meso, las percepciones de los estudiantes de una dependencia del área de humanidades acerca de las condiciones del contexto institucional que apoyan su permanencia y egreso en la universidad.

Para la recogida de datos se utilizó el cuestionario de opinión de los estudiantes “Valoración de las variables de contexto” de Edna Luna Serrano y Adela O. Rosales (2014). Este instrumento cuenta de 104 ítems que analizan 12 elementos del contexto:

• Programa de tutorías

• Programa de orientación educativa y psicopedagógica

• Programa de becas

• Programa de asesorías académicas

• Programa de intercambio estudiantil

• Actividades de investigación, culturales y deportivas

• Promoción del aprendizaje de una lengua extranjera

• Formación profesional y vinculación

• Servicios bibliotecarios

• Servicios de cómputo y equipo

• Laboratorios

• Elementos que repercuten en el proceso enseñanza-aprendizaje

Fueron encuestados 114 estudiantes, de los cuales el 67.5% son mujeres y el 32% varones. El 76.3% de los 114 estudiantes señaló que la carrera elegida fue su primera opción, mientras que el 23.7% dijo que no fue así. Todos los encuestados son mexicanos y únicamente el 6.3% declaró hablar una lengua indígena.

El promedio general de calificaciones de los estudiantes es de 87.71, lo cual indica que están en el último cuartil por lo que el promedio en general es de alto a muy alto, tomando en consideración que el mínimo aprobatorio es de 70 puntos. El 94.7% de los encuestados declaró ser un estudiante regular, es decir, permanece con la cohorte con la que ingresó y no ha adeudado más de 5 asignaturas desde el inicio de la carrera.

De igual manera, los jóvenes encuestados indicaron que el 71.1% está dedicado de tiempo exclusivo a estudiar mientras que el 28.9% estudia y trabaja. Los estudiantes que trabajan, dedican a esta actividad entre una y cinco horas por semana. En promedio trabajan tres horas por semana, lo cual también indica que aún quienes tienen que laborar, trabajan menos de 20 horas por semana.

Aun cuando pareciera que hay más hombres que mujeres que trabajan, en realidad no existe diferencia significativa entre el porcentaje de hombres 27.02% que estudian y trabajan en comparación con el 29.87% de las mujeres.

RESULTADOS PRELIMINARES

A continuación se describen los resultados del estudio con base en el análisis de cada una de las dimensiones evaluadas en el cuestionario:

Como se aprecia en la tabla anterior la mayor parte de los estudiantes tiene una percepción positiva de cada uno de los aspectos del contexto institucional vinculados con la mejora de la docencia:

Promoción del aprendizaje de una lengua extranjera. En este rubro, el 93% de los estudiantes indicó que considera que el campus les da la oportunidad de aprender una lengua extranjera, la cual asumen importante para su formación profesional.

Formación profesional y vinculación. En relación con este aspecto del contexto, el 87.6 % de los estudiantes considera que su carrera les da la oportunidad de participar en el servicio social profesional, prácticas profesionales y proyectos de vinculación, que contribuyen a su formación profesional y desempeño académico.

Elementos que repercuten en el proceso enseñanza-aprendizaje. Relacionado con este aspecto, el 77.3 % de los alumnos indicó que es importante que su licenciatura esté acreditada, que sus profesores cuentan con los conocimientos y experiencia requeridos para impartir las asignaturas, fomentan valores como la responsabilidad, honestidad y solidaridad. Asimismo, mencionaron estar de acuerdo en que el tamaño de grupo, mobiliario, instalaciones del aula, equipo multimedia son adecuados y que las aulas se encuentran limpias. También estuvieron de acuerdo en que sus compañeros comparten un nivel académico e intereses profesionales similares, mantienen una relación de respeto entre sí y sus profesores y que mantienen un nivel adecuado de comunicación tanto con docentes como con autoridades. Sin embargo, el 57.9% coinciden en que tienen problemas para conectarse a la red inalámbrica en la escuela.

Servicios bibliotecarios. Donde el 66.3% de los estudiantes estuvo de acuerdo en que el horario, días de préstamo, bases de datos en línea, libros y otros recursos y servicios bibliotecarios cubren sus necesidades. Asimismo consideran que el acervo bibliográfico se encuentra en buenas condiciones y que las instalaciones de la biblioteca son adecuadas. En general, los estudiantes se encuentran satisfechos con los servicios bibliotecarios (71.7%).

Programa de intercambio estudiantil. De acuerdo con este apartado, el 65.6 % de los estudiantes indicó que está informado de este programa, que la convocatoria contiene información clara y tiene la oportunidad de participar en este tipo de programa. El 93.8% indicó que considera que participar en un programa de intercambio académico contribuye a su formación integral.

Servicios de cómputo y equipo. El 62.7 % estuvo de acuerdo con los horarios, software e instalaciones de las salas de cómputo. Asimismo, concuerdan en que las salas de cómputo cuentan con instalaciones y equipo adecuados, acceso a internet y que los equipos son suficientes para los estudiantes. El 57.9% de los estudiantes indicó estar satisfecho con los equipos de cómputo de su unidad académica.

Programa de tutorías. En este aspecto, el 61.5 % de los estudiantes estar de acuerdo con el trabajo realizado por sus tutores (orientándolos acerca de apoyos disponibles, proporcionando información acerca del plan de estudios y normativa escolar y habilitando en tiempo y forma las unidades de aprendizaje en el sistema para que puedan reinscribirse). Asimismo concuerdan en que han recibido capacitación sobre el Sistema Institucional de Tutorías y han podido actualizar la información solicitada en el sistema. También concuerdan en que asisten a las sesiones de tutoría y sus tutores les proporcionan tutorías adicionales si las solicitan. Los alumnos concuerdan en que las tutorías han favorecido su permanencia en la carrera y que están satisfechos con el trabajo de su tutor y en general con el sistema de tutorías de su unidad (62.3%).

Programa de orientación educativa y psicopedagógica. De acuerdo con este apartado, el 61% de los estudiantes está de acuerdo en que esta unidad académica ofrece actividades relacionadas con el desarrollo de habilidades de pensamiento, técnicas de estudio, y que este departamento contribuye a mejorar el desempeño académico y personal de los estudiantes. El 86.8% indicó que es importante contar con este tipo de departamento.

Programa de beca. Según el 57.8% de los alumnos indicó estar informado del programa de becas y que las convocatorias se difunden con tiempo suficiente y proporcionan información clara. Asimismo, el 53% opinan que los programas de becas apoyan a quienes lo necesitan.

Programa de asesorías académicas. Donde el 54.8% de los estudiantes concuerda en que se les ofrecen tutorías académicas, las cuáles consideran importantes para mejorar su desempeño académico.

Actividades de investigación, culturales y deportivas. Relacionado con este aspecto, el 49.3% de los alumno está de acuerdo con la oferta de cursos de investigación, culturales y deportivos con valor curricular en los que puede participar. Asimismo, considera que todas estas actividades contribuyen a su formación integral.

Laboratorios. En este rubro, el 30.3% de los estudiantes estuvo de acuerdo con su conocimiento del laboratorio, su reglamento y seguridad. Asimismo, considera que las instalaciones de los laboratorios son adecuadas y cuentan con materiales y equipo suficiente y actualizado que cubre sus necesidades académicas. Es importante notar que 26.9% indicó estar en desacuerdo con la opinión de sus pares y que el 42.8% de los estudiantes afirma ser indiferente acerca de los laboratorios.

CONCLUSIONES

Los resultados del estudio indican que en términos generales los estudiantes están satisfechos de los elementos del contexto institucional, tanto de forma como de fondo en su dependencia. En la siguiente fase del proyecto se llevarán a cabo grupos focales con los estudiantes para identificar políticas y otros elementos del contexto institucional que pueden influir en la calidad de la docencia, así como para analizar con mayor profundidad los resultados de la encuesta.

Debido a que ciertos grupos de estudiantes seleccionaron la opción intermedia de la escala, que indica una opinión indiferente acerca de los aspectos del contexto institucional, estos grupos focales permitirán verificar las razones detrás de estas respuestas.

Asimismo, se llevarán a cabo entrevistas con administrativos y grupos focales con docentes para identificar sus percepciones acerca de las políticas, prácticas y condiciones del contexto que influyen en la mejora de la práctica docente en su dependencia.

Un estudio de esta naturaleza contribuye a nuestra comprensión de la importancia del contexto en la práctica de la docencia en educación superior. Como afirma Vergara (2005), para comprender esta práctica, es necesario considerar que en todo proceso educativo existe un entrelazamiento de contextos.

Un estudio del contexto, involucra a su vez un análisis del contexto social, económico, político y cultural que influye en su trabajo, determinando demandas y desafíos (Fierro, Fortoul & Rosas, 1999). La conjunción de estos influye en el profesor, en su práctica, desempeño e incluso sus actitudes (Martínez, García & Aldana, 2013).

ALGUNAS CONSIDERACIONES SOBRE LA EVALUACIÓN DE LA DOCENCIA EN DOS UNIVERSIDADES VENEZOLANAS

Ana Julia Bozo de Carmona

Alicia Inciarte González

María Cristina Parra-Sandoval

Jesús Alberto Fuenmayor

RESUMEN

Frente a los retos que afronta la educación superior contemporánea en cuanto a calidad e inclusión, resulta crucial redefinir la función docente y mejorar las prácticas pedagógicas vigentes. Este trabajo presenta los avances del estudio adelantado por el equipo venezolano en el marco de un proyecto desarrollado en cuatro países iberoamericanos, el cual se ha planteado el estudio de las condiciones contextuales que inciden sobre la práctica de la docencia universitaria. La hipótesis central es que el desempeño docente está asociado, directa o indirectamente, a un conjunto de factores de contexto, organizados en tres niveles: macro, meso y micro. Las universidades objeto de estudio son dos: una oficial y otra privada. En la primera, se escogieron las carreras de Diseño Gráfico, Odontología, Educación y Biología; en la segunda, se seleccionaron las carreras de Artes, Mención Diseño Gráfico, Comunicación Social y Educación. Se presentan las dimensiones, indicadores y técnicas de Investigación a utilizar para la recolección de información: análisis documental, cuestionario a estudiantes; grupos focales con autoridades, estudiantes y docentes; entrevistas a docentes. Se concluye con reflexiones acerca de algunos factores contextuales de la docencia universitaria, los más resaltantes del caso venezolano: la importancia de los principios de igualdad y equidad declarados en las políticas públicas, el crecimiento en el número de instituciones universitarias, la ideologización en el ingreso y formación del profesor universitario, el debilitamiento de la finalidad de la formación universitaria. Finalmente, se plantean algunas interrogantes acerca de la pertinencia y validez de la evaluación de la docencia.

Descriptores: Calidad Docente– Evaluación Académica– Docencia Universitaria

INTRODUCCIÓN

La calidad de la educación terciaria es un tema presente en la literatura y en las agendas de los foros nacionales e internacionales desde finales del siglo XIX (Charles, 2007), aunque fue durante el siglo XX que se constituyó como criterio imprescindible para la gestión y planificación de la educación superior. Prueba de ello es que organizaciones como UNESCO, OCDE y CINDA, entre otras, han dedicado innumerables recursos, estudios y declaraciones a la definición y evaluación de la calidad educativa universitaria. (UNESCO, 1998, 2008a y 2008b; OCDE, 2013; CINDA, 2012; Hénard, 2010).

A partir de la calidad, importantes consorcios internacionales han generado “rankings” o sistemas de calificación académica de las instituciones cuya influencia es cada vez más decisiva para consagrar una universidad como de calidad en la matriz de opinión pública universitaria y extrauniversitaria, aunque sus resultados han sido cuestionados por distintas razones tanto metodológicas como conceptuales.Times Higher Education (THE), Quacquarelli Symonds Top Universities (QS), WR (Webometrics), ARWU Shangai y ENQA (European Association for Quality Assurance in Higher Education) son solo algunos de los más conocidos entre estos rankings.

Ahora bien, el concepto de calidad ha sido objeto de permanentes controversias aún no resueltas, por la multiplicidad de variables y factores presentes en su definición.

La globalización económica y cultural produjo que la calidad de la educación superior fuera abordada desde una aproximación generalizadora. Esta aproximación pretendió consagrar el modelo de universidad de investigación anglosajón, cuyo antecedente inmediato es el modelo alemán, como el único representativo de la calidad universitaria (Parra, Bozo e Inciarte, 2010:8). Dicho modelo vincula inexorablemente la enseñanza a la investigación científica, de forma que las universidades de calidad son aquellas que exhiben un alto rendimiento en esa actividad y en la producción de nuevos conocimientos tecnológicos.

La generalización del concepto de calidad universitaria a partir del modelo conocido como “World Class University” centrado en la investigación y al cual responden los “rankings” internacionales mencionados, ha sido interpelada, al menos, desde dos frentes.

Por una parte, se observa, en los últimos años, un crecimiento acelerado en el número y tipos de instituciones de educación superior; esta diversidad ha justificado un giro en las actuales tendencias según el cual la calidad, en la educación superior, no es un concepto único o susceptible de generalización, sino que distintas formas de definir y evaluar la calidad se asocian al contexto y al tipo de institución universitaria de los que se trate (CINDA, 2012).

En efecto, frente al heterogéneo panorama de la educación superior en América Latina y el mundo

“no puede haber una única definición de universidad, sino la coexistencia de diversas instituciones de educación superior, que responden a diferentes intencionalidades y propósitos y son sustancialmente diferentes en calidad… universidades que reflejen el modelo de centros de investigación avanzada, otras el modelo de instituciones profesionalizantes y, otras, el modelo de servicio comunitario” (Parra, Bozo e Inciarte, 2010:187).

Según Raúl Atria (2013, p. 25) “lo que no puede ocurrir es que tengamos una aplicación de criterios de calidad uniformes para instituciones que tienen distintas rutas hacia ella”.

En México, el Instituto de Investigaciones sobre la Universidad y la Educación, desarrolla desde 1976, investigaciones en torno a la calidad educativa universitaria, según criterios que, si bien recuperan los indicadores internacionales, han construido patrones propios inspirados en las condiciones específicas del sistema de educación superior mexicano y latinoamericano.

Por otra parte, se argumenta que si bien la investigación es una de las facetas que configura la calidad de la educación superior, ella coexiste con otras igualmente consustanciales a los procesos académicos; a saber, la docencia, la extensión y la gestión de los procesos, de forma que la preferencia de la investigación sobre la docencia, para definir su calidad, debe ser revisada.

Tal fue la concepción que privó en el Informe Final de la Comisión Europea para incentivar la calidad de la enseñanza-aprendizaje en las instituciones europeas de educación superior (Grupo de Alto nivel para la modernización de la educación superior, 2013). En su texto se afirma que la calidad de la docencia ha sido frecuentemente subestimada a pesar de ser el centro de gravedad en torno al cual gira la educación superior, por ser absolutamente crucial para habilitar las universidades como espacios de producción de pensamiento crítico y creativo, y como forjadoras de profesionales capaces de moldear nuestro futuro. El reporte, por ello, posiciona la calidad de la enseñanza-aprendizaje en el primer lugar de la agenda para la modernización de la educación superior europea.

En esa dirección, se ha desarrollado, desde hace quince años, la agenda de la Red Iberoamericana de Investigadores sobre Evaluación de la Docencia (RIIED), en el marco de la cual, se han trabajado varios proyectos que subrayan la práctica docente y las actividades de enseñanza y aprendizaje, como los núcleos centrales de los que depende la calidad de la educación superior, vinculada al contexto institucional[7].

El más reciente proyecto, todavía en proceso, es un esfuerzo de investigación compartido que, bajo el título de “Estudio sobre las prácticas y condiciones institucionales para el desarrollo de la docencia en universidades iberoamericanas” (SEP-CONACyT, Clave: 166792) y coordinado por Mario Rueda,agrupa universidades de España, Argentina, Venezuela y México con el propósito de exponer un modelo analítico para la evaluación de las condiciones contextuales asociadas a la función docente en educación superior.

El presente trabajo expone los avances cumplidos por el equipo de investigadores a cargo del proyecto, en Venezuela[8].

Coincidimos con la visión de los investigadores mexicanos integrantes de la RIIED, en dos aspectos fundamentales; primero, que la evaluación de la calidad de la educación universitaria tiene que ser diferenciada en función de cada contexto específico. Y, segundo, que la docencia, entendida como una actividad holística e integradora del proceso de enseñanza-aprendizaje, es clave para agregar o restar calidad a la praxis universitaria.

Sostienen García-Cabrero y Rueda (2012, p. 19) que

Para desarrollar el proceso de evaluación de la docencia se debe considerar el contexto de la institución, entendido como los propósitos plasmados en su filosofía, misión y visión…; las características que definen la gestión académica y administrativa del plan de estudios… Asimismo, se debe considerar la cultura institucional que permite apreciar el conjunto de normas y valores compartidos por los miembros de la organización.

La diversidad y heterogeneidad de instituciones de educación superior exige la contextualización y diferenciación de la evaluación educativa ya que, no puede aspirarse a un único concepto de calidad si aceptamos que no hay un solo tipo de universidad.

En efecto, si el objeto del proceso evaluativo es una institución cuyo propósito (filosofía, misión y visión) es la investigación científica, entonces, será esta función el núcleo de la evaluación de su calidad educativa. En consecuencia, los indicadores objetivos de carácter bibliométrico, utilizados por los rankings internacionales, resultan los más relevantes.

Ahora bien, si el proceso evaluativo recayera sobre una universidad cuya intención es formar profesionales competentes o acompañar a la colectividad en el cumplimiento de planes de desarrollo comunitario; entonces, el núcleo de la evaluación tendría que desplazarse hacia el proceso de enseñanza-aprendizaje o, hacia los proyectos de desarrollo comunitario cumplidos exitosamente. En este caso, aquellos indicadores no resultarían reveladores. Los indicadores representativos de la calidad educativa aplicables a instituciones no orientadas a la investigación científica de avanzada es una tarea pendiente que, en México, ha sido emprendida por varios investigadores pertenecientes a la RIIED a través del diseño y aplicación del Modelo de Evaluación de Competencias Docentes, también conocido como MECD (García-Cabrero, Loredo, Luna y Rueda, 2008).

En ese sentido, cuando la evaluación educativa coloca como centro la docencia porque es lo que corresponde al contexto institucional, debemos asignarle a esa función universitaria un significado más amplio que el asociado con su alcance coloquial.

La docencia trasciende el acto pedagógico dentro del aula y comprende, en cambio, un conjunto de acciones tales como: la definición de las concepciones curriculares que guían a la institución; la definición de los perfiles profesionales; el tipo de práctica profesional que realizan los estudiantes; todo lo referido al proceso de selección y evaluación de estudiantes y profesores, la investigación evaluativa sobre los procesos de formación profesional, los criterios para definir y aceptar tesis de grado; los criterios para crear, modificar o cerrar carreras; la forma en que se implementan programas de postgrado y educación continua y, por cierto, todo lo referido al proceso interactivo de enseñanza-aprendizaje. Es sólo así como la docencia puede re-posicionarse como la función institucional más importante a la hora de definir y evaluar la calidad de un proceso, cuyo fin último es la formación de personas capaces de sostener o transformar su entorno cultural.

METODOLOGÍA

El proyecto de investigación “Estudio sobre las prácticas y condiciones institucionales para el desarrollo de la docencia en universidades iberoamericanas”, se ubica en el campo de la evaluación y se abordará como un estudio de casos. Cada institución participante representará un caso, y en cada una de ellas se pretende; primero, documentar las políticas, las condiciones institucionales y las prácticas de aula en las cuales se desarrolla la función docente, y segundo, identificar los escenarios que favorecen la calidad de la enseñanza y las acciones que deberían implementarse para apoyar el mejoramiento de esa calidad.

En Venezuela, se trabaja con dos universidades; una pública autónoma, la Universidad del Zulia (LUZ) y, otra, privada, la Universidad Católica Cecilio Acosta (UNICA); ambas ubicadas en la ciudad de Maracaibo, Estado Zulia. Esta selección obedeció a dos razones; una es que las dos universidades son representativas de los tipos emblemáticos que definieron hasta hace poco el sistema de educación superior venezolano como un sistema binario. Tal sistema clasificaba las instituciones entre públicas y privadas. Sin embargo, hoy en día, la creación y diversificación de nuevas universidades públicas ha complejizado el panorama al punto que cabe distinguir, al menos, cuatro subtipos entre estas instituciones de educación superior; a saber, autónomas, experimentales, territoriales y especializadas (Parra, Bozo, Inciarte: 2010:25).LUZ es pública y autónoma, como se dice al principio de este párrafo, y UNICA es privada. La segunda razón refiere a la viabilidad, puesto que las universidades seleccionadas son las instituciones de adscripción de los investigadores del equipo a cargo del proyecto en Venezuela.

La hipótesis central del proyecto es que el desempeño docente se encuentra asociado, directa o indirectamente, a un conjunto de factores de contexto, cuya identificación ha sido desarrollada previamente (De la Orden y otros, 1997; De La Orden y Jornet, 2012; García-Cabrero y Navarro, 2001; García-Cabrero, Loredo, Luna, y Rueda, 2008; García Cabrero y Loredo, 2010; De la Garza, 2008).

Dichos factores han sido organizados en tres niveles: Macro, que atiende a la descripción, análisis y comprensión de las políticas (internacionales y nacionales) orientadoras de los propósitos, planes y programas generales de las instituciones de educación superior en relación a la actividad docente; Meso, referido a las condiciones institucionales que configuran el trabajo docente, desde la planeación y los programas institucionales, el equipamiento e infraestructura institucional, la organización académica del personal docente, sus condiciones laborales, y características; y, Micro, que comprende las prácticas en el aula, las cuales pueden ser previas, durante o posteriores al proceso educativo mismo.

Así pues, el proyecto identifica dos grandes variables, cuya interacción es el centro de la investigación: el desempeño docente de calidad y los factores de contexto que inciden sobre el mismo.

Al mismo tiempo, el proyecto incorpora dos magnitudes: 1. Conceptualización de referentes o constructos teóricos, entre ellos la calidad de los sistemas educativos, y 2. Diseño y validación de los indicadores que ilustran los factores contextuales influyentes en la calidad de la función docente universitaria.

El modelo teórico es el sistémico, diseñado por De la Orden y otros (1997) como un modelo solvente que permite orientar la selección de variables o indicadores y determinar su rol. Dicho modelo es comentado y reproducido en un trabajo mucho más reciente de los mismos autores. (De La Orden y Jornet: 2012).

El punto de partida del modelo analítico adoptado, en lo tocante a los factores e indicadores, es el introducido por García-Cabrero y Navarro (2001).

Encontramos que, de lo expuesto en dicho trabajo, se rescatan al menos dos aspectos, en el actual programa de investigación iberoamericano:

1) La incorporación del contexto institucional (reflejado como nivel meso) y,

2) La consideración de tres momentos para la evaluación de la función docente: las actividades previas al desarrollo del proceso de enseñanza-aprendizaje; las que tienen lugar mientras se conduce dicho proceso y, aquellas que se llevan a cabo como una valoración del impacto del proceso de enseñanza-aprendizaje. Estos tres momentos se advierten reflejados en el nivel micro.

En la tabla de Evaluación de Competencias Docentes (ECD) (García-Cabrero, Loredo, Luna, & Rueda, 2008, p. 105), se definen algunos indicadores que se retoman en la propuesta iberoamericana de la que formamos parte por Venezuela. No obstante, el modelo analítico formulado para el actual programa de investigación, se distingue del introducido en 2008, en que la evaluación presentada entonces, se restringía a las competencias de los docentes.

El formato de dimensiones e indicadores utilizado en el actual programa de investigación se diseñó en México y, su validación se cumplió a través de un proceso de “jueceo” entre los integrantes de los equipos a cargo de la investigación en España, Argentina, Venezuela y México (Ver Leyva, 2014).

Las técnicas de investigación acordadas para recabar la información acerca de las dimensiones y variables incluidas en el formato validado son: revisión documental, entrevistas, cuestionarios y grupos focales a estudiantes, docentes y responsables o directivos según resulte pertinente.

La revisión documental se cumplirá sobre los documentos emanados de los distintos organismos internacionales, nacionales e institucionales, en los cuales se plasmen los principios, lineamientos y políticas vinculados con el ejercicio de la docencia universitaria. Sin embargo, vale la pena resaltar que, en el caso de Venezuela, la política de Estado para la Educación Superior ha dejado de lado las declaraciones y documentos de algunos organismos internacionales que, en cambio, son orientadores de esa política en los otros países iberoamericanos que participan en este proyecto: España, México y Argentina. Nos referimos a Banco Interamericano de Desarrollo (BID), Banco Mundial (BM), la Organización para la Cooperación y el Desarrollo Económicos (OCDE) y la Organización de los Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI).

Por razones de posicionamiento ideológico, Venezuela, desde el año 1999, se ha alineado con las directrices que, en la materia, divulgan la Alianza Bolivariana para los pueblos de nuestra América (ALBA), la Unión de Naciones Sur americanas (UNASUR) y el Sistema de Acreditación Regional de Carreras Universitarias (ARCUSUR) de MERCOSUR. Los documentos emanados de estos organismos serán, en el caso venezolano, fuente de consulta para informar los indicadores correspondientes al nivel macro (políticas internacionales y nacionales que impactan la práctica docente). Además, se examinarán los documentos emanados de la Unión de Universidades de América Latina y el Caribe (UDUAL) y la Federación de Instituciones Universitarias Católicas (FIUC) por considerarlos relevantes.

En la tabla 1 se muestran los niveles, las dimensiones y los indicadores identificando, para cada uno, la técnica de investigación y las unidades de análisis que se utilizarán en la recolección de información.

En la tabla 2 se indican las carreras o programas de formación seleccionados para la consulta. Esta selección obedeció a que este proyecto es parte de un programa en el cual hay la participación de equipos de investigación de otros países. Para permitir la comparación, se seleccionaron carreras representativas de distintas áreas del conocimiento: educación, odontología, diseño gráfico y biología para el caso de la Universidad del Zulia y, educación, diseño gráfico y comunicación social para el caso de la Universidad Católica Cecilio Acosta. La UNICA se caracteriza por ser una universidad humanística, así que no ofrece carreras de las áreas de las ciencias duras o naturales ni de la salud, por ello se decidió seleccionar en esta institución comunicación social como tercera carrera a estudiar.

Hasta ahora, se han diseñado los siguientes instrumentos: el cuestionario para estudiantes[9] y, los temas a ser discutidos en los grupos focales conformados por los tres colectivos involucrados: docentes, responsables y/o directivos y estudiantes[10].

El cuestionario para estudiantes, originalmente, contemplaba un conjunto de preguntas cónsonas con el subsistema mexicano de educación superior. Dicho cuestionario fue modificado para adaptar las preguntas al contexto universitario venezolano. Así por ejemplo, preguntas correspondientes al Programa de Tutorías, no encontraban paralelo en Venezuela pues la figura del tutor mexicano no tiene un equivalente en este país. En consecuencia, el cuestionario se orientó hacia el desempeño de los asesores cuyas funciones están contempladas, en la Universidad del Zulia, en la “Normativa para el Proceso de las Asesorías Académicas de LUZ”, emanada del Consejo Central de Pregrado (s.f.).

Los temas de los grupos focales fueron sometidos a un trabajo de reducción teórica por parte del equipo de investigación en Venezuela, resultando los guiones de preguntas o ideas provocadoras que se utilizarán como centro de las dinámicas en los grupos focales de estudiantes, docentes y responsables o directivos, respectivamente.

A continuación, se describe la selección de los actores a consultar, en Venezuela.

Para el cuestionario a estudiantes, se seleccionará una muestra representativa de la población matriculada en el periodo académico correspondiente al 2014, encada una de las carreras seleccionadas.

Para los grupos focales de estudiantes, se decidió seleccionar tres (3) estudiantes en LUZ y cuatro (4) en la UNICA por carrera o programa de formación, para completar doce (12) sujetos. Los estudiantes deben estar cursando el séptimo u octavo semestre o, el cuarto o quinto año de la carrera.

Para los grupos focales de docentes, se decidió seleccionar tres (3) profesores por carrera o programa de formación, tanto en LUZ como en la UNICA. Los docentes deben tener una experiencia mínima de dos años en la docencia universitaria y ser, preferiblemente, egresados de la misma carrera o programa donde ejercen sus funciones docentes. En la UNICA los consultados serán los profesores con mayor carga docente que no sean directivos en las carreras o programas de formación pertinentes.

Para los grupos focales de responsables y/ directivos se decidió seleccionar a los siguientes participantes en cada una de las universidades involucradas.

Universidad del Zulia. En el nivel central: Vicerrectora Académica; Secretaria; Director Docente, Coordinador de la sección de planificación y desarrollo del currículo. En cada Facultad: Director de Escuela o Departamento; Secretario Docente de Escuela o Departamento.

Universidad Católica Cecilio Acosta. En el nivel central: Vicerrectora Académica; Secretaria; Director Docente. En cada Facultad: Decano; Director de Programa; Secretario Docente; Director de Políticas Académicas.

Los grupos focales y el cuestionario a los estudiantes se realizarán antes de finalizar el año 2014. Se estima que las entrevistas y, el procesamiento y análisis de la información se culminen durante el segundo semestre de 2015.

A MANERA DE CONCLUSIÓN

La evaluación de la calidad de la docencia y de la educación superior exige como condición previa la especificación del concepto de calidad aplicada a esos ámbitos. Estamos persuadidos de que la calidad universitaria, en su expresión mínima, es un criterio con validez planetaria que abarca cinco dimensiones: equidad, relevancia, pertinencia, eficacia y eficiencia (Unesco: 2008b).Ahora bien, las estrategias que cada institución o país adopten, en consonancia con sus políticas y fines últimos, para concretar esas cinco dimensiones en su práctica académica depende enteramente del contexto y sus condiciones.

En este proyecto, se abordará la calidad desde una perspectiva contextualizada; esto es, atendiendo a las especificidades propias de los subsistemas de educación superior de cada uno de los casos estudiados o países.

En este sentido, el escenario venezolano nos inspira una preocupación adicional referida a las condiciones necesarias para que las políticas nacionales e internacionales acogidas por los decisores gubernamentales e institucionales (nivel macro), generen efectos garantes de la calidad docente universitaria. Parece que no basta reportar las políticas acogidas, sino que es preciso analizar su puesta en práctica para evaluar cuál perfil de calidad docente subyace a las mismas y si contribuyen u obstaculizan su aseguramiento.

El Gobierno Venezolano, tal como quedó indicado, excluye “las propuestas neoliberales (fundamentalmente en Europa y los EEUU) que promueven la corporativización de la universidad tal como plantean organismos internacionales (FMI, BM; OMC, OCDE e incluso UNESCO)” (Ministerio del Poder Popular para la Educación Universitaria, 2012b:10).

El Sistema de Evaluación, Supervisión y Acreditación Universitaria o SESA presentado por el Ministerio del Poder Popular para la Educación Universitaria (2012b) rechaza expresamente el modelo persistente en la totalidad de las propuestas de sistemas de evaluación de la calidad de la educación universitaria, por haber sido diseñadas desde el “sensualismo benthamista utilitarista de los liberales” y responder a un esquema instrumental que no reconoce sujetos, condicionamientos sociales, historicidad o política.

Un componente ineludible de nuestra investigación es develar las derivaciones que tal rechazo produce sobre los factores contextuales que afectan la calidad docente en las universidades venezolanas, independientemente de cuáles sean los datos que arroja el discurso oficial y los indicadores macro que, a partir de esas cifras, son exhibidos para satisfacer las estadísticas de los mismos organismos internacionales cuyas políticas y criterios son subestimados por el Gobierno.

Los dos principios orientadores de las políticas de educación superior en Venezuela, en los últimos catorce años, inspirados, en parte, en las directrices de los organismos internacionales aceptados oficialmente, nos permiten ilustrar nuestra preocupación.

Tales principios son: primero, que la educación superior es un bien público y un derecho de todos, por lo cual las universidades tienen que ingresar a todos los aspirantes y, segundo, que las instituciones universitarias tienen que atender la superación de los problemas del subdesarrollo en las zonas aledañas a su ubicación física.

Dos efectos de la aplicación del principio de inclusión fueron primero, el incremento de la matrícula universitaria en un 98.4% en el periodo 2003-2008. Esta cifra se incrementó en el 2012 al contabilizar 2.503.296 estudiantes, lo cual representa un incremento de 27% con relación a la matrícula de 2009 (Ministerio del Poder Popular para la Educación Universitaria, 2012a). Y, segundo, la creación de un gran número de instituciones universitarias diseminadas por todo el territorio nacional y de 1700 aldeas universitarias distribuidas en 334 municipios (Parra, Bozo, Inciarte, 2010).

Ahora bien, paralelamente a estos efectos aparentemente auspiciosos, la aplicación del principio de inclusión, ha producido un deterioro en la calidad de la educación superior consecuencia de la afectación de los factores que inciden sobre los nivel meso y micro de la calidad docente.

En cuanto a los factores inscritos en el nivel meso, señalaremos, a manera de ejemplo, aquellos asociados con los mecanismos de ingreso, promoción y formación del personal docente. Todos estos factores están regidos por la Ley de Universidades promulgada en 1970 y todavía vigente.

Según sus normas, el ingreso del personal docente es por concursos de credenciales y oposición en los cuales se califican, no sólo los méritos científicos sino también pedagógicos y éticos. La promoción atiende a un sistema de escalafón docente en el cual se asciende por acumulación de trabajos científicos y académicos, publicaciones y años de servicio dedicados a la docencia y/o a la investigación universitarias. La formación de los profesores incluye el aspecto pedagógico y el disciplinar, este último en la modalidad de estudios de postgrado.

A partir del año 2000, tales premisas cambiaron a pesar de que la Ley de Universidades sigue vigente. El cambio obedeció al giro que el Ejecutivo Nacional imprimió a la educación superior según los principios ya enunciados. Las instituciones universitarias creadas para hacer realidad tales principios, emblemáticamente la Universidad Bolivariana de Venezuela (UBV), las Universidades Politécnicas Territoriales (UPT), la Universidad Nacional Experimental Politécnica de la Fuerza Armada Bolivariana (UNEFA) y las aldeas universitarias, observan otros criterios en materia de ingreso, promoción y formación del personal docente.

El ingreso de los docentes en las universidades y aldeas creadas a partir del 2000, se rige por la aprobación de cursos de contenido ideológico socialista. La promoción obedece a su participación en actividades de trabajo social o comunitario, de adoctrinamiento popular y de participación política a favor del sistema promovido por el Estado Docente (Gobierno Nacional).La formación de los profesores aspira cambiar su manera de pensar y actuar para que adhieran el modelo de universidad y de sociedad promovido desde el Gobierno e identificado expresamente como socialista. (Parra, Bozo, Inciarte, 2010, p.145).

En cuanto a los factores inscritos en el nivel micro, señalaremos otros ejemplos del deterioro de la calidad docente como consecuencia de la aplicación improvisada del principio de inclusión universitaria. Nos referimos al tamaño del grupo que maneja el docente en el aula (proporción profesor-estudiantes). El incremento de la matrícula y del número de instituciones de educación superior (más de 50), tendría que haber sido complementado con un aumento en el número de profesores, sin embargo el porcentaje de crecimiento en el total de docentes universitarios entre el 2009 y el 2012 fue del 18% (Ministerio del Poder Popular para la Educación Universitaria, 2012a).

Otro factor ubicado en el nivel micro, cuyo deterioro es oportuno reseñar, alude al perfil del docente (su nivel académico o su formación pedagógica). En Venezuela, la presión gubernamental para que las instituciones universitarias absorban la totalidad de los estudiantes que demandan educación superior, ha forzado a las universidades, especialmente las de reciente creación, a reclutar personal docente con un mínimo de entrenamiento académico, nula formación pedagógica y poca o ninguna experiencia profesional. (Parra-Sandoval, 2009).

Por su parte, el principio según el cual las instituciones universitarias tienen que atender la superación de los problemas del subdesarrollo en las zonas aledañas a su ubicación física, afecta la intencionalidad o propósito de la función docente, pues ya no se trata de la formación y la producción del conocimiento según los estándares pedagógicos y científicos convencionales, sino la resolución de problemas contextualizados a través de una estrecha colaboración entre docentes, estudiantes y comunidades.

Una consecuencia de esa afectación podría ser la entronización del utilitarismo como criterio de la calidad de la enseñanza en detrimento del trabajo intelectual sin impacto práctico-social. Surgen entonces varias preguntas: ¿Implicaría este giro que las instituciones de educación superior, en Venezuela, son de calidad sólo si devienen ambientes no-intelectuales?; ¿Son la investigación científica y la actividad docente comprometida con los problemas comunitarios actividades excluyentes entre sí?

Los efectos contradictorios de las políticas del estado venezolano en materia de educación superior nos conducen a recuperar como un tema pendiente de mayores discusiones el relativo a la confiabilidad de un estudio comparativo entre países que definen el perfil de calidad docente según criterios axiológicos y epistemológicos excluyentes entre sí.

Por último, el proyecto venezolano no se ajusta a lo planteado por Jornet (2014) sobre la validez de una evaluación como una condición indisolublemente vinculada a la aplicación de sus resultados para intervenir la gestión y la práctica de la docencia universitaria.

El proyecto de investigación “Estudio sobre las prácticas y condiciones institucionales para el desarrollo de la docencia en universidades iberoamericanas”, fue promovido desde México y, en su planificación no participaron los colectivos de directivos, docentes y estudiantes que interactúan en las universidades venezolanas. A pesar de que el equipo de investigación ha comunicado el proyecto, y su intencionalidad, a algunos integrantes de esos sectores, dicha comunicación no equivale a un compromiso de los sujetos con la evaluación o sus resultados. En consecuencia no es posible garantizar que los mismos produzcan cambios o intervenciones en los modos de desempeñarse los docentes universitarios venezolanos.

En nuestro caso, la evaluación será comunicada a las autoridades de la Universidad del Zulia y de la UNICA y, quedará a discreción de esas instancias la utilización del informe de investigación como insumo para diseñar políticas y ejecutar acciones conducentes a mejorar la calidad de la docencia.

A pesar de esta circunstancia, consideramos que el proyecto resultará en esclarecedores aportes tales como el levantamiento y registro de información relevante para identificar la actuación de ciertos factores sobre la calidad de la docencia universitaria, la validación de los indicadores y las unidades de análisis en diferentes contextos geográficos y universitarios, la interacción generada entre los distintos colectivos que participan en el estudio. En resumidas palabras, consideramos que los resultados del proyecto sentarán las bases para ejecutar, posteriormente, una evaluación aplicada que satisfaga la aspiración de validez expuesta por Jornet (2014).

7 García-Cabrero, Loredo, Luna, Pérez, Reyes, Rigo y Rueda (2004); García-Cabrero, Loredo, Luna y Rueda, 2008; García-Cabrero, Loredo, Carranza, Figueroa, Arbezú, Monroy y Reyes (2008)

8 María Cristina Parra-Sandoval, Jesús Fuenmayor, Alicia Inciarte González y Ana Julia Bozo de Carmona.

9 Elaboradopor Edna Luna y Adela Rosales

10 Preparados por el equipo de investigadores de la Universidad de Valencia (España) constituido por: Jesús Jornet, José González Such, María Jesús Perales Montolío, Margarita Bakieva, Purificación Sánchez Delgado y Carlos Sancho Álvarez; con la colaboración de Mario Rueda Beltrán (UNAM, México)

EVALUACIÓN DOCENTE EN LA EDUCACIÓN SUPERIOR: UN DIALOGO COMPARATIVO MÉXICO-BRASIL[11]

Adolfo Ignacio Calderón

Carmen Barrera Rosado

Carlos Marshal França

INTRODUCCIÓN

Como afirma García Guadilla (2011), la década de los noventa, la llamada “década de la evaluación”, se caracterizó por una serie de reformas en el ámbito de la educación superior en las cuales ganaron centralidad las políticas de evaluación y acreditación universitaria.

En el contexto de las grandes reformas de orientación neoliberal, se constata el proceso llamado de comodificación, entendido como la tendencia por la cual las instituciones sociales, “cuyo propósito no sea producir mercancías en el sentido económico restricto de artículos para la venta, pasan a ser organizadas y definidas en términos de producción, distribución y consumo de mercancías” (Fairclough, 2001, p. 255).

La introducción de principios y estrategias del mundo empresarial para las actividades educacionales acarreó la expansión de un modelo de universidad denominando como “Universidad Mundial del Banco Mundial” o modelo “anglosajón” de universidad, que conforme Sguissardi (2005), se encuentra en pleno proceso de implantación al rededor del mundo.

Las discusiones sobre la evaluación educativa envuelven aspectos técnicos, políticos, ideológicos y éticos dentro de múltiples dimensiones que se encuentran estrechamente entrelazadas por ejemplo la evaluación del aprendizaje, la evaluación institucional y la evaluación de sistemas. Son discusiones que, tanto en Brasil como en México, se insertan conforme estudios realizados, desde una perspectiva sistémica en busca de perfeccionamiento de instrumentos y de políticas educacionales (paradigma del consenso) o dentro de una perspectiva teórico-crítica, de resistencia al avance de las políticas neoliberales (paradigma del conflicto). En este contexto predomina la tendencia por la búsqueda de la eficiencia a partir de la lógica del mercado, por medio de la función evaluadora del Estado, de la evaluación por resultados, del productivismo académico y de las políticas de ranqueamiento, bajo influencia de las orientaciones de las grandes agencias multilaterales (Barriga, 2002; Sguissardi, 2005; Rueda, 2008, Dias, 2005).

En lo que se refiere a la evaluación del trabajo docente, en el campo de la evaluación institucional, se puede afirmar que asume diversas connotaciones a partir de las perspectivas en que sustentan, tanto para justificar políticas de acreditación, evaluación a gran escala y ranqueamiento, como para propiciar espacios formativos y procesuales para la mejoría del desempeño docente en su dimensión académica pedagógica.

En este contexto, el presente artículo aborda la evaluación docente, partiendo del enfoque adoptado por Rueda (2008, p. 11), en el que:

La evaluación de la efectividad de la docencia es un aspecto que se considera fundamental en casi todas las IES [Instituciones de Educación Superior]; determinar la calidad con la que se llevan a cabo diversas funciones docentes es esencial para realizar una variedad de recomendaciones y decisiones académicas y administrativas. También proporciona retroalimentación a los profesores, lo que puede tener una influencia directa en su auto-imagen y satisfacción profesional. Asimismo, permite establecer un clima que proporciona información acerca del compromiso institucional hacia el mejoramiento profesional y la confianza que se tiene en que cada miembro del personal docente pueda hacer una contribución valiosa al logro de metas compartidas.

Bajo esta perspectiva, este artículo tiene como objetivo estudiar, dentro del campo de la educación comparada, los procesos e instrumentos de evaluación docente adoptados en universidades mexicanas y brasileñas, con el propósito de identificar diferencias y semejanzas, distanciamientos y aproximaciones, convergencias y especificidades contextualizadas en las políticas de orientación neoliberal en curso en el ámbito global.

Es un estudio que también se inserta dentro de la producción científica que viene siendo realizada sobre la educación superior, en una perspectiva comparada, que envuelve a Brasil y México, entre otros países, principalmente desde inicios de la década pasada. Bajo esta óptica, solamente fueron encontrados cuatro artículos científicos, publicados en revistas de gran impacto, de los cuales solamente uno tiene una interface más directa con el presente artículo que enfoca la evaluación docente (Fernández Lamarra & Marquina, 2013).

A inicio de la década pasada, Durham y Sampaio (2000) publicaron un estudio sobre las tendencias existentes en la relación entre el sector público y el sector privado en cinco sistemas nacionales de educación superior (Argentina, Brasil, Chile, Colombia y México), demostrando las diferencias de timing en la expansión del sector privado en los cinco países analizados. Al final de la década pasada, Silva (2008), publicó un artículo que permite comprender las semejanzas y divergencias existentes en el proceso de implementación de la evaluación de la educación superior en Brasil y en México, principalmente en lo que se refiere a la evaluación externa, revelando la tensión existente entre la evaluación de sistemas educacionales y la evaluación institucional, tanto como los conflictos y resistencias existentes en las realidades de los países analizados. Al inicio de la presente década fueron publicados dos artículos que de cierta forma abordan el trabajo docente. Sime-Poma (2013), realizó un estudio exploratorio sobre los programas de Doctorado en Educación considerados de excelencia por los sistemas públicos de acreditación de Brasil, México y Argentina, analizando, entre otros tópicos, algunos rasgos de sus docentes investigadores (cantidad, nivel de acreditación como investigadores, cantidad y características de artículos publicados), revelando también la forma como son evaluados en el campo de la producción científica. De todos los artículos localizados, el estudio realizado por Fernandez Lamarra y Marquina (2013), se enfoca específicamente en el estudio de la profesión académica tomando como referencia el análisis de la realidad de tres países: Brasil, México y Argentina. En este estudio los autores apuntan que los tres países modificaron su normativa a partir de una agenda común de reformas acontecidas durante los años 90, que incluía la privatización, diversificación, evaluación y las nuevas modalidades de financiamiento. Al estudiar los aspectos objetivos de la profesión académica (formación, condiciones de trabajo, utilización del tiempo, entre otros) y las percepciones de docentes a respecto de las condiciones de actuación profesional (preferencias, satisfacción, trayectorias), Fernández et al. (2013) concluyen que la profesión académica en la región refleja el impacto de las políticas recientes de educación superior y que, en ese marco, pese a que los académicos de los países estudiados sienten que sus condiciones han mejorado mostrando niveles aceptables de satisfacción por la tarea que realizan, surgen desafíos para los niveles institucional y nacional de toma de decisiones:

“Los distintos sistemas universitarios latinoamericanos y sus académicos enfrentan en esta etapa desafíos comunes. Estos son procesos interrelacionados atravesados por la internacionalización, la regionalización, la armonización y la convergencia de sus sistemas, la adopción de sistemas de créditos transferibles, la evaluación y el aseguramiento de la calidad, la innovación institucional y académica y la mejor articulación con los sectores sociales y productivos. Los académicos afrontan nuevas regulaciones, como la evaluación de las diversas dimensiones de su actividad -en especial la investigación y la docencia-, así como mayor presión por incrementar una productividad científica que contribuya al desarrollo económico de sus sociedades. Además, otras de las tendencias a nivel latinoamericano planteará la redefinición de las normas de autorregulación típicas de la profesión, como son el acceso y la promoción de la actividad, o el gobierno, considerando -por ejemplo- la incorporación de sectores no académicos” (Fernández et al., 2013, p. 111).

El estudio de Fernández et al. (2013), coloca como desafío la evaluación de las diversas dimensiones de la actividad docente. En este contexto el presente artículo aborda “prácticas reales de evaluación”, de “diversas experiencias de evaluación en el contexto de universidades públicas y privadas” (Rueda, 2008, p. 11), sumándose a la producción científica diseminada por los investigadores de la Red Iberoamericana de Investigadores sobre Evaluación de la Docencia (RIIED).

Para alcanzar el objetivo trazado, se aborda la educación comparada en la óptica de Ferreira (2008), como componente pluridisciplinar de las Ciencias de la Educación que se enfoca, comparativamente, sobre dinámicas del proceso educativo, considerando contextos diversos definidos en función del tiempo y/o del espacio, a modo de obtener conocimientos que no sería posible alcanzar a partir del análisis de una única situación. La educación comparada no es adoptada como proceso neo colonizador de discurso de verdad o de juicio de valor, es abordada como un recurso metodológico que permite comprender los procesos y los instrumentos de evaluación existentes, tomando como referencia los sentidos predominantes en las universidades que los adoptan. De esta manera sirve de base para comprender la diversidad de experiencias implantadas en el escenario universitario, a pesar de las tendencias hegemónicas en ámbito global.

En ese sentido se debe considerar que, como se constató en estudios comparativos realizados, una tendencia hegemónica no significa homogenización de los sistemas educativos (Calderón & Ferreira, 2012). Como afirma Schwartzman (2001), una tendencia no significa necesariamente que el futuro esté escrito, los sistemas educacionales cambian y las limitaciones que se le imponen, no importa lo pesimistas que sean, pueden ser superadas.

A pesar de las diferentes globalizaciones, de las ideologías transnacionales, de las consecuencias de imposiciones de modelos civilizatorios, no vemos todo acontecer de la misma forma y al mismo ritmo en todas las sociedades. No vemos todo suceder de igual forma en un mismo país. El énfasis dado a los diferentes aspectos educativos difiere de pueblo para pueblo, de grupo social para grupo social, de región para región, difiere de acuerdo con el grado de desarrollo tecnológico, las posturas ideológicas, la disposición geográfico-espacial, etc. (Ferreira, 2008, p. 136).

Para alcanzar el objetivo trazado se optó por seguir orientaciones de la Conferencia Mundial sobre la Educación Superior de 2009, promovida por la UNESCO (2009) que destaca la importancia de dos tipos de instituciones para los sistemas educativos. Por un lado los centros de enseñanza públicos de naturaleza estatal, y por otro, las entidades privadas de enseñanza superior con objetivos de interés público. De esta forma, se decidió analizar comparativamente los procesos e instrumentos de evaluación docente adoptados por dos tipos de instituciones: una Universidad Estatal, en este caso la Universidad Autónoma de Yucatán (UADY), México, y una universidad privada sin fines lucrativos, la Pontificia Universidad Católica de Campiñas (PUC-Campiñas), Brasil.

La Universidad Autónoma de Yucatán[12], reconocida como tal en 1984, es una institución pública y autónoma de educación superior que se encuentra localizada en Mérida, Yucatán, México. Actualmente, imparte 45 licenciaturas, 28 especializaciones, 21 maestrías y 5 doctorados en 5 campus. La comunidad académica la componen 800 profesores de tiempo completo y una población aproximada de 16,063 alumnos de educación superior.

La Pontificia Universidad Católica de Campiñas, reconocida como Universidad Católica en 1955 [13], habiendo obtenido el título de Pontificia en 1972, está localizada en el municipio de Campiñas, interior del Estado de São Paulo. Esta universidad ofrece 55 cursos de educación superior, 17 especializaciones, 6 maestrías, 2 doctorados. La comunidad académica se conforma por cerca de 17.500 alumnos, 673 profesores y 1500 empleados técnico-administrativos.

Como se puede observar son universidades de mediano porte, si comparadas con las grandes universidades que existen en Brasil y en México, como la Universidad de San Pablo (USP), con aproximadamente 92 mil estudiantes y la Universidad Nacional Autónoma de México (UNAM), con aproximadamente 337 mil alumnos, respectivamente. Además, tanto la UADY como la PUC-Campiñas, son universidades que tienen cursos en los diversos campos del conocimiento, ciencias biológicas, ciencias exactas y ciencias humanas, los cuales en su gran mayoría son bien evaluados por las agencias acreditadoras.

En términos metodológicos se trata de un estudio comparativo, descriptivo, analítico- interpretativo. Para establecer un diálogo comparativo fueron utilizados datos primarios y secundarios, agrupados en tres categorías de análisis referenciales: (a) inicios y objetivos de la evaluación docente, (b) administración y usos de la evaluación docente, (c) procedimientos e instrumentos de la evaluación docente. En lo que se refiere a los datos de la PUC-Campiñas fueron utilizados esencialmente datos secundarios por medio del análisis de documentos producidos por equipos técnicos de esa universidad. En lo que se refiere a los datos de la UADY, aparte del análisis documental, se contó con datos resultantes de un cuestionario[14] aplicado a representantes institucionales encargados de operar y administrar los programas de evaluación docente en las facultades de esa universidad.

INICIOS Y OBJETIVOS DE LA EVALUACIÓN DOCENTE

En la UADY las primeras experiencias de evaluación docente se remontan a la década de 1970, cuando la facultad de ingeniería por iniciativa propia realizaba la evaluación de su cuerpo docente. Es posible afirmar que a partir de 2001, la mayoría de facultades comenzó a implantar sistemas propios de evaluación docente como consecuencia de las presiones externas para la captación de recursos financieros, la participación en proyectos gubernamentales y para completar los pre-requisitos correspondientes a la acreditación de los cursos de pregrado y posgrado junto a las agencias gubernamentales. A pesar de esas iniciativas autónomas, por parte de cada facultad, en el 2010 fue creado en la UADY, el Programa Institucional de Evaluación Docente, el mismo que fue ganando mayor aceptación de las facultades a medida que satisfacía las necesidades de información y procedimientos de cada Facultad.

El Programa Institucional de Evaluación docente fue diseñado por la Coordinación del Sistema de Licenciatura de la Dirección General de Desarrollo Académico de la UADY con el objetivo de contar con un programa institucional que permitiera evaluar a los profesores bajo las mismas condiciones para obtener información, hacer comparaciones y tener un panorama general respecto al desempeño de los profesores. El programa hasta el momento no es obligatorio, sino que se brinda como un servicio a las facultades.

Como se puede observar, a pesar de que la universidad tiene una política institucional, las facultades de la UADY tienen autonomía para diseñar y administrar sus actividades académicas incluyendo la evaluación.

Se puede afirmar que, en la realidad mexicana, es nítida la influencia de las políticas públicas de evaluación en la forma de actuación de las Instituciones de Educación Superior (IES). El caso de la UADY permite constatar los esfuerzos que las instituciones hacen para cumplir requisitos y uno de ellos ha sido la evaluación de profesores, mediante la cual se puede obtener información acerca del desempeño de los profesores, sin homogeneizar aspectos como su utilidad, fundamentación y eficiencia.

En el caso de la UADY, por ser una institución estatal, las acciones de evaluación de profesores se caracterizan principalmente por ser parte de un programa de compensación salarial como el Programa de Mejoramiento del Profesorado (PROMEP). De esta manera, la evaluación docente es una de varias condiciones para acercarse a compensaciones presupuestales. Asimismo, las presiones externas exigen la creación, por parte de las universidades de programas de evaluación específicos, por ejemplo; el Programa Institucional de Fortalecimiento Institucional (PIFI)[15] , así como el cumplimiento con los indicadores de las evaluaciones y acreditaciones de organismos externos.

La trayectoria de la evaluación docente en la PUC-Campiñas tiene una ruta muy semejante y parecida con la trayectoria de la UADY. Para comprender las especificidades de cada una es necesario tener en cuenta dos datos: a) la PUC Campiñas es una institución privada que para financiar sus actividades no recibe recursos financieros estatales, hay indirectamente algunas exoneraciones fiscales por ser una institución sin fines lucrativos, pero los costos son cubiertos, básicamente, por las mensualidades de los alumnos; b) Su gestión centralizada, en términos de implantación de políticas institucionales, coexiste con estructuras democráticas que permiten la participación de alumnos, profesores y empleados en los procesos de toma de decisiones en las diversas instancias de la gestión universitaria.

De la misma forma que en la UADY, en la PUC-Campiñas, la estructuración de un sistema de evaluación docente institucional se dio en la década de 2000. A pesar de la larga trayectoria de la Universidad, las acciones de evaluación docente en una perspectiva institucional se remontan a la década de 1980 (Feliciello et al. 2005), ganando una dimensión mayor a partir de 2004, consecuencia, en cierta medida, de alteraciones en la legislación gubernamental a partir de la implantación del Sistema Nacional de Evaluación de la Educación Superior (SINAES)[16]. Mismo sistema al cual están sometidas todas las IES que actúan en el territorio brasileño. Como consecuencia de esas exigencias, vinculadas principalmente con la acreditación de cursos y de la universidad como un todo, fue creado, también en 2005, el Programa de Auto-Evaluación Institucional (PROAVI).

Con la implantación del PROAVI[17], a partir de análisis interno de la Universidad, se verificó que específicamente en lo que se refiere a las actividades de evaluación de la enseñanza, habían puntuales y diversos procedimientos en las facultades de la universidad. Levantamiento realizado por un grupo de trabajo instituido por la propia PUC-Campiñas, en 2006, identificó que en aquella época, de las 39 facultades que existían en la Universidad, 16 de ellas realizaban acciones evaluativas en relación a las actividades de enseñanza, incluyéndose en esa práctica, formas de evaluación docente (Párdua & Alberto, 2007). Esas acciones eran diferentes una de otra, no había una uniformidad o cierta simetría en lo que se refiere a los objetivos, periodicidad, divulgación y uso de los resultados. La existencia de ese escenario, aunado a los esfuerzos internos para la construcción de una cultura de evaluación duradera, integrada y sistematizada, culminó con la creación y constitución, a partir de 2007 del Programa de Evaluación de la Enseñanza[18] que pasó a envolver la evaluación de las actividades de los docentes, la evaluación de la gestión de los directores y de algunos aspectos relacionados a las condiciones de enseñanza (Lemos Filho et. al. 2012), con el objetivo de “diagnosticar, redefinir metas y de corregir rutas para mantener a misión de la Universidad” (Lemos Filho et. al. 2011) y “garantizar un proceso de evaluación continuo, yendo al encuentro de la misión de la PUC-Campiñas: una enseñanza de calidad y la formación integral de un ciudadano crítico y actualizado en relación a las necesidades de la sociedad contemporánea y las exigencias profesionales” (Lemos Filho et. al. 2012, p. 49).

ADMINISTRACIÓN Y USOS DE LA EVALUACIÓN DOCENTE

En la UADY la evaluación docente es un proceso descentralizado en cada facultad con tendencias para la centralización. Cada facultad es autónoma, aunque desde 2010 fue creado el Programa Institucional de Evaluación Docente; mismo que fue ganando mayor aceptación entre las facultades.

En las diversas facultades de la UADY, predomina como sector responsable de la evaluación docente, la Secretaría Académica perteneciente a la dirección de cada facultad, sector que no solo tiene a su cargo esta actividad, sino tiene también asignado otras acciones de la gestión académica. Sin embargo, existen algunas facultades que tienen sectores específicos dedicados a la evaluación y cuentan con equipos dedicados a esa actividad. Conviene destacar que existen dos facultades que tienen comités específicos para conducir los procesos evaluativos. En este contexto encontramos la Facultad de Matemáticas que cuenta con un Comité de Evaluación de la Docencia al cual pertenece un grupo de profesores que constantemente se están capacitando y son responsables del diseño y puesta en práctica de evaluación docente. Por otro lado, tenemos a la Facultad de Ingeniería que cuenta con un Comité de Innovación Educativa, que además de conducir la evaluación docente, realiza el diseño e implementación de cursos para los profesores. En las facultades que participan del Programa Institucional de Evaluación Docente, la evaluación es realizada por la Coordinación de Sistema de Licenciatura de la Dirección General de Desarrollo Académico de la administración central de la Universidad.

La evaluación de la enseñanza y la evaluación docente que se realiza en la Pontificia Universidad Católica de Campiñas es un proceso centralizado que envuelve la evaluación global de todo el cuerpo docente de la Universidad, independientemente de la Facultad a la cual el profesor esté vinculado. Su gestión corresponde a la Pro-Rectoría de Pregrado, por medio de un Grupo de Trabajo constituido específicamente para tal finalidad, el mismo que organiza el proceso y tiene entre sus tareas asesorr al sector de informática responsable por administrar el sistema de colecta de informaciones de alumnos y profesores; analizar los resultados globales de la universidad; producir periódicamente informes y asesorar al Pro-Rector en las reuniones con los centros y facultades para la discusión y socialización de resultados.

Es conveniente mencionar que en la PUC-Campiñas en términos administrativos, cada facultad está vinculada a un Centro. En este sentido, existen cinco centros; cada uno aglutina facultades de acuerdo a su área de conocimiento de procedencia: centro de ciencias humanas y ciencias sociales aplicadas, centro de ciencias exactas, ambientales y de tecnología, centro de ciencias de la vida, centro de economía y administración, centro de lenguaje y comunicación.[19]

Los datos de la evaluación son analizados de forma global, de la universidad como un todo y son producidos informes específicos para que sean utilizados por cada facultad en sus respectivos centros a los cuales están vinculados para que contribuir en la definición de planes y políticas que objetiven la mejoría de la enseñanza. Cada uno de los profesores evaluados por los alumnos, reciben informes en línea de cada clase y disciplina en que fue evaluado, teniendo la posibilidad de comparar sus desempeños anteriores a partir de una alternativa existente en el programa de informática que sustenta el sistema de evaluación, que es la trayectoria de la evaluación del profesor.

En la UADY los resultados de la evaluación docente se emplean, predominantemente, para dar informaciones a los profesores, con la finalidad de que mejoren sus prácticas académicas, a las instancias administrativas para que monitoreen el desempeño institucional (en el ámbito global o por facultades) y a los organismos acreditadores para evaluar la calidad de la universidad y permitir que las facultades y la universidad puedan participar de proyectos y captar recursos. En las facultades, la evaluación docente es utilizada para realizar reportes para evaluaciones externas, informar individualmente a cada uno de los profesores y diseñar el programa de actualización docente. En algunos casos, la reflexión colectiva de los resultados de esta evaluación es adoptada por las facultades.

En la facultad de matemáticas aparte de los usos anteriormente mencionados, los resultados son utilizados para decidir que profesores recibirán premios académicos (reconocimiento en ceremonias especiales) y una carga de horas estables que les asegure su trabajo. Por otro lado, en la facultad de ingeniería los resultados de evaluación son analizados por el Comité de Innovación educativa para identificar porcentajes más bajos de lo usual, determinando el diseño, la implementación y evaluación de cursos dirigidos a los profesores que hayan manifestado en sus evaluaciones una necesitad de formación para la mejora de su práctica docente.

Es preciso mencionar que ninguna facultad de la Universidad declaró que otorga premios económicos a los profesores que obtienen resultados favorables en sus evaluaciones. Los usos de la evaluación están dirigidos brindar reconocimiento a los profesores y diseñar estrategias de mejora del desempeño docente. Un dato relevante es que no se encontraron archivos en donde se puedan consultar resultados obtenidos a lo largo de los años por este tipo de actividades de evaluación docente, constatándose fragilidades en los registros de la memoria institucional de cada una de las facultades. Los resultados de las evaluaciones que realiza el Programa Institucional son entregados a los directivos de cada Facultad y ellos se encargan de revisarlos, tomar decisiones al respecto; como puede ser retroalimentación al profesor de su desempeño, asignación de asignaturas y grupos al profesor, premiaciones o reconocimientos. De igual forma los reportes son utilizados como evidencias en los procesos de acreditación de los programas educativos.

En lo que se refiere a la PUC-Campiñas, se destaca el uso de la evaluación como herramienta de gestión universitaria, sea por parte de la Administración Superior, sea por parte de las direcciones de las Facultades y las direcciones de los Centros responsables por las Facultades. Los resultados obtenidos de las evaluaciones permiten reordenar las políticas de los diversos cursos ofrecidos por la Universidad, en la permanente búsqueda de la calidad.

Los resultados también han sido utilizados como subsidio para el diseño e implementación de talleres de formación y actualización didáctico-pedagógica del cuerpo docente de la universidad. De acuerdo con Lemos Filho et. al. (2011), una de las principales consecuencias de la evaluación ha sido el proceso constante de repensar la propia práctica pedagógica de los docentes, en la medida en que conlleva al ejercicio de la autorreflexión de los profesores, en la medida en que los docentes reciben feedbacks sucesivos sobre su práctica académico-pedagógica que contribuyen a su perfeccionamiento.

PROCEDIMIENTOS E INSTRUMENTOS DE LA EVALUACIÓN DOCENTE

En el ámbito de la UADY, las facultades que tienen su propio sistema de evaluación adoptan los cuestionarios de apreciación estudiantil como la principal forma de conocer cómo el profesor realiza su práctica docente. La participación de los estudiantes en la respuesta de los cuestionarios es variable debido a que algunas facultades dejan que los alumnos participen libremente, como es el caso de la facultad de matemáticas y ciencias antropológicas, mientras otras convierten la participación de los alumnos en una actividad obligatoria, como un requisito para que los alumnos puedan inscribirse a su próximo semestre escolar.

Prácticamente en la totalidad de las facultades la evaluación se realiza con el apoyo de medios electrónicos, sólo en la facultad de Enfermería la evaluación se realiza a través de cuestionarios impresos, que posteriormente se procesan los resultados de forma manual; lo cual les lleva un tiempo considerable para la elaboración y entrega de reportes.

Los alumnos responden cuestionarios que tienen una media de 30 preguntas cerradas a las cuales se les asignan diferentes niveles de calificación, por ejemplo: en algunos casos se usa 4 clasificaciones o niveles de desempeño (destacado, competente, básico e insatisfactorio) y en otras situaciones, se utilizan 3 clasificaciones (sobresaliente, satisfactorio e insatisfactorio). Generalmente, los cuestionarios están compuestos por preguntas cerradas y al final de ese instrumento existe un espacio en donde el alumno puede hacer comentarios generales a respecto al desempeño del profesor.

A parte de los cuestionarios respondidos por los alumnos, existen otros instrumentos de evaluación que comenzaron a ser adoptadas de forma complementaría, de manera todavía aislada por parte de algunas facultades. La facultad de enfermería complementa la evaluación de sus profesores con cuestionarios que realizan entre pares. En las dependencias de Medicina y de Matemáticas los profesores realizan una autoevaluación acerca de su práctica docente. Es preciso destacar que la dependencia de Medicina además de la evaluación por parte de los alumnos y de la autoevaluación docente, las autoridades responden una evaluación acerca del desempeño de profesores que tienen a su cargo.

Respecto al momento de la aplicación del cuestionario, con excepción del curso de medicina, todos los cursos realizan la evaluación dos veces al año al finalizar cada semestre. La facultad de Medicina la realiza una vez al año. La evaluación se realiza en cada una de las facultades a todos los profesores por asignatura de tiempo completo y a los que se encuentran contratados por horas.

Como puede ser observado, en el cuadro I, en los cuestionarios que se aplican a los estudiantes se indagan múltiples aspectos de la práctica docente, articulados en 5 grandes categorías: habilidades docentes, dominio de la asignatura, manejo de grupo, actitudes docentes y evaluación del aprendizaje.

Una característica encontrada en el conjunto de actividades de las facultades, además de las comunes ya mencionadas, es la necesidad de reconocer la especificidad de diversas situaciones de enseñanza, para establecer las diferencias y características de los cursos teóricos, laboratorios, talleres, prácticas de campo, clínicas, etc. Este hecho revela una latente necesidad para diseñar e implementar instrumentos distintos para cada una de las facultades que lo ameriten.

En ese sentido, dos facultades incorporaron en sus cuestionarios preguntas que tratan de obtener informaciones acerca de la autoevaluación del desempeño de cada alumno durante el curso, con la intención de conocer el tiempo que le dedican al estudio de la clase, cumplimiento de actividades de aprendizaje asignadas por el profesor, así como su comportamiento durante el curso.

La diversidad de formas de evaluar a los profesores, indicado en las dimensiones o categorías de evaluación docente, evidencia la falta de acuerdos de como evaluar dentro de una misma universidad, asi como la necesidad de promover espacios de intercambio de opiniones y revisión de propuestas, para que los profesores y autoridades involucrados acuerden cuales deberían ser los criterios de evaluación para así poder dar respuesta a la especificidad de la enseñanza de las distintas disciplinas y de la misma manera contribuiría a conocer cuáles son los obstáculos para implementar la evaluación.

En relación a las facultades que participan de Programa Institucional de Evaluación Docente, casi todas ellas realizan el proceso de evaluación docente al finalizar cada semestre, corresponde a dos veces por año. Únicamente, las facultad de ingeniería química y la de ciencias biológicas y agropecuarias evalúan a mitad de los dos semestres escolares y no al final para evitar que la opinión de los alumnos sea sesgada por los resultados obtenidos en su curso.

En lo que refiere a la elaboración de los instrumentos de evaluación, en las facultades que tienen su sistema de evaluación autónomo, existen tanto instrumentos creados por las propias facultades, como instrumentos adaptados de otras facultades, de acuerdo con cada contexto. Resaltándose que los instrumentos existentes en las facultades que participan del Programa Institucional de Evaluación fueron adaptados a partir de un instrumento único, creado en 2009, bajo coordinación de la administración central de la universidad.

En la Pontificia Universidad Católica de Campiñas la evaluación de la enseñanza es realizada tanto por alumnos como por profesores. Los alumnos evalúan a sus profesores y se autoevalúan. De la misma forma, el cuerpo docente evalúa a sus alumnos y a sus salas de aula, sus gestores, las condiciones de la infraestructura de enseñanza ofrecida por la universidad y se autoevalúan.

Desde su inicio, en 2007, la evaluación docente, como parte del Programa de Evaluación de la Enseñanza, ha sido realizada a través de formularios electrónicos que responden semestralmente de forma voluntaria los alumnos de la universidad, alcanzando la participación de una media de 30 a 40% del total de alumnos. A lo largo de su existencia, los cuestionarios pasaron por algunas alteraciones en su forma de redacción, inclusive hubo alteración, inclusión y/o exclusión de algunas preguntas y cuestiones, sin comprometer o modificar estructuralmente los aspectos evaluados (Lemos Filho et. al., 2011)

A partir del segundo semestre de 2008, la evaluación docente pasó a contemplar también la participación activa del propio cuerpo docente de la Universidad, donde se le invitó a que cada dos años, voluntariamente se autoevaluaran, evaluaran a sus gestores directos y los aspectos relativos a las condiciones de enseñanza, respondiendo preguntas de formularios disponibles en la página web de la Universidad. La autoevaluación es un proceso que llega tener una participación de aproximadamente 50% del cuerpo docente (Lemos Filho et. al., 2012)

En cualquier caso, sea en la evaluación realizada por los alumnos o sea en la evaluación realizada por los profesores, el procedimiento envuelve la respuesta a cuestiones estructuradas, disponibles para la comunidad académica mediante formularios/cuestionarios electrónicos respondidos en línea por medio de la página web de la Universidad.

Una característica importante del proceso de evaluación de la enseñanza en la PUC-Campiñas es la transparencia en las informaciones, a cada semestre, “todos los profesores tienen acceso a los resultados de su evaluación” (Lemos Filho et. al., 2011, p. 22). Esta transparencia es complementada por otro aspecto relevante del proceso, el sigilo de los informantes. Las informaciones ofrecidas por los alumnos no permiten identificarlo nominalmente.

El instrumento de evaluación disponible para los alumnos contempla dos dimensiones (Evaluación del Profesor y Autoevaluación del alumno) compuestas por cuestiones cerradas. Al final de cada una de las dimensiones, hay un espacio donde el alumno puede escribir las consideraciones que le parece necesarias mencionar que no fueron completamente mencionadas en las cuestiones cerradas (Lemos Filho et. al., 2011). Conforme al cuadro II, la dimensión de evaluación del profesor tiene varias subcategorías agrupadas en torno de cinco grandes categorías: plano de enseñanza de la disciplina, desarrollo de la disciplina, evaluación del aprendizaje, formación del alumno y postura del profesor.

Conforme al cuadro III, la dimensión Autoevaluación del alumno también presenta varias subcategorías agrupadas en dos categorías: compromiso del alumno con el curso y evaluación de la clase en que el alumno estudio.

La autoevaluación docente es realizada por medio de seis formularios independientes y complementarios, que buscan recoger información sobre cuatro dimensiones, la primera de ellas subdivida en tres partes: a) evaluación de las condiciones para las actividades de los docentes, b) evaluación del envolvimiento del docente con la Universidad, c) evaluación de las actividades docentes referentes a prácticas pre-profesionales y trabajos de conclusión de curso (solo para los profesores que participan directamente de las actividades académicas citadas). La segunda dimensión se foca en la evaluación de las características académicas de los alumnos con los cuales el profesor trabajo ese semestre. La tercera dimensión aborda la autoevaluación de las características de su práctica docente, por medio de un formulario semejante al utilizado por los alumnos para evaluar a sus profesores, de tal forma que el profesor se autoevalúa en los mismos aspectos que es evaluado por sus alumnos, permitiendo confrontar las percepciones que el profesor tiene de sí mismo con las percepciones del cuerpo docente y que el profesor reflexione sobre el desarrollo de sus actividades en sala de aula. Finalmente, la cuarta dimensión, exige la evaluación de los directores de la facultad en que se desempeña el profesor, por medio de un formulario constituido por once preguntas[20] , con cinco alternativas de respuesta de tipo escala Likert (“concuerdo totalmente”, “concuerdo más que discuerdo”, “discuerdo más que concuerdo”, “discuerdo totalmente” o “no tengo condiciones de responder”).

De la misma forma, como en los formularios de los alumnos, aunque sean compuestos de preguntas cerradas, al final existe un espacio para que los profesores hagan las observaciones que les parezcan necesarias y pertinentes.

11 Este artículo ha contado con el auxilio de la São Paulo Research Foundation (Fapesp), proceso n° 2014/14292-6. Las opiniones, hipótesis, conclusiones o recomendaciones que constan en este artículo son de responsabilidad de los autores y no reflejan necesariamente la visión de la FAPESP.

12 Con antecedentes históricos que remontan al siglo XVII, su historia reciente está divida en dos grandes momentos: la creación y extinción de la Universidad Nacional del Sureste (1922-1938) y su transformación en la Universidad de Yucatán (1938-1984).

13 Su historia comenzó el 7 de Junio de 1941, cuando fue creada la primera unidad de la Universidad, la Facultad de Filosofía, Ciencias y Letras, ocupando propiedades adquiridas por la diócesis de Campiñas.

14 El cuestionario está constituido por quince preguntas semi estructuradas y un apartado de respuesta libre. Fue desarrollado por el Dr. Mario Rueda Beltrán, quien autorizó su utilización para la realización de este estudio.

15 PROEVAL (Programa Institucional de evaluación docente) se crea en el 2010 por la Coordinación del Sistema de Licenciatura de la Dirección General de Desarrollo Académico de la UADY, el cual brinda a las dependencias de la universidad la administración de un instrumento en línea (online) en el que los alumnos manifiestan la percepción sobre el profesor. Los resultados son procesados y se elaboran reportes individuales para los profesores y a los directivos se les entrega un reporte general en el cual pueden visualizar el panorama del desempeño de todos sus profesores. Más información se puede obtener en el link: http://www.csl.uady.mx/

16 El SINAES – Sistema Nacional de Evaluación de la Educación Superior, criado por medio de la Ley 10.861, de 14 de abril de 2004, combina tres instancias de evaluación: evaluación de las instituciones, evaluación de los cursos de pregrado y evaluación del rendimiento de los estudiantes. La evaluación institucional envuelve dos momentos: la autoevaluación y la evaluación externa. En estos dos casos, el proceso envuelve a utilización de diez dimensiones. Más información oficial sobre el SINAES puede ser obtenida en el link: http://portal.inep.gov.br/superior-sinaes.

17 Creado en 2005, el PROAVI – Programa de Autoevaluación Institucional de la PUC-Campiñas es el programa interno responsable de desarrollar e implementar las acciones de evaluación en atendimiento a las exigencias del SINAES. El PROAVI tiene carácter permanente y por medio de la participación efectiva de la comunidad académica, busca recoger elementos que permitan la concretización de la misión de la universidad, en particular sus compromisos sociales. La operacionalización de las acciones del PROAVI son responsabilidad de la Comisión Propia del Evaluación (CPA), compuesta por miembros de todos los segmentos académicos y del Núcleo Técnico de Evaluación (NTA). Los resultados de los trabajos de autoevaluación están disponibles para la comunidad universitaria por medio de dos publicaciones internas: Los Boletines CPA/NTA y los Cuadernos de Evaluación CPA/NTA. Para mayor información se puede consultar el link: http://www.puc-campinas.edu.br/servicos/proavi.

18 La “Evaluación de la Enseñanza” de la PUC-Campiñas es un proyecto desarrollado por la Pro-Rectoría de Pregrado de la Universidad para contribuir con el alcance de los objetivos de su Política de Pregrado, de forma integrada a los propósitos del PROAVI contemplando, simultáneamente, las exigencias legales de evaluación de la educación superior brasileña, implantadas a partir del SINAES (LEMOS FILHO et. al., 2012, 2011 e 2009).

19 Los Centros, a los que hacemos referencia, pueden ser considerados como unidades administrativas que centralizan la gestión de facultades, divididas por áreas de conocimiento.

20 Las preguntas son las siguientes: el/la director/directora ha liderado la construcción y/o implementación y/o consolidación del proyecto pedagógico, de modo conjunto con los profesores; ha liderado la construcción y/o implementación y/o consolidación del proyecto pedagógico, de modo conjunto con los alumnos (as); ha mantenido al cuerpo docente informado sobre asuntos importantes referentes a la Universidad y al Curso; ha debatido con el conjunto de profesores de la Facultad, de forma reflexiva, el proceso de evaluación de la enseñanza implantado en la universidad, contribuyendo para un ambiente que favorezca a la mejoría continua de los procesos de enseñanza y de aprendizaje; ha aceptado y respetado cualquier cuestionamiento, respondiendo de forma clara e directa; ha dialogado con los alumnos del curso; ha participado activamente en el Programa Permanente de Capacitación Docente, enviando sugerencias de talleres que debían ser realizado, divulgando la agenda de los talles entre los profesores e incentivándola participación de los profesores; ha adoptado una postura aglutinadora, que favorezca a la integración del cuerpo docente; ha sabido dar solución a las demandas de los docente de la facultad; ha sabido dar solución a las demandas de los alumnos de la facultad (Lemos Filho et. al., 2012).

CONCLUSIONES

La investigación realizada permite constatar que en las dos universidades estudiadas, los programas institucionales encargados de la evaluación docente fueron creados en la segunda mitad de la década de 2000, teniendo como uno de los ejes estimuladores las acciones gubernamentales para la acreditación de la calidad, como parte de las políticas nacionales de evaluación de la educación superior; una tendencia que gano fuerza en la primera década del siglo XXI. Prioritariamente, las presiones externas acabaron estimulando a que los órganos centrales de las universidades se preocupasen con diagnosticar la realidad de las diversas facultades en lo que se refiere a la evaluación docente, identificando prácticas diversificadas, muchas veces aisladas, fragmentadas y puntuales, proponiendo prácticas más sistemáticas, continuas, uniformes que permitan monitorear la evaluación del desempeño docente tanto dentro de una perspectiva macro, global, como dentro de una perspectiva micro, de cada curso de la universidad.

En esa perspectiva, la creación de programas institucionales que contemplen la evaluación docente, revelan la transición de experiencias descentralizadas, marcadas por la autonomía de las facultades, para la centralización de prácticas evaluativas, por medio de programas institucionales que monitorean la calidad educativa. Este proceso de centralización, por lo menos en las universidades estudiadas, no son sinónimos de prácticas autoritarias marcadas por un verticalismo absolutista que eliminan o neutralizan prácticas democráticas. De forma contraria, los procesos de centralización implicaron procesos de construcción democrática sobre la importancia de la evaluación docente en el ámbito institucional y los medios más eficientes para realizarla.

El análisis de las experiencias de la PUC-Campiñas y de la UADY revela cierta semejanza en lo que se refiere a los aspectos evaluados de la práctica docente, centralizándose en la forma como los profesores evalúan el aprendizaje; la postura del profesor en sala de aula, en relación a los alumnos, envolviendo aspectos éticos y técnicos en el ejercicio de la docencia; los aspectos didáctico-metodológicos de la práctica docente; y el dominio de la disciplina por parte de profesor. De la misma forma, el uso de cuestionarios en línea, con respuestas cerradas, tipo escala Likert en la clasificación de las respuestas, es la tendencia predominante en las dos universidades estudiadas.

Los resultados de la evaluación docente en las dos universidades estudiadas pueden ser consideradas, por lo general, como prácticas low stakes. Debido a que los resultados no generan acciones de responsabilización directa de los profesores, o sea, de la evaluación no resultan acciones de punición por los resultados insatisfactorios que los profesores puedan obtener, ni tampoco, necesariamente, fuertes acciones de estímulo para la mejoría del desempeño, por medio de beneficios directos para los docentes. Los profesores con bajo desempeño docente no son sancionados ni son estimulados a mejorar por medio de bonificaciones por desempeño u otras premiaciones.

Por un lado, esa tendencia es la que prevalece en las dos universidades, también existen casos aislados en la UADY, en los cuales los resultados de las evaluaciones son utilizados para reconocer públicamente el buen desempeño de los profesores en ceremonias especiales y para determinar cargas horarias más estables para los profesores mejores evaluados. Estas iniciativas basadas en el reconocimiento público y en la meritocracia son experiencias de evaluaciones high stakes que merecen mayor estudio y profundización para evaluar las consecuencias de estas acciones dentro del cuerpo docente y verificar hasta qué punto realmente pueden ser inductores de la mejoría del desempeño docente.

Los resultados de la evaluación son usados en dos niveles. En el ámbito de la administración central de la universidad se constata una estrecha vinculación entre el monitoreo del desempeño institucional (global), con los sistemas nacionales de evaluación/acreditación, y la creación de las condiciones para la apropiación por parte de los centros/facultades y profesores para la mejora de la calidad de la enseñanza. En el ámbito de los centros/facultades se constata la estrecha vinculación entre la mejora del desempeño de los cursos en las evaluaciones externas, la entrega de los resultados a los profesores con la posibilidad de reflexionar sobre las prácticas docentes para buscar continuamente su perfeccionamiento y la creación de programas/talleres de actualización docente.

El análisis de las dos experiencias revela que en el proceso de evaluación docente predomina la evaluación por parte de los estudiantes. Sin embargo en la PUC-Campiñas esta institucionaliza la autoevaluación docente, misma que sería conveniente mencionar de qué forma complementar. Las experiencias analizadas demuestran que la evaluación docente puede ser realizada por medio de dos vertientes complementarias: la evaluación realizada por los alumnos (apreciación estudiantil) y la auto-evaluación realizada por los propios profesores (apreciación del profesorado).

a) La evaluación realizada por los alumnos

Tanto en la UADY como en la PUC-Campiñas la respuesta de los cuestionarios, por parte de los alumnos, es realizada de forma libre, no es obligatoria y no existe ninguna sanción o acción coercitiva que obligue a los alumnos a utilizar parte de su tiempo para responder el cuestionario a pesar de haber estrategias de sensibilización sobre la importancia de la participación de los alumnos en el proceso evaluativo. Sin embargo, en pocas facultades de la UADY existe la practica instituida de obligar a los alumnos a participar de la evaluación, como requisito para que los alumnos puedan inscribirse al semestre siguiente de estudios. Esta experiencia, de evaluación high stake, merece una atención especial, y una investigación más profunda sobre sus alcances y limitaciones. Adoptar una medida de este tipo, reduciendo los riesgos de sabotaje o de adulteración de los datos como un acto de rebeldía estudiantil, exige llegar a tener elevado grado de consenso entre profesores y alumnos sobre la importancia de la participación de los alumnos y más que eso, los alumnos debe creer, con evidencias, en el potencial transformador que existe en los resultados del proceso evaluativo. La evaluación y sus resultados por sí solos no transforman la realidad, sino que corresponde a los gestores saber usar esa información para mejorar la calidad de la enseñanza y atender las múltiples expectativas existentes por detrás de los procesos evaluativos.

En los casos de las dos universidades, se constata la existencia de una tendencia de evaluar a los alumnos al final del semestre. Sin embargo, en la UADY se identifican dos facultades, las facultad de ingeniería química y la de ciencias biológicas y agropecuarias, en las cuales los profesores son evaluados en la mitad del semestre y no al final, tal como se hace predominantemente tanto en la UADY como un todo y en la PUC-Campiñas; alegándose que de esa forma se evita que la opinión de los alumnos sea sesgada por los resultados obtenidos en las evaluaciones del aprendizaje al final del curso. Como se puede observar, la medida tomada por esas facultades acaban tocando en un aspecto continuamente cuestionado por muchos profesores de nuestras universidades, como es la contaminación del proceso evaluativo por información falsa como consecuencia de represalias, por parte de estudiantes, en relación a profesores que acaban tomando medidas menos condescendientes o agradables hacia los alumnos. Esas experiencias de evaluación durante el semestre y no al final del mismo, exige una mirada atenta en términos investigativos para verificar sus resultados en el proceso de evaluación docente.

Aparte de la percepción de los alumnos sobre la actuación de sus profesores, en la PUC-Campiñas está instituida la autoevaluación del alumno, los cuales autoevalúan su compromiso con el curso (puntualidad en los compromisos académicos, frecuencia de asistencia a las aulas, lectura de los textos básicos, realización de las actividades propuestas por los profesores, relación de respeto con los colegas, relación de respeto con los profesores y relación con el proyecto pedagógico del curso) y la actuación de la clase en la cual el alumno ha estudiado (actitud de la clase, desempeño académico, puntualidad de la clase, desarrollo de las aulas, respeto y solidaridad entre los alumnos). Es conveniente registrar que en la evaluación docente de dos facultades de la UADY, se incorporaron cuestiones acerca de la autoevaluación del desempeño de cada alumno durante el curso, con la intención de conocer el tiempo que le dedican al estudio de la clase, cumplimiento de actividades de aprendizaje asignadas por el profesor, así como su comportamiento durante el curso.

b) La evaluación realizada por los propios docentes

En la PUC-Campiñas existe un sistema de evaluación docente que combina tanto la apreciación de los alumnos como la apreciación de los profesores. Es un proceso en el cual los profesores participan de forma voluntaria, alcanzando la participación aproximada del 50% del cuerpo docente. Este proceso se destaca por llevar al profesor a autoevaluar sus actividades docentes, su envolvimiento con la Universidad, las características académicas de los alumnos con los cuales trabajó ese semestre, la actuación de los gestores a los cuales está vinculado y las condiciones de enseñanza que la universidad ofrece. Es un proceso sigiloso que no genera ninguna medida de tipo high stake; los profesores tienen acceso a los resultados de la autoevaluación de sus alumnos y pueden confrontar comparativamente sus percepciones con las percepciones de los alumnos.

Es conveniente mencionar que en la UADY, se ha identificado que solamente dos facultades, la de Medicina y la de Matemáticas, realizan además de la evaluación por parte de los alumnos, la autoevaluación docente.

Aparte de la autoevaluación, como componente del proceso de evaluación docente, en algunas facultades de la UADY se constata, la existencia de forma aislada, de otros componentes del proceso evaluativo que también exigen mayor profundidad investigativa para verificar su efectividad en la evaluación docente. Concretamente, en la facultad de enfermería se identifica la existencia de forma complementar la evaluación realiza entre pares.

Como puede ser observado, el estudio comparativo realizado permitió constatar la existencia de diversas estrategias de evaluación docente, algunas ampliamente adoptadas, otras utilizadas de forma aislada y focalizada, las mismas que permiten identificar cinco tipos de estrategias:

a) evaluación docente por parte de los beneficiarios o usuarios (alumnos),

b) evaluación docente por parte de la administración universitaria (directores de facultad o coordinadores de cursos),

c) evaluación docente por pares,

d) autoevaluación docente por parte del sujeto evaluado a partir de múltiples variables,

e) autoevaluación de la actuación del beneficiario o usuario a respecto de la relación enseñanza-aprendizaje.

Las estrategias de evaluación adoptadas también permiten verificar la coexistencia de dos concepciones de evaluación que se fundamentan en diferentes matrices teóricas que desencadenan usos específicos de los resultados de las evaluaciones:

a) evaluación formativa para desencadenar procesos reflexivos sobre la actuación docente para su mejoría y medidas low stakes,

b) evaluación sumativa para desencadenar procesos de clasificación y valorización del mérito individual, bien como medidas high stakes.

Frente a las tipologías identificadas, se puede afirmar que no existe estrategia mejor o peor, lo que existen son diversas alternativas que deben ser utilizadas o conjugadas de acuerdo con los objetivos de la evaluación y el contexto en que la evaluación es realizada. Como afirma Sousa (2000), la evaluación educacional tiene varias dimensiones que se estructuran de acuerdo con el foco de interés de determinado proceso evaluativo, siendo que las selección de una u otra dimensión obliga a tener que escoger metodologías y procesos específicos. En este sentido, para Sousa (2000) la selección de una u otra dimensión de la evaluación debe tener como criterio el tipo de decisiones que se pretende subsidiar y el alcance de la acción educativa. A partir de los estudios de Worthen, Sanders y Fitzpatrick (2004) se puede afirmar que la utilización de los diversos tipos de evaluación docente no deberiase circunscribir a la devoción a una modalidad específica de evaluación, sea emancipatoria o técnico-burocrática, objetivista o subjetivista (Calderón, Borges, 2013). Esos autores nos alertan sobre los peligros existentes de ser “discípulos irracionales” de determinado modelo de evaluación, convencidos de que “solamente ese abordaje sirve para toda y cualquier situación” (Worthen, Sanders, Fitzpatrick, 2004:248), invitándonos a escoger y combinar diversos conceptos, modelos, métodos y técnicas para adaptarlos a la situación que va ser evaluada, haciendo uso de las que parezcan más apropiadas para alcanzar los objetivos de la evaluación.

EL USO DE LOS RESULTADOS DE LA EVALUACIÓN DOCENTE

María Isabel Arbesú García

Tiburcio Moreno Olivos

Óscar Comas Rodríguez

Gloria Contreras Pérez

INTRODUCCIÓN

Esta ponencia se deriva de una investigación en curso que tiene como uno de sus propósitos conocer cuáles son las Representaciones Sociales (RS), que los estudiantes de la Universidad Autónoma Metropolitana, Unidad Xochimilco (UAM-X), tienen sobre la evaluación de la docencia, es decir, cómo han vivido o experimentado estos actores educativos la evaluación, lo que nos lleva a identificar de manera indirecta los usos que éstos le atribuyen a dicha evaluación. Con este objetivo en mente y con el propósito de darle coherencia y sentido a este texto se decidió estructurarlo de la siguiente manera.

En un primer momento se aborda un panorama general de la evaluación educativa y sus diferentes significados, así como algunas de las funciones más importantes que se le atribuyen a ésta. En segundo término, de acuerdo con la literatura reciente, se menciona lo que se entiende por evaluación del desempeño docente y el análisis de los usos principales que se le atribuyen a este tipo de evaluación. Posteriormente y dado que la evaluación del desempeño docente en las instituciones universitarias, se valora, por lo general, a través de un cuestionario que responden los estudiantes como una forma de conocer su grado de satisfacción con la docencia, se decidió incluir una parte que trata sobre los antecedentes de este cuestionario estudiantil en el mundo y en México, así como el contexto en el que se aplica y se desarrolla en la UAM. Enseguida, se señala la estrategia teórica y metodológica que permite analizar las RS de los estudiantes acerca de sus opiniones o imágenes que éstos le atribuyen a la evaluación docente y sus principales usos. Como penúltimo punto, se presentan los resultados preliminares del estudio, que permiten identificar las RS construidas por los estudiantes en torno a la evaluación del desempeño docente. Por último, se incluyen una serie de reflexiones elaboradas a partir de cada uno de los contenidos de este texto.

CONCEPTO DE EVALUACIÓN EN EDUCACIÓN

En los últimos años se ha intentado explicar el significado del término evaluación y clarificar la distinción entre evaluación y otros conceptos relacionados con ella, como los de medida o investigación. La bibliografía sobre el tema contiene planteamientos diferentes de la conceptualización y los límites de la evaluación en educación. Existen distintas acepciones de evaluación en educación pero en el lenguaje coloquial “se otorga al verbo evaluar el significado de estimar, calcular, justipreciar, valorar, apreciar o señalar el valor, atribuir valor a algo. La operación de evaluar algo o a alguien consiste en estimar su valor no material. En la práctica cotidiana dominante, el significado de evaluar es menos polisémico: consiste en poner calificaciones a los alumnos y aplicar las pruebas para obtener la información a partir de la que se asignarán esas calificaciones” (Gimeno, 1995, p. 338).

La conocida definición de Ralph Tyler concibe a la evaluación como “el proceso de determinar hasta qué punto se están alcanzando realmente los objetivos educativos”. Otra definición muy aceptada sugerida por investigadores prestigiados como Cronbach (1963), Stufflebeam (1969) y Alkin (1969) es: proporcionar información para la toma de decisiones. En décadas pasadas se produjo un cierto consenso entre los evaluadores que consideran la evaluación como la valoración del mérito o de la valía (Scriven, 1967; Stufflebeam, 1974; Eisner, 1979; House, 1980), o como una actividad que comprende tanto la descripción como el juicio crítico (Stake, 1967; Guba y Lincoln, 1981). El Comité Conjunto para los Estándares de Evaluación (Joint Committee on Standars for Educational Evaluation), definió la evaluación como “la investigación sistemática de la valía o del mérito de un objeto” (Joint Committee, 1981, p. 12).

Por su parte, Cronbach y sus colaboradores (Cronbach et al., 1980; Cronbach, 1982) rechazan abiertamente la naturaleza crítica de la evaluación y abogan por un planteamiento del evaluador como “un educador cuyo éxito ha de ser juzgado por lo que los demás aprenden” más que como “árbitro de un partido de béisbol”, a quién se contrata para que decida quien actúa “bien” o “mal”. Mientras que para Nevo (1997) la evaluación educativa consiste en la recogida sistemática de información referente a la naturaleza y a la calidad de los objetos educativos. Esta definición combina la descripción con el juicio crítico, pero hace una distinción entre ambos ya que son de naturaleza distinta. La descripción puede basarse en la recogida sistemática de datos y así, dar como resultado información altamente objetiva. Mientras que el juicio crítico se basa en criterios que, en la mayor parte de los casos, están determinados por valores, normas sociales y preferencias personales de los individuos o entidades que financian la evaluación.

TIPOS DE EVALUACIÓN: DIAGNÓSTICA, FORMATIVA Y SUMATIVA

Existen distintas clasificaciones o tipologías de la evaluación en educación, siendo una de las más conocidas la que hace referencia al momento de su aplicación: diagnóstica, formativa y sumativa.

La evaluación diagnóstica, es la función primaria de la evaluación y proporciona información para la toma de decisiones sobre la selección y agrupación del alumnado dentro de la escuela. La función diagnóstica se puede basar en resultados de evaluaciones de certificaciones previas (especialmente en el caso de alumnos nuevos), o en programas de evaluación diseñados específicamente para identificar alumnos, al objeto de desarrollar programas educativos especiales para la escuela, o programas individuales para alumnos concretos con problemas o talentos específicos (Nevo, 1997).

La distinción entre evaluación formativa y sumativa es fundamental para entender el sentido pedagógico de la evaluación. Aunque estos conceptos surgieron en la discusión metodológica sobre la evaluación del currículo se han extrapolado a la evaluación de alumnos y de docentes porque tienen poder explicativo por sí mismos.

La evaluación sumativa (también conocida como evaluación final o de producto) tiene como propósito determinar niveles de rendimiento, decidir si se produce el éxito o el fracaso; hace referencia al juicio final global de un proceso que ha concluido y sobre el que se emite una valoración terminal; tiene un carácter retrospectivo, sanciona lo que ha ocurrido, viéndolo desde el final de un proceso. Igualmente considera los productos de aprendizaje y de enseñanza; su finalidad principal es servir a la selección y jerarquización de estudiantes según los resultados logrados (Gimeno, 1995).

Debido a su naturaleza poco frecuente y amplia cobertura, estas pruebas tienen una utilidad limitada para informar la enseñanza en el aula. Y, por desgracia, los resultados a menudo se usan inadecuadamente para diseñar el currículum y para tomar decisiones de intervención. El sistema escolar y la presión social reclaman básicamente evaluaciones sumativas finales, mientras que la evaluación útil para el profesor es la formativa. Es pues, el tipo de uso que se hace de la evaluación lo que determina que tenga un carácter u otro.

La evaluación formativa es aquella que se realiza con el propósito de favorecer la mejora de algo: un proceso de aprendizaje, una estrategia de enseñanza, un proyecto educativo, un material didáctico, etc. Evidentemente, la intervención para la mejora de un proceso tiene sentido hacerla mientras éste ocurre. El propósito de la evaluación formativa se asocia con una evaluación de carácter continuo, realizada mediante procedimientos informales, dependiendo más de las capacidades diagnósticas de los profesores que de pruebas o instrumentos técnicos aplicados. No porque no los admita, sino porque la dinámica habitual de una clase hace inviable una aplicación constante de instrumentos o pruebas formales.

Por lo general, la evaluación formativa está asociada con el tipo de evaluaciones llevadas a cabo por los profesores en el aula. Ellas tienen un ciclo más corto, siendo implementadas semanalmente, día a día, e incluso minuto a minuto, y son de «grano más fino» con respecto a los objetivos específicos de aprendizaje. La investigación sobre la evaluación formativa sugiere que cuando se utiliza adecuadamente, proporciona evidencias valiosas para informar sobre la enseñanza, y el logro de los estudiantes mejora, incluso en las evaluaciones sumativas. Sin embargo, Riddle & Valencia (2002), citados en Moreno (2012), advierten que la investigación de la evaluación formativa indica que se necesita algo más que la simple evaluación en el aula, para producir estos efectos positivos sobre el aprendizaje.

Según la investigación, la evaluación formativa es un proceso (no un producto) durante el cual los maestros utilizan información con los estudiantes para dirigir los próximos pasos en su aprendizaje. Este tipo de evaluación debe proporcionar retroalimentación específica a los estudiantes acerca de lo que necesitan hacer para mejorar y debe involucrarlos en la autoevaluación. También debe ser diseñada para adaptarse a las necesidades individuales del estudiante. En resumen, la evaluación formativa es algo más que las pruebas elaboradas por el profesor, las entrevistas, la observación, o incluso los portafolios. El carácter formativo de la evaluación está más en la intención con la que se realiza y en el uso de la información que se obtiene que en las técnicas concretas empleadas (Moreno, 2012).

LA EVALUACIÓN DEL DESEMPEÑO DOCENTE

Se emplea el término desempeño docente para referirse al trabajo específico del profesor en interacción con sus estudiantes con el fin de que éstos aprendan, en el marco de una asignatura que forma parte de un programa de formación a nivel escolar o profesional. Se diferencia de los términos generales docencia o procesos docentes en cuanto éstos abarcan otros aspectos tales como la infraestructura, recursos bibliográficos, servicios estudiantiles y otros.

La respuesta a la pregunta ¿para qué se desarrolla la evaluación?, constituye un eje vertebrador pues orienta la metodología de trabajo, criterios de evaluación e instrumentos de recolección de información, su posterior interpretación y toma de decisiones. La toma de decisiones respecto a los juicios y resultados de la evaluación, se relaciona con los usos que se le puedan otorgar. Estos usos generan importantes consecuencias e impactos deseados o no, en distintos niveles del sistema educacional del que se trate.

Por lo tanto, cualquier sistema de evaluación debiera considerar en su diseño, el estudio de los usos de sus resultados y posteriores consecuencias. En el caso de la evaluación docente, debiera usarse para que los profesores comprendan su docencia, desarrollen competencias profesionales y conozcan cómo aprenden los estudiantes. No obstante su importancia, son pocos los estudios existentes que abordan la relación entre sistemas de evaluación docente y sus consecuencias, deseadas o no.

La evaluación formativa del desempeño docente busca conocer las fortalezas y debilidades en cada aspecto de la docencia, con la finalidad de ayudar a los profesores a mejorar su trabajo diario y contribuir de esta manera a su desarrollo profesional. En tanto la evaluación sumativa busca determinar y asegurar la calidad de la docencia (Stake, Contreras & Arbesú, 2011; OCDE, 2009; Isoré, 2009; Mathers, Oliva & Laine, 2008; Kleinhenz, Ingvarson y Chadbourne, 2002).

Independiente del modelo en el cual se base, todos los sistemas de evaluación docente tienen como uno de sus propósitos, expresado de distintas maneras, el mejoramiento de la docencia (Murillo, 2007). En la mayoría de los países se encuentran los propósitos sumativo y formativo combinados (Isoré, 2009). No obstante, la literatura sugiere que pareciera haber mayor conocimiento, investigación y desarrollo para el propósito sumativo más que para el formativo (Mathers, Oliva & Laine, 2008; Murillo, 2007).

USOS SUMATIVOS DE LA EVALUACIÓN DEL DESEMPEÑO DOCENTE

Los usos sumativos dados a la evaluación del desempeño docente pueden ser muy variados dependiendo de factores tales como la existencia de una carrera docente, tipo de contrato del docente, periodicidad de la evaluación, tipo de instrumentos usados, tipo de institución educacional de la que se trate, entre otros. En todo caso, la mayoría de las decisiones parece oscilar entre el premio y el castigo al profesor (Murillo, 2007).

- Incremento salarial, que puede ser en forma directa y automática, o condicionado a otras evaluaciones tales como pruebas de conocimientos a través de someterse posteriormente a otro tipo de evaluaciones. Este incremento puede ser por un periodo limitado de tiempo como también puede ejecutarse a lo largo de la carrera docente, incidiendo en una mejor jubilación. Ejemplos de países que usan este tipo de recompensas son Brasil, Colombia, Chile, Guatemala, Perú y México (Morduchowicz, 2011). Aunque hay acuerdo en que un buen desempeño docente debe ser reconocido, la literatura no es muy clara en señalar si es bueno o malo hacer esta relación con los salarios (OCDE, 2009).

- Promoción: en aquellos países e instituciones en que existe una carrera docente o un símil, los resultados de la evaluación pueden derivar en una promoción en el escalafón de dicha carrera. A veces la promoción no es automática y los profesores deben solicitarla, en algunos casos, suele estar condicionada a factores tales como rendir una prueba de conocimientos (OCDE, 2009). Por ejemplo, un profesor con una buena evaluación puede optar a un cargo mayor, tal como el de director, lo cual incidirá posteriormente en el sueldo.

- En el caso contrario, es decir, si el resultado de la evaluación no es satisfactorio, se retiene al profesor en un escalafón o etapa específica de su carrera docente (OCDE, 2009).

- Premios, reconocimientos o recompensas puntuales que se otorgan por una sola vez, pudiendo tratarse de un bono en dinero, de un período sabático, entrega de certificados, constancias o diplomas de excelencia en una ceremonia especial, entre otros. Australia, Estados Unidos, Canadá, España y el Reino Unido son países en los que se encuentran diversas formas de premiar a sus profesores (Vaillant & Rossel, 2010).

- Así como se otorgan premios de diversa naturaleza, también se aplican sanciones a docentes cuyos resultados no son considerados satisfactorios, tales como despidos. La literatura señala que esto se produce luego de alguna cantidad de oportunidades en que el profesor es evaluado en un nivel de bajo desempeño y que, generalmente, se acompaña al principio de tutorías o perfeccionamientos (MINEDUC, 2014).

- Algunas veces se usan los resultados para la asignación de profesores a determinados establecimientos educacionales (Taut, Santelices & Manzi, 2011).

- Aunque el perfeccionamiento docente corresponde más bien a un uso formativo, los buenos resultados pueden usarse como una condición para postular a ciertos beneficios, tales como estudios en el extranjero; formación en centros de excelencia y becas o préstamos para cubrir costos de estudios.

- En algunos países como Nueva Zelanda, a los profesores que obtienen buenos resultados se les reduce la cantidad de horas de clases o la semana laboral.

- En menor medida se encuentran premios puntuales traducidos en bienes materiales, tales como material didáctico, computadores, obras de arte, automóviles, e incluso viajes (Vaillant & Rossel, 2010).

- En especial en las instituciones universitarias, se utiliza el cuestionario a los estudiantes como una forma de conocer su grado de satisfacción con la docencia, verificar el cumplimiento de las actividades académicas, el cumplimiento del plan de desarrollo institucional y también para cumplir con ciertos requisitos de la acreditación de carreras y programas (Elizalde, Torquemada & Olvera, 2010). No obstante, su extendido uso en diversos países, tal vez sea la forma más controvertida de evaluar la docencia, debido a que sus resultados se usan sin considerar que la opinión de los estudiantes sobre la docencia es altamente contextualizada (influyen factores tales como la simpatía al profesor, época del año en que se aplica, el tipo de curso, tipo de colegio, carrera, entre otros); se usan en forma aislada sin considerar otras fuentes e instrumentos; se vinculan con el rendimiento de los estudiantes; se usan para realizar comparaciones entre profesores, departamentos o facultades; y en algunos casos, no se saben interpretar, por ejemplo, al mirar solo ciertos índices estadísticos, como los promedios (Baker et al., 2010; Ludlow, 2005).

- A nivel de medios de comunicación, es usual utilizar los resultados de la evaluación docente para atribuir responsabilidades por otros resultados, por ejemplo, por el rendimiento de los estudiantes en pruebas estandarizadas.

USOS FORMATIVOS DE LA EVALUACIÓN DEL DESEMPEÑO DOCENTE

- Uno de los usos formativos más frecuentes corresponde al diagnóstico de la calidad de la práctica docente, o detección de sus fortalezas y debilidades, lo que posteriormente da lugar a diseños de capacitaciones o perfeccionamientos específicos (Taut, Santelices & Manzi, 2011; Elizalde, Torquemada & Olvera, 2010). En este caso hay que distinguir diversas modalidades, ya que a veces se centra exclusivamente en aquellos docentes que obtienen resultados deficientes, por lo cual el carácter formativo es solo para aquellos casos y no para todos que quieran mejorar su docencia. En otras ocasiones se ofrece el perfeccionamiento a un establecimiento escolar, lo que incluye a todo el cuerpo docente, encontrándose la misma situación a nivel universitario, es decir, se ofrece a una carrera, departamento o a toda la institución. Por otra parte, el perfeccionamiento puede ser individual al utilizar la figura de un tutor o mentor que acompaña al docente. Otra variante se encuentra en el tipo de perfeccionamiento ofrecido, ya que se encuentran becas en el país o en el extranjero, pasantías de trabajo o estudio, cursos breves sobre temáticas específicas, e incluso la entrega de material para que el docente se perfeccione de manera autodidacta.

- Otro uso frecuente se relaciona con la retroalimentación a los profesores. En este caso, la retroalimentación adopta diversas formas, ya que puede ser individual o colectiva, virtual o personal, e incluso solo en un documento escrito sin haber interacción con otros. Al igual que en el caso del perfeccionamiento, a veces solo se retroalimenta a aquellos que docentes salieron mal evaluados (Hellrung & Hartig, 2013; Elizalde, Torquemada & Olvera, 2010).

- En mucho menor medida se encuentra la participación de los profesores bien evaluados en proyectos, ya sean de investigación o de intervención en sus respectivas áreas académicas.

ANTECEDENTES Y CONTEXTO DE LA EVALUACIÓN DOCENTE POR ESTUDIANTES

CONTEXTO INTERNACIONAL

La preocupación por evaluar la labor docente a nivel superior data de la segunda década del siglo XX. Fue en el año de 1927 cuando Herman Remmers, de la Universidad de Indiana, Estados Unidos, creó el primer cuestionario de evaluación de la docencia (CEDA), a través del cual los estudiantes podían calificar el desempeño de los profesores. Sin embargo el uso de este cuestionario se generalizó apenas 40 años después de su creación, en la década de los sesenta, debido a la democratización de las universidades impulsada por los movimientos estudiantiles y la orientación al mercado que caracteriza al sistema de educación superior de Estados Unidos. En un principio, se comenzaron a emplear los cuestionarios, con fines formativos fundamentalmente y su uso era voluntario.

Varios años después, en la década de los noventa, el uso de los cuestionarios en las universidades estadounidenses se intensificó ahora con fines de tipo sumativo, es decir, orientados hacia las políticas de promoción de los docentes, pago al mérito y rendición de cuentas. Para este entonces el empleo de los cuestionarios se hizo obligatorio en las universidades (García, 2014).

A partir de la generalización de esta práctica evaluativa en Estados Unidos, el uso de cuestionarios para la evaluación docente a nivel superior se empezó a implementar en otros países como Canadá, Australia y algunos de Latinoamérica, en donde el empleo de estos cuestionarios ha sido fuertemente criticado, dado que en casos como el de Chile, por ejemplo, tal como lo menciona García (2014) citando a Salazar (2010), existen instituciones que no tienen políticas ni modelos de evaluación docente y que consideran como único instrumento de evaluación el uso de encuestas “como si la evaluación requiriese de sólo un informante”.

CONTEXTO MEXICANO

En el caso Mexicano, la evaluación docente inició a la par que en Estados Unidos. El padre Ernesto Meneses Morales de la Universidad Iberoamericana (UIA) fue el que introdujo el cuestionario de evaluación de la docencia por los alumnos (CEDA), creándose el primer instrumento mexicano de evaluación en 1971 en la UIA. No fue hasta los noventas que los cuestionarios de evaluación docente empezaron a ser comunes y aceptados dentro de las universidades públicas (Cabrera & Ayala, 2010).

Particularmente en el país, la evaluación docente ha estado enmarcada en los fines sumativos que derivan de las políticas de incentivos al desempeño de los profesores universitarios, específicamente aquellas propuestas derivadas del Programa para la Modernización Educativa 1989-1994, que buscaban incrementar la calidad de la educación superior. Sin embargo, lejos de lograr este objetivo la evaluación docente se ha quedado únicamente en este plano cuantitativo afectando la permanencia o promoción de los docentes y no ha incidido de ninguna manera en el incremento de la calidad de la educación universitaria.

CONTEXTO DE LA UNIVERSIDAD AUTÓNOMA METROPOLITANA (UAM)

Para hablar de evaluación docente en la UAM se debe tener en cuenta, que ésta se asocia con varios escenarios, entre ellos:

El escenario cuantitativo: constituido en un sistema de calificación, creado desde 1985 y que influye en la promoción e ingreso de un profesor. Para esto se basa en un listado de actividades y productos del trabajo docente, clasificados en los siguientes rubros: a) impartición de cursos; b) la elaboración o modificación de planes y programas de estudio; c) la preparación de materiales didácticos; y d) la dirección o dictaminación de trabajos de tesis en diferentes niveles.

Todas estas actividades han quedado representadas en el TIPPA (Tabulador para el Ingreso y Promoción del Personal Académico), que a través de una escala de puntajes mínimos y máximos certifica únicamente productos del trabajo reconocidos por la Institución. Una de las nueve dictaminadoras de área, evalúa por solicitud del profesor sus posibilidades de promoción, a la cual puede aspirar cada dos años. De la misma manera el TIPPA se aplica para examen de ingreso a la vida académica.

1) El escenario participativo (valoración de los principales actores): que complementa al cuantitativo, ya que éste no permite evaluar las habilidades, fortalezas, debilidades y las prácticas de los docentes frente a grupo. Así, la evaluación diagnóstica del proceso de enseñanza-aprendizaje y del docente involucrado se realiza a partir de tres fuentes:

a. Los alumnos, quienes realizan un cuestionario cada trimestre, con el que se recaba información sobre: autoevaluación del alumno, desempeño didáctico pedagógico del profesor, organización del curso, formas de atención del alumno intra y extra clase, entrega oportuna del programa específico, estímulo a la investigación, horas frente a grupo por parte del profesor, motivación de la participación crítica de los alumnos en clase, calificación del profesor, opiniones generales sobre la universidad, la carrera seleccionada y el profesor.

b. El Coordinador de la Carrera (Coordinador de la Licenciatura o Posgrado correspondiente), quien realiza una evaluación que determina generalidades académico-contractuales; disponibilidad del profesor a impartir asesorías, cursos, apoyos en trabajos terminales, tesis o tesinas; cumplimiento en la entrega de actas de evaluación; innovación e incorporación de dinámicas grupales para la impartición de contenidos y mejoramiento en el aprendizaje; evaluación de quejas recibidas sobre el desempeño del profesor; colaboración mostrada por el profesor a actividades relacionadas con la docencia; y una evaluación global del profesor por el Coordinador de Estudios.

c. El Jefe del Departamento Académico donde el profesor tiene su adscripción laboral. Esta evaluación describe la entrega del Informe y Programa Anual de Actividades; la colaboración en la elaboración de materiales didácticos y revisión de Planes y Programas de Estudios; la disposición del profesor en la impartición de las UEA’s o módulos; la disponibilidad en la organización académica, impartición de UEA’s o módulos en su área de trabajo; la participación en juntas académicas y aportaciones en las mismas; la valoración de los comentarios recibidos, en cuanto al trabajo académico del profesor, por alumnos y otros profesores; la designación de las horas frente a grupo; y la evaluación global del docente por parte del Jefe de Departamento.

Este escenario se describe muy bien en el Programa de Evaluación de la Carrera Docente, de carácter institucional, que comenzó a operar a partir de julio de 1992. El mismo está dirigido a profesores Asociados, Titulares y Técnicos Académicos de Tiempo Completo e Indeterminados (definitivos en cuanto a su relación laboral) (Rubio & Comas, 1998); y,

2) El escenario del financiamiento: costos y beneficios.[21] Si revisamos la operación del proceso de evaluación de la docencia en la UAM, con aproximadamente 50,000 alumnos de licenciatura y posgrado, tomando en cuenta que el costo de las hojas de evaluación que se entregan a los alumnos es de aproximadamente $15,00 (quince pesos) y que cada alumno cursa alrededor de cuatro materias tendremos la siguiente cifra por un trimestre: $3,000 000 (tres millones de pesos) que anualizada nos da $9,000 000 (nueve millones de pesos). Si a esa cantidad le agregamos el equipo necesario para su operación, los recursos humanos de planta involucrados, los insumos de papelería y envíos, los costos de los edecanes y servicios de comedor para éstos últimos y el pago de los mismos, al anualizar todos estos costos probablemente llegaremos a una cifra superior a los $12,000 000 (doce millones de pesos). Entonces si contrastamos los costos contra los beneficios en puntos tales como: adecuación y modificación de planes y programas, permanencia de los alumnos, mejora en los procedimientos didácticos, recursos digitales, eficiencia terminal, deserción…, y la lista hasta podría ser más extensa como veremos a lo largo de este artículo; nos preguntaríamos ante la poca o nula movilidad en estos indicadores, ¿cuáles son los beneficios reales y tangibles de un proceso de evaluación a la docencia que cuesta más de $12,000 000 al año y que sólo mide desempeño del profesor y no el aprendizaje de los alumnos?

Ahora bien, si el diseño de los formatos de evaluación no se renueva, las mejoras no se observan en el nivel institucional y los alumnos no notan los cambios, será entonces que, ¿no estaremos frente a otro de muchos procesos formales que estimulan la simulación en la búsqueda de la calidad en las funciones sustantivas? Finalmente, cabe preguntarse ¿vale la pena continuar por esta ruta?

LAS REPRESENTACIONES SOCIALES Y LA EVALUACIÓN DOCENTE

Como ya se ha visto, la temática de la evaluación académica en general y la de la evaluación docente en particular es importante estudiarla, pero sobre todo cuando lo que se investiga son las vivencias que los actores educativos, en este caso estudiantes, tienen al respecto. En otras palabras, cuando se pretende recuperar sus impresiones, opiniones e imágenes así como el significado y las consecuencias que perciben. Dado que lo que nos interesa es identificar precisamente el punto de vista de los estudiantes, sobre los usos que tiene la evaluación docente de acuerdo con sus opiniones, esta investigación retoma como base teórico-metodológica la perspectiva de las Representaciones Sociales (RS) ya que ésta permite detectar esquemas subjetivos de percepción, de valoración y de acción. El centro de interés lo constituye la perspectiva del sujeto, sus vivencias sobre la evaluación, por lo cual se privilegia al actor y a su subjetividad.

Para Moscovici (1979), la representación social (RS)[22], es una modalidad particular de conocimiento cuya función es la elaboración de los comportamientos y la comunicación entre los individuos. Esta modalidad a la que se refiere dicho autor es aquel conocimiento “espontáneo”, “ingenuo”, ese que a veces se denomina conocimiento de sentido común, o bien pensamiento natural distinto al conocimiento científico pero tan legítimo de ser estudiado como este último, debido a su importancia en la vida social y por su utilidad en el esclarecimiento de los procesos cognitivos y las interacciones sociales (Jodelet, 1989).

Los sujetos construimos RS sobre algo o alguien (Jodelet, 1986), y además éstas son expresadas por un sector social particular, es decir, son particularizadas, no pueden ser generalizadas. Las RS se construyen sobre ciertos objetos, sujetos, ideas o acontecimientos que ocurren en una sociedad específica.

Las RS permiten establecer relaciones con el mundo de la vida cotidiana y con los objetos que los actores construyen sobre éste. En el caso de la evaluación docente, sirven como un medio de expresión a través del cual los estudiantes, como veremos más adelante, toman postura ante la forma en que creen, piensan, sienten lo que es la evaluación docente para ellos, cómo la han vivido, qué experiencias tienen al respecto, etcétera. Puesto que nuestros sujetos de estudio son estudiantes portadores de creencias, prejuicios, valores, deseos, frustraciones y todo tipo de manifestaciones o expresiones que han ido construyendo en torno a la evaluación. Por ello partimos de la idea de que estudiar estas expresiones de sentido común nos permitirá comprender el significado que los éstos le otorgan a la evaluación docente.

Si bien en México existen estudios sobre la problemática de la evaluación educativa en general y de la evaluación docente en particular[23], pocos de ellos tienen como finalidad ubicar explícitamente las RS, creencias u opiniones que los actores educativos, en este caso, los estudiantes, tienen al respecto[24].

LA ESTRATEGIA METODOLÓGICA Y LOS INSTRUMENTOS

En el estudio y análisis de las representaciones sociales es fundamental considerar su naturaleza discursiva ya que éstas son generadas en el proceso de comunicación y luego son expresadas a través del lenguaje. La actividad discursiva es, sin duda, la expresión más compleja a la que pueden dar lugar las representaciones sociales ya que no existe un discurso donde la dimensión argumentativa no esté presente, al menos en algún grado (Grize, et al. 1987). Por ende la metodología elegida para nuestra investigación está centrada en la dimensión argumentativa de esta actividad.

Cuando se trabaja con instrumentos que buscan respuestas informativas, el sujeto interrogado, en la gran mayoría de los casos, se involucra en una serie de desarrollos explicativos, toma posición, expresa su pensamiento, examina los pros y los contras. En otras palabras, el sujeto elabora un micro universo complejo y coherente, dotado de una cierta autonomía y frente al cual la pregunta hecha aparece como un simple detonador.

Para el acopio de la información se elaboró un cuestionario con 16 preguntas abiertas con el objeto de conocer las opiniones que los estudiantes tienen respecto a la evaluación de la docencia.

En este caso en particular, por razones de espacio, sólo se analizará la primera de estas preguntas: ¿Qué es lo que te viene a la mente cuando escuchas evaluación docente? Con ello se pretende conocer e interpretar las RS que los estudiantes tienen sobre el concepto de evaluación, es decir, acerca de la noción de evaluación docente que ellos han vivido, experimentado, padecido, etcétera, lo que nos lleva a identificar de manera indirecta los usos que éstos le atribuyen a la evaluación.

En la aplicación del cuestionario participaron un total de 121 estudiantes, 58 del sexo femenino y 63 del masculino. Se tomó como referente empírico a un grupo de cada una de las licenciaturas que tiene la División de Ciencias y Artes para el Diseño de la Universidad Autónoma Metropolitana, Unidad Xochimilco: Arquitectura, quinto trimestre, Diseño Industrial, onceavo y doceavo trimestre, Planeación Territorial, onceavo trimestre, Diseño Gráfico, octavo trimestre. Cada grupo con horarios y con profesores diferentes. También se aplicó el cuestionario a estudiantes del Posgrado en Ciencias y Artes para el Diseño (maestría y doctorado) de la misma Unidad Xochimilco. Los estudiantes de maestría cursaban el segundo y quinto trimestre y en el caso del doctorado, del primero al décimo trimestre. La distribución de esta población se ilustra en la Tabla 1; como se puede apreciar, hay un mayor número de participantes del sexo masculino dentro del total de la población sin embargo es mínima esta diferencia en relación con la participación del sexo femenino (2%). El mayor número de participantes estuvo concentrado en las licenciaturas de Arquitectura, Diseño industrial y la Maestría con una incidencia del 19%, 20.7% y el 16.5% en la población total respectivamente dando un total de 56.2% de la población total concentrada en esos grupos. La selección de los estudiantes se hizo al azar, es decir, se acudió con los docentes que estaban dando clases y se les pidió permiso para aplicar el instrumento.

El cuestionario fue analizado por medio de un análisis argumentativo (Grize, Verges & Silem, 1987). Se detectaron aquellas categorías más frecuentes en el discurso producido por los estudiantes. Después se obtuvo una lista de las temáticas más reiteradas y se identificaron, a través de los argumentos más empelados, ciertas subcategorías que se incorporaron a las primeras.

A continuación se muestran algunos de los resultados encontrados en las respuestas que los estudiantes dieron a la primera pregunta.

ANÁLISIS DE RESULTADOS

Pregunta 1: ¿Qué es lo que te viene a la mente cuando escuchas evaluación docente?

Antes de proceder el análisis de la primera pregunta en relación con la opinión de los estudiantes sobre la evaluación docente, es preciso señalar que hubo que agrupar las respuestas de licenciatura y posgrado (maestría y doctorado) para que el análisis fuese más claro, ya que encontramos enormes similitudes y sólo una distinción con los estudiantes de maestría quienes emplearon el término de aprendizaje en su concepción de evaluación (lo cual se señalará más adelante). Se indica, después de cada cita, si se trata de la opinión de un estudiante de licenciatura (L), maestría (M) o doctorado (D). Por lo general, los estudiantes de posgrado utilizaron un lenguaje más específico y analítico (“reflexionar o analizar por medio de herramientas de medición el proceso de transmisión de conocimientos docente-alumno…”); mientras que los de licenciatura emplearon conceptos más generales como: “Prueba en donde se evalúa el desempeño de los profesores”. Podríamos inferir que esto se debe al grado académico de los estudiantes.

También es necesario mencionar que la intención de este trabajo no es analizar las respuestas que dan los estudiantes al concepto de evaluación a partir de algún enfoque teórico, sino de aproximarse a las RS de uno de los actores educativos más directamente involucrados con la evaluación docente.

Después de realizar un análisis del material empírico se construyeron tres categorías generales, cada una con sus respectivas subcategorías: 1) la evaluación docente como algo inútil; 2) la evaluación docente como evaluación sumativa y, 3) la evaluación docente como evaluación formativa.

CATEGORÍA 1. LA “EVALUACIÓN DOCENTE” COMO ALGO INÚTIL

Esta fue la categoría a la que los estudiantes le atribuyeron el mayor peso. Éstos consideran que la evaluación no es útil, que es algo que se tiene que hacer pero como no se percibe cambio alguno los alumnos opinan que es una pérdida de tiempo. Las siguientes opiniones de estudiantes de licenciatura así lo revelan:

“Una evaluación nada profunda que se mide con un tedioso examen de rellenar bolitas” (L).

“Evaluación sin utilidad, me da flojera el simple hecho de tener que llenar tanto circulo y que esto no sirva para nada. No lo vería tan tedioso si fuese cierto que tomaran cartas en el asunto e hicieran caso a nuestros comentarios” (L).

“La evaluación docente es fastidiosa y tediosa, representa horas de clase perdidas por un pretexto estadístico que no tiene mayor impacto más que el cansancio de quienes contestamos el cuestionario” (L).

La evaluación docente como un trámite necesario

También se encontró que cuando los alumnos evocan el concepto “evaluación”, las opiniones giran en torno al formato del instrumento utilizado. En reiteradas ocasiones los alumnos emplean sinónimos y/o definiciones genéricas: es un “cuestionario”, una “forma”, un “proceso” y hasta un “método”, que se convierte en un requisito indispensable para llevar a cabo un trámite necesario. En la carrera de Planeación Territorial asocian la evaluación docente con el concepto de “examen”, mientras que en la Maestría se liga al de “medición”. En ambas licenciaturas de Diseño (Industrial y de la Comunicación Gráfica), la definen como “círculos” a llenar. En algunos casos se menciona la fecha en la que se aplica; esto recalca el carácter periódico, repetitivo del trámite.

“Un cuestionario enfocado a valorar el desempeño del docente, que tenemos que responder periódicamente” (L).

“Un proceso burocrático y banal al que nos tenemos que someter en la séptima semana para, constatar si el docente cuenta con los conocimientos y métodos necesarios para impartir su clase…” (M).

“Un examen que tenemos que responder cada trimestre en donde se busca recabar información sobre el trabajo del profesor…” (L).

“Que ya estoy a la mitad del trimestre y que es momento de comentar sobre el trabajo que realiza el docente en la clase, en donde tenemos que rellenar demasiados círculos” (L).

“Por las experiencias pasadas en la universidad, de inmediato pienso en la encuesta ‘naranja’ que nos dan para ‘calificar’ la eficiencia del profesor…” (L).

Los verbos evocados se ligan a las funciones de la evaluación y del cuestionario: “evaluar”, “calificar”, “(des)aprobar”, “cuestionar”.

La evaluación docente como algo polémico y contradictorio

No obstante, éste último verbo es el que nos permite hacer un puente entre el trámite necesario y la opinión de los estudiantes que oscila entre el tener que contestar esta evaluación y también el estar en desacuerdo. En otras palabras, los estudiantes saben que la evaluación tiene que realizarse aunque no estén totalmente de acuerdo:

“Una significativa pérdida de tiempo, sin embargo, esto entra en conflicto con mi responsabilidad de aportar información para generar un cambio en la práctica docente” (L).

“Una evaluación trimestral, en la que se pretende evaluar la calidad de la enseñanza con preguntas muy generales” (L).

Muchas veces el mismo “deber” de contestar la evaluación contradice lo que ésta representa para ellos; su opinión es ambivalente:

“Que la evaluación es importante, sin embargo, evaluar a un profesor de la manera en que se realiza en la UAM no refleja la realidad, por tanto, se vuelve un sistema no funcional” (L).

“Calificar la capacidad de enseñanza de los profesores, sólo en caso de que éstos tengan interés en que aprendamos algo” (L).

De particular trascendencia es que la misma conjunción adversativa (sin embargo) marque la distinción entre lo que es importante y sistemático y lo que es obsoleto puesto que es irreal. La evaluación, según el sentir de los alumnos, presenta preguntas ambiguas con sus respectivas respuestas:

“…donde las preguntas son muy generales y en ocasiones no corresponden a una respuesta exacta” (L).

“…hay ocasiones que aunque quieras no puedes evaluar bien a tus profesores” (L).

Y además no repercuten o reflejan la vida académica cotidiana:

“La evaluación pocas veces coincide con la realidad porque dichas evaluaciones no reflejan lo que es la labor docente” (D).

“Que es una apreciación sin peso en el desempeño del docente, a veces me parece un simulacro, pues los efectos no se aprecian claramente en el aula” (M).

“Un proceso burocrático que no tiene un impacto real en la mejora del desempeño docente” (D).

“Que no tiene mayor impacto más que el cansancio de quienes contestamos” (L).

“Que es un trámite banal […] puesto que las respuestas no son ciertamente verdaderas y los resultados no benefician ni perjudican a nadie” (L).

“Cuestionario que raramente sabemos si funciona o no” (L).

La evaluación docente como pérdida de tiempo

Ya se mencionó que cuando los estudiantes evocan el concepto de evaluación, éstos aluden al formato que se utiliza, es decir al cuestionario de opción múltiple que tienen que responder, lo cual da pie a una serie de críticas en cuanto a la extensión y al desagrado que esto genera:

“Un cuestionario muy largo e incluso pesado” (L).

“Una interminable serie de óvalos para rellenar, en los que la mayor parte de las veces el tedio gana, por lo que después de un rato se deja de poner atención en los rubros que tienes que evaluar” (L).

“Aburrido y repetitivo, ya que eso de llenar circulitos es muy monótono” (L).

“La verdad no se me ocurre nada positivo porque son muy tediosas estas encuestas” (L).

“Preguntas repetitivas, largas, en casos confusas” (L).

Además de lo anterior, los estudiantes manifiestan que el llenar el cuestionario es una pérdida de tiempo porque éste se tiene que contestar durante las horas de clase las que no se repondrán, incluso opinan que además de ser una pérdida de tiempo también es una pérdida de dinero.

“Fastidio, tedioso, horas de clase perdidas por un pretexto estadístico y que no tiene mayor impacto más que el cansancio de quienes contestamos” (L).

“Pérdida de tiempo, porque pienso que ni siquiera los toman en cuenta y se hacen en horas de clase” (L).

“Es muy tedioso, ya que se tiene que evaluar a muchos profesores, además que la evaluación es en la semana con más carga de trabajo durante el trimestre” (L).

“El cuestionario es muy subjetivo y no es específico, realmente no creo que se pueda valorar el desempeño real de los profesores con el tipo de preguntas que se hacen en ese tipo de cuestionario. De igual manera creo que no son tomados en cuenta nuestras respuestas, por lo que todo es una pérdida de tiempo y dinero” (D).

Y si a todo esto le agregamos que…

“Los docentes se muestran resistentes a cambiar su manera de enseñar y de evaluar, pues consideran que ellos son los más preparados para decidir qué hacer…” (M).

CATEGORÍA 2. LA “EVALUACIÓN DOCENTE” COMO EVALUACIÓN SUMATIVA: VALORACIÓN DEL DESEMPEÑO DOCENTE

Esta categoría fue la que quedó en segundo término. Se ha visto en la parte conceptual de este trabajo que la evaluación sumativa (también conocida como evaluación final o de producto) tiene como propósito determinar niveles de rendimiento, decidir si se produce el éxito o el fracaso. Hace referencia al juicio final global de un proceso que ha concluido y sobre el que se emite una valoración terminal. En este caso los estudiantes perciben que la evaluación que ellos llevan a cabo es aquella que se realiza para elaborar juicios sobre el desempeño de sus profesores, para valorar si el profesor imparte la materia de forma adecuada o no.

“La evaluación sirve para calificar a los profesores. Es una manera de saber cómo el maestro realiza su trabajo, es decir si lo hacen bien o mal” (L).

“Un tipo de prueba que se aplica para evaluar los conocimientos de los profesores sobre una materia en específico” (L).

“Una forma de valorar el trabajo del profesor, ya sea de manera positiva o negativa” (L).

Estos ejemplos corroboran que los alumnos opinan que la evaluación se entiende como prueba o examen que sirve para poder establecer un juicio acerca del desempeño del maestro, unos lo apuntan como una simple valoración:

“Prueba estadística para evaluar a los profesores sobre su desempeño en clase” (L).

“Un examen que se realiza a los profesores para saber cómo llevan a cabo sus seminarios” (L).

“Es una herramienta que mide el desempeño académico del personal docente” (L).

Otros especifican que la evaluación no es una simple valoración sino que se evalúa desde la convivencia que el profesor tiene con los alumnos, el apoyo que brinda a sus estudiantes, la manera de llevar a cabo sus actividades, el material extra que prepara y las aportaciones que el docente hace en clase.

“Calificar a los maestros, las actividades que desarrollan y la forma en que las hacen” (L).

“Dar una calificación al desempeño del docente, teniendo en cuenta sus clases, material extra y aportaciones al grupo, así como su apoyo y ayuda a cada uno de los alumnos” (D).

“Calificar a un profesor en su desempeño de clase, la disposición que tiene para las mismas y para los alumnos. Así como también si está siguiendo alguna bibliografía para sus cursos” (D).

Los estudiantes de Maestría van más allá en la definición de los criterios a evaluar e introducen un concepto que sólo se mencionó en este grupo: el aprendizaje.

“Una forma de examinar y calificar el proceso de enseñanza-aprendizaje, partiendo desde el profesor, cómo éste imparte y realiza sus clases, su desempeño y cuál es el impacto hacia los alumnos y los conocimientos que éstos adquieren” (M).

“Evaluación del desempeño que tiene el docente sobre la enseñanza y el aprendizaje dentro del aula” (M).

La evaluación como rendición de cuentas

En esta subcategoría está presente el condicional “si”: tal pareciera que los docentes tuvieran que satisfacer las expectativas de los estudiantes:

“Un proceso que constate si el docente cuenta con los conocimientos y métodos necesarios para impartir su clase” (L).

“La forma de saber si un profesor tiene las capacidades para poder impartir su asignatura y si el material que proporciona en el curso es el adecuado” (L).

“La evaluación que se hace a un profesor para poder saber si el docente está actualizado en su tema y si su forma de impartir la clase es la más adecuada” (L).

“Hacer un análisis sobre el desempeño de los profesores para ver si cumplen con los objetivos de plan de estudios” (L).

CATEGORÍA 3. LA “EVALUACIÓN DOCENTE” COMO EVALUACIÓN FORMATIVA: EVALUACIÓN PARA MEJORAR

Esta categoría es a la que los estudiantes le otorgaron el tercer lugar de importancia de acuerdo con el análisis de la información recabada en el trabajo de campo. Como se manifestó en la parte teórica de este trabajo, la evaluación formativa es aquella que se realiza con el propósito de favorecer la mejora de algo, como por ejemplo, un proceso de aprendizaje, una estrategia de enseñanza, un proyecto educativo, entre otros. Por consiguiente, la evaluación formativa de la docencia, pretende conocer las fortalezas y debilidades del acto de enseñar con la finalidad de ayudar al profesor a mejorar su trabajo diario y contribuir con esta mejora a su desarrollo profesional.

Ciertas respuestas de los estudiantes se centran en el aspecto de poder mejorar la actividad docente a raíz de estas evaluaciones. Algunos de ellos lo expresan sin más rodeos:

“Mejora de la calidad de la educación y de la enseñanza” (D).

“Calificar el rendimiento de los profesores, evaluar sus enseñanzas, pienso que con esta evaluación sí se puede mejorar su método catedrático” (L).

Otros precisan que se tienen que ubicar los puntos a favor y en contra:

“Evaluar para calificar el desempeño de los profesores y ver en qué aspectos éstos pueden mejorar” (L).

“Es la evaluación que hacen los alumnos a los métodos de enseñanza de los profesores con el fin de identificar qué ámbitos de su enseñanza se pueden mejorar y manifestar cuáles sí están funcionando correctamente” (M).

Y algunos cuantos van más allá, mencionando que existen etapas previas a la mejora: el conocer, el identificar y finalmente analizar:

“Es la manera de conocer cómo los alumnos perciben la forma en que reciben su enseñanza para evaluar el desempeño del docente, respecto a sus habilidades pedagógicas y formativas durante su trabajo, y así poder mejorar la calidad del aprendizaje” (M).

“Una herramienta para conocer y analizar las fortalezas y deficiencias que tiene el sistema educativo” (L).

“Un análisis del profesor en cuanto a sus conocimientos y actividades dentro del aula, para que pueda mejorar tanto sus puntos malos como sus deficiencias en la docencia” (L).

Evaluación y retroalimentación

Otras respuestas argumentan que la evaluación docente además de utilizarse como una expectativa para mejorar la docencia, sirve también de retroalimentación para hacer saber al profesor los puntos positivos de su labor y los que tiene que mejorar.

“Retroalimentación para los maestros con el fin de hacer que mejoren su capacidad de enseñanza” (L).

“Es una forma de retroalimentar y de enterar al docente de una manera directa y precisa, sobre los puntos que éste tiene que fortalecer para transmitir sus conocimientos, deficiencias que el que evalúa considera que afectan a su aprendizaje” (M).

“Una forma de retroalimentar a nuestros profesores para que mejoren su manera de enseñar, haciéndoles saber qué es lo que no funciona en su estilo de enseñanza, así como hacerles saber qué es lo que sí está funcionando” (L).

“Una mínima acción para agradecer y también para sugerir cambios en la pedagogía de los profesores” (L).

Por último, otros estudiantes evocan a la evaluación como un apoyo en dos sentidos, de la universidad hacia los estudiantes como también una forma de poder ayudar a los maestros a mejorar su trabajo como profesionales de la enseñanza.

“Para mí la evaluación es un buen apoyo que la universidad tiene, ya que ésta puede detectar qué profesores cumplen con sus labores y también identificar qué maestros tienen que mejorar su forma de enseñar. Todo esto nos sirve mucho como estudiantes” (L).

“Es un apoyo que la universidad le da a los estudiantes para que evalúen a su profesores y que éstos reconozcan sus errores, los cuales sin la evaluación tal vez no se diagnosticaran a tiempo y, de esta forma puedan mejorar su calidad docente”. (L)

21 Nota de los autores: Las cifras son responsabilidad de los autores. Creemos que este análisis de gastos de operación nos daría cifras muy similares para todas las instituciones de educación superior del país que estén involucradas en un proceso semejante.

22 Serge Moscovici fue el creador del concepto de RS, en su libro publicado en 1961: El psicoanálisis, su imagen y su público, Presses Universitaires de France.

23 Rueda, M., Luna, E., García, B. y Loredo, J. (2010). La evaluación de la docencia en las universidades públicas mexicanas: un diagnóstico para su comprensión y mejora. Revista Iberoamericana de Evaluación Educativa, 3 (1e). Recuperado de http://www.rinace.net/riee/numeros/vol3-num1_e/art6.html.; García, J. M., (2008). El proceso perverso de la evaluación de la docencia en las universidades: Un balance inicial y apuntes para mejorarlo. Revista Reencuentro, 53, 9-19. Recuperado de http://www.redalyc.org/articulo.oa?id=34005302

24 García, J. M. (2014). ¿Para qué sirve la evaluación de la docencia? Un estudio exploratorio de las creencias de los estudiantes universitarios. Archivos Analíticos de Políticas Educativas, 22(15). http://dx.doi.org/10.14507/epaa.v22n15.2014; Silva, C., (2009). Las encuestas de opinión en la Universidad Autónoma de Ciudad Juárez: ¿Un caso de exclusión del profesorado? Archivos Analíticos de Políticas Educativas, 17 (24). Recuperado de http://epaa.asu.edu/epaa/ v17n24

CONCLUSIONES

Como ocurre con muchos otros conceptos, el concepto de evaluación en educación también ha cambiado a través del tiempo, actualmente tenemos una noción de evaluación mucho más amplia y comprensiva, que incluye aspectos tanto cognoscitivos como no cognoscitivos del objeto evaluado. Los recientes cambios en el ámbito educativo pugnan por superar la visión sumativa (de producto) y fortalecer la visión formativa (de proceso) de la evaluación.

No obstante, aunque en el discurso se destaca que la docencia es una función esencial en la universidad, lo cierto es que en los hechos ésta generalmente es subvalorada si se le compara con las otras funciones sustantivas universitarias, especialmente con la investigación. Lo anterior ha conducido a que la docencia sea vista como una actividad poco relevante, lo que se expresa en la carencia de lineamientos para su evaluación (Stake, Contreras y Arbesú, 2011).

La evaluación del desempeño docente es un asunto que se ha visto envuelto en la controversia y la polémica en distintos momentos de su historia, ha habido numerosas críticas centradas en distintos aspectos o elementos del proceso: “Ninguna otra profesión tan antigua y establecida como la academia se ha visto sujeta a una evaluación constante de su desempeño profesional de manera tan burocrática y poco útil como la que se realiza a través de los estudiantes” (García, 2008, p. 13).

El reconocimiento de la complejidad de la docencia demanda evitar valorar su calidad empleando mecanismos o dispositivos simplificadores; es preciso abordar el proceso docente en toda su complejidad, para ello, el empleo de la evaluación formativa de la docencia parece ser un concepto potente y útil.

Como hemos visto antes, los usos de la evaluación del desempeño docente generan importantes consecuencias e impactos en los distintos niveles del sistema educativo. Entre los usos más habituales se encuentran el formativo y el sumativo, o bien una combinación de ambos. Un uso formativo busca identificar las fortalezas y debilidades del docente, para ofrecerle retroalimentación oportuna y útil dirigida a mejorar su enseñanza, mientras que un uso sumativo pretende determinar la calidad de la enseñanza en un momento determinado. Sin embargo, parece que se tiene un camino mucho más andado y firme para el uso sumativo. Los usos sumativos pueden ser muy variados dependiendo de factores como la existencia de una carrera docente, tipo de contrato del docente, periodicidad de la evaluación, tipo de instrumentos empleados y tipo de institución educativa de que se trate, entre otros. Parece que –a partir de los resultados– la mayoría de las decisiones que se adoptan tienen que ver con premios y castigos al profesor: incremento salarial, promoción, reconocimientos o recompensas puntuales por única vez, sanciones a los docentes con resultados insatisfactorios, tales como despidos; asignación de profesores a ciertos centros escolares; los buenos resultados como una condición para postular a ciertos beneficios (estudios en el extranjero); formación en centros de excelencia y becas o préstamos para cubrir costos de estudios; reducción de la cantidad de horas de clases o la semana laboral, etc.

Los usos formativos más frecuentes tienen que ver con el diagnóstico de la calidad de la práctica docente (detección de fortalezas y debilidades), la retroalimentación a los profesores y en menor medida la participación de los profesores bien evaluados en proyectos de investigación o de intervención en sus respectivas áreas académicas.

La evaluación del desempeño docente ha estado dominada por fines sumativos que derivan de las políticas de incentivos al desempeño de los profesores universitarios que buscaban incrementar la calidad de la educación superior. No obstante, lejos de lograr este objetivo la evaluación ha priorizado el enfoque cuantitativo, lo que ha afectado la permanencia o promoción de los docentes, sin incidencia en el incremento de la calidad de la educación universitaria.

En el caso concreto de la UAM, como se afirma en líneas anteriores, al comparar los costos contra los beneficios de las actuales prácticas de evaluación docente, encontramos que ésta tiene un costo muy alto, en tanto que las ventajas en la mejora de la enseñanza y el aprendizaje resultan prácticamente inexistentes. Los usos de los resultados de la evaluación docente, principalmente responden a una función administrativa de rendición de cuentas, lo que en todo caso permite obtener ciertos beneficios económicos y simbólicos (reconocimiento, prestigio...) para la institución educativa.

Ante este estado de cosas, cabe preguntarse acerca de la necesidad de una reforma profunda de la evaluación docente o bien la abolición de las prácticas vigentes y en su lugar, edificar un sistema de evaluación docente que tenga como prioridad emplear sus resultados para mejorar la docencia universitaria.

Como se pudo corroborar por los resultados obtenidos, aunque a los estudiantes no se les suele informar sobre los fines, la utilidad, los usos y lo que la institución realiza después de que responden los cuestionarios para evaluar a sus docentes, pese a ello, estos actores educativos tienen claro cuál es el sentido y el uso que se le da a este tipo de evaluación.

Como se pudo apreciar, de acuerdo con sus RS, para las estudiantes la evaluación no tiene utilidad, la evaluación es un trámite burocrático, así como algo polémico y contradictorio, ya que aunque ellos evalúen a sus profesores no se toman en cuenta sus opiniones y todo sigue igual. Por tanto opinan que la evaluación es una pérdida de tiempo y de dinero, porque el cuestionario lo tienen que llenar en horas de clase que después no se reponen. Asimismo, los estudiantes perciben a la evaluación como una mera rendición de cuentas, es decir identifican el fin sumativo de ésta como el más utilizado por la Institución. Por último en menor proporción los estudiantes opinan que en ciertos casos la evaluación sirve como retroalimentación y mejora de la docencia, ya que a través de ésta, ellos pueden señalar los aciertos y las fallas que tienen sus docentes al impartir clases.

Finalmente queremos resaltar la importancia de este tipo de acercamientos al tema de la evaluación ya que, como hemos tratado de mostrar, las RS de los estudiantes en torno a la evaluación docente permite identificar las opiniones, ideas, el sistema de valores y las prácticas asociadas a este fenómeno que es de gran trascendencia para la vida cotidiana de las instituciones académicas.

FORMACIÓN Y EVALUACIÓN DE PROFESORES: LA EXPERIENCIA DE UNA RED DE COLABORACIÓN

Isabel Guzmán Ibarra

Rigoberto Marín Uribe

Alicia de Jesús Inciarte González

Elisa Araya Cortéz

INTRODUCCIÓN

La colaboración científica representa uno de los rasgos definitorios y característicos del actual trabajo de los investigadores en el proceso de generación y aplicación de conocimiento, más allá de la disciplina que se trate o del contexto geográfico en que se ubique, de tal forma que hacer ciencia se ha vuelto un asunto global, pues todos los países, independientemente de su desarrollo económico, a través de sus investigadores pueden contribuir al incremento del conocimiento (Cuadros & Uribe, 2010). La colaboración científica no es un fenómeno reciente, sin embargo, las transformaciones de las últimas décadas, en la forma de producir conocimiento, muestran una paulatina transición desde las investigaciones realizadas individualmente, a las basadas en los grupos de investigación y en las redes de colaboración, de tal forma que hoy se distingue por el incremento en la investigación realizada en colaboración. Gibbons, et al. (1997) señalan un cambio radical en el modo de producir conocimiento, lo que convierte a la colaboración científica en una realidad plural, compleja, cambiante y en un importante objeto de estudio (González, Gómez, & Agulló, 2013). Las redes científicas agrupan a un conjunto de personas con intereses y propósitos comunes sobre resultados convenidos colectivamente a través de la colaboración y participación mutua entre sus integrantes, esto es; “La construcción de estas redes implica asociaciones, nodos o relación de pares vinculados para sumar esfuerzos a favor de la obtención de objetivos comunes y la solución de problemas que les atañen a todos los interesados.” (Cuadros & Uribe, 2010, p.104). De esta manera, la formación de redes académicas y extra-académicas se ha instalado progresivamente en los procesos de generación y aplicación de conocimientos proveyendo a los grupos de investigación que las conforman de un mayor potencial para generar conocimientos y fortalecer sus capacidades (Di Meglio, Mayoral & Araya, 2010).

Esto nos permite afirmar que actualmente el conocimiento es producido y aplicado por grupos de trabajo, resaltando el trabajo en redes como una característica singular de estas comunidades y de los procesos de producción de co¬nocimiento en general.

LOS CUERPOS ACADÉMICOS Y LA FORMACIÓN DE REDES

En México el impulso al trabajo en grupos de académicos tiene su origen en el giro dado a las políticas públicas, viviéndose al menos tres momentos encabezados por los importantes esfuerzos del Programa de Mejoramiento del Profesorado (PROMEP); el primero se da en 1996, cuando se decide cambiar en el sentido de la colaboración y el intercambio entre los académi¬cos, buscando con ello mejorar la formación, dedicación y desempeño de los cuerpos académicos de las instituciones de educación superior; el segundo, de 1997 a 2000, se dirige fundamentalmente a apoyar la habilitación académica de los profesores universitarios de tiempo completo; y el tercero, a partir de 2001, enfatiza en el desarrollo, la consolidación e integración de cuerpos académicos, reconociéndolos como estructuras organizativas académicas para sustentar la planeación univer¬sitaria y el desarrollo armónico de la generación y aplicación del conoci¬miento (Luna, Rueda & Arbesú, 2006).

Todo esto tiene como fondo el gradual abandono del individualismo hacia formas de trabajo en comunidad; esta idea de “comunitarismo”, pretende atacar el individualismo vigente en los años ochenta (Parsons, 2007, p. 86).

Para el PROMEP los Cuerpos Académicos son “Grupos de profesores/as de tiempo completo que comparten una o varias líneas de generación de conocimiento, investigación aplicada o desarrollo tecnológico e innovación en temas disciplinares o multidisciplinares y un conjunto de objetivos y metas académicas. Adicionalmente…(considera que)… la investigación colegiada o en equipo fomenta la capacidad institucional para generar o aplicar el conocimiento; identificar, integrar y coordinar los recursos intelectuales de las instituciones en beneficio de los programas educativos y articular esta actividad con las necesidades del desarrollo social, la ciencia y la tecnología en el país,” (Diario Oficial de la Federación, 2013).

De acuerdo con lo anterior un Cuerpo Académico (CA en lo sucesivo) debe entenderse como una pequeña comunidad científica capaz de generar y aplicar conocimiento cultivando una o varias líneas de investigación y el trabajo en las mismas funciona como el elemento aglu¬tinador de dicho grupo (López, 2010).

El concepto de red hace referencia a la colaboración y articulación de un conjunto de actores que tienen como interés mutuo la consecución de objetivos y resultados previamente acordados con relación a un problema científico específico (Zirene & Mejia, 2011).

Las redes de cooperación se pueden definir como asociaciones de interesados que tienen como objetivo la consecución de resultados acordados conjuntamente a través de la participación y la colaboración mutua que se sustenta en una estructura horizontal de coparticipación, colaboración y corresponsabilidad de cada uno de los asociados con relación a un plan de acción, pudiendo entender a las redes como “…incubadoras de cooperación, donde las interacciones, colaboraciones y transferencias entre los asociados contribuyen a generar multitud de productos y resultados, tanto tangibles como intangibles.” (Sebastián, 2000, p. 97).

De acuerdo con el PROMEP una red se constituye por un mínimo de tres CA, donde al menos dos de ellos son de Instituciones de Educación Superior adscritas al Programa y el tercero puede ser externo, pero debe reunir las características de un CA consolidado. De acuerdo a las Reglas de operación del PROMEP (DOF, 2013), se identifican dos tipos de redes: las de colaboración y las de cooperación.

Las redes temáticas de colaboración “…fomentan la interdisciplinariedad y optimización de los recursos físicos y humanos entre los CA consolidados o en consolidación (…) con el fin de favorecer el intercambio de conocimientos entre los miembros de la comunidad científica, compartir los recursos tecnológicos, fomentar la consolidación de la colaboración y estimular el desarrollo de proyectos de investigación común.” (DOF, 2013).

Las Redes de cooperación académica, “…se caracterizan principalmente por el intercambio académico, tanto de recursos humanos (profesores y estudiantes) como de infraestructura (equipos, laboratorios e instalaciones), cada nodo atiende su propio proyecto e intercambian facilidades e información del otro nodo, pero en realidad lo que obtienen es un servicio”. (DOF, 2013).

En ese contexto, el CA “Educación y Comunicación” de la Universidad Autónoma de Chihuahua, ha venido trabajando en torno a la construcción de un Modelo para el Desarrollo y Evaluación de Competencias Académicas (M-DECA) inicialmente orientado a la formación y evaluación de profesores, con ese propósito conformamos la Red para el Desarrollo y Evaluación de Competencias Académicas (REDECA). A fin de ofrecer un análisis sobre esta experiencia, aquí se narra el proceso vivido y las lecciones aprendidas.

Desde su arranque la red ha atravesado por tres etapas de trabajo, apoyadas económicamente por el PROMEP, cuya descripción sucinta configura los escenarios en que se divide este documento: 1) se relata el contexto y la preocupación temática inicial que generó la REDECA; aquí obtuvimos un acercamiento a la propuesta para construir el M-DECA, 2) se comentan los resultados de la aplicación del modelo en dos universidades mexicanas, y 3) se examinan los procesos de internacionalización de la red; de manera particular enfatizamos en los productos de su más reciente etapa de trabajo mediante la narrativa de cinco casos.

CONTEXTO Y PREOCUPACIÓN TEMÁTICA INICIAL: CONFORMAR LA RED, CONSTRUIR UN MODELO

En el año de 2009, atendiendo a la convocatoria del PROMEP sobre Redes Temáticas de Colaboración, se integró la REDECA, en su origen agrupó a tres CA registrados en el PROMEP: “Educación Comunicación” -CA iniciador-, “Evaluación Educativa” de la Universidad Autónoma de Baja California (UABC) y “Administración y Política Educativas” de la Universidad Autónoma de Yucatán (UADY), y a la Red de Investigadores sobre Evaluación de la Docencia (RIED) como grupo de investigación externo al que nos liga una relación académica y de amistad, así como el interés por su línea de investigación y la coincidencia con un trabajo recién publicado sobre evaluación de competencias docentes (García-Cabrero, Loredo, Luna & Rueda, 2008), lo que generó el acuerdo respecto de que “el desarrollo y la evaluación de competencias académicas” se convirtiera en la preocupación temática inicial del proyecto que emprendería la REDECA.

En esta primera etapa, nuestro CA construyó una propuesta de formación<->evaluación de profesores (Marín & Guzmán, 2012), la cual representa la primera aproximación al M-DECA; esta propuesta se aplicó y valoró en una universidad del sureste mexicano.

EL M-DECA: DEL PLANTEAMIENTO TEÓRICO A SU APLICACIÓN

Los resultados derivados de procesos de evaluación de la docencia (Rueda, Luna, García & Loredo, 2011), buscan generar programas de formación de profesores que le proporcionen a la evaluación el sentido de diagnosticar para mejorar, capaz de crear el binomio de evaluación-formación (García-Cabrero, Loredo & Carranza, 2008). Las posibilidades de repensar este binomio en beneficio del mejoramiento de las prácticas educativas y de los sujetos involucrados, implicó trabajar “procesos de formación de profesores”, planteando el binomio evaluación-formación como un bucle formación<->evaluación (Marín & Guzmán, 2012). Por lo anterior, es necesario considerar que la evaluación de la docencia y la formación de profesores son dos momentos concomitantes de un mismo proceso, que se transforman, en distintos momentos, de evaluación-formación, en formación-evaluación.

Estas reflexiones y la preocupación sobre cómo formar<->evaluar competencias docentes, aportaron elementos para construir el M-DECA (Marín & Guzmán, 2013), en él se fija la posición sobre el discurso de las competencias abordando lo relacionado con la competencia y las competencias docentes (Guzmán & Marín, 2011). A su vez, se analiza la necesidad de establecer coherencia entre los elementos estructurales del concepto de competencia, la práctica docente y la evaluación que vincule los procesos de formación<->evaluación.

Dicho análisis conduce a la caracterización de un perfil de docente y con ello a la identificación de las siete competencias que el modelo pretende desarrollar y evaluar mediante un “programa de formación” que se opera mediante dos dispositivos: uno de formación, sustentado en la pedagogía de la integración (Roegiers, 2010) y otro de evaluación de competencias docentes; que integra diversos enfoques teóricos y prácticos relacionados con la evaluación auténtica (Marín, Guzmán, Márquez & Peña, 2013).

En el M-DECA se incorporan estrategias orientadas a su validación (Wang & Ellet, 1982), métodos y técnicas para la evaluación de las acciones formativas contempladas en el programa de formación (Kirkpatrick, 1999; Steele, 1989). Para tal propósito en el año de 2011, se impartió el programa de formación a grupos de profesores de dos universidades mexicanas. El procedimiento empleado empató las cinco módulos que estructuran el programa formativo, con los tres seminarios de formación, la fase de intervención en el aula y el momento de integración de la experiencia; asimismo, con las etapas de validación (adopción, adaptación, evaluación, refinamiento y diseminación) y con los niveles de evaluación de acciones formativas (aprendizaje, acción, efecto y valor); el proceso de valoración de esta experiencia permitió refinar en diferentes aspectos tanto el programa de formación como el M-DECA (Guzmán, Marín, Zesati & Breach, 2012; Marín, Arbesú, Guzmán & Barón, 2012).

INTERNACIONALIZACIÓN DE LA RED: ANÁLISIS DE CINCO CASOS

La tercera etapa de la red inicia en octubre de 2013 y se cierra en septiembre de 2014. Adicionalmente a los cuatro grupos iniciales, en esta etapa se sumaron a la REDECA: el CA “Formación, Desarrollo y Evaluación de Actores Educativos” de la UABC; tres grupos de investigación internacionales: el “Buró de Ingeniería, Educación y Formación” (BIEF) de la Universidad de Lovaina, La Nueva, Bélgica y de la Universidad Metropolitana de Ciencias de la Educación, de Santiago de Chile; “Currículo, cultura y sociedad” de la Universidad de Zulia, Venezuela y la “Red de Investigadores para el desarrollo del currículo y de las organizaciones escolares” de las Universidades de Granada, Sevilla, Almería y Málaga, España; también, participan tres grupos de colaboradores: 1) Estudiantes de Doctorado de la Facultad de Filosofía y Letras, Facultad de Ciencias de la Cultura Física y Facultad de Ingeniería de la UACH y estudiantes de la Facultad de Educación de la UADY, 2) profesores de la Facultad de Contaduría y Administración, de la UACH y de la Universidad “Rey Juan Carlos” de Madrid, España (este último grupo de profesores se agregó a la red con financiamiento propio), y 3) Profesores de educación básica de la ciudad de Chihuahua.

En esta etapa, se decidió trabajar de manera diferenciada, buscando respetar las líneas de interés de los CA participantes; para tal fin nos planteamos seguir dos rutas o vertientes, cada una con objetivos particulares. Los dos CA de la UABC y la RIED se orientaron al “desarrollo de diferentes instrumentos de evaluación de la enseñanza en situaciones de prácticas clínicas, formación para el trabajo y tutorías”; el resto de la red trabajó un Proyecto que se encaminó a “desarrollar investigación colaborativa mediante la realización y evaluación de programas de formación de profesores que consideraran procesos de intervención en el aula tendientes al desarrollo y evaluación de competencias”.

Este proyecto se llevó a cabo paralelamente al Programa de formación considerado en el M-DECA, proporcionándose a los participantes una guía para el trabajo académico (Guzmán, Marín e Inciarte, 2014). El programa se operó en cuatro momentos: 1) de formación realizado en la Universidad de Zulia, Venezuela, 2) de valoración de los proyectos formativos producidos, este se efectuó en la Universidad Autónoma de Yucatán, México, 3) de intervención, desarrollado en las sedes de cada uno de los grupos participantes, y 4) de integración de resultados, celebrado en la Universidad de Granada, España. Enseguida se describe esta experiencia de formación-evaluación de profesores que tomó como base el M-DECA. Esta se puntualiza mediante la presentación de cinco casos.

PRIMER CASO: CHIHUAHUA, MÉXICO

Bajo el enfoque de investigación colaborativa (Casals, Vilar y Ayats, 2008; Lall, 2011), entendida como un proceso sistemático de acción y reflexión entre coinvestigadores que abordan una cuestión de interés común y con el propósito de construir «comunidades de práctica» (Wenger, 1998; Wenger, 2001) que nos llevaran a trascender la idea de espacios de formación anclados en la teoría y circunscritos al área de la capacitación. De esta manera, conformamos un grupo integrado por cuatro profesores y cinco estudiantes (tres del doctorado en educación y dos del doctorados en Ciencias de la Cultura Física de la UACH), así como por profesores de educación básica (cuatro de nivel preescolar y cinco de primaria) de la ciudad de Chihuahua.

El proceso de este grupo se inició con la fase de multiplicación del programa de formación. A partir de los sustentos del M-DECA se impartieron los tres seminarios de formación que considera el programa; con esa base se diseñaron y evaluaron “proyectos formativos” cuya realización implicó el empleo de diversas estrategias: diálogos reflexivos, trabajo en “tríadas”, prácticas demostrativas y un “andamio cognitivo”. En la siguiente fase se intervino en diferentes espacios áulicos; la última fase de trabajo fue destinada a la integración y evaluación de la experiencia, esto condujo al refinamiento y posterior diseminación de los productos. Este proceso de formación, generó diversas experiencias, tanto en el nivel universitario como en el de la educación básica, que enseguida se narran sucintamente.

1. En la universidad fue replicado el proceso de formación con maestros universitarios de una facultad de administración cuyos programas educativos están diseñados bajo el enfoque de competencias y han vivido procesos de capacitación sobre el tema. Fueron producidos proyectos formativos (guías para estudiantes) de diferentes asignaturas de licenciatura. Además se diseñó un guía para alumnos de maestría, con la cual se intervino en el aula encontrando respuestas positivas y buena acogida por el grupo que enfatizó la “forma” de enseñar que les permitió mayor involucramiento, participación y construcción de las evidencias de desempeño requeridas.

2. La segunda experiencia está referida a un proceso de formación y evaluación de maestros del área de educación física, quienes trabajaron en el campo formativo de desarrollo físico y salud del nivel de educación preescolar, de acuerdo con los lineamientos del perfil de egreso del nuevo currículo de educación básica (SEP, 2011, p. 40). Los principales resultados de esta experiencia de formación e intervención docente, documentada a través de una videograbación y analizada mediante pautas de observación, valoran y comparan dos “casos” de intervención, uno en el campo de la salud y el otro en el de desarrollo físico.

El análisis de la práctica educativa se realizó considerando las secuencias didácticas diseñadas como las unidades de análisis, mientras que a través del análisis de las interacciones se contrasta y devela la distancia entre lo planeado y lo logrado. En la mayoría de sus actividades estimula la participación por medio de una interacción maestro-alumno y alumno-alumno, ofreciendo actividades simbólicas que involucran la resolución de problemas y habilidades desarrolladas en la interacción.

3. La tercera experiencia rescata las características del proceso de investigación colaborativa vivido en la fase de formación del programa formativo. Aquí se destaca el trabajo conjunto entre los investigadores de la universidad y los profesores de educación primaria, quienes tomaron como objeto de estudio a la formación de las comunidades de práctica en el espacio de una escuela primaria.

Los momentos por los que se atraviesa en la conformación de comunidades de práctica son considerados como opciones de formación adecuadas; asimismo, se alzan como una estrategia viable para enfrentar la necesidad de los profesores de educación básica para participar en diálogos reflexivos que logren incidir, tanto en el plano pedagógico como en el didáctico, en los momentos de cambio curricular y de incertidumbre que genera el proceso de transición y adaptación al nuevo currículo. Los hallazgos preliminares obtenidos en esta investigación proporcionan respaldo empírico que indica cambios en las concepciones y prácticas profesionales de los docentes que fueron formados en el M-DECA. La reflexión sobre la práctica docente y la consolidación de la comunidad de práctica figuran como los ejes transversales del periodo de formación.

4. Otra de las experiencias vividas al interior de la UACH permitió la adopción/adaptación del M-DECA en el diseño de secuencias didácticas que incorporan la manipulación de dispositivos móviles para el aprendizaje de las matemáticas mediante realidad aumentada en niños de educación primaria.

SEGUNDO CASO: EL BIEF, CHILE-BÉLGICA

Como parte del grupo de investigadores del Buró de Ingeniería para la Educación y Formación de la Universidad Católica de Lovaina la Nueva, Bélgica, la experiencia chilena adopta y adapta el M-DECA para construir un programa de formación propio, dirigido a los académicos de la Universidad Metropolitana de Ciencias de la Educación (UMCE). Dicho programa tuvo como propósito contribuir al fortalecimiento de la docencia en una universidad dedicada a formar profesores para todos los niveles del sistema educativo. Además, pretende constituirse en un programa de formación continua, sustentado en la reflexión y problematización de su propia práctica, buscando la mejora de la calidad formativa del estudiante de pregrado.

El Programa de formación fue elaborado por un equipo de metodólogas y académicas provenientes de las distintas Facultades de la UMCE, asegurando de este modo su contextualización y pertinencia en la heterogénea realidad de la universidad, así como una mirada interdisciplinaria, sobre los distintos tópicos abordados. En la aplicación del programa se trabajó en torno al desarrollo y evaluación de competencias docentes en los académicos participantes, en ámbitos tales como: diagnóstico, diseño didáctico, implementación y evaluación de prácticas de enseñanza en sus especialidades.

A partir de las bases que proporciona el M-DECA, en la aplicación del programa, se desarrollaron aspectos relativos a la formación basada en competencias, en especial, la reflexión crítica de la práctica, el trabajo en tríadas, y el aprendizaje reflexivo entre pares. Los resultados preliminares de esta experiencia apuntan al logro del objetivo de favorecer la efectividad en la docencia y que ésta se vea reflejada en la mejora de los aprendizajes de los estudiantes; en particular en los primeros años, en donde se da el mayor abandono de la universidad. Asimismo, en modelar procesos de enseñanza–aprendizaje en los futuros profesores.

TERCER CASO: ZULIA, VENEZUELA

En el caso de la Universidad del Zulia, Maracaibo, Venezuela, se realizaron cuatro experiencias. En todas ellas, la estrategia seguida partió de la multiplicación del proceso de formación para profesoras, impartiéndose a profesoras del posgrado y del pregrado. Para la selección de profesoras se utilizó como criterio de inclusión, el que participaran en prácticas profesionales y el estar motivadas por su crecimiento profesional como docentes.

El programa de formación se desarrolló mediante el acompañamiento a las profesoras desde las fases de diseño de las “guías para los estudiantes” hasta su implementación en los procesos de intervención en el aula. El programa promovió la adquisición de competencias de los docentes para mejorar los procesos de aprendizaje de los estudiantes, los momentos de práctica reflexiva y colaborativa, y la búsqueda de caminos hacia la innovación pedagógica. Asimismo, se enfatiza el trabajo realizado en la Facultad de Odontología, en donde se empató el Programa de formación con la propuesta de formación de la universidad que incluye el Perfil por Competencias para el docente que participa en los diferentes escenarios clínicos odontológicos. En la fase de formación, se impulsó la adquisición de competencias docentes orientadas a la formación integral de los estudiantes en el eje de la práctica profesional. De igual manera, se puso especial énfasis en el desarrollo de estrategias para la acción social y el aprendizaje significativo, mediante el abordaje sistemático de situaciones inherentes a los tres niveles de atención en salud bucal.

CUARTO CASO: MÉXICO-ESPAÑA

Este caso incorpora dos vivencias que se presentan como un estudio comparativo en dos universidades: la Universidad Rey Juan Carlos (España) y la UACH (México). Ambas experiencias, se dan en la modalidad virtual e incorporan dos innovaciones: el diseño mediante el esquema y tipología del M-DECA y el uso de recursos multimedia, como el podcast en audio y video. En la UACH se trabajó en la asignatura “Tecnologías y manejo de la información” con dos grupos prueba y dos grupos control; la universidad Rey Juan Carlos lo hizo con dos asignaturas del área de Ciencias Jurídicas y Sociales, también con dos grupos prueba y dos de control. Se empleó un cuestionario en línea que recogió información sobre las principales variables del estudio. Asimismo, se trabajó de manera cualitativa en las plataformas virtuales, en un análisis de los foros y de las producciones de los estudiantes. Los resultados son significativos en cuanto a los niveles de satisfacción y motivación de los estudiantes en México y España. Se encuentran coincidencias en los hallazgos tanto en los aspectos positivos como en aquellos cuestionamientos a los tiempos y planteamientos de algunas de las actividades.

A partir de esas experiencias y de los resultados obtenidos, se aportan elementos orientados a perfeccionar la estructuración de las asignaturas usando los podcast en audio o video, con el apoyo y sustento del M-DECA que permitió un mayor entendimiento del objeto de estudio, las intenciones formativas, las competencias y los dispositivos de formación y evaluación, además de evaluar el podcast como recurso innovador para el desarrollo y evaluación de competencias académicas.

QUINTO CASO: YUCATÁN, MÉXICO

Los investigadores de la Universidad Autónoma de Yucatán, emplearon el M-DECA y los andamios cognitivos que este proporciona para diseñar las secuencias didácticas y guías de trabajo académico para dos cursos de Licenciatura. La aplicación de estas guías se dio en dos procesos de intervención en el aula que incluyeron estudiantes de semestres iniciales, quienes fueron conminados a resolver situaciones-problema de la realidad educativa en los campos curriculares de la educación. De acuerdo con el enfoque basado en competencias, contemplaron el modelamiento de actitudes que permitió cobrar conciencia de su papel que, como educadores y sujetos críticos, les corresponde vivir. El desarrollo de sus proyectos, incluyó el análisis y la reflexión en torno a la figura del profesor en el salón de clase, así como el análisis de las principales problemáticas en las zonas marginadas de la ciudad.

El primer proyecto de intervención áulica se realizó en el marco de una asignatura obligatoria del segundo semestre de la Licenciatura en Educación, cuyo objetivo se orienta al análisis crítico de las relaciones entre cultura, sociedad y educación para comprender la función y la importancia de la educación en la sociedad desde la perspectiva sociológica. El segundo proyecto de intervención corresponde a una asignatura optativa ubicada en los semestres intermedios del plan de estudios. La intervención propició procesos de introspección en el profesor y sus estudiantes acerca de sus comportamientos en el aula, sus juicios de valor y sus ideas de enseñanza-aprendizaje que les permitió realizar un análisis crítico de la práctica docente y sus implicaciones en la transformación del centro escolar. De esta forma, los estudiantes se involucraron en la solución de situaciones-problema reales y su implicación en estas actividades de aprendizaje los impulsaron a ver más allá de los muros de la escuela. Cabe destacar que el andamio cognitivo posibilitó momentos de reflexión relacionados con los alcances del tiempo destinado a cada tema; así como el trascender de un trabajo individual y automatizado a un trabajo colegiado, de compromiso y con deseo de hacer más significativo el aprendizaje.

REFLEXIONES FINALES

Las reflexiones finales que se presentan enseguida, abordan aspectos que tienen como meta elucidar alcances, limitaciones y potencialidades de esta experiencia a fin de enriquecer las futuras aplicaciones del modelo, respetando las particularidades e intereses profesionales e investigativos de cada uno de los miembros de la red.

Podemos estimar que entre los principales factores que contribuyen a la consolidación de un grupo de investigación, destacan, entre otras; las publicaciones en revistas, la participación en redes de colaboración nacionales e internacionales y la formación de nuevos investigadores (Durand, 2011), al respecto podemos señalar que la REDECA ha propiciado estos tres aspectos, lo que ha permitido que los miembros de los grupos colaboren entre sí como una estrategia que favorece la ampliación de los márgenes de acción de los grupos.

En cuanto a las limitaciones puede mencionarse que, éstas se relacionan con la estructura y objetivos respecto de los resultados esperados. También con la magnitud del proyecto, misma que puede generar dispersión de actividades y ocasionar niveles bajos en sus resultados. Otra dificultad se relaciona con la heterogeneidad de los integrantes, las asimetrías respecto de las capacidades, nivel de compromiso y aportes de los participantes, pueden ocasionar pérdida grupal de interés o la separación de algunos integrantes (Sebastián, 2000). El tipo o línea de investigación puede ser un factor de unión de la red o bien de tensión, si esta no es acordada adecuadamente. Finalmente, los problemas de comunicación en redes internacionales y los recursos económicos para operar la red pueden resultar un problema importante.

Las potencialidades evidencian factores de éxito de las redes que fincan sus fortalezas y posibilidades de consolidación en las relaciones armónicas de sus integrantes, por tanto, se considera que si no hay vínculos adecuados, no hay red. Otros factores que no deben descuidarse son: promover una actitud proactiva para garantizar el cumplimiento de responsabilidades, mostrar disposición para solucionar problemas relacionados con la buena marcha de la red, generar confianza mutua entre los miembros de la red y mejorar permanentemente el entendimiento de la red (Cuadros y Uribe, 2010).

CONCLUSIONES

Se concluye en que la sistematización de las actividades y experiencias de la REDECA ha permitido construir y aplicar un modelo disparador de mejores prácticas y detonante en la conformación de auténticas comunidades de práctica. Finalmente, se perfila la necesidad de establecer pautas para posteriores ejercicios analíticos que lleven a una mejor comprensión del trabajo realizado.

EVALUACIÓN DE LAS COMPETENCIAS DOCENTES PARA LA TUTORÍA UNIVERSITARIA

Alma Delia Torquemada González

Cuauhtémoc Gerardo Pérez López

Leticia Elizalde Lora

Lizbeth Jardínez Hernández

INTRODUCCIÓN

El presente trabajo tuvo como objetivo evaluar la acción tutorial en una licenciatura que ha implementado la tutoría grupal a lo largo de los procesos formativos de los estudiantes universitarios. Esta investigación constituye una primera aproximación hacia la evaluación de la calidad y el impacto de la tutoría, al mismo tiempo, ofrece un panorama general de las competencias del tutor que, en opinión de los participantes, parecen impactar en la formación integral del estudiante. En un primer momento se plantea un bosquejo teórico que sustenta la investigación, donde se conceptualiza la tutoría en el contexto de la universidad y las competencias deseables para su ejercicio. Después, se presentan y discuten los hallazgos de algunas investigaciones sobre la evaluación de la acción tutorial en el nivel superior. Posteriormente se describe el método de la investigación, que asume un enfoque mixto.

Los resultados se presentan en cuadros y en forma gráfica ilustrándose en un primer momento la valoración que hacen los estudiantes hacia cada una de las competencias para acción tutorial. En un segundo momento se presentan los resultados obtenidos por dimensión. En ambos casos se hace énfasis en la tendencia de los hallazgos y se destaca algunos aspectos a considerar en estudios posteriores. Se finaliza destacando que la eficacia de la tutoría depende del compromiso compartido que asumen tutores y tutorados.

FUNDAMENTACIÓN TEÓRICA

Abordar el tema de la tutoría significa discutir en términos de su concepción teórica para comprender su proceso de implementación como programa remedial al interior de las instituciones de educación superior. Hoy más que nunca, las autoridades dentro de las universidades atribuyen al tutor la responsabilidad de una formación integral en los alumnos. Esto exige en los docentes una serie de competencias para favorecer en su quehacer diario la formación profesional del estudiante, en otras palabras, la acción tutorial supone acciones que van más allá de la enseñanza, tales como orientación, consejo o evaluación (Martínez, 2008 y Rodríguez, 1995).

En el contexto de la tutoría es importante concebir la labor del tutor como un facilitador para que el estudiante pueda optimizar su aprendizaje, permitiéndole desarrollar su potencial y mejorando su rendimiento académico. Si esto se presenta, es porque el tutor se ha involucrado en el proceso de aprendizaje de sus estudiantes, es decir; se ha convertido en cómplice de dicho proceso (Álvarez, 2008).

En este marco de ideas, García (2010) menciona las siguientes competencias que un docente debe poseer y que caracterizan al tutor universitario: competencia cultural, es decir poseer un dominio adecuado de los conocimientos del campo profesional de la disciplina que sus tutorados cursan; competencia pedagógica, esta se refiere al saber enseñar los contenidos de la disciplina en cuestión; competencia investigadora que le permita estar actualizado y a la vez transmitir a sus tutorados el conocimiento que genera; competencia tecnológica que posibilite la transferencia y envío de la información, en particular con los medios que los estudiantes utilizan y competencia interpersonal para relacionarse de manera correcta con sus estudiantes.

En concordancia con lo anterior, la Dirección de Tutorías de la UAEH plantea que para ser un docente-tutor el personal académico debe contar con competencias de nivel cognitivo, es decir, ser un docente que tiene y transmite el saber (conocimientos) y el saber hacer (competencias prácticas). De igual manera, ha de poseer competencias sociales para establecer relaciones adecuadas con los estudiantes: saber estar (actitudes y comportamientos de tipo participativo) y, por último un docente que sabe ser (actitudes y comportamientos de tipo personal). Con estas competencias el tutor asumirá el papel de informante, quien allegará a sus estudiantes todo aquello que pueda ser de interés apoyándolo en el proceso formativo; es al mismo tiempo, un observador del proceso tutorial, lo que le permitirá realizar una evaluación de su tarea con una actitud crítica y constructiva.

Se espera que el docente tutor cumpla con las siguientes funciones (Sobrado, 2008): a) brindar apoyo al alumnado en la situación compleja de transitar de la enseñanza en el bachillerato a la enseñanza superior; b) ayudar a los estudiantes en su proceso de integración a la vida propia de una universidad; c) generar condiciones que posibiliten el autoconocimiento de los estudiantes; d) facilitar al alumnado el acceso a la metodología universitaria de estudio y, e) conducir a sus estudiantes a ser autodidactas y producir su aprendizaje.

En este sentido, la tutoría en el nivel de licenciatura debe entenderse como un espacio de interacción constante entre un profesor y un alumno donde éste último tiene la oportunidad de clarificar el vínculo entre la teoría y la práctica del aula con la práctica in situ, es decir; conectar lo aprendido en la universidad con la realidad laboral, promoviendo la reflexión crítica sobre la propia acción. Por lo tanto, para el ejercicio pleno de la acción tutorial resultan necesarias determinadas condiciones tales como una formación teórica y práctica de la tutoría, contar con las condiciones físicas indispensables que permitan al docente desarrollar actividades diagnósticas con fines de intervención educativa que favorezca el desarrollo profesional del estudiante. Esto exige de las instituciones mayores esfuerzos para valorar objetivamente la calidad e impacto de la acción tutorial. Tal y como señala Romo (2011), la tutoría posee una fuerte influencia sobre el desarrollo personal y profesional de los estudiantes, de ahí que el reto consista precisamente en buscar que el docente sea capaz de ver más allá de lo que apunta su programa, para comprender la transición de su práctica desde una perspectiva más amplia que trasciende el trabajo áulico.

Como Zabalza (2004) lo plantea, resulta muy importante rescatar la función del tutor en toda su profundidad, pues tanto su sentido como su proyección en la práctica educativa están en entredicho. Con mucha frecuencia, se queda en un simple compromiso administrativo en el que ni los profesores ni los alumnos creen ni se comprometen realmente. En la actualidad la práctica de la tutoría se desarrolla formalmente al interior de las IES a partir del establecimiento de citas que difícilmente cumplen profesores y alumnos, salvo en momentos específicos. Así, la tutoría se ha convertido en una situación de control y apoyo, es decir, una acción burocrática sujeta a una normatividad que exige un horario preestablecido poco funcional tanto para profesores como para alumnos, con una orientación centrada exclusivamente en el abordaje de contenidos académicos y no personales.

Este funcionamiento mecánico en el ejercicio de la tutoría representa una situación que se ha quedado en la discusión general sin que haya sido analizada ni reflexionada realmente por las autoridades educativas del nivel superior. Aunado a lo anterior, una problemática importante sobre la práctica tutorial consiste en que la propia cultura profesional sobre la que se construye la identidad de los profesores universitarios no concilia esa doble función de docente y tutor; sino que hay una fuerte tendencia a visualizar la tutoría como actividad subordinada a las tareas estrictamente docentes.

Ante este panorama, es necesario considerar que al igual que el resto de las funciones de los académicos, la tutoría requiere de un proceso evaluativo diseñado ex profeso para tal actividad. Cabe destacar que la evaluación en el ámbito de la educación ha formado parte constitutiva de su quehacer y es un elemento cuya presencia es innegable en los procesos de planeación. En México, a partir de la década de 1990, la evaluación surgió como elemento central de las políticas públicas, en un contexto de crisis económica. En consecuencia, se generaron cambios en la dinámica de las instituciones del sector educativo, sobre todo al condicionar el acceso a recursos económicos controlados por el gobierno al sometimiento a procesos de evaluación institucional y personal.

Para Díaz-Barriga (2008) en los últimos años se ha conformado lo que se puede denominar la era de la evaluación de la educación superior en México y uno de sus retos ha sido la aceptación de procesos de evaluación por agentes externos en las instituciones de educación, particularmente en las universidades públicas. Resulta innegable el efecto positivo de la evaluación en la movilización del sistema de educación superior a través del incremento de indicadores sobre académicos con posgrado, publicaciones de la planta académica, tasas de graduación de los estudiantes y eficiencia terminal. Sin embargo, aún es necesario superar algunas deficiencias de tal forma que los procesos de evaluación sean instrumentos para la mejora de la calidad.

Actualmente, se puede afirmar que se ha logrado que la evaluación forme parte de la vida cotidiana de las instituciones y algunas de ellas han sido promotoras y participantes activas de los ejercicios de evaluación; como lo menciona la ANUIES (1999) el mejoramiento de la calidad educativa está vinculado estrechamente a los procesos de evaluación que tienen lugar dentro de las instituciones y que permiten conocer sistemáticamente los aciertos y desaciertos de su proyecto académico.

Bajo este contexto, resulta indispensable discutir sobre la evaluación de la actividad tutorial a partir de criterios e indicadores propios de la institución, diferentes a los utilizados para evaluar la docencia frente a grupo. Ante esto Farfán (2007) afirma que la evaluación de la acción tutorial constituye un mecanismo para replantearse el sentido de la tutoría universitaria y su impacto en la formación integral de los estudiantes.

Al respecto, la ANUIES (2000; 2004) afirma que la evaluación de un programa de tutorías diseñado para el nivel de licenciatura, requiere de metodologías e instrumentos que permitan determinar la eficacia del mismo, de acuerdo con los niveles de intervención, ejecución y desarrollo del programa institucional de tutorías. Por ello, se requiere de indicadores fiables que permitan valorar en forma efectiva la calidad del proceso tutorial, esto a través de la participación de tutores y tutorados, así como coordinadores y directivos. Desde esta perspectiva, la evaluación de la función tutorial por parte de los alumnos tiene un gran valor, ya que supone partir de la interacción cotidiana entre tutores y alumnos. En este sentido, para la ANUIES, la empatía y el respeto por el individuo, la capacidad para la acción tutorial, el conocimiento de la normatividad institucional, la disposición para atender a los tutorados y la orientación acertada hacia los alumnos, son algunas de las dimensiones más valoradas para evaluar el desempeño de los tutores.

Por su parte, López (2008) señala que pensar en la evaluación de la tutoría requiere necesariamente tomar en consideración una diversidad de dimensiones, tales como la planificación del proceso, el impacto que provocan como medida de eficacia y de relevancia, así como la congruencia entre los fines, los objetivos o necesidades que pretende atender, los procesos y los recursos puestos en juego, igualmente verificar la programación de la actividad tutorial que considere a los profesores y el equilibrio entre ésta, los horarios y otras actividades que ellos realizan. En relación con los instrumentos de evaluación de la tutoría se observa el uso de encuestas a los alumnos como una herramienta confiable, ya que sus resultados pueden tener un impacto en la evaluación general de todas las actividades académicas realizadas por el profesor tutor.

Una de las investigaciones en la que se discute el importante papel que juega la evaluación de la acción tutorial es la de Angulo y Aurelia (2013), quienes discuten sobre los elementos que configuran las tutorías institucionales con la finalidad de evaluar los efectos que tiene la tutoría en el desempeño de estudiantes universitarios en tres modalidades: en línea, presencial y grupal en la licenciatura en Psicología de la Universidad de Sonora. Los resultados del estudio explican que la tutoría es vista como una interacción entre tutor y tutorado cuya finalidad es mediar entre los referentes disciplinares del plan de estudios y las necesidades del tutorado. Las competencias del tutor que favorecen el desempeño del estudiante están ligadas a la capacidad de ilustrar, ejemplificar y retroalimentar los aprendizajes de los estudiantes. Se finaliza enfatizando la orientación de la tutoría hacia el desempeño académico de los estudiantes.

Por otro lado, el trabajo de Ortiz (2013) explora el proceso tutorial a partir de la detección de los problemas académicos que enfrentan los estudiantes universitarios a lo largo de su formación. Su estudio parte del análisis del kárdex y expedientes sobre el rendimiento académico de 301 estudiantes de una escuela normal; se efectuaron además encuestas a estudiantes y entrevistas a 35 tutores. En este sentido, los resultados ponen de manifiesto que muchos estudiantes presentan serias deficiencias académicas (relativas a la falta de hábitos de estudio, organización del tiempo, dificultades en lectura y redacción de textos académicos) que no deben ser vistas como responsabilidades únicas de los estudiantes, sino como resultados de problemáticas multifactoriales donde la intervención del tutor es limitada y la gestión institucional toma un papel importante.

Respecto al proceso tutorial esta investigación identifica como fortalezas de los tutores la combinación de la docencia con las actividades de la tutoría; la comunicación entre tutores y docentes para valorar el desempeño estudiantil, así como el énfasis académico que da la institución al acompañamiento estudiantil. Entre las problemáticas destacan la cobertura de la tutoría para brindarse a toda la población estudiantil y a lo largo de la formación universitaria, así como la incorporación y formación de los tutores. El autor concluye enfatizando la necesidad de priorizar el aspecto pedagógico en la labor del tutor, simplificando los procesos administrativos que debe efectuar como parte de las actividades docentes.

De manera específica, Romo (2010) realizó un ejercicio para valorar el impacto de la tutoría con estudiantes de licenciatura de 11 instituciones pertenecientes a las seis regiones de la ANUIES. En el informe se presentan resultados muy significativos: la tutoría se visualiza como un mecanismo para lograr la adaptación a la universidad, fomentar la integración y convivencia entre los alumnos, ayudándolos a ser más abiertos y seguros de sí mismos en la toma de decisiones. También se encontró que se prioriza la tutoría individual porque permite un espacio de mayor confianza para plantear problemas específicos. En términos generales, la encuesta efectuada mostró que el 94% de los alumnos tiene una percepción positiva de la tutoría, concentrada en razones académicas y personales. El estudio concluyó afirmando que la tutoría es una acción motivadora para el alumno debido a la presencia de una persona profesional que supervisa su progreso o retroceso escolar. En otro estudio similar, Araiza (2011) destaca el impacto de la acción tutorial en los procesos de integración en el contexto universitario, la orientación vocacional, los procesos de formación profesional y/o de aprendizaje, así como el desarrollo personal y social.

A la luz de estas investigaciones, el objetivo del presente es evaluar el desempeño del tutor a partir de la opinión de los estudiantes en la Licenciatura en Enseñanza de la Lengua Inglesa (LELI) que se imparte en el Instituto de Ciencias Sociales y Humanidades, para integrar un panorama general que caracterice la actividad tutorial en este nivel educativo, identificando así las habilidades docentes de mayor impacto en la tutoría con estudiantes universitarios.

MÉTODO

PARTICIPANTES

La investigación fue de tipo mixta y asumió un estudio de caso, ya que se consideró la opinión de los alumnos que reciben tutoría en la Licenciatura de la Enseñanza de la Lengua Inglesa. El cuestionario se aplicó a 124 estudiantes de la licenciatura en enseñanza de la lengua inglesa de diversos semestres (2 al 8) lo cual representa el 62% de la matrícula. El objetivo del cuestionario fue conocer la opinión estudiantil en torno al impacto de la tutoría en su formación profesional, así como la valoración que dan a su propio desempeño como tutorados. En los datos se observa que tres de cada cuatro participantes son mujeres, esto significa que el 75% corresponde al género femenino y el 25% restante al masculino. En el grupo de estudiantes que participaron el 84% de ellos tiene 22 años o menos; el 5% tiene 23 años y 4% 24. Además, el 79% de los alumnos es regular y el 21% restante es irregular.

En esta Licenciatura a todos los estudiantes de primer semestre se les asigna un tutor, quien fungirá como tal hasta el final de la carrera. A pesar de ello, en el momento de responder el cuestionario cuatro de cada diez informan tener un tutor distinto. En este contexto, los participantes han sido atendidos por un tutor de manera permanente.

Es común que haya más estudiantes en los primeros semestres. El porcentaje alto en séptimo y octavo se debe a que los alumnos irregulares se ubican ellos mismos en esos semestres. La mayoría (90%) cursa sus asignaturas en el turno matutino. El 78.5% de la muestra tiene una situación académica regular, es decir cursa el semestre que le corresponde; en tanto, el 19% son estudiantes irregulares y el 2.5% son casos de consejo.

INSTRUMENTO

Con base en la literatura revisada se diseñó ex profeso, un cuestionario con tres secciones; en la primera se indaga datos académicos y de asistencia a tutoría; la segunda consta de 33 reactivos tipo Likert con cuatro opciones de respuesta (nunca, a veces, casi siempre y siempre), organizados en cinco dimensiones: proceso de la tutoría en licenciatura, competencias académicas para la acción tutorial, aptitudes para la tutoría, actitud del tutor y autoevaluación del tutorado. El cuestionario cuenta con un total de 46 reactivos o preguntas de los cuales dos cuestionamientos se plantearon como preguntas abiertas en la última dimensión, con el propósito de contar con información sobre las fortalezas y debilidades de la acción tutorial para retroalimentar el desempeño de los tutores.

PROCEDIMIENTO

Durante las dos últimas semanas del semestre se procedió a la aplicación del cuestionario de manera colectiva en los salones de clase, explicando a los estudiantes la intención del instrumento y se indicó a los participantes la importancia de responder al total de los reactivos con la mayor objetividad y veracidad posibles, con la intención de que con los resultados sea posible mejorar la atención a los estudiantes de la licenciatura. La aplicación del instrumento se realizó en un tiempo promedio de 25 minutos por grupo.

RESULTADOS Y DISCUSIÓN

Para el análisis de los datos se procedió a calcular para cada reactivo la frecuencia en cada una de las opciones de respuesta (ver tabla 1). Con el fin de facilitar la tarea, la descripción se hizo a partir de las dimensiones.

En relación con el proceso de la tutoría en licenciatura en la que se pregunta acerca de la formalidad y organización del tutor y la tutoría, destaca que 6 de cada diez participantes mencionan recibir la tutoría siempre en un lugar adecuado, aunque 13.4% menciona que eso sucede a veces o nunca. Dos aspectos más destacan por tener una tendencia favorable, la asistencia y la puntualidad del tutor. En contraste, casi la mitad de los participantes menciona que los tutores no registran los aspectos tratados en la tutoría. En congruencia con lo anterior, tres de cada diez mencionan que el tutor no hace seguimiento puntual de los aspectos abordados en las sesiones de tutoría. Es importante destacar que el 27.7% informa dificultades para encontrar al tutor.

El dominio competencias académicas para la acción tutorial es en general, el rubro con una evaluación menos favorable. Así, los participantes informan que los tutores sí tienen conocimientos sobre la normatividad institucional para proponer a los estudiantes qué hacer frente a distintos situaciones escolares. De igual forma refieren que poseen información general sobre lo que implica la acción tutorial en el contexto universitario. Con un porcentaje ligeramente inferior se menciona que los tutores dominan métodos pedagógicos para brindar atención individualizada, así como orientación educativa para favorecer el desempeño académico de los estudiantes en general.

Si bien los tutores tienen nociones básicas de la tutoría universitaria, carecen de un proceso de formación sobre la labor del tutor, ya que poco más de la mitad de los encuestados responde que los tutores ofrecen poca orientación sobre métodos y/o técnicas para favorecer el estudio independiente o autónomo. De igual forma, la mitad de los estudiantes de la muestra mencionan que a veces o nunca los tutores transfieren a los jóvenes a una instancia especializada cuando presentan problemáticas que rebasan su área de acción tutorial.

Respecto a las aptitudes para la tutoría ocho de cada diez participantes dicen que los tutores escuchan sus problemas casi siempre o siempre. Con una diferencia mínima en la frecuencia, los tutorados mencionan que los tutores hacen un buen diagnóstico y resuelven sus dudas académicas, por lo que son un apoyo que favorece el desempeño como estudiantes. En contraste, el 45% respondió que la comunicación con el tutor se produce muy poco (a veces o nunca).

Por otra parte, la dimensión de la actitud del tutor parece ser el dominio que mejor evalúan los estudiantes de la LELI. De acuerdo con los resultados, nueve de cada diez participantes califican a los tutores como respetuosos y cordiales. En tanto el 80% los evalúa como dispuestos a atender, con interés en la situación académica y personal de los estudiantes.

En la última categoría, se aprecia una valoración positiva como tutorado, ya que los estudiantes a partir de su autoevaluación consideran que asisten siempre o casi siempre a sus citas con el tutor, asumen las recomendaciones y sugerencias de este último y el 75%, se siente satisfecho con su desempeño como tutorado.

En un segundo momento se calculó el promedio de respuesta por dimensión. Para ello se asignó 1 a la respuesta nunca y 4 para la respuesta siempre en los reactivos favorables y la relación inversa en el caso de los desfavorables. El promedio se calculó con la suma de las respuestas en cada uno de los reactivos por dimensión y la suma se dividió entre n. De este modo, los puntajes cercanos a 4 son respuestas favorables y los que tiendan a uno son desfavorables.

Se hizo el análisis para conocer la tendencia de las medias por dimensión cruzados por algunas de las variables socio-escolares de los participantes. Así, en la figura 1 se observa que la variable sexo no produce tendencia diferente en la manera en que hombres y mujeres responden en las cinco dimensiones.

Por el contrario en la figura 2, se muestra que los estudiantes del turno matutino tienden a asignar un puntaje más alto para calificar la tutoría en cuatro de las dimensiones; la diferencia mayor se encuentra en la actitud del tutor. Este puede ser un elemento que se indague en estudios posteriores, de modo que se tuvieran datos para conjeturar si este hecho es un dato que se asocia con las características de los estudiantes en el vespertino, o bien, se relaciona con las características de los profesores de ese turno.

En la figura 3 se observa tendencias similares en las cinco dimensiones para el caso de si un estudiante solicito tutoría individual o no. Se destaca que califiquen más alto la dimensión actitud del tutor. Esto es un indicador con el cual es posible suponer que los participantes de este estudio se sienten atendidos por su tutor.

En la figura 4 se muestran las respuestas de los participantes de acuerdo con el semestre que cursan, en la misma se observa que en general se califica de manera consistente. Esto es, los estudiantes de segundo tienen medias similares para calificar la tutoría, excepto en la actitud del tutor; en este caso las medias son mayores. Es conveniente decir que para todos los casos, en esa dimensión se observan las medias más altas. Dado que es una constante, pudiera suponerse que los tutorados perciben la disposición de sus tutores.

Destacan también las calificaciones menores de los estudiantes de sexto y octavo semestres. Este es un dato relevante porque se observa un descenso en las medias conforme se avanza en la formación. Un hecho que deberá indagarse con detalle en estudios posteriores, sobre todo que las medias en séptimo semestre se incrementan.

En la figura 5 se observan las medias más cercanas al puntaje máximo. Esa es la calificación de los estudiantes definidos como caso de consejo. Es factible suponer que su valoración positiva se asocia con el reconocimiento hacia los tutores y la institución por brindar las mejores condiciones para atender a un estudiante de situación académica de alto riesgo. Esto puede ser también la razón del moderado despunte en el caso de los estudiantes con beca PRONABES (actualmente denominada beca de manutención). Sería interesante explorar con mayor detalle la interacción entre el tutor y los estudiantes de consejo, ya que los resultados parecen destacar una participación puntual y permanente del tutor hacia los estudiantes de alto riesgo, lo que permitiría reconocer las competencias que los tutores ponen en juego para evitar situaciones de rezago y/o reprobación.

Haber tenido cambio de tutor, sin importar la razón, produce medias ligeramente menores que la valoración hecha por quienes no cambiaron al tutor. Esto indica que en opinión de los estudiantes hubo continuidad en la calidad de la tutoría (ver figura 6).

Se preguntó a los participantes si para ellos sería más adecuado tener el mismo tutor durante toda su estancia en la licenciatura o bien preferirían cambiarlo cada semestre. Como se puede ver en la figura 7, existen diferencias en la media de calificación para cada dimensión entre ambos grupos. Estas diferencias se centran en la tendencia desfavorable con la que respondieron los estudiantes que prefieren cambiar de tutor cada semestre. Será interesante indagar si hay algunas otras variables asociadas que permitan explicar mejor dicha diferencia.

CONCLUSIONES

Los hallazgos aquí reportados no pretenden generalizar las prácticas tutoriales en licenciatura, solamente son indicadores que ilustran la dinámica que sigue la acción tutorial y su impacto en la formación de los estudiantes de nivel superior. En relación con los resultados de la dimensión referida al proceso de la tutoría en licenciatura se puede apreciar que si bien existe una sistematización de la tutoría como práctica cotidiana dentro de la licenciatura, aún no se logran generar procesos que garanticen un seguimiento puntual de la acción tutorial, viéndose como una actividad todavía burocrática orientada al cumplimiento de exigencias institucionales.

En cuanto a la dimensión competencias académicas para la acción tutorial, los resultados demuestran que los tutores desempeñan adecuadamente el rol de orientadores en los procesos escolares que desarrollan los estudiantes cotidianamente en la universidad, especialmente si se trata de gestiones escolares. No obstante, en relación con el desarrollo de habilidades para el aprendizaje, los tutores parecen no tener aún una formación consolidada en técnicas y/o métodos de aprendizaje eficaz, una demanda común en los jóvenes.

Por otro lado, los resultados reportados en el rubro de aptitudes para la tutoría indican que los tutores poseen aptitudes interpersonales para favorecer la orientación ante situaciones problemáticas que viven los jóvenes, generando un impacto positivo en su integración a la universidad. Sin embargo, parece necesario fortalecer la interacción y comunicación con sus tutorados.

Llama la atención que en la dimensión sobre la actitud del tutor los tutores son valorados positivamente alcanzando los puntajes más altos. El tutor demuestra empatía hacia las situaciones de conflicto que presentan los tutorados y asume una actitud comprometida hacia su labor, involucrándose así en aspectos académicos y personales que afectan el desempeño y permanencia de los alumnos durante su proceso formativo. Por lo tanto, la actitud del tutor es una dimensión altamente valorada por los jóvenes. Cuando ésta es positiva y empática se generan procesos de acompañamiento que impactan en el desarrollo académico y personal de los estudiantes. Lo mismo sucede cuando los tutores demuestran habilidades para la tutoría, ya que de ello dependerá la calidad de la misma.

En concordancia con Martínez (2008) y Rodríguez (1995), el tutor requiere competencias humanas, así como una formación teórica y práctica en los procesos de la acción tutorial, ya que ello garantiza una intervención oportuna y acertada. Ese microespacio donde tutor y tutorado convergen cotidianamente requiere ser analizado con más cuidado si se busca un impacto real de la acción tutorial. Esta investigación plantea la necesidad de involucrar en los procesos de evaluación a los tutorados ya que ellos son los actores que hacen posible la tutoría.

En cuanto a la última dimensión sobre la autoevaluación del tutorado se puede apreciar que los alumnos demuestran estar habituados a la tutoría, respetando los lineamientos institucionales y aceptando positivamente las propuestas de mejora que sus tutores les dan tanto para su desarrollo profesional como personal.

Los hallazgos de esta investigación demuestran que la tutoría resulta más eficaz cuando se asume un compromiso compartido del tutor y el tutorando. Por ello, debemos visualizar la evaluación de la tutoría en un contexto más amplio. En este sentido es necesario iniciar con un análisis exhaustivo del impacto de la tutoría desde la perspectiva de los estudiantes, lo que permitirá desarrollar a través de un trabajo colegiado, estudios de carácter cualitativo que permitan enriquecer y mejorar la acción tutorial. La posibilidad de mantener una dinámica de mejora descansa en la reflexión y discusión colectiva de las experiencias acumuladas de tutores y tutorados.

COMPETENCIAS DOCENTES QUE DEMANDA EL PLAN DE ESTUDIOS 2012 DE LA LICENCIATURA EN EDUCACIÓN PRIMARIA PARA LA ACTIVIDAD FRENTE A GRUPO

Dina Verónica Gallegos Fernández

Manuel Álvarez Hernández

Amel Ramos Ventura

María Luisa Ramón Rodríguez

RESUMEN

La implementación de la reforma curricular en las escuelas normales 2012 trajo consigo un nuevo plan de estudios para la licenciatura en educación primaria bajo un modelo curricular flexible y un enfoque por competencias, el cual exige un manejo diferente en cuanto a la metodología de trabajo por parte de los profesores que imparten los cursos en este plan. En este sentido los docentes deben promover y gestionar competencias genéricas desde sus prácticas en el aula.

Bajo este contexto se realizó un estudio exploratorio y descriptivo de las prácticas de los docentes desde la perspectiva y la opinión de los estudiantes de segundo y cuarto semestre de la licenciatura plan de estudios 2012, a partir de una escala tipo Likert.

Los resultados se plantearon en dos vertientes, por un lado, permitió identificar desde la opinión de los estudiantes, las diferencias en los rasgos que definen la práctica de los docentes a partir del trabajo en el aula y por otro identificar el nivel promedio de competencia de la práctica de los docentes.

Descriptores: Evaluación de profesores, Competencias docentes, educación normalista, México.

INTRODUCCIÓN

Las instituciones formadoras de docentes en México han sido escenarios experimentales de los diferentes paradigmas de formación los que se han aplicado en diferentes latitudes del ámbito internacional. Desde 1984 cuando el estatus académico se convierte en licenciatura, pasando por el plan de estudios 1997, y actualmente el 2012.

En virtud de la naturaleza filosófica, epistemológica, pedagógica y metodológica de cada una de las propuestas contamos con limitados sino es que nulos estudios formales de los efectos y procesos que se siguieron en cada uno de ellos; no sabemos con precisión como se desarrollaron, y cuáles fueron los resultados cada una de las competencias, y contenidos de cada uno de esos planes curriculares. Intuimos discursiva y empíricamente que los resultados no fueron tan exitosos, y que las razones de tipo ideológico y político fueron decisivas para su aplicación.

Hoy en pleno siglo XXI con las exigencias consustanciales de la llamada sociedad del conocimiento y la comunicación, las escuelas normales tienen la obligación de definir su rumbo o desaparecer de este escenario tan complejo y exigente. El nuevo paradigma de formación por competencias y para la competencia implica una nueva visión de sus protagonistas, los procesos de evaluación de sus formadores no es una moda, es un requerimiento, sin el cual las nuevas instituciones no podrán sobrevivir.

En este sentido el presente estudio tiene como propósito identificar el nivel de competencias con las que se desempeñan los docentes en su trabajo frente a grupo, las cuales posibiliten una formación competente y de calidad de los profesores en educación primaria que egresan de la escuela normal “Rosario María Gutiérrez Eskildsen”. Licenciatura en educación primaria, y que a la vez permita identificar algunas dificultades que enfrentan los estudiantes durante el proceso formativo.

Para lograr esta finalidad, en un primer momento se presentan las definiciones de las cuatro dimensiones de las competencias docentes para el trabajo frente grupo y sus indicadores de desempeño, mismas que resultaron de un proceso de validación lógica y empírica. Seguidamente se presentan los resultados del instrumento dirigido estudiantes, así como los ítems valorados.

ANTECEDENTES

Las escuelas normales como responsables principales de la formación de docentes de educación básica, en las últimas décadas se han visto inmersas en cambios en los planes de estudio, con un nuevo enfoque en la actuación de los docentes, iniciándose con la implementación del plan de estudios 1984 donde se establece el nivel de licenciatura a los estudios realizados en escuelas normales, considerándose éstas formalmente como instituciones de educación superior, “por lo que a la tarea docente se le suman funciones principalmente de investigación, lo que rompe abruptamente con la tradición de la práctica de los formadores, ya que se redujo el peso de la formación ideológica y política, fortaleciendo los contenidos de corte humanista, pedagógico y científico” (plan 1997, pág. 12), colocando en una situación de desventaja a los docentes que no contaban en aquel tiempo con el nivel mínimo necesario de habilitación requerido para formar a los maestros bajo este nuevo esquema.

Ante las demandas educativas internacionales, la modernización en la educación básica no se hizo esperar y a partir de 1993 con la implementación del plan de educación básica, resulta necesario un nuevo esquema de formación para los maestros de educación primaria, “pues los cambios experimentados en los enfoques y los contenidos del currículum demandan competencias profesionales que no son adecuadamente atendidas por el plan de estudios de educación normal vigente desde 1984” (plan 1997, pág. 20).

Se inicia así, un proceso de transformación en los planes y programas de estudio de las licenciaturas que se imparten en las Escuelas Normales (EN), implementando en 1997 el de la licenciatura en educación primaria, sin embargo por la experiencia del cumplimiento parcial de los propósitos planteados en el plan de estudios 1984 causado en parte por las condiciones desfavorables en la implementación del plan y por la falsa creencia de que un mero cambio a nivel de planes y programas tuviese la suficiente fuerza para ajustar las prácticas de los docentes a los requerimientos de este plan, se propone a partir del Programa para la Transformación y el Fortalecimiento Académicos de las Escuelas Normales se atiendan inicialmente cuatro líneas de acción, siendo una de ellas la referente a la actualización y perfeccionamiento profesional del personal docente de las escuelas normales.

Con la implementación de esta línea se buscó a través de diferentes acciones, apoyar el perfeccionamiento profesional en un amplio sentido, así como atender también a los requerimientos académicos que exigía la implementación de este plan, el cual en sus planteamientos introduce de forma sutil, la necesidad de considerar y fortalecer las competencias profesionales de los formadores.

A partir del 2001, la Dirección General de Normatividad reorganiza las líneas de acción en seis ejes, incorporando la evaluación de las escuelas, en el que propone que ésta sea interna y externa. Con respecto a la evaluación interna sugiere que las escuelas promuevan sus mecanismos para asegurar el mejoramiento progresivo de los ámbitos de la institución. En el caso de la evaluación externa, centró sus esfuerzos en el establecimiento de convenios con instituciones de prestigio en el país para que valoraran los resultados de las normales, considerando con esto la evaluación del desempeño docente. A partir de una evaluación externa, el único ejercicio realizado fue el de evaluación del PROMIN fue realizado en 2003 por la UAM-Xochimilco, sin embargo, en este ejercicio Tabasco no participó.

Tomando como escenario el plan de estudios 1997, de manera interna se han realizado ejercicios de evaluación a partir de un instrumento validado considerando las orientaciones emitidas para la evaluación interna, sin embargo, el documento se plantea en términos del desempeño docente sin haberse realizado un estudio previo de las competencias ya que el plan no lo explicitaba.

Nuevamente en 2009 nos enfrentamos a otra reforma de educación básica que se concreta en 2011, en este momento se asume que la reforma de educación básica debe marcar la pauta para la reforma del plan de estudios para la licenciatura en educación primaria, y ésta nuevamente obliga a modificar los esquemas de formación en las EN y en 2012 se implementa la reforma de los planes de estudio para la licenciatura en educación preescolar y educación primaria, a partir de tres líneas u orientaciones curriculares: un enfoque centrado en el aprendizaje, enfoque centrado en el desarrollo de competencias, bajo la modalidad de la flexibilidad curricular académica.

Es así que de nueva cuenta tenemos las funciones, roles y competencias de los formadores sobre la mesa, sabemos que estos cambios demandan competencias profesionales en los formadores, sin embargo en este momento desconocemos de manera formal las competencias y el nivel de competencias con las que cuentan los maestros que imparten las asignaturas y cursos en la licenciatura en educación primaria tanto en su modalidad del plan de estudios 1997 como en la reciente reforma del 2012, cabe señalar que aún, cuando desde 1997 algunos planteamientos se hacen desde los términos de las competencias, no se tiene un referente normativo que señale las competencias para los formadores, como es el caso de la educación básica en su modelo integral y de la educación media superior en el acuerdo 447.

Existen trabajos de evaluación de competencias que se han llevado a cabo en otras EN del País en las que se han realizado serios esfuerzos por identificar las competencias docentes, como es el caso de un estudio llevado a cabo por Canto, Cisneros y Mena (2005), Cachon y Mena (2009) y Leyva (2012), por citar algunos, donde se proponen respectivamente modelos a partir de conocimientos, habilidades y actitudes por categorías, otro a partir de dominios y competencias a partir de tres momentos: antes, durante y después.

Dado que existen investigaciones incipientes respecto a modelos de evaluación de competencias docentes para las EN, este estudio resulta una propuesta más de cómo abordar el desempeño de los docentes. En el marco de las consideraciones anteriores y fundamentado en los déficits señalados y en algunos casos la nulidad de programas o referentes normativos para que los docentes normalistas se capaciten y actualicen en las competencias curriculares para el trabajo áulico implicadas desde 1997, y planteadas de manera explícita en el plan de estudios 2012, formulamos algunas preguntas que orientaron el proceso de este estudio:

¿Cuáles son las competencias a considerar como referentes en un modelo de competencias docentes para las EN?

¿Qué nivel de competencias detentan los docentes de la Escuela Rosario María Gutiérrez Eskildsen que imparten los cursos del plan de estudios 2012?

¿De qué manera se evidencian las competencias que los docentes de la Escuela Rosario María Gutiérrez Eskildsen aplican en el trabajo áulico en los cursos del plan de estudios 2012?

PROPÓSITO DEL ESTUDIO

Identificar los niveles de desempeño de las competencias de los docentes que contribuyen al logro del perfil de egreso de los licenciados en educación primaria.

PRECISIONES CONCEPTUALES

Puesto que no hay un conjunto de competencias docentes normativas definidas en el ámbito de las EN, un marco de referencia teórico conceptual constituye un primer elemento de validez en el diseño de nuestro modelo de evaluación de las competencias docentes.

Con la finalidad de establecer una perspectiva del término competencias desde la cual abordar el estudio, resulta de interés realizar algunas precisiones conceptuales dada la naturaleza de las EN, que tienen como función sustantiva la formación de licenciados en educación primaria, lo anterior refiere al trabajo del docente en el aula.

En este sentido de las competencias, muchos son los términos que se acuñan al ejercicio de la práctica docente, entre ellos se identifican nociones como competencias profesionales, competencias docentes universitarias, competencias laborales, competencia docente, competencias docentes, ante tal diversidad, resulta importante precisar que el objeto de estudio es la evaluación de las competencias de los formadores para el trabajo en el aula, por lo que únicamente nos detendremos en los dos últimos términos.

Al respecto Guzmán y Marín (2011) refiere al singular y plural del término competencia docente, que en el ámbito universitario puede ser entendido en un amplio sentido como la competencia profesional docente, es decir, un profesor universitario que asume la docencia como alternativa a su competencia laboral en el campo que fue formado, desarrollando así, de forma tácita, y como resultado de esas interacciones pedagógicas alternativas, una nueva competencia profesional, la competencia docente. A su vez estas interacciones pedagógicas se concretan en desempeños docentes y la suma de estos constituyen las competencias docentes.

Visto así, las competencias docentes se construyen en parte, desde los desempeños genéricos propios del quehacer y funciones cotidianas del docente que tienen que ver con la organización y el ejercicio del trabajo escolar que lleva a cabo el docente y que se pueden poner de manifiesto en diferentes momentos; así como desde el desempeño específico, asociado a una práctica docente concreta y peculiar, como es la formación de maestros en las escuelas normales.

Por lo que, para este estudio, asumiremos el término competencias docentes como el conjunto de conocimientos, destrezas y actitudes, tanto genéricos como específicos que permitan al docente de la EN, desempeñarse efectivamente en la cotidianidad de la interacción pedagógica, en los diferentes contextos y situaciones que implica para la formación de maestros, el trabajo en el aula.

No hay que perder de vista que la dualidad a la que refiere Guzmán y Marín (2011) también está presente en el contexto de la EN, por un lado la identidad profesional de la formación inicial que refiere a un conjunto de competencias laborales, y por otro la docencia como alternativa a su formación profesional, y que ha ido desarrollando a través de desempeños docentes.

La revisión de las diferentes propuestas de competencias docentes tanto para las universidades como para las EN y formas para evaluar las competencias docentes nos han hecho detenernos en algunas de ellas que consideramos nos pueden servir para conformar un marco de referencia apropiado al contexto de las EN ya que como mencionan Luna y Rueda(2008, citado en McLaughlin y Pfeifer, 1988), los sistemas de evaluación deben ser congruentes con la filosofía institucional para apoyar el logro de la misión.

En este sentido, uno de los trabajos más recientes para evaluar competencias docentes en el ámbito de las EN es el modelo presentado por Leyva (2012) en el cual la Escuela Normal Profr. Serafín Peña, de Montemorelos, Nuevo León, convino llegar a definiciones colegiadas de lo que debe ser la práctica de la docencia en función de su misión, filosofía y visión. Sin embargo, parten de un ejercicio de autoevaluación a partir del Modelo de Evaluación de Competencias Docentes (MECD) de Rueda, Luna, García y Loredo (2010), este ejercicio de autoevaluación contrasta tanto aquellas situaciones de la práctica que les resultan comunes a las competencias docentes universitarias, como aquellas que pudieron considerarse como ajenas.

Otra alternativa es la de Morales y Ávila (2012) quienes a partir de un proceso de autoevaluación basado en las Diez competencias que considera Perrenaud (2004), realizaron un diagnóstico de las competencias de los docentes de la Licenciatura en Educación Primaria (LEP) del Benemérito Instituto Normal del Estado (BINE), de la Ciudad de Puebla, México.

Un modelo poco menos reciente, es el desarrollado en el Estado de Yucatán por Cachón y Mena (2009), en el que, a partir de grupos focales de maestros, se definieron las competencias ideales que deben poseer los formadores, derivando esto, en el diseño de un instrumento para ser valorado por estudiantes de tercero y cuarto grado de las licenciaturas; permitiendo la identificación de los docentes más competentes, profundizando con estudios de caso de estos docentes.

Si bien es cierto que los docentes conforme desarrollan su práctica tienen la oportunidad de continuar desarrollando sus competencias, y que este desarrollo continuo es parte de un proceso de reflexión sobre la práctica, también es cierto que como menciona Darling-Hammond y McLaghlin (2003) cuanto más pronto los docentes vayan desarrollando competencias para la docencia, esto se verá reflejado en el aprendizaje de los estudiantes, por lo que el nivel de desarrollo de las competencias de los docentes es un factor importante para el desarrollo de las competencias de los estudiantes en formación, ¿En qué medida? Aún no podemos precisarlo, por lo tanto, resulta de interés identificar el nivel de competencias de los formadores para el trabajo frente a grupo, y esto de alguna forma permitirá contar con un referente de las competencias que desarrollan los estudiantes en formación.

Cabe señalar que como resultado del trabajo cotidiano y para delimitar el estudio, identificamos al menos tres contextos de desarrollo de competencias docentes que coinciden parcialmente con las identificadas por Navio (2006) en los cuales resulta innegable la interacción entre ellos; una a nivel institucional, otra a nivel de colegiado y una más que es motivo de este estudio, a nivel de trabajo frente a grupo, de lo anterior y a partir del consenso y de una revisión teórica y conceptual, se identifican en un primer momento, cuatro dimensiones que caracterizan las competencias docentes frente a grupo, quedando definidas de la siguiente forma:

Planeación del curso. Es una propuesta de trabajo basada en la toma de decisiones anticipada por parte del profesor, donde se organizan las estrategias, acciones y formas de evaluación, tomando en cuenta las intenciones educativas, los contenidos seleccionados, los recursos, tiempos disponibles, las características y necesidades del alumno y de la institución.

Mediación docente. Esta definición precisa la función que le otorgamos al formador docente en la EN, en la que hacemos nuestra la propuesta de las relaciones de enseñanza presentada por Saint-Onge (2006), en la cual el profesor ocupa un lugar privilegiado como mediador, facilitador y potenciador del aprendizaje, en una interacción cognoscitiva entre el alumno y el profesor. La cual asegura la buena marcha del alumno en la búsqueda del saber.

Evaluación para el aprendizaje. La actuación docente frente a la evaluación debe asumir una postura en el sentido de la evaluación para el aprendizaje con carácter eminentemente formativo y regulador, como una actividad que promueva y asegure el aprendizaje de los estudiantes.

Acompañamiento a las jornadas de observación y práctica. Desde las orientaciones de los cursos del trayecto formativo del plan 2012, el trabajo del formador de docentes, consiste en guiar, orientar y constatar que las propuestas de intervención que realicen los estudiantes sean consistentes y coherentes de acuerdo con los propósitos que persiguen en cada una de ellas; además de coordinar las sesiones de discusión y análisis de los textos; de organizar y coordinar las jornadas de práctica, así como el trabajo en academia para las actividades inherentes a la realización de la práctica de los estudiante, referente desde el cual se considera esta dimensión.

De ahí que este conjunto de acciones se agrupa en una dimensión que denominamos acompañamiento a la observación y práctica, la concibamos como una estrategia que contribuye al desarrollo de competencias profesionales en los estudiantes y que este acompañamiento se da desde todos los cursos en cada semestre dada la relación inherente.

Así tenemos las competencias y los indicadores definidos:

METODOLOGÍA DEL ESTUDIO

El estudio se llevó a cabo casi al cierre del semestre febrero-julio 2014, sólo se contaba con la presencia de 150 estudiantes, de un total de 189 inscritos en segundo y cuarto semestre respectivamente, estos representan el 79.3% de los estudiantes que cursan la licenciatura en educación primaria plan 2012. Se eligieron dos Trayectos formativos, trayecto psicopedagógico y trayecto de preparación para la enseñanza y el aprendizaje, estos fueron seleccionados en base a que representan el mayor número de cursos, con 16 y 20 cursos respectivamente de la malla curricular, representando el 65.4% del total de cursos de los trayectos formativos.

Es pertinente señalar que, dado que la aplicación se llevó a cabo con ayuda de una herramienta llamada educlick que solo cuenta con 30 dispositivos, en cada grupo solo se aplicó la evaluación a un máximo de 30 estudiantes, en función de la lista de asistencia, todo lo anterior nos sugiere un tipo de muestreo intencional o de conveniencia. En la tabla 5 se muestran los cursos que fueron evaluados por los estudiantes de segundo y cuarto semestre.

Estas circunstancias nos sugirieron la aplicación del instrumento de evaluación a partir de un muestreo intencional o de conveniencia. El instrumento aplicado consistió en una encuesta de opinión que consta de 74 ítems, a partir de una escala tipo Likert de cuatro opciones: nunca, algunas veces, mayormente y siempre.

Se realizaron análisis exploratorios de tendencia central y de dispersión para obtener los primeros resultados de las competencias docentes y posteriormente se realizaron contrastes a partir de pruebas no paramétricas.

RESULTADOS

PLANEACIÓN DEL CURSO

Como se observa en la tabla 6, las medias presentan puntuaciones entre 2.5 y 3.27, los valores más altos se identifican para aspectos relacionados con señalar los productos o evidencias de aprendizaje; contemplar estrategias didácticas congruentes con los propósitos formativos y con el uso congruente de instrumentos de evaluación, por el contrario la media más baja es de 2.52 con un cociente de variación de 54.12%, para el ítem relaciona las situaciones didácticas con las necesidades de los alumnos; a partir de este dato se infiere que las situaciones didácticas que el docente diseña tienen poca relación con las necesidades de los alumnos.

MEDIACIÓN DOCENTE

En esta dimensión se observan las medias más altas, se advierte que los docentes generan un clima social en el aula que facilita el desarrollo de los estudiantes al respetar la diversidad cultural en el aula, promueven interacciones que generan aprendizajes, desarrollan actividades de aprendizaje individual y colaborativa, sin embargo, con respecto al uso de los recursos cognitivos que tienen que ver con organizar debates, foros, seminarios se asume que a partir de la media promedio – 2.66 – estos recursos son poco utilizados por los docentes. De estos resultados se advierte que es la dimensión de la práctica docente en la que se tiene el mejor desempeño.

EVALUACIÓN PARA EL APRENDIZAJE

Como se observa en la tabla 9, las puntuaciones más altas se presentan en el indicador motiva al estudiante para aprender con medias de 3.10 y 3.31. Por el contrario, el ítem con la media más bajo y el cociente de variación heterogéneo es el que se refiere a poner a disposición anticipadamente los instrumentos que utilizara para evaluar las actividades con 2.76 y 41.65 respectivamente. En general al momento de evaluar, los docentes no ofrecen suficientes oportunidades de aprendizaje a los estudiantes.

ACOMPAÑAMIENTO A LAS JORNADAS DE OBSERVACIÓN Y PRÁCTICA

Para esta competencia se observan las medias más bajas de las cuatro dimensiones, esto sugiere que los docentes tienen poco dominio al respeto, identificándose en el indicador sobre la evaluación al desempeño del estudiantes durante la jornada de observación y práctica, los ítems revisa el diario al término de la jornada, Lleva registro del desempeño del estudiante a través del diario, Dialoga con el titular de grupo para recuperar impresiones del estudiante durante su jornada con las medias promedio más bajas de 1.51, 1.88 y 1.84 respectivamente; estos resultados llaman la atención ya que no se está considerando el diario como uno de los instrumentos más eficaces para evaluar y dar seguimiento al desempeño de los estudiantes durante sus jornadas.

CONTRASTES NO PARAMÉTRICOS

Con respecto a las cuatro dimensiones que componen la propuesta de evaluación de las competencias docentes frente a grupo, se sintetizaron los resultados descriptivos a partir del promedio de las medias por competencia y los valores se presentan en la tabla 10.

En general la competencia en la que menos dominio demuestran los docentes es en la de acompañamiento a las jornadas de observación y práctica con medias promedio de 2.5, 2.46 para segundo y cuarto semestre respectivamente. El trabajo de acompañamiento a la observación y la práctica que de acuerdo a lo planteado por el plan 2012 deben llevar a cabo todos los docentes sin importar el curso que impartan, presenta los resultados más bajos de las 4 dimensiones, esto se traduce en un bajo desempeño de competencias de los docentes para hacer frente a las actividades que se requiere llevar a cabo, cabe señalar que desde el plan 1997 se sugería involucrar activamente a los docentes de todos los cursos en las jornadas de observación y práctica, sin embargo al casi concluir el ejercicio de este plan e iniciar con un nuevo plan, se hace evidente la dificultad de los docentes para llevar a cabo las actividades que se requiere.

A juzgar por los valores de las medias promedio, la competencia sobre la que mayor dominio demuestran los docentes es la de mediación docente con medias promedio de 3.49, 3.18, 3.24 respectivamente para segundo, cuarto semestre y en general.

Para comprobar si las diferencias observadas en la columna general de la tabla 10 son significativas se realizó la prueba no paramétrica para 2 muestras independientes tomando a los semestres como variable de agrupación, resultando significativas las diferencias entre las puntuaciones observadas en ambos semestres para las dimensiones planeación del curso, mediación docente y evaluación para el aprendizaje – ver tabla 11 –, con la excepción de la dimensión de acompañamiento a las jornadas de observación y práctica para la cual no se advierten diferencias en las puntuaciones. Nuevamente se hace evidente que sin importar de qué semestre se trate la dimensión menos desarrollada por los docentes es la de acompañamiento a las jornadas de observación y práctica. Por otra parte, las medias más altas se observan en las puntuaciones de segundo semestre.

Otra prueba realizada es la de K muestras independientes tomando a los maestros como variable de agrupación, el resultado sugiere que las diferencias entre las puntuaciones para los diferentes docentes tanto de segundo como de cuarto semestre son diferentes con un nivel de significación <0.05, lo que interpretamos como que cada maestro tiene su estilo de trabajo frente a grupo, con más o menos énfasis en las cuatro dimensiones propuestas para evaluar las competencias de los docentes.

Con la finalidad de encontrar pautas que nos permitan contar mayor información, se realizó una prueba de correlaciones bivariadas a partir del coeficiente de correlación Tau-b de kendal para las cuatro dimensiones, de acuerdo a los resultados que se observan en la tabla 12, se identifica que las dimensiones guardan una estrecha relación y que una buena mediación debe estar sustentada en una buena planeación, así también la evaluación deber ser un ejercicio que se inicie desde la planeación.

CONSIDERACIONES FINALES

Resultan evidentes las diferencias en los resultados de las cuatro dimensiones de las competencias docentes para la actividad frente a grupo, definidas en este trabajo. La mediación docente es la que muestra más altas puntuaciones, de esto se infiere un mayor desarrollo profesional, en contraste con las otras tres dimensiones para las que se da en menor magnitud.

Si se retoma la idea del desarrollo profesional docente como modelo del aprendizaje de los estudiantes, puede explicarse que los estudiantes igualmente tengan un mayor desarrollo de competencias para la mediación docente.

En la línea de las competencias de la evaluación para el aprendizaje, los docentes no están respondiendo del todo a los planteamientos de evaluación del plan de estudios 2012, que refiere a formas de evaluación para promover aprendizajes contemplando el diseño de instrumentos, su uso, así como la implementación de diferentes estrategias y técnicas, por el contrario, se insiste en emplear formas de evaluación del aprendizaje con énfasis en la perspectiva sumativa.

Con respecto a los resultados para la dimensión de acompañamiento a las jornadas de observación y práctica, es evidente que es en la que menos desarrollo profesional tienen los docentes, aun cuando de acuerdo a lo que señala el plan y los programas de estudio, es central para el desarrollo de las competencias profesionales de los estudiantes.

Estos resultados no pretenden ser exhaustivos, sino servir como un referente para ejercicios posteriores de evaluación de las competencias docentes en la escuela normal. Si bien el propósito con el que se inicia este trabajo es el de identificar los niveles de desempeño de las competencias de los docentes, no nos resulta posible llegar a este nivel de detalle, sino únicamente a la identificación de las competencias que en mayor o menor medida ofrecen datos sobre el desarrollo profesional de los docentes.

ESTILOS EDUCATIVOS FAMILIARES Y EVALUACIÓN DE SISTEMAS EDUCATIVOS

María Jesús Perales Montolío

Sonia Ortega Gaite

Aina Belda Galbis

INTRODUCCIÓN

La evaluación de sistemas educativos se ha consolidado como una fuente de información fundamental sobre el propio sistema, su funcionamiento y sus resultados. Aunque la cuestión de la difusión y comunicación de los resultados de las evaluaciones sigue siendo un tema pendiente y el potencial uso de los mismos por los diferentes implicados en el sistema educativo, especialmente por el colectivo docente, se ve todavía muy infraexplotado por estas dificultades (Jornet, García-García y González-Such, 2014), lo cierto es que las evaluaciones de sistema, así como las evaluaciones internacionales, se han convertido en un referente fundamental en la reflexión sobre el funcionamiento del sistema educativo.

Como Grupo de Evaluación y Medición (GEM)[25], desde la Universitat de València (España) desarrollamos desde 2005 proyectos financiados de investigación en torno a las evaluaciones de sistemas educativos. El primer centro de interés fueron las variables de contexto consideradas en esas evaluaciones y la necesidad de mejorar la medición de las mismas, construyendo para ello primero de forma específica cada uno de los instrumentos (Proyecto AVACO, 2006-2009)[26] y articulando después la evaluación en un modelo de evaluación sistémico sobre las variables de contexto, y una propuesta de cuestionario de contexto integrado (Proyecto MAVACO, 2010-2013:26)[27].

En este marco, una línea específica de investigación, en la cual se enmarca el trabajo que aquí se presenta, se vincula con la recogida de información sobre variables vinculadas con la familia, con el objetivo de ayudar a entender su influencia en los resultados escolares. La finalidad última del estudio es contribuir al objetivo global de las evaluaciones de sistemas educativos, vinculado con el apoyo al diseño de políticas, que en este caso no serían estrictamente educativas, sino más bien sociales, socioeducativas y/o socioeconómicas, para contribuir a dinamizar esa influencia positiva de la familia en la educación globalmente y en los resultados escolares en particular (Cardona, 2008). Tanto desde la perspectiva de sistema educativo, como a nivel de centro educativo e incluso de aula y desde el trabajo de los docentes, las familias ejercen una influencia fundamental, aunque en ocasiones sea poco evidente, en la cotidianeidad de la docencia y en los resultados últimos que se obtienen en el sistema educativo. La influencia de las familias, como agentes socializadores fundamentales, en el valor social de la educación, por ejemplo, es una evidencia clara de esta cuestión (Jornet, Perales y Sánchez-Delgado, 2011).

El estudio iniciado mostró que una de las dimensiones muy importante eran los llamados estilos educativos familiares, que ahora se consideran conceptualmente integrados en el término más amplio de competencias parentales (Cánovas y Sahuquillo, 2011; Cánovas, Sahuquillo, Ciscar y Martínez, 2014). Además, el análisis del estado de la cuestión puso de manifiesto que, pese a contar con instrumentos que abordaban este constructo, la gran evolución sociológica que la familia había experimentado en las últimas décadas y el sempiterno problema del sesgo debido a la deseabilidad social, hacían necesario un nuevo intento para abordar la medición de este constructo desde nuevos planteamientos teóricos y metodológicos.

Éste es el objetivo de uno de los proyectos que actualmente está en desarrollo desde el Grupo de Evaluación y Medición de la Universitat de València[28], y que se centra en el diseño y validación de un instrumento para medir estilos educativos familiares[29], cuya fase de validación lógica se presenta en este trabajo.

Entre las preocupaciones metodológicas que sistemáticamente han centrado los procesos de construcción de instrumentos, tiene especial relevancia el proceso de validación y sobretodo el de validación lógica. También en este caso, la depuración del instrumento a través de un adecuado proceso de validación, el papel de las diferentes audiencias en la revisión lógica, la sistematización de la recogida de información al respecto, a través de diferentes estrategias, la elaboración cíclica y en espiral de conclusiones que aporten mejoras al instrumento en proceso de construcción son cuestiones clave.

LA FAMILIA EN LAS EVALUACIONES PISA

Las evaluaciones de sistemas educativos, como PISA, tienen en las familias de los alumnos y alumnas a una de sus audiencias fundamentales.

Por un lado, las familias son receptoras de la información derivada de PISA, normalmente a través de las notas de prensa y las noticias que con motivo de la publicación de resultados aparecen en los diferentes medios de comunicación. De hecho, estos medios son conocedores del interés de las familias por el tema y tienen en ellas a unos de sus colectivos destinatarios clave.

Sin embargo, en este rol de receptores de información, las familias no están siendo consideradas de forma adecuada pues los datos que se presentan no siempre están adecuadamente seleccionados y mostrados, de forma que las familias sienten que temas que son importantes no encuentran respuestas en estas evaluaciones (Jornet, García-García y González-Such, 2014).

La investigación deberá continuar para identificar unas estrategias adecuadas de publicación y difusión de resultados, que implique a colectivos como las familias y la sociedad en general, que permitan mejorar la validez de las evaluaciones, incrementando el uso adecuado y sustantivo que se hace de sus resultados.

El otro rol fundamental de las familias en las evaluaciones de sistemas educativos es el de fuente información, junto con alumnos/as, y equipos directivos.

Desde el inicio del proyecto, PISA utiliza entre sus fuentes de información a las familias, incorporando sus valoraciones sobre diferentes dimensiones, relativas a la propia estructura y dinámica familiar, a la relación con el centro escolar o a su implicación en el proceso de enseñanza aprendizaje de sus hijos e hijas.

Las variables sobre las familias consideradas cada año varían un poco, pero hay elementos comunes que se mantienen. En el estudio de 2012, centrado en las matemáticas, PISA analiza el papel de las familias en la educación desde tres perspectivas complementarias (OCDE, 2012) -ver cuadro 1-

El estudio PISA, de esta forma, incluye variables relativas a la familia que en el modelo explicativo del rendimiento en los sistemas educativos son, en esencia, variables de contexto (como el hogar monoparental), de entrada (como si el padre o la madre trabaja en el contexto de la ciencia) e incluso de proceso (como la cuestión sobre hablar con el niño/a acerca de cómo las matemáticas se pueden aplicar a la vida cotidiana), aunque a partir de la denominación de instrumentos que maneja la propia OCDE todas ellas se llaman variables de contexto (MECD, 2014; De la Orden y Jornet, 2012).

Desde que el famoso Informe Coleman (1996) lo demostrase, el papel del nivel socioeconómico y cultural de las familias como predictor del rendimiento educativo de hijos e hijas sigue evidenciándose como demoledor en todos los estudios, incluso en los más recientes (Gil, 2014). La lectura positiva del dato es la constatación del nivel socioeconómico y cultural de las familias como elemento protector y facilitador de buenos resultados en los y las estudiantes. Así, por ejemplo, el estudio de la evolución del rendimiento mostrado por los niños y niñas españoles entre 2003 y 2012 se vincula con la evolución positiva de los niveles educativos de los padres y madres de los estudiantes de ESO (MECD, 2014). Sin embargo, paralelamente este mismo estudio del Ministerio de Educación español sobre los datos PISA evidencia que este factor protector es menos intenso en España que en otros países del entorno, puesto que “los alumnos españoles cuyos padres tienen un nivel educativo alto obtienen resultados inferiores a lo esperado si la variabilidad asociada a este factor fuera la misma en España que en la OCDE o en la UE” (MECD, 2014: 93).

Siendo esta vinculación evidente, lo cierto es que la medición del nivel socioeconómico y cultural como indicador se ha complejizado mucho desde el Informe Coleman, convirtiéndose en una línea de investigación específica, que intenta reflejar de la forma más realista posible las diferentes dimensiones incluidas en el mismo.

Paralelamente, este indicador se analiza en relación con otras informaciones, para poder analizar no sólo su influencia directa sino también el valor aportado por el sistema educativo, el centro e incluso el proceso de enseñanza-aprendizaje. Así, aparecen indicadores complejos como el índice de desarrollo educativo que “integra tres aspectos esenciales para la evaluación de los resultados educativos de una sociedad: rendimiento, equidad y calidad”[30] (MECD, 2014:123).

INVESTIGACIÓN SOBRE LOS CUESTIONARIOS DE CONTEXTO DESDE EL GRUPO GEM

El proyecto AVACO, desarrollado desde el GEM entre 2006 y 2009, partía de una revisión desde la Pedagogía Diferencial, dirigida a identificar las variables diferenciales y diferenciadoras que pudieran tener interés en los planes de evaluación de sistemas educativos, así como los instrumentos disponibles para su medición/evaluación. La finalidad era identificar escalas fiables y válidas, o diseñarlas cuando fuera necesario, para después valorar las posibilidades de reducción de estas medidas a indicadores clave, susceptibles de estar presentes en escalas y/o cuestionarios de contexto, elaborando instrumentos para su uso en este tipo de planes de evaluación.

Los proyectos mencionados (AVACO y M-AVACO) tenían como finalidad abordar la elaboración de instrumentos de contexto, que fueran significativos en evaluaciones de sistemas educativos, pero que estuvieran construidos desde estándares de calidad propios, al ser considerados elementos centrales de la investigación. Así, el objetivo principal de los estudios realizados ha sido identificar una estrategia metodológica que permitiera derivar micro-instrumentos de medida a partir de instrumentos diseñados para medir/evaluar variables de entrada, proceso y contexto, utilizables en la elaboración de Cuestionarios de Contexto para la evaluación de sistemas educativos (Jornet, González-Such y Perales, 2012).

Como objetivos implicados se plantearon:

• Definición de la estrategia metodológica de reducción de instrumentos, a partir de la identificación de reactivos clave (los mejores predictores de las puntuaciones totales o dimensionales de instrumentos ya desarrollados).

• Validación de la estrategia tomando como referencia ensayos piloto con diferentes variables usuales en la evaluación de sistemas educativos (De la Orden y Jornet, 2012).

A nivel metodológico, en estos proyectos se estableció un procedimiento sistemático para analizar la calidad métrica de las escalas que permitían medir cada constructo implicado, identificar los reactivos claves para reducir las escalas a los elementos fundamentales y construir con ellos un cuestionario global que pudiera asimismo ser analizado como instrumento (Jornet, González-Such y Perales, 2012).

El desarrollo del proyecto permitió diseñar el Cuestionario de Contexto, según las directrices planteadas e incluir en el mismo las dimensiones / variables relativas a las familias que se presentan a continuación en la tabla 1.

La investigación realizada desde el Grupo de Evaluación y Medición (GEM-Educo) sobre las llamadas variables de contexto pone de manifiesto, por tanto, la importancia de recoger información sobre múltiples dimensiones relacionadas con las familias cuando se hacen evaluaciones de sistemas educativos.

El proceso de investigación ha permitido dar un paso más, y apostar por el diseño de un Modelo de Evaluación educativa vinculándose al concepto de cohesión social, para ofrecer y analizar un modelo sistémico que analice las aportaciones de las evaluaciones de sistemas educativos al concepto de cohesión social, en la línea del análisis de la equidad de los sistemas antes mencionada. En ese modelo, también la referencia a las familias es fundamental y como tal se plantea en la estructura de dimensiones y constructos –ver cuadro 2-.

En la estructura de dimensiones analizadas desde la perspectiva de cohesión social, en el nivel de participación social se revisan tres constructos diferentes vinculados con las familias:

- La colaboración familia-profesorado-escuela

- Los estilos educativos familiares

- La responsabilidad social, entendida como autoimagen del rol social respecto a los entornos comunitarios (escuela, familia y sociedad).

Los dos primeros recogen elementos ya planteados en fases anteriores de la investigación. En este momento, por tanto, adquiere un protagonismo propio en términos de investigación el constructo de estilos educativos familiares (EEF, en adelante).

DISEÑO Y VALIDACIÓN DE UN INSTRUMENTO PARA EVALUAR ESTILOS EDUCATIVOS FAMILIARES.

VALIDACIÓN LÓGICA.

Existe una larga tradición en el estudio de las relaciones entre padres e hijos. La investigación internacional muestra que el tradicional modelo de análisis de socialización familiar tenía carácter de exclusividad y una visión unidireccional. Los autores que se basan en este modelo, clasifican a los padres de acuerdo con las dimensiones afectivas, comunicativas y de control, en cuatro tipos: democrático, autoritario, negligente y permisivo.

Palacios (1999) presenta un nuevo enfoque para entender las relaciones familiares, llamado Modelo de Construcción Mixta o Múltiples Influencias. Desde esta perspectiva, destacan dos supuestos fundamentales:

a. La relación entre los padres e hijos es bidireccional y

b. Las prácticas educacionales son efectivas solo cuando están adaptadas a la edad del niño y promueven su desarrollo (Ceballos y Rodrigo, 1998).

Este nuevo modelo, más realista y adaptado a la situación actual, requiere desarrollar herramientas de medición que incorporen estos nuevos aspectos.

Sobre el constructo EEF ya había investigación consolidada vinculándolo con el rendimiento educativo. Efectivamente, el análisis realizado sobre el constructo (Cardona, 2008) pone en evidencia la solidez de la línea de investigación. Sin embargo, simultáneamente se evidencian las limitaciones de los instrumentos disponibles para su evaluación (Torío, Peña y Rodríguez, 2008; Ceballos y Rodrigo, 1998; Ceballos, 2006; Perales, Cardona y Gómez, 2009). Entre estas limitaciones, desde el equipo de investigación se destacan dos:

• La deficiente resolución de la deseabilidad social como amenaza a la validez.

• La imagen excesivamente tradicional de la familia que se entrevé en los cuestionarios y escalas disponibles, frente a la heterogeneidad de modelos de familia que la sociedad actual muestra y de hecho, ha normalizado.

Estas dos razones, fundamentalmente, consolidan un actual proyecto de investigación, que tiene como objetivos:

1. Definir los EEF de forma adecuada a los modelos familiares actuales.

2. Diseñar un instrumento fiable y válido, que llamaremos EVALEF.

3. Desarrollar usos del instrumento que aporten evidencias de validación y que permitan iniciar estudios exploratorios sobre los EEF y otras variables.

4. Desarrollar estrategias de aplicación que permitan la mejora de los EEF.

El proyecto de investigación se inicia con el análisis del estado de la cuestión y la redacción de un instrumento de evaluación de estilos educativos familiares que respondiera a las expectativas descritas[31]. Tras la primera redacción del cuestionario, se ha procedido al proceso de validación del constructo teórico.

Los objetivos de este proceso son:

- Validación del constructo teórico en el que se basan los estilos educativos familiares;

- Validación metodológica y teórica del instrumento, aplicando éste en el grupo de familias.

METODOLOGÍA DE LA VALIDACIÓN LÓGICA.

En un primer paso han sido definidos los EEF: negligente, permisivo, autoritario, democrático (Palacios, 1999) e integral (Cardona, Perales y Jornet, 2010).

Después, el estudio continúa con la validación del constructo y contenido del instrumento EVALEF (Escala de Evaluación de Estilos Educativos Familiares), basado en la revisión por jueces. La metodología del proceso está estructurada en siguientes fases:

• Revisión teórica, búsqueda de material sobre los estilos educativos familiares, diseño de estilos de acuerdo con el contexto actual.

• Revisión de escalas existentes.

• Desarrollo de definiciones operacionales.

• Validación por el juicio de expertos (en medición y evaluación; en el constructo de estilos educativos familiares y en familias como colectivo destinatario)

• Incorporaciones de las aportaciones y modificaciones necesarias para adaptar el instrumento.

En el desarrollo apropiado del instrumento es importante tener la participación de las audiencias adecuadas. Para ese propósito, colaboramos con el grupo de expertos en familias y profesionales que trabajan con las familias que realizaron una primera validación individual del cuestionario. Después hemos organizado grupos de discusión, para contrastar diferentes elementos de validación del instrumento (marco teórico, constructo, instrumento, usos del instrumento).

PARTICIPANTES

El grupo de jueces estaba formado por 12 personas, que habían sido previamente seleccionadas bajo los siguientes criterios: más de 10 años de experiencia en su profesión y que fueran procedentes de diferentes ámbitos educativos. Conseguimos reunir un equipo multidisciplinar con gran experiencia y reconocimiento, con el fin de asegurar un análisis crítico del instrumento (dos Profesores- tutores de la Etapa de Educación Primaria, una Directora de Centro Educación Infantil, dos investigadoras de la Universidad de Valencia en temas de Familia, dos Orientadores, dos expertos en medición, una Doctora en Psicología Clínica y dos Educadoras Sociales, expertas en intervención familiar). De esta forma, se incluyen en el estudio a expertos de los tres perfiles fundamentales: expertos en el constructo (EEF), expertos en medición, y expertos en el colectivo al que va destinado el instrumento (familias).

RESULTADOS

Realizamos el proceso de validación de jueces (validación lógica) en tres fases:

1) Les informamos del objetivo del proyecto y les definimos los Estilos Educativos que forman parte de nuestra escala. Les entregamos el cuestionario dividido en dos partes y se les plantearon una serie de cuestiones sobre el mismo. Posteriormente registramos sus aportaciones y valoraciones. Tras analizarlas, se realizaron los cambios oportunos en la escala.

2) A través de cuestionario para la validación de los ítems, otro grupo de expertos contribuyó a la recogida de datos. Los criterios de valoración fueron de suficiencia, pertinencia y adecuación de la formulación, además de consultas abiertas sobre la opinión de expertos para saber si consideraban que a la formulación le faltaba o sobraba algo.

3) Una vez recogidas las aportaciones y tras reunión con el Comité de metaevaluación y seguimiento, se realizó un vaciado de las aportaciones en un cuadro cruzado y valoramos los cambios.

Las aportaciones de estos jueces en el proceso de validación lógica se centraron en tres elementos fundamentales:

a) Se confirmó la definición de los estilos educativos familiares, como punto de partida de la definición de constructo.

b) Se confirmó la estructura de la prueba, con una primera parte que recoge variables fundamantales de investigaciones precedentes, seguida de una escala de hábitos familiares, que ofrece el punto de partida para la descripción de las familias, y la base para futuros estudios diferenciales que aporten sucesivas evidencias de validación. Y una segunda parte con tres escalas vinculadas a los estilos educativos familiares: una de comportamientos habituales, y dos construidas en torno a historias incompletas.

c) Se matizaron elementos específicos de la redacción de las historias incompletas, para hacerlas más comprensibles, para que reflejaran mejor el EEF al que se asociaban, y para que los comportamientos vinculados en cada historia a cada estilo fueran más pertinentes en cada caso, y respondieran con mayor suficiencia a las situaciones planteadas.

Con todas las modificaciones, se diseñó la segunda versión del instrumento, que será utilizada en el proceso de validación empírica.

Continuidad del proceso de validación del instrumento.

A partir del proceso de validación de constructo teórico y validación de ítems, hemos confirmado el cuestionario piloto. El siguiente paso es la distribución de cuestionarios a las familias con hijos en la escuela obligatoria.

Los resultados esperados son:

- Obtener evidencia de validez de la capacidad del instrumento para diagnosticar estilos educativos familiares.

- Explorar aplicaciones y dar pautas para el diseño de intervenciones con las familias a partir de la información recogida en el instrumento.

- Obtener evidencia de la validez del instrumento para estos usos aplicados.

- Aproximarse a la evaluación de estilos anticipando los problemas habituales, que afectan a la fiabilidad y validez de los instrumentos, tales como los efectos de deseabilidad social.

- Detectar los elementos para estimular en las familias y mejorar la intervención psicopedagógica en línea con el diagnóstico.

Como equipo de investigación, confiamos que el estudio permita aportar a la comunidad científica y profesional un instrumento que sea adecuado para el análisis de los estilos educativos familiares, así como una guía de uso que facilite éste tanto en términos de investigación, como para la intervención socioeducativa con los y las estudiantes y sus familias con el objetivo de contribuir a una educación de calidad y para todos y todas.

De esta forma, esperamos contribuir en el proceso de mejora y profundización del análisis del papel de las familias en los procesos de evaluación de sistemas educativos, desde la clave de contribución a la cohesión social.

25 http://www.uv.es/gem/

26 Análisis de Variables de Contexto I+D+I, 2006-2008.Código SEJ 2005-05 923. Financiado por el Ministerio de Ciencia e Innovación (MICINN-España).

27 Modelos de análisis de variables de contexto I+D+I, 2009-2012. Código EDU 2009-13485. Financiado por el Ministerio de Ciencia e Innovación (MICINN-España).

28 http://www.uv.es/gem/gemeduco/

29 Proyecto EVALEF I+D+I, 2012-2014 -Validación de un instrumento de evaluación de ESTILOS EDUCATIVOS FAMILIARES y establecimiento de lineamientos para el diseño de programas de intervención con familias-.Código EDU2011-29467. Financiado por el Ministerio de Economía y Competitividad (MINECO-España).

30 Índice de desarrollo educativo. Indicador de naturaleza multidimensional que integra tres aspectos esenciales para la evaluación de los resultados educativos de una sociedad: rendimiento, equidad y calidad. Equidad: refleja el grado de igualdad de oportunidades en términos de dependencia de los resultados de los estudiantes de las características de su entorno social y familiar (mayor dependencia evidencia una menor equidad del sistema educativo).

31 Se puede consultar más información sobre el proyecto en las publicaciones anteriores (Cardona, Perales y Jornet, 2012; Perales, González-Such y Bisquert, 2012).

EL MODELO EDUCATIVO Y LA EVALUACIÓN DOCENTE COMO FACTORES QUE INFLUYEN EN LA PRÁCTICA DOCENTE EN LA UNIVERSIDAD IBEROAMERICANA, CIUDAD DE MÉXICO

Javier Loredo Enríquez

Raúl Romero Lara

INTRODUCCIÓN

Las instituciones de educación superior de nuestro país han estado sujetas a la presión de factores internacionales y nacionales. Por un lado las orientaciones o directrices que dictan varios organismos internacionales y que nuestros gobiernos trasforman en políticas públicas, convirtiendo así dichas recomendaciones en obligaciones. De esta forma no es de extrañarse la homologación de algunos currículos y el cambio de modelos educativos que responden a las directrices mencionadas. Es de hacerse notar, que la práctica docente como uno de los elementos centrales del currículo también se ve afectada y no necesariamente respondiendo a las necesidades reales de su contexto. De la misma manera los modelos de evaluación docente no están ausentes de las presiones mencionadas.

El profesor se enfrenta a la tensión de tener que planear, desarrollar y evaluar el proceso de enseñanza y de aprendizaje basándose en los cambios curriculares en turno. Continuamente los docentes deben modificar su práctica con base en las demandas institucionales; pero además deben sortear la evaluación en torno a su práctica. El profesor es y sigue siendo un elemento vital para el desarrollo del proceso de enseñanza y de aprendizaje; en él recae la responsabilidad de articular los contenidos que propone la institución a través de sus planes y programas, también es quien se encarga de integrar los elementos que constituyen el currículo, diseñar estrategias para la enseñanza y el aprendizaje eficaz.

La práctica docente es una actividad en la que intervienen tanto factores personales como institucionales. Dentro de los primeros se pueden mencionar la formación académica y profesional, la experiencia docente, mientras que en los segundos es importante destacar el modelo educativo institucional y el contexto.

De ahí surgió el interés por desarrollar la presente investigación, buscando indagar la forma cómo estos factores determinan la práctica de los profesores en la Universidad Iberoamericana Ciudad de México (IBERO). Una de las principales inquietudes fue conocer en qué medida el modelo educativo y la evaluación docente de la institución intervienen en la práctica de sus profesores. Se analizó la forma en que el profesor resuelve las tensiones a las que se enfrenta, al conocer e implementar el modelo de enseñanza que la institución le demanda; además del peso que otorga la influencia de la evaluación docente al momento que planea, desarrolla y evalúa el proceso de enseñanza y de aprendizaje.

PROBLEMÁTICA

A las Instituciones de Educación Superior (IES) se les ha encomendado la tarea de formar a los futuros profesionistas. Por ello, no sólo deben ser vistas como un lugar para reproducir las reglas y roles sociales, sino como un espacio en donde se indaga, explora, comprueba, socializan y divulgan saberes y conocimientos (Cullen, 1997).

A partir de la influencia del proyecto TUNING, desarrollado en Europa desde el año 2001 con la participación de 135 universidades que tienen como finalidad construir y definir elementos comunes para sus currículos, a partir la definición de competencias genéricas y competencias específicas para cada disciplina (TUNING, 2007). En nuestro continente este proyecto se ha denominado TUNING América Latina, que pretende ser un referente para el replanteamiento curricular de las IES de nuestro país que estén modificando sus currículos para ser planteados con base en el desarrollo de competencias. TUNING América Latina cuenta con la participación de 181 universidades de todos los países de habla hispana y portuguesa, de las cuales 17 son mexicanas. El trabajo que han venido desarrollando ha tenido el objetivo de establecer 11 áreas temáticas. En esta línea de influencia, algunas IES nacionales comenzaron a replantear el diseño, implementación y valoración de sus planes y programas de estudio basados en un modelo de enseñanza por competencias,

La literatura especializada destaca que la triada planeación, conducción y evaluación del proceso de enseñanza y de aprendizaje representa los tres elementos que mejor caracterizan la práctica docente. Se puede decir que: la planeación de clase constituye una de las primeras etapas de la práctica docente, en ella se incorporan explicita e implícitamente elementos del contexto de la institución, como la misión, visión, filosofía y perfil educativo; además de considerar las características de los estudiantes (García-Cabrero, 2009).

La conducción constituye la implementación de los contenidos, de las estrategias, de los recursos y de las forma de evaluación que el profesor ha dispuesto para desarrollar el proceso de enseñanza y de aprendizaje. La interacción del profesor, de los estudiantes y los contenidos en el salón de clases proporciona elementos que permiten caracterizar la práctica docente con algún o algunos modelos de la misma. Una característica de la conducción es su flexibilidad ya que, el docente debe ser capaz de poder adaptar su diseño a situaciones no previstas, como fallas técnicas de los recursos, ausencia de estudiantes e incluso el estado de ánimo de los mismos.

Por su parte la evaluación del aprendizaje debe incorporar las evidencias para verificar los conocimientos obtenidos por los estudiantes, tomando en cuenta las características y condiciones de la institución. También debe ajustarse a los tiempos y procedimientos previstos por las IES, como son la exigencia de cierto tipo de exámenes, así como los periodos de aplicación. Por lo tanto el docente se enfrenta a tres tipos de dificultades: la primera es cómo tendrá que diseñar su programa, su clase y sus materiales de apoyo. La segunda cómo ha de implementar ese programa; siendo necesario definir las estrategias de enseñanza y de aprendizaje y en la tercera establecer la forma de evaluación a los estudiantes de acuerdo al logro de los objetivos en las tres etapas: planeación, conducción y evaluación. Es importante considerar que el profesor debe tomar cuenta tanto el modelo educativo de la institución, como los elementos incluidos en la evaluación de su práctica.

PREGUNTAS DE INVESTIGACIÓN

Para analizar los elementos que inducen u orientan los cambios en la práctica docente en la IBERO se pretenderá dar respuesta a las siguientes preguntas:

• ¿De qué forma el modelo educativo y la evaluación docente de la universidad Iberoamericana influyen en la práctica de sus profesores?

• ¿De qué manera el docente incorpora el modelo educativo de la IBERO a su práctica?

• ¿La evaluación docente de la IBERO, es un elemento que influye tanto en las actividades como en la interacción del profesor con los estudiantes?

OBJETIVO GENERAL

Analizar de qué manera el modelo educativo de la Universidad Iberoamericana y la evaluación docente influye en la práctica de sus profesores.

OBJETIVOS ESPECÍFICOS

• Conocer de qué forma el docente ha incorporado en su práctica el modelo de educativo de la IBERO.

• Analizar de qué manera la evaluación de la práctica docente influye en las actividades que desarrolla el profesor, así como la interacción con los estudiantes.

MARCO CONTEXTUAL

La investigación se desarrolló en la Universidad Iberoamericana, Ciudad de México (IBERO), en donde se imparten estudios de nivel medio superior, universitario y posgrado, ubicándose su mayor número de estudiantes en el nivel licenciatura. Actualmente la IBERO cuenta con 29 programas de posgrado de los cuales 10 están en el PNPC de CONACYT y justo dos de ellos son del Departamento de Educación. Al ser la IBERO una Universidad encomendada a la compañía de Jesús ha definido y manifestado explícitamente un ideario, el cual refleja la fundamentación filosófica, social y pedagógica de su modelo educativo.

MODELO EDUCATIVO DE LA UNIVERSIDAD IBEROAMERICANA

El elemento fundamental tiene que ver con la concepción del ser humano como agente activo para la transformación de la realidad. Este modelo educativo, concibe al ser humano como un actor central, activo, sujeto co-creador del mundo, con una responsabilidad social más allá de la sola existencia, por lo que su modelo educativo se fundamenta en una visión de trascendencia expresada en la convicción de que el ser humano tiene la capacidad de transformar el mundo que le rodea, de forma responsable, consciente y reflexiva. Esta idea central es la que se expresa en la misión educativa de “formar hombres y mujeres para y con, los demás”.

El modelo educativo se fundamenta en el humanismo como teoría elemental para el desarrollo de los procesos de enseñanza y de aprendizaje, sin embargo no se puede evitar la convivencia de más de una teoría cognitiva al interior del aula. El ser humano es el actor central, como agente de cambio social.

MODELO EDUCATIVO IGNACIANO: PEDAGOGÍA IGNACIANA.

Los jesuitas, después del Concilio Vaticano II, se propusieron formular un elemento común para las instituciones educativas de la compañía, reiterando su identidad y herencia ignaciana; por lo que al finalizar el siglo XIX la compañía culmina este proceso de definición de un elemento común al publicar Pedagogía Ignaciana, un planteamiento práctico (1993). Este paradigma propone cinco aspectos fundamentales: contexto, experiencia, reflexión, acción y evaluación; que no deben ser considerados como receta didáctica que se pueda aplicar a todo proceso educativo. El eje rector de este modelo se constituye por la experiencia, la reflexión y la acción, elementos que se desarrollan en un contexto y que requieren de una evaluación para valorar su trascendencia.

Es importante describir que en la IBERO se entiende por “humanismo” la actitud caracterizada por el pensamiento ordenado y crítico; la clara expresión oral, escrita y de toda índole; el planteamiento y la solución del cuestionario básico del hombre en el mundo (su origen, destino y naturaleza); la conciencia histórica; la experiencia estética; la cooperación social responsable y la congruencia entre pensamiento y conducta.” (Universidad Iberoamericana, 1968).

El humanismo es una cultura centrada en el ser humano y su progreso, por lo tanto, no trata sólo de definir al ser humano, también se da a la tarea de comprender su misión, su destino, su paso por la tierra y el rol que ha de lugar en el cosmos. Tiene como tarea central contribuir a recrear un humanismo que posibilite a sus estudiantes asumir todos los progresos sociales, económicos, tecnológicos “… sin perder el alma, sin quedar destruidos en el camino.”; por lo tanto es labor de la institución educativa, formar hombres y mujeres con base en estos ideales, quienes serán creadores de un mundo nuevo.

Esta concepción de humanismo se fundamenta en la filosofía, misión y visión de la Universidad Iberoamericana. Existe otro elemento que ha sido fundamental para que los profesores desarrollen un proceso de enseñanza y de aprendizaje en donde el estudiante es el centro de atención. En este sentido, el humanismo es un elemento central y característico del modelo educativo de la Universidad Iberoamericana; a través de la pedagogía Ignaciana la IBERO articula su filosofía, misión y visión.

MODELO CURRICULAR POR COMPETENCIAS

Desde hace ocho años la IBERO se ha pronunciado por un diseño curricular por competencias, que se refieren a la capacidad del alumno para integrar y movilizar conocimientos, habilidades, actitudes, valores y principios, para resolver tareas complejas en diversos contextos, de manera eficaz y responsable. La estructura curricular de los planes de estudio mantienen las características de flexibilidad. Se integran por: competencias genéricas y específicas que caracterizan a los egresados, dimensiones que dan sentido a la formación y áreas curriculares en las que se congregan las asignaturas. Las seis competencias genéricas son (IBERO, 2010):

• Comunicación oral y escrita

• Liderazgo intelectual

• Trabajo en equipo

• Creatividad e innovación

• Compromiso integral humanista

• Discernimiento y responsabilidad

Las competencias genéricas son características que todo egresado de cualquier licenciatura de la universidad debe tener; además se deben establecer las estrategias de evaluación para constatar y garantizar que quienes egresan de sus programas dominan dichas competencias.

Las competencias específicas son aquellas que definen el quehacer que caracteriza una determinada profesión y por consiguiente, el perfil del egresado del programa. Cada licenciatura debe determinar las competencias específicas pertinentes para formar a sus egresados, así como los resultados esperados de cada una de ellas, de tal manera que su desarrollo y evaluación se concrete en distintas asignaturas o grupos de asignaturas del plan de estudios.

Es importante destacar que como parte del Ideario de la IBERO se hacen explícitos los elementos que todo docente debe tener presentes al momento de desarrollar su práctica docente, dentro del cual destacan tres funciones fundamentales: como docente, como asesor y como investigador. Reconociendo primeramente que antes de ser docente es persona, por lo que explicita algunos elementos que debe poseer para ser integrante del cuerpo docente de la comunidad de la IBERO, desarrollando su formación continua como persona, profesionista y educador.

El profesor de la IBERO no solamente tiene y desarrolla cualidades y habilidades personales y técnicas, sino que también se menciona que las ejerce con honestidad y entusiasmo de acuerdo al tipo de trabajo que desempeña: docente, asesor o investigador. En cualquier caso su principal propósito es la incidencia en el aprendizaje de los alumnos, así mismo debe procurar explicitar en forma clara y operativa su postura personal en relación con la filosofía educativa de la IBERO, los profesores deben desempeñar actividades como: docente, asesor académico e investigador.

Es importante que el docente se mantenga al día tanto de lo que sucede en su entorno, así como de lo que ocurre a nivel nacional, al tiempo que se mantiene actualizado respecto al estado del arte de su disciplina. Esto le permitirá encaminar su trabajo y el de sus estudiantes para realizar trabajos innovadores, participar en la elección y desarrollo de la metodología que sea más acorde a la temática que éstos deseen desarrollar, realizar investigaciones de vanguardia que se desarrollen durante el curso que imparte y a lo largo de sus estudios de posgrado.

MARCO TEÓRICO

PRÁCTICA DOCENTE

El análisis de la práctica docente, desde la perspectiva de Zabalza (2003), debe considerar recuperar los elementos de la interacción entre maestros, alumnos y contenido. Por lo que es necesario contemplar esta profesión como flexible, dinámica, reflexiva y pedagógica, lo que implica comprender las actividades que realiza el profesor para la planeación y evaluación de los procesos de enseñanza y aprendizaje además de los incluidos durante el desarrollo de éstos. A este respecto Coll y Solé (2002) mencionan que el análisis de la práctica educativa debe incluir el análisis de la interactividad y de los mecanismos de influencia educativa. El concepto de interactividad apunta a la diversidad de acciones que el profesor y los alumnos realizan antes, durante y después del desarrollo del proceso de enseñanza y aprendizaje; por lo que es necesario tomar en cuenta los factores que el docente considera antes de iniciar la clase, tales como: infraestructura, características de personalidad de los alumnos, aprendizaje del grupo, número de estudiantes, etc.

Cabe aclarar que se refiere a práctica docente, la acción que se acota a las actividades que el profesor realiza para desempeñar su labor en el aula. Considerando tres etapas: planeación, conducción y evaluación del proceso de enseñanza y de aprendizaje. Diferenciándose de la práctica educativa la cual comprende las actividades que el docente desarrolla fuera del aula y que pueden ser la asesoría, tutoría, investigación, difusión y funciones administrativas (García-Cabrero, 2008).

La docencia como actividad compleja involucra aspectos como el ser una actividad predefinida, ya que no se realiza en el vacío sino dentro de organizaciones que regulan y condicionan esta práctica; pero también puede ser un proceso indeterminado, porque a pesar de que se realiza una planeación de las tareas, no todo puede preverse antes de ser realizados. A su vez es multidimensional con varios actores involucrados; tiene un factor de simultaneidad debido a que durante la clase intervienen múltiples elementos; es impredecible, debido a la variedad de factores que en ella intervienen (Coll y Solé 2001 y Schoenfeld 1998).

En esta línea de ideas, es posible citar algunas características establecidas para conocer la percepción del docente sobre tópicos relacionados con su quehacer y su evaluación. Hernández (en Guzmán, 2005) plantea la coexistencia de tres factores que hacen al buen docente: el dominio de contenidos, la motivación docente y la habilidad comunicativa. Ser un buen docente implica entonces, habilidad para enseñar un conocimiento disciplinario, estimular al alumno a desarrollar el pensamiento y a solucionar problemas (Garet, Porter, Desimone, Birman y Sik Yoon, en Guzmán, 2005). Guzmán (2005) agrega otras características que el profesor universitario necesita para su práctica docente (Colomina, Onrubia y Rochera, 2001; Coll y Solé, 2001; Guzmán, 2005; Hativa, 2000):

a. Tener dominio disciplinario. Esto le permite ayudar al estudiante a vincular los nuevos conocimientos con los anteriores, lo cual resulta básico e indispensable, aunque insuficiente.

b. Interpretar la conducta de los estudiantes para anticipar y prevenir el clima de la clase.

c. Identificar la individualidad de los estudiantes y fomentar el respeto con y entre ellos.

d. Tener dominio pedagógico general, que le permita organizar la clase con diferentes estrategias y herramientas didácticas. Esto incluye técnicas para el manejo de la clase.

e. Unir la disciplina con la pedagogía para organizar los contenidos y establecer objetivos y actividades específicas.

f. Tener dominio curricular, claridad en la finalidad educativa, ubicarse en el contexto donde enseña, conocer a sus alumnos y su proceso de aprendizaje.

g. Tener un adecuado conocimiento de sí mismo, confianza en su propio desempeño y en sus capacidades para organizar y ejecutar un curso.

En toda interacción que se desarrolle entre el docente y los estudiantes interviene el tipo de conocimiento del otro, por lo que es importante tomar en cuenta si los alumnos ha decidido inscribir diferentes materias con el mismo profesor, así como los motivos que los han llevado a ello, también el conocimiento que tiene el profesor sobre sus estudiantes, conocimiento del otro. El conocimiento del otro se orienta por descripciones, juicios de valor sobre lo que debe hacerse o lo que considera como bien o mal; expresado en relación al otro. Los referentes de los profesores y de los estudiantes que contribuyen a la conformación del conocimiento del otro reciben influencia de: “sus experiencias anteriores del medio escolar, sus tipos de formación, sus motivaciones, los rasgos de personalidad de cada uno.” (Postic, 1972: 128). Estos factores influyen en el desarrollo del proceso de enseñanza y de aprendizaje.

EVALUACIÓN DE LA PRÁCTICA DOCENTE

La práctica docente desde la década de los ochenta ha estado sujeta a procesos de evaluación con la finalidad de entregar a los profesores una compensación salarial, principalmente en las IES públicas. Sin embargo, este no ha sido un proceso exclusivo de estas instituciones. Las universidades privadas también han realizado mecanismos de evaluación docente con la finalidad de cumplir con los parámetros requeridos por los organismos evaluadores y acreditadores.

Es entonces que el proceso que se desarrolla en torno a la práctica docente debería ir encaminado hacia la evaluación y no sólo a medir sus logros u otorgar una calificación a las actividades desempeñadas. Conviene presentar las características que el docente debe poseer para desarrollar su práctica, desde la perspectiva de algunos elementos que son considerados al momento de ser evaluado (Loredo, 2000, Rueda, 2008, García-Cabrero, 2008), debido a que nos proporciona algunos elementos como parámetros para clarificar las actividades que un profesor debe desarrollar como parte de su práctica para obtener los mejores resultados posibles. Rueda y colaboradores –Miembros de la RIED[32] (2004), argumentan que la evaluación docente ha adquirido una gran importancia por ser un mecanismo que contribuye a enfrentar el reto de la calidad en la educación, subrayando la necesidad de establecer una visión y relación entre la función docente y la manera de evaluarla.

Evaluación docente en la IBERO, Ciudad de México

La evaluación del desempeño docente ha sido considerada en el Programa de Evaluación Educativa que la Universidad Iberoamericana describe en el Plan Estratégico 2007 – 2011[33] en el que se refleja la orientación de la Universidad en torno a la evaluación educativa. Cabe destacar que en evaluación de procesos docentes se hace alusión únicamente a programas de licenciatura, es oportuno acotar que es un mismo instrumento para todas las carreras y materias que se imparten en la IBERO. Este instrumento, tiene el “objetivo de proporcionar información útil, válida y confiable, para evaluar el desempeño docente de los profesores y fundamentar la toma de decisiones tanto administrativas como académicas, orientadas a mejorar la calidad de la docencia en la IBEROCM.” (IBEROSEPE, 2009).

Para la evaluación docente de nivel licenciatura, a partir de 2010, se han implementado cuatro distintos Instrumentos para recoger información, el SEPE1 y SEPE2 que son aplicados de forma obligatoria, mientras que el SEPE3 y SEPE 4 sólo se aplica a petición del docente.

SEPE1 Cuestionario de Evaluación del Desempeño Docente (por parte de los alumnos).

Este instrumento, es respondido en línea, considera la opinión de los alumnos sobre el desempeño del profesor durante el curso, los datos obtenidos son de carácter cuantitativo.

SEPE2 Cuestionario de Autoevaluación (por parte del profesor).

Es un instrumento que el profesor responde en línea como un ejercicio de autoevaluación sobre su desempeño profesional durante el periodo escolar que está por terminar.

SEPE3 Portafolio del profesor.

Esta modalidad de evaluación sólo se aplica a solicitud del profesor o del coordinador con la autorización del docente.

SEPE4 Evaluación de pares

Al igual que el SEPE3, también se realiza a solicitud del profesor o del coordinador. El par encargado de realizar la evaluación será un profesor que colabore dentro del mismo departamento.

LA PRÁCTICA DOCENTE COMO SISTEMA DE LA ACTIVIDAD: TEORÍA DE LA ACTIVIDAD

Los cambios en la práctica docente no son unidimensionales ni uní-factoriales, se pueden revisar a través del análisis de las transiciones, reorganizaciones y reapropiaciones (Engeström, 2003) que impactan en sus percepciones y acciones realizadas por los profesores de manera cotidiana, de tal forma que redefinan continuamente tanto concepciones como prácticas en el contexto de la educación superior, con la participación de diversos factores que contribuyen a determinarla. Una manera de abordar el análisis de cómo el docente está viviendo su práctica docente con la incorporación de modelos educativos y los procesos de evaluación de su práctica, puede ser a través de la teoría de la actividad, debido a que ésta es concebida como paradigma caracterizado por ir más allá de las dicotomías entre lo teórico y lo aplicado, lo micro y lo macro, lo personal y lo social.

“Es hoy un enfoque multidisciplinario global de investigación, que crecientemente está orientado hacia el estudio del trabajo y las tecnologías” (Engeström, 2000: 961), por ello “se trata de un enfoque general, interdisciplinario, que ofrece herramientas conceptuales y principios metodológicos que deben ser precisados de acuerdo con la naturaleza específica del objeto que se estudia” (Engeström, 1996:114).

Las actividades, desde la perspectiva de Leontiev (1980, en Daniels, 2003), son sistemas que producen acontecimientos y acciones, que evolucionan a lo largo de prolongados periodos socio-históricos. Desde esta perspectiva los problemas y sus potencialidades solamente pueden ser comprendidos contra su propia historia. La historia misma necesita ser estudiada como historia local de la actividad y sus objetos y como historia de las ideas teóricas y las herramientas que han dado forma a esa actividad (Engeström, 2001).

Se optó por la teoría de la actividad debido que sus elementos fundamentales posibilitaron realizar el análisis de la práctica docente y su interacción con algunos factores como son el modelo educativo de la IBERO y la evaluación docente, al contrastar las competencias docentes propuestas en el MECD (Modelo de Evaluación de Competencias Docentes) (García-Cabrero, 2088) y las competencias genéricas propuestas por la Ibero para los estudiantes. Para conocer de qué manera influyen estos elementos en el cambio de la práctica docente, Engeström (1996, 1999, 2001), reelaboró de manera específica la idea propuesta por Leontiev, argumentando que la teoría de la actividad se ha distinguido en los últimos años por ser un marco fructífero para la descripción, modelado e implementación de sistemas. Afirma que las personas que actúan y el mundo social de la actividad, no pueden estar separados, ya que para él, el significado no se crea por las intenciones individuales, sino que se constituye mutuamente en las relaciones entre sistemas de actividad y personas que actúan y tienen un carácter relacional.

Para Engeström:

… los artefactos desempeñan un papel estructural en las prácticas de trabajo […] no se limitan a estar ahí; evolucionan o son sustituidos y existe una dialéctica continua entre lo que se considera formas estructurales o procesales, estables o dinámicas, representacionales o discursivas de las prácticas de trabajo. (Engeström y Middleton, citado en Daniels, 2003:131).

La teoría de la actividad fue utilizada para el análisis de la vivencia que tiene el docente de su práctica a partir de tres elementos esenciales que permitirán indagar el proceso de incorporación de nuevos modelos educativos (Engeström, 1999). El primero de ellos dice que la teoría de la actividad es profundamente contextual y está orientada a comprender históricamente prácticas locales específicas, sus objetos, instrumentos de mediación y la organización social. Lo que permitirá indagar a profundidad algunas de las características del contexto en el cual se desenvuelve el docente y de cómo estos elementos han influido en su desempeño.

El segundo, la teoría de la actividad está basada en la teoría dialéctica del conocimiento y el pensamiento, enfocada en el potencial creativo de la cognición humana, es decir, conocer de primera voz cuál ha sido la trayectoria de aprendizaje del docente en torno a los elementos pedagógicos que definen sus labor docente.

Mientras que el tercero dice que la teoría de la actividad es una teoría del desarrollo que busca explicar e influenciar cambios cualitativos en las prácticas humanas, permitiendo dar cuenta de los diversos factores que intervienen en la práctica docente, a través de describir, espacios, sujetos y las acciones de éstos con los estudiantes, los modelos educativos y la institución.

En este sentido, un sistema de actividad es una máquina virtual productora de perturbaciones-innovaciones (Engeström, 2001). Las tensiones internas se expresarían en los siguientes niveles (Engeström, 1987):

• Primario: cuando los participantes encuentran más de un sistema de valor asociado a un elemento dentro de una actividad que causa conflicto.

• Secundario: los participantes encuentran un nuevo elemento de una actividad y los procesos para asimilar el nuevo elemento en la actividad causa conflicto.

• Terciario: cuando los participantes enfrentan situaciones conflictivas por adoptar lo que creen que es un nuevo método más avanzado para alcanzar el objetivo.

• Cuaternario: cuando los participantes encuentran cambios en una actividad que resulta en la creación de conflictos con actividades contiguas.

El sistema de actividad está conectado con otros sistemas de actividad por intermedio de todos sus componentes.

METODOLOGÍA

Esta investigación se desarrolló con base en una aproximación de corte cualitativo, con la finalidad de indagar de qué manera el modelo educativo y la evaluación de la práctica docente influyen en el desarrollo de los profesores de la IBERO; este enfoque permitió tener una visión interpretativa de los significados y acciones que los docentes tienen sobre estos dos factores. Así mismo fue posible conocer la forma en cómo los docentes interactúan con las tensiones que se les presentan.

La recopilación de información permitió generar datos flexibles y sensibles al contexto social en el que se producen, y sostenidos por métodos de análisis y explicación que abarcan la comprensión de la complejidad, el detalle y el contexto (Vasilachis, 2006).

En primer lugar se realizó una entrevista inicial, posteriormente observaciones directas en las aulas de los profesores participantes así como entrevistas en profundidad con la finalidad de obtener información más puntual; en donde lo vital fue recuperar la voz a los profesores de la IBERO. Este proceso hizo posible conocer la forma en cómo los docentes interactúan con las tensiones que se les presentan al momento de tener que incorporar elementos del modelo educativo de la IBERO y la evaluación institucional de su práctica.

Para el análisis de los datos se realizó un contraste de la información con los elementos teóricos desarrollados. Este acercamiento a la práctica docente permitió conocer las tensiones que el profesor afronta durante su práctica, por lo que la teoría de la actividad de Engeström jugó un papel importante al describir los cuatro niveles de tensión que vive el docente.

RESULTADOS

PERCEPCIÓN SOBRE LOS COMPONENTES DE SU PRÁCTICA

Este profesor cuenta con más de 40 años de experiencia, la mayor parte de este tiempo como docente de la IBERO, imparte clases en el área de humanidades, cuenta con estudios de doctorado y amplio dominio de su materia. El profesor comentó. “En mi docencia, encarno, expreso, comunico con un espíritu Ibero, su ideología, su filosofía, y procuro involucrar estos temas cotidianamente en clase, además sé que debemos desempeñar actividades de tutoría y de investigación.”, lo que refleja un conocimiento de las funciones que un docente de tiempo completo debe realizar.

Destacan dos aspectos en la respuesta del docente, el primero que enmarca elementos del ideario de la IBERO (ideología y filosofía) dejando en claro el conocimiento de los mismos y de manera explícita su inquietud por incorporarlos cotidianamente en sus clases. En segundo lugar, considera que la tutoría es una actividad significativa a realizar con los estudiantes. Por otro lado, la investigación en palabras suyas es una tarea pendiente debido a que requiere tiempo para ello.

Engeström (1987) menciona que un primer nivel de tensión se manifiesta cuando “… los participantes encuentran más de un sistema de valor asociado a un elemento dentro de una actividad que causa conflicto.”, en este caso los sistemas de valor son: el modelo educativo, el ideario y la filosofía de la IBERO; las características y necesidades de los alumnos y en la medida que el docente conoce dichos componentes de estos sistemas de valor se puede minimizar esta tensión.

Durante las observaciones se pudo corroborar que el docente posee dominio de su área de conocimiento, desarrolla una continua recuperación de elementos institucionales, ampliando continuamente sus sistemas de actividad, proponiendo –al menos hasta el momento de su planeación- soluciones creativas, contraponiendo su propia práctica al término de cada ciclo escolar para renovar la programación del siguiente semestre.

La evaluación de la práctica docente ha sido para la institución un factor de mejora de la calidad educativa. Sin embargo, para el profesor no es un factor que determine su práctica, debido a que su experiencia le proporciona seguridad en su quehacer.

LA PLANEACIÓN DE CLASE

En la preparación de su curso este docente invierte “… muchísimo tiempo antes de que empiece, [él hace] que cada curso [impartido] fuera nuevo, es decir, si lo hubiera dado veinte veces, la siguiente iba a ser la uno, porque iba a ser distinto de los otros veinte, conservando una o varias cosas esenciales…”. Esto da cuenta de su dedicación, dejando en claro que posee un dominio de los saberes de su materia que le ha permitido realizar aportes con una delimitación del enfoque de enseñanza (metas, filosofía, postura epistemológica y didáctica) de la IBERO, en coherencia con los planes y programas propuestos por la institución, en donde se ha previsto una secuencia didáctica con base en la naturaleza de los propios objetivos, seleccionando estrategias para estimular en los estudiantes el autoconocimiento, la reflexión, la actitud crítica y la autocrítica; elementos propios del modelo ignaciano, por lo tanto se puede afirmar que el docente no sólo conoce sino que incorpora el modelo educativo de la IBERO en su práctica.

Respecto a ubicar los saberes en contextos disciplinares, curriculares y sociales amplios –como elemento del MECD- (García-Cabrero, 2008) el profesor mencionó que “… es importante que el estudiante conozca de donde vienen esos conocimientos, pero también que pueda ubicarlos en el momento actual”. Por ello es importante tomar en cuenta el contexto tanto histórico como el contemporáneo, como parte del modelo educativo de la IBERO.

Estructurar los saberes para facilitar experiencias de aprendizaje significativo (García-Cabrero, 2008) es un elemento que en la IBERO se desarrolla a nivel institucional mediante el diseño de las carátulas para las materias a impartirse en licenciatura. Para tal efecto participan él o los especialistas en el contenido que se propone, por lo tanto, el profesor conoce a través de las carátulas el orden de los temas, tipo de recursos y forma de evaluar prevista pero también tiene posibilidad de modificarla al momento en que desarrolla su programa; este docente fue quien elaboró la carátula correspondiente a la materia que imparte por lo tanto conoce los objetivos generales y específicos, orden de temáticas propuestas, recursos bibliográficos y formas de evaluación previstas, sin embargo mencionó que actualiza periódicamente las referencias bibliográficas y si fuese necesario los tópicos que serán revisados durante el curso.

El profesor considera que es importante establecer claramente y en acuerdo con los alumnos, las reglas de convivencia, sustentadas en valores universales, como respeto a los derechos humanos, justicia, equidad, además de definir reglas de convivencia en el aula; si bien, estas son algunas de las reglas planteadas a los alumnos desde el inicio del semestre.

Para lograr el cumplimiento de los objetivos de aprendizaje y tener claridad en los procedimientos de evaluación, el docente diseña experiencias de aprendizaje en diferentes niveles; mediante la vinculación de conocimientos previos con los nuevos aplicados a la solución de problemáticas que se pudieran presentar cotidianamente, recurre a referentes teóricos clásicos y contemporáneos, desarrolla trabajo colaborativo a través de actividades tanto individuales como en equipo en donde todos participen para alcanzar el objetivo común sin descuidar los propios. A su vez, promueve en todo momento que los alumnos se expresen utilizando el lenguaje técnico propio de la materia, que argumenten sus reflexiones tanto orales como escritas y que justifiquen las decisiones que deban tomar. Por lo tanto, se observaron las competencias de comunicación oral y escrita, liderazgo intelectual, discernimiento y responsabilidad (competencias genéricas del modelo de la Ibero).

Estos elementos, aunados a las características de los estudiantes, han permitido que el docente proponga experiencias detonadoras de la dialéctica entre el conocimiento y el pensamiento, enfocada en el potencial creativo de la cognición humana, la descripción y prevención de las acciones didácticas. Estas experiencias permiten identificar cuál ha sido la trayectoria de aprendizaje del docente en torno a los elementos pedagógicos que definen sus labor docente (Engreström, 1999).

Este profesor dijo no Incorporar el uso de Tecnologías de la Información y la Comunicación (TIC) dentro del aula, sino que recurre a estrategias más tradicionales como el diálogo y preguntas directas a los estudiantes. Además, propicia la interacción continua entre los conocimientos previos y los nuevos, en relación con el contexto, promoviendo la reflexión continua. Utiliza las TIC, particularmente el correo electrónico, como un medio de comunicación para retroalimentar tareas y participaciones de los alumnos; promueve que los estudiantes busquen en Internet información certera relevante y veras.

Por lo tanto la prevención del proceso de enseñanza y de aprendizaje constituye una actividad que además de implicarle tiempo para determinar contenidos, actividades, seleccionar recursos, diseñar la evaluación y actualizar bibliografía hace evidente el conocimiento que posee el profesor sobre la materia. Durante este proceso el docente incorpora algunos elementos de las seis competencias genéricas que el estudiante debe desarrollar, lo que constituyó un referente durante las observaciones de sus clases, para lo cual también se tomaron en cuenta las competencias de propuestas en el MECD (García-Cabrero, 2008).

INICIO DE CLASE

Para el inicio de la clase el docente invertía un promedio de 30 minutos haciendo preguntas y dialogando con el grupo entorno al tema de la clase anterior, él considera que “… es importante recuperar lo que los alumnos han aprendido y resolver todas sus dudas antes de poder iniciar otro tema, así podrán aprender lo nuevo…”, esto se vincula con la perspectiva de Engeström (1999: 382) en donde se incorporan las nociones de dialogalidad y multivocalidad:

La construcción de objetos mediada por artefactos no sucede de manera aislada o en concordancia armónica […] es un proceso colaborativo y dialogal en el cual distintas perspectivas y voces se encuentran, chocan y se fusionan. Estas diferentes perspectivas están arraigadas en diferentes comunidades y prácticas que siguen coexistiendo dentro del mismo sistema de actividad colectiva.

Posteriormente el profesor informó a los alumnos cual sería la temática a desarrollar durante ese día, mencionó cual fue la finalidad de revisar esos temas y su relación con los tópicos desarrollados previamente así como con aquellos que serán trabajados más adelante.

En seguida contextualizó los nuevos conocimientos mencionando algunos datos históricos sobre el autor y de la obra revisada durante las sesiones observadas. De esta forma, presentó un panorama general al estudiante, lo que en palabras del profesor permite que “… el estudiante conozca de forma general en dónde fue desarrollado el texto, cómo fue la vida del autor y así poder comprender mejor el contenido que se analiza”; este elemento de contextualizar los nuevos conocimientos además de ser parte del inicio de una sesión como parte de un modelo instruccional (Gagné 1976) también es un componente esencial de la pedagogía ignaciana.

Durante las clases observadas la interacción entre estudiantes y profesor fue cordial, promoviendo la libertad de expresión, en un ambiente de comprensión y entendimiento. Factor que facilitó la atención del estudiante en el desarrollo de la clase (Metts, 1999), situación que favoreció el cumplimiento de los objetivos de aprendizaje previstos.

El profesor considera que es primordial el aprendizaje de los estudiantes antes que el cumplimiento administrativo de los temas, ya que es frecuente en muchos docentes la preocupación por cubrir el programa sin cuidar que tanto los estudiantes aprendieron. Este rasgo hace evidente la competencia de compromiso integral humanista hacia los estudiantes.

En medida que el docente recupera y resuelve las dudas de los estudiantes a partir de sus conocimientos previos, contribuye a disminuir la tensión de nivel secundario que surge en ellos a partir de que encuentran “… un nuevo elemento de una actividad, y los procesos para asimilar el nuevo elemento en la actividad causa conflicto.” (Engreström, 1987). Esta estrategia, además le sirve al profesor como un medio para lograr el aprendizaje significativo.

DESARROLLO DEL PROCESO DE ENSEÑANZA Y DE APRENDIZAJE

El MECD señala que el docente debe seleccionar o construir materiales didácticos y de evaluación. Este docente dejó en claro desde la primer entrevista que en sus clases no utiliza presentaciones en power point, o videos de internet, durante las grabaciones de clase se observó que recurre a la dialéctica como estrategia que le permitió interactuar con sus estudiantes, involucrándolos permanentemente en el dialogo, cuestionando sus opiniones para que argumenten sus respuestas y así de manera colaborativa construyan el conocimiento. Esto le implicó al docente desarrollar la capacidad de liderazgo intelectual, competencia genérica propuesta por la IBERO, a través de una selección de los recursos utilizados con base en el conocimiento profesional e interdisciplinario y el dominio metodológico de investigación propio de su materia.

Respecto a la construcción de recursos para la evaluación del aprendizaje (como elemento del MECD), es el propio docente quien elabora los exámenes que serán aplicados en tiempo y forma establecidos, en coherencia con lo que ha previsto en su programa de clase. Realiza una evaluación con base en un enfoque centrado en el aprendizaje de los alumnos, situado y colaborativo, recurre a metodologías que posibilitan la incorporación de principios y valores de responsabilidad social, tal como lo indica el Marco Conceptual para el Diseño de Planes de Estudio del Sistema Universitario Jesuita (Ibero, 2010).

El docente considera como parte de su materia espacios en donde los alumnos puedan establecer relaciones con profesionales de su área y de otras disciplinas e instituciones. En congruencia con esto, a mediados del semestre invitó a los alumnos a participar en el coloquio organizado por su departamento para celebrar los 55 años de la licenciatura, en el cual participaron académicos e investigadores tanto de la IBERO como de otras instituciones. Dicho evento aportó a la formación de los estudiantes, experiencias que después se recuperaron en el aula para promover un análisis de la realidad social y cultural basado en los fundamentos teóricos revisados en la materia y durante el coloquio.

La IBERO demanda del profesor el diseño de su programa con base en un modelo por competencias; por ejemplo, la competencia genérica de comunicación, que le provoca tensión en un nivel secundario, lo que resuelve a través de la interacción que desarrolla con sus estudiantes, establece contacto visual al momento de responder a sus preguntas, si se presentan algunas situaciones imprevista las soluciona a través del dialogo; siendo así congruente con la exigencia institucional y con la competencia docente de interacción considerada en el MECD.

Si bien este profesor no utilizó recursos tecnológicos para el desarrollo de las temáticas, sí mantuvo comunicación continúa con los alumnos, en todo momento mantuvo contacto oral, visual y gestual con los estudiantes, haciendo tangible el desarrollo de un modelo comunicación centrado en el proceso (Kaplún, 1987) en donde lo importante es la formación de la persona durante el proceso y no solo el resultado.

El profesor también desarrolla en sí mismo la competencia de compromiso con la formación porque durante el desarrollo de la clase responde las inquietudes de todos y cada uno de los alumnos. Además, trabaja con estudiantes que presentan dificultades dentro de la clase mediante las asesorías en su cubículo. El profesor considera que “… lo importante son ellos, son nuestra razón de ser”.

Dentro de cada una de las clases observadas, el profesor proporcionaba realimentación a las participaciones de los estudiantes, justificando porque su respuesta aportaba a la clase, esto dio cuenta de la afectividad dentro del aula (García-Cabrero, 2009). La retroalimentación se hacía presente también al momento en que regresaban los trabajos a los estudiantes con comentarios y no sólo con una calificación, aunque no siempre de manera rápida puesto que en ocasiones tarda hasta dos semanas en regresar las tareas con alguna anotación; dice que esto se debe a las actividades que desarrolla en el departamento y que lee detenidamente cada una de las tareas de los estudiantes.

El docente provee continuamente oportunidades equitativas de participación (García-Cabrero, 2009) en el aula, realiza preguntas abiertamente a todo el grupo y motiva a que respondan el mayor número de estudiantes y que no siempre sean los mismos. A su vez, promueve el pensamiento crítico a través de la comprensión y análisis de los textos; considera que es importante lo que cada estudiante aporta porque de esta forma puede valorar el progreso de cada uno de ellos a los largo del semestre, valorando la apropiación de los conceptos y temáticas. Menciona que la participación de los estudiantes incluso le permite identificar las áreas en las que se presentan dificultades para incorporar estrategias que posibiliten la mejor comprensión de los contenidos. Situación que contribuye a disminuir la tensión provocada por tener que desarrollar un programa por competencias, debido a que a través de estas actividades promueva la competencia de liderazgo intelectual.

El docente valora el desarrollo del pensamiento y argumentación critica mediante la producción y comprensión escrita, para lo cual ha sido necesario que los estudiantes hayan desarrollado previamente la habilidad de interpretar la información provista, fomentando el desarrollo de las competencias genéricas de: comunicación oral y escrita y de liderazgo intelectual. Por otro lado, coincide con el elemento de revisión y retroalimentación de las tareas, previsto en el MECD.

El profesor involucra a los estudiantes en los procesos de autoevaluación, evaluación y coevaluación; lo cual se observó en una de las sesiones en donde preguntó a los alumnos ¿cómo han sentido el avance de las sesiones?, sus comentarios se convierten en elementos que le permiten decidir si mantiene o modifica las dinámicas implementadas, ejemplos y tareas, para alcanzar los objetivos propuestos.

La evaluación del aprendizaje que realiza el docente está en coherencia con lo propuesto en el modelo educativo de la IBERO pues incluye mecanismos e instrumentos permanentes y sistemáticos para evaluar el logro de los estudiantes, recurriendo a estrategias que faciliten la incorporación de los principios y valores de responsabilidad social con un enfoque centrado en el aprendizaje del estudiante (IBERO, 2010); incorporando así no sólo elementos del diseño por competencias sino de la pedagogía Ignaciana y con ellos minimiza la tensión en nivel secundario que se le presenta ante el nuevo currículo.

Las observaciones dieron cuenta de la estructura lógica de ideas y sustento teórico que el docente presenta a los alumnos, dejando en claro el dominio tanto teórico como experiencial de su disciplina a través de los ejemplos y presentación de datos relevantes de manera clara e interrelacionados con hechos históricos en diferentes épocas en relación con situaciones actuales; siendo el dominio disciplinar una competencia docente considerada tanto en el perfil ideal del docente de la IBERO como en el MECD.

Las tensión no sólo se presenta al docente, también podría hacerse presente entre los estudiantes en un nivel secundario (Engeström, 1987) a medida en que se les propone un nuevo elemento en la actividad, pero es bien resuelta por el docente debido a que proporcionó explicaciones y respuestas claras a las dudas de los estudiantes, demostrando control y dominio de los contenido, disminuyendo de esta manera la tensión.

La estrategia central de este docente es la retórica, siendo su lenguaje una herramienta de persuasión para atraer a los alumnos a los textos revisados, analizando los conceptos en función del momento histórico en el cuál fueron escritos y su relación con los sucesos actuales, con la finalidad de construir un discurso contemporáneo con base en diversos artefactos como documentos, artículos y discusiones en clase, considerando que:

… los artefactos desempeñan un papel estructural en las prácticas de trabajo […] no se limitan a estar ahí; evolucionan o son sustituidos y existe una dialéctica continua entre lo que se considera formas estructurales o procesales, estables o dinámicas, representacionales o discursivas de las prácticas de trabajo. (Engeström y Middleton, citado en Daniels, 2003: 131).

El manejo que el docente tiene de los artefactos (programa, plan de clase y textos seleccionados) como elementos de gestión, le permiten superar la tensión de nivel secundario al tener claridad en su planeación sobre las actividades que desarrollan los estudiantes, así como los momentos e instrumentos que utilizó para evaluar el aprendizaje de los alumnos.

Respecto al modelo educativo de la IBERO, se pudo identificar durante las clases observadas que el docente de manera deliberada plantea dilemas morales donde los estudiantes casi inevitablemente tienen que descubrirse confundidos o en conflicto interno, ya que “de manera deliberada pretendo que mis cursos sean ocasión para que mis estudiantes reflexionen sobre ellos mismos y sobre su vida”.

El clima en clase en todo momento promovió la oportunidad de participación con equidad para todos los estudiantes. Esto constituye una de las dimensiones afectivas de la docencia (Rompelman, 2002), las cuales a medida en que son incorporadas durante el desarrollo del proceso formativo pueden llegar a tener un impacto positivo en el crecimiento personal de los estudiantes; considerando las actitudes de los estudiantes, sentimientos y creencias, brindando la oportunidad para que los estudiantes participen e incorporen sus conocimientos previos.

CIERRE DE CLASE

Para el análisis del cierre de la clase se tomó como referente el modelo de diseño instruccional desarrollado por Gagné (1976), quien considera esta etapa como el momento en que el docente recapitula las ideas centrales desarrolladas durante la clase de ese día y también puede ser un espacio para que el profesor realice recordatorios o reciba tareas encargadas con antelación.

El docente retomó conceptos esenciales revisados durante la sesión con el fin de que el estudiante discrimine lo más importante y valore otras posibilidades de relacionar estos tópicos con diferentes realidades, además recuerda las tareas para la siguiente clase.

Este caso ejemplifica el quinto principio de la teoría de la actividad que “… proclama la posibilidad de transformaciones expansivas en los sistemas de actividad... Una transformación expansiva se logra cuando el objeto y motivo de la actividad son reconceptualizados para dar cuenta de un horizonte de posibilidades radicalmente más amplio.” (Engeström, 1987).

IBEROIDAD

Durante el proceso del trabajo de campo surgió el término IBEROidad como categoría emergente en este profesor, como un elemento que él identifica como característico de algunos docentes de la IBERO. Es decir, su forma de ser, de interactuar entre ellos y con los estudiantes, de vivir, de compartir sus conocimientos, actitudes que reflejan los principios fundamentales del modelo educativo de la universidad. Se trata de un liderazgo al estilo jesuita, pensar más para los demás.

Como un elemento que explica o que busca identificar un ethos docente, es decir; una forma de ser, de entender y vivir la docencia en la Ibero, donde el profesor se identifica como un profesionista con dedicación, pasión y vocación por la enseñanza y no solo como un empleado sino como uno de los elementos centrales del proceso de enseñanza y de aprendizaje, con dedicación y compromiso para que los estudiantes de la IBERO reciban una formación más allá de su campo profesional, se promueve que sean personas con responsabilidad social, capacidad de análisis y reflexión, capaces de desarrollar propuestas creativas e innovadoras para problemáticas particulares en beneficio de la comunidad.

Es entonces la IBEROidad una forma de vida, una filosofía de ser en lo cotidiano en donde se vincula la teoría y la práctica a través de la pedagogía Ignaciana como método educativo. Así, estos docentes comunican con espíritu Ibero, viven y transmiten la responsabilidad social a través de sus acciones cotidianas.

CONCLUSIONES

La actividad docente en la IBERO, es para algunos profesores una práctica influida fuertemente por el modelo educativo y los valores que en él se resaltan, donde el profesor promueve que el estudiante se forme con alto nivel de vocación y compromiso para contribuir en la solución de las problemáticas más apremiantes de la sociedad.

Se confirma a la práctica docente como una profesión compleja, en la que convergen y se entretejen tanto factores institucionales como personales que le dan un estilo específico a la actividad docente. Para el caso analizado, la docencia en la IBERO es permeada por su misión, su visión y su filosofía educativa, que se concretan en su modelo humanista y se observa a través de la pedagogía Ignaciana. Contrario a lo esperado, la evaluación docente realizada por la institución no es un elemento determinante que afecte o altere el proceso formativo que el profesor desarrolla con los estudiantes.

El profesor analizado considera al estudiante como elemento central y vital en el proceso educativo e incluso como la razón de ser y existir de la universidad. Busca ir más allá de la mera instrucción; en congruencia con el modelo educativo de la IBERO promueve la participación de los estudiantes en la sociedad de manera crítica y reflexiva. De igual manera identificó al humanismo como un elemento característico del modelo educativo de la IBERO y a la pedagogía Ignaciana como el método a través del cual lleva a cabo la formación de los estudiantes. Se confirma que el docente enfrenta continuas contradicciones generadoras de tensiones entre las formas ya probadas y los nuevos paradigmas. Tensiones que son diluidas y resueltas a partir de incorporar los conocimientos que ha adquirido a lo largo de su experiencia tanto profesional como docente.

Se pudo comprobar que la planeación se convierte en un artefacto que ayuda a disminuir las tensiones generadas a partir de las demandas institucionales. Así, la planeación contribuye al desarrollo de habilidades, actitudes y conocimientos de los estudiantes, con una perspectiva de responsabilidad social; todo ello en un ambiente de respeto para comprender su misión, destino y rol que juegan como factor de progreso social, económico y tecnológico sin perder su esencia, siendo congruentes con el modelo educativo de la IBERO.

La IBEROidad es un elemento característico de este docente destacándose como una forma de ser, de vivir y transmitir los elementos del modelo educativo, trascendiendo a una práxis que ha logrado incidir en la formación con responsabilidad social y humanística de los estudiantes.

32 La Red de Investigadores sobre Evaluación de la Docencia (RIED) surgió con la finalidad de indagar sobre los procesos de evaluación que se desarrollan principalmente en las instituciones de educación media superior y superior. Han realizado propuestas de instrumentos y procedimientos de evaluación de la práctica docente, incorporando una visión de la evaluación encaminada a la formación del profesor y no únicamente con fines de permanencia o promoción.

33 La información del contexto presentada, se recupera del Plan Estratégico 2007-2011, sin embargo, en un Plan anterior (2000-2010) es donde se desglosan los planes de acción sobre evaluación educativa.

Metaevaluación de los sistemas de evaluación de la docencia META-EVALUATION OF SYSTEMS FOR THE EVALUATION OF TEACHING

Robert Stake

The wheel of evaluation in education is ancient. Formal,

technical evaluation is modern. Formal meta-evaluation is modern

Our topic today is meta-evaluation, the evaluation of evaluation. We evaluate how well we evaluate. The concept is old. Systems for meta-evaluation are new.

The term “meta-evaluation” was a gift from Michael Scriven, who was with us in person when Red Iberoamericana de Investigadores sobre Evaluación de la Docencia (RIIED) met in Bogota and by telephone when RIIED met in Lima. He frightened some of us with his predictions, saying that higher education was about to plunge into global standardization. But we should be pleased with Michael’s thinking about meta-evaluation, for it fits our own.

When we evaluate something, such as a rocky beach beyond Ensenada, we might think how beautiful or useful it is. But we also wonder if we are doing a good enough job of seeing its strengths and weaknesses. We wonder. Then we may look some more.

We wonder. Then we may challenge our own observations and interpretations. Both by repeatedly looking and by being skeptical, we are meta-evaluating. All of us do such meta-evaluating all the time.

All we know, all we know about evaluation, and about measurement of teaching competence, applies to meta-evaluation. We pay attention to both process and to product. We separate formative from summative evaluation. We ponder the importance of context and circumstance. With not everything weighted the same, we pick and choose which beads to caress.

We seek quality, goodness, and strength and weakness, negligence and bias, in how we have evaluated and what we have found. Throughout our work, we know that there is never just one single kind of merit. We know that merit is multi-dimensional. Some merit is more a matter of worth, or of quality, or of significance, or of facade, but we should finish the assessment with some complex picture of merit.

We know that any perception of merit can change over time, from place to place, and across circumstances. We know that different people see things differently, with no-one always having greater acuity than the other. We find many views, and we apply all we can to meta-evaluation.

THE OUTCOMES OF TEACHING

We members of RIIED are seekers of the merit of teaching, the multiple merits. Would that we could find the true products, the advances in reasoning, the intellectual maturities! They lie mostly beyond our reach. In one classroom we observe: The patient explanation. In another we observe: An instance of guidance of a non-conforming student.

We seek the process and products of teaching, the obligations of the teacher to judge and to make diagnoses for student self-improvement. How well we do all this is scooped up, scooped up, into the bag called meta-evaluation.

SYSTEMS OF TEACHER EVALUATION

Although our work is characterized by the evaluation of individual teachers, we work in an evaluation system. We evaluate the teachers individually, mostly individually. We try to operate a uniform system for all teachers. We can call it an assessment system or an assessment process or an evaluation-of-a teaching program.

The quality of the evaluation system is why RIIED members have in these years gathered in Mexico City, in Buenos Aires, in Bogota, in Lima and now in Baja. We are here to improve individual teaching but we are here to improve how we do “teaching evaluation” on each of our individual campuses, and how we do it together, collectively, as a teaching profession.

A system for the evaluation of teaching could be thought of as simply the collection of evaluations for individual teachers. The quality of the system could be thought of as the aggregated quality of the individual evaluations. Process and product. Summative and formative. All the complexities. The argument would go: If we are doing a good job of evaluating individuals, then we must be doing a good job of evaluating teaching for the campus as a whole.

BUT THE QUALITY OF THE SYSTEM CAN BE THOUGHT OF A DIFFERENT WAY.

We acknowledge that a system is a different creature from a teacher? Is it not true that the criteria for a good system will be different from the criteria for a good teacher? The quality of the system is shown in the effectiveness of its many operations.

We might also think of RIIED as a system, RIIED as a meta-evaluating system. We members of RIIED review the teacher evaluation work on our own campuses and elsewhere. The RIIED agenda is meta-evaluation, informal for the most part, but the potential for formal reviews is present.

And then there is the evaluation of RIIED. Graciela Cordero is one of the leaders of RIIED. She thinks, “Do we have enough thinking the way Jose Dias Sobrinho thinks?” That is meta-evaluating the system.

To repeat, the quality of a system is shown in the effectiveness of its many operations. For us, effective operations include recognizing that the purposes and practices of teaching are not uniform across the campus. One department, for example, is working to limit the number of practitioners in its discipline.

On my campus, that might be Veterinary Medicine. They think they already have too many animal clinics. Another department, maybe Sociology, is offering all applicants equal opportunities to master its discipline. Teaching excellence will be defined differently in those two departments.

An effective evaluation system will recognize different expectations of teaching across campus, and even within departments. The evaluation of a system acknowledges that this system shares some common features with other systems, but operates with standards of performance tailored to its special environment.

Systems, in common, require leadership, maintenance, economic constraint, accountability, ethical standards and more and more—such characteristics are enumerated by accrediting bodies. A system evaluates itself and is evaluated by others. How good are those evaluations? The processes of meta-evaluation find out how well the system is getting evaluated. When the system is a teacher evaluation system, it needs to know the quality of the evaluations being made of individual teachers, but quite a bit more than that.

Scriven’s Meta-Evaluation Checklist. Michael Scriven (2011) has long been working on meta-evaluation guidelines. What are the general characteristics of meta-evaluation for programs, processes, products and individual performances? Let us look at the generic meta-evaluation as presently voiced in a widely circulated memorandum by Michael Scriven.

Michael identified six targets of meta-evaluation:

1. Validity

2. Credibility

3. Clarity

4. Propriety

5. Cost-utility

6. Generalizability

Note that these are primarily the virtues of measurements and information. The virtues of the evaluation system will have to go further than measurement. But first we deal with that.

Michael urged us to recognize that the first, validity, is most important in coming to understand the quality of the measurement of the quality of teaching. A meta-evaluation, he said, must examine the evaluation findings for validity. Have the right things been evaluated well? This includes checking to see if the evaluation design and operation conform sufficiently to the expectations of people involved, and that there was search for findings suitable for use in anticipated situations, and with orientation to issues experts would recognize as important in such an activity.

Second, by validity, Michael means that the meta-evaluation would tease out whether or not the findings and their argument were sound, namely that good evidence had been found for the issues at hand, that is, that the evaluation findings had “truth-value.”

So for the assessment of one teacher’s teaching quality, in all its dimensions, data-gathering methods would be checked, including the administration of instruments and sensitivity to the situation, to confirm the appropriateness of meta-evaluation

With instruments and situations the same for all candidates, this is a doable task.

But for assurance that the scores are valid indicators of teaching merit for the purposes involved, such as self-improvement or reassignment of duties, further inquiry is needed. In practice, meta-evaluation is not expected to provide assurance that each score is valid but that the overall procedure is valid and that especially important scores and doubtful appearing scores are given further attention. Scriven’s checklist does not provide methods for measuring validity, but clarifies the complexity of validation.

Michael went on to explain the other five targets. Credibility is to be found in reasonable and coherent information, appealing to the logic of clients, stakeholders, and others. Is the evaluation truly independent? Or is it even a bit controlled by people hoping for showings of high merit, or absence of it?

Clarity is to get comprehensibility with concision, reducing errors of interpretation. Propriety is to take care of ethical and legal obligations and conventions. Cost-utility draws attention to whether or not the evaluation was economically pursued and whether or not the evaluation process had hurtful consequences. And last, generalizability, which commends the evaluation activities for being useful in other situations, recognizing that this may be hard to do without losing the “tailoring” of the inquiry to the uniqueness of evaluand and contexts. Obviously, these criteria deserve hours of study.

This Meta-Evaluation Checklist contains detailed and sweeping considerations beyond those I have mentioned today.

META-EVALUATING PERSONNEL SYSTEMS

The targets for personnel evaluation systems are narrower and more situated. Again, the process will closely examine measurements of individuals, but go further. Unfortunately, little research is being done on the quality-control of campus systems or department programs of teaching assessment.

Specifically for systems of evaluation, assessment offices, and collaborative workshops for improving teaching, -all needing meta-evaluation- (Darling- Hammond, Wise, Klein, 1999; Stenhouse, 1983), there is a set of formal standards called The Personnel Evaluation Standards, revised in 2009 by the Joint Committee on Standards for Educational Evaluation, chaired by Arlen Gullickson, the successor to Daniel Stufflebeam, one of the leading authorities on meta-evaluation.

These personnel standards are grouped under four main headings: Propriety, Utility, Feasibility, and Accuracy. Obviously the main questions are: Do the assessment procedures follow the rules? Are the findings useful? Are the procedures practical? Are the measurements accurate?

Accuracy Standard A-7 for Bias Control, for example, reads: “The evaluation process should provide safe-guards against bias, so that the evaluatee’s qualifications or performance are assessed fairly.” Its following illustration tells of an administrator believing that women do not teach biology as well as men and observing by himself their teaching rather than finding a neutral observer.

The responsibilities of a teaching assessment system are complex and dependent on the operations of department and university. In my view, too much bureaucracy is needed to do the meta-evaluation formally. And too much improvisation is needed-by each administrator--to do the meta-evaluation intuitively. Much meta-evaluation is done with little care. And with some justification, we concentrate on the question of getting at least minimally good assessments of individuals.

We wish we could accurately represent quality of teaching in a few scores. In tight circumstances, we settle on only a few vague indicators for each teacher. Sometimes each teacher gets a profile, or a cumulative file, or a fruitcake of opinions, or a record of duties fulfilled. It may be one summary score or pages and pages of description, but still not be much more than an allusion to the complex goodness of teaching.

MERIT IN TEACHING

Two years ago, Gloria Contreras, Isabel Arbesú and I presented to you, a paper on evaluation of a university, quickly narrowing it to an inventory of potential assessments of teaching. We wanted to make the point that a small number of competencies is highly inadequate. Here is our graphic from that paper. Following the logic of the paper, a complete record, for each teacher, would include categories of indicators and records, criteria and critical incidents:

1. Teaching Performance

2. Teaching Competence

3. Curricular Interpretations and Applications

4. Accomplishments of Students

5. Teacher Duties Fulfilled

6. Personal Dispositions

7. Teamwork Shown

As you know, each of such categories can be broken down further into subcategories and sub-subcategories. Is it an infinite spiral down which we could swoop to get further and further details of quality of teaching?

Back to listing subcategories of teaching quality we have hundreds of criteria such as: heeding official regulations, respecting student values, appreciating student living conditions, collaborating with other teachers, the usual stuff. Here I want to include “critical incidents:” personal happenings hopefully more dependable than gossip. Think of the really important event that only happened once? Or for understanding campus teaching systems, are these critical events trivial?

With each criterion and critical incident, we have some indication of the teacher’s standing. Whether in the form of scores, or photographs, or vignettes or profiles, it could be right on the mark, exquisitely accurate, or it could be way off the mark, not dependable at all, not only inaccurate but false. And putting all of them together, “synthesizing,’ as Michael Scriven would say, “Is the composite on or off the mark?” We are meta-evaluating our assessments of teacher quality. The components get meta-evaluated and the synthesis also gets meta-evaluated.

I should have left time to speak particularly about the role of meta-evaluation in “formative evaluation.” And I should have spoken of professional obligations to meta-evaluate. We should not presume that meta-evaluation is or can be free of bias. Bias is another matter that Scriven (1988) has written about insightfully. Maybe we should take up bias as a main topic next year.

REALITY CHECK

Occasionally, in any faculty, important decisions are made on the basis of assessments of teaching. Accurate information is essential. Reasonable expectations are important too, with neither too much nor too little expected from the measurements we have capacity to make. It is important to question whether the assessments are valid and comprehensive. Informally, we meta-evaluate the assessments of teaching. We could do more.

But to obtain formal meta-evaluation, beyond a bare minimum, would be expensive. It needs research and operational time. And even then, improvement in the quality of assessment would probably be small. If we added 25% to the total assessment budget for better data gathering and meta-evaluation, we probably would not improve the validity 10%. We probably could improve that much just by being extra careful. Big gains are beyond our reach. In the environment in which we work, we cannot do very much to improve access to the truth about teaching quality.

It is not just the technical development of assessment operations, but the instructional ethos, the ethos that is constraining. From campus corner to corner, the desire to educate is seldom more than half-hearted. From department to department, the providers of data, both teachers and the observers of teachers, are reluctant to give time to making teaching as good as it could be. The users of ratings remain skeptical. The present system of mandated assessment of teaching seems pretty much at a standstill. As you know, evaluation of teaching gets promoted rhetorically but is not a big issue on campus.

There are exceptions. When a teacher is so bad that she or he is actually an embarrassment, something is done. The most common remedy is to set up a review, a board of inquiry.

Such a board may do an acceptable job examining the circumstances. They seldom find that ineffective teaching is the problem. The common problem is a failure in human relationships.

Universities with high and low prestige will continue to tolerate mediocre teaching. There are better things to flaunt. Few campus leaders want to bring their expertise as researchers and administrators to focus on teaching. It is not that important.

Except! Except to that group of teachers who want themselves to teach better, and to a sprinkling of administrators. With them lies the motivation and conscience to improve. If there is to be better meta-evaluation, it will be they who turn the wheel.

METAEVALUACIÓN: HERRAMIENTA PARA LA VALORACIÓN INTEGRAL DEL PROCESO EVALUATIVO DOCENTE DE LA UAEH

Elizalde Lora Leticia

Olvera Larios Brenda Ivonne

Bezies Cruz Patricia

INTRODUCCIÓN

El proceso de evaluación docente institucional de la Universidad Autónoma del Estado de Hidalgo (UAEH) se fundamenta en su modelo educativo y en aquellos elementos identificados en la literatura como indicativos de una enseñanza de calidad en el nivel de educación superior. Como parte de la revisión permanente del proceso se efectúa su metaevaluación, la cual requiere enjuiciar el valor y el mérito desde la preparación, hasta la aplicación de los resultados, pasando por la investigación y su control. Para ello, resulta indispensable incluir no sólo la opinión de quienes toman las decisiones, sino también la de otras audiencias involucradas en el proceso como los estudiantes y los propios profesores. Es necesario tener presente, que así como la evaluación, la metaevaluación tiene una naturaleza técnica, social, política y ética.

Es conveniente precisar, que independientemente de los criterios seleccionados para valorar la propia evaluación, se debe atender al rigor respecto a la obtención de la información y a la consistencia durante el análisis de datos, generando así procesos de reflexión que permitan la comprensión relevante del objeto evaluado. No obstante, a pesar de su importancia, la metaevaluación carece de valoración suficiente por parte de los propios evaluadores. Al respecto, Rueda (2011) coindice con el hecho de que se percibe la necesidad de sistematizar experiencias de evaluación del desempeño docente como punto de partida para someter estos programas a un análisis crítico y mejorarlos.

FUNDAMENTACIÓN TEÓRICA

VÍNCULO EVALUACIÓN-METAEVALUACIÓN

La evaluación en términos formales se integró a la actividad científica a finales del siglo XIX y continuó su desarrollo a lo largo del siglo XX a través del empleo de técnicas, procedimientos y métodos sistematizados enfocados a la dirección de un proceso evaluativo formal. Durante ese lapso, los estudios efectuados permitieron su evolución y actualmente es entendida como un proceso documentado de recolección sistemática de datos e información precisa y relevante, que permite la emisión de un juicio de valor con relación al mérito de su objeto de interés. En este momento, se puede afirmar que la evaluación es una actividad altamente especializada, con presencia en las Instituciones de Educación Superior a partir de la valoración no sólo del aprendizaje de los estudiantes, sino también de los profesores y su práctica educativa, de la calidad de los Programas Educativos y de los procesos de gestión institucional, situación que conlleva necesariamente una cultura de la evaluación (Fernández, 2008).

Dada su relevancia, Díaz (2001) asume como necesaria la identificación de tres momentos imprescindibles de un proceso de evaluación. En el primero, se realiza la valoración de la evaluabilidad para determinar su viabilidad, con la finalidad de planificar y prever si los resultados de la evaluación serán útiles para mejorar aquello que se desea valorar, así como también para detectar posibles dificultades durante el proceso. En el segundo, se incluyen los tipos de evaluación, éstos se determinan por su momento de aplicación en inicial, donde se obtiene un panorama de las necesidades institucionales, individuales o de un grupo de personas. De acuerdo con las bases de la psicología, en la de procesos, la evaluación es indirecta, por lo que se emplean indicadores de ejecución para inferir cómo se llevan a cabo y por lo tanto, cómo se aprecian en conductas específicas. Otra postura, plantea que con esta evaluación se hace referencia a la valoración que se efectúa durante la implementación de cualquier acto educativo y con ello se proporciona retroalimentación permanente. Respecto a la de productos, se identifica en qué medida se han logrado las metas u objetivos propuestos y si los productos generados son de calidad.

De esta forma, una vez que se ha implementado la evaluación desde algún modelo o enfoque determinado, en el tercer momento el punto de interés es la metaevaluación. Se le atribuye a Scriven la autoría de este término, el cual consiste esencialmente en identificar la naturaleza de la evaluación en sí misma (García, 2000). A la luz de estas consideraciones, la evaluación sin su correspondiente proceso valorativo se considera como parcial e inconclusa, siendo necesaria tanto desde el punto de vista lógico, procedimental y social. Así, para Jiménez (1999), la metaevaluación no es esencialmente un proceso técnico, por lo que tiene naturaleza política y ética.

GENERALIDADES DE LA METAEVALUACIÓN

A partir de un recuento histórico del término, inicialmente la evaluación de la evaluación consistió en la aplicación de listas de comprobación para integrar un juicio respecto al resultado de la evaluación (Díaz, 2001). Un ejemplo se identifica en la KEC (Key Evaluation Checklist) creada por Scriven, donde se detalla meticulosamente el proceso y los diversos elementos de la evaluación.

La recomendación de que las evaluaciones se dirijan desde las perspectivas formativa y sumativa, también debe ser considerada para la metaevaluación, ya que de cierta forma se complementan (Letichevsky, Vellasco, Tanscheit y Castro, 2005). En el caso de la metaevaluación formativa, se dirige a lo largo del proceso evaluativo y lo ideal es que su inicio coincida con el de la evaluación. Su principal finalidad es proporcionar al equipo responsable de dirigir el proceso evaluativo, información útil para mejorarlo mientras aún está en curso. Por su parte, la metaevaluación sumativa se realiza al término del proceso, identificando evidencias sobre su mérito y relevancia para los usuarios y otros interesados; otorgando además credibilidad tanto al proceso como a los resultados finales. Mientras la metaevaluación formativa tiene el papel de mejorar el proceso evaluativo a lo largo de su dirección, la sumativa contribuye a la mejora de procesos futuros.

Aunado a lo anterior, resulta de suma importancia determinar aquellos aspectos a considerar para llevar a cabo la metaevaluación. Éstos pueden estar referidos a aspectos formales respecto de la presentación, estilo, uso del lenguaje; cuestiones metodológicas (técnicas e instrumentos), actitudes y conducta del evaluador, de sus clientes y de los evaluandos; los valores implicados y la ética en general.

Payne (1982, citado en Fernández, 2008), agrupó los criterios en cuatro bloques: diseño general de la evaluación (alcance, relevancia, flexibilidad, viabilidad), recogida y procesamiento de datos (replicabilidad, objetividad, representatividad), comunicación y presentación del informe (oportunidad, totalidad), prudencia y propiedad (eticidad, protocolo).

Desde la apreciación de Santos y Moreno (2004), resulta insuficiente incluir evidencias exclusivamente de la calidad de los datos recabados en el informe o sobre el rigor de los métodos aplicados para extraer información, por lo que es preciso preguntarse por la naturaleza de la iniciativa, la finalidad del proceso, las reglas éticas que lo han inspirado, el uso de la información, el control democrático de los informes y las secuelas de la evaluación.

En consecuencia, se proponen seis contextos básicos de exploración. En el de constitución, se estudia el surgimiento de todo el proceso y en el de justificación se analizan los métodos seleccionados para obtener datos, su aplicación, así como el tipo de información recabada y su análisis correspondiente.

En el contexto de presentación, las orientaciones están dirigidas al informe en cuanto a su presentación y adecuación en función de las diversas audiencias; por lo que en el de negociación se precisa la entrega del mismo de forma rápida y directa.

La valoración, incluye la apreciación de cómo se ha realizado el proceso, además de las motivaciones, intenciones, actitudes, presiones y vicisitudes manifestadas por los protagonistas durante la evaluación. Finalmente, se toman en cuenta los derechos de la sociedad respecto al estado que guarda la educación, procediendo a la difusión bajo las reglas consensuadas por los protagonistas.

A partir de los criterios abordados, se aprecia la necesidad de implementar metaevaluaciones holísticas caracterizadas en todo momento por la objetividad, transparencia y ética.

Evaluación docente en la UAEH: caracterización y experiencias de metaevaluación

La presencia de la evaluación docente en la UAEH como un proceso sistemático coordinado por la Dirección General de Evaluación (DGE) data del año 2003. Anteriormente, en la década de los noventa la evaluación se dirigía a una muestra de profesores o bien a aquellos que ingresarían al Programa de Estímulo al Desempeño Docente.

Es importante señalar, que las decisiones en torno a la evaluación son avaladas por un Comité Institucional de Evaluación Docente, órgano colegiado integrado por los coordinadores de los Programas Educativos, secretarios académicos y representantes de las dependencias relacionadas con la docencia en la universidad. Asimismo, este comité participa en aspectos metodológicos del proceso, así como en la metaevaluación.

Actualmente la evaluación docente está fundamentada tanto en los aportes teóricos sobre el tema, como en los perfiles de los profesores incluidos en el Modelo Educativo de la universidad para las distintas modalidades (presencial y virtual) y niveles (bachillerato, licenciatura y posgrado), en los que se imparte clase, incluidas las actividades artísticas y deportivas de medio superior, así como la enseñanza de lenguas extranjeras. De esta manera, los perfiles, están conformados por dimensiones como el ámbito de la formación, características personales para la docencia, competencias docentes, ámbito de la investigación y desempeño institucional. Si bien tales dimensiones están presentes en todos los perfiles, al interior existen atributos específicos que distinguen a cierto nivel o modalidad de enseñanza.

Desde su sistematización y aplicación para todo el personal docente, se ha considerado la importancia de implementar evaluaciones multirreferenciales que incluyen la valoración de la práctica educativa a partir de la información proporcionada por distintas audiencias como directivos, el propio profesor a través de la autoevaluación y los alumnos. Para ello, se han empleado cuestionarios de creación institucional que cumplen con los criterios de validez y confiabilidad correspondientes, así como también se apegan al contexto particular de la universidad, atendiendo con ello al criterio de idoneidad.

Considerando la importancia del desarrollo tecnológico, la DGE incorpora los sistemas de información como estrategia esencial para la aplicación de los instrumentos de evaluación (González, Zacatenco y Pérez, 2012). De esta manera, las audiencias tienen la posibilidad de realizar su evaluación desde cualquier equipo de cómputo con acceso a internet. En el caso de los alumnos, ingresan con su número de cuenta, los directivos y profesores mediante su número de empleado, siendo necesario en todos los casos el NIP.

Una vez que se integran los datos y se aplica la factorización, los profesores consultan de manera personalizada los resultados en la página web institucional, el concentrado de éstos se envía a las autoridades universitarias y a las dependencias relacionadas con la docencia para la toma de decisiones pertinentes.

Es conveniente enfatizar, que en la universidad la evaluación de los profesores se concibe como un proceso dinámico, caracterizado por su diversificación y revisión permanente a partir de diversas experiencias. Desde esta perspectiva, en 2004 se realizó un estudio expost facto para explicar si los alumnos se veían influidos en sus valoraciones por la época en que las realizan. Se seleccionó del semestre julio-diciembre de ese año, una muestra aleatoria de 2,789 estudiantes de 14 dependencias (cuatro preparatorias, seis institutos y cuatro campus) y 38 Programas Educativos (de bachillerato, dos profesionales asociados y 35 licenciaturas). A la muestra, se le aplicó el mismo instrumento de 26 preguntas, para que en febrero-marzo 2005 evaluaran a sus profesores nuevamente. A partir de un análisis descriptivo los resultados se compararon con los del último semestre de 2004 y se aplicó la prueba de Wilcoxon y de signos para dos muestras relacionadas. Se determinó que no existía una marcada diferencia en los programas educativos, excepto en sociología y veterinaria que en su momento eran de nueva creación; en las 26 preguntas no se presentó variabilidad significativa. Se concluyó que no influyó significativamente el momento de la evaluación en las valoraciones y el instrumento era estable (Bezies, Elizalde y Olvera, 2005).

Posteriormente, en 2007 se llevó a cabo un estudio exploratorio, en el cual se analizaron las respuestas de 252 alumnos y 123 profesores de diferentes Campus de la UAEH. El cuestionario, en su primera sección presentaba las 14 dimensiones que en ese momento guiaban la evaluación de la actividad docente y se solicitó su jerarquización en orden de importancia. En la segunda parte, se incluyó la opinión respecto a los instrumentos, período de aplicación, obtención de la calificación para cada profesor y uso de los resultados, ante los cuales se solicitaba expresar desde el total acuerdo hasta el total desacuerdo. En este estudio, también participaron 79 integrantes del Comité Institucional de Evaluación Docente, quienes desde su experiencia identificaron las fortalezas y debilidades del proceso (Elizalde, Pérez y Olvera, 2008).

Al ser los coordinadores de los Programas Educativos destinatarios de los resultados de la evaluación, en 2009 se aplicó un cuestionario abierto para precisar el uso de los mismos, así como de su impacto. Se identificó que los resultados del desempeño docente se asocian principalmente con la permanencia de los profesores en la institución, así como con acciones de retroalimentación para el mejoramiento de su práctica docente. De igual forma, se señaló la relación de los resultados con la acreditación de los programas educativos y el acceso a estímulos económicos. Por lo que se refiere al impacto de la evaluación docente, se encontraron dimensiones relacionadas con la actualización de los profesores y la consolidación de la cultura de la evaluación en la universidad (Elizalde, Torquemada y Olvera, 2010).

En otro momento, en 2011 se metaevaluó la forma en que se lleva a cabo el proceso de evaluación docente a partir de la transición metodológica del año 2010, en la cual se integraron algunos criterios de la evaluación implementada desde 2003, con las dimensiones y atributos incluidos en los perfiles de los docentes del modelo educativo de la universidad. Para detectar los aciertos y áreas de oportunidad se construyó un cuestionario enfocado a la valoración general, aciertos, problemáticas, impacto, aspectos a mejorar y grado de satisfacción. El instrumento fue respondido por 89 integrantes del Comité Institucional. Los resultados mostraron una valoración favorable del proceso en términos generales y se concluyó que incluir la opinión de los miembros de la comunidad permite a los evaluadores detectar las experiencias favorables y desfavorables durante la evaluación de la práctica docente de los profesores (Bezies, Elizalde y Olvera 2012).

Con base en estas experiencias, se han conducido acciones de mejora tanto en la difusión, como en la valoración de la práctica docente referida a los perfiles institucionales y en la diversificación de los instrumentos orientados por nivel, modalidad y áreas de conocimiento correspondientes a los programas educativos de licenciatura tales como económico-administrativas, ciencias básicas e ingenierías, artes, ciencias sociales, humanidades, ciencias de la salud y agropecuarias. En esta medida, ha resultado enriquecedor incorporar a través de la metaevaluación la opinión de las audiencias involucradas en la evaluación docente.

A partir de este marco contextual, el presente trabajo tiene como propósito informar acerca de una fase de la metaevaluación del proceso de evaluación docente institucional, tomando como referencia la opinión de los estudiantes y profesores de la UAEH, identificando así sus fortalezas y áreas de oportunidad.

MÉTODO

En el semestre enero-junio 2013, durante 7 semanas se recabó la opinión de 2,097 profesores y 24,537 alumnos (tabla 1) de todos los niveles educativos en los que se imparte clase en la Universidad (Bachillerato, Licenciatura y Posgrado), provenientes esencialmente de 4 Escuelas Preparatorias, 8 Escuelas Superiores y 6 Institutos, distribuidos como se muestra a continuación.

Durante el período de evaluación docente, estas audiencias tuvieron acceso al cuestionario de metaevaluación en la página web institucional. Se abordaron dimensiones tales como: valoración general del proceso, aciertos, problemáticas, impacto, aspectos a mejorar y grado de satisfacción. Así, el instrumento para profesores estuvo integrado por 40 preguntas y el de alumnos por 33, las cuales en función del aspecto a valorar fueron de respuesta dicotómica, tipo likert, de jerarquización o bien de respuesta múltiple.

RESULTADOS

En este apartado, se presentan de acuerdo con las secciones del cuestionario, los porcentajes y los niveles de jerarquización, los cuales reflejan la opinión y valoración por parte de las audiencias participantes respecto a la evaluación docente institucional. De esta manera, en la tabla 2 se incluye la valoración general del proceso.

El mayor porcentaje de aceptación (92.9%) tanto para profesores, como para estudiantes, se relaciona con la posibilidad de llevar a cabo la evaluación docente en línea a través de la página Web de la universidad. Enseguida, se aprecia un alto porcentaje de aprobación de ambas audiencias respecto a la duración del proceso (91.4%), el cual se aplica en 7 semanas.

En cuanto a los medios de difusión, los carteles tienen la mayor proporción de aceptación (80.4%). Posteriormente, se ubican los spots en radio (75.6%), seguidos de los trípticos (71.6%).

Llama la atención, que el menor porcentaje de aceptación (32.8%), está presente en el hecho de efectuar la evaluación en las fechas establecidas. Al respecto, es importante precisar, que el período de aplicación inicia después del primer examen parcial.

En la tabla 3, se muestra la opinión respecto a las audiencias relacionadas con la evaluación docente.

Desde la apreciación de los profesores, las audiencias con mayor porcentaje de aceptación para evaluar la práctica docente son los alumnos (80.2%), ellos mismos a través de la autoevaluación (67.4%) y los coordinadores de los Programas Educativos (57%) en los que imparten clase.

A partir de la opinión de los alumnos, las audiencias con mayor proporción de aprobación para evaluar la enseñanza de los profesores son los directores de Institutos y Escuelas (65.6%) y ellos mismos como principales destinatarios de la educación (54.5%).

En términos generales, se confirma que la elección actual de las audiencias coincide con la percepción de los participantes del proceso, en cuanto a la intervención de alumnos (67.4%) y directivos (60.5%).

Por lo que se refiere a los aspectos considerados para diseñar las preguntas de los cuestionarios (tabla 4), se presenta a continuación la jerarquización otorgada a partir de su importancia.

Tanto alumnos como profesores, coindicen en la jerarquización, por lo que lo más relevante para la elaboración de las preguntas es tener como referente el área de conocimiento (nivel 1), es decir si la evaluación de la enseñanza se relaciona con las ciencias artísticas, básicas e ingeniería, sociales, agropecuarias, económico-administrativas, de la salud o de alguna lengua extranjera; situación que confirma la conveniencia de atender a las didácticas específicas de las mismas. En segundo nivel de jerarquía, se ubica el nivel educativo al que estarán dirigidos los instrumentos (bachillerato, licenciatura o posgrado), el tipo de asignaturas en las que se valorará la práctica docente (teóricas o prácticas) y finalmente si el cuestionario corresponde a la modalidad presencial o virtual.

En la Figura 1, se representa el porcentaje de respuesta de alumnos y profesores en relación a los referentes principales para el proceso de evaluación docente institucional.

Se aprecia como deseable mantener los perfiles docentes descritos en el modelo educativo para implementar la evaluación de los docentes en la institución. Para los profesores, además se deben tomar en cuenta las características de la disciplina objeto de enseñanza (31.0%). Por su parte, los estudiantes manifiestan la relevancia de su opinión en este proceso (24.7%). En menor proporción (2.4% en los alumnos y 1.0% en los profesores), se identifica la relación del diseño de la evaluación con la actividad semestral de cargas académicas en la revisión de horarios.

En cuanto a la jerarquización de las dimensiones valoradas en la evaluación de los profesores (tabla 5), ambas audiencias coincidieron en su orden de importancia.

En primer nivel de jerarquía, se ubica el ámbito de la formación, donde se evalúan los atributos sobre la formación en el área de conocimiento y el uso de materiales en otro idioma dentro de la clase. Enseguida, se encuentra la dimensión de características personales para la docencia, donde se valoran aspectos como liderazgo, habilidad para motivar y compromiso con su labor educativa. En el tercer nivel de jerarquía están las competencias docentes referidas al dominio del contenido, planeación, manejo de técnicas, recursos didácticos, TIC y estrategias de evaluación. Con menor nivel de ordenación (niveles 4 y 5), se posicionaron las dimensiones de ámbito de la investigación a través del manejo de metodologías y técnicas en el área educativa y disciplinar que imparte, así como el desempeño institucional.

La suficiencia de las dimensiones del perfil para evaluar la enseñanza en la universidad se incluye en la tabla 6.

Tanto alumnos como profesores, manifiestan un alto porcentaje de aceptación en que las dimensiones consideradas para la evaluación reflejan la particularidad de la enseñanza en el contexto institucional de la UAEH (88.6%). Por consiguiente, la mayoría no plantea la necesidad de eliminar (94.4%) o agregar (87.4%) aspectos o dimensiones a evaluar.

Enseguida, en la tabla 7 se aborda la jerarquización de algunos factores en función de su grado de acierto dentro del proceso de evaluación docente.

Los profesores ubicaron en los niveles de jerarquización 1, 2 y 3 los principales aciertos; los cuales se relacionan con el uso de los perfiles como referente para evaluar la práctica de los profesores, la posibilidad de que todos los alumnos evalúen y no sólo una muestra, así como con el hecho de atender a la diversidad tanto de áreas de conocimiento, como de los niveles educativos en los que se presenta la docencia en la universidad. Entre lo menos acertado (niveles 9 y 10), se posicionan el personal y las audiencias que participan, situación que representa un aspecto a profundizar, considerando la importancia otorgada por la institución a la implementación de evaluaciones multirreferenciales.

La tabla 8 contiene la jerarquización otorgada por los alumnos a los aciertos de la evaluación docente.

Los alumnos, destacan en el nivel de jerarquía 1 la evaluación basada en los perfiles de los profesores, los cuales mantienen particularidades de acuerdo con el nivel y modalidad educativa. Asimismo, se percibe como favorable (nivel de jerarquía 2), el acceso de todos los alumnos al sistema para evaluar la enseñanza y la diversidad de instrumentos de licenciatura en función de las áreas de conocimiento (nivel de jerarquía 3). Llama la atención que el aspecto menos favorable (nivel de jerarquía 7) se relacione con el uso de la página de internet, ya que en la valoración general del proceso un alto porcentaje considera adecuado realizar la evaluación en línea.

A continuación, en la tabla 9 se incluye la ponderación otorgada por los profesores a las problemáticas asociadas con el proceso de evaluación docente.

De acuerdo al orden de jerarquización, la mayor problemática (nivel 1) es que los resultados no se toman en cuenta. Desde su apreciación, los resultados no se usan para la toma de decisiones relacionados con la docencia, aunado a la falta de participación por parte de los directivos para evaluar su desempeño (nivel de jerarquía 2). Entre lo menos problemático, se identifica el acceso a la página web institucional y el personal de la DGE (niveles de jerarquía 7 y 8).

Por su parte, la tabla 10 contiene la jerarquización de las problemáticas relacionadas con el proceso desde la perspectiva de los alumnos.

A diferencia de los profesores, los estudiantes posicionaron como la principal problemática (nivel de jerarquización 1), el acceso a la página web. Es importante precisar, que durante el año 2013 ésta presentó cambios en su estructura y por consiguiente la ubicación de la liga para ingresar a los cuestionarios ha tenido distintas ubicaciones visuales, situación que en su momento pudo causar confusión. Asimismo, se posiciona como un aspecto a atender los comentarios manifestados por los profesores respecto a cómo son evaluados por los directivos (nivel de jerarquización 2). Es conveniente señalar, que éstos valoran esencialmente aspectos como identificación institucional, compromiso con la misión y visión, así como con su labor educativa y el desempeño institucional en general. De acuerdo con la posición que ocupa (nivel de jerarquización 10), no es un problema el conocimiento sobre el período de aplicación de la evaluación.

Enseguida, en la figura 2 se representa la opinión sobre aquellos aspectos en los que ha impactado la evaluación de los profesores.

Para los alumnos, tal impacto está presente en la calidad de la práctica docente (18.7%), así como en la mejora del Programa Educativo (15.3%) y en la identificación de fortalezas y áreas de oportunidad (14.2%). Por el contrario, impacta minoritariamente en la asignación de cargas académicas a través de la revisión de horarios (4.0%), en la entrega de reconocimientos a los profesores con mejor valoración (3.7%) y en procesos de evaluación externa (3.2%),

Los profesores concuerdan con los alumnos en los aspectos en los que más impacta la evaluación, es decir en la calidad de la práctica (21.6%) y en la identificación de fortalezas y áreas de oportunidad (20.3%). A diferencia de los alumnos, opinan que a través de la evaluación se mejora el conocimiento que tienen sobre su práctica pedagógica (14.7%). Desde su perspectiva, se ha impactado en menor porcentaje en ejercicios de evaluación externa (3.3 %), entrega de reconocimientos (1.7%) y en la revisión de horarios (1.5%). Cabe precisar, que estos elementos también son señalados por los estudiantes.

La figura 3, incorpora la opinión de los profesores respecto a los aspectos a mejorar en la evaluación docente institucional.

Para los profesores resulta prioritario mejorar lo referente a los cuestionarios (21.2%) y al igual que en la precisión de las problemáticas, se reitera el uso institucional de los resultados generados del proceso evaluativo (18.4%). Con menor porcentaje, se señalan los medios empleados para difundir el proceso (9.7%) y la duración del período de valoración (7.9%).

La figura 4, muestra la opinión de los alumnos sobre los aspectos a mejorar.

Entre los aspectos a mejorar destaca la revisión de las audiencias que participan (19.5%) y el uso de los resultados para la toma de decisiones institucionales (18.4%). En menor medida, se percibe la necesidad de mejora de los instrumentos (12.5%).

Por último, en la dimensión grado de satisfacción, los porcentajes dan cuenta de la buena aceptación del proceso por parte de ambas audiencias, quienes se manifiestan satisfechos en cuanto a la actitud de los profesores, los directivos y de ellos mismos. De esta forma, ocho de cada diez están conformes con la realización de la evaluación docente institucional en términos generales. Particularmente, el 24.6% manifiesta poca satisfacción con el uso de los resultados.

CONCLUSIONES

El enfoque desde el cual se evalúa la actividad docente depende de la concepción teórica de partida y del propósito que se persiga para la evaluación. Al respecto, Rueda (2008) precisa que la evaluación de la docencia debe ser coherente con la filosofía de la universidad y con los procesos de evaluación de otras áreas de la institución. De esta manera, se reconoce que cualquier programa de esta naturaleza debe dirigirse de manera explícita a apoyar el logro de la misión de la institución. Asimismo, el diseño de políticas de evaluación de la docencia debe tomar en cuenta las particularidades del contexto, con el fin de delinear acciones de evaluación congruentes con las necesidades y características de los profesores.

A partir del trabajo realizado se pueden identificar como aciertos de la evaluación de los profesores la referencia a los perfiles docentes, con lo cual se atiende a la diversidad de situaciones de enseñanza, considerando particularidades de ésta en el bachillerato, licenciatura, posgrado, actividades artísticas y deportivas, enseñanza de lenguas extranjeras o en la modalidad virtual. En concordancia con estos planteamientos, Ferreres y González (2006) sugieren que una cuestión esencial para realizar evaluaciones del profesorado, es determinar el perfil deseable o ideal, a fin de describir y considerar las características que debe tener el profesor. A continuación, han de establecerse procedimientos para constatar y recabar información del profesorado.

El tema de los cuestionarios es sin duda objeto de controversia, ya que, si bien para los profesores son un aspecto susceptible de mejora, para los estudiantes éstos constituyen uno de los elementos con menor problemática.

El hecho de que los alumnos estén conscientes de realizar la evaluación de todos sus profesores, estén de acuerdo con la duración y conozcan el período de evaluación revela que están asumiendo el proceso como algo importante y por consiguiente como parte de su vida en la institución. Asimismo, los propios profesores reconocen la importancia de su participación. A pesar de las críticas, toda la investigación realizada sobre estas valoraciones de estudiantes indica que son razonablemente válidas y que no se ven contaminadas en un grado apreciable por factores distintos a la misma calidad docente del profesor (Villa y Morales, 1993, citado en González, 2000)

Resulta alentadora la apreciación de que la evaluación ha impactado mayoritariamente en la calidad de la práctica educativa y por consiguiente, en la mejora de los Programas Educativos ofertados por la universidad, permitiendo a los profesores analizar los resultados de su propio desempeño.

En concordancia con los resultados obtenidos en otros ejercicios de metaevaluación por parte de la audiencia de directivos, uno de los retos del proceso de evaluación docente en la UAEH está relacionado con la consolidación del uso institucional de los resultados. En el presente estudio, esta situación se refleja en el grado de satisfacción; además de apreciarse en las dimensiones de problemáticas e impacto del proceso en lo referente a la entrega de reconocimientos, revisión de horarios para la impartición de las asignaturas y sobre todo en la programación de cursos didáctico pedagógico que permitan fortalecer la relación entre evaluación y formación.

Atención especial merece la página web, ya que, si bien los estudiantes manifiestan un alto grado de aceptación en usarla para efectuar la evaluación en línea, también consideran como una problemática el acceso a ésta. En lo referente a los profesores, es conveniente profundizar en su percepción respecto a las audiencias involucradas en el proceso, particularmente respecto a los directivos, en la medida que su falta de participación es ubicada como la segunda problemática y además los alumnos también otorgan cierto grado de importancia a las quejas de los profesores sobre la evaluación efectuada por tal audiencia.

Tanto para los profesores como para los alumnos tienen mayor relevancia las dimensiones relacionadas con el ámbito de la formación, características personales para la docencia y competencias docentes, donde se evalúa esencialmente lo que se efectúa antes, durante y después de la interacción del profesor con los estudiantes en el contexto de un programa educativo en particular; en comparación con aquellas que valoran el ámbito de la investigación y el desempeño institucional.

En este orden de ideas, la relevancia de la metaevaluación radica en que a través de ella puedan salir a la luz las posibles fallas, abusos, incongruencias, desajustes y problemas que se presentan durante la evaluación. Con esto, se propicia una reflexión profunda que va más allá de confirmar si existe validez o no en el proceso, de la calidad de los datos o de la rigurosidad de los métodos.

Finalmente, la selección de unos u otros criterios para llevarla a cabo estará en función del propósito, así como de la disposición de recursos humanos, económicos y materiales que determinen la viabilidad de su instrumentación en cada institución. De esta forma, una vez realizada, es indispensable valorar sus efectos, consecuencias y cambios generados.

METAEVALUACIÓN DE UN SISTEMA DE EVALUACIÓN DOCENTE EN UNA UNIVERSIDAD PÚBLICA MEXICANA

Edith Juliana Cisneros-Cohernour

Roger Manuel Patrón Cortés

INTRODUCCIÓN

De acuerdo con Izquierdo (1998) los primeros intentos de evaluación del sistema de educación superior se dieron en los Estados Unidos y el Reino Unido a principios del siglo XX. En materia de educación superior y su evaluación, la OCDE, la UNESCO, y la CEPAL han propuesto políticas de aplicación global o regional que han llegado a adoptarse en mayor o menor medida en diversos países. Izquierdo también señala que en los años 80’s, los esfuerzos de evaluación se enfocan por parte del Estado, hacia la productividad en investigación, el control de la calidad de las actividades académicas y el desempeño docente. Una característica común de todas las políticas de evaluación puestas en práctica en diversos países con sistemas de educación superior es que se asocian con la urgencia de nuevas políticas de este sector ante la crisis generalizada de los años 80’s, caracterizada por la inflación, recesión, desequilibrio entre deudas externas y consumo interno, y crisis petroleras entre otras; lo que trajo como consecuencia estragos en los programas sociales y educativos. En materia educativa de educación superior, el Estado como “evaluador” liga el financiamiento a la evaluación de resultados como controlador del gasto y otros aspectos de las instituciones educativas. Brunner (1991) indica que a partir de 1989 varios países latinoamericanos tales como México, Chile, Brasil y Colombia, incluyeron en sus programas nacionales de desarrollo, la evaluación de sus sistemas de educación superior.

Por otro lado, Rueda (2008) señala que la evaluación educativa ha jugado un papel esencial en la implementación de políticas del sector educativo mexicano. Se ha utilizado para mejorar la calidad educativa, desarrollar los programas de compensación salarial, obtener recursos adicionales para las instituciones de educación superior, acreditar programas de formación profesional y rendir cuentas a la sociedad.

Las primeras acciones de evaluación del desempeño docente en México surgen como parte de los programas de compensación salarial a principios de los años 90’s, con la creación del primer programa de estímulos del Gobierno Federal, denominado Programa de Becas al Desempeño Académico y se orientó a la docencia y a la investigación (SEP, 1991). Otras acciones tales como el Programa de Mejoramiento del Profesorado (PROMEP), el Programa de Fortalecimiento Institucional (PIFI) y el Sistema Nacional de Investigadores (SNI) mantienen la asociación de la evaluación con la des-homologación de los salarios condicionada a la productividad académica. En este sentido, la evaluación de la docencia sólo es considerada como condición para acceder a estos programas y excepcionalmente, como información útil para la elaboración de iniciativas institucionales de desarrollo profesional. En estas evaluaciones han destacado la formación de posgrados y los productos de investigación dejando en segundo término la función docente. Aunque estas acciones han contribuido a elevar la calidad de la enseñanza en las universidades, existen dudas fundadas de que se vean reflejadas directamente en la mejora de las prácticas de enseñanza y aprendizaje.

Son pocos los esfuerzos de iniciativas de evaluación que están vinculados con acciones para utilizar los resultados en la mejora de la función docente en las universidades. Además, si se acepta la vinculación de la evaluación con programas de compensación económica, habría que considerar la existencia de personal docente que debido a su situación contractual no participa en los programas de estímulos. La evaluación del personal académico fue impulsada por programas externos a las universidades, sin embargo es factible que localmente se puedan desarrollar acciones que den mayor peso a la función de mejora de la actividad evaluada sin desconocer las exigencias de otras instancias (Rueda, 2008).

METAEVALUACIÓN

El término metaevaluación fue acuñado por Michael Scriven en los años 60’s al afirmar que si la evaluación se aplica a todos los esfuerzos humanos, entonces, la propia evaluación debe ser evaluada (Scriven, 1991, Elizalde, Pérez y Olvera, 2008). La metaevaluación es conceptualizada como aquella investigación sistemática que tiene como objetivo emitir un juicio acerca de la calidad, relevancia, pertinencia o méritos de una evaluación. En este orden de ideas, la evaluación es el objeto de estudio del metaevaluador. La metaevaluación es necesaria para poder atribuirle un valor a cualquier proceso de evaluación. Cardozo (2006:43) define la metaevaluación como “una investigación aplicada, de tendencia interdisciplinaria, realizada mediante la aplicación de un método sistemático, cuyo objetivo es conocer, explicar y valorar una realidad (política, programa, institución, funcionario, evaluación, etc.), así como aportar elementos al proceso de toma de decisiones, que permitan mejorar los efectos de la actividad evaluada”.

Por su parte, García (2000) indica que al igual que la evaluación, la metaevaluación es una actividad multidisciplinaria, por lo que ninguna disciplina científica puede considerarse la ciencia evaluadora por excelencia. Empero la Pedagogía y la Psicología han tenido la primacía en las propuestas teóricas sobre evaluación y metaevaluación. Según Santos y Moreno (2004) la metaevaluación consiste en analizar el proceso de evaluación, esto significa que la metaevaluación es la evaluación de la evaluación. Aunque el prefijo “meta” puede significar “después de”, la metaevaluación no necesariamente se realiza una vez finalizado el proceso de evaluación ya que puede ser paralelo a la misma. Independientemente del momento en que se realice la metaevaluación, los investigadores pueden emitir sus opiniones por escrito o de forma oral de tal manera que puedan identificar los problemas, dificultades o fallas que hayan condicionado el proceso. Es posible aplicar un tipo de metaevaluación a una evaluación que se ha basado en criterios radicalmente diferentes y ver reflejados los abusos, contradicciones, problemas y desajustes. La metaevaluación trata de generar comprensión relevante sobre los programas evaluados convirtiendo la evaluación en un proceso democrático de discusión.

Stufflebeam (1981) plantea que una buena evaluación requiere que sus propios logros sean evaluados, pues frecuentemente muchas cosas son hechas incorrectamente en el trabajo evaluativo. Los principales problemas a verificar en la evaluación son: parcialidad, error técnico y dificultades administrativas, entre otros. Estas comprobaciones son necesarias para el perfeccionamiento de las actividades evaluativas y para evaluar la valía de los logros de la evaluación culminada. Stufflebeam igualmente manifiesta que en el desarrollo de una metodología para la metaevaluación es necesario tener presente una serie de criterios apropiados. Asimismo, la investigación debe llegar a conclusiones que sean válidas interna y externamente, así como auténticas y generalizables.

Bustelo (2004) explica que la metaevaluación no se enfoca en los resultados de las evaluaciones, sino en los procesos de las mismas, revisa si cuentan con evidencia suficiente, si la metodología ha sido adecuada, si las interpretaciones, juicios y recomendaciones fueron lógicamente diseñadas. Cumple dos funciones básicas: la de descripción, análisis y valoración de los procesos de evaluación, y la de seguimiento, fomento y control de la calidad de las evaluaciones.

Según Cardozo (2010) las técnicas de investigación más utilizadas para alcanzar el objetivo de la metaevaluación son las listas de chequeo, el análisis documental y las entrevistas a diferentes actores del proceso. Algunos investigadores consideran como resultados de la metaevaluación tanto sus productos como sus impactos. En cuanto a los productos, se revisa la calidad de los mismos analizando datos de los mismos, interpretaciones, valoraciones, recomendaciones, forma en que son recuperados en los informes, si se entregaron a tiempo y si se dieron a conocer. En lo referente al impacto, se analiza la utilización efectiva de la evaluación, estudiando modificaciones al programa, contribuciones a la política en que se circunscribe y procesos de aprendizaje entre otros.

Finalmente Sime (1998) manifiesta que en la función evaluativa de las instituciones, existen lógicas que distorsionan la transparencia y normatividad de las evaluaciones. Por tanto, la metaevaluación debe ayudar, a través de un esfuerzo de reflexión contextualizada, a visualizar dichas lógicas y a buscar formas más honestas, justas y eficientes de evaluación que nos ayuden a impedir su distorsión en manos de la corrupción, la discriminación y la ineficiencia. Además, representa una obligación ética y científica cuando se trata del bienestar de los demás (Scriven, 1991).

EVALUACIÓN DE LA PERMANENCIA DEL PERSONAL ACADÉMICO

El otorgamiento del nombramiento definitivo, al igual que el derecho a la libertad de cátedra e investigación, al personal académico data desde hace más de cincuenta años. Como afirman McPherson y Shapiro (1999:74), en 1940 la American Association of University Professors (AAUP) y la Association of American Colleges aprobaron la Declaración de Principios de la Libertad Académica y Definitividad que establecen que: “La definitividad es un medio para un fin, específicamente: (1) la libertad para enseñar e investigar y realizar actividades extramuros y (2) un grado suficiente de seguridad económica para hacer la profesión atractiva para hombres y mujeres que poseen la habilidad para la misma”. La libertad y seguridad económica, por lo tanto definitividad, son indispensables para que una institución exitosamente cumpla con sus obligaciones para con sus estudiantes y la sociedad (Metzer, 1990).

El derecho a la definitividad se estableció sobre la base de proteger los derechos del personal académico para dedicarse a la docencia e investigación y apoyar sus metas políticas fuera de su institución. Como afirma Chemerinsky (1997), la definitividad es un mecanismo clave para proteger la libertad académica, ya que una vez que un profesor recibe la definitividad no puede ser sujeto a acciones adversas de empleo, tales como despido sin pruebas de causa justa.

Debates recientes basados en limitantes académicas y críticas en educación superior, han dado lugar a la creación de sistemas para evaluar al personal definitivo. Los que sustentan la necesidad de su creación argumentan que el cuestionamiento a la definitividad debe hacerse debido a que existe reducción en la productividad académica a medida que el profesor envejece (Levin y Stephan,1991; Hammermesh, 1994), mientras que otros investigadores han encontrado evidencia de que no existe tal reducción (Blackburn y Lawrence, 1995), ni de que obtener la definitividad afecta la efectividad del profesor en su docencia después de obtener la definitividad (Rees y Smith).

Los sistemas de evaluación del personal definitivo, también llamados Post-tenure review se constituyeron como sistemas de evaluación periódicos y comprehensivos desde los años ochenta en USA. Estos sistemas de evaluación periódica varían y van desde los informes anuales, revisiones para el otorgamiento de becas y sabáticos, así como revisiones para asignaciones a comités a nivel de facultad o universidad, posgrado, programas interdisciplinarios, jefaturas de departamento o sociedades académicas. Algunos sistemas se enfocan en revisión de las evaluaciones de los cursos y de la docencia, revisión por pares o escrutinio de las presentaciones académicas y publicaciones, así como de las actividades administrativas o de servicio de los académicos.

La AAUP ofrece recomendaciones prácticas para las instituciones que llevan a cabo esta evaluación. La primera de estas recomendaciones hace hincapié en que la evaluación no debe llevarse a cabo para debilitar o socavar los principios de libertad académica y definitividad y advierte particularmente en contra de cualquier sistema general de evaluación que se utilice como base para despedir al personal o para sanciones disciplinarias, ya que existen otros procedimientos formales para tal propósito. Si no existen, deben ser desarrollados separadamente.

La Asociación propone los siguientes estándares para la evaluación:

• La evaluación debe asegurar la protección de la libertad académica (de cátedra e investigación). La aplicación de estos procedimientos no debe intervenir en la esfera de auto-dirección profesional del profesor ni debería ser usada como subterfugio para afectar un cambio programático. La evaluación no debe convertirse en una ocasión con la intención de sacar a la luz evidencia negativa.

• No debe ser la reevaluación o revalidación de la definitividad del profesor. En ningún caso debe ser utilizada como prueba por parte de la administración de la institución para mostrar motivo o causa por la que un profesor definitivo debe ser despedido o para que el profesor trate de probar que debe ser retenido.

• Los estándares y criterios por medio de los cuáles los profesores serán evaluados deben ser desarrollados y periódicamente revisados por el personal académico. El personal académico debería ser quién conduzca el proceso actual de la evaluación. El estándar básico para la evaluación debería ser para que el académico examine consciente y profesionalmente su desarrollo de los deberes asociados con su profesión, no si cumple con los estándares existentes para la adjudicación de la definitividad como las que podría haber cambiado desde el otorgamiento inicial de la tenencia.

• La evaluación debería ser con propósitos de desarrollo y apoyada con recursos institucionales para el desarrollo profesional o para un cambio de dirección profesional. En el caso que una institución decida invertir más tiempo y recursos requeridos para una revisión comprehensiva, debería también ofrecer un reconocimiento tangible a aquellos académicos que han demostrado un desempeño alto o una mejora en su desempeño.

• La evaluación debería ser lo suficientemente flexible para reconocer las diferentes expectativas de diferentes disciplinas y las expectativas cambiantes en diferentes etapas de la carrera profesional del personal académico.

• Excepto cuando los procedimientos de apelación del personal académico indican que los archivos estarán disponibles para los profesores afectados, los resultados de la evaluación deben de ser confidenciales. Esto es, confinados a las personas apropiadas a nivel de facultad o universidad y al miembro del personal académico que es evaluado, su distribución debe ser sólo a discreción o consentimiento del profesor evaluado.

• Si el sistema de evaluación se suplementa o suplanta por la opción de un plan formal de desarrollo, ese plan no debe ser impuesto al miembro del personal académico de forma unilateral, sino ser producto de mutua negociación. Se debería respetar la libertad académica y la autodirección profesional, y debería ser lo suficientemente flexible para permitir una posterior alteración o su abandono. El estándar aquí enfatiza que debe haber buena fe en ambas partes – un compromiso para mejorar por parte del académico y el adecuado apoyo para el mejoramiento por parte de la institución – en lugar de cumplir literalmente con un conjunto de demandas no negociables o de exigencias rígidas, cuantitativas o de otro modo.

• Un profesor debe tener el derecho a hacer observaciones en respuesta a las evaluaciones, y para cuestionar los resultados y corregir el registro apelando ante un comité debe tener los mismos derechos de comentar y de apelación en relación con la manera en que se formula cualquier plan de desarrollo individualizado, el contenido del plan, y cualquier evaluación resultante.

• En el caso de que las evaluaciones repitan o revelen continuos problemas persistentes con el desempeño de un académico que no se prestan a una mejora después de varios esfuerzos, y que ponen en duda su capacidad para desempeñarse en esa posición, entonces otras posibilidades, tales como una reasignación de mutuo acuerdo a otras funciones o la separación, debe ser exploradas. Si éstas no son viables, o si se puede encontrar otra solución aceptable para las partes, a continuación, la administración debería invocar la consideración de pares con respecto a cualquier posible sanción.

• El estándar para el despido o cualquier otra sanción grave sigue siendo la de causa adecuada, y el mero hecho de sucesivas críticas negativas no disminuye de ninguna manera la obligación de la institución de demostrar causa justa en un foro separado ante un cuerpo debidamente constituido por compañeros convocado con ese fin. Registros de evaluación pueden ser admisibles pero refutables en cuanto a la exactitud. Incluso si son exactos, la administración sigue teniendo la responsabilidad de la carga de la prueba y demostrar a través de un procedimiento contradictorio no sólo que las evaluaciones negativas descansan en hechos, sino también que los hechos se elevan al nivel de causa suficiente para el despido u otra severa sanción.

• Al académico se le deben otorgar las garantías procesales establecidas en la Declaración de 1958 sobre normas procesales en los procesos de la facultad de despido y los reglamentos institucionales recomendados sobre la libertad académica y la definitividad, que incluyen, entre otras garantías, la oportunidad de confrontar y contrainterrogar a los testigos de cargo .

PROPÓSITO DEL ESTUDIO

Realizar una Metaevaluación del Sistema de Evaluación de la Permanencia del Profesorado en una universidad pública del sureste de México.

EL SISTEMA DE EVALUACIÓN

A principios de enero de 2013, el Consejo Universitario de la Universidad en la que se desarrolló el estudio, emitió un acuerdo que establece la creación de un Procedimiento para la Permanencia del Personal Académico, con el propósito de “detectar áreas de oportunidad para el fortalecimiento y superación académica del profesorado” (Art 53 BIS). La creación del procedimiento de evaluación es consistente con la modificación del artículo 3º Constitucional mediante el decreto del 26 de febrero de 2013, que establece:

VII. Las universidades y las demás instituciones de educación superior a las que la ley otorgue autonomía, tendrán la facultad y la responsabilidad de gobernarse a sí mismas; realizaran sus fines de educar, investigar y difundir la cultura de acuerdo con los principios de este artículo, respetando la libertad de cátedra e investigación y de libre examen y discusión de las ideas; determinaran sus planes y programas; fijaran los términos de ingreso, promoción y permanencia de su personal académico; y administraran su patrimonio. Las relaciones laborales, tanto del personal académico como del administrativo, se normaran por el apartado A del artículo 123 de esta Constitución, en los términos y con las modalidades que establezca la ley federal del trabajo conforme a las características propias de un trabajo especial, de manera que concuerden con la autonomía, la libertad de cátedra e investigación y los fines de las instituciones a que esta fracción se refiere.

El procedimiento, permite la evaluación del personal académico en cuatro áreas o dimensiones: docencia, investigación, tutoría y participación institucional. El área de docencia evalúa la elaboración de material didáctico, paquetes computacionales, libros de texto, participación del académico en la elaboración y modificación de planes y programas de estudio, impartición de cursos de educación continua y distinciones recibidas por el académico. El área de investigación incluye la evaluación de proyectos de investigación, artículos de investigación y divulgación, libros científicos y de divulgación, ponencias presentes en eventos científicos y de divulgación, participación en actividades de arbitraje /evaluación externa; actualización en cursos menores de 20 horas, participación en eventos académicos, seminarios y talleres, así como la obtención de un posgrado y la participación en actividades de extensión.

El área de tutoría evalúa la dirección de tesis y trabajos de titulación, tutorías, asesoría a estudiantes en competencias nacionales e internacionales, proyectos integradores, asesoría de verano de investigación, supervisión de prácticas profesionales y servicio social. Por su parte, el área de participación institucional evalúa al académico en cuanto a su participación en comités o consejos editoriales, dirección y/o edición de revistas científicas, organización de eventos académicos y la participación en comités colegiados (Consejo Universitario, Comisiones Académicas, Cuerpos Académicos, etc.). Asimismo, incluye la evaluación de la participación del académico en exámenes profesionales, coordinaciones, comités y cuerpos académicos.

Por su parte el área de impartición de horas de docencia otorga un puntaje con base en el número de horas impartidas por el profesor en cursos de licenciatura y posgrado, incluyendo la evaluación otorgada por los estudiantes en relación con la práctica docente. El área de permanencia en actividades de docencia otorga un puntaje con base en el número de años de dedicación a la docencia.

Todos los profesores deberán entregar un plan de trabajo e informe anual de sus actividades académicas, así como los documentos comprobatorios de su desempeño anualmente. Para facilitar su recepción, la institución ha creado un sistema en línea para el envío de toda esta documentación.

PROCESO DE EVALUACIÓN

La evaluación del personal académico de acuerdo con el procedimiento, se efectuará cada tres años. La Universidad cuenta con un Comité de Promoción y Permanencia, que es el responsable de verificar que el personal cumple con las funciones que otorga su nombramiento. Para esto revisa que el profesor haya cumplido con la entrega de sus planes e informes, así como de las evidencias de su producción y desempeño en cada una de las áreas evaluadas. El comité realiza una primera propuesta de evaluación que es posteriormente revisada por una Comisión Dictaminadora del área de conocimiento a la que pertenece el académico, esta comisión es responsable de resolver sobre la subsistencia o insubsistencia de la permanencia. Los integrantes del Comité de Promoción y Permanencia y de las Comisiones Dictaminadoras deben tener una antigüedad mínima de 3 años, tener cuando menos la categoría y nivel de Asociado D y ser de tiempo completo, así como poseer un título profesional igual o afín a cualquiera de los programas que se imparten en la dependencia que representará.

En caso de inconformidad del académico con los resultados de la evaluación podrá solicitar revocación de la Comisión Dictaminadora correspondiente. Si no estuviese de acuerdo con el resultado de la Comisión Dictaminadora podrá interponer recurso de revisión ante la Comisión de Evaluación Académica. Esta comisión está integrada por académicos de reconocida trayectoria y experiencia en evaluación designados por el Consejo Universitario.

METODOLOGÍA

Para realizar el proceso de meta-evaluación se utilizaron los Personnel Evaluation Standards (Stufflebeam, 2008).

Estos estándares se basan en la literatura de evaluación de personal desde 1988. Los estándares son una publicación del Joint Committee on Standards for Educational Evaluation y requieren que todo procedimiento de evaluación de personal sea ético, justo, factible y preciso, así como que tome en consideración cuestiones de diversidad. La intención subyacente detrás de su creación es revisar los sistemas de evaluación para asegurar que proveen un proceso sólido, lo que implica que se incrementa la posibilidad de que produzca los resultados deseables.

Los estándares, a su vez, se dividen en cuatro áreas para realizar una meta-evaluación de un sistema o procedimiento de evaluación:

1. Los estándares de propiedad requieren que la evaluación sea legalmente, éticamente y debidamente realizada tomando en consideración el bienestar tanto de los evaluados como de aquellos para quienes se lleva a cabo la evaluación. Esto implica los estándares relacionados con orientación hacia el servicio, políticas y procedimientos apropiados, acceso a la información evaluativa, interacciones con los evaluados, evaluación comprehensiva, conflicto de intereses y viabilidad legal.

2. Los estándares de utilidad intentan guiar las evaluaciones para que provean información a tiempo y que pueda tener influencia. Hay seis estándares en esta área que se centran en la orientación constructiva, la definición de usos, credenciales del evaluador, criterios explícitos, funcionalidad de los informes, y seguimiento del desarrollo profesional.

3. Los estándares de factibilidad requieren de los sistemas de evaluación, que éstos sean fáciles de implementar tanto como sea posible, eficientes en su uso del tiempo y los recursos, adecuadamente financiados, y viables desde un número de diferentes puntos de vista. Hay tres estándares de factibilidad incluyendo: procedimientos prácticos, viabilidad política y viabilidad fiscal.

4. Los estándares de precisión requieren que la información obtenida sea técnicamente precisa y que las conclusiones estén ligadas lógicamente a los datos. Hay once estándares de precisión: orientación hacia la validez, definición de expectativas, análisis del contexto, propósitos y procesos hacia la documentación, información defendible, control sistemático de datos, identificación y manejo del sesgo, análisis de información, conclusiones justificadas y meta- evaluación.

RESULTADOS

A continuación se presentan los resultados de la meta-evaluación del sistema, con base en cada uno de los diferentes estándares.

ESTÁNDARES DE PROPIEDAD

En relación con:

• La orientación hacia el servicio; el sistema fue diseñado de tal manera que permite evaluar el desempeño del personal académico tomando en cuenta las necesidades y prioridades institucionales y en consistencia con otros sistemas externos de acreditación y evaluación. También está diseñado en consistencia con la misión institucional. Sin embargo, es necesario verificar que todos los involucrados en el sistema de evaluación tengan claras sus responsabilidades, sean evaluados por su desempeño en las mismas y se establezcan lineamientos para proteger el bienestar de los participantes y beneficiarios.

• Las guías formales de evaluación; el sistema cuenta con un reglamento y criterios que describen cada uno de los aspectos a evaluar y requerimientos que deben cumplir los documentos y evidencias que el profesor proporciona para la evaluación. Sin embargo, es necesario tomar en consideración normativa y legislación laboral porque el sistema indica que:

Si un académico obtiene en la evaluación de su desempeño dos dictámenes consecutivos desfavorables, agotados, en su caso los recursos de revocación y revisión, y si las resoluciones confirman el dictamen relativo a la insubsistencia de la permanencia, la Comisión Dictaminadora lo turnará a la Oficina del Abogado General y a la Dirección General de Administración y Desarrollo de Personal, para los efectos legales conducentes (art 116 TER).

Dado lo anterior es necesario revisar la normativa del proceso para garantizar que el proceso de evaluación será válido y consistente con la normativa. Asimismo, debe verificarse que todos los evaluadores que participan en el proceso proporcionen resultados de la evaluación que no sean ambiguos y se respeten los derechos de los evaluados. Además, es fundamental que se verifique la consistencia de los evaluadores y que de manera equitativa se realicen las evaluaciones de profesores en condiciones y con un desempeño similar.

• Los conflictos de interés; la normativa establece que cuando la Dirección General de Administración y Desarrollo de Personal de la institución detecte que las resoluciones de las comisiones que participan en el proceso de evaluación contravienen la normativa universitaria las turnará al Rector. En caso necesario, el Rector dictará las medidas correspondientes e impondrá infracciones a los titulares de las dependencias, funcionarios o miembros de las comisiones dictaminadoras en el ingreso, promoción y permanencia cuando hayan actuado con negligencia, dolo o mala fe, emitan resoluciones contrarias a derecho o ejecuten acuerdos, dictámenes y resoluciones a pesar de que se les ha ordenado su suspensión en virtud de violaciones a la normativa universitaria.

Sin embargo, es necesario establecer provisiones para controlar conflictos de interés en cada nivel de dictamen y juicio, incluir en la evaluación solamente a evaluadores que no tienen conflictos de intereses y juzgar su desempeño. Asimismo, debe incluirse la opinión del evaluado y su reacción al reporte de evaluación.

• El acceso a los reportes de evaluación por parte del personal, el sistema permite mantener la seguridad de la información obtenida, permite acceso de la misma solamente a los usuarios autorizados y promete confidencialidad y anonimato. Sin embargo, el sistema requiere establecer reglas para la distribución de informes sobre la evaluación y notificar a los evaluados de cualquier adición a su archivo personal.

• Las interacciones con los evaluados; el procedimiento del proceso de permanencia establece las instancias con las que deben interactuar los evaluados durante el proceso de evaluación. Sin embargo, es necesario desarrollar guías para los evaluadores a fin de que provean información a los evaluados de forma profesional, considerada y de manera cortés, que responda a las necesidades de los evaluados y respete sus derechos como personas. Asimismo, los evaluadores deben proveer retroalimentación para mejorar el desempeño de los evaluados, la cual debe ser en privado.

ESTÁNDARES DE UTILIDAD

En relación con:

• La orientación constructiva de la evaluación; el sistema proporciona vía electrónica un informe de resultados y le informa a los evaluados que en caso de revisión o revocación, deben acudir a las oficinas de la Comisión Dictaminadora del área correspondiente o la Comisión de Evaluación Académica de la institución. Sin embargo, no se prevé que estos organismos provean retroalimentación en tiempo sobre cómo mejorar, ni se evalúan las necesidades de desarrollo profesional de los evaluados. El sistema tampoco promueve la auto-evaluación ni ha establecido acciones para que la evaluación contribuya a mejorar la efectividad de la organización por medio de la mejora del evaluado.

• Los usos de la evaluación; el sistema tiene definido sus propósitos de mejora pero a la vez establece que los resultados pueden usarse para decisiones administrativas (permanencia). Los usuarios de la información, las autoridades a nivel de centro, así como las Comisiones Correspondientes y la Rectoría. Se requiere llevar a cabo un proceso de validación de los instrumentos de evaluación.

• La credibilidad de los evaluadores; el sistema ha involucrado profesores que fueron electos por sus colegas (en las Comisiones Dictaminadoras) o designados por la Rectoría para la Comisión de Evaluación Académica, en este último caso con base en su trayectoria y experiencia en procesos de evaluación. Sin embargo, en la mayoría de los casos estas personas carecen del entrenamiento y habilidades para llevar a cabo su tarea. La institución tampoco ha establecido políticas y procedimientos para el entrenamiento de los evaluadores.

• La funcionalidad de los reportes; la institución se asegura que los informes sobre los resultados de la evaluación se entreguen cada año en una fecha determinada. El informe se enfoca en los propósitos y deberes del evaluado, aunque en éstos pueden variar independientemente del puesto. También provee a cada evaluado con oportunidades de responder, apelar y se espera que los resultados sean utilizados por el evaluado para mejorar su desempeño. Los informes incluyen comentarios cuando el evaluado no obtiene todo el puntaje en la evaluación de su desempeño. Sin embargo, es necesario que los reportes sean más claros para que puedan utilizarse para la mejora y establecer acciones para asegurar la precisión de la evaluación.

• El seguimiento e impacto; el sistema permite a los profesores realizar acciones de mejora y desarrollo durante el periodo de 3 años en los que se realiza la evaluación. Sin embargo, es necesario apoyar a los evaluados en su aplicación de los resultados para mejorar su práctica, y ayudarlos a que desarrollen planes de crecimiento profesional.

ESTÁNDARES DE FACTIBILIDAD

En relación con:

• La practicidad de los procedimientos; el sistema especifica las etapas del procedimiento en un lenguaje familiar. No obstante, es necesario estudiar la eficiencia de los procedimientos, requerir que los evaluadores provean retroalimentación sin afectar el desempeño del personal, así como contar con procedimientos diseñados para minimizar costos y restricciones, de tal manera que el proceso de evaluación afecte lo menos posible el trabajo en la organización. Asimismo, los evaluadores deben evitar colectar nueva información que duplica la información existente.

• La viabilidad política; el sistema cuenta con un conjunto de directivas aplicables a todos los evaluados, emplea políticas y procedimientos que fueron desarrollados de forma colaborativa por los comités y comisiones involucrados en su creación y que fueron aprobadas por el Consejo Universitario. También provee etapas para corregir errores y oportunidades de apelación. Más trabajo puede realizarse para que los evaluados entiendan y acepten las políticas y procedimientos.

• La responsabilidad fiscal; el sistema ha proporcionado tiempo para la evaluación, entrega de informes y seguimiento y ha provisto recursos para estas etapas. Es necesario verificar que el tiempo y recursos sean suficientes y adecuados, así como que se utilicen efectivamente, que los procedimientos sean eficientes en relación con el tiempo del evaluado y que los resultados permitan ayudar al evaluado a ser más efectivo y eficiente.

• La viabilidad legal; el sistema se sustenta en una normativa aprobada por el consejo universitario y ha sido revisada por el Departamento Jurídico. Es necesario verificar que en su aplicación se cumpla con la legislación pertinente y estándares profesionales (incluyendo papel y estándares de desempeño) para que pueda ser defendible. En su aplicación es necesario verificar que se respeta el derecho de los evaluados a responder y ser escuchados.

ESTÁNDARES DE PRECISIÓN

En cuanto a:

• La definición de roles; el sistema evalúa al profesor con base en el cumplimiento de su plan de trabajo, la evaluación de su docencia por parte de sus estudiantes y su productividad. Sin embargo, dadas las diferencias de nombramientos y condiciones, se recomienda que se tome en cuenta el papel y responsabilidades de cada evaluado. Así como las credenciales que debe tener la persona que desempeña el papel del evaluado. Los evaluadores deben trabajar con referencia a objetivos de desempeño de cada evaluado, y asegurarse que todas las partes entienden mutuamente los requerimientos del puesto en el contexto en que este se lleva a cabo. También debe proveerse deliberación para clarificar cualquier desacuerdo sobre las expectativas de desempeño antes de la evaluación y requerir que los evaluadores empleen indicadores de desempeño que válidamente reflejan cada una de las responsabilidades del evaluado.

• El ambiente de trabajo; s necesario que el sistema identifique, describa y registre influencias del contexto sobre el desempaño laboral, tome en consideración la disponibilidad de recursos cuando se evalúa el desempeño, se provea apoyo administrativo de manera efectiva para evaluar el desempeño y se tome en cuenta el clima organizacional cuando se evalúe al profesorado. Es necesario tomar en cuenta las dinámicas sociales relevantes cuando se evalúa el desempeño.

• Los procedimientos de documentación; el sistema requiere de los profesores que entreguen sus planes de trabajo como requisito para participar en la evaluación. Se requiere documentar las credenciales de los evaluadores, incluir de forma regular el monitoreo y registro del proceso de evaluación. Asimismo, se requiere documentar toda la evidencia en la que se sustentan las conclusiones de la evaluación y demostrar que se cumplieron todos los requerimientos del proceso.

• La validez de la medición; el sistema utiliza procedimientos de medición basados en el rol descrito y el uso para el que fue determinado. Se requiere proveer evidencia de la validez de los procedimientos de medición, de los conceptos evaluados, verificar que las inferencias acerca del profesorado estén basadas en una sólida medición de sus credenciales, desempeño y efectividad.

• La confiabilidad de la medición; el sistema cuenta con procedimientos de medición para la evaluación del desempeño de los profesores. Sin embargo, se requiere proveer entrenamiento y calibrar observadores, calificadores y otros recolectores de datos. Es necesario determinar la consistencia de las mediciones en relación con un criterio y documentar las etapas que se siguen para asegurar la confiabilidad de la medición.

• Al control sistemático de datos; el sistema controla el acceso a la información de las evaluaciones del personal. Sin embargo, se requiere monitorear y controlar la recogida de información, proveer entrenamiento al personal que está involucrado en el proceso de evaluación en calificar, captura y análisis de datos. Asimismo, se requiere garantizar la confidencialidad de los datos que proceden de la evaluación.

• Al control de sesgo; el sistema requiere que las evaluaciones se basen en los criterios e información relevante al trabajo del evaluado e involucró a representantes de los evaluados en el proceso de la creación del sistema de evaluación. También incluye etapas para revisión y apelación. Es necesario, sin embargo, proveer protección en contra de sesgos potenciales en las evaluaciones, llevar a cabo la evaluación por múltiples fuentes, verificar que los evaluadores fundamentan sus conclusiones en información válida.

• Los sistemas para monitorear la evaluación; el sistema requiere someter los procesos de evaluación a una revisión periódica, sistemática y a su validación. Debe haber un seguimiento e investigación sobre las quejas de los evaluados acerca de los evaluadores, se debe valorar periódicamente las evaluaciones con base en los estándares de evaluación del personal, verificar la medida en que las evaluaciones logran su propósito y proveer un seguimiento y mejora de las evaluaciones del personal.

CONCLUSIONES

Este trabajo utilizó The Personnel Evaluation Standards para realizar una metaevaluación de un sistema de evaluación de la permanencia en una universidad del sureste de México.

De acuerdo con los resultados, podemos concluir que el sistema cubre parcialmente con los estándares de propiedad, utilidad y factibilidad, pues es necesario revisar la normativa del proceso de evaluación para garantizar que éste es válido y consistente. Asimismo, se requiere llevar a cabo procesos de validación de los instrumentos de evaluación, establecer políticas y procedimientos para entrenar a los evaluadores y que los reportes sean más claros para la mejora de tal forma que ayuden a desarrollar planes de crecimiento profesional. Adicionalmente, se necesita verificar que el tiempo y los recursos sean suficientes y adecuados. En cuanto a los estándares de precisión presentan mayores limitaciones por lo que es imprescindible tomar en cuenta el papel y responsabilidad de cada evaluado, requerir que los evaluadores utilicen indicadores de desempeño y tomen en cuenta la influencia del contexto y la disponibilidad de los recursos. Es importante proveer evidencia de la validez de los procedimientos de evaluación, entrenar al personal evaluador, determinar las consistencias de las mediciones, monitorear y controlar la recogida de información, garantizar la confiabilidad de los datos, proveer protección en contra de sesgos potenciales y revisión periódica y sistemática, entre otros aspectos.

Es necesario también realizar investigación sobre el sistema de evaluación para verificar su validez y pertinencia al contexto en el que se realiza el trabajo académico, así como el respeto a la libertad de cátedra, la creación de oportunidades de desarrollo profesional para los académicos y la protección de derechos y garantías de los involucrados.

Mejorar el sistema de evaluación es esencial porque no hacerlo se ve afectada la validez de sus resultados, lo cual puede tener serias consecuencias si los resultados se utilizan para la toma de decisiones administrativas (subsistencia o insubsistencia de la permanencia). Asimismo, es fundamental reexaminar la relación entre los propósitos formativos y sumativos del sistema. La evaluación debe ser una oportunidad para la reflexión orientada hacia la mejora del trabajo académico y de las condiciones en que tiene lugar, de tal manera que contribuya no sólo al crecimiento del académico sino de su institución y sobre todo, en beneficio de una mejor educación para los estudiantes.

METAEVALUACIÓN EDUCATIVA: CONCEPTUALIZACIÓN, ALCANCES Y DESAFÍOS METODOLÓGICOS

Sonia Osses Bustingory

Jacqueline Viveros Lopomo

Sergio Reyes Maldonado

INTRODUCCIÓN

El presente propuesta de Seminario-Taller pretende abordar la metaevaluación educativa como una de las temáticas escasamente investigadas en Chile y de preocupación permanente para los especialistas en evaluación. La problemática educativa del país nos plantea como desafío no sólo contribuir en forma científica a mejorar la calidad de las evaluaciones, sino la fiabilidad y validez de los diversos instrumentos.

En este sentido, se precisará la conceptualización de la metaevaluación educativa recuperando diversos puntos de vista de autores relevantes y haciendo referencia a su evolución histórica con énfasis en la educación; además, se considerarán los fundamentos epistemológicos que le subyacen, los distintos ámbitos que puede cubrir el concepto y opciones metodológicas que permitan enfrentar con éxito un proceso de metaevaluación.

Asimismo, se presentará una aplicación práctica de la teoría expuesta respecto de la construcción y validación de un instrumento de valoración metaevaluativa de tesis de Magíster en Educación de la Universidad de La Frontera.

MARCO CONCEPTUAL DE LA METAEVALUACIÓN EDUCATIVA

Como punto de partida, y para adentrarse en el concepto de metaevaluación educativa, es necesario precisar el significado que le atribuyen diversos autores.

A Michael Scriven (1968) se atribuye la paternidad del nombre metaevaluación, quien postula las implicaciones de realizarla tanto formativa como sumativamente; sus aportes persiguen mejorar la calidad de los datos y las conclusiones que se obtienen de los diversos instrumentos y sistemas de evaluación involucrados.

El concepto de metaevaluación fue introducido por Scriven el año 1968, mediante una publicación en que se evalúan los propios instrumentos de evaluación, definiéndola en términos prácticos como la práctica de evaluar las evaluaciones. En dicha publicación, además de introducir el concepto mismo de metaevaluación, Scriven plantea que los resultados emanados de la metaevaluación deben servir como herramienta de formación y complemento de los saberes de los evaluadores, de forma que puedan extraerse aspectos de mejora y permitan implementar procesos evaluativos de mayor calidad.

El Joint Mommitte on Standars for Educational Evaluation (1981) define metaevaluación como la evaluación de la evaluación, pero también habla del examen o auditoría de una evaluación como “examen y verificación interdependientes de la calidad de un plan de evaluación, de la suficiencia con que fue puesto en práctica, de la precisión de los resultados y de la validez de sus conclusiones” (J.C. 1988, p. 166, citado por Martínez, 1991). La anterior definición, da cuenta de una definición más compleja que introduce ideas de interdependencia y de importancia tanto del proceso de planificación, como de puesta en marcha, precisión y validez de conclusiones en una evaluación.

A mediados de la década de los ochenta, Landsheere (1985) habla de la metaevaluación –o como él la denomina “evaluación secundaria– como un estudio general de toda evaluación, o bien, como un nuevo análisis de datos, destinado a verificar la exactitud y/o legitimidad de las conclusiones. Desde dicho punto de vista, sería considerada una “metaevaluación” el re análisis de datos con la finalidad de garantizar la pertinencia de los análisis realizados.

Rotger (1990, p. 46) señala que: “El objetivo que tiene la metaevaluación consiste en:

• Verificar si el sistema de evaluación previsto es el más indicado a las características del objeto.

• Comprobar el rigor, la fiabilidad y la validez de los instrumentos y técnicas manejadas.

• Velar para asegurar una buena aplicación de las estrategias evaluadoras.

• Garantizar un buen uso de las informaciones recibidas y el rigor de los juicios de valor emitidos”.

Stufflebeam (1981) la ha definido como

el proceso de diseñar, obtener y utilizar información descriptiva y de enjuiciamiento acerca de la utilidad, del valor práctico y de la adecuación ética y técnica de una evaluación en orden a guiarla y hacer público el informe de sus puntos débiles y fuertes (Stufflebeam 1981, p. 151, citado por Martínez, 1991).

Martínez (1991) plantea que la metaevaluación ha coexistido siempre de una manera informal con la evaluación. Sin embargo, fue en los años sesenta cuando los evaluadores comenzaron a estructurar y discutir formalmente procedimientos, criterios, técnicas y metaevaluación.

Para Díaz (2001, pp. 171-172) una de las tareas importantes que persigue la metaevaluación es: “la identificación de un método y de instrumentos que provean aplicabilidad y pertinencia para la explicación de la evaluación, ya como disciplina, ya como práctica, al mismo tiempo que muestran independencia de ella”.

Díaz (2001, p. 183) alude a un artículo de Santos Guerra (1999) denominado “Metaevaluación: rigor, mejora, ética y aprendizaje”, donde establece claramente una distancia entre el enfoque de la metaevaluación y el de la teoría de la evaluación. El autor propone un instrumento de metaevaluación fundamentalmente interpretativo, flexible, adaptativo, con una clara afinidad con el método de la hermenéutica.

En uno de los capítulos del texto “Evaluación, ética y poder”, House (1997, citado por Díaz, 2001, p. 172), explica la metaevaluación por medio de ejercicios de aplicación de un enfoque que se puede calificar como cualitativo, basado en la percepción selectiva, por parte del metaevaluador, de las disonancias que se presentan en la evaluación y en su informe.

Según Fernando Díaz (2001), son escasas las fuentes sobre metaevaluación que existen; la mayoría de los textos sobre metaevaluación corresponden a capítulos donde algunos autores dedican a este concepto poca profundidad, y lo asocian directamente con la evaluación, falta de teorías, debilidad de las que existen y carencia de modelos desarrollados ex profeso.

Pero ¿qué se entiende por metaevaluación? Santos Guerra responde de forma sencilla para introducir el concepto, señalando que: “Como un metalenguaje, es un lenguaje que se usa para hablar del lenguaje mismo, la metaevaluación consiste en analizar el proceso de evaluación” (Santos Guerra, 2004, p. 914)

Desde la perspectiva de Sime (2005), la metaevaluación educativa busca ir más allá de la evaluación para volver sobre ella, permitiendo ampliar su significado con miras a enriquecer las concepciones y prácticas evaluativas vigentes.

Un impulso decisivo en la reconceptualización de la metaevaluación es el otorgado por Stephen Kemmis, citado por Sime (2005, p. 13), quien postula que: “la reflexión curricular debe asumir una metateoría que permita elaborar una teoría acerca de la naturaleza de las teorías del currículo”.

En este sentido, Sime (2005, p. 11) hace un planteamiento cuya premisa de su reflexión se resume en la siguiente idea: “si la evaluación se aplica a todos los esfuerzos humanos, también debe aplicarse a ella misma. Por lo tanto, los evaluadores deben buscar que sus propuestas evaluativas o evaluaciones estén sujetas a una evaluación competente”.

La metaevaluación ha de justificar la necesidad de implementar, en forma paulatina, procesos de metaevaluación a la evaluación en general; y a la evaluación de programas, en particular, fundamentada en el uso y utilidad de la información que se deriva de la evaluación en respuesta a las demandas sobre la mejora de la calidad de la educación.

Al respecto, García (2009, p. 1) señala que el principal problema con el que nos encontramos a la hora de abordar una metaevaluación es el de los criterios conforme a los cuales se evalúen las evaluaciones. De hecho, éste ha sido un tema recurrente tanto para los teóricos de la evaluación como para quienes se han dedicado a la metaevaluación.

Relevante resulta la mirada de Stufflebeam y Shinkfield (2007) citados en García-López (2007) quienes proponen una serie de calificaciones para los metaevaluadores, principalmente:

• Conocimiento de las series alternativas de estándares profesionales para evaluar, conjuntamente con una habilidad para elegir y aplicar estándares que se adecuen a la evaluación particular asignada.

• Experiencia metodológica que se aplique conjuntamente con una compresión del objeto a evaluar.

• Experiencia y competencias para cubrir por completo la necesidad de los clientes respecto a una metaevaluación.

• Honestidad, integridad y respeto por los individuos y la sociedad.

• Habilidades en la negociación de contratos formales de metaevaluación.

• Habilidad para comunicar efectivamente y colaborar con otros grupos interesados de la metaevaluación.

Muy interesante resulta el planteamiento de Santos (2008, p. 161), quien precisa que: “La metaevaluación es un proceso de análisis que consiste en hacer un juicio de valor sobre la misma evaluación. En la metaevaluación nos preocupa cómo ha funcionado la evaluación”.

En esta misma línea, el autor mencionado anteriormente señala que la metaevaluación necesita unos criterios de análisis sobre el rigor del método utilizado. Es preciso hacer esta valoración para aceptar los resultados obtenidos.

Para Santos Guerra (2008, p. 928), especial atención reviste la ética, entendiendo que la metaevaluación no es un proceso exclusivamente técnico, centrado sólo en la búsqueda de criterios de carácter metodológico o algorítmico, sino que posee una vertiente moral. Al respecto “la ética no ha de presidir la forma de llevar a cabo el proceso sino que se preocupa por el respeto a los valores en el contenido de la evaluación”.

Stufflebeam (1981, citado en Pacheco, 2010) considera la metaevaluación como el proceso de diseño, obtención y empleo de información descriptiva y valorativa acerca de la utilidad, la viabilidad, la ética y el rigor técnico de una evaluación con el propósito de orientarla, así como dar cuenta públicamente de sus puntos fuertes y débiles.

Para Díaz (2001, citado en García-Berro y otros, 2012, p. 13), existen dos corrientes complementarias en metaevaluación: una positivista-cuantitativa que analiza fundamentalmente la estadística de las medidas utilizadas, así como su pertinencia, fiabilidad y validez y otra de carácter cualitativo, que da sentido y explica el significado del conjunto de actividades que se reconocen como evaluación, considerando críticos los elementos de propósito, estrategia y valores de la evaluación.

Fue finalizando la década de los ochentas, que determinados autores comenzaron a sugerir un carácter profesional en la “evaluación de las evaluaciones”. Al respecto Martínez (1991) señala:

Stufflebeam (1987), da a la metaevaluación un carácter profesional. Supone enjuiciar el valor y el mérito de lo que representa y hace la profesión: servicios de evaluación, utilización de las evaluaciones, investigación evaluativa y desarrollo organizativo.

La metaevaluación utiliza las normas aceptadas por la profesión y trata de asegurar que se cumplan, velando por su desarrollo, enfrentándose a las prácticas ilegales y promocionando la área evaluativa (Martínez, 1991, p. 188).

Así, la metaevaluación dejó de ser considerada sólo como la evaluación de algún estudio y comenzó a ser concebida como una función importante en cualquier práctica evaluativa. La función principal de la metaevaluación es permitir que la evaluación desarrolle todo su potencial, permitiéndole desarrollar mejoras y mejorarse a sí misma. Lo anterior, permitiría a su vez instaurar mejoras en las prácticas educativas, organizacionales y/o potenciar mejoras que no ocurrirían bajo otras circunstancias. Para Schwandt y Halpern (1988), la metaevaluación es

un medio de asegurar la calidad frente a los usuarios de la evaluación, para los evaluadores, una forma de supervisar y mejorar su control. Considerándola como una herramienta para analizar la calidad se puede aplicar a todo tipo de estudios, de variada metodología y a distintos paradigmas de investigación (Martínez, 1991, p. 188).

Dicho lo anterior, se plantea entonces que la metaevaluación es un elemento y una función importante en cualquier práctica evaluativa que se puede dar independientemente de la metodología empleada o el contexto en el cual se desarrolle la evaluación.

Según Martínez (1991), en cualquier estrategia metodológica pueden interferirse sesgos que desvíen los resultados o no permitan interpretar adecuadamente los aspectos evaluados; por ende, es posible también en cualquier evaluación incorporar una perspectiva crítica desde la cual una evaluación pueda ser revisada para su mejora, y la mejora en la objetividad de sus resultados. En lo planteado, subyace la idea que “el sesgo” como concepto, no debe restringirse a los criterios estadísticos, sino que pueden haber desviaciones en la interpretación de los resultados o en otros aspectos cualitativos.

Siguiendo con la multiplicidad de métodos que puede abordar una metaevaluación, House (1997, citado por Díaz, 2001) cuenta con una sección dedicada específicamente a la metaevaluación e incluye suplementos en los que ejecuta ejercicios bajo un enfoque cualitativo basado en la percepción selectiva del metaevaluador respecto a las discordancias entre la evaluación.

Si bien en términos generales, la metaevaluación ha sido entendida desde sus inicios como una evaluación de las evaluaciones, las implicaciones del concepto, así como la finalidad de la metaevaluación se ha ido depurando y haciendo más específica a través del tiempo.

En un sentido amplio, puede decirse que la metaevaluación se basa en enfoques complementarios y, por tanto, no sólo debe estudiar la validez de los indicadores empleados sino la estrategia y los fines mismos de la evaluación, así como sus consecuencias. Frente al interés de la evaluación por los resultados; la metaevaluación, una vez obtenidos dichos resultados, los analiza y transciende. Tanto así que mientras la finalidad de la evaluación no es un análisis introspectivo, el objetivo de la metaevaluación es precisamente la evaluación en sí. En definitiva, la metaevaluación permite comprobar no sólo la calidad de un proceso de evaluación, sino mejorarlo para ediciones futuras. La metaevaluación es, por tanto, un proceso que añade valor a la evaluación pues no deja de ser una validación o auditoría externa del proceso que permite su mejora continua (Stufflebeam, 1993, citado por García-Bero, 2012, p. 13).

Respecto a la diferencia entre los conceptos de evaluación y metaevaluación, podríamos señalar que, si bien tienen ciertas similitudes, son sustancialmente diferentes en cuanto se preocupan de objetos de estudio y variables distintas. Al respecto, Díaz (2001, p.174) señala:

Una diferencia importante reside en la complejidad, determinada por el número y la naturaleza de las variables a estudiar, y la profundidad, definida fundamentalmente por los objetivos y consecuentemente por la focalización del objeto. La evaluación se ocupa de los resultados del proyecto. En cambio, a la metaevaluación le interesan los resultados solo en cuanto síntoma de la evaluación. Por ejemplo, la evaluación se nutre de información y criterios referentes a diversas actividades humanas. Su rol, aparte de la construcción-selección de modelos, se inicia con la recolección de la información, constituida por datos y registros de hechos concretos. Esta función de investigación básica no se encuentra, sin embargo, dentro de las tareas propias de la metaevaluación.

ACEPCIONES Y TIPOS DE METAEVALUACIÓN

Para Martínez (1991), el fin de la metaevaluación es obtener amplitud de puntos de vista para disponer de perspectivas heterogéneas en un estudio o grupo de estudios. La síntesis de estas perspectivas aumentará el conocimiento de los aspectos relevantes del programa evaluado. A pesar de lo anterior, Díaz (2001) subdivide el concepto en dos acepciones que parece pertinente nombrar y distinguir claramente.

La primera, concordante con la definición de Scriven, hace referencia a un contenido práctico y de aplicación inmediata del concepto de metaevaluación. Bajo dicha acepción, la metaevaluación es una etapa que se da generalmente al final del trabajo de evaluación: la evaluación de la evaluación. Conceptualmente se define como “la actividad o conjunto de actividades que consisten en la elaboración de listas de comprobación y en la aplicación directa de estas listas a un caso específico para, con base en ellas, construir un juicio sobre la evaluación como resultado” (Díaz, 2001, p. 175).

La segunda acepción es más general. En este caso, por metaevaluación se entiende aquella actividad en la que se da sentido y explica el significado del conjunto de actividades humanas reconocidas como evaluación. Más allá de una aclaración conceptual, el propósito de la metaevaluación es la explicación de la evaluación como un proceso social complejo. “Se refiere al abordaje del objeto –la evaluación– lidiando directamente con la complejidad no sólo como red de acciones sociales sino también en sus referentes y explicaciones de carácter axiológico, ideológico y epistemológico,

CRITERIOS DE LA METAEVALUACIÓN

Una síntesis de los principales criterios a utilizar dentro del proceso metaevaluador es la ofrecida por Payne (1982, citado en Fernández, 2008, p. 42), que enmarca dichos criterios dentro de cuatro grandes bloques, como queda reflejado en el siguiente cuadro.

El autor mencionado señala que la primer preocupación de quien realiza una metaevaluación es lo referido al diseño de la evaluación (evaluación primaria) que será objeto de valoración. Con el fin de emitir un juicio certero sobre el mismo, el metaevaluador ha de apoyarse en cuatro criterios fundamentales: alcance, relevancia, flexibilidad y viabilidad.

Analizado el diseño, el paso siguiente es el examen detenido del tipo de recogida y procesamiento de datos que se llevó a cabo en la evaluación. Para ello, se recomienda utilizar un trío de criterios: replicabilidad, objetividad y representatividad.

A continuación, el metaevaluador debe considerar el apartado de la presentación de los resultados de la evaluación, mediante los correspondientes informes. Dos son aquí los criterios a tener en cuenta: el de la oportunidad y el de la totalidad.

En último lugar, hay que detenerse en la valoración de las consideraciones éticas y legales que deben estar presentes en cualquier proceso evaluador. Los dos criterios a utilizar aquí por el metaevaluador son: el del cumplimiento de la normativa ética y el del protocolo.

METAEVALUACIÓN FORMATIVA Y METAEVALUACIÓN SUMATIVA

Como se vio en esta monografía, a través de la historia se han asignado diferentes significados al concepto de metaevaluación y sugerido diferentes vías para su ejecución práctica.

Stufflebeam (1978) distingue entre metaevaluación formativa y sumativa. La metaevaluación formativa se ejecuta antes de que la evaluación se efectúe, y tiene la finalidad de constituir una guía que ayude a los evaluadores para realizar su proyecto de evaluación. En otras palabras, es un proceso previo a la ejecución de la evaluación; en la cual se evalúa la planificación, estrategia y metodología de la misma, de tal manera que mejore el proceso antes de su ejecución.

La metaevaluación sumativa es un estudio del mérito de una evaluación ya ejecutada. Ambas -formativa y sumativa- determinan el grado en que la evaluación es metodológica y técnicamente adecuada, útil y pertinente para guiar decisiones a los diferentes niveles en lo permita.

Según Santos Guerra (2000), una metaevaluación puede darse en cualquier momento del proceso evaluativo, es decir: antes, durante o después del proceso.

DIMENSIÓN ÉTICA DE LA METAEVALUACIÓN

De acuerdo con Santos Guerra (2004), existe una función retroalimentadora en la evaluación que se olvida permanentemente. Lo anterior implica la posibilidad de repetir los mismos errores en procesos de evaluación diferentes y aprovechar muy poco las evaluaciones para generar mejoras. Lo mismo es aplicable a la metaevaluación.

El autor señala con profundidad que la metaevaluación no es un proceso de carácter esencialmente técnico, sino que tiene una naturaleza política y ética. “Desde la primera y exclusiva acepción, se trataría de un proceso mecánico, aparentemente riguroso, que consiste en aplicar esquemas o principios y criterios de rigor, lo cual supondría despojar a la evaluación de sus componentes esenciales: a quién sirve, a quién trata de beneficiar” (Santos Guerra, 2004, p. 915).

La metaevaluación –según señala el autor– no buscaría la existencia de validez, sino avivar la reflexión para generar una comprensión rica y relevante de aquello que se metaevalúa. Se corre el riesgo, entonces, de encontrarse con abusos, contradicciones problemas o desajustes que el metaevaluador debe estar dispuesto a afrontar o asumir.

Respecto de las implicaciones éticas en la práctica de la metaevaluación, Santos Guerra (2000) plantea una serie de enunciados que representarían los principales problemas de la metaevaluación en su dimensión ética y los cuales no son, según el autor, necesarios de explicar pues se explicarían por sí mismos:

• Convertir la evaluación en un elogio a quien la patrocina o la realiza.

• Elegir sesgadamente para la evaluación algunas parcelas o experiencias que favorezcan una realidad o una visión sobre la misma.

• Hacer una evaluación de diferente naturaleza y rigor para realidades igualmente importantes.

• Convertir la evaluación en un instrumento de dominación, control y opresión.

• Poner la evaluación al servicio de quienes más tienen o más pueden.

• Atribuir los resultados a causas más o menos supuestas a través de procesos atributivos arbitrarios.

• Encargar la evaluación a equipos o personas sin independencia o valor para decir la verdad.

• Silenciar los resultados de la evaluación respecto a los evaluados o a otras audiencias.

• Seleccionar aquellos aspectos que permiten tomar decisiones que apoyan las iniciativas, ideas o planteamientos del poder.

• Hacer públicas sólo aquellas partes del informe que tienen un carácter halagador para el poder.

• Descalificar la evaluación achacándole falta de rigor si los resultados no interesan.

• Dar por buenos los resultados de la evaluación a pesar de su falta de rigor, cuando esto es lo que interesa.

• Utilizar los resultados para tomar decisiones clara o subrepticiamente injustas.

• Aprovechar la evaluación para hacer falsas comparaciones entre lo que es realmente incomparable.

• Atribuir los malos resultados no al desarrollo del programa sino a la torpeza, la pereza o la mala preparación o voluntad de los usuarios del mismo (Santos Guerra, 2000, p. 21).

EXIGENCIAS DE UN CONTRATO EQUITATIVO DE EVALUACIÓN/METAEVALUACIÓN

Vinculado con la dimensión ética en el proceso de metaevaluación, Care (1978, citado por Santos Guerra, 2000) plantea las exigencias de un contrato equitativo en evaluación; dejando explícitamente definido que los puntos estipulados, a modo de exigencias, no tienen todas la misma importancia ni están ordenadas tampoco por algún criterio axiológico o de interés. Éstos permitirían evaluar la dimensión ética de todo proceso evaluativo.

• Ausencia de coerción: Cualquier evaluación o metaevaluación debe estar libre de presiones o coerciones de cualquier tipo. Según el autor, la equidad exige que los participantes en el proceso no estén ni brutal, ni sutilmente presionados. Si se quiere evaluar –por ejemplo– una estrategia de evaluación docente, haciendo una revisión de los participantes, no es adecuado, correcto, ni ético despedir o subordinar algún bono a la buena o mala opinión del docente frente al sistema.

• Racionalidad: Es necesario que el proceso metaevaluativo esté presidido por argumentos y no por caprichos o intereses. En dicho sentido, los participantes requieren una predisposición a actuar de manera lógica y sensata. Haciendo uso del ejemplo anterior, tampoco resulta adecuado, correcto ni ético que un docente trate de mermar un proceso de evaluación docente por no serle conveniente.

• Aceptación de los términos: La aceptación de términos es que todas las partes acepten libremente las reglas del procedimiento. Para ello, es necesario que las reglas sean claras y transparentes, tanto en lo que respecta a su naturaleza, como a los objetivos y los métodos de la evaluación/metaevaluación.

• Acuerdo conjunto: El acuerdo conjunto requiere que el proceso de negociación sea intenso y sincero; exige tiempo y que cada una de las partes discuta abiertamente para llegar a consensos.

• Desinterés: Más que no interés, el desinterés tiene que ver con el hecho que el proceso tiene un interés o causa común. No debiesen de primar intereses particulares o de alguna de las partes más que el bien común.

• Universalidad: Las normas que se establezcan en el proceso tienen que afectar a todos por igual, incluso a los evaluadores.

• Interés comunitario: La meta del proceso es que se produzca un máximo de beneficio para todas las partes participantes. La metaevaluación, igual que la evaluación, no puede situarse desde el beneficio de alguna parte en particular.

• Información igual y completa: Nadie debiese tener información privilegiada. Una condición de la equidad consiste en que los participantes reciban información sobre los hechos pertinentes y ésta se distribuya por igual.

• Ausencia de riesgos: No deben haber riesgos para quienes se someten a ellas, o bien, se debe de tratar de reducir los riesgos al mínimo posible.

• Viabilidad: La evaluación debe de ser susceptible de ser llevada a cabo. No se deben plantear actividades imposibles lograr o que no puedan cumplir sus objetivos. “Los evaluadores no deben prometer actividades y oportunidades fantásticas, por más deseables que éstas fueran. El interés por conseguir el contrato puede llevar a realizar promesas inviables. Cuando no es posible cumplir el contrato éste no es equitativo” (Santos Guerra, 2000, p. 22).

• Contar con todas las opiniones: Según Santos Guerra, las partes deben tener la oportunidad de hacer constar lo que crean conveniente. Es decir, debe ser un proceso lo más inclusivo posible.

• Participación: La condición de participación está vinculada con que todos los afectados por el proceso tengan participación. Todos deben de tener voz.

IMPLICACIONES PRÁCTICAS DE LA METAEVALUACIÓN

En términos prácticos, según Díaz (2001), la metaevaluación considera el análisis, la interpretación, explicación y sistematización científica, tanto en el plano teórico como en el práctico, de los elementos que se enumeran a continuación:

• El proceso de la evaluación; desde el diseño hasta la presentación, incluyendo todas las actividades.

• Los resultados o productos de la evaluación; el documento o informe de la evaluación tanto como el contenido de dicho documento, así como su presentación y discusión pública.

• Los evaluadores o sujetos que realizan la evaluación; es decir, su conducta en cuanto a voceros de su propio trabajo. “La metaevaluación sobre nosotros mismos”, dice Shadish, quienes debemos mostrar un nivel mínimo aceptable de conocimiento (teórico) como evaluadores (1998:7, citado por Díaz, 2001).

• Los modelos y categorías que son utilizados como referencia para ejecutar la evaluación.

• La metodología y la epistemología que nutren los modelos de evaluación.

• La concepción del mundo y los paradigmas científicos predominantes; es decir, la ideología y filosofía que fundamenta el enfoque.

EXIGENCIAS DE UN PROCESO EQUITATIVO DE EVALUACIÓN Y/O METAEVALUACIÓN

Con la finalidad de definir, con mayor claridad, las implicaciones prácticas de una adecuada metaevaluación; Santos Guerra (2000) describe una serie de procedimientos o procesos que formarían parte de ésta, a modo de propuestas:

• Proceso de negociación de informes: El proceso de negociación se refiere no sólo al contenido del informe, sino que está vinculado a los procesos que han sido conducentes a su elaboración y las posibilidades de mejora que de él parten. Según el autor, el proceso de negociación de informes es un camino que permite conocer cómo ha sido el proceso de evaluación y cómo se pueden considerar también sus resultados. “Si existen, como en el caso de las escuelas, muchas evaluaciones, se puede emitir un juicio más riguroso sobre lo que supone la evaluación y sobre lo que sería preciso hacer para mejorarla. Algunas experiencias apuntan a este tipo de procesos de metaevaluación (Luján y Puente, 1996). Lo importante es sacar de ellas los elementos necesarios para iluminar y dirigir las decisiones políticas, la intervención de los expertos y la práctica de los docentes” (Santos Guerra, 2000, p. 22).

• Aplicación de criterios: Si bien Santos Guerra, es explícito al señalar que no hay criterios absolutos, existen exigencias que permiten garantizar que se ha alcanzado el rigor mínimo para afirmar que lo que se evalúa es un reflejo real de lo que sucede. Al respecto, cita a Guba (1993) quien sirve de referencia para la respuesta relativa a la validez y la transferibilidad.

• Juicio crítico de expertos: Santos Guerra (2000) considera fundamental realizar un juicio de expertos que genere apertura de nuevas perspectivas respecto a los procesos, procedimientos y/o resultados de evaluación. Al respecto, el autor señala que “se puede encomendar a expertos que no han participado en la evaluación y que tampoco están vinculados a la acción evaluada, la emisión de opiniones sobre el proceso de evaluación. Para poder realizar un juicio fundado, los expertos tienen que conocer lo que ha sucedido en la evaluación. Para ello dispondrán de todos los materiales y podrán entrevistar a los protagonistas: patrocinadores, evaluadores y evaluados. La metaevaluación debe facilitar el aprendizaje de los evaluadores quienes, a través de análisis, sugerencias y preguntas se acercan a la comprensión de los procesos” (Santos Guerra, 2000, p. 23).

• Opinión de los protagonistas: Consiste en un proceso en el cual los protagonistas del proceso de evaluación emiten sus opiniones a través de diferentes medios, respecto al proceso o sus resultados. De dicha forma, sería posible descubrir aquellos problemas, dificultades o fallos que hayan condicionado el proceso o lo hayan desfavorecido de alguna forma. “Si los protagonistas de la acción tienen la clave del significado, los de la evaluación tienen en sus manos la interpretación de lo que ha sucedido en todas las fases de la evaluación. Ellos saben qué sucedió con la iniciativa, cómo se hizo la negociación, cómo se ha explorado, qué ha sucedido con los informes, cómo se han respetado las normas. A ellos, pues, hay que preguntar, garantizando las condiciones de una expresión libre” (Santos Guerra, 2000, p. 23).

SEMINARIO-TALLER

PREGUNTA DE INVESTIGACIÓN

¿Qué estrategias metodológicas se pueden utilizar para metaevaluar los procesos y productos de evaluación de tesis del Magister Científico en Educación de la Universidad de La Frontera?

OBJETIVO DEL SEMINARIO – TALLER

Diseñar -sobre la base de la conceptualización y material de apoyo- una estrategia metodológica que permita metaevaluar el proceso y resultados de evaluación, llevados a cabo por la Universidad de La Frontera, Temuco, Chile, en la evaluación de las tesis del Magister Científico en Educación.

METODOLOGÍA DEL SEMINARIO-TALLER

Cualitativa, referida a la identificación/proposición de estrategias metodológicas que permitan metaevaluar el proceso y resultados de evaluación de tesis de Magister en la Universidad de La Frontera.

PAUTA DE TRABAJO: TALLER DE METAEVALUACIÓN

Instrucciones:

1. Formar grupos de trabajo.

2. Leer atentamente el taller y sus preguntas.

3. Revisar el material de apoyo entregado.

4. Leer comprensivamente los antecedentes teórico conceptuales entregados.

5. Desarrollar grupalmente las preguntas y actividades que forman parte del taller (sin dividir las preguntas entre miembros del grupo) utilizando el material entregado para dicho fin.

Material de trabajo:

1. Antecedentes teórico-conceptuales.

2. Modelo educativo.

3. Proceso de evaluación de tesis

4. Carpeta de evaluaciones de tesis.

5. Perfil de los evaluadores.

6. Aspectos deseables de una tesis, de acuerdo a los criterios del programa.

7. Formato de propuesta metodológica para metaevaluación.

Proceso de evaluación de tesis

1- ¿Qué elementos cree usted son necesarios de mejorar en el proceso de evaluación de tesis en el Magister en Educación de la Universidad de la Frontera?

2- ¿Cómo mejoraría usted los elementos identificados?

Resultados o productos de la evaluación:

3- A su juicio ¿Cuáles son las principales falencias del informe de evaluación de tesis del Magister en Educación de la Universidad de la Frontera?

4- ¿Cómo mejoraría usted los productos de la evaluación propuesta?

Evaluadores o sujetos que realizan la evaluación

5- ¿Cree usted que los sujetos que realizan la evaluación son idóneos para un proceso de esta índole? ¿Cree usted que son suficientes los evaluadores? Justifique.

Modelos y categorías

6- ¿El instrumento utilizado, ¿permite realizar una evaluación en todos los aspectos a considerar, criterios y áreas de evaluación esperados por el programa?

7- ¿Qué aspectos no fueron incluidos?

8- ¿Qué aspectos fueron abordados de modo incompleto?

Metodología y epistemología

9- ¿Qué aspectos mejoraría usted en el instrumento de evaluación presentado? Justifique.

Concepción del mundo y paradigma

10- ¿Es coherente el proceso de evaluación de tesis con el modelo educativo propuesto por el Magister en Educación?

Propuesta metodológica

11- Diseñar una propuesta metodológica –con objetivos y acciones asociadas- para metaevaluar el proceso y resultados de la evaluación de tesis de Magister en Educación de la Universidad de La Frontera. Para esta propuesta se deben nombrar los pasos a seguir (acciones) y los objetivos a los que éstos están asociados. Utilice el formato entregado.

Diseño y validación de los instrumentos de evaluación de la docencia. LAS CONCEPCIONES DE PROFESORES UNIVERSITARIOS SOBRE LA FUNCIÓN DOCENTE DE SUPERVISIÓN EN ESCENARIOS DE PRÁCTICA PROFESIONAL EN PSICOLOGÍA

Benilde García Cabrero

María Hortensia García Vigil

Selene Martínez Sánchez

Ileana Seda Santana

Cecilia Morales Garduño

RESUMEN

La docencia en situaciones de formación en la práctica adquiere características particulares que implican tanto actividades de enseñanza, como de guía y supervisión de las acciones de los alumnos que brindan servicios profesionales en contextos variados y para públicos diversos. A los docentes/supervisores se les denomina de manera diferente en los programas de formación profesional, ya sea tutores, acompañantes, o supervisores, entre otros. Independientemente del nombre con que se les designe, estos profesores requieren ser profesionales con conocimientos teóricos, prácticos, éticos, curriculares y contextuales que les permitan monitorear, modelar, asesorar y acompañar a los alumnos en el desarrollo de habilidades profesionales de intervención y solución de problemas de manera competente.

Los modelos de evaluación de la docencia en educación superior normalmente han sido diseñados para valorar la docencia que se realiza en aulas universitarias, como la clase tipo conferencia o el seminario. Sin embargo, la docencia/supervisión tiene características particulares que se orientan a apoyar el desempeño profesional y situado de profesionales en formación (alumnos).

La investigación que se describe en este trabajo se propuso caracterizar la función docente de supervisión considerando tanto referentes teóricos, como empíricos, que describen las concepciones de docentes/supervisores de psicología clínica y psicología escolar. Para ello, se convocó a un grupo de 11 supervisores a participar en dos grupos focales en los que se dialogó con ellos, tanto acerca de diversos tópicos relacionados con su labor (de supervisión), como de las competencias que deben tener los supervisores y de lo que se considera una buena práctica de supervisión. Los resultados encontrados señalan que los entrevistados conciben al docente/supervisor como alguien que constantemente toma decisiones, en su calidad de experto, que permiten a sus alumnos aproximarse sucesivamente a realizar acciones profesionales competentes, que van desde la observación (cuando los alumnos se consideran principiantes) hasta la intervención independiente (cuando ya han alcanzado un nivel de desempeño experto).

INTRODUCCIÓN

En la última década, la calidad de la educación se ha convertido en el eje político más debatido de la educación en México. En este contexto, el concepto y la práctica de la evaluación cobran relevancia para el Sistema Educativo Mexicano, lo que ha traído como consecuencia que la evaluación se oriente gradualmente hacia todos los niveles y componentes del sistema educativo incluyendo a sus actores; especialmente a los profesores.

En la actualidad, el trabajo de la RIIED (Red Iberoamericana de Investigadores de la Evaluación de la Docencia) ha contribuido a la consolidación del campo de investigación y práctica en materia de evaluación de la docencia en las Instituciones de Educación Media y Superior. No obstante, aún queda un largo camino por recorrer para poder abordar la evaluación de la docencia vinculada con las diversas funciones docentes que realizan los profesores universitarios, entre ellos la supervisión en escenarios de formación profesional y de servicio a la comunidad.

Para los propósitos de este trabajo, se considera importante diferenciar los distintos tipos de funciones docentes señalados en la literatura (García-Cabrero, Loredo, Luna, Pérez, Reyes, Rigo y Rueda, 2004). Se entiende como práctica docente a todas aquellas actividades relacionadas de forma directa con el proceso de enseñanza-aprendizaje de los alumnos, dichas actividades son diversas y complejas, adoptando características particulares en función del área disciplinar, de las características inherentes al nivel educativo donde se insertan estas actividades y del contexto social y cultural de las poblaciones atendidas (García-Cabrero, Loredo y Carranza, 2008). En el caso de las instituciones de educación superior, se consideran otras funciones a desempeñar por parte del docente, tales como la investigación, el servicio, la difusión, la tutoría, la asesoría, la supervisión y la mentoría. Aunque cada una de ellas persigue propósitos específicos y realiza actividades particulares, pueden compartir competencias profesionales similares a las de la docencia.

La supervisión en escenarios de práctica, como acción docente persigue propósitos específicos y requiere competencias tanto de la docencia que se realiza en las aulas, en situaciones presenciales o virtuales, como del ámbito profesional de intervención, a lo que en este trabajo denominaremos docencia/supervisión.

La docencia/supervisión es fundamental para potenciar el desarrollo de las competencias profesionales de los alumnos, dado que es en los escenarios de práctica profesional (lugar donde se desempeñan los docentes/supervisores) que los alumnos pueden relacionar más claramente la teoría con la práctica y reflexionar a partir de sus acciones para mejorar sus habilidades y conocimientos. Se habla entonces de un proceso de aprendizaje en un contexto auténtico en el que el supervisor es un formador en la práctica, que acompaña y orienta al alumno para desarrollar sus competencias profesionales (García-Cabrero, García-Vigil, Pineda, 2013).

No obstante la importancia que reviste la función docente de supervisión, poco se han estudiado los aspectos relacionados con las competencias del docente/supervisor universitario, siendo ésta una de las razones por las que se consideró importante iniciar una línea de investigación acerca de la supervisión universitaria, con la intención no sólo de caracterizarla y entenderla más ampliamente desde las miradas teóricas, sino de hacer aportaciones al tema de la evaluación y formación del docente con funciones de supervisión.

En el diseño de sistemas y estrategias de evaluación de la docencia no se han reconocido las distintas actividades docentes que realizan los profesores universitarios y por tanto, parecen estar ausentes las de docencia/supervisión. La práctica común es emplear cuestionarios de opinión por parte de los alumnos como principal instrumento para evaluar al docente, que se utiliza fundamentalmente para valorar las actividades que suceden dentro del aula. Dichos cuestionarios son inadecuados para evaluar actividades como las que llevan a cabo los docentes en escenarios de práctica profesional. Este panorama permite abrir una línea de investigación que aporte y enriquezca el campo de la formación para la práctica profesional y de la evaluación del docente con funciones de supervisión.

El reto fundamental para diseñar sistemas de evaluación de la docencia, consiste en principio, en que sean sólidos teórica y metodológicamente, pero también que tengan sentido y significado para los maestros, que estén vinculados con la mejora de su práctica, y finalmente, que tengan un impacto en los aprendizajes de los alumnos (García-Cabrero, 2013). En consecuencia, la evaluación de la docencia/supervisión demanda reconocer cuáles son las actividades que lleva a cabo un supervisor en escenarios de intervención, cómo se concibe a un buen supervisor, desde qué perspectiva teórica se concibe su evaluación y qué estrategias utilizar para llevar a cabo la evaluación de sus acciones.

Asimismo, para que el proceso de evaluación tenga sentido y significado para los docentes/supervisores, se requiere promover la reflexión de éstos en y sobre su práctica en los escenarios de formación. Como se ha señalado reiteradamente, un mecanismo para favorecer la reflexión del docente es a través del análisis de su práctica desde una perspectiva formativa en la que se brinde retroalimentación y se busque propiciar el mejoramiento de su desempeño.

El proyecto para valorar la función docente de supervisión, tomó en consideración el modelo de evaluación docente por competencias desarrollado por un equipo de investigadores integrantes de la RIED (MECD, García-Cabrero, Loredo, Luna y Rueda, 2008), en vista de que el enfoque por competencias permite la consideración de un rango mayor de atributos en su descripción, y de que destaca las acciones características de los docentes y lo que se espera de ellos.

El MECD ha estado enfocado a valorar la práctica docente y la práctica educativa del docente universitario; es decir, las acciones que el docente realiza antes y después de la interacción en el aula dentro de un marco institucional tomando como referente; la planeación, conducción y evaluación de secuencias didácticas. Las estrategias e instrumentos diseñados a partir del MECD tienen como propósito constituirse en los “lentes” que amplifiquen la visión de los docentes en el proceso de reflexión sobre su práctica (García-Cabrero, 2013),.

Siguiendo las aportaciones del Modelo de Evaluación de Competencia Docentes (MECD, García-Cabrero, Loredo, Luna y Rueda, 2008), investigadores de la UNAM-UABC diseñaron una Guía de Autoevaluación de la supervisión aplicable a escenarios de intervención en los ámbitos de psicología clínica, escolar, medicina y enfermería. Se partió de la premisa de que los supervisores comparten competencias generales que se requieren para apoyar a los alumnos independientemente de su disciplina, y de que éstas tienen relación con las competencias generales de la práctica docente. Siguiendo esta línea de razonamiento, se propusieron tres dimensiones de análisis de la práctica del supervisor: la previsión del proceso de supervisión; la conducción del proceso de supervisión; y la valoración del impacto de la supervisión.

En este documento, se describe el abordaje teórico-metodológico del trabajo desarrollado por el grupo de investigación de la UNAM y los resultados de la primera fase de la investigación, que se abocó a caracterizar la práctica del supervisor en escenarios de intervención en psicología clínica y escolar.

CONCEPTUALIZACIÓN DE LA SUPERVISIÓN

Autores como Escartín, et al. (2013) y Fernández (2010) señalan que la supervisión es un proceso de acompañamiento en el desarrollo de intervenciones profesionales en escenarios reales, con la finalidad de vincular la teoría con la práctica, potenciar actitudes, desarrollar habilidades e incrementar la calidad de la intervención profesional de los practicantes. En la supervisión se propicia resolver dificultades, plantear interrogantes y reforzar las competencias que el alumnado debe adquirir para el ejercicio profesional. En otras palabras, es un espacio de enseñanza-aprendizaje a partir del cual se produce un intercambio de conocimientos y experiencias que facilitan la reflexión sobre las acciones profesionales.

Lobato (2007) define a la supervisión como un método de desarrollo profesional; un intento sistemático de mejorar la práctica, creencias y conocimientos profesionales, con el propósito de mejorar la calidad profesional, pero también la satisfacción personal.

Desde una perspectiva etimológica siguiendo los planteamientos de Hernández (1991), la palabra supervisión se deriva de las palabras latinas super = sobre y videre = ver. Así, la supervisión se refiere a una "visión desde arriba", y por tanto, denota una posición de superioridad de alguien, desde la observación.

Por su parte, Escartín, et al. (2013), consideran que la supervisión consiste fundamentalmente en un proceso de enseñanza mediante el cual se demuestra a los alumnos la aplicación de los principios teóricos a la práctica.

Para los propósitos del presente proyecto, la supervisión se definió como un proceso permanente de acompañamiento gradual y continuado a los estudiantes, que a través de diferentes estrategias, apoya a los alumnos en sus diferentes niveles de desempeño en relación con las competencias profesionales que están desarrollando, (García-Cabrero, Seda Santana, García-Vigil y Martínez Sánchez, 2013).

La formación en la práctica, no sólo depende de las acciones de supervisión, sino de las realizadas por otras figuras profesionales como el tutor interno (adscrito a la institución formadora) o el tutor externo (adscrito a otra institución diferente a la formadora). En la literatura sobre el tema, se realiza una distinción entre estos diferentes tipos de formadores en contextos de práctica profesional.

FUNCIONES DEL SUPERVISOR

En relación con las funciones del supervisor, diversos autores han hecho contribuciones para describir cuáles son las acciones que realiza el supervisor en su práctica. Correa (2009), siguiendo los planteamientos de Cogan (1976) y Stones (1984), señala que las principales funciones del supervisor se basan en un trabajo en conjunto y con base en acuerdos con el supervisado, orientando y facilitando las acciones del supervisado. Entre estas funciones se encuentran:

• Establecimiento de la relación y explicación del procedimiento.

• Planificación conjunta (supervisor/supervisado) de las acciones de intervención.

• Trabajo conjunto en cuanto al momento y objeto de la observación.

• Observación del desempeño en la práctica y colecta de datos según el método y objeto de observación.

• Análisis del desempeño del estudiante y el supervisor.

• Acuerdo sobre el modo de llevar a cabo el encuentro post-observación, y

• Encuentro de supervisión post-observación.

En esta misma perspectiva, Castaño, Prieto, Ruiz, y Sánchez (1997), conciben a las funciones del supervisor organizadas alrededor de cinco ejes: orientador, preparador, facilitador, motivador, evaluador y promotor de la investigación, mismas que a continuación se describen.

• Como orientador: Ayuda a canalizar situaciones novedosas para el alumno; estimula en él la búsqueda de soluciones a las situaciones conflictivas; le aconseja en la toma de decisiones.

• Como preparador: Facilita al alumno herramientas de trabajo para enfrentarse a diversas situaciones y tareas; Le ayuda a planificar su intervención; fomenta en él la creación de hábitos; estimula el conocimiento y la reflexión sobre la acción.

• Como facilitador:; ayuda a integrar el conocimiento previo con el nuevo conocimiento; ayuda a relacionar teoría con práctica.

• Como motivador: mantiene en el alumno el interés y entusiasmo por la tarea que desempeña; promueve un equilibrado autoconcepto profesional.

• Como evaluador: Valora el proceso y el producto de las prácticas de intervención profesional; participa en la evaluación de las prácticas conjuntamente con el alumno y el tutor/maestro.

• Como promotor de la investigación: Ayuda al alumno a generar teoría sobre la práctica; le informa sobre los procedimientos de reflexión-investigación activa. Ayuda al alumno a establecer inferencias encaminadas a generar conocimiento, a modificar concepciones erróneas; fomenta el trabajo en equipo que permite al alumno la toma de decisiones de forma participativa y colegiada.

Escartín, et al. (2013), por su parte, integran las funciones del supervisor en cinco categorías:

• Consideración: Tratar a los supervisados como seres humanos con alto potencial, mostrando interés en éstos como personas, reconociendo sus esfuerzos y estimulándolos con anticipación.

• Facilitación: Suministrar asesoría y apoyo, brindar recursos técnicos y conceptuales; ayudar a re-descubrir lo aprendido y a re-construir el conocimiento.

• Participación: Favorecer la toma de decisiones y estimular la creatividad.

• Educación: Incrementar las habilidades y destrezas profesionales

• Apoyo: Considerar un espacio para compartir problemas de estrés y agotamiento profesional, moderando sentimientos negativos y desterrar prejuicios.

Por su parte, Lobato (2007) hace énfasis en la promoción de la reflexión continua de la práctica profesional del supervisado a través de sus diversas funciones, a saber:

• Suscita, cuestiona, refleja, confronta, refuerza, promueve, activa, fomenta, posibilita que el supervisando genere su propio desarrollo personal y profesional.

• Trata de conseguir que el supervisando reflexione sobre su propia experiencia profesional y sobre cómo está gestionando dicha experiencia.

• Observa las observaciones y el modo de observar del supervisando, pero al mismo tiempo se observa a sí mismo (cómo él/ella también observan), para así contribuir a un distanciamiento constructivo, que posibilite la autonomía de los sujetos.

• Alienta un clima de confianza y respeto, de comunicación y diálogo, de reconocimiento y aceptación en y entre los supervisandos.

• Acompaña a cada supervisando o al grupo en su proceso de aprendizaje, de búsqueda, de reflexión, de cambio e integración, respetando los ritmos y el momento de cada cual.

Fernández (2010), en su descripción de las funciones del supervisor, destaca aspectos como la autonomía y el desarrollo profesional, así como la vinculación entre teoría y práctica. Desde su perspectiva, las funciones del supervisor son:

• Lograr y controlar la aplicación de un procedimiento metodológico común y científico a las distintas situaciones y áreas de actuación.

• Ayudar al proceso de interrelación entre teoría y práctica.

• Desarrollar la cooperación y comunicación entre él/ella y el alumno.

• Fomentar la formación continua del profesional.

• Respetar el contexto organizacional del profesional.

• Respetar los valores y creencias de los agentes del proceso de práctica.

• Fomentar la autonomía e independencia del proceso metodológico;

• Fomentar el desarrollo de los roles profesionales.

• Buscar las innovaciones teóricas y metodológicas.

• Buscar e informar sobre nuevas áreas de actuación y nuevos campos de trabajo.

Por su parte, García-Cabrero, Seda Santana, García-Vigil y Martínez Sánchez (2013) señalan que las funciones y estrategias generales del supervisor son las de: asesoría, mediación, observación, andamiaje y modelamiento. Las autoras señalan que el docente/supervisor realiza las siguientes funciones:

• Identifica y es capaz de dar seguimiento a los avances y metas de la supervisión.

• Muestra conocimiento del modelo de supervisión del programa curricular en que está inserto(a).

• Ofrece ayuda graduada diferencial y ajustada a los niveles de desempeño de los alumnos en relación con las competencias a desarrollar.

• Desarrolla y ofrece críticas constructivas, sugerencias y retroalimentación a los desempeños observados en los alumnos.

• Realiza intervenciones profesionales directas, ya sea con propósitos de modelamiento o de solución de problemas.

• Inicia o promueve la colaboración con otros profesionales (interdisciplinariedad).

• Muestra capacidad para la toma de acuerdos con otros profesionales y personal involucrado en el escenario. Demuestra conciencia de los diferentes puntos de vista y roles de otros profesionales, personal de apoyo y participantes en el escenario.

• Entiende y demuestra capacidad para reconocer los límites de su rol como supervisor.

• Demuestra conocimientos y habilidades para conducirse de acuerdo con los estándares éticos de la profesión.

• Demuestra sensibilidad a las normas sociales y culturales de los diferentes contextos y poblaciones con quienes interviene profesionalmente.

Los planteamientos anteriores constituyeron un primer acercamiento teórico para establecer un panorama acerca de las competencias que debe desarrollar el supervisor en su práctica profesional.

Se retomaron así mismo los planteamientos de diversas asociaciones profesionales a nivel internacional como la Association for Counselor Education and Supervision (ACES, 2011), que establece parámetros para la acción profesional del supervisor derivados de la integración de la investigación en combinación con la orientación proporcionada por códigos de ética y otros documentos pertinentes, por ejemplo las normas de acreditación adoptadas por organizaciones profesionales, así como las políticas, procedimientos e intervenciones que fueron más comúnmente defendidos como mejores prácticas. La ACES editó el documento “Best Practices in Clinical Supervision” con el propósito de ofrecer sugerencias más específicas para los supervisores, independientemente de su área de trabajo. En este documento, se realiza un examen detallado de indicadores cualitativos y cuantitativos para marcar las directrices para los supervisores desde un enfoque clínico a fin de mejorar sus prácticas. La ACES propone una distinción entre tipos de supervisión: por ejemplo la supervisión administrativa que se refiere a las actividades que aumentan la eficacia de prestación de servicios; la supervisión clínica y educativa, que consideran actividades de apoyo y formativas con el propósito de mejorar la aplicación de la teoría a la práctica; y la supervisión de programa, enfocada al mejoramiento del programa y al desarrollo profesional desde un enfoque sistémico.

Los estándares delimitados desde esta perspectiva apoyaron la conformación de los indicadores de la tabla de competencias de la supervisión. Algunos de éstos fueron los relacionados con el inicio de la supervisión, el establecimiento de metas, la retroalimentación, la conducción de la supervisión, la relación que establece el supervisor con el supervisado, las consideraciones éticas, la documentación que lleva a cabo el supervisor, así como sus acciones de evaluación y de formación.

Estos estándares se tomaron como marco de referencia para integrar los indicadores de las competencias de la supervisión; aunque la tabla de la ACES es más amplia y considera aspectos como el de la formación de los supervisores, mismos que no se abordaron en la integración de la Tabla de Competencias de la Supervisión (que se reporta en otro trabajo)

CONTEXTO

En el año de 1999 el programa de maestría en Psicología de la Facultad de Psicología de la UNAM, pasó de ser una maestría de investigación a una para formar profesionales altamente cualificados. Consecuentemente, los programas de cada área de especialidad incluyeron 1640 horas de prácticas profesionales (residencia) en escenarios relevantes a la formación (sedes) a cubrir durante los dos años de duración de los programas. En ese contexto, surgió la necesidad de incorporar la figura de supervisor a nivel maestría en cada programa. Por diferentes vías, cada programa ha ido convocando y/o formando supervisores, algunos que son docentes de la Facultad y otros que son profesionales en las diferentes sedes de residencia.

Actualmente, los supervisores acompañan y guían las prácticas profesionales en sus respectivas residencias. Dado que su función es más amplia que la supervisión en su definición estricta, tomamos para este trabajo el término de docente/supervisor. Igualmente, surge la necesidad de evaluar dichas funciones para fomentar la formación situada y el desarrollo de competencias de supervisión, objeto del presente trabajo, mediante un instrumento de autoevaluación para los docentes/supervisores.

La supervisión en un sentido amplio hace referencia a diferentes actividades a partir del área en la que se desarrolle. Desde el área administrativa, las actividades del supervisor van a estar enfocadas a cuestiones meramente de inspección y de control, mientras que desde el área clínica y educativa, las actividades del supervisor se relacionan con el desarrollo profesional, es decir, orientar, acompañar e introducir en el ejercicio de una profesión (Escartín et al., s/f).

Desde esta última perspectiva, la supervisión constituye un proceso importante para que los alumnos en formación puedan desarrollar las competencias profesionales que su profesión les demanda. Este tipo de supervisión, generalmente está relacionada o es implementada por disciplinas que están más vinculadas a un aprendizaje in situ, como lo son: la medicina, la enfermería o la psicología.

LA INVESTIGACIÓN SOBRE LA SUPERVISIÓN EN LA FACULTAD DE PSICOLOGÍA

Las instituciones de educación superior han desarrollado programas educativos para acompañar al alumno en su formación en escenarios de intervención. Sin embargo, la literatura acerca de la práctica del docente universitario con funciones de supervisión no es suficiente para abordar su formación y evaluación, es decir, ¿qué hace el supervisor?, ¿cómo lleva a cabo la supervisión? y ¿cómo verifica que sus acciones tienen un impacto en los aprendizajes de los alumnos?

OBJETIVOS GENERALES

• Caracterizar la práctica del supervisor de la Residencia en Psicología escolar y de la Residencia en Psicología Clínica de la Facultad de Psicología de la UNAM considerando los referentes: previsión, conducción y evaluación del MECD.

• Construir las dimensiones y subdimensiones de la práctica del supervisor de Psicología Clínica y Psicología Escolar en escenarios de intervención profesional.

Enfoque de investigación: La presente investigación se inscribe dentro del enfoque cualitativo de investigación, en el que se busca comprender las cualidades de los procesos de la práctica de la supervisión en su contexto real. Se realizó un análisis fenomenográfico de los datos (Marton, 1994) enfocado a capturar las formas de experimentar y visualizar el proceso de supervisión por parte de sus propios actores, y de los aspectos que definen a este proceso. Interesaba fundamentalmente desvelar a través del análisis, la organización y jerarquización del conjunto de formas de experimentar a la supervisión, tal como ocurre en los escenarios de práctica.

Otra característica del enfoque cualitativo que justifica su adopción en esta investigación sobre la exploración, descripción y análisis de las funciones de la docencia/supervisión, es que se utiliza el razonamiento inductivo, mediante el cual, a partir de los datos recogidos se generan perspectivas teóricas.

A través del análisis fenomenográfico se trataba fundamentalmente de encontrar el tipo de conocimiento, que Ball, Thames y Phelps (2008), denominan el conocimiento especializado del contenido y las habilidades que deben caracterizar a la labor del supervisor. Estos autores plantean que el conocimiento especializado es un tipo de conocimiento del contenido que define a la profesión docente y que forma parte de lo que Shulman (1984) denominó conocimiento pedagógico del contenido, un tipo de conocimiento técnico que es esencial para enseñar y que resulta de la combinación entre dominar el contenido disciplinar requerido en un determinado dominio del saber (psicología clínica y psicología escolar) y saber cómo enseñarlo. Para ello se requiere que el profesor no sólo domine los hechos, los conceptos y las habilidades necesarias en un determinado campo, sino los principios organizadores, las estructuras y las reglas para determinar lo que es legítimo hacer y decir en una situación determinada de enseñanza. Por tanto, los profesores necesitan no tan sólo comprender que algo es de una determinada forma, sino por qué es así, y en qué situaciones puede afirmarse ese algo, y bajo qué circunstancias estas creencias sobre lo adecuado que resulta poner en operación un conocimiento o habilidad, se ven disminuidos o incluso deben negarse. El conocimiento del contenido pedagógico también implica entender por qué un tópico es central en una disciplina, mientras que otro es periférico.

Para Shulman (1986), el conocimiento pedagógico del contenido involucra las formas de representación más útiles, las analogías más poderosas, las ilustraciones, los ejemplos y las demostraciones más significativas. Es decir, las formas más útiles de representar y formular una asignatura o tarea de enseñanza que debe utilizar un profesor, y que permiten que los contenidos particulares de la misma sean comprensibles para los alumnos. Asimismo, en este tipo de conocimiento se incluye la comprensión de qué es lo que hace que determinados conocimientos o habilidades sean difíciles o fáciles de aprender por parte de los alumnos. De aquí la importancia de establecer una distinción entre dominar el contenido de una asignatura y dominar el contenido para enseñar esa asignatura. Para poder abordar el análisis de este tipo de conocimiento especializado, se requería siguiendo a Ball et al., (2007), proceder de abajo hacia arriba, empezando con la propia práctica de la supervisión.

Las preguntas que se plantearon fueron:

1. ¿Cuáles son las tareas y problemas recurrentes que se enfrentan al enseñar/supervisar en escenarios de psicología clínica y psicología escolar?

2. ¿Qué tipo de conocimiento, habilidades y disposiciones (actitudes) se requieren para dominar estas tareas y problemas?

Enseñar/supervisar en este caso implicaba todo lo que los docentes/supervisores necesitan hacer para apoyar el aprendizaje de sus estudiantes. Se trata por tanto de una tarea interactiva y cambiante que se re-estructura en el curso mismo de su ejecución y que implica planeación y evaluación del trabajo de los alumnos, revisión de su progreso y ajuste de las estrategias de apoyo durante la supervisión. Se desarrolló por tanto, una concepción teórica de la supervisión basada en la práctica (Holley, 2005, Levant, 2005), a partir de la cual se definieron dimensiones e indicadores que requieren posteriormente ser analizados factorialmente para probar la validez del constructo inferido a partir de la práctica. La figura 1 muestra la manera como está conformada la estructura de la docencia/supervisión que se desarrolló a partir del análisis de la práctica de los supervisores[34].

Cabe señalar que en esta primera aproximación a la caracterización de la docencia/supervisión sólo se abordó fundamentalmente el conocimiento especializado sobre el contenido. El conocimiento especializado sobre el contenido de la supervisión es el conocimiento específico que se requiere para desempeñar la función de docencia/supervisión. Se consideró que los otros dominios corresponden a niveles menos especializados del trabajo de supervisión.

Otra categoría que Ball et al. (2008) consideran esencial para definir el tipo de conocimiento especializado que debe tener un supervisor(a), es el conocimiento curricular, representado por el conjunto de programas diseñados para la enseñanza de una materia particular y de los tópicos esenciales en un nivel particular, los materiales instruccionales requeridos, y el conjunto de características que sirven como indicaciones o contraindicaciones para utilizar un contenido curricular particular o unos materiales determinados en situaciones particulares.

Participantes: En la primera etapa de validación de expertos participaron 4 supervisores en escenarios de intervención profesional de la maestría en psicología escolar y un profesor de la asignatura “Inducción a la intervención” de la Licenciatura en Psicología, todos inscritos en la Facultad de Psicología de la UNAM. En la segunda etapa de validación participaron 6 supervisores, cuatro del programa de psicología clínica y dos del programa de psicología escolar. Todos los participantes realizaban supervisión en ambas modalidades: individual y grupal.

RESULTADOS

En este trabajo se presentan los resultados preliminares de una investigación que tuvo como propósito el desarrollo de un instrumento de autoevaluación de la supervisión. La primera fase de la investigación estuvo enfocada a la caracterización de la práctica del supervisor a través de entrevistas grupales (grupos focales) que fueron videograbadas, transcritas y analizadas para construir categorías y metacategorías de respuesta que permitieran sustentar el diseño del instrumento de autoevaluación antes mencionado. Este análisis permitió conocer las concepciones que tienen los supervisores de psicología clínica y educativa de la Facultad de Psicología de la UNAM acerca de su práctica docente de supervisión.

CONCEPCIÓN DE SUPERVISIÓN

La concepción de supervisión que tienen los supervisores participantes se expresó a partir de tres ejes: la definición de la supervisión, los elementos de la supervisión y los propósitos de la supervisión. La definición de la supervisión se concibe desde una primera aproximación como acompañamiento y guía, y desde una segunda aproximación como una relación vertical. En relación con los elementos que forman parte de la supervisión, se establece una diferencia entre los centrados en los alumnos y los centrados en el supervisor. De igual manera, los propósitos de la supervisión, se conciben a partir de los centrados en el alumno y los centrados en el servicio (ver

tabla).

DEFINICIÓN DE SUPERVISIÓN

La supervisión como acompañamiento y guía: La supervisión es concebida como un proceso de acompañamiento y guía en el proceso de formación profesional del supervisado. Se considera importante la experiencia y conocimiento del supervisor para colaborar a través de diferentes estrategias para la toma de decisiones y la solución de problemas con las diferentes poblaciones en las que interviene el alumno en escenarios de práctica profesional en formación y servicio a la comunidad.

“para mí es un acompañamiento en la formación profesional para resolver problemas…” (p.1 / r. 23)

“Un acompañamiento que implica el intercambio y la reflexión conjunta donde generalmente hay una persona que guía el proceso…” (p.1 / r. 30 y 31)

La supervisión como una relación vertical: La supervisión es una relación que implica un mayor grado de conocimiento y experiencia por parte del supervisor para orientar al supervisado con menor conocimiento y experiencia en su práctica profesional. Esta relación, implica desarrollar en el alumno las competencias profesionales requeridas, su identidad como profesional y su autonomía dentro del escenario de intervención. Está enfocada más a una relación de trabajo.

“intercambio entre dos o más personas… donde generalmente hay por lo menos una persona que tiene, que si tomáramos lo de camino andado, pues tiene un camino andado mayor que otras…” (p. 1 / r. 27-29)

“es una relación de trabajo hasta cierto punto vertical, porque hay un supervisor que tiene un mayor grado de conocimiento, de experiencia, de formación…” (p. 2 / r. 50-52)

ELEMENTOS DE LA SUPERVISIÓN

Centrados en el alumno: Se refiere a aquellos elementos relacionados con las necesidades, experiencia y características del supervisado. En la supervisión, los conocimientos y experiencia previa profesional de los alumnos, así como las necesidades que vayan surgiendo en la intervención son elementos que guiarán los propósitos y proceso de la supervisión.

“ellos no lo saben todo, cada quien tiene su experiencia de vida, que me parece muy importante, o sea, no es únicamente la formación profesional, sino la experiencia de vida…” (p. 1 / r. 2- 4)

“Entonces, se pueden generar supervisiones dentro de ese mismo contexto pero dependiendo de las habilidades que vayan desarrollando los alumnos y las alumnas…” (p. 1 / r. 37 y 38)

Centrados en el supervisor: A diferencia de los elementos centrados en el alumno, se consideran elementos importantes de la supervisión aquellos aspectos relacionados con la experiencia y características del supervisor. Se reconoce la experiencia profesional previa del alumno, sin embargo, los estudiantes están en un proceso de aprendizaje donde requieren ser supervisados por una persona con mayor grado de conocimiento y experiencia.

“y yo tengo conocimiento teóricos, prácticos y toda la información…” (p.1 / r. 11)

“tú traes todo una experiencia de vida, que incluye tu experiencia profesional que aporta y enriquece este programa, pero también tienes cosas que aprender aún si te has desempeñado allá afuera durante mucho tiempo (( )) en donde se te ofrece una visión particular de cómo hacer las cosas…” (p. 2,3 / r. 83- 86)

PROPÓSITOS DE LA SUPERVISIÓN

Centrados en el alumno: Los propósitos de la supervisión están enfocados en la formación profesional del supervisado. Las acciones del supervisor van dirigidas a desarrollar las competencias profesionales de los alumnos, su identidad profesional, así como su autonomía.

“Entonces, yo diría que la supervisión para mí es un acompañamiento en la formación profesional para resolver problemas, qué tipo de problemas, nos enteramos en ese momento…, pero hay como caminos andados que se les puede mostrar y ellos pueden tomar decisiones…” (p. 1 / r. 22-24)

“para que el supervisado desarrolle competencias, habilidades, incluso pueda aplicar técnicas, metodologías, algún abordaje teórico…” (p. 2 / r. 55 y 56)

Centrados en el servicio: Los propósitos de la supervisión están enfocados a brindar un servicio de calidad. Las acciones del supervisor guían el perfeccionamiento de las habilidades de los alumnos en los escenarios de intervención para asegurar la calidad del servicio que se brinda en la Institución sede.

“pero hay otra función que es para garantizar que el usuario, el paciente reciba una atención adecuada regida por la ética, por una práctica profesional adecuada …” (p. 2 / r. 56-58)

“es colaborar para encontrar nuevas formas de entender los problemas y de buscar formas de solución para diseñar programas o para adquirir estrategias o simple y sencillamente actitudes para apoyar ya sea a niños, maestros, ya sea a los padres… “ (p. 1 / r. 12-14)

CONCEPCIONES ACERCA DE LAS CARACTERÍSTICAS DE LOS BUENOS SUPERVISORES

En relación con las concepciones referidas al perfil de los buenos supervisores, los supervisores participantes establecieron una distinción entre conocimientos y habilidades del ámbito cognitivo y del ámbito socio-afectivo. En el ámbito cognitivo se consideran los conocimientos teóricos-metodológicos de la disciplina y las estrategias de enseñanza y supervisión. En el ámbito socio-afectivo, se expresó que los buenos supervisores fomentan actitudes positivas y valores (ver ejemplo tabla 2).

CONOCIMIENTOS TEÓRICO-METODOLÓGICOS:

Conocimientos teórico-metodológicos de la disciplina: Se considera que los buenos supervisores tienen un dominio sobre contenidos y metodologías de la disciplina para orientar la intervención profesional en los escenarios de práctica profesional.

“Un buen supervisor tiene un conjunto de conocimientos teóricos, del modelo de psicoterapia infantil, en mi caso, técnicos, o sea, sabe teóricamente, sabe hacer técnicamente, metodológicamente psicoterapia infantil y sabe ser psicoterapeuta infantil…” (p. 4/ r. 159-161)

“Entonces ellos son expertos en eso, en esas 11 vivencias, en esas necesidades y yo tengo conocimientos teóricos, prácticos y toda la información…” (p.1 / r. 10 y 11)

Conocimientos de estrategias de enseñanza y supervisión: Los buenos supervisores tienen conocimientos e implementan diversas estrategias para dar seguimiento y apoyar la intervención de los alumnos a partir de su nivel de desempeño y las necesidades que vayan surgiendo durante la intervención y el proceso de aprendizaje de los alumnos.

HABILIDADES SOCIO-AFECTIVAS

Formas de comunicación: Las habilidades para comunicarse asertivamente con todas las personas involucradas en el proceso de supervisión. Se contempla la comunicación de ideas, conocimientos y sentimientos para generar confianza y empatía con los supervisados y la promoción del pensamiento crítico reflexivo.

Se considera la práctica y promoción de valores sociales y profesionales durante el proceso de supervisión individual o grupal; las formas de actuar de manera adecuada para llevar a cabo las distintas modalidades de supervisión; y la capacidad para generar un ambiente de respeto durante el proceso de supervisión grupal y/o individual

“Es muy importante la facilidad para relacionarte con los demás, porque igual tienes que relacionarte con el niño, que con el maestro, que es una aproximación totalmente diferente, que con los padres, que con los directivos...” (p. 5/ r. 187-200)

“Y la supervisión reflexiva lo que hace es eso exactamente, tienes que pensar en qué emociones genera este trabajo, cómo impacta el tipo de relación entre la persona supervisada y quien supervisa en la forma en que se da la supervisión y cómo impacta de la misma manera en lo que hace el estudiante con sus pacientes…, con las personas con las que colabora (( ))…” (p. 6/ r. 140.144)

“Creo que somos un modelo, para mí me queda claro, todo lo que uno haga, como lo hagas, como lo digas, eres un modelo para como ellos deben actuar con los padres, con los maestros. Entonces para mí, eso es muy muy importante, cuidar tus palabras, cuidar, o sea, si quieres hacer una broma, tener cuidado de cómo haces una broma, todo es un modelo…” (p. 3/ r. 92-96)

CONCEPCIONES ACERCA DEL PROCESO DE SUPERVISIÓN

MODALIDAD

Supervisión individual: Se concibe que el proceso de supervisión está guiado por el programa de la Institución y el programa de la sede. Las acciones del supervisor se enfocan a los propósitos de la intervención, al nivel de desempeño del alumno y a las necesidades teóricas, prácticas, afectivas y éticas del alumno.

“Y tenemos una sesión semanal individual en donde cada quien trae sus…, tanto sus problemas emocionales como su plan de cómo va su trabajo con los maestros, cómo va con los padres, con los niños, un caso particular, problemas en su caso, lo que sea, pero también cmo planean una sesión de trabajo con los niños…” (p. 8/ r. 327-331)

“…pero también existe esto de entrar a las sesiones de tutoría cuando están los muchachos trabajando, los maestrantes con los estudiantes de secundaria, eso es cada vez que estoy ahí con ellos, primero con uno, luego con otro y así…” (p.7/r.292-295)

Supervisión grupal: El proceso de supervisión está guiado por el programa de la Institución y el programa de la sede. En esta modalidad se concibe que las acciones del supervisor se enfocan a grupos pequeños. Se favorece la retroalimentación en conjunto en función de los desempeños de los alumnos, las expectativas y las necesidades teóricas, prácticas, afectivas y éticas de cada alumno.

“Ahora lo grupal se supervisa, son grupos pequeños, casi siempre son grupos de dos, hasta máximo cuatro residentes, es por sede, ahorita, por ejemplo, yo tengo tres por grupo y lo que vamos haciendo es un rol para casos clínicos, de tal manera, que nunca se supervisan más de dos casos por supervisión…”

“Al final de las actividades de cada uno de esos tres días se hace una supervisión grupal, donde cada alumna o alumno decide qué trae a supervisión y la supervisora y yo hemos estado dentro de las salas observándolas o haciendo un trabajo conjunto con alguna de ellas…” (p.9/ r. 353-356)

ENFOQUE

Proceso reflexivo: Enfatiza la supervisión como un proceso de continua reflexión de la práctica profesional para mejorar las acciones. El supervisor lleva a cabo estrategias diversas para orientar la reflexión sobre y después de la intervención del o los alumnos.

“…lo que la supervisión reflexiva hace es incorporar las herramientas clínicas a la supervisión, porque lo que dice es: ..démonos cuenta [de lo que pasa] en la medida que estamos trabajando con otras personas, entonces necesitamos atender no sólo a la parte intelectual, sino a la parte emocional de las personas…”

“Ella observa el desempeño dentro los salones de clase y al final del trabajo del alumno platican de lo que ella vio, ellos dicen que [la supervisora] sólo pregunta, que ellos esperan respuestas y que ella maneja el arte de preguntar, porque todo se los responde con una pregunta, ¿y tú qué harías?, ¿y tú qué piensas?, es su estilo …” (p. 8/ r. 311-314)

Proceso de colaboración: Enfatiza la supervisión como un proceso de colaboración entre tutor-supervisor, supervisor-supervisado y/o supervisado-supervisado a partir del programa de la institución, el programa de la sede y las necesidades, expectativas y características de los alumnos.

“En mi caso, la supervisora y yo [tutora] trabajamos a la par en la sede, yo estoy presente dos días a la semana y ella está presente dos días a la semana, sólo que tenemos un día en común y un día diferente, o sea, hay un día en el que sólo está ella y otro día en el que sólo estoy yo y tenemos un día en común…” (p. 9/ r. 350-353)

“En la grupal es donde yo digo qué va cambiando.. quién supervisa, porque al inicio efectivamente todo está centrado en la tutora o la supervisora y en la medida que pasa el tiempo eso se va rolando y la supervisora y la tutora vamos, pues no diría yo perdiendo el lugar, sino más bien como compartiendo ese lugar de supervisión…” (p. 9/ r. 359-363)

Secuencia

Planeación de la supervisión: Acciones previas acordadas entre supervisor y supervisado (s) para llevar a cabo la sesión de supervisión individual o grupal a partir del programa de la institución, el programa de la sede, así como de las expectativas, necesidades y nivel de desempeño del alumno.

“..hay un procedimiento, que es: los chicos realizan una petición previa a la reunión de supervisión, o sea, se asigna un horario, un tiempo, generalmente va de una hora y media a dos horas, ya sea individual o en grupo y el alumno realiza una petición en función de un caso clínico…” (p. 6/r. 240-243)

“Entonces se empieza estableciendo cuál va a hacer la agenda común que de la misma forma podemos coincidir o no, la alumna puede pensar que lo que tiene que supervisar es X y yo puedo pensar que lo que hay que supervisar es [otra cosa] y tenemos que llegar a un acuerdo...” (P. 9/ R. 365-368)

Interacción durante la supervisión: Acciones que se llevan a cabo directamente durante la sesión de supervisión individual o grupal a partir de la planeación.

“…cada uno de los estudiantes, de los residentes contesta a la petición de sus compañeros, el supervisor funciona como mediador, moderador, va dando la palabra, va orientando el diálogo, la conversación clínica…” (p.6/ r. 46-49)

“Después pues lo trabajamos en el grupo y lleva cada quien un producto y cada quien lo aplica y después en la siguiente vemos cómo les funcionó eso…” (p. 8/ r. 324 y 325)

Cierre de la supervisión: Se hace referencia a las acciones finales que se desarrollan en la sesión de supervisión individual o grupal que favorecen la reflexión sobre la práctica profesional.

“Una vez que se termina esa conversación clínica, el supervisor da sus observaciones, detecta las situaciones y al final el supervisado reflexiona con el grupo, lo que se contesta en torno a su petición…” (p.6/ r.49-51)

Valoración

Autoevaluación del supervisado: Los supervisores hacen referencia a la evaluación que realiza el alumno de forma periódica acerca de los diferentes elementos involucrados en su desempeño durante el proceso de supervisión.

“Semanalmente, igual, la alumna y el alumno escogen sobre qué reflexionar, de todo lo que hizo puede escoger de qué reflexionar, tiene que escribir la actividad o el suceso y después tiene que reflexionar al respecto, tiene que identificar las habilidades o los conocimientos que adquirió en esa situación, y en la última columna tiene que decir, entones, qué yo necesito de la supervisión, ya sea de la supervisora o de la tutora…” (p. 9/ r. 372-376)

“en mi caso les puedo compartir cómo lo evalúo, tengo un instrumento que está en función de las habilidades que se pretende desarrollar en la residencia, hice como una lista de verificación, de alguna manera, y el alumno se da un puntaje, es una autoevaluación y le hago tres preguntas la final, cómo se percibió su avance en ese semestre, cómo percibió la sede y cómo percibió al supervisor, cómo lo evalúa y es una retroalimentación…” (p. 7/ r. 64-69)

Evaluación externa del supervisado: Evaluación que lleva a cabo una tercera persona en relación al desempeño profesional del supervisado durante el proceso de supervisión.

COMENTARIO FINAL

El análisis de la práctica educativa y la evaluación del quehacer docente en escenarios situados es una tarea primordial para promover la mejora de la calidad de la enseñanza universitaria. Es allí donde las prácticas docentes de supervisión se diversifican, pues los escenarios educativos pueden variar considerablemente dependiendo del campo de conocimiento del que se trate y de las características particulares de cada programa formativo, que incluyen como en el caso de la Facultad de Psicología de la UNAM, actividades en escenarios reales de intervención profesional (García-Cabrero, García-Vigil, Pineda, 2013).

La labor de supervisión debe facilitar que los estudiantes elaboren su propio conocimiento acerca de los principios que subyacen a los procesos, elementos y factores implicados en el acto educativo, que sean capaces de reflexionar sobre su propia práctica y definir cómo se conforma, cuáles son los aspectos clave e implicaciones para las diferentes problemáticas que se abordan en la intervención psicoeducativa. Sólo de esta manera, los estudiantes podrán desempeñarse de manera dinámica, autorregulada, reflexiva y estratégica (García-Cabrero, García-Vigil, Pineda, 2013; Fierro y García-Vigil, 2008).

Como se ha señalado, este campo de investigación aún se encuentra en desarrollo por lo que queda camino por recorrer y así establecer las relaciones entre los diversos factores que se encuentran involucrados en la actividad docente de supervisión.

34 Nota: Para mayor comprensión del tema revisar Ball, D., Thames, M. y Phelps, G. (2008). Content Knowledge for Teaching. What Makes It Special?. Journal of Teacher Education, 59 (5). Consultado en http://www.math.ksu.edu/~bennett/onlinehw/qcenter/ballmkt.pdf

DESARROLLO DE UN CUESTIONARIO DE AUTOEVALUACIÓN DE LA COMPETENCIA DE SUPERVISIÓN DE CLÍNICA EN MEDICINA[35]

Edna Luna Serrano

Graciela Cordero Arroyo

Rubén Abdel Villavicencio

El presente trabajo documenta el desarrollo de un cuestionario de autoevaluación de la competencia de supervisión clínica en medicina, así como las teorías implícitas que le subyacen. El procedimiento incluye la operacionalización del constructo y la validación del contenido mediante juicio de expertos. Se contó con la participación de catorce supervisores clínicos adscritos a una universidad pública y sector salud. La estructura final del cuestionario se encuentra representada por tres dimensiones (previsión del proceso de supervisión, conducción del proceso de supervisión y valoración del proceso de supervisión) y seis competencias: 1) planear el programa de supervisión, 2) gestionar el proceso de supervisión, 3) Dar seguimiento, ajustar y evaluar las acciones desarrolladas; 4) Utiliza formas de comunicación adecuadas para realizar el trabajo de supervisión; 5) Valorar los procesos de supervisión individual y grupal, así como su impacto; 6) Comunicar los resultados e impacto del programa de su intervención. Los hallazgos de este estudio proporcionan el soporte teórico y empírico necesarios para utilizar el instrumento con fines formativos.

INTRODUCCIÓN

La implementación de planes de estudio basados en el enfoque por competencias ha conducido a que la evaluación de la práctica docente requiera de instrumentos confiables y válidos congruentes con la modalidad de enseñanza por competencias. Al mismo tiempo, la evaluación se ha enfocado fundamentalmente en valorar la docencia que se realiza en las aulas tradicionales (Luna y Torquemada, 2008); por lo que los esfuerzos se han dirigido al desarrollo de instrumentos válidos para evaluar la actividad realizada en los salones de clase. No obstante, se reconoce que la docencia universitaria se lleva a cabo en una gran variedad de contextos que no se reducen al aula, y que las diferentes modalidades de práctica docente también requieren de instrumentos válidos, este es el caso de la enseñanza en situaciones de prácticas clínicas.

En general, los programas de evaluación de la docencia incorporan información de tres fuentes principales: 1) evaluación a partir de la opinión de los estudiantes; 2) evaluación hecha por pares académicos y directivos; y 3) autoevaluaciones, autorreportes y portafolios. La elección de una estrategia particular de evaluación depende en gran medida de los propósitos de la evaluación y de las condiciones institucionales de aplicación. En este sentido, la autoevaluación, como estrategia, se recomienda utilizarla principalmente con fines orientados a la mejora de la actividad. En este sentido, Wheeler y Haertel (1993) definen a la autoevaluación como el proceso de juzgar la propia ejecución con el propósito de mejora (p. 131).

La autoevaluación es una aproximación que se caracteriza por: 1) la creencia de que las ejecuciones de los profesores pueden ser mejoradas a través de procedimientos de autoevaluación; 2) la participación en actividades evaluativas de los evaluados; y 3) el uso de una variedad de técnicas para colectar datos y diversos recursos que proveen a los evaluados de información sobre su propia ejecución (Haertel, 1993). Respecto a las técnicas utilizadas en autoevaluación se pueden citar: escalas; registros electrónicos como videograbaciones y grabaciones; y autorreportes o portafolios. Todas éstas tienen el fin de inducir la reflexión del docente sobre su práctica con fines de mejoramiento profesional.

De acuerdo con este orden de ideas, el propósito de este trabajo es presentar el desarrollo de un cuestionario de autoevaluación de la competencia de supervisión clínica en medicina.

Por lo general, la enseñanza de la medicina en México involucra tres tipos de tareas: 1) enseñanza en el aula; 2) actividades prácticas que se llevan a cabo en laboratorio y anfiteatros, las cuales ponen mayor énfasis en técnicas y procedimientos específicos; y 3) actividades asistenciales que se desarrollan en entornos clínicos y que consisten en prácticas de atención a pacientes reales bajo la supervisión de médicos expertos (Hamui, Lavalle, Díaz, Gómez, Carrasco y Vilar, 2012). La distinción entre estas tareas no implica la segmentación de la enseñanza de la medicina, por el contrario, el modelo educativo basado en competencias demanda la integración de las tres actividades durante toda la formación profesional, en consecuencia en un mismo periodo lectivo confluyen los tres tipos de actividades.

Si bien, la formación de médicos se inicia en un ambiente formal universitario donde la enseñanza se centra en la promoción del dominio de conocimientos teóricos, al mismo tiempo, se debe de entender como esencialmente clínica, esto es, la medicina se aprende en el trabajo y se fundamenta en la atención vis a vis de los pacientes en el hospital, clínica y atención ambulatoria (Fluit, Bolhuis, Grol, Laan, y Wensing, 2010; Lifshitz-Guinzberg, 2012; Santana, Lifshitz-Guinzberg, Castillo y Prieto, 2013). En este sentido la supervisión clínica es una forma específica de enseñanza en medicina y otras disciplinas similares que involucran la atención con pacientes.

Uno de los mayores desafíos que enfrenta el desarrollo de la supervisión clínica es su definición, dado que su conceptualización teórica y empírica es pobre, por lo que se hace difícil clarificar qué es la supervisión clínica y cómo funciona (Milne, Aylott, Ftzpatrick y Ellis, 2008). Las teorías de la supervisión tradicionalmente han sido derivadas del modelo de terapia, de extrapolar modelos de otros campos y de la experiencia clínica.

No obstante ciertos acuerdos prevalecen, las actividades de contenido clínico suelen ser referidas por los expertos en el estudio de los procesos pedagógicos en medicina como supervisión clínica y hacen referencia al proceso formativo centrado en los pacientes y sus problemas, desarrollado en hospitales, clínicas, medio ambulatorio y en la comunidad (Spencer, 2003).

La supervisión clínica tiene relación con los conceptos de aprendizaje en el trabajo y aprendizaje basado en la práctica, ya que los tres conceptos hacen referencia al desarrollo de competencias profesionales con base en el desarrollo de tareas reales propias del gremio o disciplina en la que se centra el proceso (Durante, 2012). En este sentido existe acuerdo en que la supervisión clínica en medicina busca desarrollar la competencia médica en escenarios de práctica clínica y actividades de enseñanza en grupos reducidos. A este propósito, Deane y Murphy (2013) sostienen que la supervisión clínica busca desarrollar la competencia médica y se divide en dos tipos de actividades, por una parte las “actividades clínicas” en las que el aprendiz es un miembro integral del equipo de atención médica de una institución de salud, donde observa, asiste y ejecuta actividades propias de la profesión. Por otra parte, “las actividades académicas” aluden a sesiones tutoriales interactivas de discusión de casos, hipotéticos o reales, en pequeños grupos. A lo anterior Fuit et al. (2010) añade que la supervisión está compuesta por dos procesos: uno administrativo de organización y asignación de labores de los miembros del personal médico y estudiantes; y el proceso formativo en el que se realimenta el desempeño de las competencias mostradas en el trabajo clínico y se estimula el aprendizaje.

Además, se encuentran los dominios reconocidos en la literatura a ser considerados en la evaluación de los supervisores clínicos entre los que destacan:

I. Modelaje, Fluit et al. (2010) señalan que los buenos supervisores en los campos clínicos son modeladores del desempeño de sus estudiantes mediante el ejemplo de buenas prácticas profesionales en lo referente al cuidado del paciente e interacción en la institución de salud.

II. Asegurar la calidad en el cuidado clínico, el Health and Human Services (s/f) sostiene que el supervisor en los campos clínicos es un mentor que facilita el desarrollo de competencias profesionales recalcando las funciones de atención y cuidado adecuados de los pacientes.

III. Evaluar el aprendizaje, el dominio evaluativo que los supervisores clínicos deben evidenciar incluye el uso de diversas estrategias para la valoración sumativa de las competencias médicas de los supervisados (Fluit et al. 2010) y la evaluación formativa de sus desempeños (Kilminster y Jolly, 2000).

IV. Evaluar la utilización los recursos, de acuerdo con Fluit et al. (2010) es necesario considerar a los médicos como miembros de organizaciones de cuidado de la salud, por lo cual, los supervisores clínicos deben priorizar los recursos para contribuir a la eficiencia de la organización.

V. Aprendizaje colaborativo, Falender y Shafranske (2004) argumentan que la supervisión efectiva se basa en gran medida en la constitución de alianzas de aprendizaje y responsabilidades compartidas.

VI.Crear un clima constructivo de aprendizaje, la conformación de ambientes de aprendizaje en los que existan vínculos afectivos adecuados que faciliten la comunicación, la consulta y la retroalimentación entre los miembros de equipo médico (Falender y Shafranske, 2004; Hore, Lancashire y Fassett, 2009).

VII. Promover el pensamiento crítico, según lo establecen Harvey et al. (2002) es fundamental que los supervisores formen en los alumnos que aprenden en los campos clínicos las capacidades para reflexionar sobre su propia práctica y adecuar su práctica a las condiciones contextuales que se enfrentan en momentos determinados.

MÉTODO

El diseño del instrumento de autoevaluación de la competencia docente de supervisión clínica en medicina se desarrolló en dos etapas. La primera corresponde a un estudio piloto que tuvo como fin identificar las particularidades de la función de supervisión; y la segunda involucra el desarrollo del cuestionario de autoevaluación.

PARTICIPANTES

Se contó con dos grupos de participantes, por un lado, quienes colaboraron en el estudio piloto y por otro, en el desarrollo de la retícula.

Estudio piloto. La condición para elegir a los participantes fue que laboraran en la enseñanza clínica de la medicina y que contaran por lo menos con cinco años de experiencia en el campo.

Participaron seis supervisores clínicos de medicina, dos mujeres y cuatro varones, con un promedio de edad de cuarenta y dos años. Cuatro supervisores cuentan con el grado de maestría y dos con doctorado; quienes se han desempeñado en promedio 17 años en la enseñanza de la medicina; tres de los supervisores pertenecen a la Facultad de Medicina y Psicología de la Universidad Autónoma de Baja California (UABC) Tijuana, dos de ellos laboran en la Clínica 20 del Instituto Mexicano del Seguro Social en Tijuana y uno en el ISSSTE Tijuana.

Desarrollo de la retícula. Se contó con ocho participantes, todas del género femenino, con una media de edad de cuarenta años. Respecto al grado académico, tres cuentan con licenciatura, tres con especialidad médica y una con doctorado. En lo que respecta a su práctica docente, cuentan con una media de experiencia docente de nueve años. Se les invitó a participar en un seminario a través de la dirección de la Escuela de Ciencias de la Salud-Ensenada de la UABC. La participación se condicionó a que las docentes manifestaran interés en mejorar su práctica docente en el campo clínico.

MATERIALES

El principal material de trabajo fue el Modelo de Evaluación de Competencias Docentes para la Educación Media y Superior, de García, Loredo, Luna y Rueda (2014). Este modelo propone tres momentos de la actividad docente a evaluar: previsión del proceso de enseñanza-aprendizaje, conducción del proceso de enseñanza-aprendizaje y valoración del proceso de enseñanza-aprendizaje. A su vez cada uno de éstos contiene las competencias consideradas fundamentales para desarrollar la función docente, así como sus concernientes indicadores

ETAPA 1. ESTUDIO PILOTO

Este estudio se realizó con el propósito de identificar las características de la función de supervisión con base en dos fuentes de información: el plan de estudios de medicina y entrevistas a informantes clave. Mediante análisis de contenido se analizaron las características que definen al Plan de Estudios 2010 de la Licenciatura en Medicina de la UABC. Además, se realizaron entrevistas semi estructuradas a informantes clave con el fin de conocer las concepciones sobre enseñanza clínica que prevalecen en los coordinadores y profesores de este ámbito.

ETAPA 2. DESARROLLO DEL CUESTIONARIO DE AUTO-EVALUACIÓN. ESTA ETAPA CONSTA DE CUATRO FASES QUE A CONTINUACIÓN SE DESCRIBEN:

Fase 1. Operacionalización del constructo.

En el proceso de operacionalizar el constructo de supervisión clínica se tomó como base la propuesta del Modelo de Evaluación de Competencias Docentes para la Educación Media y Superior (MECD) con apego a cuatro líneas de trabajo: 1) la teoría, requerimientos metodológicos y técnicos de la tradición en investigación de los cuestionarios de autoevaluación de la docencia; 2) la teoría de la enseñanza por competencias; 3) la teoría sobre supervisión clínica en medicina y 4) la información derivada de la caracterización de la función de supervisión clínica en la UABC.

En la delimitación del constructo se elaboró una retícula de planeación, en principio se ubicaron los tres momentos que plantea el modelo como dimensiones, se definieron las competencias como subdimensiones y los indicadores pertenecientes a cada subdimensión. Al considerar los tres momentos del modelo como dimensiones se les ubicó como los elementos de mayor nivel de generalidad, seguidos de las competencias como subdimensiones, y los indicadores. El desarrollo de la retícula se realizó en colaboración con el grupo de investigación del proyecto[36].

Fase 2. Validación de la retícula planeación del cuestionario de auto-evaluación.

La validación de la retícula se llevó a cabo a través de un seminario-taller. Éste se constituyó como un espacio de reflexión sobre la práctica de supervisión clínica en medicina y de análisis de los elementos involucrados en cada una de las competencias de la función de supervisión clínica en medicina.

El seminario-taller se desarrolló de acuerdo con los siguientes objetivos: (i) identificar las características que definen a la práctica docente de la enseñanza en el campo clínico de medicina, (ii) someter a la consideración de las participantes la retícula de planeación del cuestionario de autoevaluación de la competencia de supervisión en el campo clínico de medicina.

El seminario-taller se realizó en cuatro sesiones de dos horas una vez a la semana, se programaron objetivos y actividades para cada sesión de acuerdo con el plan de trabajo que se detalla en la tabla 1.

Fase 3. Diseño del cuestionario de autoevaluación.

Una vez validada la retícula de planeación, se elaboraron los reactivos correspondientes a cada uno de los indicadores.

La redacción de los reactivos se realizó de acuerdo con los siguientes lineamientos:

1) Atender las actividades reales del supervisor en la formación de los alumnos.

2) Revisar que los indicadores se encuentren reflejados en los reactivos.

3) Realizar un desglose de las prácticas que conforman el / los componentes del indicador. Esto es, puntualizar los aspectos de cada indicador para elaborar reactivos que respondan a la dimensión.

Fase 4. Validación del cuestionario por jueces expertos.

El banco de ítems se puso a consideración de las expertas en supervisión clínica, para lo cual se llevó a cabo una reunión de jueceo. La dinámica se inició con una breve exposición de las intenciones del proyecto y una explicación sobre el método de validación de contenido.

Para este propósito, se utilizó un instrumento de registro de las valoraciones segmentado en función de cada una de las seis competencias que contempla el cuestionario de autoevaluación, esto es, a cada juez se le presentó un formato de valoración de la congruencia, relevancia y claridad de los ítems por cada una de las seis competencias propuestas, donde la escala de puntuación iba del 1 al 4 (1=no congruente/relevante/claro, 2= poco congruente/relevante/claro, 3= congruente/relevante/claro, 4= muy congruente/relevante/claro). Asimismo los jueces valoraron el grado de suficiencia de las competencias con una escala similar.

Asimismo, las expertas calificaron los 83 ítemes que se les presentaron, para lo cual, al término de cada competencia, uno de los moderadores iba concentrando los valores en una tabla y presentándosela a los miembros del comité.

RESULTADOS

A continuación se presentan los resultados para cada etapa con sus respectivas fases.

ETAPA 1. ESTUDIO PILOTO.

El Plan de Estudios 2010 de la licenciatura en Medicina de la UABC está diseñado en la modalidad de competencias y contempla un total de 606 créditos, de los cuales 552 créditos corresponden a unidades de aprendizaje obligatorias y 54 créditos a unidades de aprendizaje optativas (Acuerdo Nuevo Plan de Medicina, 2009).

El programa de estudios se encuentra dividido en tres etapas: (i) etapa básica que, transcurre del primer al quinto semestre, y está integrada por asignaturas contextualizadoras, metodológicas, cuantitativas e instrumentales e integrada por 30 unidades de aprendizaje que corresponden a 230 créditos obligatorios y 21 optativos; (ii) etapa disciplinaria, integra 238 créditos obligatorios y 22 créditos optativos, distribuidos en 36 unidades de aprendizaje que se cursan del sexto al décimo semestre, con el propósito de desarrollar conceptos, metodologías y técnicas de las disciplinas específicas de la medicina; y (iii) etapa terminal, también conocida como: internado rotatorio de pregrado, se desarrolla en el último año de la carrera e integra 84 créditos, se desarrolla en instituciones públicas del sector salud (Acuerdo Nuevo Plan de Medicina, 2009)

Cabe destacar que al cumplir con sus créditos obligatorios y optativos, los alumnos de medicina deben llevar a cabo el servicio social dentro del sector salud en comunidades rurales o unidades hospitalarias con plazas, avalados por la Secretaría de Salud (Acuerdo Nuevo Plan de Medicina, 2009). Dicho proceso se lleva a cabo en el decimotercer y decimocuarto semestre, con una duración de un año.

Del total de 66 unidades de aprendizaje obligatorias (552 créditos), 36 corresponden al área clínica (327 créditos). Cabe señalar que se encontraron disponibles solo 25 cartas descriptivas, en ninguna se establecen explícitamente las actividades del docente en términos de planificación del proceso de enseñanza y evaluación de los aprendizajes; además, en el 60% de las cartas disponibles (n=15) no se describe la estructura de las prácticas.

Es necesario precisar que la enseñanza clínica de la licenciatura se desarrolla en dos grandes momentos: (i) enseñanza clínica de pregrado gestionada por la universidad (asignaturas clínicas), que constituyen las unidades de aprendizaje incluidas en el mapa curricular de la carrera; y (ii) enseñanza clínica en el internado rotatorio de pregrado [o simplemente internado], que se refiere a los dos semestres en los que los alumnos de la licenciatura rotan por los servicios clínicos de la institución sede.

Caracterización de la práctica de supervisión. De acuerdo con las perspectivas de los informantes, se concibe la enseñanza clínica como materias en las que se promueve el aprendizaje con base en el contacto directo con los pacientes y que, mediante el modelaje del experto, intenta desarrollar la competencia médica. Asimismo, los entrevistados señalaron que la modelación es la estrategia privilegiada en la enseñanza clínica que se desarrolla durante las asignaturas clínicas: los profesores enseñan con el ejemplo y utilizan estrategias de aprendizaje basado en problemas, enfrentando al alumno a las realidades que se viven en la profesión médica y mostrando estrategias para enfrentar la incertidumbre y los problemas. En la etapa de internado se privilegian tres estrategias a saber (i) la modelación, donde el médico de base ejemplifica las formas que deben prevalecer en la atención de pacientes clínicos, corrigiendo los errores de los alumnos; (ii) revisión bibliográfica de temas monográficos y casos pertinentes a su formación y; (iii) pases de visita, donde se revisan los pacientes y se discuten las posibles formas de abordaje de los casos.

La evaluación de los aprendizajes en las asignaturas clínicas es la principal área de oportunidad, según los entrevistados, ya que a pesar de utilizar un modelo educativo basado en competencias, la evaluación se reduce a la utilización de instrumentos estandarizados y la hetero evaluación desarrollada por el docente, soslayando la utilización de la autoevaluación, co-evaluación o la utilización de portafolios de evidencias.

ETAPA 2. DESARROLLO DEL CUESTIONARIO DE AUTO-EVALUACIÓN

Fase 1. Operacionalización del constructo.

En la operacionalización del constructo de supervisión clínica en congruencia con el MECD se definieron tres dimensiones: 1) previsión del proceso de supervisión; 2) conducción del proceso de supervisión; y 3) valoración del proceso de supervisión. Además, las respectivas competencias que en total suman seis competencias (tabla 2), y los indicadores correspondientes a cada dimensión.

Tabla 2. Dimensiones y competencias del constructo supervisión clínica

Fase 2. Validación de la retícula planeación del cuestionario de auto-evaluación.

La tendencia fue a considerar relevantes los indicadores, las observaciones se realizaron en relación con la claridad (ser más explícitos en relación al manejo de los términos).

Fase 3. Diseño del cuestionario de autoevaluación y validación del cuestionario por jueces expertos.

Posterior a la validación de las competencias e indicadores se elaboraron los reactivos mismos que fueron sometidos a validación de expertos. Los resultados del proceso arrojaron que solo uno (el número 33) de los 83 ítemes presenta un valor menor a 3 en la escala utilizada para valorar congruencia, relevancia y claridad, con un promedio de 2.83. El resto de los ítemes (n=82) tienen registros por encima de 3, de los cuales 67 ítemes tienen registro por encima de 3.5 en promedio. Dadas las cifras obtenidas e optó por dejar todos los reactivos para ser sometidos a futuros análisis. Lo anterior indica, en términos generales que el cuestionario es congruente, relevante y claro. El producto de este largo proceso es el cuestionario que se presenta en el anexo 1.

35 Trabajo realizado gracias al financiamiento otorgado al proyecto “Redes Colaborativas en la Formación y Evaluación de Profesores” otorgado por el PROMEP.

36 Se agradece la participación de Dra. Benilde García-Cabrero, Dra. Ileana Seda Santana y Mtra. Ma. Hortensia García Vigil.

CONSIDERACIONES FINALES

El principal reto en el diseño del cuestionario fue lograr la delimitación de los componentes de la supervisión clínica en medicina en congruencia con el enfoque de la enseñanza por competencias. Esto se logró al adoptar como estructura teórica el MECD, del cual cabe resaltar dos particularidades que hicieron posible la tarea: 1) las competencias y los indicadores asociados a cada tienen una fundamentación teórica sólida; y 2) asume el supuesto de que las competencias pueden ser desglosadas en indicadores para su evaluación.

Una característica que define al cuestionario son las teorías que le subyacen, por un lado, la teoría sobre supervisión clínica reconocida en la literatura y por otro, el modelo de enseñanza por competencias desde una aproximación constructivista, sociocultural y situada de las competencias. Los 83 reactivos que lo integran se distribuyeron en seis competencias: planear el programa de supervisión, gestionar el proceso de supervisión, dar seguimiento, ajustar y evaluar las acciones desarrolladas, utiliza formas de comunicación adecuadas para realizar el trabajo de supervisión, valorar los procesos de supervisión individual y grupal, así como su impacto, comunicar los resultados e impacto del programa de su intervención. Estos agrupamientos dan cuenta de la visión de los expertos sobre los componentes involucrados en la actividad de supervisión clínica. Compete a futuros estudios aportar evidencias de validez de constructo del instrumento y su utilidad.

La experiencia es relevante, en tanto que se integraron en el diseño del cuestionario los principios de la literatura sobre evaluación por competencias y supervisión clínica. De ahí que este trabajo se considere una aportación en el contexto de contar con instrumentos confiables y válidos para evaluar las diferentes modalidades de la enseñanza en la universidad.

DISEÑO Y VALIDACIÓN DE INSTRUMENTOS EN EL PROCESO DE EVALUACIÓN DOCENTE DE LA UAEH. UNA EXPERIENCIA METODOLÓGICA EN BUSCA DE MEJORA

Patricia Bezies Cruz

Leticia Elizalde Lora

INTRODUCCIÓN

La evaluación de la docencia es un tema vigente en la agenda educativa, tanto por el papel fundamental que puede desempeñar en la mejora de las instituciones, como por ser objeto de las políticas institucionales y nacionales de evaluación. Para Ibar (2002), la evaluación del proceso de enseñanza y en particular la del profesor es de suma importancia para la buena organización y gestión de las instituciones educativas.

Si bien en una institución se llevan a cabo diversas funciones como gestión, investigación, extensión y vinculación, la docencia es una de las de mayor importancia, ya que es la razón de ser de la educación. En esta medida, la evaluación de los profesores es un tema clave que permite la reflexión individual, colegiada e institucional sobre la enseñanza y el aprendizaje (RIIED, 2008).

FUNDAMENTACIÓN TEÓRICA

PROCESOS DE EVALUACIÓN EN LA EDUCACIÓN SUPERIOR

La evaluación, como campo de producción de conocimiento, se ha desarrollado significativamente. Hoy se cuenta con un repertorio de conceptualizaciones y propuestas de intervención inscritas en diversas perspectivas tanto teóricas, como metodológicas; a su vez, se ha configurado como un campo de actividad especializada, conformado por agencias y profesionales, reconocidos como expertos, que ofrecen servicios de evaluación (Rueda y García, 2013).

En las últimas décadas, la evaluación institucional universitaria se ha convertido en un tema prioritario, ya que la sociedad demanda cada vez mayor calidad en los servicios que prestan las universidades y el gobierno, debido a la mayor autonomía de las Instituciones de Educación Superior, le exige a éstas una rendición de cuentas.

Los resultados de una institución en términos académicos se relacionan, en gran medida, con el trabajo de los profesionales que en ella intervienen; por esta razón, la evaluación de la práctica docente constituye una de las actividades más relevantes de la evaluación institucional. En México, la evaluación de la docencia se inició a finales de los años sesenta y principios de los setenta en universidades privadas; sin embargo, su aplicación sistemática se presenta a partir de los años ochenta. Su uso se generaliza en 1990 con la modernización de la educación superior, lo cual condujo a cambios estructurales en las Instituciones de Educación Superior, particularmente en las públicas.

La docencia es la actividad principal de la mayor parte de las universidades, por lo que su evaluación puede contribuir considerablemente a llamar la atención sobre su relevancia y perfeccionamiento constante.

Para García, Loredo y Carranza (2008), la práctica educativa de los docentes puede ser visualizada como una actividad dinámica y reflexiva que comprende los acontecimientos ocurridos en la interacción profesor-alumno; en tal sentido, el profesor ha de ser evaluado como profesional de la educación por sus características personales o por sus capacidades y actuación dentro del contexto pedagógico.

El reconocimiento de la complejidad de la docencia resulta fundamental cuando se pretende incursionar en su evaluación, ya que la valoración implica una idea precisa de qué es enseñar y aprender en un contexto determinado. Si se consideran las diversas situaciones en las que se enseña y aprende (clase, seminario, laboratorio, prácticas de campo o clínicas) difícilmente se puede aceptar una misma forma de evaluar lo que sucede en cada una de ellas.

Como plantea Luna (2002), es necesario considerar las particularidades del contexto en el diseño de sistemas de evaluación de la docencia. En este sentido, los sistemas de evaluación han de cumplir con aspectos como: generar información confiable, implementar estrategias de retroalimentación y acciones para el mejoramiento.

Autores como Poissant (2004), insisten sobre el hecho de que las fuentes y los medios deben ser diversificados y complementarios si se quiere alcanzar un mayor nivel de equidad en la evaluación del profesor. Por ello, es preferible concebir la evaluación como un sistema en el cual diferentes instrumentos pueden ser utilizados de manera no exclusiva.

DISEÑO Y PUESTA EN MARCHA DE PROGRAMAS DE EVALUACIÓN: EL USO DE CUESTIONARIOS

Para el diseño y puesta en práctica de programas de evaluación se sugiere considerar las dimensiones política, teórica, metodológica procedimental, de uso, de metaevaluación y ética (Rueda, 2008); por consiguiente, al conformar el modelo general de evaluación se debe dar respuesta a cuestiones como: qué se evalúa, quién evalúa, cómo se evalúa, tipo de retroalimentación proporcionada, programas de mejora generados a partir de la valoración y opinión de los participantes sobre la evaluación.

Particularmente, en la dimensión metodológica procedimental se aborda, entre otros aspectos, el diseño de instrumentos. En el contexto de la evaluación universitaria, se entiende por instrumento de medida un procedimiento estandarizado que permite obtener un conocimiento objetivo de una persona, producto, sistema o institución. La importancia de construir instrumentos de evaluación adecuados radica en la trascendencia de las decisiones y las consecuencias que a partir de ellos se derivan, tanto personales, como sociales (Muñiz y Fonseca, 2008).

Respecto a la evaluación de la actividad docente, el uso de cuestionarios de opinión para que los estudiantes evalúen en las universidades es innegable; por ello, los directivos e incluso los propios profesores continúan prefiriéndolos con base en la tradición acumulada, durante más de tres décadas, y el estudio de aspectos de confiabilidad y validez. Aunque los cuestionarios de opinión para evaluar la actividad del profesor poseen límites, se considera que éstos pueden perfeccionarse y por lo tanto continuar con su empleo.

En un diagnóstico nacional, que tuvo como propósito identificar el estado de la evaluación de la docencia universitaria en México (Rueda, 2011), se recabó, de acuerdo con la clasificación establecida por la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES), la opinión de 126 representantes institucionales encargados de operar los programas de evaluación; identificando que los cuestionarios constituyen una de las fuentes más empleadas para evaluar la calidad de la enseñanza del profesor. Sin embargo, no en todos los casos se atiende a las propiedades psicométricas correspondientes.

Ante este panorama, resulta necesario tener presente que todo el proceso de construcción debe ser definido objetivamente a partir de principios teóricos y métricos para maximizar su validez. En este sentido, la construcción de un instrumento de medida es un proceso complejo que se puede articular en varios pasos. Éstos, pueden variar en función del propósito del instrumento de medida, tipo de respuesta, formato de administración o contexto de evaluación (Downing, 2006 y Smith, 2005 citados en Muñiz y Fonseca, 2008).

Así, para la construcción y validación de los instrumentos de medida tales autores precisan que es deseable iniciar con la conformación de un marco general para identificar el contexto de la aplicación. Posteriormente, definir operativamente el constructo evaluado, así como sus dimensiones, de forma que se esté en condiciones de describir detallada y precisamente aspectos concernientes a los requerimientos de administración del instrumento de medida, el tipo, número, longitud, contenido y distribución de los ítems. La construcción de los ítems es una etapa crucial, ya que su elaboración incidirá en las propiedades métricas del instrumento y en las inferencias realizadas.

Es recomendable diseñar la base de datos a partir de las cuales se van a realizar los análisis estadísticos correspondientes. En el estudio piloto, se pueden detectar y corregir posibles errores e incluso agregar ítems, así como examinar las propiedades métricas del instrumento de medida. A partir de lo anterior, se procede a la aplicación de campo.

Una vez administrado el instrumento de medida a la muestra de interés, se procede al estudio de las propiedades métricas del mismo: análisis de los ítems, estudio de la dimensionalidad, estimación de la fiabilidad, obtención de evidencias de validez y construcción. El análisis factorial y de componentes principales son las técnicas más utilizadas para examinar la estructura interna. Una vez determinada la dimensionalidad del instrumento, se lleva a cabo una estimación de la fiabilidad; la cual está relacionada con la consistencia de los resultados y se refiere al requisito de que cualquier otro evaluador o el mismo podrá, en otra ocasión, replicar la evaluación original consiguiendo datos comparables. En último lugar, se procede a la elaboración de la versión definitiva del instrumento y se envía un informe de resultados a las partes interesadas.

A partir de estos planteamientos, se aprecia que las propiedades métricas asociadas a instrumentos de evaluación universitaria son indispensables para obtener datos fiables y válidos que sirvan para tomar decisiones fundadas.

EVALUACIÓN DOCENTE EN LA UAEH: DIVERSIDAD INSTRUMENTAL

Con la intención de que la evaluación docente esté acorde con la filosofía institucional, la transición metodológica realizada en el semestre julio-diciembre 2010 tiene como marco de referencia el modelo educativo de la universidad; por lo que la evaluación está orientada al perfeccionamiento, siendo un elemento de cambio. De tal forma que dicha evaluación sirva para informar a los profesores sobre las características de su desempeño, ofreciéndoles las opciones de superación que se requieren para mejorar su actuación como docentes.

A partir de los planteamientos anteriores, se evalúa a los profesores a través de las dimensiones establecidas en los perfiles docentes de la Universidad Autónoma del Estado de Hidalgo (UAEH): ámbito de la formación, características personales para la docencia, competencias docentes, ámbito de la investigación y desempeño institucional.

En la universidad se asume que los procedimientos de evaluación deben ser sensibles a la diversidad de situaciones de enseñanza, por lo que ésta puede ser juzgada de manera apropiada sólo si se evalúa en el marco de los factores que la determinan. Así, se cuenta con cuestionarios de creación institucional específicos para valorar la actividad docente en los diferentes niveles y modalidades en que se imparte clase: presencial (licenciatura y bachillerato), actividades artísticas y deportivas del bachillerato, idiomas, posgrado, sistema no presencial y virtual. Es necesario precisar, que para el nivel de licenciatura, se diseñaron instrumentos de alumnos específicos por área de conocimiento: económico administrativas, de la salud, sociales y humanidades, agropecuarias, artes y ciencias básicas e ingeniería. Actualmente, las audiencias que participan son los alumnos, directivos y los propios profesores a través de la autoevaluación, y se tienen en uso 16 instrumentos. Para su construcción, se ha considerado que desde el punto de vista métrico deben ser objetivos, claros, comprensibles para los participantes, fiables y válidos.

Para la aplicación del análisis factorial, se retomaron los requisitos planteados por Morales, Urosa y Blanco (2003) y DeVellis (1991). Así, las correlaciones de los cuestionarios de creación institucional en la UAEH han sido altas con un nivel de significación menor a .05. Asimismo, la prueba de esfericidad de Bartlett se ha empleado para probar la hipótesis de que la matriz de correlaciones es de identidad; por lo que el valor de grado de significación (Sig.) obtenido ha sido de .000. En lo referente a la Medida de Adecuación Muestral KMO, de Kaiser-Meyer-Olkin, el índice de los cuestionarios ha oscilado entre .839 y .991, los cuales son valores meritorios.

Mediante el análisis de componentes principales se agrupan los reactivos en clases o componentes que puedan explicar la mayoría de la varianza observada en las respuestas. Las comunalidades (proporción de la varianza explicada por los componentes) han sido iguales a 1, lo que significa que con todos los componentes se explica totalmente la variabilidad en las respuestas de todas las variables. Para determinar el número de factores que deben ser extraídos, se ha partido de la regla de conservar sólo aquellos componentes cuyos autovalores son mayores que la unidad (1).

Para la confiabilidad se usa el Alfa de Cronbach; enseguida se incluye su valor por instrumento.

En concordancia con Reyes, Luna y Caso (2014); la estabilidad en la estructura factorial, el porcentaje de varianza explicada y los índices de confiabilidad con alfa de Cronbach son fundamentales para hacer inferencias válidas y confiables a partir de su aplicación. Con base en los aspectos anteriores, se puede apreciar, que los instrumentos empleados en la UAEH hacen mediciones estables y consistentes.

A partir del bosquejo metodológico para el diseño, construcción y validación de los cuestionarios de evaluación docente; el presente trabajo describe los resultados en los distintos niveles y modalidades de enseñanza de la UAEH, con base en la variabilidad instrumental desarrollada.

MÉTODO

Particularmente, a partir del semestre julio-diciembre 2010, la valoración de los profesores tiene como referente los perfiles incluidos en el modelo educativo de la universidad, consolidándose la diversidad de instrumentos para evaluar la docencia. Así, para el presente trabajo se consideró la evaluación realizada desde el semestre julio-diciembre 2010 y hasta julio-diciembre 2013; donde se registraron 1,100,288 cuestionarios de alumnos, 46,369 de directivos y 8,928 de autoevaluación. Cabe precisar, que ésta se reincorporó en 2013 como resultado de procesos de metaevaluación.

La evaluación se lleva a cabo en siete semanas de cada semestre y los instrumentos se responden vía red en la página de internet universitaria www.uaeh.edu.mx, en la sección de avisos institucionales o bien en el portal de la Dirección General de Evaluación. Para ingresar, los alumnos hacen uso de su número de cuenta, los directivos y profesores requieren de su número de empleado, siendo necesario en todos los casos el NIP.

RESULTADOS

Dado que los cuestionarios se responden con una escala numérica del 10 al 0, se calculó la media por dimensión y del promedio total con base en la factorización, ésta contiene las matrices construidas a partir de cada perfil, en las que se determinan los reactivos que deben incluirse y en su caso las ponderaciones para obtener la valoración.

En la figura 1 se aprecian los resultados de los profesores del bachillerato en función del tipo de asignaturas que imparten: idiomas, disciplinares, artísticas o deportivas.

Respecto a este nivel educativo, los profesores de idiomas presentan las valoraciones más altas en la mayoría de las dimensiones: ámbito de la formación (9.03), competencias docentes (8.92), características personales para la docencia (8.87), ámbito de la investigación (8.83) y en el promedio total (8.85).

En cuanto al desempeño institucional, la media más favorable (8.72) se ubica en aquellos docentes que imparten asignaturas propias del plan de estudios de bachillerato. Esencialmente el desempeño refleja la calificación otorgada por los directivos a aspectos tales como participación en tutorías y asesorías, las cuales constituyen una actividad fundamental para el trabajo cotidiano con los estudiantes. La dimensión de características personales para la docencia, enfocadas a la promoción de valores, habilidad para motivar, así como actitud innovadora y propositiva, entre otros aspectos, también presenta una media satisfactoria (8.81) para este tipo de profesores.

La práctica docente en las actividades artísticas y deportivas es evaluada con valores más altos en competencias docentes y ámbito de la investigación (8.80), no así en lo referente a su desempeño institucional (7.19).

En la figura 2 se muestran los resultados de los profesores que imparten clase en licenciatura, tanto en las asignaturas de idiomas, como en las asignaturas correspondientes a los programas que integran la oferta educativa de la universidad para tal nivel.

Los profesores de idiomas en el nivel de licenciatura cuentan con la evaluación más alta en competencias docentes (8.55) y ámbito de la formación (8.46). En la dimensión de competencias docentes se evalúa la enseñanza a través de modelos de lenguaje que permitan la comprensión del idioma; si se explica a los estudiantes la relación de las actividades con el desarrollo de competencias comunicativas y la precisión en la emisión de instrucciones. Además, se valora el desarrollo de habilidades como hablar, escribir, leer y escuchar en la lengua que se enseña.

Por su parte, los profesores de las asignaturas disciplinares de licenciatura tienen como fortaleza las características personales para la docencia (8.34), seguida de las competencias docentes (8.30). En esta dimensión, se considera la habilidad para promover competencias específicas, las cuales son saberes especializados para realizar labores concretas propias de la profesión que se aplican en un contexto determinado, el dominio del conocimiento de la disciplina, así como las particularidades de la enseñanza en función de las áreas de conocimiento relacionadas con los programas educativos; es decir, económico administrativas, de la salud, agropecuarias, artes, ciencias básicas e ingeniería y sociales y humanidades. Las áreas de oportunidad en idiomas se relacionan con el desempeño institucional (7.88) y en licenciatura con el ámbito de la formación (7.84).

Los resultados de la evaluación de la práctica docente en especialidades, maestrías y doctorados se presentan en la figura 3.

La media más alta está en el desempeño institucional (7.72) mediante el cumplimiento de la normatividad, conocimiento del programa educativo en el que se desempeña, participación de calidad en las comisiones académicas y productividad en trabajo de academias. Posteriormente, se encuentra la dimensión de ámbito de la investigación (7.55), la cual comprende el desarrollo de habilidades de indagación y la incorporación activa de estudiantes a proyectos investigativos. La media con menor valor (6.80) se identifica en competencias docentes, donde se considera para este nivel la contribución a la adquisición de un conocimiento experto para incidir en la atención de problemas propios del campo de conocimiento y en lo correspondiente a la formación.

Enseguida, se presentan los resultados correspondientes a la modalidad “No presencial”. Cabe señalar, que hasta el año 2012 en esta modalidad se incluían los programas educativos de bachillerato, licenciatura y maestría impartidos en el Sistema de Universidad Virtual. Sin embargo, a partir de 2013 se diseñaron cuestionarios específicos para tal sistema, por lo que en la modalidad No presencial permanecieron los programas de Enfermería e Historia de México.

Si bien los valores no superan una media de 8, la media más alta está presente en las características personales para la docencia (7.64) mediante la generación de aspectos motivacionales y de participación, desarrollo de valores éticos, actitud y habilidad para el trabajo en equipo, compromiso con su labor educativa y disposición para la formación y actualización permanente.

Las dimensiones con valoraciones menores son manejo de materiales en un segundo idioma evaluado en ámbito de la formación (5.73) y competencias docentes (6.90), en donde se integran habilidades para comunicarse oralmente y por escrito, manejo de recursos didácticos informáticos, así como selección y diseño de materiales propios de la modalidad.

CONCLUSIONES

En México, la evaluación del desempeño docente está vigente en prácticamente todas las Instituciones de Educación Superior. Por consiguiente, al implementar procesos evaluativos resulta fundamental atender a requisitos metodológicos necesarios para que sean válidos y confiables, de tal forma que se efectúen evaluaciones rigurosas en el ámbito universitario.

En este sentido, conviene tener presente que un instrumento métricamente adecuado es condición necesaria, pero no suficiente para llevar a cabo una evaluación exitosa. Aspectos como el proceso de aplicación, el uso que se hace de los resultados o la retroalimentación, contribuyen a que un excelente instrumento genere los resultados deseados de la evaluación.

En la UAEH, se han atendido los criterios metodológicos necesarios para el diseño y validación de los cuestionarios de creación institucional empleados para valorar la práctica docente, por lo que actualmente se cuenta con una diversidad instrumental que atiende a las particularidades de la enseñanza.

Así, los resultados permiten identificar que los profesores de idiomas de bachillerato obtienen la evaluación más favorable en la mayoría de las dimensiones consideradas en la evaluación basada en los perfiles docentes, en comparación con los profesores de la modalidad no presencial y de posgrado.

Destaca el hecho que los profesores de idiomas de licenciatura y de bachillerato, presentan valoraciones favorables en el ámbito de la formación y competencias docentes, donde los alumnos evalúan el manejo de contenidos en un segundo idioma.

Atención especial merece la evaluación del desempeño institucional en los profesores de actividades artísticas y deportivas del bachillerato, así como de idiomas en licenciatura.

Con base en lo anterior, se puede afirmar que, a partir de la diversidad de instrumentos empleados para evaluar a los profesores de la universidad en las distintas modalidades y niveles, se tiene un panorama integral de las fortalezas y áreas de oportunidad que deben atenderse y cuáles procesos de formación deben ofrecerse. Con ello, se beneficia no sólo a los propios profesores, sino también a los estudiantes quienes tienen acceso a una educación de calidad, ya que se impacta en los procesos curriculares de revisión, creación y acreditación de programas educativos. Finalmente, la importancia de la evaluación de la docencia se deriva del potencial que posee como herramienta para contribuir a mejorar la calidad de la enseñanza.

LA REFLEXIÓN COMO HERRAMIENTA PARA LA EVALUACIÓN Y LA MEJORA DE LA PRÁCTICA DOCENTE EN LA UNIVERSIDAD

María Guadalupe Carranza Peña

María Virginia Casas Santín

LA REFLEXIÓN DOCENTE

Los procesos educativos en la universidad presentan una serie de condicionantes de distintos tipos; ya sea institucionales, curriculares, sociales, culturales, económicos y académicos propiamente dichos, que los hacen sumamente complejos.

La docencia, consecuentemente, es un reflejo fiel de esa complejidad. La cantidad de situaciones que debe considerar el profesor durante su práctica revela un conjunto de aspectos que se juegan durante las interacciones que establece con sus estudiantes.

Mucho se ha hablado de la necesidad de que el profesor reflexione sobre su práctica. Schön (1998) menciona que el docente necesita fijar su atención en los problemas que surgen durante la práctica y participar en un proceso reflexivo, por medio del cual se nombran las cosas sobre las que se va a detener y enmarcar el escenario en que se pretende mover.

Por otra parte, Dewey también hizo la distinción entre la "acción reflexiva" y la "acción rutinaria". Como acción rutinaria incluye aquellas acciones que están determinadas exclusivamente por la tradición, por la verdad de autoridad o por definiciones oficiales; ya que este tipo de acción no cuestiona los fines a los que sirve ni se detiene a pensar en las prácticas que animan dichos fines. Por el contrario, define que la acción y el pensamiento reflexivo se orientan hacia “el examen activo, persistente y cuidadoso de toda creencia o supuesta forma de conocimiento a la luz de los fundamentos que la sostienen y las conclusiones a las que tiende”. (Dewey, 1989, p. 25).

En la perspectiva de este trabajo, entendemos a la práctica docente más allá de una concepción técnica del rol del profesor y la situamos en su función mediadora entre un proyecto educativo y sus actores, donde la acción reflexiva tiene un papel central.

Siguiendo a Brockbanck (2002), destacamos la importancia de realizar una práctica reflexiva en la que el docente sea consciente del papel social que realiza, así como permita dar continuidad en términos de su resignificación y el deseo de su continua transformación en un sentido prospectivo. Como afirma este autor: “Definimos la reflexión…como… la creación del significado y la conceptualización a partir de la experiencia y la capacidad de mirar las cosas como potencialmente distintas…” (Brockbank, 2002, p. 16).

Durante su práctica docente, el profesor universitario refleja la posesión de un cuerpo de conceptos, un sistema de creencias y valores, expresa una cosmovisión que se concreta en la práctica y se encuentra integrada por el concepto que se tiene de ser humano, así como de su capacidad de crecimiento y desarrollo cognitivo; de igual manera por el concepto que tiene de sociedad y la necesidad o no de su transformación (Díaz, 2001). Por tanto, la congruencia entre lo que se hace, se dice y se piensa en el aula universitaria dependerá en gran parte de la sistematización, rigor y nivel de reflexión con el que se revisen las características del marco conceptual.

UN CUESTIONARIO COMO DISPOSITIVO PARA LA REFLEXIÓN

La propuesta de reflexión sobre la propia práctica, que pretendemos generar a través del cuestionario de autorreflexión docente, involucra al académico de la Universidad Pedagógica Nacional (UPN) en la reconsideración, construcción y reconstrucción de sus marcos teóricos, pero también de sus valores, habilidades, afectos, actitudes y formas de comportarse. Por lo tanto, sus compromisos teóricos no son considerados como un conjunto de conocimientos aprendidos de memoria y reproducidos en el aula, sino una construcción mental (cognitiva) propia y en colectividad, donde sus productos condicionan lo que se hace en el aula; en otras palabras, enmarcan toda una cultura en torno a la educación.

Entre las formas de concebir y determinar el papel que tiene el profesor, como profesional en escenarios complejos de la práctica, se propone a éste como un investigador en el aula, al maestro como un artista, a la enseñanza como una profesión de diseño, a la enseñanza como un proceso donde se planifica y toman decisiones y al profesor como práctico reflexivo; en todas ellas se muestran diferentes facetas o caras desde donde se puede abordar la labor del docente en el aula.

Para todas ellas se requiere el análisis de lo que realmente hacen los profesores cuando se enfrentan a problemas complejos de la vida en su salón de clases.

El docente, en nuestro planteamiento, es un sujeto que reflexiona sobre su práctica, elabora expectativas, crea sentidos y ayuda a los estudiantes a crearlos; además emite juicios acerca de lo que hace él y sus estudiantes, comparte sus razonamientos con ellos, los discute y realiza negociaciones respecto a los diversos planos de acción e interacción tanto discursiva como no discursiva, toma decisiones respecto a los acuerdos elaborados; con todo ello, el docente concibe su práctica como un proceso eminentemente interpersonal, social y cultural. (Colomina, 2002). Por todo lo anterior, definimos al cuestionario de autoevaluación como el dispositivo óptimo para estimular los procesos de reflexión de la práctica y consecuentemente como un medio para evaluarla.

En principio, resulta conveniente resaltar que la evaluación puede ser clasificada según diversos propósitos, por ejemplo: a) la evaluación entendida como la constatación de resultados que se refiere a las típicas evaluaciones de carácter sumativo, en las que se analizan los resultados tras la implantación de un programa; b) la evaluación entendida como la emisión de juicios de valor, en la que se pretende emitir valoraciones sobre los resultados obtenidos, lo que permitirá la toma de decisiones sobre acciones futuras; c) la evaluación aplicada como un procedimiento científico para recolección de información sistemática, mediante el uso de instrumentos, control de calidad del dato y análisis de la información obtenida; d) y por último la evaluación entendida como toma continuada de decisiones a través del proceso o evaluación formativa, que permite juzgar el mérito y valor de la actividad o programa durante su implantación, y como consecuencia, tomar decisiones fundamentadas encaminadas a su mejora (Pozo, Alonso & Hernández, 2004, p. 35). En nuestro caso, nos ubicamos en este último propósito.

En el campo de la docencia, una de las primeras dificultades para evaluar consiste en la ausencia de criterios claros y definidos acerca de la función docente, es decir, saber cuáles son los rasgos que un "buen profesor" debe tener.

Si bien a nivel discursivo, existe un relativo reconocimiento de la importancia y trascendencia de la actividad docente; ya que, de hecho, en las universidades es la actividad que mayores recursos materiales y humanos consume; en los hechos, no existe claridad respecto a lo que la institución espera de ella. En tanto que existen amplios consensos para valorar la actividad en la investigación científica, en la práctica docente no se ha logrado construir los parámetros que señalen los mínimos en su calidad.

Para contribuir a la definición de esos rasgos específicos de la docencia, hemos diseñado y aplicado un cuestionario de autoevaluación que explora no sólo sobre las prácticas de los profesores, sino sobre las concepciones que subyacen a dichas prácticas. A continuación se presentan las características y resultados de dicho cuestionario.

EL CUESTIONARIO, SUS DIMENSIONES Y RESULTADOS

DATOS GENERALES

El instrumento fue diseñado con base en una discusión teórica sobre las formas de pensar (teorías implícitas, Pozo, 1999) y hacer la docencia; con él se intenta indagar sobre cómo el pensamiento que los profesores tienen sobre su quehacer repercute en su práctica y sobre el manejo pedagógico que tienen de los contenidos curriculares (Shulman, p. 1981)

A partir de un conjunto de elementos conceptuales utilizados en el instrumento se pretende que los maestros hagan consciente lo que saben (teorías asumidas) y lo que hacen (teorías en uso), a la par que reflexionando sobre su propia práctica logren resignificarla. En este sentido, la aproximación a nuestro objeto de estudio responde a un enfoque mixto con resultados cuantitativos y cualitativos en el cual se pretende explicar los significados en voz de los propios actores.

Se empleó una muestra no probabilística accidental (58 cuestionarios); ya que éstos fueron respondidos por aquellos profesores a los que se pudo localizar y tuvieron disposición. Algunos no lo respondieron porque se encontraban de año sabático, no fueron ubicados, estaban comisionados fuera de la universidad, gozaban de licencia médica o no quisieron responder. Así, la muestra representa 48.3% del total de profesores elegibles.

El cuestionario se diseñó bajo un enfoque socio-constructivista en el que se consideraron no sólo aspectos comportamentales de alumnos y maestros, sino aspectos contextuales y de carácter actitudinal, con el fin de que el acercamiento a la práctica docente responda a la complejidad y multidimensionalidad del proceso educativo. Un elemento novedoso es el énfasis en los procesos interactivos que ocurren en el aula, los cuales no son comúnmente considerados en este tipo de instrumentos.

El cuestionario retoma las dimensiones elaboradas en un estudio anterior realizado por este mismo equipo y que fue validado por el método de jueceo de expertos (Hernández, Carranza & Casas, 2012), a saber:

a) Dimensión de planeación de la enseñanza. Hace referencia a las previsiones que el maestro realiza antes de iniciar sus clases y que están influenciadas por sus creencias acerca del alcance y significado del aprendizaje y sus expectativas sobre lo que en las clases debe ocurrir. Se refiere a lo que Kane et al. (2009) denominan teorías asumidas, a diferencia de lo que realmente ocurre en las clases, denominadas teorías en uso (9 reactivos).

b) Dimensión de ambientes de aprendizaje. Trata de indagar sí la práctica docente de los maestros está centrada en el que aprende, en el conocimiento o en la evaluación, o bien si considera rasgos de las tres orientaciones (12 reactivos).

c) Dimensión estrategias de participación y conducción de la clase. Busca conocer cuál es papel que cumple el profesor en la conducción de la clase, los tipos de interacción entre el maestro y los alumnos (13 reactivos).

e) Dimensión evaluación sobre los aprendizajes. Indaga sobre los criterios, indicadores e instrumentos que el profesor utiliza cotidianamente para conocer el alcance de los aprendizajes entre los alumnos (6 reactivos).

Además el cuestionario incorporó una sección de datos generales (edad, años de experiencia docente, sexo, formación disciplinaria, grado máximo de estudios y materia(s) impartidas).

De los reactivos; 4 son de opción múltiple, 20 de escala Likert con cuatro opciones de respuesta que van de siempre a nunca y 16 son preguntas abiertas. En el caso de las preguntas abiertas, para evitar la dispersión de la información se agruparon las respuestas en categorías de análisis con base en la proximidad semántica de las respuestas y de acuerdo al marco teórico de referencia.

Al considerar las dimensiones señaladas, una propuesta de formación - evaluación de la docencia derivada de los resultados de esta investigación profundizaría en las diversas formas para el mejoramiento no sólo de las prácticas docentes, sino además de los sujetos que les dan sentido; en la cual el involucramiento del profesor iría más allá del rol asumido típicamente en los procesos de evaluación: el de un individuo que es calificado a través de instrumentos más o menos estandarizados, para propiciar su participación amplia en el establecimiento de las metas formativas de la institución escolar.

El cuestionario fue validado por académicos expertos en investigación cualitativa de la UPN-Unidad Ajusco; además se aplicó una prueba piloto del instrumento con académicos. Con base en los resultados obtenidos, se aplicaron tres pruebas estadísticas para la validación y confiabilidad del instrumento (distribución de frecuencias, comparación de grupos contrastados por medio de tablas cruzadas y Alfa de Cronbach) mismas que ayudaron a establecer el grado de confiabilidad de la información obtenida de dichos instrumentos (se consideró la correlación lineal entre el ítem y el puntaje total como confiable a partir de 0.70 o cercano a éste).

El cuestionario fue aplicado a una muestra (58 profesores) en la que 18.5% se encuentran en un primer rango de edad entre 29 y 46 años (de ellos sólo 10% tiene menos de 40 años), 44.4% tiene entre 47 y 56 años y 37% entre 57 y 74 años. Tal situación revela la ausencia de una política educativa e institucional que garantice el relevo generacional de la planta académica. Respecto al sexo de los encuestados 47.3% son mujeres y 52.7% son hombres.

En cuanto a la experiencia docente; el 15.1% tiene 10 años o menos, otro 15.3 % cuenta con menos de 20 años de docencia, un 34% acumula menos de 30 años y por último el 39.6% tienen más de treinta años de experiencia docente. Por lo tanto, se puede suponer que una parte significativa de los profesores tiene una experiencia en la docencia que representa un potencial significativo para el desarrollo institucional, aunque también implica que son maestros con rutinas de trabajo que no necesariamente están dispuestos a modificar, es decir, les cuesta más trabajo lograr un cambio conceptual y actitudinal sobre su propia práctica docente.

Un 12.2% de los profesores tiene una formación inicial en el área administrativa (incluye economía, administración y derecho), un 20.4% en el área de sociales (incorpora sociología y comunicación), 36.7% se formaron en humanidades (contempla letras, historia, filosofía y antropología), 16.3% en educación (incluye la formación normalista, pedagogía y las relacionadas con educación) y 14.3% en el área de psicología (abarca distintos enfoques, psicología clínica, psicología social, psicología educativa, entre otras). Como se desprende de estos datos, 57.1% de los profesores se formaron en las áreas de humanidades y sociales, otro 14.3% en el área de psicología; es decir, 71.4% del total de los encuestados no tiene una formación inicial que le provea de un conocimiento pedagógico necesario para el ejercicio de la docencia.

En relación con la escolaridad de los profesores; tenemos que 16.4% cuenta con licenciatura, 49.1% con Maestría, 3.6% ha cursado alguna especialidad y 30.9% tiene el grado de doctor; es decir, 83.6% de los docentes han cursado posgrado.

Asimismo, 30.9% de los profesores encuestados imparten asignaturas de la línea filosófico-pedagógica, lo que se correlaciona con la naturaleza de la licenciatura analizada (Pedagogía); 18.2% imparten clases en la línea investigativa y psicológica, 14.5% dan clases en la línea socioeducativa y otro 10.9% en la línea socio-histórica.

RESULTADOS SOBRE LAS CONCEPCIONES DEL APRENDIZAJE, VINCULACIÓN TEORÍA/, TIPOS DE APRENDIZAJES, ESTRATEGIAS SEGÚN CONTENIDOS, INTERACCIÓN EN EL AULA Y LA EVALUACIÓN DEL APRENDIZAJE

Por cuestiones de espacio, a continuación se presentan sólo algunos resultados relevantes del cuestionario.

En la dimensión planeación, seleccionamos la pregunta en relación con el conocimiento que tienen los maestros sobre los diferentes tipos de contenidos. Casi el 60% de ellos afirmó que siempre distingue los diferentes tipos de contenidos (conceptual, actitudinal y procedimental) en sus programas, otro 20% manifestó que casi siempre los distingue y sólo un 10% afirmó que no lo hace.

Para contrastar estos resultados sobre su conocimiento pedagógico se les pidió un ejemplo de cada uno de ellos, encontrándose lo siguiente. En los contenidos conceptuales 53.4% presentó ejemplos adecuados, respecto al 60% quien dijo distinguir este tipo de contenidos; lo que nos muestra una consistencia entre su discurso y su práctica. Sin embargo, otro 27.6% no aportó ejemplos que evidencien su conocimiento sobre este tipo de contenidos, sin que tengamos elementos para saber si este porcentaje corresponde a los que respondieron que casi siempre.

Al solicitarles ejemplos sobre los contenidos actitudinales el 51.7% de los encuestados proporcionaron ejemplos adecuados, sin embargo, al contrastar este resultado con el 60% de los que habían afirmado distinguirlos se evidencia casi un 10% de profesores que no aportaron un ejemplo adecuado; es decir, que no distinguen este tipo de contenidos. Al analizar las respuestas de los maestros, encontramos que algunos desestiman la importancia de este tipo de contenidos; llegando incluso a contestar que se dan de manera espontánea sin ninguna intencionalidad pedagógica o que no forman parte del proceso educativo. Ello evidencia la necesidad de generar una propuesta que revalore ante los profesores los contenidos actitudinales como parte de la formación del alumno.

Por otra parte, cuando se les pidió a los profesores que expusieran algunos ejemplos de contenidos procedimentales; el 53.4% presentó ejemplos adecuados. Sin embargo, al contrastar este porcentaje con las respuestas dadas en la pregunta anterior (sobre si distinguían o no los diferentes contenidos) sus respuestas correspondieron al 60%, por lo que sostenemos que hay una relativa consistencia entre lo que dicen saber y lo que saben hacer.

En la dimensión de ambientes de aprendizaje, se les preguntó si los contenidos abordados propician el pensamiento crítico en el alumno; la mayoría de los profesores (92.4%) están convencidos de que siempre o casi siempre se logra, sólo 7.5% de ellos dice que a veces si se logra. Además, cuando se les preguntó cómo propician este pensamiento crítico elaboraron distintas respuestas: grupos de debate (14.5%), conflicto sociocognitivo (16.4%), reflexión y problematización (34.5%) y vinculación teoría práctica (12.7%) que son reconocibles como estrategias adecuadas para el desarrollo del pensamiento crítico. Sin embargo, al hacer la contrastación entre lo que dicen que hacen y cómo lo hacen encontramos una diferencia importante; ya que el 92.4% dice siempre y casi siempre propicia este tipo de pensamiento mientras que el 21.8% de los profesores no contestó o su respuesta no fue pertinente con la manera en que lo hace.

De igual forma, los maestros encuestados expresan que reflexionan cotidianamente la manera en que sus alumnos aprenden; 88.6% sostiene que lo hace siempre o casi siempre y 11.3% que sólo a veces. Ninguno expresó que no reflexiona sobre este aspecto, pero al cruzar estos datos con las respuestas respecto a si propician la crítica, la reflexión y la discusión entre sus estudiantes encontramos que sólo en el 34.6% de los profesores hay congruencia entre la reflexión sobre su práctica y las actividades que despliegan durante el proceso de enseñanza y aprendizaje: la discusión, el debate, el diálogo, la reflexión grupal y el cuestionamiento, básicamente.

En relación con la dimensión afectiva dentro del proceso de enseñanza aprendizaje, el 78.4% de los profesores consideran importante incluirla en su práctica docente, sin embargo, la quinta parte de las respuestas (22.4%) evidencian que no hay un conocimiento pedagógico sobre cómo trabajar esta dimensión en el aula, o bien existe confusión al encontrarse un alto porcentaje de respuestas no pertinentes. Por otro lado, existe otro grupo de profesores que tiene claridad sobre cómo utilizar estrategias para trabajar dicha dimensión dentro del aula; ya que al pedirles que especificaran ejemplos de cómo la trabajan, 20.9% manifestó que propicia el respeto en el salón, 11.9% la motivación y 9% que exploran el ambiente grupal y el trato personalizado. Es posible afirmar que se tiene poca claridad sobre cómo trabajar la dimensión afectiva dentro de los procesos de enseñanza y aprendizaje y, por tanto, se relega a un segundo plano, respecto de los contenidos conceptuales y procedimentales.

Para la dimensión creación de ambientes de aprendizaje, ya que uno de los propósitos más importantes de la formación profesional del pedagogo es que sea capaz de desarrollar competencias comunicativas que le permitan desenvolverse adecuadamente en los entornos laborales, resultaba importante preguntarles a los profesores si promovían la presentación pública de sus trabajos. A este respecto 88.7% contestó afirmativamente, pero al contrastar ese dato con la frecuencia en que efectúan esta actividad encontramos diferencias ya que de los 47 maestros que afirmaron que si es importante, 18 de ellos expresaron que sólo a veces propician esta clase de actividades, 15 profesores que casi siempre y sólo 10 son coherentes con su respuesta anterior.

En la dimensión estrategias de conducción en el aula, dado que esta investigación intenta explorar sobre las teorías implícitas de los profesores sobre los procesos de aprendizaje de sus estudiantes, resultaba relevante saber si presentan sus contenidos de lo simple a lo complejo o viceversa, de manera aleatoria o no lo han considerado. La mayor parte (69.2%) respondió que va de lo simple a lo complejo, tal como lo establecen las teorías cognitivas del desarrollo, en el sentido de que el conocimiento se va construyendo sobre la base de los esquemas más simples a los más elaborados y consecuentemente los temas han de presentarse de esa manera. Otro 8.6% de profesores presentan los temas de lo más complejo a lo más simple, quizá porque sus concepciones refieran a su propia formación profesional en la que aprendieron con esta lógica, o quizá por la naturaleza de los contenidos de su curso. Por último otro 8.6% de profesores dijeron no haberlo considerado nunca, lo cual es un dato preocupante.

En la dimensión evaluación de los aprendizajes, se les preguntó si explicaban al inicio del curso los criterios e indicadores de evaluación que utilizarían. La mayoría 85.2% afirmó que siempre lo hace, otro 13% que casi siempre y sólo un 1.9% señaló que no lo hace. A continuación se les preguntó si respetaban los criterios e instrumentos acordados para evaluar 74.1% de los maestros afirmó que siempre lo hace, es decir aproximadamente un 10 % de los que dieron a conocer los criterios y los instrumentos de evaluación al inicio del curso acabaron haciendo modificaciones en la práctica. Lo anterior, evidencia cierta flexibilidad en la planeación por parte de los maestros.

Pero al interrogárseles si evalúan con base en los temas trabajados 84.9% afirmó que siempre lo hace, el 13.2% que casi siempre y sólo el 1.9% reconoció que su evaluación no va ligada a lo que hace en clase. Estos datos contradicen las respuestas obtenidas al preguntárseles si entregan y explican a sus estudiantes los resultados de su evaluación, ya que el 100% de los profesores afirmó que lo hacen siempre o casi siempre. Habría que preguntarse qué elementos les dan el 1.9% de maestros que no evalúan con base en los contenidos trabajados en el curso.

A partir de los resultados expuestos, planteamos que el instrumento de autoevaluación de la práctica docente permite ubicar las fortalezas y debilidades con que cuenta el profesor para desarrollar sus tareas profesionales; no obstante, hay que ligar las cualidades del instrumento a un proceso de retroalimentación de los resultados de la evaluación donde el docente (preferentemente en colegiados) socialice el resultado de la reflexión que generó al contestar el cuestionario. Todo esto se realiza para garantizar que el proceso de reflexión deseado se estimule y genere una propuesta de intervención que responda a las necesidades de formación pedagógica detectadas, que sea flexible y adecuada al expertiz que ya poseen los docentes.

Asimismo, la aplicación del instrumento evidencia la resistencia de algunos profesores a preguntarse sobre su ejercicio profesional; semejante resistencia bloquea cualquier posibilidad de intervención que tienda a la mejora de la práctica docente.

Por último, cabría señalar que el instrumento también tiene como limitación, como cualquier otro, que se parte del supuesto que el profesor encuestado hará el esfuerzo por contestar verídicamente las preguntas, lo cual no siempre sucede.

ALCANCES Y LIMITACIONES DEL CUESTIONARIO

La aplicación del cuestionario demuestra, de manera clara, su utilidad como un dispositivo de autoanálisis para que cada maestro explore las debilidades y fortalezas de su práctica docente; al permitirle repensar en torno a sus concepciones, valores y prácticas reales, más allá de representar un instrumento de control externo, se constituye como un mecanismo de autoanálisis de su propia práctica.

Queda por delante fomentar la discusión colectiva de las reflexiones generadas a través de este valioso instrumento.

EVALUACIÓN DE LA DOCENCIA: UNA POSIBILIDAD DE MEJORA PERMANENTE EN LA DIVISIÓN DE ESTUDIOS PROFESIONALES DE LA ENEO-UNAM

María del Rosario Ortega Gómez

María del Pilar Sosa Rosas

Octavio César Rodríguez Arellano

Nubia Yazmín Nicolás Caballero

Gloria Rodríguez Díaz

INTRODUCCIÓN

Los cambios surgidos al inicio de los años noventa del siglo anterior, impusieron a la escuela y a quienes laboran en ella, una serie de demandas, creando así, una serie de expectativas de transformación en busca de lograr una mejora educativa. Entre otras situaciones a modificar, se introduce la evaluación como política, de manera que hoy ha tomado un papel central en los discursos oficiales tanto nacionales como internacionales, apostando a que su ejercicio apuntalará una mejora de la calidad del sistema educativo con la intención de alcanzar los mismos niveles de los países desarrollados. Por este motivo, en muchos casos las instituciones estamos inmersos en la carrera por alcanzar la certificación a través de una evaluación externa que pocas veces posa su mirada en los procesos internos que le dan sentido a la vida escolar y reflexiona sobre lo que ahí acontece, negando con ello una verdadera posibilidad de comprensión y mejora del acto educativo.

Una de las actividades susceptibles de ser evaluada con fines de comprensión y mejora es la docencia; sin embargo, requiere apoyarse en una perspectiva formativa que permita comprenderla y explicarla, dando un lugar protagónico al docente que la realiza y a las condiciones que constituyen el contexto en que se desarrolla.

En este sentido, la Escuela Nacional de Enfermería y Obstetricia, a través de la Dirección General de Asuntos del Personal Académico (DGAPA), autoriza y financia el proyecto PAPIME PE212412 “Evaluación de la docencia: una posibilidad de mejora permanente”.

EVALUACIÓN FORMATIVA

La importancia de la evaluación formativa radica en la experiencia formadora como suceso de confirmación. A decir de Flores, R (1999), se trata de una experiencia abierta, que implica varias posibilidades, y que responde a preguntas o cuestionamientos vitales, que sugiere alternativas o caminos de solución que se pueden pensar, elegir y evaluar. La evaluación con fines formativos sirve a la toma de conciencia que ayuda a reflexionar sobre el proceso, se inserta en el ciclo reflexivo de la investigación en la acción: planificación de una actividad, realización, toma de conciencia de lo ocurrido, intervención posterior (Sacristán, 2002); precisamente por la conciencia reflexiva se brinda atención crítica a lo que se hace o se piensa como tema de análisis, para indagar en qué se está, cómo van las actividades y cómo se podría continuar adelante. En este sentido, el principal efecto de la evaluación formativa, suele ser la posibilidad para la autorregulación, y para ello resulta indispensable la autoevaluación.

EL proyecto “Evaluación de la docencia: una posibilidad de mejora permanente” se inserta en el paradigma de la evaluación formativa y contempló dentro de sus propósitos reflexionar sobre las prácticas y establecer estrategias para mejorarlas, de ahí que en un primer momento, se tomó como referente la opinión de los alumnos con respecto a la docencia, y en un segundo, a partir del Seminario de reflexión de la práctica docente se promovió la autoevaluación del desempeño de los profesores con la intención de proponer estrategias de mejora.

El presente informe da a conocer los resultados obtenidos de las encuestas de opinión que respondieron los alumnos de los semestres 2, 4, 6 y 8 de las licenciaturas en Enfermería y en Enfermería y obstetricia, con respecto a la docencia que llevan a cabo los profesores que imparten las diferentes asignaturas de los planes de estudio correspondientes.

El informe se estructura con la metodología utilizada durante la implementación del proyecto, que incluyó las reuniones del equipo de trabajo, las actividades de sensibilización dirigidas a la comunidad, el diseño e implementación de la base datos, así como los resultados obtenidos desglosados de acuerdo al orden de estructuración del cuestionario de opinión para las asignaturas teóricas con tres cuestiones a considerar: la instrumentación, la evaluación y las características personales del docente, teórico –prácticas que incorporan como parte del programa la realización de actividades en el laboratorio, y las clínicas que implican, además de lo anterior, que los alumnos realicen las actividades de práctica clínica en diferentes escenarios como hospitales generales, centros de salud, etc..

METODOLOGÍA

Una de las primeras actividades de la metodología consistió en la realización de reuniones del grupo del proyecto PAPIME para la elaboración de la propuesta del cuestionario de opinión a aplicar a los alumnos de las licenciaturas en Enfermería y en Enfermería y Obstetricia, de acuerdo a tres tipos de materias diferentes: Teóricas aquellas que solo contemplan el espacio áulico como espacio de docencia, Teórico prácticas que agregan el laboratorio, y finalmente Clínicas que suman además el hospital como escenario de enseñanza y aprendizaje.

Concluida la propuesta del cuestionario se dio a conocer junto con el proyecto a los profesores que forman parte de las once academias con que cuenta la Escuela Nacional de Enfermería y Obstetricia; durante las reuniones se tomó nota de los comentarios y sugerencias de los profesores asistentes, en dichas juntas se les informó que se les iba hacer llegar la propuesta final del cuestionario (factores y reactivos) vía presidentes de academia para la mejora del mismo.

La propuesta de cuestionario de opinión incluyó los factores y reactivos considerados fundamentales para valorar la función o desempeño docente. Los factores que conformaron la propuesta fueron: I) Instrumentación, entendida como la realización de las actividades de enseñanza y aprendizaje, apoyadas por el uso pertinente de recursos didácticos. II) Evaluación, entendida como el proceso permanente de indagación y reflexión sobre la construcción del aprendizaje y las circunstancias que intervienen con el fin de mejora. III) Características personales, que se refiere a las características de personalidad del profesor que favorecen el proceso de enseñanza y aprendizaje. IV) Enseñanza en el laboratorio, entendida como aquellas actividades que realiza el profesor para que sus alumnos aprendan diversos procedimientos. V) Enseñanza clínica: son las actividades de enseñanza y aprendizaje que se realizan con la intención de promover el desarrollo de habilidades clínicas en los estudiantes.

Se socializó el cuestionario final de opinión, quedando organizado de la siguiente manera:

SENSIBILIZACIÓN Y DIFUSIÓN DEL PROCESO DE EVALUACIÓN DEL DESEMPEÑO DOCENTE

Como primera actividad se organizó y realizó el Encuentro de evaluación docente: Aproximaciones y experiencias en el Auditorio Marina Guzmán Vanmeeter de la ENEO. Tuvo como objetivo sensibilizar a la comunidad académica sobre la importancia de la evaluación docente para consolidar una cultura de la evaluación que permita mejorar el proceso enseñanza-aprendizaje.

El programa estuvo integrado por dos conferencias magistrales y una mesa redonda. En la conferencia: Evaluación docente en la educación superior, dictada por el Dr. Javier Loredo Enriquez, en ella se hizo un recorrido por la historia de la evaluación en México, así como el análisis de sus diferentes enfoques, perspectivas e intenciones. En la Mesa redonda: Experiencias de evaluación docente en la enfermería universitaria se discutieron tres experiencias distintas de evaluación docente y sus implicaciones para las tres escuelas de enfermería de la UNAM: FES Iztacala, FES Zaragoza y la ENEO. Para cerrar el evento, se realizó la Conferencia: El carácter comprehensivo de la evaluación docente dictada por la Dra. María Isabel Arbesú García, quien enfatizó la importancia del enfoque formativo para la evaluación docente, así como el uso del portafolios como el instrumento ideal.

Al evento asistieron 90 académicos de la ENEO y otras facultades, y al término del mismo se concluyó la necesaria presencia de la evaluación para comprender y mejorar las prácticas docentes.

La difusión del proceso de evaluación de los profesores se realizó a través de diferentes medios: se realizaron trípticos informativos, tanto para docentes como para los alumnos, a los que se tituló “Semanas de Evaluación Docente”, que fueron reproducidos con el financiamiento aprobado por la DGAPA para este proyecto. Estos trípticos se entregaron a los estudiantes y a docentes previo a la conclusión del semestre que se cursaba y que se evaluaría (2013-2). En el caso de los trípticos dirigidos a los docentes, se consideró pertinente informar la intencionalidad del proceso y se comunicó la fecha en que podrían conocer sus resultados.

Al mismo tiempo se publicó vía electrónica a través de la página web de la ENEO, y de las redes sociales institucionales (Secretaría de Vinculación y Enlace y de los Consejeros Técnicos representantes de los alumnos). También se previó colocar en el patio central de la institución y durante las semanas acordadas para realizar la evaluación, una manta alusiva financiada por el PAPIME, además de que cada integrante del grupo del proyecto habló de manera personal con los profesores de las asignaturas de los semestres pares de las carreras que se imparten en la escuela, para que los alumnos pudieran tener acceso al llenado del cuestionario del 10 al 28 de junio del 2013.

PUBLICACIÓN EN PÁGINA WEB

A la par que se realizaban las actividades de difusión, y una vez conformados y diferenciados los cuestionarios, se procedió a su instalación en el programa de una base de datos, lo cual permitió que se revisara, previo a su publicación oficial, el cuestionario considerando aspectos de lectura en la pantalla, y previendo la diferenciación de los cuestionarios, para garantizar el fácil acceso por parte de los alumnos y contar así con su participación.

BASE DE DATOS

Se elaboró una base de datos para llevar el control y registro de la aplicación de los instrumentos de evaluación vía internet. Se decidió implementarla con Mysql como manejador de base de datos ya que los servidores de la ENEO lo tienen instalado y es software libre que no requiere pago de licencias para su uso.

PUBLICACIÓN DE RESULTADOS

A partir del 29 de julio, fecha en que los profesores pudieron conocer los resultados, el grupo del proyecto contempló un tiempo de 15 días para aclarar las dudas que tuvieran los docentes con respecto al cuestionario que fue llenado por los alumnos, dando a conocer a los profesores que además de dirigirse a la Secretaria de Asuntos de Personal del Personal Académico, lo podían hacer con los integrantes del grupo del proyecto.

Una vez que se tuvieron los cuestionarios llenos por los alumnos en la base de datos, el grupo se reunió para conocerlos y determinar con base en lo observado los criterios para depurar la información, quedando como criterio principal el considerar a los profesores evaluados por al menos el 50% de los alumnos que tomaron la asignatura con el profesor.

INTERVENCIÓN CON ALGUNOS PROFESORES EVALUADOS

Otra actividad realizada en este contexto fue el Seminario de Reflexión de práctica docente dirigido a profesores que habían sido evaluados previamente, cuyo objetivo fue que los profesores reflexionaran sobre sus concepciones en torno a la docencia, sus implicaciones, sus formas de ejercerla, sobre el perfil del docente ideal, sobre la opinión de sus alumnos en torno al tipo de docencia que realizan, y finalmente su autoevaluación con la intención de derivar estrategias de cambio docente.

La dinámica de trabajo del seminario, se dio a partir de un cuestionario para reflexionar sobre las concepciones que cada profesor tiene en torno a la docencia y las implicaciones de diferente orden que conlleva. Posteriormente respondieron un cuestionario de autoevaluación con los mismos factores y reactivos que respondieron sus alumnos, compararon los resultados y analizaron el porqué de las discrepancias. Al término de cada una de las actividades descritas realizaron un diagnóstico de necesidades de formación o actualización docente, con lo cual se diseñará un programa de intervención.

RESULTADOS

La planta académica adscrita a la División de Estudios Profesionales consta de 203 profesores, que imparten alguna asignatura de tipo teórica, teórico-práctica o clínica en las licenciaturas de Enfermería (LE) y de Enfermería y Obstetricia (LEO), de los cuales 184 fueron evaluados; sin embargo, solo 125 de ellos cumplen con el criterio establecido de cubrir más del 50 % de respuesta por parte de sus alumnos.

En la Licenciatura en Enfermería se evaluaron 36 profesores a través de 1703 cuestionarios, y en la Licenciatura en Enfermería y Obstetricia 89 a través de 4210 cuestionarios en los cinco factores que integran el instrumento, depebdiendo del tipo de asignatura que se trate.

Este reporte informa la frecuencia que corresponde a siempre, es decir que entre el 80 y 100% de las veces el profesor realiza esa actividad todo durante su clase.

A continuación se presentan de manera general, los resultados obtenidos diferenciándolos por carreras y por tipo del perfil del profesor a que corresponden, haciendo referencia sólo a aquellos porcentajes que corresponden a la respuesta de siempre, es decir, que el profesor realiza la actividad en cuestión entre un 80% y un 100% de las veces en sus sesiones de enseñanza- aprendizaje, considerando que sería lo más deseable en términos de una buena enseñanza.

En el rubro de instrumentación para las asignaturas teóricas, tenemos que el 61.78% de los alumnos de la LE respondieron que el profesor siempre domina el contenido del programa, 55.65% que actualiza la información, 53.35% que realiza diversas actividades de enseñanza a lo largo del semestre, 56.42% que diversifica las actividades de aprendizaje, 60.25% que responde dudas a los alumnos, y 50.19% que utiliza recursos didácticos que apoyan el aprendizaje. En el caso de la LEO, para el mismo rubro, el 70.64% respondió que el profesor siempre domina el contenido del programa, 63.13% que actualiza la información, 61.27% que realiza diversas actividades de enseñanza a lo largo del semestre, 57.91% que diversifica las actividades de aprendizaje, 65.86% que responde dudas a los alumnos, y 55.93% que utiliza recursos didácticos que apoyan el aprendizaje.

En relación a las asignaturas teórico prácticas para el rubro de instrumentación en la LE, el 84.75% respondió que el profesor siempre domina el contenido del programa, 79.37% que actualiza la información, 82.02% que realiza diversas actividades de enseñanza a lo largo del semestre, 73.99% que diversifica las actividades de aprendizaje, 86.10% que responde dudas a los alumnos, y 78.48% que utiliza recursos didácticos que apoyan el aprendizaje. Para el caso de la LEO, en el mismo rubro, el 76.26% respondió que el profesor siempre domina el contenido del programa, 70.89% que actualiza la información, 66.34% que realiza diversas actividades de enseñanza a lo largo del semestre, 59.67% que diversifica las actividades de aprendizaje, 72.20% que responde dudas a los alumnos, y 65.20% que utiliza recursos didácticos que apoyan el aprendizaje.

Finalmente, para las asignaturas clínicas en el mismo rubro de instrumentación, en la LE, 58.40% respondió que el profesor siempre domina el contenido del programa, 54.36% que actualiza la información, 55.05% que realiza diversas actividades de enseñanza a lo largo del semestre, 54.82% que diversifica las actividades de aprendizaje, 58.72% que responde dudas a los alumnos, y 53.90% que utiliza recursos didácticos que apoyan el aprendizaje. Para el caso de la LEO, en el mismo rubro, el 50.90% respondió que el profesor siempre domina el contenido del programa, 48.45% que actualiza la información, 46.09% que realiza diversas actividades de enseñanza a lo largo del semestre, 44.54% que diversifica las actividades de aprendizaje, 51.25% que responde dudas a los alumnos, y 43.66% que utiliza recursos didácticos que apoyan el aprendizaje.

IEn el rubro de evaluación para las asignaturas teóricas, tenemos que el 62.84% de los alumnos de la LE respondieron que el profesor siempre acuerda criterios para acreditar, 60.25% que respeta los criterios para acreditar, 56.32% que promueve la participación del alumno para reorientar la dinámica de la clase, 52.39% que orienta al alumno sobre el resultado de trabajo y exámenes, 49.04% que reconoce fortalezas y debilidades a sus alumnos, y 46.46% que promueve la autoevaluación. En el caso de la LEO, para el mismo rubro, el 68.34% respondió que el profesor siempre acuerda criterios para acreditar, 66.79% que respeta los criterios de acreditación acordados, 64.12% que promueve la participación del alumno para reorientar la dinámica en clase, 58.60% que orienta al alumno sobre el resultado de trabajos y exámenes, 54.00% que reconoce fortalezas y debilidades a sus alumnos, y 46.67% que promueve la autoevaluación.

En relación a las asignaturas teórico prácticas para el rubro de instrumentación en la LE, el 82.06% respondió que el profesor siempre acuerda criterios para acreditar, 82.96% que respeta los criterios de acreditación acordados, 73.99% que promueve la participación del alumno para reorientar la dinámica de la clase, 78.92% que orienta al alumno sobre el resultado de trabajo y exámenes, 67.26% que reconoce fortalezas y debilidades a sus alumnos, y 60.54% que promueve la autoevaluación. Para el caso de la LEO, en el mismo rubro, el 73.98% respondió que el profesor siempre acuerda criterios para acreditar, 72.68% que respeta los criterios de acreditación acordados, 65.85% que promueve la participación del alumno para reorientar la dinámica de la clase, 62.76% que orienta al alumno sobre el resultado de trabajo y exámenes, 54.31% que reconoce fortalezas y debilidades a sus alumnos, y 46.67% que promueve la autoevaluación.

Finalmente, para las asignaturas clínicas en el mismo rubro de instrumentación, en la LE, 61.70% respondió que el profesor siempre acuerda criterios para acreditar, 57.57% que respeta los criterios de acreditación acordados, 58.26% que promueve la participación del alumno para reorientar la dinámica de la clase, 50.92% que orienta al alumno sobre el resultado de trabajo y exámenes, 48.39% que reconoce fortalezas y debilidades a sus alumnos, y 50.23% que promueve la autoevaluación. Para el caso de la LEO, en el mismo rubro, el 59.37% respondió que el profesor siempre acuerda criterios para acreditar, 56.19% que respeta los criterios de acreditación acordados, 49.04% que promueve la participación del alumno para reorientar la dinámica de la clase, 46.39% que orienta al alumno sobre el resultado de trabajo y exámenes, 44.54% que reconoce fortalezas y debilidades a sus alumnos, y 37.09% que promueve la autoevaluación.

En relación a las características personales de los profesores para las asignaturas teóricas, tenemos que el 72.03% de los alumnos de la LE respondieron que el profesor siempre promueve el respeto en el aula, 66.76% que muestra apertura al diálogo durante la clase, 56.61% muestra flexibilidad ante situaciones no planeadas e impredecibles, 57.76% que muestra empatía, y 59.38% que muestra disposición para atender a sus alumnos. En el caso de la LEO, para el mismo rubro, el 74.55% de los alumnos de la LE respondieron que el profesor siempre promueve el respeto en el aula, 67.72% que muestra apertura al diálogo durante la clase, 59.28% muestra flexibilidad ante situaciones no planeadas e impredecibles, 61.27% que muestra empatía, y 63.38% que muestra disposición para atender a sus alumnos.

En relación a las asignaturas teórico prácticas para el rubro de instrumentación en la LE, el 84.75% respondieron que el profesor siempre promueve el respeto en el aula, 82.06% que muestra apertura al diálogo durante la clase, 75.34% muestra flexibilidad ante situaciones no planeadas e impredecibles, 78.92% que muestra empatía, y 84.30% que muestra disposición para atender a sus alumnos. En el caso de la LEO, para el mismo rubro, el 76.75% de los alumnos de la LE respondieron que el profesor siempre promueve el respeto en el aula, 70.24% que muestra apertura al diálogo durante la clase, 66.02% muestra flexibilidad ante situaciones no planeadas e impredecibles, 65.69% que muestra empatía, y 69.27% que muestra disposición para atender a sus alumnos.

Finalmente, para las asignaturas clínicas en el mismo rubro de características personales, en la LE, 67.66% respondió que el profesor siempre promueve el respeto en el aula, 60.55% que muestra apertura al diálogo durante la clase, 55.73% muestra flexibilidad ante situaciones no planeadas e impredecibles, 55.05% que muestra empatía, y 57.57% que muestra disposición para atender a sus alumnos. En el caso de la LEO, para el mismo rubro, el 64.68% de los alumnos de la LE respondieron que el profesor siempre promueve el respeto en el aula, 53.54% que muestra apertura al diálogo durante la clase, 48.97% muestra flexibilidad ante situaciones no planeadas e impredecibles, 49.71% que muestra empatía, y 52.88% que muestra disposición para atender a sus alumnos.

En relación a las asignaturas teórico prácticas para el rubro de enseñanza en el laboratorio en la LE, el 81.17% respondió que el profesor siempre desarrolla la habilidad para la observación, 79.82% que desarrolla la habilidad para la comunicación, 79.37% que desarrolla la habilidad para el análisis, 71.75% que desarrolla la habilidad para la síntesis, 52.21% que demuestra los procedimientos en el laboratorio, y 84.75% que relaciona la teoría con la práctica. Para el caso de la LEO, en el mismo rubro, el 68.46% respondió que el profesor siempre desarrolla la habilidad para la observación, 65.85% que desarrolla la habilidad para la comunicación, 64.39% que desarrolla la habilidad para el análisis, 62.44% que desarrolla la habilidad para la síntesis, 66.50% que demuestra los procedimientos en el laboratorio, y 68.94% que relaciona la teoría con la práctica.

Finalmente, para las asignaturas clínicas en el mismo rubro de enseñanza en el laboratorio en la LE, el 55.50% respondió que el profesor siempre desarrolla la habilidad para la observación, 56.19% que desarrolla la habilidad para la comunicación, 56.46% que desarrolla la habilidad para el análisis, 50.23% que desarrolla la habilidad para la síntesis, 59.17% que demuestra los procedimientos en el laboratorio, y 59.63% que relaciona la teoría con la práctica. Para el caso de la LEO, en el mismo rubro, el 48.53% respondió que el profesor siempre desarrolla la habilidad para la observación, 49.04% que desarrolla la habilidad para la comunicación, 47.57% que desarrolla la habilidad para el análisis, 45.58% que desarrolla la habilidad para la síntesis, 52.21% que demuestra los procedimientos en el laboratorio, y 57.60% que relaciona la teoría con la práctica.

En el rubro de enseñanza clínica para las asignaturas clínicas en la LE, el 91.51% consideró que el profesor cuenta con experiencia clínica, 57.34% respondió que el profesor siempre da a conocer los objetivos de aprendizaje de la práctica clínica, 55.96% que asesora a los estudiantes en la práctica clínica, 58.03% que enfatiza lo importante de cada procedimiento (tecnología), 55.05% que promueve la toma de decisiones ante los problemas que se presentan en la práctica clínica, 56.19% que promueve el dominio del PAE como lógica de pensar el cuidado, 55.05% que promueve el dominio del PAE como lógica de realización del cuidado, y 52.75% que identifica las fortalezas y debilidades a sus alumnos para retroalimentarlos. Para el caso de la LEO, en el mismo rubro, el 90.75% consideró que el profesor cuenta con experiencia clínica, 57.74% respondió que el profesor siempre da a conocer los objetivos de aprendizaje de la práctica clínica, 52.58% que asesora a los estudiantes en la práctica clínica, 52.58% que enfatiza lo importante de cada procedimiento (tecnología), 51.33% que promueve la toma de decisiones ante los problemas que se presentan en la práctica clínica, 55.46% que promueve el dominio del PAE como lógica de pensar el cuidado, 56.19% que promueve el dominio del PAE como lógica de realización del cuidado, y 47.86% que identifica las fortalezas y debilidades a sus alumnos para retroalimentarlos.

SEGUNDA FASE: SEMINARIO DE REFLEXIÓN DE LA PRÁCTICA DOCENTE

En lo que respecta al seminario, participaron ocho profesoras con diferente formación profesional (cuatro licenciadas en Enfermería, dos en Pedagogía, una en Psicología y otra en Biología) que a su vez imparten distintas asignaturas teóricas, teórico-prácticas y clínicas.

El propósito del seminario fue llevar a los docentes a la reflexión, para que comprendieran que la docencia es un proceso complejo que tiene gran importancia tanto para los maestros como para los alumnos; para las instituciones educativas y, en un horizonte más amplio, para la sociedad. Que se trata de una actividad que está totalmente relacionada con el concepto de enseñanza y de aprendizaje que cada uno tiene; así mismo, que al ejercer la docencia se convierten en profesionales de la educación y específicamente en profesional de la docencia cuya función es propiciar las condiciones para que los alumnos aprendan significativamente. Para tal fin, se diseñó un cuestionario que planteó preguntas alusivas a los factores que integran el cuestionario de evaluación docente que respondieron los alumnos, mismo que se tomó como referencia para el ejercicio de autoevaluación, a consideración: Planeación, instrumentación, evaluación y características personales. Las respuestas se presentan a continuación:

Sobre la concepción de la docencia que manifestaron las docentes participantes en el seminario, hay unanimidad en que se trata de una actividad orientada generalmente a las cuestiones técnicas implicadas en la enseñanza-aprendizaje, y solo en un caso se aborda como actividad profesional ligada al plan de vida de las personas que la ejercen, y otra más a la vocación. Cabe mencionar que, a decir de Diaz Barriga (1998) corresponde al enfoque positivista, de alguna manera vinculado con la concepción instrumental de la “didáctica, busca construir una propuesta universal y, al reducir el estudio de los problemas del aula a una precisión de variables, la indagación experimental de las mismas permitirá establecer algunas leyes que puedan ser utilizadas como predictoras de la ocurrencia de determinado fenómeno: la enseñanza o el aprendizaje”.

De manera semejante, todas afirman que existe un perfil ideal del docente, y las características que lo integran son: dominio del conocimiento que se imparte, dominio de técnicas didácticas para la planeación e instrumentación didáctica orientadas a promover el aprendizaje de los diferentes tipos de contenidos y su evaluación, así como características personales como la vocación, compromiso, empatía, respeto por la persona, convicción por la tarea que se realiza, flexibilidad y apertura de pensamiento, exigencia para los alumnos, responsabilidad, haciendo énfasis en que “un buen docente se forma a través del trabajo cotidiano”*.

La noción de aprendizaje que prevalece se orienta en gran medida a los medios, a que “los alumnos aprenden de los libros, del profesor, de la investigación en internet”*. En otro caso se alude al proceso interactivo como lo plantea Vigotsky”*, y en otro más se centra en la actividad que el alumno realiza con la información: “aprenden haciendo, experimentando con la información, cuestionando, discutiendo”*. En cuanto a la enseñanza, la mayoría toma como punto de partida la planeación didáctica y aluden a la necesidad de incorporar actividades variadas; una profesora se remite al “proceso de realizar una introducción, desarrollo y síntesis”*, en todos los casos y al menos en algún momento mencionan la exposición por parte del profesor. En ningún caso se menciona, explícitamente, la vinculación enseñanza-aprendizaje, ni la coherencia que debe existir entre ambas.

Por último, en relación a la evaluación, en la mayoría de los casos se nota una clara confusión entre los conceptos de evaluación, acreditación y calificación. Por ejemplo, ante la pregunta ¿Cómo evalúa a sus alumnos? respondieron “Exposiciones, tareas, trabajos”*, y ante ¿Qué toma en cuenta para asignar calificación? respondieron “lo mismo”*. En otro caso, en el mismo orden de ideas, afirman que ponderan “exámenes 40%, tareas, trabajos, trípticos, carteles, ejercicios, 30%, y laboratorio 30%”,* y que para calificar “tomo en cuenta los elementos que les solicito”*. Sólo en un caso se responde que evalúa “a través de la observación y el diálogo”*, mientras que para calificar se toma en cuenta “la realización de tareas, trabajos en clase, trabajo final, prácticas”*.

Concluida esta tarea se procedió a hacer un diagnóstico de necesidades de formación o actualización docente. Los temas sugeridos son: sentido de la docencia; motivación del profesor y del alumno; relación maestro- alumno; contextualización de la asignatura en el plan de estudio; el alumno como sujeto de aprendizaje; profesionalización de la docencia, e importancia de la didáctica.

El ejercicio de autoevaluación se llevó a cabo entregando a cada profesora un cuestionario según el perfil que corresponda la asignatura que imparten: teórico, teórico-práctico y clínico, y solicitando que lo respondieran e identificaran las discrepancias con los resultados de su evaluación.

La experiencia fue interesante, generó emociones encontradas entre las participantes. Por un lado, satisfacción al verse evaluadas más alto de lo que ellas consideraban en algunos rubros, pero más bajo en otros; así mismo les llevó a reflexionar sobre cómo las miran sus alumnos, y lo más importante, cómo se miran ellas a través de unos indicadores. En relación a ello, manifestaron por ejemplo: “promovió la reflexión sobre cómo lo ven a uno y uno darse cuenta de sus propias debilidades”*, “reflexionar sobre qué hago mal para cambiar mis estrategias didácticas”*.

Al término de este trabajo, nuevamente se realizó un diagnóstico de necesidades de formación y actualización docente. Los temas sugeridos son: planeación didáctica; estrategias de enseñanza-aprendizaje; formación humanística; sentido institucional y personal de la docencia, y actualización disciplinar de la enfermería para todos los profesores, independientemente de la formación o asignatura que impartan.

Cabe mencionar que en la fase siguiente se realizarán una serie de talleres con las temáticas identificadas en ambas etapas del proyecto, los cuales serán coordinados por maestros invitados, así como un ciclo de conferencias abiertas a todos los profesores y no solo a los que acuden al seminario. Esto, con el propósito de sensibilizarlos sobre las temáticas alusivas al trabajo docente y la importancia de la reflexión como posibilidad de otorgar un sentido distinto a la docencia, no solo como un empleo, sino como actividad vinculada a la misión de la UNAM y al proyecto de vida personal.

ANÁLISIS DE RESULTADOS

En cuestión de instrumentación didáctica se registra para ambas licenciaturas mayor dificultad en las asignaturas clínicas, ya que alrededor de la mitad de los alumnos consideraron que existen debilidades en ese rubro (cuadro No. 1).

En lo relativo a la evaluación y acreditación, se registra para ambas licenciaturas una dificultad en las asignaturas teóricas y clínicas, ya que alrededor de la mitad de los alumnos consideraron que existen debilidades en ese rubro. Cabe mencionar que los aspectos vinculados con la evaluación formativa (como orientar al alumno sobre sus resultados, sobre sus fortalezas y debilidades, así como la autoevaluación) obtuvieron los puntajes más bajos (cuadro No. 2).

En lo que respecta a las características personales para la docencia, se registra para ambas licenciaturas una dificultad en las asignaturas teóricas y clínicas, ya que alrededor de la mitad de los alumnos consideraron que existen debilidades en ese rubro, en especial lo relativo a la flexibilidad y empatía, que son características deseables en el profesional de enfermería, que se aprenden o desarrollan a través del ejemplo de los profesores en la cotidianidad del proceso enseñanza-aprendizaje (cuadro No. 3).

Con relación a la enseñanza en el laboratorio, se observa en ambas licenciaturas mayor dificultad en las asignaturas clínicas, lo cual es preocupante, dado que el laboratorio es un espacio cercano a la práctica real del profesional de enfermería, que le permite ejercitar las diferentes tecnologías para el cuidado. Cabe mencionar que será necesario profundizar en esta cuestión para contar con mayor claridad y plantear estrategias de intervención (cuadro No.4).

En cuanto a la enseñanza clínica se observa que la mayoría de los profesores evaluados en ambas licenciaturas cuenta con experiencia clínica; sin embargo, alrededor de la mitad de los alumnos que evaluaron a sus profesores considera que hay debilidad en todos los indicadores contemplados en este rubro, lo cual es preocupante debido a que estas cuestiones son un aspecto fundamental en la formación del profesional de enfermería (cuadro No. 5)

Sobre el Seminario de reflexión de la práctica docente, cumplió su propósito al realizar el análisis de diversos aspectos que inciden en el ejercicio docente y la identificación de temáticas a considerar en el programa de formación o actualización docente. Sin embargo, se manifiesta una dificultad por el número tan reducido de profesores que asistieron al evento.

CONCLUSIONES

Tomando como referencia la información descrita, concluimos que los resultados presentan semejanzas en las licenciaturas de enfermería y de enfermería y obstetricia, probablemente porque son los mismos profesores quienes imparten las asignaturas en ambas licenciaturas.

De igual manera, consideramos necesario realizar un mayor número de actividades de sensibilización y/o difusión del proyecto que promueva la construcción de una visión distinta de la evaluación, orientada hacia el aspecto formativo y la mejora permanente.

También consideramos que es necesario trabajar con los profesores en algunas áreas con el fin de promover cambios en el ejercicio de la docencia y mejora en los procesos de enseñanza-aprendizaje.

ANÁLISIS DE LOS RESULTADOS DE UN PROCESO DE VALIDACIÓN DE INDICADORES DE CONTEXTO QUE PODRÍAN AFECTAR EL DESARROLLO DE LA DOCENCIA

Yolanda Edith Leyva Barajas

INTRODUCCIÓN

Tanto el ejercicio de validación de indicadores, como la propuesta que se presenta en esta ponencia forman parte del proyecto de investigación sobre las prácticas y condiciones institucionales para el desarrollo de la docencia en universidades iberoamericanas[37]. Su propósito principal es profundizar en el análisis de los indicadores ubicados en el nivel meso que se refiere principalmente a los factores que están en el tramo de control de la institución o centro escolar específico en el que se analizan las prácticas docentes.

El modelo conceptual que guía este trabajo ubica las variables e indicadores del objeto de estudio organizados en tres niveles: el nivel Macro alude a las políticas internacionales y nacionales que orientan los propósitos, planes y programas generales de las instituciones de educación superior en relación la actividad docente. El nivel Meso integra las condiciones institucionales que configuran el trabajo docente, desde la planeación y los programas institucionales, el equipamiento e infraestructura institucional; asimismo incluye la organización académica del personal docente, sus condiciones laborales, y características. Finalmente, el nivel Micro contempla las condiciones institucionales que inciden de manera directa en la práctica docente en el aula (Canales, Leyva, Luna y Rueda, 2014).

La naturaleza comprehensiva del estudio propuesto, que incluye las condiciones institucionales que pueden afectar las prácticas docentes, constituye una oportunidad para ampliar la visión de los escenarios y los principales agentes que conviene considerar en los procesos de evaluación del desempeño docente. La información contextual permite una interpretación más realista de los resultados de estas evaluaciones y favorece el establecimiento de propuestas de intervención para su mejora. Adicionalmente, el estudio comparativo de las condiciones de algunas instituciones iberoamericanas podrá completar el panorama sobre el papel del contexto en el desempeño docente en instituciones de educación superior principalmente.

En cuanto a las dimensiones que comprenden el nivel meso o Institucional, se analizan los indicadores validados de cuatro de nueve dimensiones: 1) Planes y programas institucionales, 2) Cultura institucional, 3) Condiciones laborales de los docentes y 4) Organización académica. Dimensiones que sirvieron de inicio para la identificación de factores en el ámbito institucional, así como el desarrollo de indicadores que consideramos afectan y a veces determinan las prácticas docentes.

MARCO CONCEPTUAL

La discusión del estado actual de la investigación educativa, en materia de evaluación docente en México, muestra una agenda pendiente con retos importantes a resolver en materia de investigación sobre la evaluación de docentes, tanto en términos teóricos como prácticos y axiológicos. Las diversas fuentes (entre libros, artículos, ponencias y tesis publicadas desde el 2002 y hasta el 2011) realizadas para la integración de los estados del conocimiento del COMIE (2013), reflejan además una diversidad de enfoques y posturas, así como tensiones entre estas últimas. También es posible notar los aspectos que han sido poco abordados, como el caso de la evaluación del contexto o la contextualización de las evaluaciones. En el caso específico de la evaluación del desempeño docente; es importante establecer qué aspectos del contexto se deben considerar en materia de evaluación y formación de docentes en todos los niveles educativos, desde educación básica hasta educación superior, si se quiere avanzar en la comprensión del tema.

Del análisis de los estados de conocimiento, se desprende la necesidad de hacer un análisis de la cultura de la evaluación educativa vigente en México para proponer estrategias evaluativas que coadyuven a transitar hacia perspectivas de mayor corresponsabilidad, así como a profundizar en la validez ecológica de la evaluación, mediante el análisis de su pertinencia y adecuación a contextos o comunidades específicas; lo que permitirá considerar variables de tipo histórico y socio culturales.

Otra realidad a enfrentar, es que pocos son los estudios que cuentan con un marco teórico que oriente los diseños de investigación para lograr una comprensión de cuáles y de qué tipo son los factores asociados. Aunado a estas problemáticas, en el ámbito de la evaluación docente se deben considerar las políticas que se han ido adoptando en las instituciones de educación superior en México, como respuesta a lo que acontece en otros países de América y Europa. La adopción del enfoque de competencias es quizá la que mayor impacto ha tenido en la última década; lo cual implica énfasis diferentes no sólo en el diseño curricular, sino que de manera más notable en las prácticas de la docencia de aquellas que habitualmente se venían utilizando en la educación superior (De Miguel, 2006; Delgado, 2006). Este cambio requerido en las prácticas docentes, tiene implicaciones directas en los programas de formación inicial y continua, así como en los programas de evaluación del desempeño docente que se han implementado hasta ahora en las Instituciones Educativas.

A manera de síntesis, el reto que enfrentan las instituciones que buscan la calidad educativa, consiste en analizar todos los factores que intervienen en el cambio de enfoque que está sucediendo a nivel mundial, sin descuidar su entorno social que a su vez supone variables contextuales que afectan e intervienen de manera importante en la práctica docente.

En este tenor, la Red Iberoamericana de Investigadores de la Evaluación de la Docencia (RIIED) reconoce que la evaluación de la docencia entraña factores políticos, éticos, teóricos, metodológicos, de uso y de evaluación (Rueda, 2010). De igual manera, que la docencia es uno de los componentes centrales del proceso educativo, por lo que se debe considerar una evaluación de la práctica docente con un enfoque formativo y de perfeccionamiento permanente; así como que la evaluación de los profesores es clave sólo si permite la reflexión individual, colegiada e institucional. En este punto, a pesar de lo complejo que se torna el panorama de la formación y la evaluación docente, también hemos de considerar que los avances y las tendencias actuales en educación, resultado de procesos de investigación serios y sistemáticos constituyen una oportunidad para la reflexión y el cambio de estas prácticas tanto en el ámbito individual como en el del trabajo colegiado.

Es necesario aprovechar la oportunidad generada por el creciente interés de evaluar los sistemas educativos y en particular de valorar la actividad docente, así como su papel en el logro de cambios significativos en la calidad de la educación en cuanto a su pertinencia, relevancia y eficacia. En las últimas décadas, los sistemas educativos de la OCDE y algunos países de América Latina, han proporcionado este impulso a la evaluación con la instrumentación de nuevos mecanismos internacionales, la creación de diversos organismos, el desarrollo de planes sistemáticos y la elaboración de indicadores y estándares para la construcción de modelos de evaluación docente más efectivos y útiles. En todos los casos, para contar con buenas políticas para la profesión docente, se destaca la importancia de contextualizar la aplicación de criterios u orientaciones de políticas en la materia (UNESCO-OREALC, 2012).

El reconocimiento de la importancia de los criterios y condiciones tanto institucionales como organizativas, las tradiciones metodológicas, las interpretaciones de los profesores, así como las condiciones ambientales y curriculares sobre las prácticas docentes ha ido ganando terreno (Monzón, 2002). En lo que se refiere al trabajo docente, Montenegro (2007) hace referencia a diferentes variables que de manera directa o indirecta pueden afectar su desempeño y por ende a la calidad educativa, ofreciendo una clasificación de las variables asociadas al docente, al entorno institucional y con las interacciones entre los actores educativos:

• Las variables asociadas al docente; hacen referencia a los datos de identificación del recurso humano, en términos de aspectos como la formación profesional y las circunstancias laborales.

• Aquellas asociadas al entorno institucional; comprenden las condiciones de los recursos materiales e infraestructura con los que cuenta la institución escolar para desarrollar la labor docente.

• Las que se asocian con las interacciones; se refieren a las vinculadas con los estudiantes y la colaboración profesional entre los docentes, así como entre los docentes con las autoridades escolares y la sociedad.

Abordaremos estas últimas variables bajo un marco conceptual que ha demostrado ser útil para comprender cómo afectan el desempeño docente e impactan en mejores resultados educativos. Una aproximación al estudio de la docencia eficaz, representada principalmente por autores de Estados Unidos, Inglaterra y Australia, se ha orientado a la conceptualización de scholarly teaching; que en español se ha traducido como “conocimiento experto”, concepto que, a pesar de las dificultades implicadas en su definición, ha logrado aportaciones relevantes al estudio de factores asociados a lo que se considera una docencia basada en conocimiento experto. De acuerdo con Kreber (2001), este concepto se ha definido como aquella enseñanza que se centra en el aprendizaje del estudiante y se fundamenta en las fuentes y recursos apropiados al campo, con lo cual está refiriendo condiciones del contexto institucional que lo determinan, principalmente la colegialidad.

Otras aproximaciones metodológicas, se han centrado en la comparación entre las culturas organizativas de centros educativos, para comprender en qué medida generan procesos de innovación educativa a lo largo del tiempo. En estos estudios, la cultura es la estructura de la organización, trascendiendo los aspectos materiales o físicos, y las disposiciones formales que se identifican con la estructura formal (Sánchez y López, 2010; López y Sánchez, 2004).

Entre las aportaciones que resultan relevantes al proyecto en lo general, y a la discusión que se pretende promover en el espacio del Coloquio, está el descubrimiento de rasgos asociados a una buena docencia: principalmente enfocados a la facilidad y predisposición de los docentes para formar grupos de trabajo; la orientación de los directivos a entregar a éstos una cuota importante de autonomía y liderazgo (Sánchez y López, 2010); así como el de la confianza (Muijs et al., 2004; citado por Sánchez y López, 2010) que aparece como una propiedad sistémica, generando la colaboración del profesorado, el intercambio de prácticas, recursos y conocimientos entre los docentes, el aprendizaje profesional y el control mutuo.

Desde esta misma perspectiva, pero con una aproximación metodológica distinta, se han creado medidas relativas a un constructo de Colegialidad Docente como parte del diseño de un modelo de evaluación dirigido por un concepto de Cohesión Social (ver Jornet, et al., 2012). Una nueva línea de investigación conjunta entre México y España promovida por investigadores de la RIIED, ha comparado los juicios de grupos de profesorado de España y de México, respecto a la relevancia y susceptibilidad de cambio de los indicadores de Colegialidad Docente (Bakieva, Jornet y Leyva, 2012). El concepto hace alusión a los términos de pertenencia a un grupo como colegio, identificado diversos indicadores de la dimensión en las culturas: la finalidad de la labor educativa, los tipos de estructuras organizativas e informales y su funcionamiento, los modos de interacción entre pares, los tipos y roles de las normas establecidas, la motivación intrínseca y extrínseca de los integrantes de las instituciones, la cohesión interna entre los miembros, y en general la influencia de los contextos en que se desarrolla la vida escolar.

Estas aproximaciones metodológicas se retoman en esta discusión, con la intención de reorganizar los indicadores de cultura institucional, ya que aunque son aspectos menos tangibles, han permitido comprender qué clase de culturas subyacen a la capacidad de las organizaciones educativas para sostener procesos de innovación a lo largo del tiempo creando condiciones que favorecen la función docente.

METODOLOGÍA

Se retomaron los resultados del proceso de validación de los indicadores para utilizar aquellos sobre los cuales hubo un consenso entre investigadores, además se realizó un análisis de las observaciones realizadas para aquellos indicadores en que los juicios fueron heterogéneos para pertinencia o representatividad, con la intención de replantearlos en términos de su posible incorporación al estudio. El propósito de este análisis de los resultados, con base en un marco conceptual y metodológico más específico, es lograr el nivel de concreción necesario para la definición de técnicas y el diseño de los instrumentos a utilizar, asegurando con ello la obtención de información comparable entre los países participantes.

Los criterios utilizados para la validación de los indicadores fueron los de pertinencia, relevancia y suficiencia de los indicadores desarrollados a partir de las categorías del estudio organizadas en los tres niveles descritos. Para efectos de esta ponencia, nos centraremos solamente en los indicadores de las categorías identificadas en el nivel meso; en virtud de que son los que afectan de manera directa las prácticas docentes y que se pueden evaluar a partir del propio docente como fuente de información

PARTICIPANTES

En la tabla 1 se presenta la información relativa a los investigadores que participaron como jueces expertos en este proceso de validación. Todos forman parte de la Red Iberoamericana de Investigadores sobre Evaluación de la Docencia, y han decidido participar en el presente proyecto de investigación, realizando el estudio de campo en las Universidades en donde trabajan. Ninguno de los jueces intervino en la fase de planeación en la que el equipo de México desarrolló los indicadores (Canales, Leyva, Luna y Rueda, 2014), por lo que se cumple la condición de contar con una mirada externa en el proceso de validación.

ANÁLISIS DE LOS DATOS

Una vez registrados los juicios de los expertos, se llevó a cabo el análisis de la información. Para estimar el grado de acuerdo entre los jueces de las dos fases de validación, en términos de los criterios para cada reactivo o pregunta, se obtuvo la media y desviación estándar de las medidas de la escala tipo Likert asignadas, y se estimó el grado de acuerdo para cada criterio evaluado mediante el coeficiente de variación, el cual proporciona una medida en términos del porcentaje de homogeneidad de los juicios (Berenson y Levine, 1996, citado en Leyva, 2014).

Para su interpretación se proporcionan los valores asociados al grado de acuerdo entre los jueces. Se espera que la desviación estándar sea menor a un tercio de la media, para considerar que existe homogeneidad en los juicios. En la siguiente tabla se muestran los valores del coeficiente asociados con su interpretación.

RESULTADOS

Presentamos en esta sección, en primera instancia, los resultados del proceso de validación relativos a las dimensiones del nivel meso, que corresponden a las condiciones y factores asociados a la institución o centro educativo. Se espera que sea en este nivel en el que confluyen la mayoría de los aspectos que los propios profesores identifican como aspectos del contexto que afectan y en ocasiones determinan su desempeño como docentes. Por lo cual conviene desarrollar instrumentos dirigidos a ellos, para obtener información relativa a cómo los profesores perciben que los aspectos del contexto influyen en su práctica como docentes.

1. PLANES Y PROGRAMAS INSTITUCIONALES

Esta dimensión tiene el mayor número de indicadores, resultado de la exhaustividad con la que se llevó a cabo el ejercicio de planeación (Rueda, et al., 2012). En general, hubo acuerdo en considerarlos pertinentes y relevantes; con excepción del indicador que refiere a la opinión sobre el impacto de los programas de formación que ofrece la institución en la práctica docente. En este caso, la heterogeneidad de los juicios es mayor en el criterio de relevancia, y uno de los jueces considera necesario aclarar de quién interesa conocer la opinión sobre el impacto en la práctica docente, si del docente, de la autoridad o del estudiante (tabla 2).

En este caso (en que no existe coincidencia entre los especialistas de que constituya un indicador pertinente y relevante para las prácticas docentes), además de la necesidad de aclarar su significado para el estudio se pueden derivar algunas hipótesis relativas a la pertinencia de la oferta de programas de formación y actualización que en la mayoría de los casos no responden a una necesidad real de los profesores, o bien que se quedan en un nivel de generalidad conceptual que dificulta a los profesores relacionarlo con su trabajo en el aula, con lo cual podría mediar una percepción de poca utilidad de la oferta para mejorar su práctica. Para probar estas hipótesis, conviene recoger la opinión de los profesores, en torno a la pertinencia y relevancia de la oferta formativa que ofrecen las instituciones educativas para generar un impacto en la mejora del desempeño docente.

2. CULTURA INSTITUCIONAL

En esta dimensión, como se observa en la tabla 3, se incluyeron tanto aspectos relacionados con la infraestructura y equipamiento, como aquellos relacionados con el clima organizacional. Se puede apreciar que hay acuerdo en que son pertinentes y relevantes, con excepción del indicador que refiere al tipo de liderazgo institucional, donde hay heterogeneidad en los juicios.

Convendrá estudiar estos indicadores a partir de un marco conceptual más amplio que permita comprender cómo las formas de interacción de los profesores con las autoridades de la institución inciden en la mejora educativa (como los que hemos citado) para identificar los rasgos que hacen de una cultura organizativa en particular, una base apropiada para la mejora. La facilidad y predisposición de los docentes para formar grupos de trabajo, y la orientación de los directivos a entregar a éstos una cuota importante de autonomía y liderazgo son factores que definitivamente promueven mejores prácticas docentes y mejores resultados educativos.

En estudios más recientes, bajo este mismo enfoque, otro de los rasgos que se ha señalado como propio de las culturas orientadas hacia el cambio es la confianza. La confianza aparece como una propiedad sistémica, que emerge a partir de un tipo particular de interacción y se instala no sólo en las disposiciones y patrones de conducta individuales, sino, lo que es aún más importante, en las rutinas y los esquemas de acción colectivos. De acuerdo con Muijs et al., 2004 (citado por Sánchez y López, 2010) en las culturas escolares, donde la confianza se instala y se despliega, aparecen asociadas la colaboración del profesorado, el aprendizaje profesional y el control mutuo; factores que contribuyen a crear una cultura organizacional orientada a la mejora.

3. CONDICIONES LABORALES DE LOS DOCENTES

Dentro de esta dimensión, en la tabla 4, se observa en general que hay acuerdo en la pertinencia y relevancia de los indicadores para estudiar cómo estos aspectos laborales afectan la práctica docente. Sólo en aquel que refiere a si está de acuerdo con los criterios de asignación de la carga horaria, encontramos heterogeneidad en los juicios para los dos criterios. Posiblemente porque no hay claridad en la forma en que está expresado el indicador, el cual podría interpretarse como el grado de acuerdo o bien como el nivel de satisfacción de los profesores en relación con la carga horaria y la carga de materias que se le asignan al inicio del ciclo escolar.

Es claro que las condiciones laborales afectan la práctica docente, aunque no necesariamente en un sentido lineal; es importante investigar la percepción que los profesores tienen en relación con su seguridad laboral, la credibilidad en las políticas y procesos de los programas de estímulos y de las cargas de trabajo. Este tema es sensible y conviene preparar un buen marco conceptual y metodológico para su estudio. De manera que logremos explorar en qué medida las condiciones laborales contribuyen a mejorar las prácticas docentes, dado que existen experiencias documentadas que revelan que los programas de estímulos al desempeño docente, si no se manejan adecuadamente, aun cuando de manera explícita expresan propósitos de mejora de la calidad del desempeño docente, tienden a desvirtuarse y a producir fenómenos de simulación para obtener los beneficios económicos más que a producir una reflexión auténtica orientada a la mejora de las prácticas docentes y con ello a la calidad de la educación.

4. ORGANIZACIÓN ACADÉMICA DE LA INSTITUCIÓN

En esta dimensión, como se puede observar en la tabla 5, se presentan las mayores divergencias entre los investigadores que participaron como jueces; principalmente en el criterio de pertinencia. Los indicadores en los que no hubo acuerdo, tanto en términos de su pertinencia como de su relevancia para el estudio, son: a) las diferencias por áreas de conocimiento (disciplinas, sub-disciplinas o por departamentos), b) los procesos de colaboración entre profesores tanto organizados institucionalmente como espontáneos, c) los procesos de innovación educativa, aunque hay relativo acuerdo a considerarlos relevantes, en el indicador que refiere al tipo de innovación y hacia dónde se dirige se presentan divergencias, d) la vinculación de docencia-investigación y e) la producción académica de los docentes.

Finalmente en cuanto a funciones asumidas como tutorías ya sea académicas o temáticas y pedagógicas existe total acuerdo, no así cuando se habla de funciones de consultaría o mentoría y orientación educativa, posiblemente porque estas funciones no siempre son asignadas a los docentes.

En relación con esta dimensión, al parecer hay dos dimensiones que en los hechos se traslapan, la propuesta específica es incorporar los indicadores relacionados con las formas de interacción e intercambio de prácticas, recursos y conocimientos de los docentes, así como las formas de comunicación e interacción entre los docentes y con los directivos tanto formales como informales; junto con los procesos de colaboración y los procesos colegiados; dentro del marco conceptual de la cultura institucional.

A MANERA DE DISCUSIÓN

Como ya se mencionó, la intención central de este trabajo es retomar los indicadores ya validados de este nivel institucional y reorganizarlos de manera que resulte más fácil el acercamiento a su estudio en función del marco teórico; dentro del cual es posible enmarcarlos para producir conocimiento en torno a su vinculación con el desempeño docente. La propuesta es reducir a sólo dos dimensiones el estudio, reagrupando aquellos indicadores que resulta apropiado investigar bajo un mismo marco conceptual y metodológico.

De manera específica, los indicadores de cultura institucional y organización académica podrían ser parte de una misma dimensión que se aborde desde la perspectiva de la cultura como un detonante de interacciones propicias para elevar la calidad de las prácticas docentes. Dentro de este mismo marco conceptual se puede incluir la percepción que los profesores tienen del impacto de los procesos de formación y evaluación docente a corto, mediano y largo plazo en el desarrollo de la autonomía y autorregulación del profesorado y en la detección de sus necesidades de capacitación para la actualización y mejora de la práctica docente. Estos aspectos se integraron originalmente en la dimensión de planes y programas institucionales, sin embargo, se conectan con los temas de cultura institucional y organización académica.

La propuesta metodológica de acercamiento a este estudio es de corte cualitativo; mediante entrevistas grupales en las instituciones participantes con los profesores, así como con otros actores como coordinadores académicos, jefes de academia, y directores académicos. La finalidad sería la detección, a través de la opinión de distintos actores, de los rasgos de las culturas institucionales y modos de interacción entre los profesores que están relacionadas con mejores prácticas docentes. También se podría aprovechar para preguntar qué harían para favorecer condiciones más propicias para generar mejores prácticas en materia de culturas y organizaciones que conduzcan a la mejora educativa.

Una segunda dimensión podría integrarse a partir de los indicadores de la dimensión 1, de planes y programas institucionales dirigidos al personal docente; principalmente aquellos relacionados con la formación, actualización y evaluación docente, así como las otras funciones que se asignan principalmente a profesores de tiempo completo en las universidades; como son la investigación y difusión de la cultura, algunas actividades de gestión y las tutorías a estudiantes tanto de orden académico como pedagógico.

En esta misma dimensión se podrían incluir aquellos considerados en la dimensión 3 que refiere a condiciones laborales tanto en términos salariales, como de carga académica de trabajo, los cuales requieren otro tipo de aproximación tanto de orden conceptual como metodológico.

Probablemente, esta información se pudiera recabar mediante alguna encuesta a una muestra representativa de profesores de las instituciones participantes; mediante un cuestionario cerrado que permita el procesamiento de la información en forma rápida y objetiva. En la siguiente tabla se presenta la propuesta de indicadores que se podrían estudiar bajo este enfoque, para tener una imagen de las principales tendencias de aplicación de estos programas y de la opinión que los profesores tienen en relación cómo influyen o contribuyen con su desempeño docente.

El objetivo, como ya se mencionó, es poner a consideración de los investigadores participantes esta propuesta y a partir de la discusión generada, estar en condiciones de elaborar el diseño y los instrumentos correspondientes.

37 Proyecto financiado por CONACYT, No. 166792.

LA RELEVANCIA Y SUSCEPTIBILIDAD DE CAMBIO EN LA DOCENCIA DEL VALOR SOCIAL SUBJETIVO DE LA EDUCACIÓN: VALIDACIÓN DE CONSTRUCTO[38]

Carlos Sancho-Álvarez

Jesús Miguel Jornet Meliá

José González-Such

INTRODUCCIÓN

En un sentido amplio, es necesario identificar aquellas variables de contexto relacionadas con la Educación para fomentar procesos que intenten explicar las diferencias que se producen con el rendimiento académico. O al menos tener una idea, de las razones por las cuales se distribuye el aprendizaje de una forma u otra entre los distintos grupos de alumnado.

Para conocer las condiciones socioeducativas donde se desarrolla el proceso de enseñanza y aprendizaje de los discentes, de forma general se utilizan cuestionarios de contexto dirigidos a diferentes fuentes de información (alumnado, profesorado y familias). De esta manera, se pretende obtener información a partir de las diversas variables contextuales que puedan llegar a asociarse ante los procesos educativos (González-Montesinos y Backhoff, 2010; Jornet, González-Such y Perales, 2012).

Para ello, los cuestionarios de contexto, nos pueden ayudar a explicar los resultados que se derivan de las evaluaciones nacionales e internacionales (De la Orden y Jornet, 2012) -como las realizadas por la International Association for the Evaluation of Educational Achievement: IEA; la Organisation for Economic Co-operation and Development: OECD, el Instituto Nacional para la Evaluación de la Educación: INEE, o por el Laboratorio Latinoamericano de Evaluación de la Calidad Educativa: LLECE, entre otros-.

No obstante, no es infrecuente que se les pida más a este tipo de estudios de lo que realmente pueden ofrecer; como, por ejemplo, que aporten información para la mejora de la docencia en el aula. La falta de utilidad que se les imputa, en parte razonable, se da en ocasiones por desconocimiento real de las bases en que se sustentan estos estudios (Jornet, López-González y Tourón, 2012, p.9).

Cabe señalar, que el cuidado en el proceso de diseño y construcción para ambos tipos de instrumentos de evaluación -pruebas de aprendizaje y cuestionarios de contexto- en teoría debiera ser el mismo. Pero es bien sabido, que en la práctica los cuestionarios de contexto no reciben tanta atención –económica, técnica y/o social- e incluso ni se realizan los procesos de validación pertinentes para las mismas (González-Montesinos y Backhoff, 2010).

Ante el presente estado de la cuestión, este estudio se enmarca dentro del modelo de evaluación para la Cohesión Social propuesto por Jornet (2010; 2012), que comentamos en el siguiente cuadro:

En él, se puede observar un modelo educativo orientado hacia la promoción de la cohesión social desde la evaluación docente. Para ello, se recoge una síntesis de las posibles dimensiones a tener en cuenta en la evaluación de la docencia, indicando posibles informantes; ya que, como es obvio, la tarea educativa no engloba todas las posibilidades de alcanzar la cohesión social en toda la sociedad (si no que habría que tener en cuenta más disciplinas). Dichas dimensiones, se entiende, pueden establecerse como elementos de relación vertical entre los planos de análisis mencionados: (1) aula, (2) escuela y (3) sistema.

En este sentido, el presente trabajo se centra principalmente, en el constructo de Valor Social de la Educación (VSE), recogido en dicho modelo en su segunda dimensión: Sostenibilidad (a lo largo de la vida).

El VSE, como constructo teórico, presenta diversas facetas a considerar. Puede ser analizado desde una perspectiva objetiva y además desde su visión subjetiva. Si lo estudiamos desde el prisma que vincula las consecuencias educativas con la inserción, promoción social, económica y laboral, estaremos hablando desde su parte objetiva –ver figura 1-. De igual manera, encontramos la percepción que la sociedad puede construirse acerca de ese valor, además de la que tenga la comunidad educativa en sí misma (alumnado, profesorado y familias), que condiciona indudablemente el proceso de enseñanza y aprendizaje; aproximándonos por tanto en este último término a la idea de Valor Social Subjetivo de la Educación (VSE-Subjetivo), es decir, su parte subjetiva –ver figura 1-.

En síntesis, entendemos el VSE-Subjetivo, de acuerdo con Jornet, Perales y Sánchez-Delgado (2011), como la aproximación conceptual que se refiere a la:

…“percepción que los actores principales del proceso de enseñanza-aprendizaje (alumnado, familias y profesorado) tienen acerca de la importancia de la educación para la promoción social, laboral y del bienestar personal y colectivo, a lo largo de la vida” (Sánchez-Delgado 2011:67).

Por lo tanto, se ha planteado la necesidad de diseñar y validar un instrumento para poder evaluar el VSE-Subjetivo en la comunidad educativa en su conjunto. Si bien la relación entre los antecedentes del estudiantado (especialmente el nivel sociocultural) y el rendimiento escolar es evidente en diversos países (Baer, 1999; Willms, 2006; Backhoff, Bouzas, González-Montesinos, Andrade, Hernández y Contreras, 2008; Ruiz, 2009), esta relación pierde consistencia a través de los diferentes sistemas escolares en los últimos años (OCDE, 2010; 2011; 2012; 2013).

El VSE-Subjetivo puede estar presente, en general, cuando una persona de un entorno desfavorecido, o en el otro extremo –niveles óptimos socio-económicos y culturales-, desarrolla una tendencia contraria respecto a los resultados escolares que se esperarían según su nivel contextual (Jornet, 2010; Jornet, Perales y Sánchez-Delgado, 2011; Sancho, Jornet y Perales, 2013).

OBJETIVOS

El objetivo general de esta investigación es aportar un primer acercamiento a la validación de constructo del VSE-Subjetivo de la Educación a partir del análisis lógico de su definición –mediante una valoración de jueces-. De este modo, se puede centrar el estudio hacia el análisis de los juicios emitidos por personas profesionales de la Educación –en este caso docentes-.

A su vez, como objetivos específicos pretendemos:

• Establecer una definición operativa del constructo, y su traducción en indicadores de evaluación.

• Aportar una primera evidencia de validación de constructo (y de contenido) a partir del análisis de jueces.

METODOLOGÍA

Se trata de un estudio que se sitúa metodológicamente en una posición de complementariedad cuantitativa como cualitativa (Bericat, 1998; Jornet, González-Such y Perales, 2013). Este enfoque metodológico se ha establecido por parte de nuestro grupo de investigación (GEM: http://www.uv.es/gem) como el marco de referencia hacia el desarrollo de instrumentos de evaluación en los últimos años. Al respecto, se enfatiza la validación de constructo como un elemento de bondad sustantivo para cualquier instrumento de evaluación educativa. La atención prioritaria en la definición del constructo, basándose en el consenso intersubjetivo para garantizar un planteamiento no arbitrario, ha supuesto un incremento de atención en los estudios basados en jueces como sustento imprescindible para el diseño de instrumentos de medición y evaluación (Jornet y González-Such, 2009).

A partir de trabajos anteriores centrados en la primera y segunda fase de esta propuesta de diseño de instrumentos de evaluación (Jornet y Suárez, 1989; 1996): (1) bases documentales y revisión de investigación antecedente (Sancho, Jornet y Perales, 2013), y (2) propuesta de constructo (Sancho, 2013), el que se presenta se orienta hacia la tercera fase del modelo: (3) validación mediante jueces.

Una vez que disponemos de una definición del constructo, se crea una rejilla con las cuatro dimensiones insertas en la definición y sus correspondientes indicadores de evaluación. Con la información anterior se crea una escala en la que se somete a evaluación todo el constructo en función de dos criterios: (1) relevancia –como expresión de la importancia de cada criterio en la especificación evaluativa de la dimensión de cada constructo- y (2) susceptibilidad de cambio[39] –como expresión de si lo que se está evaluando sería modificable a partir de cualquier intervención psico-socio-educativa-.

En definitiva, el cuestionario[40] utilizado trata en total de 13 reactivos, 9 de los cuales son valorados con una doble escala de puntuación compuesta por opciones de respuesta cerrada; Si/No y Ns/Nc. En cuanto a los otros 4 ítems se trata de preguntas cualitativas en torno a información personal/docente[41].

El cuestionario resultante fue sometido a valoración de jueces. A tal efecto se plantea a los jueces que valoraren si los criterios de evaluación que se les presenta para cada dimensión del constructo VSE-Subjetivo representan adecuadamente la definición teórica de la misma, respecto a la definición del propio concepto y en el marco de la definición de VSE. En cada una de las dimensiones a evaluar se solicita a los jueces que valoren si los indicadores de evaluación propuestos son relevantes –si ponen de manifiesto la característica teórica a evaluar- y si son susceptibles de cambio –si representan elementos que puedan ser modificados a través del proceso de enseñanza y aprendizaje-.

De esta manera, como señalamos anteriormente, se puede entender que la escala utilizada para el jueceo incluye dos sub-escalas de valoración: (1) relevancia y (2) susceptibilidad de cambio.

Los análisis de datos realizados se han dirigido hacia los siguientes supuestos:

- Análisis de la relevancia y susceptibilidad de cambio de los criterios de evaluación; a partir de las valoraciones emitidas por los jueces consultados se procede a abordar y presentar los datos mediante análisis estadísticos descriptivos derivados de los resultados extraídos.

- Consistencia inter-jueces; se ha analizado la fiabilidad de las valoraciones de los jueces, como garantía para establecer el grado de consenso inter-subjetivo, y en consecuencia, valorar la adecuación de las propuestas que se derivan de sus valoraciones -de relevancia y susceptibilidad de cambio-. En efecto, se ha abordado mediante el análisis de correlación intra-clase y a través de la W Kendall para comprobar la concordancia y dispersión de las valoraciones en cada dimensión y aspecto evaluado.

- Diferencias entre submuestras de jueces establecidas en función del nivel educativo en que desarrollan su trabajo los jueces consultados; se ha realizado un análisis por medio de la U Mann-Whitney seleccionando dos muestras diferenciadas dentro del grupo de estudio - (1) profesorado infantil/primaria y (2) profesorado de secundaria-.

GRUPO DE ESTUDIO

El grupo de expertos/as consultado ha estado compuesto por docentes de etapas educativas de Infantil, Primaria y Secundaria. Todos los consultados son profesionales docentes en activo de la función pública[42]. Su selección se basó en criterios de disponibilidad a participar en el estudio y por su implicación en la educación, valorada de forma subjetiva por el equipo investigador; por ello, no se trata de una selección basada en un muestreo probabilístico, sino intencional (Pérez, Ramos y López, 2009).

Se trabajó con un total de 29 docentes, de los cuales sólo se utilizaron los datos obtenidos de 20 sujetos[43], debido a la eliminación de aquellos casos que no cumplimentaron el cuestionario en su totalidad –lo que asumimos como criterio de exclusión-. Asimismo, las características más relevantes de la muestra son las que se presentan a continuación:

RESULTADOS

ANÁLISIS DESCRIPTIVOS

Los resultados obtenidos en cuanto a las valoraciones del profesorado se encuentran reflejados de manera simplificada en el cuadro 2. En la información que se aporta se pueden observar los criterios de evaluación -indicadores del VSE-Subjetivo- que han sido valorados como más relevantes o más susceptibles de cambio, así como aquellos que se acercan hacia una menor relevancia y hacia una inferior susceptibilidad de cambio.

CONSISTENCIA INTER-JUECES

A continuación, presentamos las puntuaciones por jueces para cada criterio de valoración, en cuanto a la totalidad de indicadores evaluados –ver cuadro 3 y 4-

Tanto en el primer criterio –escala de relevancia- como en el segundo –susceptibilidad de cambio- podemos observar que la mayoría del grupo obtiene medias en torno a puntuaciones desde 0,78 hasta 1, siendo en la mayoría de los casos –para 13 jueces- de una media perfecta, y considerando un acuerdo total en estas ocasiones ya que la desviación y la varianza se traducen siempre en 0.

Respecto al grado de consenso inter-subjetivo del grupo y para observar la fiabilidad de las valoraciones se ha utilizado el coeficiente W de Kendall para comprobar la concordancia y dispersión de los datos para cada juez y dimensión. Las puntuaciones que se obtienen sobre el nivel estadístico no resultan muy elevadas[44] -entre 0,232 a 0,500-, debido paradójicamente al grado de acuerdo tan alto que se ha obtenido entre las dimensiones analizadas y valoradas.

Por otro lado, con respecto al análisis de correlación intra-clase sobre las diferentes escalas y entre todas las dimensiones del constructo, se ha corroborado que, debido a la falta de varianza provocada por el acuerdo total en algunos de los ítems valorados (por ejemplo el indicador 1 dimensión 1, el indicador 1 dimensión 3, etc.), han resultado valores negativos[45] (-0,39 para escala de relevancia y -0,30 para escala de susceptibilidad de cambio). Las dificultades que nos encontramos al trabajar con juicios son de esta índole. Los coeficientes o indicadores estadísticos al uso no siempre pueden representar la realidad de los datos. Por ello, abordamos los análisis con al menos dos indicadores. En esta ocasión, tan solo el coeficiente W aporta indicios al respecto. La correlación intra-clase, por la forma de los datos, no resulta aplicable.

DIFERENCIAS ENTRE LA MUESTRA

Se ha realizado la prueba U Mann-Whitney seleccionando dos muestras diferenciadas dentro del grupo de estudio -(1) profesorado infantil/primaria y (2) profesorado de secundaria-.

En este sentido, este estadístico nos permite observar si existen valoraciones diferenciadas entre dos submuestras; en este caso establecidas en función de la etapa a la que atiende cada docente. En función de los resultados obtenidos el acuerdo es prácticamente total. No se han observado diferencias significativas en las valoraciones que emite cada submuestra de jueces establecidas en función de la etapa profesional a la que atienden. Podemos considerar que el acuerdo entre las valoraciones para cada criterio establecido –relevancia y susceptibilidad de cambio- es similar.

38 Este trabajo se ha realizado en el marco del proyecto Sistema educativo y cohesión social: diseño de un modelo de evaluación de necesidades (SECS/EVALNEC). Ref. EDU2012-37437, financiado por el Ministerio de Economía y Competitividad de España.

39 Téngase en cuenta que partimos de una posición de evaluación orientada a la mejora, por lo que entendemos que la capacidad que tengamos para intervenir sobre lo que evaluamos debe ser considerado en la definición de los instrumentos a desarrollar.

40 Se procedió a realizar el formato de encuesta mediante el programa informático LimeSurvey, para mejorar su aplicación y recogida de datos, así como para facilitar el acceso a las audiencias implicadas.

41 Ante todo, este tipo de investigación, de forma específica, se ha tratado de un estudio de encuesta (Orellana, Almerich y Suárez, 2010).

42 El universo del cual se extrae la muestra es el funcionariado docente de los centros de la red pública de Educación (España) en sus distintas etapas escolares, en cuanto a dos tipos de centros: 1. CEIP (Colegio de Educación Infantil y Primaria) y 2. IES (Instituto de Educación Secundaria).

43 La muestra es apropiada, ya que siguiendo a Gable y Wolf (1993), Grant y Davis (1997), y Lynn (1986), citados en McGartland et al. (2003), sugieren un rango entre 2 hasta 20 expertos. Así como Hyrkäs et al. (2003) manifiestan que 10 jueces con experiencia, brindarían una estimación confiable de la validez.

44 La W de Kendall varía entre 0 -no hay acuerdo- y 1 -acuerdo completo- (Pérez, 2001). No obstante, aunque es un coeficiente muy utilizado, presenta inconsistencias en su interpretación que, en ocasiones se reflejan en situaciones como la que nos ocupa.

45 Al producirse precisamente un muy elevado grado de acuerdo, se produce una situación en los datos que no permite expresar adecuadamente la relación a través de este tipo de estadísticos.

CONCLUSIONES

Con respecto a los resultados obtenidos:

- Han sido positivos y se aportan evidencias acerca del diseño del instrumento y de la fiabilidad de los juicios emitidos en función de los indicadores implicados en cada dimensión del constructo trabajado, ya que han sido considerados como relevantes y susceptibles de cambio todos los indicadores valorados.

- Respecto a la consistencia interna de las escalas, podemos decir que aunque en algunas dimensiones no se ha podido estimar numéricamente bien por una disminución de la varianza –precisamente porque se daba consenso total, perfecto-, en líneas generales se observa una elevada consistencia inter-jueces que constituye el consenso inter-subjetivo suficiente para abordar la siguiente etapa de diseño del instrumento: el diseño y especificación de reactivos.

- En cuanto a los criterios evaluados, se observa que los indicadores planteados han sido evaluados de una manera uniforme tanto en el criterio de relevancia como en el criterio de susceptibilidad de cambio. Este aspecto no es habitual en los estudios de juicio que hemos venido realizando en nuestro grupo de investigación. Es más difícil observar el consenso intersubjetivo en una característica más difusa –susceptibilidad de cambio-, en la que se pide a los jueces que realicen prácticamente un pronóstico acerca de si esa característica se podría modificar mediante procesos de enseñanza-aprendizaje, que en una características más clara, como es la relevancia -importancia-.

En síntesis, los resultados avalan la validación de constructo en una dirección positiva para continuar el diseño y la validación del instrumento de evaluación. Para ello, se indican algunas propuestas de mejora y líneas futuras de investigación:

- Realizar un nuevo análisis de la validación por juicio, introduciendo mejoras acerca de la escala, con el fin de abordar una validación cruzada que permita asumir una mayor generalización de los resultados del análisis de jueces realizado. Asimismo, estimamos necesario que se amplíe la escala utilizada a otra de cuatro puntos, pues al trabajar con una escala dicotómica, la priorización de criterios se reduce por problemas de varianza.

- Tener en cuenta que este tipo de análisis debe ser iterativo, es decir, deberá realizarse tantas veces como sea necesario para asegurar la validez de constructo inicial.

- Asegurar la generalización de los resultados de validación por jueces, pretendiendo establecer el análisis de juicio basado en colectivos diferenciados. Para ello, pretendemos ampliar la muestra de jueces, diferenciando colectivos, y analizar sus resultados mediante Escalamiento Óptimo. En este sentido, cabe destacar que debido a las distintas audiencias implicadas, se persigue la construcción de diferentes versiones del instrumento de evaluación; (1) alumnado, (2) profesorado y (3) familias. En cualquier caso, en el análisis de jueces estimamos que el colectivo a consultar en los aspectos mencionados (relevancia/susceptibilidad de cambio) debe ser el de docentes.

- Los instrumentos desarrollados serán sometidos a procesos de validación empírica sobre los colectivos a los que se dirijan.

- Diseñar los instrumentos finales de medición/evaluación, teniendo en cuenta la aplicación sobre un grupo normativo. Así, el análisis de bondad métrica de los instrumentos, la adecuación de los estándares de interpretación y selección de puntuaciones de corte, y la recogida de evidencias de validación a partir de datos empíricos sobre diversas subpoblaciones, han de ser primordiales en este sentido.

EL DESEMPEÑO DOCENTE. ANÁLISIS DE UN INSTRUMENTO

Lucía Subaldo Suizo

José González Such

INTRODUCCIÓN

La realidad del mundo actual plantea constantes cambios, retos y problemas para las Instituciones Educativas y para el profesorado. El desempeño docente es cada vez más dificil y compleja y exige nuevas formas de educar. Apostar por la calidad de la educación hoy es un gran reto, una tarea difícil y costosa.

El ejercicio de la función docente puede ser una fuente de satisfacción y realización personal y profesional que lleve al compromiso en el trabajo; sin embargo, hay que reconocer también el efecto negativo que puede tener el ejercicio de la docencia, que produce insatisfacciones y desgastes que afectan seriamente a la salud y al bienestar del profesorado.

Marchesi (2007) indica que las tensiones que se viven en la actualidad, dentro del sistema educativo, son expresión de las transformaciones sociales y de las nuevas exigencias que se plantean para la formación de las nuevas generaciones. Subraya algunas de las características de la sociedad actual que afectan al ejercicio de la actividad docente: el acceso a la información y al conocimiento, a los cambios de la familia y de los propios alumnos, a las modificaciones en el mercado laboral, a los valores sociales emergentes, a la presencia creciente de personas inmigrantes y a la rapidez de los cambios.

El concepto de Desempeño profesional está caracterizado de diferentes formas por los distintos autores (Remedios, 2005; Ponce, 2005; Añorga, 2006; Ledo, 2007; Olivero, 2007). En este estudio, el desempeño profesional docente se refiere a la capacidad para llevar a cabo, de manera competente, las funciones inherentes al desarrollo de su actividad educativa y de manera más específica al ejercicio de la docencia. Así mismo, con una visión integrada y renovada, puede entenderse como el proceso de desarrollo de sus habilidades, competencias y capacidades profesionales, su disposición personal y su responsabilidad social para articular relaciones significativas entre los agentes sociales que intervienen en la formación de los alumnos y participan en la gestión y fortalecimiento de una cultura institucional democrática.

Asimismo, Esteve (2009) afirma que la profesión docente es siempre una actividad ambivalente y que presenta dos caras: la cara positiva que puede dar sentido a toda la vida y una gran satisfacción personal y profesional y, por otra parte, está la cara de la exigencia, a veces frustrante, agotadora física y emocionalmente. Esta situación, con frecuencia repercute en la salud de la persona del docente y en su desempeño profesional. Esta dura realidad de la profesión docente se puede observar de manera especial en América Latina y particularmente en la sociedad Peruana.

LA METODOLOGÍA DE LA INVESTIGACIÓN

Este trabajo forma parte de una investigación más amplia en la que el objetivo general se centra en la exploración de las repercusiones que puede tener el desempeño docente en la satisfacción y el desgaste del profesorado. En el estudio para medir los efectos del trabajo del profesorado se han empleado tres cuestionarios; el de Desempeño Docente de elaboración personal, el de Satisfacción Laboral de Merz (1979) traducido y adaptado a la población de habla castellana por Gordillo (1987), validado por Ulizarna (1996) y por Fernández (2005) para la población Hispano Americana y finalmente el de Desgaste Profesional de Maslach (1986), Maslach Burnout Inventory for Teachers (MBI.Es). En este trabajo presentamos los resultados del análisis del cuestionario sobre Desempeño docente en centros de Perú.

Planteamos los siguientes objetivos específicos:

1. Conocer el pensamiento y las vivencias del profesor sobre el ejercicio de la docencia y la vida en las aulas.

2. Identificar los principales factores que influyen en el desempeño docente.

3. Realizar un estudio comparativo entre los problemas de los profesores de centros públicos y privados de tres distritos de Lima Metropolitana.

Nos situamos en el “Paradigma emergente” como base y soporte en la introducción de cambios encaminados a la mejora de los contextos y situaciones concretas.

En cuanto a la hipótesis del estudio, partimos del supuesto de que el desempeño docente proporciona satisfacción/insatisfacción personal y profesional que repercute tanto en el ejercicio de la docencia como en la persona del profesor y puede conducir a un desgaste importante en la salud y en el bienestar del mismo. De manera complementaria se espera comprobar si existen diferencias significativas en los temas analizados entre el profesorado de las Escuelas Públicas y Privadas.

LA POBLACIÓN Y MUESTRAS.

Nuestro trabajo lleva a cabo la validación de un instrumento que fue aplicado al profesorado de tres distritos de Lima Metropolitana. La población total del profesorado de Centros Públicos y Privados de los tres distritos de Lima Metropolitana de nivel Primario y Secundario es de 2,545.00. De estos, 1,014 profesores son de Centros públicos y 1,531 de centros privados.

Para la aplicación de los cuestionarios se ha utilizado muestreo por disponibilidad, buscado una muestra representativa proporcional de los docentes en servicio de los niveles Primario y Secundario de las Instituciones Educativas Públicas y Privadas de los tres distritos de Lima Metropolitana: San Isidro, Barranco y Surquillo.

El tamaño de la muestra para la aplicación de los cuestionarios ha sido estimado a un nivel de confianza de 95%, respetando las proporciones poblacionales. Así, se ha aplicado la fórmula correspondiente (Arnal, 1992: 81).

EL CUESTIONARIO SOBRE DESEMPEÑO DOCENTE.

Es un cuestionario descriptivo relacionado con la práctica docente. Está compuesto por 45 items y está dividido por seis dimensiones: la primera contiene ocho juicios relacionados con la satisfacción del desempeño docente desde el punto de vista de los profesores de distintos Centros Educativos; la segunda dimensión contempla ocho aspectos que influyen negativamente en el desempeño docente; la dimensión tercera presenta los desafíos que tienen los profesores en el desempeño de su profesión; la cuarta dimensión contiene siete aspectos, relacionados con la actuación docente, que determinan o influyen en el buen rendimiento de los alumnos; la quinta dimensión se refiere a los aspectos relacionados sobre el buen desempeño de la profesión docente y, finalmente, la última dimensión se centra en el conocimiento de los problemas que se producen en la relación profesor/alumno.

Los sujetos valoran cada ítem del Cuestionario en una escala de 6 puntos en la que indican el grado de acuerdo con los distintos juicios presentados: (el 1 indica el “total desacuerdo” y el 6 “el máximo acuerdo”).

ANÁLISIS DE LOS RESULTADOS DEL CUESTIONARIO DE DESEMPEÑO DOCENTE.

Estadísticos descriptivos del desempeño docente por tipo de escuelas: estatales y privadas y análisis de diferencias entre las variables.

Como inicio del estudio descriptivo de los datos sobre el Cuestionario de Desempeño docente hemos de indicar de manera global:

- Que en general hay bastantes similitudes entre las respuestas dadas por el profesorado de Centros Estatales y de los Privados y ello, a pesar de los diferentes contextos y procedencia socio-económica de los estudiantes que asisten a unos y otros Colegios.

- Que han respondido un gran número de profesores tanto de Centros Estatales (341), como de Privados (467) y, a pesar de esto, las desviaciones típicas en unos y otros casos son muy aceptables, es decir que el recorrido de las series de los datos es corto y, por tanto, se aprecia gran semejanza en las respuestas emitidas por el profesorado.

En cuanto al análisis de diferencias entre las variables en función del tipo público/privado, se ha realizado una prueba para comprobar la normalidad de la distribución, en este caso la de Kolmogorov-Smirnov para una muestra. Los resultados señalan que todas las distribuciones no se ajustan a la distribución normal. Por ello, se ha utilizado la prueba de contraste U de Mann-Whitney para muestras independientes. Los resultados se sintetizan en la siguiente tabla.

A partir de estas apreciaciones generales se van a estudiar los datos de cada uno de los aspectos que se han valorado en el cuestionario.

a. Aspectos relacionados con la satisfacción del desempeño docente.

Las valoraciones de todos los ítems relacionados con la satisfacción del desempeño docente muestran un gran acuerdo tanto de la escuela estatal como en la privada. Se destaca que los ítems 2: “La formación académica y la actualización permanente del profesorado”; y 7: “La realización personal y profesional a través de la realización de la tarea educativa”, tienen medias que ponen de manifiesto un alto acuerdo de las opiniones del profesorado y con desviaciones típicas aceptables que indican gran similitud en las respuestas de los consultados -el recorrido de la serie es corto-.

Por el contrario el ítem 5 que se refiere a la satisfacción producida por “La remuneración económica y la adecuación del salario”, tiene las medias más alejadas del “Completo acuerdo” y con desviaciones típicas relativamente altas que indican que hay mayores divergencias en las respuestas –el recorrido de las series es más amplio- .

Según los datos que aparecen en esta tabla, existen diferencias significativas al 0.01 entre las escuelas estatales y privadas en los ítems 3, 5 y 6: “El clima de trabajo positivo, cordial, libre, cooperativo y de respeto entre profesores”; “La remuneración económica, el adecuado salario”; y “El trabajo conjunto con los padres de familia”. Las diferencias se pueden apreciar a nivel gráfico en la Figura 1.

También, existen diferencias significativas al 0.05 entre las escuelas estatales y privadas en los ítems 4 y 8: “El reconocimiento, apoyo en el trabajo y el esfuerzo que realizan los profesores” y “El disponer de materiales, recursos didácticos e infraestructura adecuada”.

b. Aspectos que influyen de manera negativa en el desempeño docente.

En cuanto a los aspectos que influyen de manera negativa en el desempeño docente, los resultados muestran que en la mayoría de los ítems, tanto el profesorado de la escuela estatal como el de la privada, está bastante de acuerdo en las respuestas.

Los aspectos más destacados que influyen de manera negativa en el desempeño docente en la escuela estatal son los ítems 10: “Los problemas de conducta, indisciplina y aprendizaje de los alumnos”; el ítem 9: “La falta de reconocimiento y apoyo en el trabajo por parte de autoridades del centro y/o padres de familia”; y el ítem 12: “Las limitaciones de tiempo y recursos materiales”. En la escuela privada, se destaca que influye de manera negativa el ítem 11: “El clima inadecuado de trabajo: sobrecarga de actividades”. En los ítems 9 y 10 coinciden con las valoraciones de sus compañeros de la escuela estatal.

En los datos que muestra la tabla anterior, podemos observar que existen diferencias significativas al 0,01 entre las escuelas estatales y privadas en los ítems 9 y 11: “La falta de reconocimiento y apoyo en el trabajo por parte de autoridades del centro y/o padres de familia” y “El clima inadecuado de trabajo: sobrecarga de actividades”. Asimismo, existen diferencias significativas al 0.05 entre las escuelas estatales y privadas en el ítem 15 “El alto número de alumnos por aula”. Estas diferencias se pueden apreciar a nivel gráfico en la Figura 2.

c. Desafíos que tienen los profesores en el desempeño docente.

Los datos subrayan los principales desafíos de los profesores sobre el desempeño docente en las escuelas estatales y privadas: el primero es “Lograr que los alumnos alcancen satisfactoriamente los objetivos propuestos”, el otro se refiere a las “Estrategias para educar en valores”, “Descubrir y potenciar las habilidades de los alumnos, motivarlos para el aprendizaje y diseñar actividades, innovadoras que resulten atractivas en la enseñanza”. Todos estos desafíos tienen desviaciones típicas muy pequeñas y, por tanto se pone de manifiesto una gran similitud en las respuestas.

La tabla anterior nos muestra que existen diferencias significativas al 0,01 entre las escuelas estatales y privadas en el ítem 18: “Ayudar a los alumnos con problemas de aprendizaje, de conducta y de relaciones familiares”.

Igualmente, se constata que existen diferencias significativas al 0.05 entre las escuelas estatales y las privadas en los ítems 20 y 22: “Descubrir y potenciar las habilidades de los alumnos, motivarlos para el aprendizaje” y “Estrategias para educar en valores”. Ver la figura 3 para la representación gráfica de los datos.

d. Factores relacionados con la actuación docente que influyen en el rendimiento de los alumnos.

En estos resultados se puede observar que la mayoría de los profesores encuestados están muy de acuerdo con los factores relacionados con la actuación docente que influyen en el rendimiento de los alumnos, tanto en los centros estales como en los privados. También se puede apreciar la gran semejanza de las respuestas de los profesores encuestados. A partir de los datos de la tabla anterior, se aprecia que no existen diferencias significativas entre las escuelas estatales y privadas –ver figura 4.

d. Aspectos relacionados con el buen desempeño de la profesión docente.

Los aspectos relacionados con el buen desempeño de la profesión docente según las opiniones de los profesores encuestados en las escuelas estatales y en las privadas, destacan por un lado, “La buena formación profesional del docente” y “La entrega, responsabilidad y capacitación permanente”. También se puede observar en la valoración de estos juicios que el recorrido de la serie es muy corto y, por tanto que las desviaciones típicas son muy aceptables.

Según los resultados que muestra la tabla anterior, existen diferencias significativas al 0,01 entre las escuelas estatales y las privadas en el ítem 37 “Apoyo de las autoridades del Centro Educativo” y al 0,05 en el ítem 34 “Reconocimiento de la labor por parte de los alumnos, padres de familia y Centro Educativo”. Las diferencias se pueden observar a nivel gráfico en la Figura 5.

f. Problemas que se producen en la relación profesor/alumno, en las aulas.

En cuanto a los problemas que se producen en la relación profesor/alumno, en las aulas, las respuestas de los profesores encuestados son muy variadas, tanto en el caso de las escuelas públicas como en el de las privadas. En ambos casos se destacan como problemas: “La falta de compromiso y diálogo de los padres de familia para con sus hijos y con el docente”; “Los problemas de conducta de los alumnos”; “Los padres sobreprotectores y falta de apoyo a la actuación del profesor por parte de los padres”.

Finalmente, se observa en esta tabla que existen diferencias significativas al 0,01 entre las escuelas estatales y privadas en el ítem 45 “Padres sobreprotectores”. Las diferencias se pueden observar a nivel gráfico en la Figura 6.

ANÁLISIS DE FIABILIDAD DEL CUESTIONARIO DE DESEMPEÑO DOCENTE POR APARTADOS.

Para medir la fiabilidad del instrumento hemos utilizado el coeficiente Alfa de Cronbach (1951) por apartados del cuestionario y para el total por ítems. Uno de los coeficientes más comunes es el Alfa de Cronbach que se orienta hacia la consistencia interna de la prueba. Una medida es fiable en el sentido de que mide con exactitud. A mayor valor de Alfa, mayor fiabilidad. El mayor valor teórico de Alfa es 1, y en general 0,80 se considera un valor aceptable. Como se puede observar en la tabla 52, se ha obtenido un coeficiente de 0,919, siendo el valor mínimo de 0,787 y el máximo de 0,889.

A la vista de los datos, hemos de afirmar que los valores obtenidos indican una alta fiabilidad en todos los aspectos considerados.

ANÁLISIS FACTORIAL DEL DESEMPEÑO DOCENTE.

Una vez evaluada la validez de contenido mediante el criterio de jueces expertos, que se centran básicamente en que la expresión de los juicios esté de acuerdo con el lenguaje empleado habitualmente en el contexto lingüístico del profesorado peruano, se procedió el análisis factorial de componentes principales para comprobar la estructura factorial del cuestionario de desempeño docente. Las pruebas utilizadas son de Kaiser – Mayer – Olkin y de Bartlett y los resultados son: KMO es de, 900, son valores muy elevados que indican que las variables son factorizables. En el caso de la prueba de esfericidad de Bartlett, es estadísticamente significativa (p< 0.01), lo que también indica que las preguntas del cuestionario son factorizables.

Para obtener la solución factorial final definimos previamente tres criterios:

1) Considerar los factores con valor propio mayor que uno,

2) Incluir en cada factor los ítems con saturación superior a 0,350,

3) Admitir los ítems que guarden coherencia teórica con el factor en que se ubiquen.

En el análisis factorial del Cuestionario sobre Desempeño docente, se han obtenido 6 factores que confirman la adecuación de los 6 apartados considerados originalmente. En el gráfico de sedimentación (Figura 43), se destacan los factores obtenidos. A continuación se presenta la descripción de cada uno de los factores:

La varianza explicada es del 2,03%. Las variables de la actuación docente que tienen influencia en el rendimiento de los estudiantes se refieren a una serie de aspectos vinculados con la persona, la formación y el trabajo del profesorado. Entre ellos destacamos la coherencia, el entusiasmo, el trabajo creativo y motivador; el empleo de estrategias adecuadas entre las que subraya el trabajo de grupo; el establecimiento de las relaciones positivas con los alumnos, el establecimiento de vínculos de confianza, de cariño, respeto y firmeza en el trato y finalmente; la buena formación del docente, la capacitación permanente; la entrega y el compromiso en el trabajo.

En este sentido, Marcelo (2008), subraya que el valor de las sociedades actuales está directamente ligado con el nivel de formación y la capacidad de innovación y emprendimiento que poseen los ciudadanos. Por lo tanto, está realidad obliga y exige a todos los profesionales y, de manera particular al profesorado, una formación actualizada, permanente y contextualizada.

La varianza explicada por este factor es del 4,68%. Los aspectos que repercuten negativamente en la satisfacción se refieren a los siguientes aspectos: el clima inadecuado de trabajo, las limitaciones de tiempo y de recursos materiales, la falta de confianza y trabajo en equipo por parte de los compañeros, de las autoridades del centro y de los padres de familia.

De otro lado se destaca la baja remuneración económica, el alto número de alumnos por aula y los problemas de conducta y de aprendizaje de los alumnos.

Este factor pone de manifiesto la gran importancia que tiene el reconocimiento del trabajo que realiza el profesorado; el clima positivo de cooperación entre los compañeros de trabajo y la buena relación existente con los padres de familia. La varianza explicada es 11,33%.

Por otro lado cobra importancia el aspecto referido a la adecuación del salario de los profesores. Así mismo, tiene una gran repercusión en la satisfacción del profesorado el buen rendimiento de los alumnos; la actualización permanente de los profesores y su realización personal a través del trabajo docente. Finalmente el disponer de los recursos didácticos y de la infraestructura adecuada.

Las investigaciones realizadas por varios autores (Tenti 2005; Vaillant y Rossel 2006) indican que los docentes encuentran la mayor satisfacción tanto en la actividad de la enseñanza en sí misma, como en la relación afectiva con los alumnos confirman los resultados de nuestro estudio mencionados anteriormente.

También, Linares y Gutiérrez (2010 citando a Porto, 2006; Veytia, 2008) afirma que uno de los factores que tienen una implicación directa en el nivel de satisfacción hace referencia al trabajo en sí mismo.

La varianza explicada es 2,99%. Este factor subraya los desafíos que tienen los profesores en su trabajo profesional que se centran en los siguientes aspectos: la búsqueda de estrategias para educar en valores; el que los alumnos logren los objetivos propuestos y el potenciar sus habilidades motivándolos para un aprendizaje eficaz.

Se señala el conocimiento y uso adecuado de las nuevas tecnologías. También se alude al desafío de tratar adecuadamente a los alumnos con problemas de conducta y al de las relaciones familiares.

Este desafío nos confirma la investigación que han realizado Cuenca, Montero, Ames y Rojas (2011) en Perú sobre la influencia del clima familiar en el aprendizaje de los alumnos demuestra que el apoyo familiar que ellos reciben de sus padres, tanto material como afectivo, son factores importantes que intervienen en su desempeño escolar y en sus aprendizajes.

Este factor subraya la necesidad que tiene el profesorado de recibir reconocimiento y apoyo por parte de las autoridades del centro, de las familias de los alumnos y de los compañeros de trabajo. La varianza explicada es del 1,90%.

De otro lado, aparece también la necesidad de disponer de recursos para el ejercicio de la docencia a fin de obtener un buen rendimiento de los estudiantes. Se reitera finalmente, como ha aparecido en los factores anteriores, la necesidad de la buena formación profesional y la capacitación permanente del profesorado.

La varianza explicada por este factor es sólo del 1,68%. Se alude de manera específica a los problemas producidos en la relación del profesor con los estudiantes, los problemas de conducta de los alumnos, el desafío de la autoridad del docente y la falta de comunicación. De otra parte, también aparece la falta de apoyo de los padres a las actuaciones del profesor y se reitera como problema el excesivo número de alumnos por aula.

Aparecen dos factores de carácter residual, cuyos componentes saturan también en los mencionados anteriormente de forma positiva aunque con un valor menor. De esta manera, se ha mantenido la estructura factorial coincidente con los factores iniciales. En casos aislados, aparece un ítem que satura en otro factor con un peso mayor, aunque se ha preferido vincularlo al factor inicial. Por ejemplo, el ítem “Niños con problemas de aprendizaje, conductuales y familiares” muestra saturaciones factoriales de ,613 en el factor VII y en el factor IV de ,194. Como puede comprobarse, también presenta saturaciones en el factor VI. En este caso se ha preferido mantenerlo vinculado al factor I, puesto que presenta un nivel positivo y se ajusta bien al constructo inicial.

CONCLUSIONES

Las conclusiones hacen referencia a los objetivos propuestos. El objetivo general se centra en el estudio de las repercusiones del Desempeño docente en la satisfacción y el desgaste del profesorado. Respecto a este punto, se concluye que las experiencias positivas producen satisfacción y realización personal y profesional. Por el contrario, las experiencias negativas ocasionan insatisfacciones, desgastes e incluso rechazo de la profesión.

En cuanto al primer objetivo especifico, comprobamos que el trabajo ha propiciado el conocimiento del pensamiento y las vivencias de los profesores. Que destacan la importancia de la formación inicial y la necesidad de la actualización permanente.

El segundo objetivo, centrado en identificar los factores que influyen en el desempeño docente, se han identificado 6 factores: 1. Aspectos relacionados con la satisfacción del desempeño docente; 2. Aspectos que influyen de manera negativa en el desempeño docente; 3. Desafíos que tienen los profesores en el desempeño docente; 4. Factores relacionados con la actuación docente que influyen en el rendimiento de los alumnos; 5. Aspectos relacionados con el desempeño docente y 6. Problemas que se producen en la relación profesor/alumno en las aulas.

Respecto al objetivo centrado en el estudio comparativo de las escuelas públicas y privadas, nuestro estudio ha encontrado una gran similitud entre unas y otras independientemente de los diferentes contextos y procedencias de los estudiantes.

Existen algunas diferencias significativas en los siguientes aspectos respecto al desempeño docente las mayores diferencias se dan a favor de los Centros privados con respecto a la ayuda prestada a los alumnos con problemas de aprendizaje, a la capacitación profesional permanente y a las estrategias para educar en valores.

PROSPECTIVA

Tomando como punto de partida los resultados obtenidos en nuestro estudio, proponemos dos líneas de acción para que las instituciones educativas y los profesores estén preparados para responder a las exigencias del Siglo XXI y que sin duda puedan mejorar la calidad del desempeño de la profesión docente.

La formación integral y permanente de los profesores. Consideramos importante la formación integral y permanente de los profesores. Coincidimos con la idea que propone Day (2007) sobre algunas condiciones para una buena formación que tenga como punto nuclear a la persona del profesor y como primera exigencia que se conozca a sí mismo y que tenga un auto–concepto positivo, como persona y como docente. También, Moya (2010), indica que el cómo y la calidad de nuestra relación con los alumnos y el impacto global en ellos, depende sobre todo de nuestras actitudes y de cómo nos vemos nosotros como profesores.

El trabajo con la familia. Creemos que la relación entre la familia y el Centro Educativo es un factor imprescindible para el desempeño docente y, al mismo tiempo, es un desafío muy grande para este momento actual. Vivimos en un periodo en el cual la familia y la escuela están perdiendo la capacidad para transmitir eficazmente valores y pautas culturales de cohesión social. Marcelo y Vaillant (2009) afirman que la transformación de la familia afecta a la escuela y su propia función social; ha dejado de ser una agencia formativa que opera en un medio estable de socialización. Por eso, es muy urgente buscar las claves para establecer y fortalecer el diálogo escuela-familia. Garreta y Llevot (2007) expresan que las relaciones entre la escuela y la familia son contempladas actualmente como un factor de gran importancia en la educación del alumnado.

VALIDACIÓN DE UN CUESTIONARIO SOBRE LAS ACTITUDES, CONOCIMIENTOS Y PRÁCTICAS DE LOS DOCENTES DE LA CIUDAD DE ESMERALDAS (ECUADOR) ANTE LA EDUCACIÓN INCLUSIVA

María Luisa Montánchez Torres

Jesús M. Jornet Meliá.

María Jesús Perales Montolío.

ABSTRACT

El análisis que se presenta es la validación de un cuestionario sobre las actitudes, conocimientos y prácticas de los docentes de Esmeraldas (Ecuador) ante la Educación Inclusiva. La respectiva valoración se realiza mediante el análisis de las propiedades métricas del instrumento de recogida de datos a través de la Teoría Clásica de los Tests. El primer lugar, se analizó la validez de contenido del instrumento a través de su revisión por un grupo de expertos especialistas en medición del Departamento de Métodos de Investigación y Diagnóstico en Educación (MIDE), añadiendo la aprobación por parte de la Doctora Magaly Robalino Campos experta externa especializada en Educación Inclusiva en el contexto Ecuatoriano. Posteriormente, a partir de la aplicación en el contexto de Esmeraldas (Ecuador) se analizó la fiabilidad del instrumento por el Modelo de Alfa de Cronbach. El análisis se realiza para cada una de las cinco escalas incluidas –actitudes, conocimientos, prácticas, contexto escolar y social-, teniendo en cuenta el valor de Alfa de Cronbach y el índice de homogeneidad de cada uno de los ítems. Posteriormente, se realiza el estudio sobre las propiedades métricas de la escala global.

Finalmente, se plantea una reflexión del instrumento en el marco de conocimiento de la realidad de los contextos educativos en los que se inician políticas y procesos de educación inclusiva.

INTRODUCCIÓN

La validación de este cuestionario es parte de un trabajo más amplio de investigación que versa sobre el estudio de “Las actitudes, conocimientos y prácticas de los docentes de la Ciudad de Esmeraldas (Ecuador) ante la Educación Inclusiva”. La investigación tuvo el propósito de conocer cuáles son las actitudes, conocimientos y prácticas de los docentes de la ciudad de esmeraldas ante la educación inclusiva. Además, se pretende estudiar el contexto escolar y social donde el docente da sentido a su quehacer diario. La finalidad última es potenciar la educación inclusiva investigando la situación de los docentes de educación preuniversitaria (inicial, educación general básica y bachillerato) en su accionar inclusivo dentro de las instituciones.

La formación de los docentes, en materia educativa en Ecuador, y la inclusión de niños y jóvenes con necesidades educativas especiales al sistema ordinario han ido cambiando positivamente pero se va viendo un cambio responsable por parte del gobierno, autoridades educativas y sociedad.

La educación inclusiva significa una educación para todos con el objetivo desarrollar una cultura tolerante a lo diferente, en defensa de los derechos humanos y la igualdad de oportunidades.

Dada la carencia de bibliográfica acerca de esta temática en el contexto específico donde se ejecuta la investigación, surgió la necesidad de poder evaluar la formación docente ante la educación inclusiva, dado que de acuerdo a la literatura especializada revisada no se evidencias trabajos previos en la misma dirección investigativa. Por tanto, se trató de un estudio de encuesta, de carácter exploratorio/descriptivo y su base instrumental de recogida de información es un cuestionario de elaboración propia.

Siendo una primera aproximación al conocimiento de la formación docente ante la -educación inclusiva en Esmeraldas –Ecuador- ofrecerá nuevas líneas de investigación facilitando la identificación de nuevas hipótesis e interrogantes en la formación de estos profesionales dentro del ámbito escolar.

PLANTEAMIENTO DEL PROBLEMA.

Como se ha señalado anteriormente, no existen investigaciones sistemáticas al respecto, por tanto, este estudio nace previamente ante la carencia bibliográfica y de análisis practico ante el tema, y en segundo lugar, porque se considera que loa docentes son los que construyen el trabajo día a día y son los informantes válidos más adecuados para dar respuestas a nuestra problemática de la investigación.

Para inicial el planteamiento, tal y como postula Fox (1981, p.28) “… el primer paso lógico en la investigación, que el investigador ha de comprobar, antes que nada, es que la pregunta formulada no haya sido todavía contestada”.

Por tanto, este estudio sirve de enfoque exploratorio, ya que, “sirve para preparar el terreno y por lo común anteceden a investigación con alcances descriptivos, correlaciones y explicativos”. (Hernández, Fernández y Baptista, 2006, p.78). No obstante, incluye rasgos descriptivos porque “constituyen una opción a la investigación cuantitativa que trata de realizar descripciones precisas y muy cuidadosas respecto a fenómenos educativos “(Bisquerra, 2009, p.197).

Después de definir el trabajo con las preguntas que se generaban en el comienzo, y entendiendo como problema” la pregunta que establece una situación que requiere discusión, investigación decisión y solución (…) en forma interrogativa (…) y, por lo general, inquiere algo acerca de las relaciones entre fenómenos y variables” (Kerlinger, 1984, pp.31-32). Siguiendo, la definición del mismo , se formuló el siguiente problema de investigación: ¿ cuáles son las actitudes, conocimientos y prácticas qué tienen los docentes de la Ciudad de Esmeraldas ante la educación inclusiva?.

En resumen, señalar la pretensión que el análisis y descripción de estas actitudes conocimientos y prácticas permitirán comprender de una forma clara y adecuada el modo de trabajo de los docentes de esmeraldas en materia de educación inclusiva, que hasta el momento se desconoce.

MÉTODO.

El primero objetivo específico de esta investigación, y el que atañe en este capítulo, fue “Diseñar y validar un instrumento de recogida de datos que nos permit [iera] explorar elementos actitudinales, cognitivos y prácticos sobre los docentes en el contexto de Esmeraldas, concretamente ante la Educación Inclusiva”.

Se desarrolló un cuestionario que incluye cinco escalas –actitudes, conocimientos, prácticas, contexto escolar y social-. El proceso de desarrollo del instrumento siguió los parámetros de Fernández, Pérez y Rojas (1998) y Lukas y Santiago (2009) adaptado a nuestro interés. Éstos fueron:

1. Determinación precisa de los objetivos del cuestionario.

2. Planificación del cuestionario.

3. Identificación de dimensiones a considerar, a partir de la fundamentación teórica o marco teórico conceptual.

4.Consulta de las dimensiones con una especialista de educación e inclusión.

La Dra. Magaly Robalino Campos de la UNESCO en Quito (Ecuador), con la finalidad de identificar si, en lo sustantivo, se atendían a los aspectos más relevantes que se consideran en el Índice de Inclusión (Ainscow y Booth, 2000).

5. Elaboración y selección de preguntas.

Revisión por parte de un grupo de cinco especialistas en Medición del departamento de Métodos de Investigación y Diagnóstico en Educación (MIDE) de la Universidad de Valencia.

6. Adaptación cultural/lingüística de las preguntas. Teniendo en cuenta que la población a la que se dirige es de una zona con marcadas diferencias en la modalidad del español, se sometió el cuestionario a un grupo de profesores de Esmeraldas, con los que se ajustó la formulación de las cuestiones al lenguaje propio de la zona.

7. Disposición provisional de las preguntas y/o tests en el cuestionario.

8. Edición final del cuestionario.

9. Aplicación del cuestionario.

El cuarto, quinto y sexto punto forman parte del proceso seguido para la validación del cuestionario.

En un primer momento, se diseñó un primer borrador modelo. En el segundo borrador se incorporaron una serie de pautas metodológicas. En primer lugar, hubo una revisión por parte de un grupo de especialistas en Medición del departamento MIDE de la Universidad de Valencia, donde se analizó si la formulación de las preguntas cumplían los criterios de: A) Relevancia y pertinencia de cada cuestión con la dimensión de la que pretendía informar y b) Formulación.

En segundo lugar, una vez aprobado por los profesionales de Valencia, pasó un segundo filtro de validación, dado que, se tuvo que realizar una adaptación cultural/lingüística de las preguntas. Teniendo en cuenta que la población a la que se dirige es de una zona con marcadas diferencias en el español, se sometió el cuestionario a un grupo de docentes de la Universidad de Esmeraldas, con los que se ajustó la formulación de las cuestiones al propio lenguaje de la zona con el objetivo de poder analizar la terminología para una fácil comprensión de los docentes ya que utilizan términos específicos y coloquiales diferentes a los que estamos acostumbrados en España.

Una vez finalizado el filtro cultural/lingüístico, el instrumento obtendría la “validez de los expertos” si éste puede justificar las mediciones que pretende. Como un referente de interés en cuanto a su validez, se consultó a la Dra. Magaly Robalino Campos, especialista de programas y responsable del sector educación de la oficina de la UNESCO en Quito y especialista Regional de Educación en la oficina Regional de Educación de la UNESCO en América Latina y el Caribe (OREALC).

El cuestionario siguió los parámetros del “Index for Inclusion” elaborado por Tony Booth y Mel Ainscow (2000), adaptación basada en la traducción al castellano realizada por la oficina regional de la UNESCO (OREALC) por lo que se consideró que la Dra. Robalino era la persona indicada para avalar el cuestionario, dado su trayectoria profesional, por el conocimiento del contexto Ecuatoriano/Esmeraldeño y del Índice de Inclusión.

La respuesta obtenida permitió que el cuestionario tuviera la capacidad de medir las actitudes, conocimientos y prácticas de los docentes ante la Educación Inclusiva en la ciudad de Esmeraldas, es decir, que los datos analizados del cuestionario proporcionaran el contenido específico para hacer predicciones relativas a los sujetos consultados, respecto a las dimensiones estudiadas.

Las orientaciones que nos dio la experta respecto a los ítems que contenía el cuestionario hacía alusión a: a) Introducir la escala de respuestas más fácil de contestar, b) Sobre el encuestado, sería conveniente el número de años que lleva en la docencia, c) Dejar una pregunta final abierta para cualquier tipo de sugerencia personal, d) Cambio en la formulación de algún ítems por su difícil comprensión.

La Dra. Robalino consideró, en cuanto a la evaluación del contenido del cuestionario y los ítems que contiene, que éstos aluden al objeto de la investigación y desde el cual es posible recoger los matices fundamentales y de interés exploratorio/descriptivo en cada una de las dimensiones reunidas en el cuestionario.

En un segundo momento, se pasó a validar el instrumento de forma interna. Para ello, se analizaron las propiedades métricas del cuestionario empleado con el objetivo de observar la fiabilidad del mismo, y el funcionamiento de los elementos. El análisis se realizó para cada una de las cinco escalas incluidas en el cuestionario basándose en el modelo de consistencia interna teniendo en cuenta el valor de Alfa de Cronbach y el índice de homogeneidad de cada uno de los ítems. Posteriormente, se realizó la investigación de las propiedades métricas de la escala global. El objetivo fue analizar la calidad métrica del instrumento empleado, desde la Teoría Clásica de los Test (TCT).

En el cuestionario se incluyen las escalas con un total de 79 ítems. La primera escala, está integrada por 19 ítems. La segunda, relativa a los conocimientos se compone de 19 ítems. La siguiente sobre prácticas, integrada por 15 ítems. La penúltima escala acerca del contexto escolar, consta de 14 ítems y, por último, la escala de contexto social está integrada por 12 ítems.

ANÁLISIS DE RESULTADOS Y DISCUSIÓN.

Pasando analizar las propiedades métricas de las cinco escalas, encontramos que: Sobre la escala de “actitudes”, el coeficiente de Alfa de Cronbach es de 0,824, lo que constituye un buen nivel de fiabilidad global. En esta escala, cada uno de los ítems aporta significativamente fiabilidad a la escala. Aunque existen diferencias mínimas es preciso concretar que existen ítems defectuosos y con bajo coeficiente de homogeneidad. Siendo ítems relativos sobre la actitud del docente hacia los niños indígenas, refugiados y sobre temática de violencia en las aulas.

Sobre la escala de “conocimientos”, el coeficiente de Alfa De Cronbach es de 0,783 lo que constituye un nivel medio-alto de fiabilidad. De nuevo, en esta escala todos los ítems aportan significativamente fiabilidad pero con la existencia de ítems defectuosos. Estos se refieren a conocimientos específicos hacia el abordaje de niños con dificultades físicas, limitaciones psicológicas y sobre las adaptaciones curriculares para niños con necesidades educativas especiales.

Sobre la escala de “prácticas”, muestra un nivel de fiabilidad alto ya que el coeficiente de Alfa Cronbach es 0,868. En esta escala todos los ítems aportan significativamente fiabilidad siendo inexistentes los ítems defectuosos.

Sobre las propiedades métricas de la escala de “contexto escolar”, su Alfa Cronbach constituye un buen nivel de fiabilidad global siendo 0,775. Se encuentran un ítem con bajo coeficiente de homogeneidad que resta fiabilidad al instrumento. Esta pregunta hace referencia a la complejidad de trabajar la inclusión dentro de las instituciones educativas.

En cuanto las propiedades métricas de la escala de “contexto social” se muestran una fiabilidad media siendo su Alfa de Cronbach de 0,574. En esta escala, son dos ítems los defectuosos con bajo nivel homogeneidad haciendo referencia a sí la sociedad margina a las personas con algún rasgo especial o discapacidad y si el tema de la exclusión social es cultural.

Finalmente, sobre las propiedades métricas totales de las escalas, el índice de Alfa de Cronbach es de 0,720, lo que constituye un nivel medio-alto de fiabilidad global, considerándose suficiente y satisfactorio. Todas las escalas aportan fiabilidad a la escala. La escala que mayor fiabilidad aporta son las “prácticas” con un valor de Alfa de Cronbach de 0,615 y un índice de homogeneidad de 0,609 y la que menor fiabilidad aporta es el “contexto social” con un valor de Alfa de Cronbach de 0,716 obteniendo el índice de homogeneidad negativo -0,370.

Después de este análisis, la fiabilidad del instrumento es alta. Dentro de las cinco escalas analizadas, son 4 de ellas – actitudes, conocimientos, prácticas y contexto escolar- tiene el menor nivel existiendo, a su vez, ítems que la dificultan.

CONCLUSIONES.

El propósito principal de la investigación en su totalidad que fue conocer las actitudes conocimientos y prácticas de los docentes preuniversitarios de la Ciudad de Esmeraldas ante la educación inclusiva se constató[46]. El objetivo específico acerca del diseño de un instrumento de recogida de datos que permitiera indagar y conocer las 5 escalas –actitudes, conocimientos y prácticas, contexto escolar y social-, se cumplió dado su estudio de las propiedades métricas siendo Alfa de Cronbach un 0,72, por tanto, se conforma la calidad global del instrumentos, siendo la escala de “prácticas” la que mayor fiabilidad aporta al instrumento empleado y la que menos la de “contexto social”.

Finalmente, se considera fundamental la elaboración y el diseño de instrumentos fiables de evaluación docente como medio de conocimiento de la realidad de los contextos sociales-educativos en los que se inician políticas y procesos de educación inclusiva. Este tipo de instrumentos son la vía inicial para la comprensión de los espacios educativos que, posteriormente, originarán otro tipo de análisis sobre el escenario inclusivo.

46 Para más información acceder a http: // roderic.uv.es.

ANÁLISIS DE UN INSTRUMENTO PARA LA EVALUACIÓN DEL PROFESORADO EN EL INSTITUTO TECNOLÓGICO DE COSTA RICA

Oscar Chaves Jiménez

José González Such

Jesús Miguel Jornet Meliá

RESUMEN

El presente trabajo muestra los resultados del análisis que se realizó de una investigación sobre un instrumento para la evaluación del profesorado en el Instituto Tecnológico de Costa Rica (ITCR). El instrumento se aplicó a 86 profesores y 1698 estudiantes de tercer, cuarto y quinto año de distintas carreras de pregrado del Instituto, utilizando un instrumento tipo cuestionario de opinión. Los resultados muestran un buen ajuste al modelo de Rasch y el buen funcionamiento del instrumento para discriminar entre el profesorado, además de no presentar Funcionamiento Diferencial de los Ítems por sexo.

INTRODUCCIÓN

En el Instituto Tecnológico de Costa Rica se realiza cada semestre la evaluación del profesorado por parte de los estudiantes, obligatoria y con el objetivo de medir la calidad de la enseñanza del profesorado. Esta evaluación de la actividad del profesorado ha sido objeto de críticas por muchos años por directores de los centros, que no creen en sus resultados porque consideran que no son fiables. Algunos profesores creen que los estudiantes pueden fácilmente manipular las evaluaciones ya que el sistema no proporciona mecanismos para evitarlo. Piensan que los resultados pueden variar positiva o negativamente si así los estudiantes lo deciden, esto puede suceder por la simpatía o amabilidad del profesor, o por la exigencia del docente, o por los resultados de las evaluaciones obtenidos por los estudiantes en los cursos; y no existe el modo de comprobar que el estudiante aplica las evaluaciones de una manera válida, fiable, y libre de sesgos. En este sentido, se realizó una investigación sobre la evaluación docente en el ITCR y así comprobar si el instrumento de evaluación del profesorado es fiable, válido y ausente de sesgos. Aquí se presentan los resultados de un análisis desde la Teoría de Respuesta al Ítem (TRI) mediante el modelo de Rasch[47] que se realizó en esta investigación.

LA EVALUACIÓN DEL PROFESORADO POR PARTE DEL ALUMNO

En Educación Superior, las evaluaciones del profesorado por los estudiantes son ampliamente usadas para evaluar la efectividad y calidad de la enseñanza (Aleamoni, 1999; Bezies, Elizalde y Olvera, 2012; Clayson, 2009; Kulik, 2001; Marsh, 2007; Marsh, Ginns, Morin, Nagengast y Martin, 2011; Pounder, 2007; Stark-Wroblewski, Ahlering y Brill, 2007; Wilhelm y Comegys, 2004; Wilson, 1998; Wolfer y Johnson, 2003) y actualmente reconocidas como una actividad legítima y esperada por los distintos involucrados (Nuemann, 2000). Así, este tipo de evaluación es una práctica común en muchas universidades, lo cual dio inicio en las universidades de Estados Unidos a mediados de la década de 1920 (Doyle, 1983). Esta estrategia de evaluación es la más utilizada en Norteamérica, Europa y Asia, y al mismo tiempo la más estudiada (Seldin, 1993; Theall y Franklin, 2000). Sin embargo, todavía se observa un escepticismo persistente acerca de la validez de las valoraciones de estudiantes como un indicador de la efectividad de la enseñanza (Aleamoni, 1999; Clayson, 2009; Kogan, Schoenfeld-Tacher y Hellyer, 2010; Kulik, 2001; Neath, 1996).

LA EVALUACIÓN DE LA DOCENCIA EN COSTA RICA

La evaluación de la docencia es una actividad que se ha realizado en prácticamente todas las universidades de Costa Rica desde hace muchos años, en donde cada universidad ha creado su propio sistema de evaluación. Por supuesto que las universidades que cuentan con más historia en este campo son las públicas, ya que son las más antiguas en el país. La evaluación de la docencia en el Instituto Tecnológico de Costa Rica nació en 1982 con la creación y aprobación de un reglamento institucional denominado Reglamento de Carrera Profesional, el cual tiene como propósitos propiciar el ingreso, la permanencia y el desarrollo del personal profesional que, por la calidad y cantidad de su trabajo, haya demostrado mérito en su desempeño.

METODOLOGÍA DE LA INVESTIGACIÓN

A. PROCEDIMIENTO

La investigación se basó en evaluar la labor docente del profesorado del ITCR a través de la elaboración de un instrumento. El estudio utiliza una metodología de investigación evaluativa desde un punto de vista fundamentalmente cuantitativo, aunque se ha buscado la integración metodológica utilizando análisis cualitativos en las respuestas. A partir de la elaboración del instrumento, se aplicó a los profesores que voluntariamente quisieron participar en el proyecto y que estuvieran impartiendo cursos de tercer, cuarto y quinto año de carrera. Se eligió a estos niveles ya que son estudiantes con experiencia universitaria y además que ya habían realizado la evaluación del ITCR en varias ocasiones, es decir, la evaluación del profesor profesor no es nuevo ni desconocido para ellos. Así, se realizaron visitas a las aulas y los estudiantes realizaron la evaluación a través de un documento impreso, se aplicó el instrumento a un solo grupo de estudiantes de cada profesor, esto se hizo durante las semanas 14 y 15 del segundo semestre del año 2009 (cada semestre cuenta con 16 semanas). Los grupos de estudiantes variaron entre 5 estudiantes el más pequeño y 49 el más grande. Por otra parte, la autoevaluación del profesor se aplicó cuando el curso ya había finalizado.

B. POBLACIÓN Y MUESTRA

La población total de profesores del Instituto Tecnológico de Costa Rica que estaban impartiendo cursos de tercer, cuarto y quinto años de carrera fue de 265, sumando las dos sedes en donde se realizó la recopilación de datos, Sede de Cartago y Sede de San Carlos. En este caso, el grupo de profesores voluntarios estuvo constituido por 86 académicos a quienes se les aplicó la evaluación de los estudiantes y quienes realizaron la autoevaluación. Por otra parte, el total de estudiantes que se encontraban recibiendo cursos de entre el tercer y quinto año de estudios fue de 5066, y la muestra que participó en este estudio fue de 1698 de las distintas carreras.

C. INSTRUMENTOS

Se utilizaron dos instrumentos para recolectar los datos, uno para los profesores (Anexo 1) y otro para los estudiantes (Anexo 2), aunque los dos instrumentos incluyen los mismos ítems de desempeño e importancia, pero indagan acerca de información adicional diferente. Los instrumentos se estructuraron en 3 partes, al inicio se preguntó sobre información personal tanto del profesorado como de los estudiantes, luego aparecen los ítems para la correspondiente evaluación del desempeño e importancia de los ítems y al final se presenta un apartado con preguntas abiertas. En la sección sobre la evaluación por ítems, se pregunta sobre el desempeño del profesor y sobre la importancia de cada ítem, tanto para los profesores como para los estudiantes, y los ítems se presentan separados por dimensiones. En cuanto a la valoración del desempeño se utilizó una escala de 6 puntos en donde 1 significa muy malo-nunca, 2 malo-casi nunca, 3 regular-pocas veces, 4 bueno-a menudo, 5 muy bueno-casi siempre y 6 excelente-siempre.

En este trabajo se presentan los resultados del análisis de las respuestas de los estudiantes respecto al desempeño docente mediante el instrumento de evaluación de los docentes aplicando el modelo de Rasch.

ANÁLISIS TRI A TRAVÉS DEL MODELO DE RASCH

Con el fin de analizar el funcionamiento del instrumento para discriminar entre valoraciones, se ha aplicado un análisis desde la Teoría de Respuesta al Ítem (TRI) mediante el modelo de Rasch, el cual identifica y mide la distribución independiente de los valores de cada ítem y de cada estudiante, esto significa que las medidas que se aplican son estadísticamente equivalentes para los ítems independientemente de cuáles ítems y estudiantes sean analizados. Así, este procedimiento analiza cada patrón de respuesta ítem por ítem y estudiante por estudiante y así identifica con toda precisión aquellos ítems y estudiantes que se comportaron de forma distinta a las expectativas probabilísticas del modelo, es decir, identifica las respuestas anómalas. A partir del análisis factorial se ha comprobado que el instrumento presenta un primer factor en el que saturan prácticamente todos los ítems de forma positiva, explicando el 39.94% de la varianza, lo que apunta hacia la unidimensionalidad del instrumento.

Los resultados indican que la escala proporciona un buen ajuste de las valoraciones de los estudiantes, por lo que se puede interpretar como un buen ajuste de las valoraciones a los profesores. A continuación se detallan algunos de los resultados.

En la tabla 1 se muestra un resumen de las valoraciones omitiendo los casos extremos y eliminando los casos atípicos. Se puede observar que se han considerado 1377 respuestas no extremas. Se presenta en ella la media, la desviación típica, el máximo y mínimo. Se indican los resúmenes y su ajuste interno ponderado por la información y que es más sensible a comportamientos inesperados (González Montesinos, 2008). Respecto a su fiabilidad, observamos que es muy elevada para las personas. Así, la media cuadrática de los estudiantes tanto en el ajuste interno como externo de la media es de 1.05, lo cual indica que existe un adecuado ajuste entre los valores ya que la expectativa apropiada es de 1. En el caso del ajuste estandarizado interno y externo presenta un valor de -.1, lo cual también indica un ajuste aceptable, ya que la expectativa apropiada son valores en el intervalo de -2 a +2. Se puede apreciar que la fiabilidad entre personas es de .94.

Por otra parte, en la tabla 2 se presentan los valores referidos al total de valoraciones, los 32 ítems, en este caso también se presentan la media, la desviación típica, el máximo y mínimo. De nuevo se puede comprobar que se produce también un buen ajuste al modelo. Por otra parte, cabe señalar la fiabilidad por ítems que se sitúa en .99. La media cuadrática de los ítems en el ajuste interno de la media es de 1.01 y en el externo es de 1.05, lo cual indica que existe un conveniente ajuste entre los valores ya que la expectativa apropiada es de 1. El ajuste estandarizado interno muestra un valor de .0 y el ajuste externo un valor de .5, lo que también indica un ajuste adecuado, ya que la expectativa apropiada son valores en el intervalo de -2 a +2. Como se puede comprobar, la fiabilidad por ítems es de .99.

En el gráfico 1 se muestra la medida de los estudiantes y los ítems (Mapa de Wrigth), como se puede ver la media de la medida de los estudiantes es de 58.78 y la de los ítems de 48.44. Como se puede observar, los ítems permiten realizar un buen ajuste de las personas en cuanto a su valoración, pudiendo diferenciar entre los que dan una baja valoración y los que presentan la mayor valoración.

La tabla 3 presenta las estadísticas del orden de medida de los 32 ítems, en la cual se muestran los niveles de medida que van desde 54.68 a 41.12. Y los errores estándar presentan niveles bajos, entre .22 y .30. Respecto al ajuste de los datos al modelo, se puede observar que prácticamente todos los ítems se encuentran dentro del intervalo de ajuste correcto. Se entiende ajuste correcto cuando el ajuste interno se encuentra entre el intervalo .80 a 1.30. Como se puede comprobar en la tabla 3, todos los ítems se encuentran dentro de este intervalo, excepto el ítem 10.3 (Incorporó nuevas tecnologías y recursos diversos en las clases). Respecto al ajuste externo se utiliza el mismo intervalo, encontrando que algunos ítems se salen del intervalo descrito. No obstante, para ítems de percepción (como es este caso) se podría aceptar hasta valores de 1.50, dependiendo también de la importancia que pueda tener estos ítems para su conservación en el cuestionario. En lo referente a la media cuadrática estandarizada tanto del ajuste interno como externo se advierte que las valoraciones son altas ya que la mayoría exceden el rango de -2 a +2 lógitos.

En cuanto al análisis por categorías de respuesta (de 1 Muy malo/Nunca a 6 Excelente/Siempre) (tabla 4), se encuentra que el ajuste también es muy bueno, centrándose en el estadístico OUTFIT MNSQ, prácticamente en todos está en valores no superiores a 1.3. Sin embargo, cabe resaltar que en algunas categorías se identifica un cierto desajuste, especialmente en las categorías más bajas.

Respecto a la gradación de las categorías de respuesta, se ha comprobado que realizan una buena discriminación entre las categorías consideradas (de 1 a 6). En cuanto a la Función de Información del instrumento, como se puede ver en el gráfico 2, da una buena discriminación: recuérdese que se ha ajustado a la media y desviación típica de las valoraciones.

De igual forma, se puede comprobar que la Curva Característica del Test proporciona un excelente ajuste, como se ve en el gráfico 3. En cuanto a las Curvas Características de los ítems se puede considerar que en general se produce un ajuste razonable a las mismas.

Finalmente, se ha efectuado un análisis de Funcionamiento diferencial de los ítems (DIF) respecto a la variable Sexo, pudiendo constatar que no existen diferencias entre el sexo de los estudiantes a la hora de valorar a sus profesores, como se puede comprobar en la tabla 4 y gráfico 4.

47 Mediante el programa WinSteps.

CONCLUSIONES

La escala del instrumento utilizado para evaluar la labor del profesorado proporciona un buen ajuste de las evaluaciones de los estudiantes y por lo tanto un buen ajuste de las valoraciones a los profesores. Esto es una evidencia de validación del instrumento para evaluar al profesorado del Instituto Tecnológico de Costa Rica ya que el mismo permite discriminar entre las valoraciones al profesorado. Por otro lado, no presenta Funcionamiento Diferencial de los Ítems teniendo en cuenta la variable sexo. Por lo tanto, el instrumento puede ser utilizado por el Instituto con el fin de medir la calidad de la docencia del profesorado.

CONSTRUCCIÓN DE UN INSTRUMENTO DE MEDICIÓN ORIENTADO A LA IDENTIFICACIÓN DE PERFILES PROFESIONALES DOCENTES

José Salazar Ascencio

Cristian Cerda González

Pedro Marín Alvarez

Alejandro Villalobos Clavería

RESUMEN

La medición del perfil profesional docente representa un área poco explorada en evaluación educacional, hecho que dificulta la disponibilidad de instrumentos de medición. Este trabajo busca construir una escala que permita medir dimensiones del perfil profesional docente. Un total de 940 alumnos universitarios de cursos superiores, pertenecientes a tres casas de estudios chilenas, contestó un instrumento basado en la técnica de diferencial semántico. El análisis factorial exploratorio permitió identificar la presencia de 2 factores: profesor pedagogo y profesor persona, los cuales explican el 66,72% de la varianza. Las sub escalas presenta niveles de confiabilidad aceptables, 0,78 y 0,90 respectivamente, con lo cual permite indicar que el instrumento desarrollado es una opción válida y confiable para la medición de perfiles docentes a nivel universitario.

PALABRAS CLAVES: Evaluación Docente; Validación; Instrumento.

INTRODUCCIÓN

La evaluación de la docencia es un proceso complejo, importante y urgente de integrarlo eficazmente a una cultura del accionar educativo, que apueste por la mejora sostenida del mismo. En este sentido, el recorrido histórico de este proceso cobra un real significado, cuando se observa que durante los últimos cincuenta años, la concepción de la evaluación docente, sus modelos y programas, evidencian una evolución tendiente a responder a los requerimientos permanentes, emergentes y proyectivos de los diferentes sistemas educativos. Se ha pasado de comprender la docencia, como un acto exclusivo de entrega de contenidos curriculares, a un proceso que entre otra de sus funciones, ha de cautelar su impacto en la calidad de los aprendizajes del discente.

Ante los desafíos que enfrenta la educación superior, tendiente a certificar de manera sostenida la calidad de sus servicios, el desempeño docente se constituye en el motor que incidirá sin duda alguna, en indicadores de; funcionalidad, eficacia y eficiencia institucional, como real expresión de calidad en la formación inicial de sus profesionales. En este sentido, la evaluación de la docencia, se ha de constituir en un reto en el quehacer universitario, que permita medir la actividad docente, promoviendo la reflexión sistemática orientada a la constitución de comunidades de aprendizajes.

Uno de los elementos más críticos vinculados al desarrollo de la docencia, es la construcción implícita de un perfil profesional docente, el cual incide de manera directa sobre las prácticas pedagógicas desarrolladas por académicos universitarios. Sin duda alguna, toda aproximación para abordar la valoración del quehacer docente, exige la definición de un modelo, que trae aparejado el rigor científico en la construcción de los instrumentos requeridos.

La presente investigación tiene como propósito, construir un instrumento de medición que permita identificar perfiles profesionales docentes implícitos, en base a un marco conceptual orientado a definir prácticas pedagógicas.

LOS MODELOS DE EVALUACIÓN DOCENTE

1.- LA EDUCACIÓN PRIMARIA Y SECUNDARIA:

Los primeros estudios publicados sobre evaluación docente, corresponden a Boyce (1915) y Bar y Emans (1930), pero al revisar la literatura existente en materia de modelos de evaluación, habremos de reconocer que desde la década de los 60 a la fecha, es posible identificar una diversidad de enfoques evaluativos sobre la eficiencia docente, los que se vinculan directamente por un lado con la finalidad que se persigue con la evaluación, y por otro, con las diferentes teorías de aprendizaje que están presentes en los sistemas y organizaciones existentes (Salazar, 2003).

En este sentido, es Valdés (2002) quien focaliza cuatro modelos de evaluación de la eficiencia docente que han surgido desde la investigación, siendo estos: a) centrado en el perfil del docente; b) centrado en los resultados obtenidos, c) centrado en el comportamiento del docente en el aula; y d) centrado en la práctica reflexiva.

Por la características de la presente investigación, centraremos la mirada en el primero de ellos, es decir, el modelo centrado en el perfil docente, al respecto podemos señalar, que éste se caracteriza por evaluar el desempeño de un docente de acuerdo a su grado de concordancia con los rasgos y características, según un perfil previamente determinado de lo que constituye un profesor ideal. Dicho autor señala, que las características en cuestión, se pueden establecer -entre otras-, basándose en las percepciones que tienen diferentes grupos de personas (tales como: estudiantes, padres, directivos docentes y profesores) sobre lo que es un buen docente.

Sin duda, en este perfil emergen rasgos referidos a aspectos de personalidad, como también otros referidos a aspectos pedagógicos. Es así como los estudios de Charters y Waples (1929), señalan que la adaptabilidad, consideración, entusiasmo, buen juicio, honestidad y carisma son las características que definen un buen profesor. Por su parte, González (1980) concluye que los profesores más eficientes son aquellos que se muestran más humanos en el amplio sentido del término, es decir, agradables, afectuosos, justos, democráticos y más capaces para relacionarse con sus alumnos. Definido el perfil, se elaboran instrumentos que pueden aplicarse a modo de autoevaluación, a través de un evaluador externo que entrevista al profesor, mediante la consulta de los propios estudiantes, etc.

A la luz de las características de éste modelo, surgen inevitablemente algunos cuestionamientos (Salazar, 2007): Si bien es cierto, el proceso de enseñanza aprendizaje es una función que define la profesionalización de un profesor, entonces, ¿Será necesario considerar aspectos de índole personal y no sólo limitar lo que es un buen profesor a lo que es capaz de demostrar en el acto de enseñar?; ¿Quiénes son las personas más adecuadas para proporcionar indicadores sobre lo que es un buen profesor? ¿Los estudiantes o los especialistas?; ¿Corresponde el perfil que se establece a un maestro real y a las circunstancias en las cuales este desarrolla su tarea?

Sin duda alguna, que toda propuesta de evaluación docente, exige una concepción de lo que se entenderá por un buen docente (Salazar, 2009). Al respecto debemos reconocer, que estamos ante una dimensión polisemántica, lo que determina que este abanico de definiciones vaya desde aspectos que dicen relación con: trabajo eficaz en el aula, calidad del aprendizaje de los alumnos, dominio de la materia a enseñar, expertiz en la enseñanza; hasta, conjunto de rasgos y características positivas del docente. Al respecto, es referencial la definición de Valdés (2002: 11): “La evaluación del desempeño profesional del docente es un proceso sistemático de obtención de datos válidos y fiables, con el objetivo de comprobar y valorar el efecto educativo que produce en los alumnos el despliegue de sus capacidades pedagógicas, su emocionalidad, responsabilidad laboral y la naturaleza de sus relaciones interpersonales con alumnos, padres, directivos, colegas y representantes de las instituciones de la comunidad”.

La presente definición proporciona una clave, para la determinación de las dimensiones que debe comprender la operacionalización de la variable “desempeño profesional del docente”, la que se apoya básicamente en el paradigma histórico cultural. En este sentido, dicho autor recomienda que el sistema de evaluación se base en ítems específicos de conducta, que correlacionen positivamente como productos de enseñanza. Una propuesta al respecto, se observa en la siguiente tabla.

Otro autor que ha abordado los modelos de la evaluación de la docencia es Murillo (2007: 97), quien centra la mirada en el objeto de la misma, al respecto identifica seis modelos: “a) centrado sobre los rasgos o factores; b) centrado sobre las habilidades; c) centrado en las conductas manifiestas en el aula; d) centrado sobre el desarrollo de tareas; e) centrado en los resultados; y f) basado en la profesionalización”. Cabe señalar que este autor, realiza un análisis comparativo sobre la evaluación del desempeño y carrera profesional docente, entre cincuenta países de América y Europa, afirmando que: “…pocos son los sistemas de evaluación del desempeño que hagan explícitos los fundamentos teóricos de los que parten, lo cual supone, sin duda, una debilidad. Una excepción a esta norma es el llamado Marco para la Buena Enseñanza propuesto por el Ministerio de Educación de Chile”. (2007:97).

Por su parte, Scriven (1988) centrando la mirada en los conocimientos y las competencias básicas de un docente, identifica los siguientes aspectos: conocimiento de la materia, competencias de instrucción, competencias de evaluación, profesionalidad y otros deberes con la escuela y la comunidad. A su vez, Murillo (2007) proponen partir del modelo teórico como el de “la eficacia docente”, el cual define los siguientes ámbitos para la evaluación: “el conocimiento, las habilidades, la competencia, la eficacia, la productividad y la profesionalidad docente”.

2.- LA EDUCACIÓN SUPERIOR:

A la hora de abordar la evaluación de la docencia en ambientes de educación superior, se ha de reconocer que estamos ante una problemática, que otorga a las universidades de manera particular, un momento que merece una reflexión, “ya que en la actualidad la evaluación de los docentes universitarios presenta retos adicionales que provienen tanto de los cambios en la conceptualización de la universidad misma y de sus funciones (Tunnermann Berheim, 1997 y 2002; Younes Jerez, 2002) como de lo que se espera que sea un docente universitario (Gautier & Wauthy, 2007; Toro, 2006)” Montoya (2012: 2). Más allá de la triple funcionalidad que ha de desarrollar un académico (docencia, investigación y extensión), asistimos a una mayor promoción, valoración, y por ende prestigio, de las acciones de investigación por sobre la docencia. Tanto es así, que los discursos que definen políticas universitarias de evaluación académica (Rueda y Diego de, 2012), son una respuesta a la categorización existente entre universidades de docencia e investigación (The Carnegie Commission on Higher Education, 1973), donde la distribución del tiempo y remuneración está en función de la dedicación a una u otra actividad.

Se ha de reconocer que la evaluación de la función académica de la investigación, cuenta con criterios asumidos por las universidades, “la falta de criterios y estándares comunes y de mecanismos confiables para la evaluación de la docencia hace que esta juegue un papel secundario a la hora de evaluar la calidad del trabajo de los docentes” (Johnson y Ryan, 2000: 109). En el quehacer académico se ve materializada dicha dificultad, una muestra de ello es que “la percepción que tienen los profesores de que se les paga por enseñar pero se les evalúa por investigar” (Montoya, 2012: 3).

Scriven (1995), formula la evaluación de la docencia como un particular caso de evaluación de desempeño laboral, en esta línea reconoce cuatro modelos de evaluación como dignos de ser tenidos en cuenta tanto por su extendido uso como por su potencial: El modelo de supervisión, el modelo de evaluación por pares o colegiado, el modelo de valoración por los “consumidores” y el modelo de entrevista.

En los últimos diez años, ha existido una proliferación de literatura especializada en español sobre la evaluación de la docencia universitaria, preferentemente abordando la realidad iberoamericana, en ella destacan entre otros, los aportes de: Knight (2005); Cano (2005); Villar (2005); Rueda (2006 y 2008); Rueda (Coord.) (2008 y 2011); Rueda y Díaz – Barriga (Coord.) (2006 y 2011); Margalef, Canabal, e Iborra (2006); Luna (2006); Prieto (2007 y 2008); Abersú y Argomedo (2010); Guzmán (2011); Stake, Contreras y Arbesú (2011); y Montenegro (2011); Salazar (2008 y 2012).

Si hay un estamento que ha definido como espacio de productividad científica la evaluación de la docencia, es sin duda, la Red Iberoamericana de Investigadores sobre la Evaluación de la Docencia (RIIED), la que fue funda el año 2008 en Ciudad de México, y que en la actualidad reúne a 80 profesionales de 33 universidades, pertenecientes a 10 países. Dicha Red ha sesionado bajo la estructura de Coloquio en: Buenos Aires (Argentina 2009); Valencia (España 2010); Bogotá (Colombia 2011); Lima (Perú 2013) y ahora en Ensenada (México 2014). Han sido dichos eventos, el escenario que ha permitido pasar revista a interesantes investigaciones que garantizan diferentes líneas de trabajo, las que han garantizado no sólo profundizar sino que actualizar, el conocimiento acaudalado en dicha área.

En el III Coloquio celebrado en Bogotá, Scriven muestra la evolución cronológica de los modelos más usados en la evaluación de la docencia (Uniandes, 2011), al respecto podemos señalar cuatro: a) Modelo del coleccionista aficionado; b) Modelo de Evaluación por pares; c) Modelo basado en resultados de aprendizaje; y d) Modelo de evaluación por parte de los estudiantes (Uniandes, 2011).

Es precisamente este último modelo, que se ajusta a la naturaleza de la presente investigación. Al respecto, Scriven reconoce que es el más usado desde la década de los sesenta y actualmente alrededor del 80 % de las universidades hacen uso de él. Es un ejemplo de evaluación por el consumidor o cliente, pero su mayor problema lo constituye el uso frecuente de formularios inválidos, esto es, el uso de preguntas sesgadas que afectan la validez de los resultados (Uniandes, 2011).

Las universidades chilenas no están exentas de emplear la opinión de los estudiantes, algunas, como único referencial de evaluación de los docentes (Salazar, 2008), donde se ha instalado una cultura que en ausencia de una política institucional y de modelos socializados, hará que “… todo esfuerzo por hacer de la evaluación docente una instancia que apunte a la mejora del sistema universitario, será una acción rutinaria que no tendrá real impacto…” (Salazar, 2010: 131). También llama la atención, la contradicción que tienen los docentes entre la teoría y la práctica, ya que “relegan al último lugar la opinión que emiten los estudiantes sobre su desempeño docente ante otras instancias evaluativas, …reconociendo que los resultados de la encuesta de opinión que emiten los discentes, les aportan elementos fundamentales para la autocrítica que ayudan en el proceso de enseñanza y aprendizaje” (Salazar, 2010: 132).

Escalas de evaluación docente

Salazar et al. (2014) nos da luces para abordar referenciales que permitan la construcción de escalas pertinentes. En este sentido, dichos autores mediante entrevistas semi estructuradas aplicadas a un total de 126 egresados (en Chile y Argentina), recogen características que debiera poseer el mejor docente universitario, comparándola con los rasgos que son mencionados para el profesor que más le agrado en su formación. Al respecto, los rasgos se clasifican en dos grandes categorías: a) Personales: que apuntan a cómo se desarrolla la interacción de socialización entre docente y estudiante; y b) Conocimiento Pedagógico: basada en las metodologías y el quehacer del aula. Entre los rasgos personales que posee un buen profesor son: empatía, coherencia, cercanía con los estudiantes, respeto, carisma, ser motivador y, ético. Por su parte, dinamismo, disciplina, exigencia, planificación, responsabilidad, compromiso, didáctico, precisión conceptual, vocación y metodología de trabajo, son características concernientes al Conocimiento Pedagógico, que se consideran indispensables en un docente universitario de calidad.

Cuando se buscan antecedentes históricos sobre la validación de escalas de evaluación docente, debemos señalar que la literatura nos conduce los aportes de Remmers, Shock y Kelly (1927) como los creadores del primer cuestionario de evaluación y su correspondiente validación. Por su parte, es Barr (1935) quien hace un estudio sobre, la validez de determinados instrumentos empleados en la medición de la eficiencia de la enseñanza. En los aportes de Fledman (1997) se establecen seis dimensiones de alta importancia relacionadas con la efectividad docente, siendo estas: Claridad y entendimiento; estimulación del interés en la materia por parte del profesor; percepción del impacto de la instrucción (qué tanto aprendió el alumno); preparación y organización del curso por parte del profesor; cumplimiento de los objetivos planteados para el curso y; motivación de los estudiantes para que rindan al máximo, fijación de altos estándares de rendimiento (exigencia). Pero es precisamente García (2000 y 2008), quien resume de la mejor forma la historicidad e impacto del uso de cuestionarios en la evaluación de la docencia, al respecto señala que la construcción de un instrumento que apunte a medir el desempeño docente, debe incluir: “claridad del profesor; planeación y organización del curso; logro de los objetivos planteados y; los beneficios en el aprendizaje o progreso académico del alumno” (García, 2000: 48).

MÉTODO

DESARROLLO DEL INSTRUMENTO

La construcción del instrumento de medición se basa en el trabajo previo desarrollado por Salazar et al. (2014), quienes a través de un estudio cualitativo identificaron en estudiantes universitarios egresados de instituciones superiores de Chile y Argentina, los rasgos que caracterizan a un buen profesor. Este trabajo sirvió de base para elaborar un conjunto de descriptores propios de un buen profesor universitarios. Los adjetivos obtenidos de este trabajo previo fueron organizados en dos grandes líneas: características personales del docente y conocimiento pedagógico.

Con los adjetivos elaborados se desarrolló una escala likert, la cual fue piloteada en forma interna con 10 alumnos. Los resultados obtenidos en dicho piloto mostraron que la escala no discriminaba, incluso invirtiendo los ítems la tendencia de las respuestas era siempre altamente positiva a todos los descriptores. Debido a esta situación se optó por desarrollar una escala de tipo diferencial semántico (Osgood, Suci, & Tannenbaum, 1957). Esta técnica permite que los sujetos frente a un par de adjetivos opuestos marquen el sentido connotativo de un estímulo verbal. Para el caso de este instrumento se utilizaron parejas de conceptos vinculados a un docente que poseen significados opuestos (ver anexo). La alta cantidad de ítems propuestos se debe a la necesidad de pilotear también algunos ítems complementarios que pudieran ayudar en el análisis posterior.

PARTICIPANTES

El instrumento fue aplicado a un total de 940 estudiantes universitarios de tercero, cuarto y quinto año, que cursan Licenciaturas en el área de la educación, ingeniería y salud, en tres universidades Chilenas, siendo éstas;

a) Universidad de Santiago de Chile (USACH), institución de Educación Superior Pública Estatal, su origen en la ciudad de Santiago, está asociada a la creación de la Escuela de Artes y Oficios en 1849. En la actualidad cuenta con alrededor de 704 académicos, 21.000 estudiantes distribuidos en 70 Licenciaturas y sobre 1.900 profesionales realizando cursos de Postgrados (17 Doctorados y 46 Magister).

b) Universidad de la Frontera (UFRO), institución Educación Superior Pública Estatal, su origen se remonta a 1981 en la ciudad de Temuco, la que surge como fusión de las sedes universitarias existentes en dicha ciudad. En la actualidad cuenta con alrededor de 540 académicos, 8.500 estudiantes distribuidos en 40 Licenciaturas y sobre 800 profesionales realizando cursos de Postgrados (7 Doctorados y 28 Magister)

c) Universidad de Concepción (UdC), institución de Educación Superior, creada en 1919 en la ciudad de Concepción, como Corporación de Derecho Privada. En la actualidad cuenta con alrededor de 1.200 académicos, 21.000 estudiantes distribuidos en 104 licenciaturas y sobre 1.500 profesionales realizando cursos de Postgrado (21 Doctorados y 47 Magister).

La siguiente tabla muestra la distribución de sujetos según año de estudio y universidad.

RECOLECCIÓN DE DATOS

La recolección de información se realizó el primer semestre del año 2014. Previamente se solicitaron los permisos correspondientes con las unidades académicas. La aplicación del instrumento se desarrolló en clases, previa coordinación con algunos docentes cuyas asignaturas fueron seleccionadas por atender a alumnos de los niveles seleccionados. Antes de contestar el instrumento, cada participante leyó y firmó un consentimiento informado indicando su voluntariedad de participar en el estudio. Una vez recolectado los datos éstos fueron traspasados a un formato digital en base a una codificación previamente establecida.

ANÁLISIS DE DATOS

La primera parte del análisis de datos se realizó con el programa SPSS 22 con la finalidad de preparar los datos para la aplicación del análisis factorial exploratorio (Ferrando & Anguiano-Carrasco, 2010). Primero, se verificó la correcta digitación de datos, estableciéndose valores fuera del rango 1 a 7 como perdidos. Segundo, se recodificaron en la misma variable los ítems invertidos de la escala considerando una relación de menor a mayor en términos de deseabilidad de un buen docente. Tercero, a través del cálculo de la distancia de Mahalanobis (Hair, Black, Babin, & E.Anderson, 2010) se identificaron valores atípicos multivariados, eliminándose sujetos con valores perdidos y valores inferiores a 0,001. Finalmente, los datos restantes fueron sometidos a una nueva exploración de datos para identificar valores irregulares de asimetría y curtosis.

La segunda parte del análisis de datos se realizó con el programa FACTOR 9.2. El primer paso consistió identificar la cantidad de factores a extraer. Se aplicó la técnica de análisis paralelo de Horn en su versión modificada (Timmerman & Lorenzo-Seva, 2011) analizando la matriz policórica de datos (Holgado–Tello, Chacón–Moscoso, Barbero–García, & Vila–Abad, 2010).

Una vez identificados los factores, éstos fueron extraídos utilizando el método Análisis Factorial de Rango Mínimo propuesto por Shapiro y Berge (2002) con una rotación Promin (Lorenzo-Seva, 1999). Para la identificación del modelo final se consideró el valor promedio de la raíz cuadrada de los residuales (RSMA) usando el criterio de Kelley. Finalmente los datos fueron sometidos a la prueba de consistencia interna, para ello se usó el Alfa y Theta en su versión ordinal (Zumbo, Gadermann, & Zeisser, 2007).

RESULTADOS

PREPARACIÓN DE DATOS

La exploración de datos permitió identificar ítems con valor igual a cero, los cuales fueron recodificados como valores perdidos. Posteriormente se recodificaron de manera invertida los siguientes ítems (p01 activo-pasivo, p03 admirable-despreciable, p04 agradable-desagradable, p07 amigable-hostil, p09 apasionado-apático, p11 duro-blando, p13 cálido-frio, p14 capaz-incapaz, p18 coherente-incoherente, p20 comprometido-indiferente, p22 convocación-sin vocación, p23 constructivista-conductista, p24 creativo-no creativo, p29 estructurado-desestructurado, p30 exigente-relajado, p35 fuerte-débil, p36 honesto-deshonesto, p39 innovador-tradicional, p41 interesado-desinteresado, p45 lindo-horrible, p51 organizado-desorganizado, p52 original-común, p55 práctico-teórico, p56 preocupado-despreocupado, p59 rápido-lento, p61 reflexivo-no reflexivo, p63 responsable-irresponsable, p65 sabio-no sabio, p67 sensible-insensible, p69 sincero-hipócrita, p70 sistemático-asistemático, p72 trabajador-flojo, p73 valioso-no valioso, p74 pasivo-agresivo, 77 culto-ignorante).

Complementariamente, el cálculo de la distancia de Mahalanobis permitió la eliminación de 621 sujetos (20 con valores perdidos y 601 con valores atípicos multivariados). La siguiente tabla muestra el número final de participantes:

Finalmente, el análisis de asimetría y curtosis permitió ítems con valores alejados del rango de normalidad (-1 +1). Esto permitió eliminar los siguientes ítems: p02 desactualizado-actualizado, p03 admirable-despreciable, p08 odioso-amoroso, p14 capaz-incapaz, p17 confuso-claro, p18 coherente-incoherente, p19 incompetente-competente, p20 comprometido-indiferente, p21 no comunicador-comunicador, p22 convocación-sin vocación, p26 mediocre-destacado, p27 indigno-digno, p36 honesto-deshonesto, p37 inhumano-humano, p40 no inteligente-inteligente, p42 aburrido-interesante, p45 lindo-horrible, p46 espantoso-maravilloso, p47 menor-mayor, p48 desmotivador-motivador, p51 organizado-desorganizado, p57 no preparado-preparado, p58 impuntual-puntual, p60 no realista-realista, p62 irrespetuoso-respetuoso, p63 responsable-irresponsable, p64 pobre-rico, p65 sabio-no sabio, p66 inseguro-seguro, p71 intolerante-tolerante, p72 trabajador-flojo, p74 pasivo-agresivo, p75 tacaño-dadivoso, p77 culto-ignorante. Esto dejó la escala final con un total de 43 ítems.

ANÁLISIS FACTORIAL EXPLORATORIO

La prueba de adecuación muestral (KMO) entregó un valor de 0,94 (muy bueno) mostrado la factibilidad de los datos para realizar un análisis factorial exploratorio. Por otra parte, el análisis paralelo identificó la presencia de 2 factores a extraer.

Primera solución

El primer análisis arrojó la presencia de 2 factores que explican el 50,94% de la varianza. La siguiente tabla muestra los datos obtenidos con la primera solución.

Como se puede aprecia en la tabla, los ítems están organizados en base a los factores profesor persona y profesor pedagogo. En base a los resultados obtenidos se procedió a eliminar aquellos que no poseen cargas sobre 0,3 en ningún factor (p41 interesado-desinteresado, p32 barrero-imparcial, p43 joven-viejo). Complementariamente se eliminó el ítem (p61 reflexivo-no reflexivo) ya que poseen cargas compartidas en dos factores. Además se eliminó a los siguientes ítems, ya sea por existir ítems similares con mejor carga o porque se ubicaron en un factor distinto al asignado originalmente (p35 fuerte-débil, p11 duro-blando, p59 rápido-lento, p28 aburrido-entretenido, p09 apasionado-apático, p13 cálido-frio, p68 antipático-simpático, p06 cruel-amable, p39 innovador-tradicional, p07 amigable-hostil, p01 activo-pasivo, p52 original-común, p23 constructivista-conductista, p55 práctico-teórico, p12 malo-bueno). El valor RMSR es 0,0528, mientras que RMSR para un modelo aceptable alcanza el 0.0570. Considerando el criterio de Kelley se puede establecer que el modelo posee un buen ajuste.

Segunda solución

La segunda solución se realizó con 24 ítems. El análisis factorial arrojó un valor KMO de 0,94. Los factores obtenidos explican el 66,32%de la varianza. La siguiente tabla muestra las cargas factoriales de los ítems.

La segunda solución muestra la necesidad de eliminar los ítems (p44 injusto-justo, p56 preocupado-despreocupado) debido a que comparten cargas entre factores. Además se elimina el ítem (p73 valioso-no valioso). El valor RMSR es 0,0440, mientras que RMSR para un modelo aceptable alcanza el 0.0570. Considerando el criterio de Kelley se puede establecer que el modelo posee un buen ajuste.

Tercera solución

El análisis de la tercera solución se realizó con 21 ítems. El análisis factorial arroja un KMO de 0.91, mientras que los factores extraídos explican el 66,72% de la varianza.

La tercera solución sólo indica la necesidad de eliminar el ítem 31 debido que comparte carga en dos factores. El valor RMSR es 0.0447, mientras que RMSR para un modelo aceptable alcanza el 0.0570. Considerando el criterio de Kelley se puede establecer que el modelo posee un buen ajuste.

Solución final

El análisis de la tercera solución se realizó con 20 ítems. El análisis factorial arroja un KMO de 0.91, mientras que los factores extraídos explican el 67,90%de la varianza.

Consistencia interna

La siguiente tabla muestra el índice de consistencia ordinal a través del cálculo del alfa ordinal por ítem y sub-escala. Los valores muestran niveles adecuados de consistencia.

La correlación entre los dos factores alcanza un valor de 0,644. El valor de esta correlación indica un grado de relación importante, lo cual podría implicar la existencia de un solo constructo.

DISCUSIÓN Y CONCLUSIONES

A la luz de los resultados arrojados en el presente trabajo, podemos señalar que existe una enorme dificultad a la hora establecer perfiles docente, realidad que se comparte a plenitud con los aportes realizados por: Valdés (2002); García (2000 y 2008); Murillo (2007) y Salazar (2012). A su vez, se puede establecer que el instrumento de medición elaborado presenta niveles adecuados de confiabilidad y validez, lo cual permite de manera precisa medir el perfil profesor pedagogo y el perfil profesor persona.

Por otra parte, si bien el instrumento de medición permite medir el perfil pedagógico y el de persona, áreas identificadas en Salazar, et al. (2014), no fue posible identificar un tercer perfil, el del profesor experto disciplinar, tal como lo explora Shulman (2001), y el cual posee una amplia referencia en la literatura existente. En este sentido, asistimos a uno de los grandes retos que existe en la evaluación de la docencia, donde el estudiante como informante, no visibiliza como referencial de calidad docente, aspectos vinculados al contenido disciplinar tales como: dominio, actualización, relevancia, etc.

Por último, estamos ante una línea de investigación que requiere profundizar en la mirada de los educandos, aspectos relacionados a: género, ubicación curricular en la formación profesional, etc.

PERCEPCIÓN DE ESTUDIANTES UNIVERSITARIOS DEL PROCESO DE EVALUACIÓN DOCENTE, UN ESTUDIO CORRELACIONAL

Vicente Arámburo Vizcarra

Virginia Velasco Ariza

Gisela Pineda García

INTRODUCCIÓN

La docencia es una práctica social compleja con implicaciones tanto públicas como privadas; es una de las funciones sustantivas más importantes que se desarrolla en las instituciones de educación superior (IES) del país. Se asume que la efectividad del desempeño docente es uno de los elementos determinantes para mejorar la calidad educativa. Los cuestionarios de evaluación de la docencia con base en la percepción de los estudiantes son la estrategia de evaluación que se utiliza de manera generalizada en las universidades mexicanas, y en la mayoría de los casos es el único procedimiento mediante el cual se evalúa a los profesores.

Sin embargo, cabe destacar que en su mayoría los sistemas de evaluación de las IES del país responsables de instrumentar los cuestionarios de evaluación, no cumplen con los requerimientos técnicos y metodológicos que recomienda la literatura (Luna, 2004). Principalmente se identifican problemas de confiabilidad y validez de los instrumentos, así como en la administración del cuestionario, en la interpretación y el uso de los resultados (Rueda, Luna, García & Loredo, 2010).

La evaluación de la docencia con base en los puntajes de los estudiantes tiene distintos propósitos: el diagnóstico y la retroalimentación de los profesores para mejorar el proceso de enseñanza; establecer medidas de la efectividad docente para la toma de decisiones administrativas; sugerir información para los estudiantes a la hora de seleccionar cursos y maestros, así como propiciar investigación sobre la enseñanza (Marsh & Dunkin, 1997). Bajo este esquema, los puntajes pueden ser útiles para los docentes, investigadores, estudiantes y administrativos.

Los estudios que se enfocan en los procedimientos de aplicación, interpretación y utilización de los resultados han demostrado que un procedimiento incorrecto puede invalidar la evaluación (Theall & Franklin, 2000). Así, aspectos básicos del tema, como la claridad de los propósitos de la evaluación, las estrategias de aplicación de los cuestionarios, la interpretación y el uso de los resultados han cobrado gran interés en la discusión actual.

En este sentido, en la investigación sobre los cuestionarios ha tenido especial relevancia estudiar el impacto de los factores extra clase o los posibles sesgos que pueden afectar la evaluación de los estudiantes al profesor. Sin embargo, hasta ahora no existe consenso sobre si son estrictamente sesgos o variables intervinientes en los puntajes. Marsh (1984) los describe como todas aquellas variables no relacionadas directamente con la instrucción, que afectan la efectividad docente en el salón de clases. Una clasificación de los factores que influyen en la evaluación de los docentes por los estudiantes identifica las siguientes cinco categorías: 1) administración del cuestionario, 2) características del curso, 3) características del instructor, 4) características de los estudiantes y 5) características del instrumento (Braskamp & Ory, 1990).

Es importante destacar, que de acuerdo con los reportes de la literatura internacional, la relación entre las variables extra clase con los puntajes a la efectividad del desempeño docente tiende a ser pequeña. Los hallazgos de la investigación indican que, en conjunto o por separado, la influencia de estas variables en los puntajes de evaluación explica únicamente de 12% a 14% de la varianza (Centra, 2002; Marsh, 1987). Si bien, dicho porcentaje es pequeño, es relevante señalar que se trata de variables extra clase, ya que las dimensiones contempladas en los cuestionarios explican en mayor medida la efectividad del desempeño docente. En un estudio reciente, en el que se realizaron análisis multinivel y modelamiento de ecuaciones estructurales, se encontró una mayor relación ente las variables anteriormente señaladas y la efectividad docente, lo que explica 25% de la varianza (Nasser & Hagtvet, 2006).

En cuanto a las variables relacionadas con las características del instructor y del curso, diversas investigaciones han encontrado, entre otros hallazgos, que los estudiantes evalúan de forma diferencial a sus profesores dependiendo del área del conocimiento (Cashin, 1990). En un estudio reciente realizado en una universidad pública mexicana, donde se compararon los puntajes de evaluación entre cinco áreas del conocimiento, se encontraron diferencias estadísticamente significativas; los profesores pertenecientes al área de Ciencias de la Salud reciben los mayores puntajes a la efectividad docente, mientras que los de las áreas de las Ingenierías son los menos favorecidos (Luna & Arámburo, 2013). También se encontró que los profesores de mayor experiencia son mejor evaluados por los estudiantes, los profesores con menor grado de habilitación académica obtienen puntajes más altos de los estudiantes y los grupos pequeños otorgan mayores puntajes de evaluación a la efectividad docente.

Se desprende la importancia de que los sistemas de evaluación de la docencia sean sensibles y consideren estas diferencias, tanto en el diseño de estrategias y procedimientos de evaluación, en la implementación de programas de formación docente, como en el uso de los resultados (Rueda, Luna, García & Loredo, 2010).

Los propósitos del presente estudio son, por un lado, explorar otras variables que podrían influir y estar relacionadas con la evaluación docentes por los estudiantes (tales como la administración del cuestionario y la influencia de expectativas de calificación de los alumnos en la evaluación docente) y, por otro, identificar la percepción general que tienen los estudiantes del proceso de evaluación docente, principalmente sobre su utilidad y el uso de los resultados. En el contexto nacional dichas variables han sido poco estudiadas.

En la investigación sobre la administración de los cuestionarios de evaluación docente se han identificado varios aspectos a considerar, que pueden influir en los puntajes de evaluación: si el cuestionario se contestó dentro o fuera del salón de clases, si los alumnos tienen la posibilidad de discutir entre ellos las diferencias con el profesor antes de dar respuesta al cuestionario, si el maestro permanece en el salón durante la evaluación, si se explica la importancia de la evaluación para promoción o estímulo económico adicional y el manejo del anonimato (Neumann, 2000). Para el caso particular de este estudio se explora la forma y el interés de los estudiantes al contestar el instrumento de evaluación de sus profesores.

Los promedios de aprovechamiento escolar y su relación con los puntajes al docente también pueden representar un factor de sesgo en los resultados de la evaluación al docente. De forma general, los grupos con mejores promedios de aprovechamiento escolar tienden a evaluar el desempeño del docente de mejor manera que los grupos donde los promedios de calificación fueron bajos. Según un estudio realizado por Ellis, Burke y Lomeri (2003) en una universidad norteamericana, se compararon los promedios de aprovechamiento escolar con los de evaluación al desempeño docente en 165 grupos del área de Ciencias Sociales y se encontraron correlaciones positivas entre el promedio de los puntajes de evaluación de la calidad del desempeño docente y el promedio de notas recibidas por los estudiantes.

De acuerdo con estos autores, la polémica suscitada se concreta en dos posiciones: la primera plantea que la eficacia de la instrucción se refleja en el aprendizaje de los estudiantes y por lo tanto en calificaciones más altas; mientras la segunda argumenta que los alumnos tienden a evaluar el desempeño docente de manera parcial a favor de los maestros que son más flexibles y laxos al otorgar calificaciones. Si el razonamiento último es correcto, se puede explicar porqué el uso generalizado de las evaluaciones de estudiantes al docente en los Estados Unidos en las últimas décadas ha ido acompañado de aumentos en el promedio de las calificaciones que los estudiantes universitarios han recibido. De acuerdo con los autores dicha situación es un factor importante a considerar por los responsables de los sistemas de evaluación para ajustar los puntajes y evitar calificaciones infladas y premiar a maestros que otorgan calificaciones sobrevaloradas.

En México, efectuar estudios sobre la influencia de las expectativas de los estudiantes por obtener calificaciones en la evaluación que realizan respecto al desempeño de sus profesores es un tema que adquiere especial relevancia, considerando los principales usos que las universidades dan a los resultados de la evaluación. De acuerdo a los resultados de un diagnóstico que llevó a cabo la Red de Investigadores sobre la Evaluación de la Docencia (RIED) acerca del estado de la evaluación de la docencia universitaria en México; en cuanto a los usos de los resultados de dicha evaluación, se encontró que el principal uso es proporcionar información a instancias administrativas y a profesores. El 81% de las universidades señalaron que dichos resultados responden a propósitos administrativos, principalmente para ser presentados ante organismos externos. En cuanto a los usos internos, los resultados obtenidos por la RIED se orientan a la toma de decisiones relacionadas con la promoción, permanencia y entrega de estímulos a los profesores (Rueda et al., 2010). En este sentido, la evaluación de la docencia se instrumenta en mayor medida con fines sumativos y de control que de mejora en los procesos de evaluación del desempeño docente

OBJETIVOS

a) Identificar el grado de interés y forma en que los estudiantes responden el cuestionario de evaluación docente (tiempo en responder, reflexión de las preguntas etc.)

b) Determinar si las expectativas de los estudiantes de obtener buenas o malas calificaciones influyen en la evaluación que realizan del desempeño de sus profesores.

c) Identificar la percepción general de los estudiantes del proceso de evaluación docente, principalmente sobre su utilidad y el uso de los resultados.

MÉTODO

SELECCIÓN DE LA MUESTRA

El estudio corresponde a una muestra intencional no probabilística, que quedó conformada por 483 estudiantes de dos Facultades de la Universidad Autónoma de Baja California en Ensenada: Ciencias de la salud 165 estudiantes y 318 de la Facultad de Ingeniería. De los 483 estudiantes 296 son de sexo masculino y 187del femenino. Con el propósito de encuestar a estudiantes con experiencia en la evaluación de sus profesores; el criterio de inclusión fue considerar únicamente a los estudiantes de tercer semestre en adelante.

FUENTES DE INFORMACIÓN

La principal fuente de información es un cuestionario diseñado exprofeso para el estudio, el cual consta de 14 ítems, de los cuales 6 están relacionados con la forma y compromiso con que los estudiantes responden el cuestionario de evaluación docente; otros 3 ítems, indagan si las expectativas de los estudiantes de obtener buenas o malas calificaciones influyen en la evaluación que realizan del desempeño de sus profesores; y los otros 5 se relacionan con el conocimiento y percepción que tienen los estudiantes sobre el proceso de evaluación docente, particularmente sobre su utilidad y uso de los resultados. El instrumento mostró índices de consistencia interna aceptables al reportar .705 en nivel de confiabilidad, de acuerdo al parámetro Alpha de Cronbach

PROCEDIMIENTO

El diseño de esta investigación corresponde a un estudio exploratorio, descriptivo y de correlación. El procedimiento se llevó en tres etapas: en la primera se diseñó el instrumento y se realizaron pruebas piloto del mismo; en la segunda se desarrolló el trabajo de campo, se capacitó a los estudiantes que aplicaron las encuestas, se solicitaron los permisos correspondientes y se aplicaron las encuestas; en la tercer etapa se capturaron los datos en el paquete estadístico SPSS y se realizaron los análisis respectivos. Los análisis fueron de tipo descriptivo y de correlación; para los primeros se calcularon frecuencias y porcentajes en cada una de las variables estudiadas, para estimar las asociaciones se aplicó correlación de Pearson.

RESULTADOS

Los resultados se presentan y organizan en función de los objetivos del estudio. Primero se muestran los resultados de los análisis descriptivos y posteriormente los resultados de los análisis de correlación.

Uno de los indicadores para determinar el grado de interés y la forma en que los estudiantes responden el cuestionario fue por medio del tiempo que utilizan en dar respuesta a los cuestionarios de evaluación al docente. Como se observa en la Figura 1, el 71% tardan menos de 30 minutos en evaluar a sus maestros y únicamente el 10% duran más de 40 minutos.

En la Tabla 1, se observa que el 77% de los estudiantes evalúan a sus profesores en una sola sesión. Con relación a si leen cada pregunta y reflexionan la respuesta, como se observa en la misma Tabla, un 61% dicen hacerlo; llama la atención que para un 23% les es indiferente. Un 31% de los encuestados, cuando consideran que el profesor no tiene un buen desempeño, omiten la lectura de las preguntas y de manera homogénea lo califican mal; cuando consideran que es un buen profesor el 54% de igual forma omiten la lectura y lo evalúan favorablemente (Ver Tabla 1).

En cuanto a la influencia de las calificaciones que otorga el profesor a los estudiantes en la evaluación que hacen éstos del desempeño docente, como se observa en la Tabla 2, el 63% de los estudiantes no toman en cuenta la calificación que les ha asignado el profesor cuando lo evalúan; de igual forma el 70% manifiestan no estar de acuerdo de evaluar desfavorablemente el desempeño docente cuando ellos no se han visto favorecidos con las calificaciones que les otorgó el profesor.

Los resultados relacionados con la percepción general de los estudiantes del proceso de evaluación docente, principalmente sobre su utilidad y el uso de los resultados, se observan en la Tabla 3. La percepción de los estudiantes respecto a si la evaluación que realizan es tomada en cuenta, el 39% están en desacuerdo contra un 27 % que consideran que sí es tomada en cuenta, llama la atención el alto porcentaje de indecisos (33%). Un 47% dicen conocer el proceso de evaluación docente contra un 39% que lo desconocen. Un 65% manifiesta desconocer qué se hace con los resultados de la evaluación contra un 16 que dicen conocerlo. Por otra parte, un 45% considera que el proceso de evaluación docente es útil para mejorar la enseñanza y para un 22% les es indiferente. Por último, un 73% están de acuerdo con que los resultados de la evaluación sean públicos.

Los resultados de los análisis de correlación, como se observan en la Tabla 4, muestran correlaciones estadísticamente significativas: los estudiantes cuando consideran que es un buen o un mal profesor no leen cada uno de los reactivos del cuestionario y los califican de manera homogénea; se presenta una correlación en sentido negativo, a mayor grado de reflexión de las respuestas menor omisión de la lectura de los reactivos, aunque el estudiante perciba al docente como un buen profesor; se presentan altos índices de correlación en el sentido de las calificaciones que otorgan los profesores a los estudiantes con la evaluación que hacen los estudiantes del desempeño docente.

DISCUSIÓN

Este trabajo se desarrolló en el marco de dos premisas: por un lado, se plantea que la docencia es una actividad compleja, multidimensional e incierta; por otro, destaca la importancia de las características del contexto en los procesos de evaluación docente (Schoenfeld, 1998).

Los resultados de esta investigación arrojan información sobre la influencia de las variables no relacionadas directamente con los procesos de interacción didáctica en el aula. Uno de los principales resultados, relacionado con la administración del cuestionario, muestra el poco interés que tienen los estudiantes en la evaluación de sus profesores. Considerando que la mayoría de los estudiantes evalúan en una sola sesión a sus profesores, el tiempo estimado para evaluar a los profesores de un semestre es de 45 minutos; los resultados muestran que únicamente el 10% de los estudiantes dedican más de cuarenta minutos para la evaluación. Tanto este indicador como la forma en que los estudiantes contestan el cuestionario dan cuenta de las limitaciones que pueden tener los cuestionarios para retroalimentar en las diferentes dimensiones de la enseñanza el desempeño del profesor.

En cuanto a cómo influyen las expectativas de los estudiantes de obtener buenas o malas calificaciones en la evaluación que realizan del desempeño de sus profesores, como se muestra en los resultados se encontró una correlación positiva entre estas dos variables, en este sentido se presenta el riesgo de que cada vez sean más los profesores en otorgar calificaciones infladas y que las instituciones premien dicha conducta. Por otra parte, queda manifiesto el desconocimiento que tiene los estudiantes del proceso de evaluación y la utilidad de los resultados para mejorar los procesos de enseñanza aprendizaje.

Se propone que los procedimientos de evaluación sean sensibles a la complejidad de la docencia; que los cuestionarios de evaluación de la docencia con base a la opinión de los estudiantes no deben ser el único procedimiento para valorar el desempeño docente y que la enseñanza puede juzgarse de manera apropiada sólo si se evalúa en el marco de los factores que la determinan. Por ello, se sugiere profundizar más en el estudio de estas variables para cada vez encontrar evidencias empíricas para mejorar los procesos de evaluación docente y los sistemas de evaluación de la docencia en las universidades mexicanas.

Un verdadero proceso de evaluación debe incluir componentes técnicos y metodológicos para que sea seguro y justo para todos. Además se requiere de dedicación, conocimiento y habilidades prácticas de los docentes, administradores y alumnos. Un sistema incompleto o inexacto potencialmente puede hacer más daño que bien; es crucial que todo el sistema sea válido, confiable, actualizado, eficiente y aceptado por los participantes (Theall & Franklin, 2000). Un buen sistema de evaluación, debe ayudar a los docentes a reflexionar acerca de su desempeño y a crecer profesionalmente.

BIBLIOGRAFÍA

Referencias - Evaluación de los docentes, evaluación institucional y planificación estratégica en el contexto universitario latinoamericano.

- Aiello, M. (2011). Evaluación institucional y cultura académica. Madrid: Editorial Académica Española.

- Altbach, Ph., Risberg, L. y Rumbley, L. (2009). Tras la pista de la revolución académica. Informe sobre las tendencias mundiales de la Educación Superior. Paris: UNESCO.

- Brunner, J.J. (2007). Dr. Prometheus visits Latin America. En: Enders y Van Vught (Eds.) Towards a cartography of higher education policy change. A Festschrift in Honour of Guy Neave. Twente: Center for Higher Education Policy Studies.

- Dias Sobrinho, J. (1995) Avaliaçäo institucional, instrumento da qualidade educativa en Balzan, Newton C. y Dias Sobrinho, José (Org.), Avaliaçao Institucional. Teoría e experiencias. Sao Paulo: Cortez Editora.

- Dias Sobrinho, J. (2011). Avaliação institucional - teoria e experiências. Sao Pablo: Editora Cortez.

- Díaz Barriga Á. (2007) Los sistemas de evaluación y acreditación de programas en la educación superior. En: Díaz Barriga y Pacheco Méndez (comps.) Evaluación y Cambio Institucional. México D.F: Editorial Paidós Mexicana.

- Escotet, M. (2002). Desafíos de la Educación Superior en el siglo de incertidumbre. Cuadernos de investigación en educación, número 8. Diciembre 2002.

- Ezcurra, A.M. (2011). Masificación y enseñanza superior: una inclusión excluyente. Algunas hipótesis y conceptos clave. En: Fernández Lamarra, N. La democratización de la educación superior en América Latina. Límites y Posibilidades. Buenos Aires: EDUNTREF.

- Fernández Lamarra, N. (1991). Nuevas perspectivas de la planificación en un proceso de transformación de la educación. Buenos Aires: Ministerio de Cultura y Educación.

- Fernández Lamarra, N. (2003). La educación superior argentina en debate. Buenos Aires: IESALC/UNESCO-EUDEBA.

- Fernández Lamarra, N. (2005) Los sistemas de evaluación y acreditación de la calidad y el desarrollo universitario. Una visión latinoamericana comparada, en Los procesos de acreditación en el desarrollo de las Universidades, CINDA, IESALC/UNESCO y Universidad de los Andes de Colombia, Santiago de Chile.

- Fernández Lamarra, N. (2005). Educación Superior. Convergencia entre América Latina-Europa. Los procesos de evaluación y acreditación de la calidad. (Coordinador con José-Ginés Mora). Buenos Aires: EDUNTREF - Comisión Europea.

- Fernández Lamarra, N. (2006). Reflexiones sobre la planificación de la educación en la Argentina y en América Latina. Evolución, crisis, desafíos y perspectivas. En: Fernández Lamarra. (Comp.) Política, Planeamiento y Gestión de la Educación. Modelos de simulación en Argentina. Caseros: EDUNTREF.

- Fernández Lamarra, N. (2007). Educación Superior y Calidad en América Latina y Argentina. Los procesos de evaluación y acreditación. Buenos Aires: EDUNTREF/IESALC-UNESCO.

- Fernández Lamarra, N. (2010). Hacia una nueva agenda de la Educación Superior en América Latina: situación y perspectivas. México: ANUIES.

- Fernández Lamarra, N. (2014). Los procesos de evaluación institucional y de la docencia y la planificación estratégica universitaria en Argentina. Revista Argentina de Educación Superior (RAES), Año 6, Número 9 (diciembre 2014).

- Fernández Lamarra, N. (Comp.) (2012). La Gestión Universitaria en América Latina. Coronel Oviedo (Paraguay): Universidad Nacional de Caaguazú.

- Fernández Lamarra, N. (Coord.) (2009). Universidad, Sociedad e Innovación. Una Perspectiva Internacional. Buenos Aires: EDUNTREF.

- Fernández Lamarra, N. y Aiello, M. (2013). Investigar sobre evaluación. Fundamentos y perspectivas para el estudio de los procesos de mejora en la universidad. Investigaciones en Educación, Vol. XIII, n°1. Temuco: Ediciones Universidad de la Frontera.

- Fernández Lamarra, N. y Alonso Brá, M. (2004). La gestión universitaria en la Argentina. Una aproximación a partir de la evaluación institucional externa. En: Colossi y Dias de Souza (orgs.) Estudos e perspectivas em Gestao Universitária. Porto Alegre: Nova Editora/UFSC.

- Fernández Lamarra, N. y Coppola, N. (2008). La evaluación de la docencia universitaria en Argentina. Situación, problemas y perspectivas. Revista Iberoamericana de Evaluación Educativa 2008, Volumen 1, Número 3 (e).

- Fernández Lamarra, N. y otros (Coord.) (2012). La acreditación de la Educación Superior en Iberoamérica. La gestión de la calidad de los programas educativos. Tensiones, desencuentros, conflictos y resultados. Guadalajara: IDIIEI/Universidad de Guadalajara.

- Fernández Lamarra, N., Aiello, M., Grandoli, M.E. (2013). ¿Evaluación para la mejora? La evaluación institucional en las universidades argentinas. En: Fernández Lamarra (Comp.) Estudios de política y administración de la educación. Caseros: EDUNTREF.

- Harvey, L y Knigth, P (1996). Transforming Higher Education. Buckingham: SRHE - Open University Press.

- Lémez, R. (2005). La construcción y aplicación del Mecanismo de Acreditación. MERCOSUR: fortalezas y debilidades”. En: Mora y Fernández Lamarra (coord.) Educación Superior. Convergencia en América Latina–Europa. Los procesos de evaluación y acreditación de la calidad. Buenos Aires: EDUNTREF-Proyecto ALFA/Comisión Europea.

- Marquis, C. (2009) La Agenda Universitaria. Propuestas de políticas públicas para Argentina. Buenos Aires: Universidad de Palermo.

- Mateo, J. (2000). La evaluación educativa y su práctica y otras metáforas. Cuadernos de Educación, núm. 33. Barcelona: Horsi/ICE-Universidad de Barcelona.

- Neave, G. (2009). The academic estate revisited: reflections on academia’s rapid progress from the Capitoline Hill to the Tarpeian Rock. En: Enders, J. y De Weert, E. The changing academic face of academic life. Hampshire: Palgrave Macmillan.

- Neave, G. y Van Vught, F. (1991). Prometeo encadenado. Barcelona: Gedisa.

- Perez Centeno, C. y Aiello, M. (2011). La formación de posgrado de los académicos argentinos. En: Mainero (Ed.) Ensayos e investigaciones sobre la problemática universitaria. San Luis: Nueva Editorial Universitaria-Universidad Nacional del Sur.

- Pirsig, R. (1976). Zen and the art of motorcycle maintenance. Londres: Corgi Books.

- Puelles Benítez, M. y Urzúa, R. (1996). Educación, gobernabilidad democrática y gobernabilidad de los sistemas educativos. Revista Iberoamericana de Educación. Nº 12, pp. 107-135.

- Ricco, G. (2001). Plan Nacional de Evaluación de la calidad de las universidades. Buenos Aires: CIN.

- Rodríguez, S. (1997). La Evaluación Institucional Universitaria. Revista de Investigación Educativa, 15(2): 179-214.

- Rueda, M. (2006). La evaluación de la labor docente en el aula universitaria. Pensamiento Universitario, Nro. 100. México: IISUE, UNAM.

- Toranzos, L. (1996). Evaluación y Calidad. Revista Iberoamericana de Educación, nro. 10, Enero–Abril.

- UNESCO (1998) Declaración Mundial sobre la Educación Superior en el siglo XXI: visión y acción. París: UNESCO

- Vroeijenstijn, T. (1994). Preparing for the Second Cycle. External Quality Assessment in Dutch University. En: Westerheijden, Brennan y Maassen. Changing context of quality assessment. Recent trends in West European Higher Education. Ultecht: Uitgeverij Lemma B.V.

AUTORES

Norberto Fernández Lamarra

Es profesor universitario, investigador y consultor nacional e internacional en el área de las políticas, la planificación, la gestión y la evaluación de la educación –particularmente con perspectiva comparada-, con énfasis en los últimos años en la educación superior. Es Director de Posgrados en la Universidad Nacional de Tres de Febrero (UNTREF), donde, además, dirige el Núcleo Interdisciplinario de Formación y Estudios para el Desarrollo de la Educación (NIFEDE), el Doctorado en Políticas y Gestión de la Educación Superior y el Programa de Posgrados en Políticas y Administración de la Educación (Maestrías y Especializaciones). Es Profesor en la UNTREF de Política y Administración de la Educación (grado) y de Planeamiento y Gestión de las Políticas Educativas (posgrado. Ha sido miembro de la Comisión Nacional de Evaluación y Acreditación Universitaria de la Argentina (CONEAU) entre los años 1996 y 2001. Se desempeña como Profesor de Posgrado en diversas universidades argentinas y de otros países de América Latina. Como investigador es Categoría 1 (la máxima). Dirige la Revista Latinoamericana de Políticas y Administración de la Educación (RELAPAE), editada por el NIFEDE/UNTREF, la Revista Argentina de Educación Superior, que edita la Red Argentina de Postgrados en Educación Superior (REDAPES) y la Revista Latinoamericana de Educación Comparada (RELEC), editada por la Sociedad Argentina de Estudios Comparados en Educación (SAECE), de la que es Presidente. Es Vicepresidente del Consejo Mundial de Sociedades de Educación Comparada (WCCES). Es autor de más de 200 publicaciones, estudios, trabajos, libros y artículos sobre la educación argentina y latinoamericana. En los últimos 10 años ha publicado doce libros, la mayoría sobre Educación Superior.

Martín Aiello.

Licenciado en Sociología de la Universidad de Buenos Aires, realizó estudios de posgrado en la Universidad de Barcelona, donde defendió su tesis doctoral sobre evaluación institucional universitaria.

Es Profesor titular de la UNTREF e investigador del Núcleo Interdisciplinario de Formación y Estudios para el Desarrollo de la Educación (NIFEDE). Desde el 2011 es Coordinador Académico del Programa Interuniversitario de Doctorado en Educación entre la UNTREF, la UNLa y la UNSAM. Actual miembro de la comisión de investigación, fue miembro de la comisión de autoevaluación de la UNTREF.

Desde el 2006 dirige académicamente el Doctorado y la Maestría en Educación Superior de la Universidad de Palermo, en el marco de la Cátedra UNESCO – UNU “Historia y Futuro de la Universidad”.

Cristian Perez Centeno

Es graduado en ciencias de la educación de la Universidad de Buenos Aires y especialista en Gestión Universitaria. Es docente e investigador del Núcleo Interdisciplinario de Formación y Estudios para el Desarrollo de la Educación (NIFEDE) en la UNTREF. Es profesor titular, Coordinador Académico de Posgrados y Consejero Superior -en representación del claustro docente- de la UNTREF.

Como investigador se especializa en temas de planeamiento, gestión y evaluación de la educación y de las instituciones, en perspectiva comparada. Sus investigaciones se enfocan en el estudio de la profesión académica universitaria, la innovación en la organización y gestión universitaria, y la evaluación de los sistemas educativos.

Es Vicepresidente de la Sociedad Argentina de Estudios Comparados en Educación SAECE).

Referencias - El desarrollo de la docencia en las Instituciones de Educación Superior: las condiciones contextuales.

Altbach, P. (2009) Educación superior comparada: el conocimiento, la universidad y el desarrollo. Buenos Aires, Argentina: Universidad de Palermo.

Altbach, P. (coord.) (2004) El ocaso del gurú. La profesión académica en el tercer mundo. Cultura Unviersitaria/Serie ensayo 77. México: Universidad Autónoma Metropolitana

Altbach, P. y Lionel S. L. (1996) “The Academic Profession in International Perspective”. En Philip Altbach (editor) The International Academic Profession. Portraits of Fourteen Countries. The Carnegie Foundation for the Advancement of Teaching Jossey-Bass., p. p. 3-48.

ANUIES (2000). La educación superior en el siglo XXI. Líneas estratégicas de desarrollo. México: ANUIES.

Boyer, E. (1990) Scholarship Reconsidered: Priorities of the Professoriate. The Carnegie Foundation for the Advancement of Teaching. San Francisco: Jossey-Bass.

Canales A., Leyva, Y., Luna, E. & Rueda, M. (2014). Análisis de las condiciones contextuales para el desarrollo de la docencia. p. p. 15-28. En Rodríguez, J. (coord.). Aportaciones metodológicas a la evaluación a gran escala del aprendizaje y su contexto. México: editorial universitaria. Universidad de Guadalajara y Universidad Autónoma de Baja California.

Clark, B. (1997) Las unviersidades modernas: espacios de investigación y docencia. México: UNAM-Miguel Ángel Porrúa.

DGOSE (2013). Orientación y servicios educativos. Recuperado el 5 de agosto de 2014 de http://www.dgose.unam.mx/

Galaz-Fontes, J., Martínez-Stack, J., Estévez-Nénniner, E., Padilla-González, L., Gil-Antón, M., Sevilla-García, J. y Arcos-Vega, J. (2014) “The Divergent Worlds of Teaching and Research Among Mexican Faculty: Tendencies and Implications”. En Shin, Jung Cheol; Arimoto, Akira; Cummings, William K.; and Teichler, Ulrich (eds.) Teaching and Research in Contemporary Higher Education Systems, Activities and Rewards. Springer.

García-Cabrero, B., Loredo, J. Luna, E. & Rueda, M. (2008). Modelo de evaluación de competencias docentes para la educación media y superior. Revista Iberoamericana de Evaluación Educativa, 1(3e), 124-136. Recuperado el 3 de julio de 2014 de http://www.rinace.net/riee/numeros/vol1-num3_e/art8.pdf

Ibarra, E. & Buendía, A. (2013). Compendio del Sistema Universitario Mexicano: perfil institucional, datos e indicadores. México: UAM.

Narro, J. (2014). Informe 2013. Universidad Nacional Autónoma de México. Recuperado el 5 de julio de 2014 de http://www.dgi.unam.mx/rector/informes_pdf/Informe_Rector2013.pdf

OIT & UNESCO (1966). Recomendaciones de la OIT y la UNESCO relativas a la situación del personal docente. Recuperado el 11 de agosto de 2014 de http://unesdoc.unesco.org/images/0016/001604/160495s.pdf

Rueda M., Linares, M. y Reyes, P. (2011). Evaluación del desempeño docente en las universidades públicas de la región metropolitana, p. p. 31-57. En Rueda, M. (coord.) ¿Evaluar para controlar o para mejorar? Valoración del desempeño docente en las universidades. México: UNAM-IISUE.

Rueda, M. (2006). Evaluación de la labor docente en el aula universitaria. México: IISUE-UNAM.

Shin, J., Arimoto, A., Cummings, W. & Teichler, U. (eds.) (2014). Teaching and Research in Contemporary Higher Education Systems, Activities and Rewards. Springer.

Teichler, U. Arimoto, Akira y Cummings, W. K. (2013). The Changing Academic Profession. Major Findings of a Comparative Survey. Springer.

Trow, M. (1974). Problems in the transition from elite to mass higher education. Berkeley, Calif. Carnegie Commission on Higher Education.

UNAM (1945). Ley orgánica de la Universidad Nacional Autónoma de México. Diario oficial de la Federación.

UNAM (1988). Legislación Universitaria. México: UNAM.

UNAM (1996). Estatuto General de la Universidad Nacional Autónoma de México. Recuperado el 4 de julio de 2014 en http://info4.juridicas.unam.mx/unijus/unv/6/12.htm?s=unjs

UNAM (1996b). Programa de Primas al Desempeño del Personal Académico de Tiempo Completo (PRIDE) Lineamientos y requisitos generales para la evaluación de profesores e investigadores. México: UNAM. Recuperado el 04 de Junio de 2014 de: http://dgapa.unam.mx/Reglamentos/LinProfInvpride.pdf

UNAM (2011). Universidad Nacional Autónoma de México. Programa de Actualización y Superación Docente (PASD). Cursos para profesores de licenciatura. Recuperado el 5 de julio de 2014 de http://dgapa.unam.mx/html/pasd/pasdCprofeLicen.html

UNAM (2012). Plan de desarrollo de la Universidad 2011-2015. México: UNAM.

UNAM (2014a). Acerca de la UNAM. Recuperado el 30 de Julio de 2014 de: http://www.unam.mx/acercaunam/es

UNAM (2014b). Portal de estadística Universitaria. Recuperado el 11 de Julio de 2014 de http://www.estadistica.unam.mx/numeralia/

UNAM (2014c). Programa de Estímulos a la Productividad y al Rendimiento del Personal Académico de Asignatura (PEPASIG). Convocatoria 2014. México: Gaceta UNAM. Recuperado el 04 de Junio de 2014 de: http://dgapa.unam.mx/convocatorias/Convocatoria_PEPASIG_2014.pdf

UNESCO (1997). Recomendaciones de Conferencia General de la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO), 1997. Recuperado el 22 de agosto de http://portal.unesco.org/es/ev.php-URL_ID=13144&URL_DO=DO_TOPIC&URL_SECTION=201.html

UNESCO (1998). Declaración mundial sobre la educación superior en el siglo XXI: Visión y acción. Conferencia Mundial sobre la Educación Superior. Recuperado en http://www.unesco.org/education/educprog/wche/declaration_spa.htm#marco

UNESCO (2009). Conferencia Mundial sobre la Educación Superior-2009: La nueva dinámica de la educación superior y la investigación para el cambio social y el desarrollo. Recuperado el 22 de agosto de http://www.unesco.org/education/WCHE2009/comunicado_es.pdf

Referencias - Condiciones contextuales para el desarrollo de la docencia en una universidad del Sureste de México.

Abrami, P. C. (1989). How Should We Use Student Ratings to Evaluate Teaching? Research in Higher Education. 30(2), 221-27.

Abrami, P. C., D’ Apollonia, S., & Cohen, P. A. (1990). The validity of student ratings of instruction: What we know and what we don’t. Journal of Educational Psychology, 82, 219-231.

Arthur, J., Tubré, T., Paul, D., & Edens, P. (2003). Teaching effectiveness: The relationship between reaction and learning evaluation criteria. Educational Psychology, 23(3), 275-285.

Cohen, P. A. (1981). Student ratings of instruction and student achievement: A meta-analysis of multisection validity studies. Review of Educational Research, 51, 281-309.

Coll, C. (1994). El análisis de la práctica educativa: reflexiones y propuestas en torno a una aproximación multidisciplinar. Tecnología y Comunicación Educativas, 24, 3-29.

Coll, C., Martín, E., Mauri, T., Miras, M, Onrubia, J.,Solé, I. y Zabala, A. (2007). El constructivismo en el aula. México: Grao.

Emery, C. R., Kramer, T. R., & Tian, R. G. (2003). Return to academic standards: a critique of student evaluations of teaching effectiveness. Quality Assurance in Education 11(1), 37-46.

Feldman, K. A. (1989). Instructional effectiveness of college teachers as judged by teachers themselves, current and former students, colleagues, administrators, and external (neutral observers). Research in Higher Education, 30, 137-172.

Fierro, C., Fortoul, B & Rosas, L (1999). Transformando la Práctica Docente. Una Propuesta Basada en la Investigación Acción. México: Paidós.

Kuh, G.D., Kinzie, J., Schuh, J.H., Whitt, E.J., & Associates (2005). Student success in college: Creating conditions that matter. San Francisco: Jossey-Bass.

Kulik, J. A. & Kulik, C.C. (1974). Student ratings of instruction. Teaching Psychology, 1, 51-57.

Koon, J. & Murray, H. (1995). Using multiple outcomes to validate student ratings of overall teacher effectiveness. The Journal of Higher Education, 66(1), 61-81.

Marsh, H. W. (1987). Student’s evaluations of university teaching: Research findings, methodological issues, and directions for future research. International Journal of Educational Research, 11, 253-388.

Martínez, R. I., García, B. S., Aldana, G. (2013). Factores alrededor del desempeño docente. Ponencia presentada en el Congreso Internacional de Psicología. Toluca, México.

Ory, J. y Ryan, K. (2001). How do student ratings measure up to a new validity framework. New Directions in Institutional Research. 109, Jossey-Bass Inc., Publishers, San Francisco: CA.

Renaud, R. & Murray, H. (2004). Factorial validity of student ratings of instruction. Research in Higher Education, 46(8), 929-953.

Rueda, M., Canales, A., Leyva, Y. y Luna, E. (2014). Condiciones contextuales para el desarrollo de la práctica docente. Revista Iberoamericana de Evaluación Educativa, 7(2e), 171-183. Recuperado de http://www.rinace.net/riee/numeros/vol7-num2e/art13.pdf

Vergara, M. (2005). Significados de la práctica docente que tienen los profesores de educación primaria. Revista Electrónica Iberoamericana sobre Calidad y Cambio en Educación, 3(1), 687-697

Referencias - Algunas consideraciones sobre la evaluación de la docencia en dos universidades venezolanas.

Atria, R. (2013). La educación superior nunca ha sidoprioridad de la política nacional. Revista SELLO. Calidad, el aseguramiento de la calidad en la educación superior. Sistemas de acreditación en Chile y el mundo, Año 8, Nº 15,23-28.

CINDA. (2012). Aseguramiento de la calidad en Iberoamérica. Educación Superior, Informe 2012. M. José Lemaitre y M. Eliza Centeno Editoras. Proyecto ALFA aseguramiento de la calidad y gestión universitaria. Santiago de Chile:CINDA.

Consejo Central de Pregrado de la Universidad del Zulia. (s.f.).Normativa para el proceso de las Asesorías Académicas de la Universidad del Zulia. Manuscrito inédito. Consejo Central de Pregrado. Departamento de Planificación, Evaluación y Control de la Gestión Académica del Vicerrectorado Académico dela Universidad del Zulia.Consultado en mayo 2014 en http://www.pregrado.luz.edu.ve/images/descargas/normativa_asesorias_academicas.pdf

Charles, C. Barnabas. (2007).The Evolution of Quality Assurance in Higher Education. Faculty Working Papers from the School of Education, Fayetteville State University. Paper 13. Consultado el 16 de septiembre 2014 en http://digitalcommons.uncfsu.edu/soe_faculty_wp/13

De la Orden, A. y otros. (1997).Desarrollo y validación de un modelo de calidad universitaria como base para su evaluación. Revista Electrónica de Investigación y Evaluación Educativa. Volumen 3,1-2. Consultado el 13 de febrero de 2014 en http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm

De La Orden, A. y Jornet, J. M. (2012). La utilidad de las evaluaciones de sistemas educativos: el valor de la consideración del contexto. Bordón, 64(2), 69-88.

García-Cabrero, B. y Navarro, F. (2001). “La construcción de una metodología para el análisis de la práctica educativa y sus implicaciones en la evaluación docente”, en Rueda, M., Díaz-Barriga, F. y Díaz Pontones M. (Eds.). Evaluar para comprender y mejorar la Docencia en Educación Superior (193-208). México: CESU/UAM.

García-Cabrero, B, Loredo, J.; Luna, E.; Pérez, C.; Reyes, R.; Rigo, M.A.;y Rueda, M.(2004). Algunas consideraciones sobre los aspectos teóricos involucrados en la evaluación de la docencia. En: Rueda, M. y Díaz-Barriga, F. (coordinadores): La Evaluación de la docencia en la universidad. Perspectivas desde la investigación y la intervención profesional. México D.F.: UNAM/Plaza y Valdés.

García-Cabrero,B; Loredo, J.; Luna, E.y Rueda, M. (2008). Modelo de Evaluación de competencias docentes para la educación media y superior. En Revista Iberoamericana de Evaluación Educativa. Vol. 1, Nº 3, 124-136.

García-Cabrero, B.; Loredo, J.; Carranza, G.; Figueroa, A.; Arbezú, I.; Monroy, M. y Reyes, R. (2008). Las aproximaciones teórico-metodológicas en los trabajos de la RIED: consideraciones en torno a la construcción de un modelo de evaluación de la práctica docente. En: Rueda. M. (Editor) La evaluación de los profesores como recurso para mejorar su práctica. 162-220. México D.F:IISUE-UNAM/Plaza Valdés.

García-Cabrero, B. y Rueda, M. (2012). Experiencias de aplicación del MECD: Modelo de Evaluación de Competencias Docentes. En: Cisneros, E.; García-Cabrero, B.; Luna, E. y Marín, R.Evaluación de competencias docentes en la educación superior. Compiladores. ReDECA. México DF: Juan Pablos Editor.

Grupo de Alto Nivel para la Modernización de la Educación Superior (2013). Informe Final de la Comisión Europea para incentivar la calidad de la enseñanza-aprendizaje en las instituciones europeas de educación superior. Unión Europea: Oficina de Publicaciones de la Unión Europea de Luxemburgo.

Hénard, F. (2010).Learning our LessonReview of Quality Teaching in Higher Education.París: OECD.

Jornet, J (septiembre, 2014). Facetas del Concepto de validez en la evaluación de la docencia. En: V Coloquio Iberoamericano RIIED. Ensenada, México: Universidad Autónoma de Baja California.

Leyva, Y. (2014).Validación lógica de indicadores de contexto que podrían afectar el desarrollo de la docencia en Universidades Iberoamericanas. Manuscrito presentado para su publicación. México: RIIED.

Ministerio del Poder Popular para la Educación Universitaria (2012a). Logros de la educación universitaria. Caracas, Venezuela.

Ministerio del Poder Popular para la Educación Universitaria (2012b). Sistema de Evaluación, Supervisión y Acreditación Universitaria. Manuscrito inédito. Caracas, Venezuela: CEAPIES, Gobierno Nacional.

OECD Higher Education Programme (IMHE) (2013). The state of higher education. AnnaGlass Ed. Consultado el 15 de septiembre 2014 en http://www.oecd.org/edu/imhe/StateofHigherEducation2013-ExecutiveSummary.pdf

Parra-Sandoval, M.C. (2009).Las intimidades de la academia. Un estudio cuanti-cualitativo sobre la dinámica de la profesión académica. Maracaibo, Venezuela: Universidad del Zulia, Ediciones del Vice-Rectorado Académico.

Parra-Sandoval, M.C; Bozo, A.J. e Inciarte, A. (2010). University: Thelast call? International DevelopmentResearch Center/Universidad del Zulia. Maracaibo, Venezuela: Ed. Astrodata.

UNESCO (1998).Declaración Mundial sobre la Educación Superior en el siglo XXI: Visión y Acción y Marco de Acción prioritaria para el cambio y el desarrollo de la educación superior. Conferencia Mundial sobre Educación Superior. París, 9 de octubre de 1998. Consultado el 16 de septiembre, 2014en http://www.unesco.org/education/educprog/wche/declaration_spa.htm

UNESCO (2008a), Declaración Mundial sobre la Educación Superior en el siglo XXI: Visión y Acción y Marco de Acción prioritaria para el cambio y el desarrollo de la educación superior. París, 9 de marzo de 2008. Consultado el 16 de septiembre, 2014 en http://www.acading.org.ve/info/comunicacion/pubdocs/DOCS_EDUCACION/Declaracion_mundial_educacion_superior_vision_accion.pdf

UNESCO (2008b).Reflexiones en torno a la calidad educativa en América Latina y el Caribe. Santiago de Chile:Meza, M. Editora. UNESCO/LLECE.

Referencias - Evaluación docente en la educación superior: Un dialogo comparativo México-Brasil.

Díaz Barriga, A. (2002). A avaliação no marco das políticas para a educação superior: desafios e perspectivas. Avaliação (Campinas), 7 (2), 09-27.

Calderón, A. I. y Borges, R. M. (2013). La evaluación educacional en el Brasil: de la transferencia cultural a la evaluación emancipadora. Educación (Lima), 22, 77-95.

Calderón, A. I. y Ferreira, A. G. (2012). O ensino superior privado: um estudo comparado Brasil-Portugal. Revista Brasileira de Política e Administração da Educação, 28, 563-584.

Dias Sobrinho, J. (2005). Educação superior, globalização e democratização: qual universidade? Revista Brasileira de Educação, 10(28), 164-73.

Durham, E. R. y Sampaio, H. (2000). O setor privado de ensino superior na América Latina. Cadernos de Pesquisa, 110, 7-37.

Feliciello, D. et al. (2005). As experiências de auto-avaliação da PUC-Campinas, 1980-2001. Cadernos de Avaliação, 1, 17-59. Disponible en http://www.puc-campinas.edu.br/midia/arquivos/2012/mai/proavi---cadernos-de-avaliacao-cpa---nta-n-01.pdf Consulta: 10 de Enero de 2014.

Ferreira, A. G. (2008). O sentido da Educação Comparada: uma compreensão sobre a construção de uma identidade. Educação, 31(2), 124-138.

Fairclough, N. (2001), Discurso e mudança social nas sociedades contemporâneas. Brasília: Editora Universidade de Brasília.

Fernandez Lamarra, N. y Marquina, M. (2013). La Profesión Académica en América Latina: Tendencias actuales a partir de un estudio comparado. Espacios en blanco. Serie indagaciones, 23(1), 0-0.

Garcia Guadilla, C. O compromisso social das universidades. En A. I. Calderón, S. R. Mendes dos Santos y D. F. Sarmento (coords), Extensão Universitária: Uma questão em aberto, São Paulo: Xamã.

Gindin, J. (2008). Sindicalismo docente en México, Brasil y Argentina: una hipótesis explicativa de su estructuración diferenciada. RMIE, 13(37), 351-375.

Krawczyk, N. R. y Vieira, V. L. (2006). Homogeneidade e heterogeneidade nos sistemas educacionais: Argentina, Brasil, Chile e México. Cadernos de Pesquisa, 36(129), 673-704.

Lemos Filho, A. et al. (2012). Avaliação do ensino: quando alunos e professores se avaliam. Cadernos de Avaliação, 10, 37-51. Disponible en http://www.puc-campinas.edu.br/midia/arquivos/2013/jan/proavi---cadernos-de-avaliacao-cpa---nta-n-10.pdf [Consulta: 10 de Enero de 2014].

Lemos Filho, A. et al. (2011). SINAES – Dimensão política de graduação: Avaliação do Ensino na PUC-Campinas: Análise da série histórica (2007-2010). Cadernos de Avaliação, 9, 21-45. Disponible en http://www.puc-campinas.edu.br/midia/arquivos/2012/mai/proavi---cadernos-de-avaliacao-cpa---nta-n-09.pdf [Consulta: 10 de Enero de 2014].

Lemos Filho, A. et al. (2009). Avaliação docente: um importante componente do processo de auto-avaliação institucional. Cadernos de Avaliação, 6, 21-53. Disponible en http://www.puc-campinas.edu.br/midia/arquivos/2012/mai/proavi---cadernos-de-avaliacao-cpa---nta-n-06.pdf Consulta: 10 de Enero de 2014].

Pádua, E. M. M.de y Alberto, J; L. M. Programa de Auto-avaliação Institucional da PUC-Campinas: Avaliação do ensino de graduação: experiência 2006-2007. Cadernos de Avaliação, 4, 19-75. Disponible en http://www.puc-campinas.edu.br/midia/arquivos/2012/mai/proavi---cadernos-de-avaliacao-cpa---nta-n-04.pdf Consulta: 10 de Enero de 2014.

Barrera Rosado, C. (2014). Diagnóstico de la evaluación docente de una universidad pública. Revista iberoamericana de evaluación educativa, 7(2), 97-104.

Rueda, M. (2008). La Evaluación del Desempeño Docente en las Universidades Públicas en México. Revista Iberoamericana de Evaluación Educativa, 1 (3e), 8-17.

Schwartzman, S. (2001). El futuro de la educación en América Latina y el Caribe. Santiago de Chile: Unesco.

Sguissardi, V. (2005). Universidade pública estatal: Entre o público e o privado/mercado. Educação e Sociedade, 26(90), 191-222.

Sime-Poma, L. (2013). La excelencia en los doctorados en educación: Brasil, México y Argentina. Educación y Educadores, 16(3), 433-451.

Silva, M. A. da R. (2008). Políticas públicas para la educación superior: la implementación de la evaluación en Brasil y México. Perfiles educativos, 30 (122), 7-37.

Sousa, C. P. de (2000). Dimensões da avaliação educacional. Estudos em Avaliação Educacional, 22, 101-118.

UNESCO (2009). Conferencia Mundial sobre la Educación Superior 2009: la nueva dinámica de la educación superior y la investigación para el cambio social y el desarrollo. Paris: Unesco. Disponible en: <http://www.Unesco.org/education/WCHE2009/comunicado_es.pdf> [Consulta: 10 de Enero de 2014].

Worthen, B. R., Sanders, J. R. y Fitzpatrick, J. L. (2004). Avaliação de programas: concepções e práticas. San Pablo: Editora Gente.

Referencias - El uso de los resultados de la evaluación docente.

Alkin, M. C. (1969). Evaluation theory development. Evaluation Comment, 2, 2-7.

Baker, E., Barton, P., Darling-Hammond, L., Haertel, E., Ladd, H., Linn, R., Ravitch, D., Rothstein, R., Sh avelson, R., Shepard, L. (2010). Problems with the Use of Student Test Scores to Evaluate Teachers. EPI BRIEFING PAPER Nº 278, The Economic Policy Institute. Disponible en http://www.epi.org/publication/bp278/

Cabrera, R. y Ayala, E. (2010). Evaluación del docente del Siglo XXI. Cuarto Foro Nacional de Ciencias Básicas. División de Ciencias Básicas, Facultad de Ingeniería, Universidad Nacional Autónoma de México. 13 al 15 de octubre de 2010. México D.F. http://dcb.fi-c.unam.mx/Eventos/Foro4/Memorias/Ponencia_51.pdf

Cronbach, L. J. (1963). Course Improvement through evaluation. Teachers College Record, 64, 627-683.

Cronbach, L. J. (1982). Designing evaluation of educational and social programs. San Francisco, CA: Jossey-Bass.

Cronbach, L. J., Ambron, S. R., Dornbusch, S. M., Hess, R. D., Hornick, R. C., Phillips, D. C., Walker, D. E. y Weiner, S. S. (1980). Toward reform of program evaluation. San Francisco, CA: Jossey-Bass.

Eisner, E. W. (1979). The educational imagination. New York: Macmillan.

Elizalde, L., Torquemada, A. & Olvera, B. (2010). Usos e impacto de la evaluación de la docencia en la Universidad Autónoma del Estado de Hidalgo: Resultados de la meta-evaluación. Revista Iberoamericana de Evaluación Educativa, 3 (1e). Disponible en http://www.rinace.net/riee/numeros/vol3-num1_e/art7.html

García, J. M. (2014). ¿Para qué sirve la evaluación de la docencia?: Un estudio exploratorio de las creencias de los estudiantes. Archivos Analíticos de Políticas Educativas, 22(15). Recuperado de http://dx.doi.org/10.14507/epaa.v22n15.2014

García, J. M. (2008). El proceso perverso de la evaluación de la docencia en las universidades: Un balance inicial y apuntes para mejorarlo. Revista Reencuentro, 53, 9-19. Recuperado de http://www.redalyc.org/articulo.oa?id=34005302

Gimeno, J. (1995). La evaluación en la enseñanza, en: Gimeno, J. y Pérez Gómez, A. I. Comprender y transformar la enseñanza, Madrid: Morata, 334-397.

Grize, J. B., Verges, P. y Silem, A. (1987). Salaires face aux nouvelles technologies. Vers une approche sociologique des représentations sociales, Francia: Centre National de la Recherche Scientifique.

Guba, E. G. y Lincoln, Y. S. (1981). Effective evaluation. San Francisco, CA: Jossey-Bass.

Hellrung, K. & Hartig, J. (2013). Understanding and using feedback – A review of empirical studies concerning feedback from external evaluations to teachers. Educational Research Review 9, 174–190.

House, E. R. (1980). Evaluation with validity. Beverly Hills, CA: SAGE.

Isoré, M. (2009). Teacher Evaluation: Current Practices in OECD Countries and a Literature Review, OECD Education Working Papers, No. 23, OECD Publishing. Disponible en http://dx.doi.org/10.1787/223283631428

Jodelet, D. (1986). La representación social: fenómenos, conceptos y teoría, en: Moscovici, S. Psicolología Social II. Barcelona: Paidós, pp. 469-494.

Jodelet, D. (1989). Représentations sociales: un domaine en expansión. En: Jodelet, et.al. Les represéntations sociales. Paris: Presses Universitaries de France.

Joint Committee on Standars for Educational Evaluation (1981). Standars for evaluations of educational programs, projects, and materials. New York: McGraw-Hill.

Kleinhenz, E., Ingvarson, L. & Chadbourne, R. (2002). Evaluating the work of teachers in Australian schools. Vision and reality. Paper presented at the Conference of the Australian Association for Research in Education (AARE). Brisbane (Qld). Disponible en http://www.aare.edu.au/02pap/kle02231.htm?referer=http%3A%2F%2Fworks.bepress.com%2Flawrence_ingvarson1%2F55%2F

Ludlow, L. (2005). A longitudinal approach to understanding course evaluations. Practical Assessment, Research & Evaluation, 10(1). Disponible en http://pareonline.net/pdf/v10n1.pdf

Mathers, C., Oliva, M., & Laine, (2008). Improving instruction through effective teacher evaluation. National Comprehensive Center for Teacher Quality. Disponible en http://www.tqsource.org/publications/February2008Brief.pdf

MINEDUC (2014). Sistema de Evaluación del Desempeño Profesional Docente. Chile. Disponible en http://www.docentemas.cl/

Morduchowicz, A. (2011). Diseño y experiencias de incentivos salariales docentes. PREAL. Serie Documentos Nº 55. Disponible en http://www.preal.org/Archivos/Preal%20Publicaciones%5CPREAL%20Documentos/PREALDOC55.pdf

Moreno, T. (2012). Evaluación para el aprendizaje. Perspectivas internacionales. Revista de evaluación educativa, 1(1). Consultado en http://revalue.mx/revista/index.php/revalue/issue/current

Moscovici, S. (1979 [1961]). El psicoanálisis su imagen y su público, Buenos Aires: Huemul.

Murillo, J. (2007). Evaluación del desempeño docente y carrera profesional docente. Un estudio comparado entre 50 países de América y Europa. OREALC/UNESCO, Santiago. Disponible en http://unesdoc.unesco.org/images/0015/001529/152934s.pdf

Nevo, D. (1997). Evaluación basada en el centro. Un diálogo para la mejora educativa. Bilbao: Mensajero.

OCDE (2009).Teacher Evaluation. A Conceptual Framework and examples of Country Practices. Disponible en http://www.oecd.org/dataoecd/16/24/44568106.pdf

Rubio, J. y Comas, O. (1998). Evaluación y estrategias de seguimiento en la Universidad Autónoma Metroplitana, México D.F. En CINDA (Ed.), Gestión Docente Universitaria: Modelos Comparados Volumen 2. (Pp. 301-317). Centro Interuniversitario de Desarrollo - CINDA, Santiago de Chile.

Rueda, M., Luna, E., García, B. y Loredo, J. (2010). La evaluación de la docencia en las universidades públicas mexicanas: un diagnóstico para su comprensión y mejora. Revista Iberoamericana de Evaluación Educativa, 3 (1e). Recuperado de http://www.rinace.net/riee/numeros/vol3-num1_e/art6.html

Scriven, M. (1967). The methodology of evaluation, en R. E. Stake (Ed.). AERA Monograph Series on Curriculum Evaluation, No.1, Chicago: Rand McNally.

Silva, C. (2009). Las encuestas de opinión en la Universidad Autónoma de Ciudad Juárez: ¿Un caso de exclusión del profesorado? Archivos Analíticos de Políticas Educativas, 17(24). Recuperado de http://epaa.asu.edu/epaa/ v17n24

Stake, R. E. (1967). The countenance of educational evaluation. Teachers College Record, 68, 523-540.

Stake, R., Contreras, G. & Arbesú, I. (2011). Evaluando la calidad de la universidad, particularmente su docencia. Perfiles Educativos, 23, 155-168.

Stufflebeam, D. L. (1969). Evaluation as enlightenment for decision making. En: W. H. Beatty (Ed.). Improving educational assessment and an inventory for measures of affective behavior. Washington, D. C: National Education Association.

Stufflebeam, D. L. (1974). Meta-evaluation. Kalamazoo, Ml: Western Michigan University Evaluation Center (Ocassional Paper No. 3).

Taut, S., Santelices, M. V. & Manzi, J. (2011). Perceived effects and uses of the national teacher evaluation system in Chilean elementary schools. Studies in Educational Evaluation 37: 218–229. doi:10.1016/j.stueduc.2011.08.002

Vaillant, D. & Rossel, C. (2010). El reconocimiento de la docencia efectiva: la premiación a la Excelencia. PREAL Documentos, N°. 48. Disponible en: http://www.preal.org/BibliotecaN.asp?Pagina=2&Id_Carpeta=64&Camino=63%7CPreal%20Publicaciones/64%7CPREAL%20Documentos.

Referencias - Formación y evaluación de profesores: la experiencia de una red de colaboración.

Casals, A., Vilar, M. & Ayats, J. (2008). La investigación-acción colaborativa: Reflexiones metodológicas a partir de su aplicación en un proyecto de Música y Lengua. Revista Electrónica Complutense de Investigación en Educación Musical, 5(4), 1-17.

Cuadros, A y Uribe, J. (2010). Las redes científicas como determinantes de éxito en los proyectos de investigación de la universidad pontificia bolivariana de Colombia. Primer Congreso iberoamericano de ingeniería de proyectos, mayo, 2010, Antofagasta, Chile. pp. 103-113

Cuadros, A y Uribe, J. (2010). Las redes científicas como determinantes de éxito en los proyectos de investigación de la universidad pontificia bolivariana de Colombia. Primer Congreso iberoamericano de ingeniería de proyectos, mayo, 2010, Antofagasta, Chile. pp. 103-113

Di Meglio, F., Mayoral, L y Araya, J. M. (2010). Redes académicas y extra-académicas para el fortalecimiento de las capacidades de investigación. El caso de los grupos de investigación de Ciencias Veterinarias de la Universidad Nacional del Centro de la Provincia de Buenos Aires (UNCPBA), Argentina, 2006-2010. Disponible en http://www.altec2013.org/programme_pdf/1115.pdf

Diario Oficial de la Federación (2013). Acuerdo número 712 por el que se emiten las Reglas de Operación del Programa para el Desarrollo Profesional Docente. Disponible en http://dsa.sep.gob.mx/pdfs/Reglas%20de%20Operacion%202014.pdf

Durand, J. P. (2011) Grupos de investigación consolidados en la universidad de sonora. XI Congreso Nacional de Investigación Educativa/4. Educación Superior, Ciencia y Tecnología/Ponencia

García-Cabrero, B., Loredo, J. Luna, E. y Rueda, M. (2008). Modelo de Evaluación de Competencias Docentes para la Educación Media y Superior. Revista Iberoamericana de Evaluación Educativa, 1(3e), pp. 124-136.

http://www.rinace.net/riee/numeros/vol1-num3_e/art8.pdf Consultado el 18 de enero de 2009.

García-Cabrero, B., Loredo, J. y Carranza, G. (2008). Análisis de la práctica educativa de los docentes: pensamiento, interacción y reflexión. Revista Electrónica de Investigación Educativa, Especial. Consultado el día de mes de año, en: http://redie.uabc.mx/NumEsp1/contenido-garcialoredocarranza.html

Gibbons, M. Limoges, C.; Nowotny, H.; Schwartzmann, S; Scott, P. Y Trow, M. (1997). La nueva producción del conocimiento. La dinámica de la ciencia y la investigación en las sociedades contemporáneas, Barcelona: Pomares-Corredor, pp. 7-95.

González, G., Gómez, J. y Agulló, V. (2013). La colaboración científica como objeto de estudio. En González Alcaide, Gregorio, Gómez Ferri, Javier, Agulló Calatayud, Victor (coords). La colaboración científica: una aproximación multidisciplinar. Valencia, España: Nau libres Edicions Culturals Valencianes.

Guzmán I., Marín, R., Zesati, G. y Breach, R. M. (2012). Desarrollar y evaluar competencias docentes: estrategias para una práctica reflexiva. Voces y Silencios: Revista Latinoamericana de Educación, Vol. 3, No. 1, 22-40. Recuperado el 18 de enero de 2013 de http://vocesysilencios.uniandes.edu.co/index.php/vys/article/viewFile/110/291

Guzmán, I. y Marín, R. (2011). La competencia y las competencias docentes: reflexiones sobre el concepto y la evaluación. REIFOP, 14 (1), 151-163. Consultado el 25 de abril de 2011 en: www.aufop.com/aufop/uploaded_files/articulos/1301588498.pdf

Guzmán, Marín e Inciarte (2014). Innovar para transformar la docencia universitaria: un modelo para la formación por competencias. En Prensa.

Kirkpatrick, D. (1999). Evaluación de acciones formativas. Los cuatro niveles, 1ª Edición, 1-289. Epise: Barcelona, España.

Lall, N. (2011). Estructuras de investigación colaborativa comunidad-universidad: aproximación a su posible impacto. Rizoma Freireano, 9. Recuperado de http://www.rizoma-freireano.org/index.php/estructuras-de-investigacion-colaborativa-comunidad-universidad-aproximacion-a-su-posible-impacto--nirmala-lall

López, S. (2010). Cuerpos académicos: Factores de integración y producción de Conocimiento. Revista de la Educación Superior. Vol. XXXIX (3), No. 155, Julio-Septiembre de 2010, pp. 7-26.

Luna, E. y Rueda, M. y Arbesú, M. I. (2006). Constitución y desarrollo de una red de investigadores sobre evaluación de la docencia. Revista Mexicana de Investigación Educativa, COMIE, México, Vol. 11, N° 30, 971-996

Marín, R. y Guzmán, I. (2012). Formación<->evaluación: una propuesta para el desarrollo y evaluación de competencias docentes. En E. Cisneros Chacón, B. García Cabrero, E. Luna y R. Marín Uribe (coords.), Evaluación de competencias docentes en la educación superior, 1ª edición, 203-247, Juan Pablos Editor: México, D.F.

Marín, R. y Guzmán, I. (2013). Modelo para el desarrollo y evaluación de competencias académicas. Manuscrito no publicado, Universidad Autónoma de Chihuahua, Chihuahua, México

Marín, R., Arbesú, M. I., Guzmán, I. y Barón, V. (2012). El empleo del portafolio en la formación-evaluación de competencias docentes. Voces y Silencios: Revista Latinoamericana de Educación, Vol. 3, No. 1, 5-21, recuperado el 18 de enero de 2013 de http://vocesysilencios.uniandes.edu.co/index.php/vys/article/view/109/294

Marín, R., Guzmán, I., Márquez, A. y Peña, M. (2013). La evaluación de competencias docentes en el Modelo DECA: anclajes teóricos. Formación Universitaria, Vol. 6 Nº 6, 2013 pp. 41-54

Parsons. Wayne (2007). Una introducción a la teoría y la práctica del análisis de las políticas públicas, México, FLACSO-Miño Dávila.

Roegiers, X., Pedagogía de la integración. Competencias e integración de los conocimientos en la enseñanza, 1ª edición, 7-386, FCE, México, D.F. (2010).

Rueda, M., Luna, E., García, B. y Loredo, J. (2011). Resultados y recomendaciones, En M. Rueda (coordinador), ¿Evaluar para controlar o mejorar? Valoración del desempeño docente en las universidades, 1ª edición, 197-222. IISUE-UNAM: México

Sebastián, J (2000). Las Redes de Cooperación como modelo organizativo y funcional para la I+D. Redes. Vol. 7, Nº. 015. Argentina, pp. 97 – 111.

SEP (2011). Plan de estudios 2011 de la Educación Básica. Dirección General de Desarrollo Curricular de la Subsecretaría de Educación Básica de la Secretaría de Educación Pública. México: Autor

Steele, S. (1989). The evaluation of adult and continuing education, en S. B. Merriam y P. M. Cunningham (eds.), Handbook of adult and continuing education, 261-272. Jossey-Bass: San Francisco, USA

Wang, M. & Ellett, Ch. (1982). Program validation: the state of the art. En Topics in Early Childhood Special Education. Recuperado el día 21 de octubre de 2010 de http://tec.sagepub.com/content/1/4/35

Wenger, E. (1998). Communities of practice learning a social system. Consultado el 27 de febrero de 2009 en: http://www.co-i-l.com/coil/knowledge-garden/cop/

Wenger, E. (2011). Comunidades de práctica. Aprendizaje, significado e identidad. Cognición y desarrollo humano. Paidós: Barcelona, España. pp. 19- 39.

Zirene J. D. y Cuadros, A. (2011). Las redes científicas en los grupos de investigación de la universidad pontificia bolivariana, Sede Medellín-Colombia. Revista Ciencias Estratégicas. Vol. 19 - No. 26 (Julio-Diciembre 2011). pp. 213-224.

Referencias - Evaluación de las competencias docentes para la tutoría universitaria.

Álvarez, M. (2008). La tutoría académica en el Espacio Europeo de la Educación Superior. Revista Interuniversitaria de Formación del Profesorado, 61, 71-88. Recuperado de http://dialnet.unirioja.es/servlet/articulo?codigo=2541040

Angulo, M. . J. y Aurelia, V. B. (2013). Efectos de las modalidades de ocurrencia de las tutorías en desempeños académicos de estudiantes universitarios. Ponencia presentada al XII Congreso Nacional de Investigación Educativa, COMIE, México.

Araiza, L. (2011). Análisis de la opinión del alumnado sobre el servicio educativo de tutoría en la Universidad Autónoma de Aguascalientes. Ponencia presentada al XI Congreso Nacional de Investigación Educativa, COMIE, México. Recuperado de http://www.comie.org.mx/congreso/memoriaelectronica/v11/docs/area_15/0201.pdf.

Asociación Nacional de Universidades e Instituciones de Educación Superior. (1999). La educación superior en el siglo XXI. Líneas estratégicas de desarrollo. México: ANUIES, Universidad Veracruzana e Instituto Tecnológico de Veracruz.

Asociación Nacional de Universidades e Instituciones de Educación Superior. (2000). Programas Institucionales de Tutoría. Una propuesta de la ANUIES para su organización y funcionamiento en las Instituciones de Educación Superior. México: ANUIES Colección de la Biblioteca de la Educación Superior.

Asociación Nacional de Universidades e Instituciones de Educación Superior. (2004). Evaluación del desempeño del personal académico. Análisis y propuesta de metodología básica. México: ANUIES Colección de la Biblioteca de la Educación Superior.

Díaz- Barriga, A. (2008). La era de la evaluación en la educación superior. El caso de México. En A. Díaz-Barriga, C.T. Barrón y F.A. Díaz-Barriga. Impacto de la evaluación en la educación superior mexicana. Un estudio en las universidades públicas estatales (pp. 21-38). México: IISUE-UNAM.

Dirección de tutorías. (s/f). El alumnado universitario: capacidades y acción tutorial. En Dirección de tutorías, Manual de tutoría universitaria. México: UAEH.

Farfán, E. (2007). Ángeles y demonios, el híbrido programa de tutorías. Educación 2001, 149, 52-55.

García, B. (2010). La tutoría en la Universidad de Santiago de Compostela: percepción y valoración de alumnado y profesorado. Tesis de doctorado, Facultade de Ciencias da Educación, Universidad de Santiago de Compostela, Santiago de Compostela. Recuperado de http://dspace.usc.es/bitstream/10347/2840/1/9788498874402_content.pdf.

López, C. R. (2008). La evaluación y la calidad, dos temas centrales en el ejercicio de la tutoría en México. Ponencia presentada en el Tercer Encuentro Nacional de Tutoría, Puebla, México.

Martínez, E. (2008). ¿Qué saben los tutores del practicum de psicopedagogía sobre la acción tutorial? Revista Española de Orientación y Psicopedagogía, 19 (1), 73-77.

Ortiz, B. C. (2013). El proceso tutorial: perspectivas de estudiantes y tutores. Ponencia presentada en el XII Congreso Nacional de Investigación Educativa, COMIE, Universidad Autónoma de Guanajuato, México.

Rodríguez, M. L. (1995). Metodologías y estrategias para desarrollar un programa de acción tutorial. Funciones del tutor y funciones del orientador. España: CEAC.

Romo, A. (2010). La percepción del estudiante sobre la acción tutorial. Modelos para su evaluación. México: ANUIES.

Romo, A. (2011). La tutoría. Una estrategia innovadora en el marco de los programas de atención a estudiantes. México: ANUIES.

Rueda, B. M. (2006). Evaluación de la labor docente en el aula universitaria. México: CESU-UNAM.

Sobrado, L. (2008). Plan de acción tutorial en los centros docentes universitarios: el rol del profesor tutor. Revista Interuniversitaria de Formación del Profesorado, 22 (1), 89-107. Recuperado de http://www.udc.es/cufie/ufa/patt/bibliografia/TutoriaUniversitaria/Plan de acción tutorial en los centros docentes universitarios el rol del tutor.pdf

Zabalza, B. M. A. (2002). La enseñanza universitaria. El escenario y sus protagonistas. España: Narcea.

Referencias- Competencias docentes que demanda el plan de estudios 2012 de la Licenciatura en Educación Primaria para la actividad frente a grupo.

Ander-egg. E. (1995). La planificación educativa. Argentina: Magisterio del Río de la plata.

Arbesú, M. A. (octubre 2004). Evaluación de la docencia universitaria: Una propuesta alternativa que considera la participación de los profesores. Revista Mexicana de Investigación Educativa, 9(23). Recuperado de http://www.redalyc.org/articulo.oa?id=14002305

Cachón, C. M. & Mena, B. E. (2009). Modelo de competencias para la evaluación del desempeño de docentes de escuelas normales de educación primaria. Recuperado de http://www.comie.org.mx/congreso/memoriaelectronica/v10/pdf/area_tematica_15/ponencias/1323-F.pdf

Canto, P. J, Cisnero-Cohernour, E. J. & Mena, B. E. (2005). Modelo de Competencias para la Evaluación de Profesores de Escuelas Normales en el Estado de Yucatán. Ponencia. Recuperado de http://www.rdisa.org.mx/documentos/Ponencias/Z%20Otros%20Eventos/t01_CantoCisneros.pdf

Casanova, M. A. (1998). La evaluación educativa. México: SEP. Biblioteca para la actualización del maestro.

Castillo, S. & Cabrerizo, J. (2006). Evaluación educativa y promoción escolar. Madrid España: Pearson educación.

Chan, M. E. (noviembre, 2004). Tendencias en el Diseño Educativo para Entornos de Aprendizaje Digitales. Revista Digital Universitaria. 5(10). Recuperado de http://www.revista.unam.mx/vol.5/num10/art67/int67.htm

Darling-Hammond, L. & McLaghlin, M. W. (2003). El desarrollo profesional de los maestros. Nuevas estrategias y políticas de apoyo. Hacia una política integral para la formación y el desarrollo profesional de los maestros de educación básica. Cuaderno de discusión 9. Recuperado de http://basica.sep.gob.mx/fcms/cds09.pdf

Divina, O. R. (2004). Manual de procedimientos para el acompañamiento y seguimiento de los centros educativos. Recuperado de http://www.educando.edu.do/sitios/site_basica/res/Documentos/manualdeacompanamientoysegumientoenero05.pdf

Giné, N. & Parcerisa, A. (coords.) (2003). Planificación y análisis de la práctica educativa. Barcelona: Graó.

Gutiérrez, O. (s.f.). El profesor como mediador o facilitador del aprendizaje. En Enfoques y modelos educativos centrados en el estudiante. México: ANUIES. Recuperado de http://scenfer.licenfer.umich.mx/avisos/modulo2/OfeliaGtz.pdf.

Guzmán, I., I. y Marín U., R. (2011). La competencia y las competencias docentes: Reflexiones sobre el concepto y la evaluación. Revista Electrónica Interuniversitaria de Formación del Profesorado, 14(1), consultado: 12 de febrero de 2014 en:<http://www.redalyc.org/articulo.oa?id=217017192012> ISSN

Havnes, A., Smith, K., Dysthe, O. & Ludvigsen, K. (marzo, 2012). Formative assessment and feedback: Making learning visible A. Studies in Educational Evaluation 38(1). Recuperado de http://www.sciencedirect.com/science/article/pii/S0191491X12000193

Leyva, Y. E. (2012). La evaluación de las competencias docentes de profesores de licenciatura en educación preescolar y primaria: el caso de una escuela normal mexicana. Revista Iberoamericana de Evaluación Educativa. 5 ( 1)(e). Recuperado de www.rinace.net/riee/numeros/vol5-num1_e/art10.html

Morales, J. D. y Ávila, R. C. (julio, 2012). Competencias docentes en el contexto de las escuelas normales. Benemérito Instituto Normal del Estado “Gral. Juan Crisóstomo Bonilla. Revista Iberoamericana para la Investigación y el Desarrollo Educativo, 9. Recuperado de http://www.ride.org.mx/version9-10-11-12/index.php/RIDE/article/viewFile/69/67

Moreno, T. (enero, 2012). Evaluación para el aprendizaje. Perspectivas internacionales. Revista de evaluación educativa (1)(1). Recuperado de http://revalue.mx/revista/index.php/revalue/article/view/21

Navío, G. A. (2006) La formación de los profesionales de la formación para el trabajo: Algunos dilemas y algunas respuestas. Educar 38. Recuperado de http://ddd.uab.cat/pub/educar/0211819Xn38p63.pdf

Quezada, C. R. (2004) Cómo planear la enseñanza estratégica. México: Limusa.

Rueda, M., Luna, E. Loredo, J. & García, B. (octubre, 2008). Modelo de evaluación de competencias docentes para la educación media y superior. Revista iberoamericana de evaluación educativa 1(3)(e). Recuperado de http://www.rinace.net/riee/numeros/vol1-num3_e/art8.pdf

Saint-Onge, M. (1997). ¿Yo explico, pero ellos aprenden? México FCE: SEP. Biblioteca para la actualización del magisterio.

SEP. (2012). Programa de la asignatura de planeación educativa. Plan de estudios 2012. Licenciatura en educación primaria. México: SEP.

SEP. (2009). Modelo integral para la formación profesional y el desarrollo de competencias del maestro de educación básica. México: SEP.

SEP. (2008). Acuerdo número 447 por el que se establecen las competencias docentes para quienes impartan educación media superior en la modalidad escolarizada. Reforma Integral de la Educación Media y Superior. México: SEP.

SEP. (2004). El seguimiento y la evaluación de las prácticas docentes: una estrategia para la reflexión y la mejora en las escuelas normales. México: SEP

SEP. (2003). Evaluación externa del programa de mejoramiento institucional de las escuelas normales públicas (PROMIN). México: SEP

SEP. (1997). Plan de estudios de la licenciatura en educación primaria 1997.México: SEP.

Soubal, C. S. (2008). La gestión del aprendizaje. Algunas preguntas y respuestas sobre en relación con el desarrollo del pensamiento en los estudiantes. polis. Revista de la Universidad Bolivariana 7(21). Recuperado de http://www.scielo.cl/pdf/polis/v7n21/art15.pdf

Tébar, B. L. (2008). El profesor mediador del aprendizaje. Magisterio. Recuperado en http://todoe com/magisterio-editor-editoo7152.html book.

Tejada, F. J. (agosto, 2009). Competencias docentes del profesorado. Revista de Currículum y Formación de Profesorado, 13(2), 1-15

Tobón, T. S, Pimienta J & García, J. A. (2010). Secuencias Didácticas: Aprendizaje y Evaluación de Competencias. México: Pearson.

Vygostsky, L. S. (1995). Pensamiento y lenguaje. Barcelona: Paidós

Referencias - Estilos educativos familiares y evaluación de sistemas educativos.

Cánovas, P. y Sahuquillo, P. (2011). El desarrollo de competencias parentales como factor de resiliencia. En Actas del XII Congreso Internacional de Teoría de la Educación. Barcelona: Universitat de Barcelona.

Canovas, P.; Sahuquillo Mateo, P. M.; Ciscar Cuñat, E. y Martínez Vázquez, C. (2014).Estrategias de intervención socioeducativa con familias: Análisis de la orientación familiar en los servicios especializados de atención a la familia e infancia de la Comunidad Valenciana. EducacionXX1, 17 (2), 265-288. doi: 10.5944/educxx1.17.2.11491

Cardona Sahuquillo, Mª Luisa, Perales Montolío, Mª Jesús, Jornet Meliá, Jesús M. (2010). La familia en la Evaluación de Sistemas Educativos en España. Ponencia presentada en el II Coloquio de la Red Iberoamericana de Investigación sobre la Docencia (RIIED), Valencia, Septiembre.

Cardona, L (2008). Análisis del papel de las familias en los estudios de evaluación de sistemas educativos. Introducción al estudio de validación de un cuestionario. Trabajo de Investigación. Doctorado en Intervención Educativa: métodos, evaluación, diagnóstico y orientación. Documento no publicado.

Cardona, M.L.; Perales, M.J. y Jornet, J.M. (2010). La medición de estilos educativos familiares en la evaluación de Sistemas Educativos. Ponencia presentada en el II Coloquio de la Red Iberoamericana de Investigadores sobre Evaluación de la Docencia (RIIED). Valencia, España.

Castro, J., Toro, J., Van der Ende, J., & Arrindell, W. A. (1993). Exploring the feasibility of assessing perceived parental rearing styles in Spanish children with the EMBU. International Journal of Social Psychiatry, 39, 47}57.

Ceballos, E. (2006). Dimensiones de análisis del diagnóstico en educación: el diagnóstico del contexto familiar. Relieve, 12, 1

Ceballos, E. y Rodrígo, M.J. (1998). Las metas y estrategias de socialización entre padres e hijos. En M.J. Rodrígo y J. Palacios (eds.) Familia y Desarrollo Humano. Madrid: Síntesis.

Coleman, J.S. et al (1966).Equality of educational opportunity.Washington,DC: Government Printing Office

De la Orden, A., y Jornet, J. M. (2012). La utilidad de las evaluaciones de sistemas educativos: el valor de la consideración del contexto. (2012). Bordón, 64(2), 69-88.

Gil Flores, J. (2014). Factores asociados a la brecha regional del rendimiento español en la evaluación PISA. Revista de Investigación Educativa, 32(2), 393-410.

Jornet, J. M., González-Such, J., y Perales, Mª. J. (2012). Diseño de cuestionarios de contexto para la evaluación de sistemas educativos: optimización de la medida de constructos complejos. (2012). Bordón, 64(2), 89-110.

Jornet, J. M., Perales, M. J., y Sánchez-Delgado, P. (2011). El Valor Social de la Educación: Entre la Subjetividad y la Objetividad. Consideraciones Teórico-Metodológicas para su Evaluación. Revista Iberoamericana de Evaluación Educativa, 4(1), 51-77. http://www.rinace.net/riee/numeros/vol4-num1/art3.pdf

Jornet, J.M.; García-García, M. y González Such, J. (2014). La evaluación de sistemas educativos. ¿Qué informaciones interesan a los colectivos implicados? Valencia: Publicaciones de la Universitat de València.

Ministerio de Educación, Cultura y Deporte (2014). Pisa 2012. Programa para la evaluación internacional de los alumnos. Informe español. Resultados y Contexto. Madrid: Ministerio de Educación, Cultura y Deporte.

OCDE (2013a).PISA 2012 Results: Ready to learn (volumen III): students’ engagement, drive and self-beliefs. OCDE Publishing. (http://dx.doi.org/ 10.1787/9789264201170-en)

OCDE (2013b).“The role of families in shaping students’ engagement, drive and self-beliefs”. En PISA 2012 Results: Ready to learn (volumen III): students’ engagement, drive and self-beliefs. OCDE Publishing. (http://dx.doi.org/ 10.1787/9789264201170-10-en)

OCDE. (2012). Education at a Glance 2012: OECD indicators. Paris: OCDE.

Palacios, J. (1999). La familia y su papel en el desarrollo afectivo y social. En F. López, I. Etxebarría, M. J. Fuentes y M. J. Ortiz (Coords.), Desarrollo afectivo y social (pp. 267-284). Madrid: Pirámide.

Perales, M. J., Cardona, L., y Gómez, D. (2009) Familia y transformación social. Análisis del papel de las familias en los estudios de evaluación de sistemas educativos. Introducción al estudio de validación de un cuestionario. En Actas del XIV Congreso de AIDIPE: Educación, investigación y desarrollo social. AIDIPE: Huelva.

Perales, M. J., González-Such, J., y Bisquert, M. (2012). Educational Family Styles (EVALEF): Instrument Validation and Lineament to Design Family Intervention Programs. Comunicación presentada en ECER 2012. The European Conference on Educational Research. Cádiz, 18-21 de septiembre.

Torío, S.; Peña, J.V. y Rodríguez, M.C. (2008). Estilos educativos parentales. Revisión bibliográfica y reformulación teórica. Teoría de la Educación, 20, 151-178.

Referencias - El modelo educativo y la evaluación docente como factores que influyen en la práctica docente en la Universidad Iberoamericana, Ciudad de México.

Coll, C. y Solé, I. (2001). Enseñar y aprender en el contexto del aula. En C. Coll, J. Palacios y A. Marchesi (Coords.), Desarrollo psicológico y educación 2. Psicología de la educación escolar (pp. 357-386). Madrid: Alianza.

Colomina, R., Onrubia, J. y Rochera, J. M. (2001). Interactividad, mecanismos de influencia educativa y construcción del conocimiento en el aula. En C. Coll, J. Palacios y A. Marchesi (Coords.), Desarrollo psicológico y educación 2. Psicología de la educación escolar (pp. 437-458). Madrid: Alianza.

Cullen, C. (1997). Crítica de las razones de educar. Temas de filosofía de la educación. Buenos Aires: Paidós.

Daniels, H. (2003). Vygotsky y la pedagogía. Buenos aires: Paidós.

De La Puente, Fernando S.J. Secretario General CONEDSI (S/F). La Pedagogía Ignaciana hoy, introducción histórica y pedagógica. En línea: consultado: 09 de mayo de 2014.

Engeström, Y. (1987). Learning by expanding: An activity-theoretical approach to developmental research .Helsinki: Orienta-Konsultit.

Engeström, Y. (1999). Activity theory and individual and social transformation.http://www.education.miami.edu/blantonw/mainsite/Componentsfromclmer/Component1/engestrom.html.

Engeström, Y. (2001). Expansive Learning at work: toward an activity theoretical reconceptualization. Journal of Education and Work, Vol. 14, No. 1.

Engeström, Y. (2000). Collaborative intentionality capital: object-oriented interagency in multiorganizational fields. Engeström, Y. (ed.) Research Report 5. Helsinki: center for Activity Theory and Developmental Work Research, University of Helsinki.

Engeström, Y., Engeström, R., and Kerosuo, H. (2003). The Discursive Construction of Collaborative Care. Applied Linguistic 24/3: 283-315. Oxford University Press.

Gagné, Robert Mills y Leslie J. Briggs. (1976) La planificación de la enseñanza: sus principios; traducción Jorge Brash; revisión técnica Emilio Ribes Iñesta. México: Trillas.

García, B., Loredo, J., Luna, E., Pérez, C., Reyes, R., Rigo, M. y Rueda, M. (2004). Algunas consideraciones sobre los aspectos teóricos involucrados en la evaluación de la docencia. En M. Rueda y F. Díaz-Barriga (Coords.), La evaluación de la docencia en la universidad. Perspectivas desde la investigación y la intervención profesional (pp. 13-86). México: CESU-UNAM-Plaza y Valdés.

García, B. (2009). Las dimensiones afectivas de la docencia. Revista digital universitaria, 1 de noviembre, Vol. 10 Número 11, ISSN: 1067-6079.

García, B.; Loredo, Javier; Luna, E. y Rueda, M. (2008). Modelo de Evaluación de Competencias Docentes para la Educación Médica y Superior. En: Revista Iberoamericana de Evaluación Educativa. Volumen 1, Número 3 (e). En línea: http://www.rinace.net/riee/numeros/vol1-num3_e/art8.pdf

Guzmán J. C. (2005) El profesor efectivo en educación superior. En F. Fierro, M. H. García. Pensamiento didáctico y práctica docente. México Universidad Nacional autónoma de México, Facultad de Psicología, División de estudios profesionales, Coordinación de Psicología Educativa

Hativa, N. (2000). Becoming a better teacher: A case of changing the pedagogical knowledge and beliefs of law professors. Instructional Science 28, 491-523.

Kaplún, M. (1987). El comunicador popular. Buenos Aires: Hvmanitas

Loredo, J. (Coord.). (2000). Evaluación de la práctica docente en educación superior. México: Porrúa.

Loredo, J., Romero, R., Inda, P. (2008) informe reporte final de investigación Clave 52676-H, Modelo Integral de la Evaluación de la Práctica Docente para el Posgrado de la Universidad Iberoamericana, México, D.F.

Postic, M. (1972). Observación y formación de los profesores. Madrid: Ediciones Morata.

Rompelmann, L. (2002). Affective Teaching. Lanham, MD: University Press of America, Inc.

Rueda B., M. y Torquemada, A. D. (2004). Algunas consideraciones para el diseño de un sistema de evaluación de la docencia en la universidad. En M. Rueda (Coord.), ¿Es posible evaluar la docencia en la universidad? Experiencias en México, Canadá, Francia, España y Brasil (pp. 29-37). México: UABJO-ANUIES.

Rueda, M. y Luna, E. (2008). La docencia universitaria y su evaluación. Revista Electrónica de Investigación Educativa, Especial. Consultado el día de mes de año, en: http://redie.uabc.mx/NumEsp1/contenido-np2008.html

Stufflebeam, D. L. y Shinkfield, A. J. (1987). Evaluación sistemática. Guía teórica y práctica. Madrid: Paidós-MEC.

Tuning América Latina (2007). Informe Final del Proyecto Tuning América Latina: Reflexiones y perspectivas de la Educación Superior en América Latina. Consultado: 26 de Febrero de 2010. En: http://tuning.unideusto.org/tuningal/index.php?option=com_docman&Itemid=191&task=view_category&catid=22&order=dmdate_published&ascdesc=DESC.

Universidad Iberoamericana (IBERO). (S/F). inspiración cristiana. [En línea]. Disponible: http://www.uia.mx/web/site/tpl-Nivel2.php?menu=mgInspiracion&seccion=mgInspiracion [2009, Mayo, 6].

Universidad Iberoamericana (IBERO) (2010). Marco conceptual para el diseño de planes de estudio del sistema universitario jesuita. Aprobado por el Consejo Académico del SUJ el 6 de agosto del 2010.

Vasilachis de Gialdino, Irene (2006). Estrategias de investigación cualitativa. Argentina: Gedisa.

Zabalza, M. A. (2003). Competencias docentes del profesor universitario, Calidad y desarrollo profesional. Madrid: Narcea

References - Meta-Evaluation of Systems for the Evaluation of Teaching.

Darling-Hammond, Wise, A. & Klein, S. (1999). A license to teach: Raising standards for teaching. San Francisco: Jossey-Bass.

Gullickson, A. (2009). Joint Committee on Standards for Educational Evaluation, In The Personnel Evaluation Standards. How to Assess Systems for Evaluating Educators. Michigan: SAGE.

Scriven, M. (1998). In Davis, R. (Ed.). Proceedings of the Stake Symposium on Educational Evaluation, (pp.13–24). Illinois: Urbana III.

Scriven, M. (2011). Evaluating Evaluations: A Meta-Evaluation Checklist. Memorandum to Claremont Graduate University. Retrieved from http://michaelscriven.info/images/EVALUATING_EVALUATIONS_8.1.11.pdf

Stake, R., Contreras, G. & Arbesú, I. (2012). Assessing the quality of a university—Particularly its teaching. In Secolsky, C. & Denison, B. (Eds.). Handbook on Measurement, Assessment, and Evaluation in Higher Education, (pp- 3-14). New York: Routledge.

Stenhouse, L. (1983). The concept of standards in the theory of education. In Authority, education and emancipation. London: Heinemann Education Books.

Referencias - Metaevaluación: herramienta para la valoración integral del proceso evaluativo docente de la UAEH.

Bezies, C. P., Elizalde, L. L. & Olvera L. B. I. (2005). Evaluación de profesores por alumnos, estudio expost facto para conocer si la época de aplicación de encuestas impacta en las valoraciones otorgadas: caso UAEH. VII Congreso Nacional de Investigación Educativa. México: Consejo Mexicano de Investigación Educativa y Universidad de Sonora.

Bezies, C. P., Elizalde, L. L. & Olvera, B. I. (2012). Recuento metodológico del proceso evaluativo docente en la UAEH. Un estudio de metaevaluación para visualizar y comparar el sistema. Revista Iberoamericana de Evaluación Educativa, 5 (2), 9-25. Recuperado de http://www.rinace.net/riee/numeros/vol5-num2/art1.pdf.

Díaz, L. F. (2001). La metaevaluación y su método. Revista de Ciencias Sociales, II-III (93), 171-192. Recuperado de http://www.redalyc.org/pdf/153/15309314.pdf

Elizalde, L. L., Pérez, L. C. G. & Olvera, L. B. I. (2008). Metaevaluación del proceso de evaluación docente. Reencuentro, 53, 113-124. Recuperado de http://redalyc.uaemex.mx/src/inicio/ArtPdfRed.jsp?iCve=34005310

Elizalde, L. L., Torquemada, G. A. D. & Olvera, L. B. I. (2010). Usos e impacto de la evaluación de la docencia en la Universidad Autónoma del Estado de Hidalgo: Resultados de la metaevaluación. Revista Iberoamericana de Evaluación Educativa, 3 (1e), 93-104. Recuperado de http://www.rinace.net/riee/numeros/vol3-num1_e.html

Fernández, S. J. (2008). Valoración de la calidad docente: El profesorado. Un modelo de evaluación circular. Madrid: UCM, Editorial Complutense.

Ferreres, P. V. S. & González, S. A. P. (2006). Evaluación para la mejora de los centros docentes. Madrid: PRAXIS.

García, S. E. (2000). Metaevaluación. Universidad Carlos III de Madrid.

González, R. T. (2000). Evaluación y gestión de la calidad educativa. España: Aljibe.

Gónzalez, C. J. A., Zacatenco, L. M. & Pérez, E. J. A. (2012). Innovación tecnológica en la aplicación de instrumentos para la evaluación de la práctica docente. Foro CENEVAL. Universidad Autónoma de Sinaloa.

Jiménez, J. B. (1999). Metaevaluación, rigor, mejora, ética y aprendizaje Evaluación de programas centros y profesores. España: Síntesis-Educación

Letichevsky, A. C., Vellasco, B.R.M.M., Tanscheit, R. & Castro, S. R. (2005). La categoría precisión en la metaevaluación: aspectos prácticos y teóricos en un nuevo enfoque. Ensaio: Avaliação e Políticas Públicas em Educação, 13 (47), 255-268. Recuperado de http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-40362005000200008

Rueda, B. M. (2008). La evaluación del desempeño docente en la universidad. Revista Electrónica de Investigación Educativa, Especial. Recuperado de http://redie.uabc.mx/NumEsp1/contenido-rueda.html.

Rueda, B. M. (2011). ¿Evaluar para controlar o para mejorar?. Valoración del desempeño docente en las universidades. México: IISUE. UNAM

Santos, G. M. Á. & Moreno O. T. (2004). ¿El momento de la metaevaluación educativa? Consideraciones sobre epistemología, método, control y finalidad. Revista Mexicana de Investigación Educativa, IX (23), 913-931. Recuperado de http://estudiosterritoriales.org/articulo.oa?id=14002307

Referencias - Metaevaluación de un sistema de evaluación docente en una Universidad Pública Mexicana.

Blackburn, R. T. y Lawrence J. (1995). Faculty at Work: Motivation, Expectation, Satisfaction. Baltimore: The Johns Hopkins University Press.

Brunner, J. J. (1991) La evaluación de la investigación científica. Universidad Futura, 3(8-9).

Bustelo, M. (2004). La evaluación de políticas públicas de igualdad de género en España. Madrid: Catarata.

Byrne, J. P. (1997). Academic Freedom Without Tenure? American Association for Higher Education New Pathways Working Paper Series, Inquiry #5, 1997.

Cardozo, M. (2006). La evaluación de políticas y programas públicos. El caso de los programas de desarrollo social en México. Colección Conocer para Decidir, Cámara de Diputados, México: Porrúa.

Cardozo, M. (2010). Sistematización de la experiencia de evaluación de Evalúa DF en 2008 (metaevaluación y autoanálisis). Consejo de Evaluación del Desarrollo Social del Distrito Federal Evalúa D.F. Recuperado el 22 de agosto de 2014 de http://www.evalua.df.gob.mx/files/transparencia/2010/met_inf_fin.pdf

Elizalde, L., Pérez, C., y Olvera, B. (2008). Metaevaluación del proceso de evaluación docente: Universidad Autónoma del Estado de Hidalgo. Reencuentro. Análisis de Problemas Universitarios. No. 53, pp. 113-124. Recuperado el 20 de agosto de 2014 de http://148.206.107.15/biblioteca_digital/articulos/3-303-4720qve.pdf

García, S. E. (2000). Metaevaluación. Universidad Carlos III de Madrid.

Hammermesh, D. S. (1994). Aging and Productivity, Rationality and Matching: Evidence From Economists, NBER Working Paper #4906, October.

Izquierdo, M. (1998). Políticas y experiencias de evaluación de académicos. Colección Pedagógica Universitaria. No. 30, pp. 35-78. Recuperado el 19 de agosto de 2014 de http://www.uv.mx/cpue/coleccion/N_30/políticas_y_experiencias_de_eval.htm

Levin, S. G., y Stephan P. E. (1991). Research productivity over the life cycle: Evidence for academic scientists, American Economic Review (March): 114-132.

McPherson, M.S., Schapiro, M. O (1999). Tenure Issues in Higher Education. The Journal of Economic Perspectives- JSTOR.

Metzger, W. P. (1990). The 1940 Statement of Principles on Academic Freedom and Tenure, 53 L. & Cont. Prob. 3.

Rueda, M. (2008). La evaluación del desempeño docente en la universidad. Revista Electrónica de Investigación Educativa. Recuperado el 17 de agosto de 2014 de http://www.scielo.org.mx/scielo.php?pid=S1607-40412008000300002&script=sci_arttext

Rees, A. y Smith, P. (1991). Faculty Retirement in the Arts and Sciences. Princeton: Princeton University Press.

Santos, M. y Moreno, T. (2004). ¿El momento de la metaevaluación educativa? Consideraciones sobre epistemología, método, control y finalidad. Revista mexicana de investigación educativa. COMIE. Vol. IX, No. 023, pp. 913-931. Recuperado el 20 de agosto de 2014 de http://www.oei.es/evaluacioneducativa/momento_metaevaluacion_educativa_santos_guerra.pdf

Scriven, M. (1991), Evaluation Thesaurus, Newbury Park: Sage Publications.

SEP. (1991). Evaluación de la Educación Superior. Modernización Educativa 1989-1994. Educación Superior. Lineamientos generales y estrategias para evaluar la educación superior. México: Secretaría de Educación Pública.

Sime, L. (1998). Metaevaluación: ir más allá de la evaluación para volver sobre ella. Educación. Vol VII, No. 14, pp. 199-216. Recuperado de http://revistas.pucp.edu.pe/index.php/educacion/article/viewFile/5228/5222

Stufflebeam, D.L. y Shinkfield, A.J., (1981), Meta-Evaluation: Concepts, Standards and Uses” en R. Berk., ed., Educational Evaluation Methodology: The State of the Art, Johns Hopkins.

Stufflebeam, D. (2008). The Personnel Evaluation Standards: How to assess systems for evaluating educators. Corwin Press, USA.

UNAM (2014). Artículo 3 constitucional. Constitución Política de los Estados Unidos Mexicanos. Instituto de Investigaciones Jurídicas. Universidad Nacional Autónoma de México. Recuperado el 31 de agosto de 2014 de http://info4.juridicas.unam.mx/ijure/fed/9/4.htm?s=

Referencias - Metaevaluación educativa: conceptualización, alcances y desafíos metodológicos.

Berro, E. G. (2012). Un caso práctico de meta-evaluación docente. Obtenido de Dialnet: http://dialnet.unirioja.es/servlet/articulo?codigo=3920862

Díaz, L. (2001). La Metaevaluación y su Método. Revista de Ciencias Sociales (Cr), 2-3(93), pp.171-192, Universidad de Costa Rica. http://www.redalyc.org/pdf/153/15309314.pdf

Dopico, L. (2003). Metaevaluación: ¿Por qué y para qué? Obtenido de Dialnet: http://www.sld.cu/galerias/pdf/sitios/prevemi/metaevaluacion.pdf

Fernández, J. (2008). Valoración de la Calidad Docente: El profesorado. Un modelo de evaluación circular. Editorial Complutense, S.A. Madrid. España

García, E. (2009). Diccionario Crítico de Ciencias Sociales. Terminología Científico-Social, Tomo 1/2/3/4, Ed. Plaza y Valdés, Madrid-México

García- Berro, E. y otros (2012). Un caso práctico de meta-evaluación docente: el manual de evaluación de la Universidad Politécnica de Cataluña. Aula Abierta, 40(2), pp.11-24. ICE. Universidad de Oviedo

Guerra, M. A. (2003). Metaevaluación de las escuelas: el camino del aprendizaje, del rigor, de la mejora y de la ética. Obtenido de Editorial Dossier: http://www.saber.ula.ve/handle/123456789/17004

Guerra, M. Á. (2004). ¿El Momento de la metaevaluación educativa? Consideraciones sobre epistemología, método, control y finalidad. Obtenido de Revista mexicana de Investigación Educativa: http://www.oei.es/evaluacioneducativa/momento_metaevaluacion_educativa_santos_guerra.pdf

Guerra- López, I. (2007). Evaluación y Mejora Continua. Conceptos y Herramientas Para la Medición y Mejora del Desempeño. Global Business Press: Estados Unidos

House, E. (1997). Evaluación, ética y poder. Ediciones Morata. Madrid. España

Mahechada, J. (2007). Una experiencia en metaevaluación de programas. Obtenido de Dialnet: http://cife.uniandes.edu.co/tesis/jorge_alberto_mahecha.pdf

Martinez, M. (Mayo de 1991). Metaevaluación de necesidades educativas. Obtenido de Dialnet: http://biblioteca.ucm.es/tesis/19911996/S/5/S5001701.pdf

Mella, O. (1998). Naturaleza y orientaciones teórico metodológicas de la investigación cualitativa. Recuperado el 2 de Octubre de 2012, de Investigación científica en ciencias sociales http://www.aristidesvara.net/pgnWeb/metodologia/disenos/metodo_cualitativo/invescualitativa_aristidesvara.pdf

Pacheco, J. (2010). Metaevaluación en sistemas nacionales de inversión pública. Publicación de las Naciones Unidas. Santiago de Chile

Rotger, B. (1990). Evaluación Formativa. Monografías para la reforma 9. Madrid: Cincel.

Sime, L. (2005). Evaluación educativa: Enfoques para un debate abierto. Serie: Cuadernos de Educación. Pontificia Universidad Católica del Perú. Centro de Investigaciones y Servicios Educativos- CISE

Santos Guerra, M. (1999). Metaevaluación: rigor, mejora, ética y aprendizaje, en Jiménez Jiménez. Madrid. Síntesis

Santos Guerra, M. (2004). ¿El Momento de la metaevaluación educativa? Consideraciones sobre epistemología, método, control y finalidad. Revista mexicana de Investigación Educativa, octubre-diciembre, 9(23). COMIE. Distrito Federal, México. Recuperado de http://www.oei.es/evaluacioneducativa/momento_metaevaluacion_educativa_santos_guerra.pdf

Santos Guerra, M. (2008). Hacer visible lo cotidiano. Teoría y Práctica de la evaluación cualitativa de los centros escolares. Editorial Akal. Madrid. España.

Referencias - Las concepciones de profesores universitarios sobre la función docente de supervisión en escenarios de práctica profesional en Psicología.

Association for Counselor Education and Supervision (ACES) (2011). Best Practices in Clinical Supervision. Consultado en http://www.acesonline.net/wp-content/uploads/2011/10/ACES-Best-Practices-in-clinical-supervision-document-FINAL.pdf

Ball, D., Thames, M. y Phelps, G. (2008). Content Knowledge for Teaching. What Makes It Special?. Journal of Teacher Education, 59 (5). Consultado en http://www.math.ksu.edu/~bennett/onlinehw/qcenter/ballmkt.pdf

Castaño, N., Prieto, C., Ruiz, E. y Sánchez, A. (1997). El profesor, tutor del prácticum: Propuesta de modelo. Revista electrónica universitaria de formación del profesorado, 1(0). Consultado en http://www.uva.es/aufop/publica/actas/viii/practica.htm

Correa, E. (2009). El supervisor de prácticas: Recursos para una supervisión eficaz. Revista pensamiento educativo, 44-45, pp. 237-254. Consultado en http://biblat.unam.mx/es/revista/pensamiento-educativo/articulo/el-supervisor-de-practicas-recursos-para-una-supervision-eficaz

Escartín, M., Lillo, M. Mira, J., Suarez E. y Palomar, M. (2013). El proceso de supervisión en las prácticas de trabajo social. Departamento de Trabajo Social y Servicios Sociales. Universidad de Alicante. Disponible en http://web.ua.es/es/ice/jornadas-redes/documentos/2013-comunicaciones-orales/334967.pdf

Fernández, S. (2010). Práctica y profesión en trabajo social. Relaciones académicas y proceso metodológico. Cuadernos de trabajo social, 23, pp. 229-246. Consultado en http://revistas.ucm.es/index.php/CUTS/article/viewFile/CUTS1010110229A/7483

Fierro, F. y García-Vigil. H. (2008). Las actividades prácticas universitarias en la formación del estudiante de psicología. En: J. Carlos (Comp.). La enseñanza de la psicología. Aportaciones de la Investigación para mejorar la docencia teórica-práctica de contenidos psicológicos. México: UNAM, Facultad de Psicología.

García-Cabrero, B., Loredo, J., Luna, E., Pérez, C., Reyes, R., Rigo, M. y Rueda, M. (2004). Algunas consideraciones sobre los aspectos teóricos involucrados en la evaluación de la docencia. En M. Rueda. y F. Díaz-Barriga, La evaluación de la docencia en la universidad. Perspectivas desde la investigación y la intervención profesional. México: Plaza y Valdés.

García-Cabrero, Loredo, J. y Carranza (2008). Análisis de la práctica educativa de los docentes: pensamiento, interacción y reflexión. Revista electrónica de investigación educativa. Consultado en http://redie.uabc.mx/index.php/redie/article/view/200/345

García Cabrero, B., Loredo, J., Luna, E. y Rueda, M. (2008). Modelo de evaluación de competencias docentes para la Educación Media y Superior. Revista Iberoamericana de Evaluación Educativa, 2008, 1 (3). Consultado en http://www.rinace.net/riee/numeros/vol1-num3_e/art8.pdf

García-Cabrero, B., García-Vigil, H. y Pineda, V. (2013). Calidad de la docencia y aprendizajes logrados por los alumnos: una relación compleja. Memorias del VII Congreso Internacional de Evaluación Formativa en Docencia Universitaria. Universidad de Valladolid, Segovia España.

García-Cabrero, B. (2013). Evaluar la docencia-evaluar a los docentes: Retos y complejidades. Seminario de evaluación formativa del desempeño docente. INEE.

García-Cabrero, B., Seda Santana, I., García-Vigil, H. y Martínez Sánchez, S. (2013). Reunión de trabajo acerca de la supervisión. Facultad de Psicología, UNAM.

García-Cabrero, B., Seda, I. y García-Vigil, H. (2013). Guía para la autoevaluación de la docencia y aprendizaje de los alumnos (GUIA-ADA). México: Facultad de Psicología, UNAM. Documento de circulación interna.

Hella, E. (2008), “Phenomenography and Variation Theory of Learning as Pedagogical Tools for Understanding Religion”, en Fritz Oser y Wiel Veugelers (eds.), Getting Involved: Global citizenship development and sources of moral values, Rotterdam, Sense Publishers, pp. 343-357.

Holley, W. (2005). Supervision: Using the evidence to support our practice. Weaving educational threads. Weaving educational practice, 6(2), 41-48.

Levant, R. (2005). Evidence based practice in psychology: President’s column, Monitor on Psychology, 36(2), 5.

Lobato, C. (2007). La supervisión de la práctica profesional socioeducativa. Revista psicodidáctica, 12 (1), pp. 29-50. Consultado en http://www.redalyc.org/articulo.oa?id=17512103

Marton, F. (1994). On the Structure of Teachers Awareness. En F. Carlgreen, G. Handal y S. Vaage. Teachers’ Minds and Actions: Research on Teachers’ thinking and Practice. London, Washington, D.C.: The Falmer Press, 28-42.

Shulman, L. S. (1986). Those who understand: Knowledge growth in teaching. Educational Researcher, 15(2), pp. 4-14.

Referencias - Desarrollo de un cuestionario de autoevaluación de la competencia de supervisión de clínica en medicina.

Deane, R. y Murphy, D. (2013). Student attendance and academic performance in undergraduate obstetrics/gynecology clinical rotations. The Journal of American Medical Association, 310(21), 2282–2288. doi:10.1001/jama.2013.282228

Durante, E. (2006). Algunos métodos de evaluación de las competencias: escalando la pirámide de Miller. Revista Hospital Italiano, 26 (2), 55-61. Recuperado de http://www.aspefam.org.pe/intranet/CEDOSA/metodo%20de%20evaluacion%20minicex.pdf

Falender, C. y Shafranske, E. (2004). Clinical supervision a competency-based approach. Washington, DC: American Psychological Association.

Fluit, C., Bolhuis, S., Grol, R., Laan, R. y Wensing, M. (2010). Assessing the Quality of Clinical Teachers. Journal of General Internal Medicine, 25(12), 1337–1345. Doi: 10.1007/s11606-010-1458-y

García-Cabrero, B., Loredo, J., Luna, E. y Rueda, M. (2014). Competencias docentes en educación media y superior. Desarrollo y validación de un Modelo de Evaluación. México: UABC-Juan Pablos Editor.

Haertel, G. D. (1993). A primer on teacher self-evaluation. Livermore, CA: EREAPA Associats.

Hamui, A., Lavalle, C., Díaz, A., Gómez, D., Carrasco, J. y Vilar, P. (2012). Las actividades académicas en contextos clínicos por especialidades: percepción de los estudiantes. Investigación en educación médica, 2(1), 25-36. Recuperado de http://riem.facmed.unam.mx/sites/all/archivos/V2Num01/05_AO_HAMUI.PDF

Harvey, G., Loftus-Hills, A., Rycroft-Malone, J.,Titchen, A., Kitson, A., McCormack, B. y Seers, K. (2002). Getting evidence into practice: the role and function of facilitation. Journal of Advanced Nursing, 37(6), 577–588.Recuperado de http://onlinelibrary.wiley.com/doi/10.1046/j.1365-2648.2002.02126.x/pdf

Health and Human Services. (s/f). Competencias para Supervisores Clínicos de tratamiento para abuso de drogas. Recuperado de http://www.attcnetwork.org/regcenters/productDocs/16/TAP21AManual.pdf

Hore, C. T., Lancashire, W. y Fassett, R. G. (2009). Clinical supervision by consultants in teaching hospitals. Medical Journal of Australia, 191(4).Recuperado de https://www.mja.com.au/journal/2009/191/4/clinical-supervision-consultants-teaching-hospitals

Kilminster, S. y Jolly, B. (2000). Effective supervision in clinical practice settings: a literature review. Medical education, 34 (1): 827-840. DOI: 10.1046/j.1365-2923.2000.00758.x

Lifshitz-Guinzberg, A. (2012). La enseñanza clínica en la era moderna. Revista de Investigación en Educación Médica, 1 (04). Recuperado de http://riem.facmed.unam.mx/sites/all/archivos/V1Num04/08_AR_LA_ENSENANZA_DE_LA_CLINICA.PDF

Luna, E. y Torquemada, A. (2008). Los cuestionarios de evaluación de la docencia por los alumnos: balance y perspectivas de su agenda. Revista Electrónica de Investigación Educativa. Recuperado de: http://redie.uabc.mx/NumEsp1/contenido-lunatorquemada.html

Milne, D. Aylott, H. Ftzpatrick, H. y Ellis. M. (2008). How does clinical supervision work? Using a “best evidence synthesis “Approach to construct a basic model of supervision. The Clinical Supervisor, 27(2) 170-190. Doi: 10.1080/07325220802487915

Santana, L., Lifshitz-Guinzberg, A., Castillo, J. y Prieto, S. (2013). El aprendizaje de la clínica. México. Recuperado de http://www.fundacionlegadopatronus.org/libro.pdf

Spencer, J. (2003). Learning and teaching in the clinical environment. British Medical Journal, 326, 591–594.

Wheeler, P. y Haertel, G. (1993). Resource handbook on performance assessment and measurement. A tool for students, practioners and policymakers. Berckeley, CA: The oul Press.

Wheeler, P. y Richards, K. (2007). The impact of clinical supervision on counselors and therapists, their practice and their clients. A systematic review of the literature. Couns Psychother Res, 7(1):54–65. Recuperado de http://www.ncbi.nlm.nih.gov/pubmedhealth/PMH0025383/

Anexo 1. Cuestionario de autoevaluación para supervisores clínicos en medicina.

El objetivo del presente cuestionario es obtener información valiosa sobre las actividades de supervisión clínica que desarrolla. Agradecemos su cooperación, y le solicitamos que responda con sinceridad y honestidad. Sus respuestas serán anónimas y confidenciales.

Referencias - Diseño y validación de instrumentos en el proceso de evaluación docente de la UAEH. Una experiencia metodológica en busca de mejora.

DeVellis, F. R. (1991). Scale development. Theory and applications. California: SAGE.

García, C. B., Loredo, E. J. & Carranza, P. G. (2008). Análisis de la práctica educativa de los docentes: pensamiento, interacción y reflexión. Revista Electrónica de Investigación Educativa, Especial, 1-15. Recuperado de http://redie.uabc.mx/NumEsp1/contenido-garcialoredocarranza.html

Ibar, M. G. (2002). Manual general de evaluación. España: OCTAEDRO-EUB

Luna, S. E. (2002). La participación de docentes y estudiantes en la evaluación de la docencia. México: Plaza y Valdes.

Morales, V. P., Urosa, S. B. & Blanco, B. A. (2003). Construcción de escalas de actitudes tipo likert. España: La muralla.

Muñiz, J. & Fonseca, P. E. (2008). Construcción de instrumentos de medida para la evaluación universitaria. Revista de Investigación en Educación, 5, 13-25. Recuperado de http://webs.uvigo.es/reined/

Poissant, H. (2004). La evaluación de la enseñanza universitaria. Algunas sugerencias para mejorar su optimización. En Rueda Beltrán, M. (Coord.), ¿Es posible evaluar la docencia en la universidad? (85- 109). México: ANUIES.

Reyes, P. E. P., Luna, S. E & Caso, N. J. (2014). Propiedades psicométricas del Cuestionario de Evaluación de la Competencia Docente. Revista Iberoamericana de Evaluación Educativa, 7(2e), 117-130. Recuperado de http://www.rinace.net/riee/numeros/vol7-num2e/art9.pdf

RIIED (2008). Reflexiones sobre el diseño y puesta en marcha de programas de evaluación de la docencia. Revista Iberoamericana de Evaluación Educativa, 1(3e), 124-136. Recuperado de http://www.rinace.net/riee/numeros/vol1-num3_e/reflections

Rueda, B. M. (2008). Presentación del documento de la Red Iberoamericana de Investigadores de la Evaluación de la Docencia (RIIED). Perfiles Educativos, 30 (122), 128-135.

Rueda, B. M. (2011) ¿Evaluar para controlar o para mejorar? Valoración del desempeño docente en las universidades. México, IISUE. UNAM

Rueda, B. M. & García, S. S. (2013). La evaluación en el campo de la educación superior, Perfiles Educativos, XXXV (Número especial) ,7-16.

Referencias - La reflexión como herramienta para la evaluación y la mejora de la práctica docente en la universidad.

Brockbank, Anne y McGill, Ian (2002). Madrid. Morata.

Colomina, R. (2002) Interactividad, mecanismos de influencia educativa y construcción del conocimiento en el aula en Coll et al. (2002). Desarrollo psicológico y educación. 2 Psicología de la educación escolar. Madrid: Alianza. Dewey, J. (1989) Cómo pensamos. Paidós. Barcelona.

Díaz, R. (2001) Trabajo Docente y diferencia cultural. Lecturas antropológicas para una identidad desafiada. Miño y Dávila. Septiembre. Buenos Aires.

Pozo, J.I et al. (1999) Un estudio de las concepciones del profesorado sobre los procesos de aprendizaje de sus alumnos: la formación del profesorado y el cambio conceptual. Madrid: Universidad Autónoma de Madrid.

Pozo, C., Alonso, E., y Hernández, S. (2004) Teoría, Modelos y Métodos en Evaluación de Programas. España: Grupo Editorial Universitario.

Shulman, L. (1989) Paradigmas y programas de investigación en el estudio de la enseñanza: una perspectiva contemporánea. pp. 9-84. En M. C. Wittrock. La investigación en la enseñanza I. Barcelona: Paidós.

Schön, D. (1998) El profesional reflexivo, Cómo piensan los profesionales cuando actúan. Madrid: Paidós.

Referencias - Evaluación de la docencia: una posibilidad de mejora permanente en la División de estudios profesionales de la ENEO-UNAM.

Díaz Barriga, Ángel; (1998). La investigación en el campo de la didáctica. Modelos históricos. Perfiles Educativos, enero-junio.

Flores, R. (1999). Evaluación Pedagógica y Cognición. McGrawHill, Colombia.

Rueda Beltrán Mario y Díaz y Díaz Barriga Arceo Frida.Compiladores (2000). Evaluación de la docencia. Perspectivas actuales. IISUE-UNAM. México.

Rueda Beltrán Mario.Coordinador. (2008). La evaluación de los profesores como recurso para mejorar su práctica. IISUE-UNAM. México.

Rueda Beltrán Mario.Coordinador (2011). ¿Evaluar para controlar o para mejorar?. Valoración del desempeño docente en las universidades. IISUE-UNAM. México.

Sacristán, J. Gimeno y Pérez Gómez A.I. (2002). Comprender y transformar la enseñanza. Décima edición. Morata. España.

*Comentarios vertidos por las participantes en el Seminario de reflexión de la práctica docente, realizado en la ENEO-UNAM.

Referencias - Análisis de los resultados de un proceso de validación de indicadores de contexto que podrían afectar el desarrollo de la docencia.

Bakieva, M., Jornet, J. M , y Leyva, Y. E. (2013). Colegialidad docente: Un estudio comparativo (España/México) de validación de constructo para el diseño de un instrumento de evaluación. Ponencia presentada en el IV Coloquio de la Red Iberoamericana de Investigadores en Evaluación de la Docencia (RIIED), celebrado en Lima, Perú.

Canales, A., Leyva, Y. E., Luna, E. y Rueda, M. (2014), Análisis de las condiciones contextuales para el desarrollo de la docencia. En Juan Carlos Rodríguez Macías (Coord.) Aportaciones metodológicas a la evaluación a gran escala del aprendizaje y su contexto. Guadalajara, Jalisco. Editorial Universitaria, Universidad de Guadalajara.

COMIE (2013), Colección Estados del Conocimiento 2002-2011. Educación y ciencia: políticas y producción del conocimiento, México, COMIE.

Delgado, A. M. (Coord) (2006), Evaluación de las competencias en el espacio europeo de educación superior. Barcelona: J. M. Bosch Editor.

De Miguel, M. (Dir) (2006), Metodologías de enseñanza y aprendizaje para el desarrollo de competencias. Orientaciones para el profesorado universitario ante el espacio europeo de educación superior. Madrid: Alianza Editorial.

Jornet, J. M., Carmona, C. y Bakieva, M. (2012). Hacia una Definición del Constructo de Colegialidad Docente: Estrategias Metodológicas de Evaluación. Revista Iberoamericana de Evaluación Educativa, 5 (1e), pp.179-185. Consultado el 8 de Enero de 2013 en: http://www.rinace.net/riee/numeros/vol5-num1_e/art12.pdf

Kreber, C. (2001). Conceptualizing the scholarship of teaching and identifying unresolved issues: the framework for this volume. New directions for teaching and learning, No. 86, pp. 1-18.

López, J. y Sánchez, M. (2004), La cultura institucional. En Moreno Olmedilla, J.M. Organización y gestión de centros educativos. Madrid: Universidad Nacional de Educación a Distancia, 125-159.

Leyva, Y. (En prensa) Validación lógica de indicadores de contexto que podrían afectar el desarrollo de la docencia en Universidades Iberoamericanas.

Montenegro, A. I. (2007), Evaluación del desempeño docente. Fundamentos, modelos e instrumentos. Colombia, Cooperativa Editorial Magisterio.

Monzón, G. R. (2002), Factores internos y externos escolares que condicionan la calidad del proceso enseñanza – aprendizaje, en los institutos por cooperativa del ciclo básico del nivel medio, de la jornada vespertina, en el municipio de Totonicapán. Tesis: Universidad de San Carlos de Guatemala.

Rueda, M. (2010). La evaluación del desempeño docente: consideraciones desde el enfoque por competencias. Revista Electrónica de Investigación Educativa, 11(2). En: http://redie.uabc.mx/vol11no2/contenido-rueda3.html

Rueda, M. Luna, R. Canales, A. y Leyva, Y. (2012). Informe parcial del proyecto “Estudio de las prácticas y condiciones institucionales para el desarrollo de la docencia en universidades iberoamericanas”.

Sánchez, M. y López, J. (2010). Culturas institucionales que facilitan y dificultan la mejora de la escuela. Profesorado. Revista de currículum y formación del profesorado. Vol. XIV, núm. 1, pp. 93-110. Disponible en: http://www.ugr.es/local/recfpro/rev141ART5.pdf

UNESCO/OREALC, (2012). Criterios para la elaboración de políticas docentes en la región de América Latina y el Caribe (Borrador para discusión). Oficina Regional de Educación de la UNESCO para América Latina y el Caribe, Santiago. http://www.unesco.cl.

Referencias - Análisis de los resultados de un proceso de validación de indicadores de contexto que podrían afectar el desarrollo de la docencia.

Backhoff, E., Bouzas, A., González-Montesinos, M., Andrade, E., Hernández, E., y Contreras, C. (2008). Factores asociados al aprendizaje de estudiantes de 3º de primaria en México (1ª ed.). México D.F.: Instituto Nacional para la Evaluación de la Educación (INEE).

Baer, J. (1999). The effects of family structure and SES on family processes in early adolescence. Journal of Adolescence, 22(3), 341-54.

Bericat, E. (1998). La integración de los métodos cuantitativo y cualitativo en la investigación social. Significado y medida. Barcelona: Ariel.

De la Orden, A., y Jornet, J. M. (2012). La utilidad de las evaluaciones de sistemas educativos: el valor de la consideración del contexto. (2012). Bordón, 64(2), 69-88.

González-Montesinos, M. J., y Backhoff, E. (2010). Validación de un cuestionario de contexto para evaluar sistemas educativos con Modelos de Ecuaciones Estructurales. RELIEVE, 16(2). http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_1.htm

Hyrkäs, K., Appelqvist-Schmidlechner, K., y Oksa, L. (2003). Validating an instrument for clinical supervision using an expert panel. International Journal of nursing studies, 40 (6), 619 -625.

Jornet, J. M., y Suárez, J. M. (1989). Evaluación referida al criterio. Construcción de un test criterial de clase. En Víctor García Hoz, Problemas y métodos de investigación en educación personalizada (pp. 419-443). Madrid: Rialp.

Jornet, J.M., y Suárez, J.M. (1996). Pruebas estandarizadas y evaluación del rendimiento: usos y características métricas. Revista de Investigación Educativa, 14 (2), 141-163.

Jornet, J.M., y González Such, J. (2009). Evaluación criterial: determinación de estándares de interpretación (EE) para pruebas de rendimiento educativo. Estudios sobre Educación (ESE), 16, 103-123.

Jornet, J. M. (2010). Dimensiones docentes y cohesión social: reflexiones desde la evaluación. Ponencia presentada en el II Coloquio de la Red Iberoamericana de Investigación sobre la docencia (RIIED). Valencia: Universitat de València.

Jornet, J. M., Perales, M. J., y Sánchez-Delgado, P. (2011). El Valor Social de la Educación: Entre la Subjetividad y la Objetividad. Consideraciones Teórico-Metodológicas para su Evaluación. Revista Iberoamericana de Evaluación Educativa, 4(1), 51-77. http://www.rinace.net/riee/numeros/vol4-num1/art3.pdf

Jornet, J. M., López-González, E., y Tourón, J. (2012). Evaluación de sistemas educativos: teoría y experiencia. Bordón, 64(2), 9-11.

Jornet, J. M., González-Such, J., y Perales, Mª. J. (2012). Diseño de cuestionarios de contexto para la evaluación de sistemas educativos: optimización de la medida de constructos complejos. (2012). Bordón, 64(2), 89-110.

Jornet, J. M. (2012). Dimensiones Docentes y Cohesión Social: Reflexiones desde la Evaluación. Revista Iberoamericana de Evaluación Educativa, 5 (1e), 349-362. http://www.rinace.net/riee/numeros/vol5-num1_e/art27.pdf

Jornet, J.M., González-Such, J., y Perales, Mª J. (Eds.) (2013). Investigación evaluativa: Una perspectiva basada en la complementariedad metodológica (cuantitativa-cualitativa). Perú: CREA.

McGartland, D., Berg, M., Tebb, S. S., Lee, E. S., y Rauch, S. (2003). Objectifying content validity: Conducting a content validity study in social work research. Social Work Research, 27 (2), 94-104.

OCDE (2010). Regards sur l’éducation 2010. Les indicateurs de l’OCDE. París: OCDE.

OCDE. (2011). Education at a Glance 2011: OECD indicators. Paris: OCDE.

OCDE. (2012). Education at a Glance 2012: OECD indicators. Paris: OCDE.

OCDE. (2013). Education at a Glance 2013: OECD Indicators. Paris: OCDE.

Orellana, N., Almerich, G., y Suárez, J. M. (2010). La investigación en Educación Social. Reflexiones sobre su práctica. Valencia: Palmero Ediciones.

Pérez, C. (2001). Técnicas Estadísticas con SPSS. Madrid: Prentice Hall.

Pérez, A., Ramos, G., y López, E. (2009). Diseño y análisis de una escala para la valoración de la variable clima social aula en alumnos de Educación Primaria y Secundaria. Revista de Educación, 350, 221-252.

Ruiz, G. (2009). La calidad del sistema educativo mexicano desde los resultados de evaluaciones nacionales. El aprendizaje en matemáticas. Revista Iberoamericana de Evaluación Educativa, 2(1), 74-89.

Sancho, C., Jornet, J., y Perales, M. J. (2013). Valor Social Subjetivo de la Educación: docencia y resultados escolares. Ponencia presentada en el IV Coloquio de la Red Iberoamericana de Investigadores sobre la Evaluación de la Docencia (RIIED). Lima: Pontificia Universidad Católica del Perú.

Sancho, C. (2013). Validación de constructo de un instrumento para evaluar el valor social subjetivo de la educación en la comunidad educativa. Trabajo fin de Máster (inédito). Valencia: Universitat de València, MIDE.

Willms, J. D. (2006). Learning Divides: Ten Policy Questions About the Performance and Equity of Schools and Schooling Systems. Montreal: UNESCO.

Referencias - El desempeño docente. Análisis de un instrumento

Añorga, J. (2006). Leyes Principios Educación Avanzada Proceso de Mejoramiento Profesional y Humano. En soporte magnético, 2006.

Arnal, J. (1992). Investigación educativa. Fundamentos y metodología. Barcelona (España): Labor.

Esteve, J.M.: “Las competencias, los valores y las emociones de los profesores”, Seminario Internacional. Organización de Estados Iberoamericanos. Fundación S.M. Lima, Perú, (2009).

Cuenca, R., Montero, C., Ames, P., Rojas, V. (2011). Hacia una propuesta de criterios de buen desempeño docente. Estudios que aportan a la reflexión, al diálogo y a la construcción concertada de una política educativa. Consejo Nacional de Educación. Perú: CECOSAMI Pre-Prensa e Impresión Digital S.A. www.cne.gob.pe.

Cronbach. L.J. 1951. Coefficient Alpha and the Internal Structure of Tests. Psychometrika, 16, 3, 297-334.

Day, C. (2007) Pasión por enseñar: La identidad personal y profesional del docente y sus valores. Madrid, España: 2ª edición, NARCEA, S. A. de Ediciones.

Garreta, J. y Llevot, N. (2007). La relación familia- escuela: ¿Una cuestión pendiente? Lleida: Ediciones de la Universitat de Lleida.

Gordillo, Mª.V. (1987). La satisfacción profesional del profesorado: Consecuencias para la orientación educativa, en Villa, A. (Coord.) Perspectivas y problemas de la función docente. II Congreso Mundial Vasco. Madrid, Narcea.

Ledo Royo, C. T. (2007). Un enfoque creativo y vivencial como vía de superación para el Metodólogo General Integral de Secundaria Básica. Tesis presentada en opción al Grado científico de Doctor en Ciencias Pedagógicas. Santiago de Cuba.

Linares, O. L. y Gutiérrez, M. R. E. (2010). Satisfacción laboral y percepción de salud mental en profesores. Revista Mexicana de Investigación en Psicología, 2 (1), pp. 31 – 36.

Marcelo, C. y Vaillant, D. (2009). Desarrollo Profesional Docente. Madrid, España: NARCEA, S.A. de Ediciones.

Marchesi, U. A. (2007). Sobre el bienestar de los docentes. Competencias, emociones y valores. Madrid: Alianza Editorial.

Maslach, C. y Jackson, S. E. (1986). Maslach Burnout Inventory. Palo Alto, CA: Consulting Psychlogists Press.

Merz, J. (1979) Wo drückt der Schuh am meisten? Empirische Befunde zur subjektiven Berufsbelastung von Lehrern. Bayerische Schule, 32, 13-16

Moya, A.M. (2010). La relación Profesor – Alumno. Revista Digital. Innovación y experiencias Educativas. No.27.

Olivero, N. (2007). Revista Iberoamericana de Educación (OEI), Agosto 2007.

Ponce, Milián, Z. (2005). Tesis presentada en opción al grado científico de Doctor en Ciencias Pedagógicas. Instituto Superior Pedagógico “Enrique José Varona”.

Remedios, J. (2005). Desempeño, creatividad y evaluación de los docentes en el contexto de los cambios educativos de la escuela cubana. Curso 75. Pedagogía 2005. Ciudad de La Habana.

Tenti, E. (2005) La Condición Docente. Análisis comparado de la Argentina, Brasil, Perú y Uruguay. Buenos Aires: Fundación OSDE.

Ulizarna, J.L. 1996. Evaluación de centros y satisfacción en el trabajo: un estudio de un caso de un centro de F.P. Tesis Doctoral. Universitat de Valencia.

Vaillant, D. y Rossel, C. (2006) Maestros en Latinoamérica: hacia una radiografía de la profesión. Santiago de Chile: PREAL.

Referencias - Validación de un cuestionario sobre las actitudes, conocimientos y prácticas de los docentes de la ciudad de Esmeraldas (Ecuador) ante la Educación Inclusiva.

Bisquerra, R. (2009). Metodología de la investigación educativa. Madrid: La Muralla.

Fernández Prados, J. S., Pérez Meléndez, C., y Rojas Tejada, A. J. (1998). Investigar mediante encuestas: Fundamentos teóricos y aspectos prácticos. Madrid: Síntesis.

Fox, D.J. (1981). El proceso de investigación en educación. Pamplona: Universidad de Navarra.

Hernández, R.: Fernández, C. y Baptista, P. (2006). Metodología de la investigación. México: Mc Graw Hill.

González, J. y Jornet, J.M. (2012). InnovaMIDE. Universidad de Valencia: Valencia. Extraído de http://www.uv.es/innovamide/spss/ (15.10.2013).

Kerlinger, F. (1984). Enfoque conceptual de la investigación del comportamiento. México: Interamericana.

Lukas, J.F. y Santiago, K.(2009). Evaluación educativa. Madrid: Alianza Editorial.

Ainscow, M., y Booth, T. (2000). Guía para la evaluación y mejora de la educación inclusiva. Desarrollando el aprendizaje y la participación en las escuelas. Index for inclusion. Bristol: CSIE.

Referencias - Validación de un cuestionario sobre las actitudes, conocimientos y prácticas de los docentes de la ciudad de Esmeraldas (Ecuador) ante la Educación Inclusiva.

Aleamoni, L. M. (1999). Student rating myths versus research facts from 1924 to 1998. Journal of Personnel Evaluation in Education, 13, 153-166.

Bezies, P., Elizalde, L. y Olvera, B. (2012). Recuento metodológico del proceso evaluativo docente en la UAEH. Un estudio de metaevaluación para visualizar y comparar el sistema. Revista Iberoamericana de Evaluación Educativa, 5 (2), 9-25.

Clayson, D. E. (2009). Student evaluations of teaching: Are they related to what students learn? A metaanalysis and review of the literature. Journal of Marketing Education, 31 (1), 16-30.

Doyle, K. O. (1983). Evaluating teaching. Lexington, MA: Lexington Books.

González Montesinos, M. J. (2008). El análisis de reactivos con el Modelo de Rasch. Manual Técnico A. México, D. F. Universidad de Sonora.

Kogan, L. R., Schoenfeld-Tacher, R. y Hellyer, P. W. (2010). Student evaluations of teaching: Perceptions of faculty based on gender, position, and rank. Teaching in Higher Education, 15 (6), 623-636.

Kulik, J. A. (2001). Student ratings: Validity, utility, and controversy. New Directions for Institutional Research, 109, 9-25.

Marsh, H. W. (2007). Students’ evaluations of university teaching: Dimensionality, reliability, validity, potential biases and usefulness. En R.P. Perry and J. C. Smart (Eds.), The Scholarship of Teaching and Learning in Higher Education: An Evidence-Based Perspective (pp. 319-383). Springer.

Marsh, H., Ginns, P., Morin, A., Nagengast, B. y Martin, A. (2011). Use of student ratings to benchmark universities: Multilevel modeling of responses to the Australian Course Experience Questionnaire (CEQ). Journal of Educational Psychology 103 (3), 733-748.

Neath, I. (1996). How to improve your teaching evaluations without improving your teaching. Psychological Reports, 78, 1363-1372.

Neumann, R. (2000). Communicating student evaluation of teaching results: Rating interpretation guides. Assessment and Evaluation in Higher Education, 25 (2), 121-134.

Pounder, J. S. (2007). Is student evaluation of teaching worthwhile? An analytical framework for answering the question. Quality Assurance in Education, 15 (2), 178-191.

Seldin, P. (1993). The use and abuse of student ratings of professors. The Chronicle of Higher Education, 39 (46), 40.

Stark-Wroblewski, K., Ahlering, R. F. y Brill, F. M. (2007). Toward a more comprehensive approach to evaluating teaching effectiveness: Supplementing student evaluations of teaching with pre-post learning measures. Assessment and Evaluation in Higher Education, 32, 403-415.

Theall, M. y Franklin, J. L. (2000). Creating responsive student ratings systems to improve evaluation practice. New Directions for Teaching and Learning, 83, 95-107.

Wilhelm, W. B. y Comegys, C. (2004). Course selection decisions by students on campuses with and without published teaching evaluations. Practical Assessment, Research & Evaluation, 9 (16). Consultado el 17 de abril del 2012 de: http://pareonline.net

Wilson, R. (1998). New research casts doubt on value of student evaluations of professors. The Chronicle of Higher Education, 44 (19), 12-14.

Wolfer, T. y Johnson, M. (2003). Re-evaluating student evaluation of teaching: The Teaching Evaluation Form. Journal of Social Work Education, 39, 111-121.

Anexo 1. Universidad de Valencia departamento métodos de investigación y diagnóstico en educación. Doctorado en intervención educativa.

Referencias - Construcción de un instrumento de medición orientado a la identificación de perfiles profesionales docentes.

Arbesú, I. & Argumedo, G. (2010). Diseño e instrumentación de portafolios para evaluar la docencia. Observar, 4, 28-44.

Barr, S. (1935). The validity of certain instruments employed in the measurement of teaching ability. In H. M. Walker (Ed.). The Measurement of Teaching Efficiency. New York: Macmillan, pp. 71-141.

Barr, S. & Emans, M. (1930). What qualities are prerequisite to success in teaching?. Nation’s Schools, 6, 60-64.

Boyce, C. (1915). Methods for measuring teachers’ efficiency. In the Fourteenth Yearbook on the National Society for the Study of Education (Part II). Bloomington, III.: Public School Publishing Company.

Cano, E. (2005). El portafolios del profesorado universitario: un instrumento para la evaluación y para el desarrollo profesional. Barcelona: OCTAEDRO. ICE UB.

Charters, W. y Waples, D. (1929). The commonwealth teacher training study. Chicago: Chicago. University Press.

Ferrando, P. J., & Anguiano-Carrasco, C. (2010). El análisis factorial como técnica de investigación en Psicología. Papeles del Psicólogo, 31(1), 18-33.

Fledman, K. (1997). Identifying exemplary teachers and teaching: evidence from student ratings. In Perry y Smart (comps). Effective Teaching in Higher Education: Research and Practice. New York. Agathon Press: 368 – 395.

García, J. (2000). Las dimensiones de la efectividad docente, validez y confiabilidad de los cuestionarios de evaluación de la docencia: síntesis de investigación internacional. En Rueda & Díaz Barriga (Eds.), Evaluación de la docencia (pp. 41-62). México D.F.: Paidós.

García, J. (2008). La investigación sobre efectividad docente en Estados Unidos y el uso de los cuestionarios de evaluación. En Rueda (Coord.). La evaluación de los profesores como recurso para mejorar su práctica (39 – 56). México D.F.: Paidós.

Gónzalez. A. (1980). El perfil del profesor eficaz como base para la evaluación de los programas de formación del profesorado: problemas y perspectivas. En La investigación pedagógica y la formación de profesores. Madrid: C.S.I.C.

Guzmán, J. (2011). La calidad de la enseñanza en educación superior ¿Qué es una buena enseñanza en este nivel educativo?. Perfiles Educativos. XXXIII, 129 – 141.

Hair, J. F., Black, W. C., Babin, B. J., & E.Anderson, R. (2010). Multivariate Data Analysis (Seventh Edition ed.). Upper Saddle River, New Jersey: Prentice Hall.

Holgado–Tello, F., Chacón–Moscoso, S., Barbero–García, I., & Vila–Abad, E. (2010). Polychoric versus Pearson correlations in exploratory and confirmatory factor analysis of ordinal variables. Quality & Quantity, 44(1), 153-166. doi: 10.1007/s11135-008-9190-y

Johnson, T. & Ryan, K. (2000). A comprehensive approach to the evaluation of college teaching. New Directions for Teaching and Learning, 2000(83), 109-123.

Knight, P. (2005). El profesorado de educación superior. Formación para la excelencia. Madrid: Narcea.

Lorenzo-Seva, U. (1999). Promin: A Method for Oblique Factor Rotation. Multivariate Behavioral Research, 34(3), 347-365. doi: 10.1207/s15327906mbr3403_3

Luna, E. (2006). Aspectos implícitos sobre la enseñanza reflejados en los cuestionarios de evaluación de la docencia. En Rueda & Díaz Barriga (Eds.), Evaluación de la docencia: perspectivas actuales (pp. 63-83). México D.F. : Paidós.

Margalef, L; Canabal, C, e Iborra, A. (2006). Transformar la docencia universitaria: una propuesta de desarrollo profesional basada en estrategias reflexivas. Perspectiva Educacional, 48. 73 – 89.

Montenegro, I. (2011). Evaluación del desempeño docente. Fundamentos, modelos e instrumentos. (3ª Ed.) Bogotá: Aula Abierta Magisterio.

Montoya, J. (2012, abril). Modelos de evaluación docente en la universidad: pasado, presente y futuro. Conferencia presentada en la IV Congreso de Evaluación de la función docente. Temuco. Chile.

Murillo, J. (2007). Evaluación del desempeño y carrera profesional docente. Un estudio comparado entre 50 países de América y Europa. Santiago: OREALC/UNESCO

Osgood, C. E., Suci, G. J., & Tannenbaum, P. H. (1957). The measuarement of meaning. Urbana-Champaing: University of Illinois Press.

Prieto, L. (2007). Autoeficacia del profesor universitario. Eficacia percibida y práctica docente. Madrid: NARCEA.

Prieto, L. (2008) (Coord.). La enseñanza universitaria centrada en el aprendizaje. Estrategias útiles para el profesorado. Barcelona: Octaedro. Ice.. Universidad de Barcelona.

Remmers, H; Shock W, y Kelly, E. (1927). An empirical study of the validity of the Spearman-Brown formula as applied to the purdue rating scale. The Journal of Educational Psychology. 18: 187 – 195.

Rueda, M. (2006). Evaluación de la labor docente en el aula universitaria. Ciudad de México: Universidad Nacional Autonoma de Mexico. Centro de Estudios Sobre La Universidad

Rueda, M. (2008) (Coord.). La evaluación de los profesores como recurso para mejorar su práctica. Ciudad de México. IISUE.

Rueda Beltrán, M. (2008). Reflexiones sobre el diseño y puesta en marcha de programas de evaluación de la docencia. Perfiles Educativos, 1(3e), 164-168.

Rueda, M. (2011). (Coord.) ¿Evaluar para controlar o para mejorar? Valoración del desempeño docente en las universidades. Ciudad de México. IISUE.

Rueda, M. y Díaz Barriga, F. (Comp.) (2006) Evaluación de la docencia. Perspectivas actuales. Ciudad de México. PAIDOS EDUCADOR.

Rueda, M. y Díaz Barriga, F. (Coord.) (2011). La evaluación de la docencia en la universidad, perspectivas desde la intervención profesional. (2ª Ed.). Ciudad de México. IISUE.

Rueda, M. y Diego de, M. (2012). Las políticas de evaluación de los académicos universitarios. Perfiles Educativos. XXXIV, 93 – 106.

Salazar, J. (2003, diciembre). La evaluación docente su camino recorrido: alcances y desafíos. Conferencia presentada en el Congreso Internacional de Evaluación de la Función Docente. Temuco. Chile.

Salazar, J. (2007, agosto). Algunas reflexiones sobre evaluación docente desde la formación inicial o continua como elemento referencial. Intervención en mesa de expertos en el II Congreso Internacional de Evaluación de la Función Docente. Temuco. Chile.

Salazar, J. (2008). Diagnóstico preliminar sobre evaluación de la docencia universitaria: una aproximación a la realidad en las universidades públicas y/o estatales de Chile. En: IV Coloquio Iberoamericano sobre evaluación de la docencia. Universidad Nacional Autónoma de México. Instituto de Investigaciones Sobre la Universidad y la Educación. Red de Investigadores sobre Evaluación de la Docencia. 123 – 151.

Salazar, J. (2009, noviembre). Evaluación de la Función docente: logros del pasado, desafíos del futuro. Conferencia presentada en el III Congreso Internacional de Evaluación de la Función Docente. Temuco. Chile.

Salazar, J. (2010). Encuesta de satisfacción estudiantil v/s cultura evaluativa de la docencia. En: Revista Iberoamericana de Evaluación Educativa. V.3 (e), Nº 1. 120 - 132.

Salazar, J. (2012, abril). Los nudos de la evaluación docente: La autoevaluación y su espacio de reflexión pedagógica. Conferencia presentada en el IV Congreso Internacional de Evaluación de la Función Docente. Temuco. Chile.

Salazar, J: Salazar, P; Pesci, G; Páez, R; Coloma, C y Mendivil, L. (2014). La evaluación docente: una mirada desde el ejercicio profesional de los egresados. Revista Iberoamericana de Evaluación Educativa, 7(2), 157-169.

Scriven, M. S. (1988). Duty-based teacher evaluation. Journal of Personnel Evaluation in Education, 1(4), 319-334.

Scriven, M. S. (1995). A Unified Theory Approach to Teacher Evaluation. Studies in Educational Evaluation, 21, 111-129.

Shapiro, A., & Berge, J. F. (2002). Statistical inference of minimum rank factor analysis. Psychometrika, 67(1), 79-94. doi: 10.1007/bf02294710

Shulman, L. (2001). Conocimiento y enseñanza. Estudios Públicos 83 (invierno), 163 – 196.

Stake, R. Contreras, G. y Arbesú, I. (2011). Evaluando la calidad de la universidad, particularmente su docencia. Perfiles Educativos. XXXII, 155 – 168.

The Carnegie Commission on Higher Education. (1973). A Classification of Institutions of Higher Education Carnegie Commission. New York: Carnegie Foundation for the Advancement of

Teaching. Timmerman, M. E., & Lorenzo-Seva, U. (2011). Dimensionality assessment of ordered polytomous items with parallel analysis. Psychological Methods, 16(2), 209-220. doi: 10.1037/a0023353

Uniandes (Producer). (2011). M. Scriven: El estado del arte de la evaluación de los profesores: fallas en la valoración de los pares, valoraciones de los estudiantes y mejoras del aprendizaje como base para la evaluación. RIIED: III Coloquio internacional.

Valdés, H. (mayo, 2002). La evaluación del desempeño docente. Ponencia presentada al Seminario Internacional “Profesionalismo docente y calidad de la educación”. Santiago. Chile.

Villar, L. (2005). Programa para la mejora de la docencia universitaria. Madrid: Pearson Prentice Hall.

Zumbo, B. D., Gadermann, A. M., & Zeisser, C. (2007). Ordinal V ersions of Coefficients Alpha and Theta for Likert R ating Scales. Journal of Modern Applied Statistical Methods, 6(1), 21-29.

Referencias - Percepción de estudiantes universitarios del proceso de evaluación docente, un estudio correlacional.

Cashin, W. E. (1990). Student do rate different academic field differently. En M. Theall& J. Franklin (Eds.). Student rating of instruction: Issues for improving practice (pp. 113-123). San Francisco, CA: Jossey Bass.

Centra, J. A. (2002). Will teachers receive higher student evaluations by giving higher grades and less coursework? Research in Higher Education, 44, 495-518.

Ellis, L., Burke, D. M., Lomire, P. & McCormack D.R.(2003). Student grades and average ratings of instructional quality: The need for adjustment. Journal of Educational Research 97 (1) 35-40.

Luna, S. E. (2004). Los cuestionarios de evaluación de la docencia por parte de los alumnos recomendaciones para su utilización. En M. Rueda & F. Díaz-Barriga (Coords.). La evaluación de la docencia en la universidad (pp. 98-121). México: UNAM y Plaza y Valdés.

Luna,E. &Aramburo, V. (2013:Variables asociadas a la competencia docente universitaria en la opinión de los estudiantes. En Archivos analíticos de políticas educativas.Volumen 21. Estados Unidos

Marsh, H. (1984). Students' evaluations of university teaching: dimensionality, reliability, validity, potential biases, and utility. Journal of Educational Psychology, 76 (5), 707-754.

Marsh, H. W. & Dunkin, M. J. (1997). Students’ evaluations of university teaching: A multidimensional perspective. En R. Perry & J. Smart (Eds.). Effective teaching in higher education: Research and practice (pp. 241-320). Nueva York: Agathon Press.

Nasser, F. & Hagtvet, K. (2006). Multilevel analysis of the effects of student and instructor/course characteristics on student ratings. Research in Higher Education, 47, (5), 559-590.

Neuman, R. (2000). Comunicating student evaluation of teaching results: Rating interpretation guides. Assesment and Evaluation in Higher Education, 25 (2), 121-134.

Ory, J. C. (1990). Student ratings of instruction: Ethics and practice. En M. Theall& J. Franklin (Eds.). Student ratings of instruction: Issues for improving practice ( pp. 63-74). New Directions for Teaching and Learning. San Francisco: Jossey Bass.

Rueda, M., Luna, E., García, B. & Loredo J. (2010). La evaluación de la docencia en las universidades públicas mexicanas: un diagnóstico para su comprensión y mejora. Revista Iberoamericana de Evaluación Educativa, 3 (1e), 77-92. Recuperado el 20 de enero de 201, de http://www.rinace.net/riee/numeros/vol3-num1_e/art6.pdf.

Shulman, L. S. (1989). Paradigmas y programas de investigación en el estudio de la enseñanza: una perspectiva contemporánea. En M. C. Wittrock (Ed.). La investigación de la enseñanza, 1. Enfoques, teorías y métodos (pp. 9-91). Barcelona: Paidos.

Theall, M. & Franklin, J. (2000). Creating responsive student ratings systems to improve evaluation practice. New Directions for Teaching and Learning, 83, 45-105.A

LEGALES

Las características de esta publicación son propiedad de la Universidad Autónoma de Baja California.

Formación electrónica: Lilian Guadalupe Beckham Lara

Experiencias de evaluación de la docencia en Iberoamérica [recurso electrónico] / Edna

Luna Serrano y Mario Rueda Beltrán (coordinadores). --Mexicali, Baja California

: Universidad Autónoma de Baja California, 2017.

1 recurso en línea

URL: http://iide.ens.uabc.mx/images/libros/experienciasdeevaluaciondeladocenciaeniberoamerica.pdf

ISBN: 978-607-607-400-8

1. Personal docente -- Evaluación -- México. 2. Evaluación educativa -- México. I. Luna

Serrano, Edna, Coord. II. Rueda Beltrán, Mario, coord. III.

California.

LB2333 E96 2017

Universidad Autónoma de Baja California

Dr. Juan Manuel Ocegueda Hernández

Rector

Dr. Alfonso Vega López

Secretario general

Dra. Blanca Rosa García Rivera

Vicerrectora Campus Ensenada

Dr. Ángel Norzagaray Norzagaray

Vicerrector Campus Mexicali

Dra. María Eugenia Pérez Morales

Vicerrectora Campus Tijuana