II Encuentro Nacional "La Universidad como Objeto de Investigación"

Centro de Estudios Avanzados (CEA - Universidad de Buenos Aires -UBA)

Noviembre 1997

Ponencias publicadas por el Equipo NAyA
https://www.equiponaya.com.ar/
info@equiponaya.com.ar

LA AUTOEVALUACION INSTITUCIONAL EN LA UNL 2

Autor: María Angélica SABATIER de CERIONI1
Titulo Profesional: Ingeniera en Recursos Hídricos
Institución de pertenencia: Secretaría General- UNIVERSIDAD NACIONAL DEL LITORAL
Dirección: Bulevard Pellegrini 2750
Fax: 54 42 571106
teléfono 54 42571110/119 int 114
e-mail: sabatier@unl.edu.ar
Area temática elegida: Planeamiento y Evaluación Universitaria

RESUMEN

En este documento se analizan los aspectos centrales de la autoevaluación de unidades académicas, a partir de los principios de la planificación estratégica.

Se explicitan el marco de referencia político-técnico en que la UNL desarrolla el planeamiento y evaluación institucional, los criterios metodológicos, las bases conceptuales y operacionales.

Se describe particularmente la tecnología operativa concertada con los diferentes actores involucrados en el proceso de planeamiento y evaluación de las unidades académicas, tanto con los que tienen capacidad de decisión, como con aquellos considerados sujetos de la evaluación institucional.

Se señalan las principales dificultades y aspectos positivos de la experiencia desarrollada hasta el momento, en particular en lo que refiere al comportamiento de los actores.

Ing María Angélica SABATIER de CERIONI
Directora de Planeamiento y Programación
Secretaría General
UNL

1. MARCO DE REFERENCIA

En 1994, a través de un documento denominado Lineamientos y Propuestas para la UNL4, el Rector de la Universidad Nacional del Litoral establece la necesidad de impulsar desde diferentes áreas la elaboración de propuestas y proyectos globales para la Universidad en su conjunto, así como de diversos proyectos específicos en las diferentes unidades académicas.

En el marco de un profundo debate nacional (instalado con mucha fuerza a principios de los noventa) acerca de la evaluación y la acreditación que tiene como contexto la aparición del estado evaluador, la UNL pone en marcha el Porgrama de Apoyo al Planeamiento y la Evaluación5 Antecedentes inmediatos y directos sonel documento de trabajo "Planeamiento Estratégico en la UNL: una propuesta para sus puesta en marcha"6y el equipo de la segunda produce "La evaluación para el mejoramiento de la calidad"7.

2- EL PLANEAMIENTO Y EVALUACIÓN EN LA UNL

Como señalan críticamente algunos autores, es posible imaginar un proceso de evaluación de calidad para una universidad sin que se haya diseñado un proceso de planeamiento estratégico8.Por el contrario un proceso de planeamiento estratégico no elude a la evaluación de calidad institucional. Esto constituye entonces, un posicionamiento y no sólo estrictamente técnico9.

Es por ello que, tanto desde el punto de vista técnico como político todo proceso de evaluación de calidad debe formar parte de y encontrarse articulado con el proceso de planeamiento y desarrollo institucional que se dé la propia institución.

Para la UNL, la evaluación institucional se inscribe, entonces, en el proceso de planeamiento estratégico. No se desconoce al formular principios como éste, que tal como lo expresan numerosos autores, la universidad constituye un espacio de profunda complejidad al momento de ser definido como un objeto de planificación.

Esta complejidad y esta naturaleza han hecho fracasar repetidamente al planeamiento tradicional, enfoque que presupone la definición de un "ámbito" desde el que se planifica y otro desde el que se ejecuta lo planificado; por otra parte presupone que hay por un lado planificadores y por otro sistemas que se dejan planificar.

Se reconoce, entonces, al planeamiento como un enfoque para la gestión universitaria, donde el planificar no es tarea de algunos técnicos y expertos sino se transforma en un proceso de construcción de estrategias para el cambio planificado.

Este enfoque conduce a lo que denomina construcción de la función de desarrollo institucional10, que sólo es efectiva cuando está diseminada en forma controlada a lo largo de la estructura de gestión y decisión institucional.

De lo que se trata en realidad es de emprender un proceso de cambio planificado estratégicamente en orden a llevar adelante dos acciones integradas, una a nivel de los sujetos y otra a nivel de la institución. Y, en lo que a la institución refiere, resguardar las particularidades de cada unidad académica, posibilitando también la evaluación en y desde los espacios comunes o áreas que atraviesan transversalmente a la universidad.

Por este motivo se plantea la necesidad de construir un modelo dinámico y participativo, que permita alcanzar transformaciones profundas acordes con la esencia de la planificación estratégica y al mismo tiempo capaz de tomar en cuenta la realidad institucional.

2.1 Esquema general del Planeamiento y Evaluación

La Figura 1 esquematiza de modo general las componentes de un proceso de planeamiento estratégico sin plantear las relaciones entre ellas. Tampoco debe entenderse que existe una secuencia entre las componentes. Si bien existe un "orden" que guarda cierta lógica entre diagnóstico (evaluación), prospectiva y acciones de mejoramiento (estrategia) es posible que por diferentes motivos en algún momento del proceso se haga hincapié en alguna de las componentes y en otro momento en otras.

Lo que si puede advertirse es que todo el proceso esta "atravesado" por diferentes instancias y formas de evaluación y seguimiento y está "enmarcado" por el programa de formación de recursos humanos y por el sistema general de información.

Se trata de formación de recursos humanos en la función de desarrollo institucional, en el planeamiento como herramienta de gestión, la evaluación como técnica para el diagnóstico y fundamentalmente en la formulación de proyectos específicos.

El sistema de información comprende el conjunto de bases de datos generadas por la gestión de la enseñanza, la investigación, la extensión, las relaciones interinstitucionales, la cooperación internacional y la administración en su concepción más amplia.

A la información cuantitativa se agrega la información cualitativa, la que resulta de las diferentes instancias de la evaluación.

Figura 1

3- EL PROAPE (Programa de Apoyo al Planeamiento y Evaluación

3.1 La creación de la UNAPE

Partiendo de la convergencia temática y de las coincidencias sustantivas en las concepciones de las dos líneas de acción desarrolladas durante 1994, el Rectorado de la Universidad resolvió a comienzos del año lectivo 1995 consolidar y potenciar los esfuerzos relativos al planeamiento y la evaluación, creando la Unidad de Apoyo Técnico al Proceso de Planeamiento Estratégico y Evaluación Institucional (UNAPE), localizada en el ámbito de la Secretaría General11.

La función primordial de la UNAPE es asesorar y brindar la apoyatura técnica necesaria para el adecuado sustento de los procesos de planeamiento y evaluación a desarrollar por las Unidades Académicas y los organismos centrales de la Universidad.

En este sentido, no se la concibe como una instancia que llevará a cabo la planificación y la evaluación, sino como un cuerpo de técnicos al servicio de los cuerpos colegiados de gobierno, destinado a facilitar la ejecución de procesos de planeamiento y de evaluación institucional por parte de estos últimos.

En cumplimiento de esta función principal, la UNAPE asume la coordinación de las acciones de formación de recursos humanos en materia de planeamiento y evaluación institucional, la generación de propuestas metodológicas para el desarrollo de estos procesos y la creación de las bases documentales pertinentes.

3.2 La formulación del PROAPE

Apenas creada, la UNAPE eleva a consideración de las autoridades superiores una propuesta que, aprobada por el Consejo Superior se instituye como PROAPE, "Programa de Apoyo al Planeamiento Estratégico y la Evaluación Institucional en la UNL"12

4- EVALUACIÓN Y PLANEAMIENTO EN LAS UNIDADES ACADMICAS

A partir de los contactos preliminares con miembros de los cuerpos directivos de algunas Unidades Académicas y retomando los intercambios realizados en las Unidades Académicas, la UNAPE elaboró un primer esbozo del posible curso de acción, denominado Evaluación Preliminar Diagnóstica(EPD).

El sentido de las EPD se funda en la necesidad de iniciar ejercicios de planeamiento y evaluación institucional de cada Unidad Académica, con un carácter diagnóstico, es decir, promoviendo un momento de análisis situacional, de identificación de problemas, de oportunidades y de caminos críticos para el mejoramiento de la calidad.

Dicho análisis situacional se plantea, a modo de objetivo general la toma de conciencia de los actores de cada Unidad Académica, movilizar un proceso de planeamiento estratégico en dicha Unidad, producir información y posibilitar la posterior operación del H.C.S. de la Universidad.

Los contenidos, instrumentos, tiempos y fases de cada EPD son determinados por las propias Unidades Académicas, en cooperación con la UNAPE.Partiendo de una orientación endógena de la evaluación institucional, se combinan diferentes formas (internas y externas) y distintos tipos (según las actividades, según las unidades de análisis, según los sujetos y los objetos, etc.) de evaluación.13 La UNAPE conjuntamente con las Unidades Académicas elabora los criterios, metodologías e instrumentos de captación de datos y conduce el procesamiento de los datos cuantitativos y cualitativos, procurando respetar la especificidad de cada ámbito y, a la par, impulsar la incorporación de mínimos comunes denominadores entre las distintas Unidades.

Estos mínimos comunes denominadores (definidos operacionalmente en términos de variables, indicadores y escalas a considerar en todas las Unidades Académicas, procesados a través de instrumentos comunes) permitirán posteriormente al H.C.S. y al Rectorado de la Universidad el establecimiento de comparaciones y contrastes, el intercambio de experiencias y la gradual generación de procesos de evaluación y planeamiento globales de la institución.

4.1 Los asuntos bajo evaluación

En principio y como aporte a las discusiones con las Unidades Académicas, se plantea una lista de aspectos (áreas o temas) de interés para la evaluación preliminar diagnóstica.

1- Información y Análisis Bibliográfico14
2- Actividades Sustantivas (Enseñanza de grado y posgrado, Investigación y Transferencia de Tecnología, Extensión y Servicios)
3- Soportes Institucionales ( Normativa, Espacio y Equipamiento, Gestión y Administración, Acceso a la bibliografía y redes, Presupuesto, etc.)
Siempre de acuerdo con el Programa aprobado por el Consejo Superior se sugirió adoptar un cronograma de trabajo flexible y en consonancia con el potencial de recursos disponibles y con las preocupaciones de cada Unidad Académica.

El Informe Diagnóstico producto de la EPD se constituye en el insumo por excelencia para la comunidad universitaria en general y para el/los evaluadores externos en particular, dado que tiene por objeto sistematizar información disponible, identificar fortalezas y debilidades, reconocer áreas de vacancia, analizar relaciones entre actividades sustantivas y, en síntesis, documentar un conjunto de observaciones y recomendaciones que posibiliten la apreciación diagnóstica de la situación de la Unidad Académica.

5- BASES DE LA METODOLOGÍA DE EVALUACIÓN INSTITUCIONAL

Hasta aquí se han presentado los enunciados derivados de la postura política de la UNL frente a la decisión de iniciar acciones de mejoramiento de la calidad institucional inscripto en un proceso de planeamiento estratégico.

Se pretende, a partir de ahora, explicar cómo esta concepción teórica se está intentando llevar a la práctica con el objetivo final de generar una gerencia capaz de producir las transformaciones que la universidad requiere.

Se hace, entonces, énfasis en la planificación como una función gerencial.

5.1 Los principios de la planificación estratégica trasladados a la evaluación institucional.

En el marco de los requerimientos de una gerencia eficiente para una mejor aproximación a los objetivos de una institución de educación superior se presentan a continuación algunos conceptos provenientes de la reflexión sobre la planificación del proceso de desarrollo de las universidades Podemos partir de considerar la definición de gerencia presentada por Byrt,198915, entendida como el "Proceso a través del cual se formula la estrategia para una organización y luego es implantada mediante la organización del trabajo, los recursos humanos, las finanzas y la tecnología".

También de la concepción de Planificación Educativa16 como "Proceso continuo de provisión de información -a quien toma las decisiones- sobre qué tan bien está cumpliendo el sistema con las metas que le son propias y cómo la efectividad en el cumplimiento de esas metas puede ser mejorada".

En estas dos definiciones están contenidos una serie de conceptos que es necesario analizar dado que de una adecuada interpretación de los mismos surge la relación con la planificación estratégica.

La planificación estratégica implica un análisis de la institución en su medio ambiente: político, económico y social; un análisis de sus recursos: es decir su propia organización, los recursos humanos que la constituyen, sus recursos financieros y la tecnología con que realiza su tarea principal; y finalmente un análisis de sus planes, cursos de acción, programas y acciones en forma permanente.

En síntesis, una exhaustivo análisis del marco interno en necesaria referencia al marco externo.

Esto marca la diferencia -quizás la principal- con la planificación tradicional.

La evaluación institucional, primer etapa del proceso de planeamiento estratégico se plantea desde estos conceptos, por lo que, básicamente es entendida como el proceso de producción participativa de un diagnóstico sobre el estado de situación interna en relación al medio ambiente institucional, en orden a un proceso de toma de decisión que involucre a todas las categorías de actores institucionales y oriente las acciones hacia un permanente mejoramiento de la calidad.

A modo de propósito principal la evaluación se ocupa de "iniciar los ejercicios de evaluación institucional de cada unidad académica, con carácter diagnóstico, apuntando a promover un momento de análisis situacional, de identificación de problemas, de oportunidades y de caminos críticos para el mejoramiento de la calidad"

6- LA PROPUESTA METODOLOGICA DE AUTOEVALUACION

En primer lugar, parece conveniente describir el análisis realizado acerca de los posibles caminos a seguir.

Se toma como punto de partida conceptos de autores que17, entienden a la evaluación como un proceso de autorregulación de las instituciones a través del análisis permanente de sus procesos para verificar si funcionan bien o producen los resultados esperados.

Se la puede entender también como una función de control indispensable en cualquier proceso de administración donde se planifique, organice y ejecute.

En consecuencia, la evaluación de procesos y resultados es una función inherente a una institución de educación superior autónoma y cogobernada.

La esencia del proceso de toma de decisiones en una institución como la universidad requiere que la evaluación (que, como ya se dijo, provee la información para dicho proceso) tenga como sujetos a los distintos actores de la toma de decisiones, que no son solamente los miembros de los consejos directivos, o los integrantes de la conducción, sino también los directamente involucrados en los procesos académicos sustantivos: docentes, estudiantes y administrativos.

Como esta evaluación se decide, se concibe y se realiza por los propios actores, estamos en presencia de una autoevaluación.

Se espera que esta autoevaluación guarde una adecuada coherencia con el proceso de planeamiento estratégico; por lo tanto, se requiere que involucre no sólo a los actores internos y que se sustente sobre información interna sino, fundamentalmente, que incorpore información desde el medio externo, lo que se logra involucrando a graduados, empresarios, empleadores, pares externos, y otras personas relevantes de la sociedad.

El objeto de autoevaluación es la Unidad Académica (en nuestro caso, en adelante, la Facultad) y los sujetos, aquellos que pertenecen a la comunidad académica o al medio ambiente de la institución. En consecuencia, no son sólo docentes y estudiantes quienes emiten un juicio valorativo sobre el quehacer de la institución. También lo hacen egresados, pares externos, empleadores, personas relevantes del medio socio-económico-cultural, funcionarios del sector, etc.

Hacer un juicio valorativo implica posicionarse en un concepto de calidad por un lado y, por otro, realizar un contraste entre lo que se evalúa y un standard, por lo tanto, cualquier metodología de autoevaluación tiene implícito un concepto de calidad y una forma de realizar dicho contraste. Por esto, una autoevaluación requiere de información y arroja información.

7- LA "TECNOLOGIA DE AUTOEVALUACION" INSTRUMENTADA

La metodología adoptada para la autoevaluación en cuatro de las ocho unidades académicas de la UNL18 recoge el modelo de evaluación de discrepancias (Provus,1972), esquema que permite identificar necesidades de cambio en organizaciones educativas en base a la construcción de indicadores que surgen de la comparación de un desempeño con un standard directamente vinculado con el concepto de calidad de quien emite el juicio valorativo.

Esta evaluación de discrepancias no requiere, sin embargo, una explicitación exhaustiva del standard sino que, por el contrario, descansa en el hecho de que cada sujeto tiene una percepción del standard a partir del cual emite su juicio.

Los indicadores utilizados son predominantemente cualitativos, si bien se requiere de un conjunto de datos cuantitativos previamente capturados para posibilitar la emisión del juicio de valores que los sujetos (los diferentes actores institucionales) formulan sobre una importante cantidad de asuntos de interés, muchos de los cuales están fuertemente interrelacionados.

7.1 La propuesta metodológica llevada a la acción

A partir de estos conceptos y superadas las acciones de sensibilización, el proceso de evaluación institucional tiene como primera etapa la autoevaluacion, que se inicia en las unidades académicas con una serie de ejercicios realizados por la UNAPE con los miembros de la conducción, esto es el Decano y sus colaboradores más directos (Vicedecano, Directores de unidades internas y Secretarios de la Gestión). La metodología operativa que se describe a continuación constituye una opción táctica que se ajusta a la necesidad de respetar los tiempos de la gestión y de asegurar viabilidad al PROAPE. La viabilidad de las acciones del Programa es particularmente tenida en cuenta al momento de tomar decisiones metodológicas y operacionales.

PRIMER PASO:La principal acción en esta instancia es la realización de una serie de entrevistas abiertas a los actores mencionados, a través de las que se persigue una identificación de los principales aspectos que estos "informadores calificados" consideran que deben ser particularmente analizados a lo largo de la autoevaluación.

SEGUNDO PASO:Los resultados de las entrevistas y de alguna sesiones de trabajo con el equipo de gestión permiten elaborar una PROPUESTA DE EVALUACION PRELIMINAR DIGNÓSTICA que se eleva a la consideración del Consejo Directivo de la Unidad Académica.

La propuesta contiene una definición del objetivo general que direcciona a la evaluación diagnóstica, una enumeración más o menos exhaustiva de los objetivos específicos, de los alcances de la autoevaluación y los resultados esperados.

Luego de ser debatida por el Cuerpo Colegiado, su aprobación incluye la designación de un grupo19 de la Unidad Académica en quien dicho cuerpo delega la realización de la autoevaluación, denominada en adelante Comisión de Autoevaluación.

La definición de objetivos generales y particulares atraviesa a toda la autoevaluación de la unidad académica y le da un sesgo nó solo a los instrumentos de captura de información cualitativa, sino también a la información cuantitativa que se requiere para sustentar el proceso.

TERCER PASO:El paso siguiente es resolver al interior de la Comisión de Autoevaluación y al interior del Grupo de Gestión y el Consejo Directivo la pregunta Cómo se realiza la Autoevaluación?, ya que a través de este aspecto es que se despejan las innumerables dudas que se mueven alrededor de esta cuestión.

Explicitación del procedimiento de autoevaluación:Se parte de tomar a la Unidad Académica como un todo por lo que el objeto bajo evaluación es la Facultad y el conjunto de las relaciones que se plantean hacia su interior y hacia en medio externo.

Siguiendo un criterio funcional que permite poner todas cuestiones, aún a la estructura interna en tela de juicio, se consideran como áreas a diagnosticar:
* Enseñanza (de grado y posgrado)20
* Investigación
* Extensión
* Gestión
* Soportes institucionales (recursos, administración, infraestructura, etc.)

El diagnóstico de cada una de estas áreas se plantea a través de la construcción de un conjunto de componentes que se estructuran a partir de las respuestas vertidas por un conjunto de actores internos y externos (ver De las categorías de Actores) a un conjunto de instrumentos (cuestionarios detallados, abiertos y cerrados).

Corresponde señalar que se denomina indicadores de calidad a lo que más correctamente se entiende por componentes de la calidad. Se usa esta denominación por ser la de uso corriente entre los actores que se refieren frecuentemente a indicadores de calidad. Esta fue una de las decisiones tácticas particulares ya que se considera preferible utilizar el lenguaje de los actores y tratar de ir modificándole si fuera posible a entrar en una discusión semántica que puede generar tensiones innecesarias.

Para la resolución de los instrumentos mencionados se requiere de un conjunto de datos cuantitativos, algunos a nivel de valor de las variables y otros a nivel de índices o relaciones entre variables.

De los indicadores:
Los indicadores se formulan a partir de someter al objeto de la autoevaluación -el que se entiende adecuadamente representado por las áreas sustantivas y de apoyo ya enunciados- a un conjunto de dimensiones y de criterios21, comunes a todas ellas, ya que en realidad son inherentes al objeto de evaluación.

El uso de indicadores de desempeño es un asunto político.

Su utilización, junto con la evaluación por pares externos -la cual puede ser considerada como una forma de indicador de desempeño- podrían definirse como la generación de juicios sobre desempeño y la transformación de éstos en herramientas de gestión.

Alcanzar un autodiagnóstico institucional requiere de modo incuestionable la construcción de indicadores de desempeño, realizando la investigación evaluativa a partir de un enfoque multidimensional, en sintonía con la desagregación del concepto de calidad.

De las dimensiones de análisis de la calidad institucional: Se toma como base las seis dimensiones22del modelo resultante de los enfoques de Stufflebeam23 y Stake24 Estas dimensiones son: RELEVANCIA-EFECTIVIDAD- DISPONIBILIDAD DE RECURSOS ADECUADOS-EFICACIA- EFICIENCIA- PROCESOS.

De los criterios al interior de las dimensiones

Establecidas las dimensiones de análisis es necesario particularizar al interior de las mismos a través de criterios o categorías.

La "Relevancia" puede considerarse desagregada por los criterios de pertinencia, impacto, adecuación y oportunidad.

Aunque está vinculado con todos los criterios de esta dimensión, un indicador importante es el que se refiere a la coherencia entre el proyecto institucional y las concepciones curriculares con la misión institucional, sustentado por el criterios de verificación y que se refleja en el análisis de consistencia entre la misión que declara la institución y las políticas que implementa.

La mayor parte de los indicadores vinculados con la pertinencia pueden estudiarse mediante el uso de cuestionarios a estudiantes, empleadores y actores relevantes de la comunidad o región, así como a través de entrevistas y observación directa.

La dimensión "Efectividad" puede ser analizada a través de criterios vinculados a la formulación de metas explícitas, al cumplimiento de tales metas y a los logros de aprendizaje.

La dimensión "Disponibilidad de Recursos Adecuados" se puede analizar a través del criterio de disponibilidad de recursos humanos, de recursos materiales y de recursos de información.

Este último involucra a todas las fuentes de información que se encuentran disponibles para profesores, alumnos y administradores.

La dimensión "Eficacia" se analiza a través del criterio de adecuación de recursos para el logro de las metas (resultados obtenidos), versus otros recursos alternativos.

También a través de la relación costo-efectividad, es decir el costo de los logros en comparación a otras instituciones y, en todo caso a la estimación de los costos incrementales para cumplir las metas planificadas.

En relación con los "Procesos" se pone el énfasis en el análisis de las conductas o fuerzas que impulsan, estabilizan, impiden o retardan la obtención de los resultados esperados por la institución.

El análisis está dirigido a lo administrativo- organizacional-docente y pedagógico y las relaciones entre ellos, especialmente a las relaciones enseñanza- investigación-extensión.

Se consideran criterios predominantes a la interacción de factores de tipo institucional y la interacción de factores de tipo pedagógico.

Los indicadores formulados son esencialmente cualitativos y son descriptos por variables que, en su mayoría, son también cualitativas.Estas variables cualitativas se resuelven a través de datos que no son otra cosa que la opinión de los actores.Así, configurar un indicador requiere de una o de varias variables.

De los sujetos de la autoevaluación La construcción de la opinión de los actores25 internos y externos se funda en la emisión de un juicio valorativo.

En comparación con las evaluaciones realizadas por expertos externos, la producción y recuperación sistemática de información de los actores da una mayor seguridad de que los resultados no son distorsionados por un pequeño grupo de casos excepcionales pero no representativos; por el contrario se toman en cuenta las experiencias y juicios de todos los estudiantes, egresados, profesores, administradores, o al menos una muestra de ellos.

Aquí es donde el sujeto realiza el contraste antes señalado entre lo que él considera el deber ser y lo que él ve que es, asistido por un conjunto de datos numéricos que el mismo sujeto objetiviza.

Este es un aspecto central de la metodología ya que son los sujetos (identificados a partir de distintas categorías de actores) quien evalúan los datos y a la vez los transforman en información para el diagnóstico institucional.

La producción de esa información está sustentada por un criterio de triangulación que la hace particularmente confiable y que asegura, en buena medida, que el diagnóstico no sólo sea multidimensional sino que además resulte construido desde múltiples visiones.

Estas múltiples visiones corresponden a: * la conducción superior de la institución, en el caso que nos ocupa: el Decano y los Consejeros Directivos (en nuestro caso, como en el de todas las universidades nacionales argentinas, significa: docentes, estudiantes y egresados)26 * los colaboradores directos de esa conducción superior: los secretarios de la gestión27.

* los profesores y auxiliares de docencia
* los estudiantes
* los egresados
* los empleadores
* los pares externos de la comunidad disciplinar
* las personas relevantes de la sociedad en el sector vinculado con la institución.

CUARTO PASO:"Operativización de la Captura de Información" Constituido entre la Comisión de Autoevaluación y la UNAPE el Equipo de Trabajo y explicitada la metodología se sigue un esquema operativo28 de captura y sistematización de información para la posterior elaboración del diagnóstico.

Los datos cuantitativos se sistematizan en el llamado Documento Base para la Evaluación Institucional, que constituye una fuente de información comun a todos los actores.

QUINTO PASO:A propuesta de la UNAPE, la Comisión de Autoevaluación define el contenido de los cuestionarios para la captura de la información cualitativa, observándose en esta instancia que se correspondan con los objetivos generales y particulares definidos en la Propuesta de Evaluación Institucional previamente definida.

Los cuestionarios se componen de proposiciones abiertas (de desarrollo textual) y otras cerradas, es decir calificables en base a una escala29 numérica que se corresponde con una escala conceptual.

8- ACERCA DE LOS INDICADORES Y LA CONSTRUCCIÓN DEL DIAGNÓSTICO

sta constituye una etapa fundamental de la autoevaluación.Durante todos los pasos anteriores la Comisión, siempre con la asistencia técnica de la UNAPE, ha recopilado datos, elaborado matrices de actividades institucionales, formulado los cuestionarios, ha mantenido reuniones con autoridades, profesores, estudiantes y fundamentalmente, ha pasado por una jornada con egresados30 que se encuentran practicando la profesión y tienen entre 5 y 10 años de recibidos.

Por todas estas acciones, han adquirido un conocimiento mucho mayor sobre los "problemas", las "fortalezas", las "debilidades", las áreas de vacancia disciplinares y de gestión académica, los desajustes en la administración del curriculum, las cuestiones que deben encararse en materia de investigación y posgrado, el problema de la comunicación interna, los desajustes de roles de los órganos responsables de la vida académica e institucional.

Los indicadores estructurados, las respuestas textuales y los datos "duros" aportados por los actores son el material con que el Equipo de Trabajo construye el diagnóstico (de cada área sustantiva), aportando el conocimiento adquirido, su perspectiva respecto de posibles causas y sus sugerencias o recomendaciones acerca de acciones futuras.

9. BREVE RESEÑA DE DIFICULTADES Y ASPECTOS POSITIVOS

En cuanto a las cuatro autoevaluaciones diagnósticas que se vienen desarrollando durante 1997 pueden señalarse, primero, un conjunto de resultados obtenidos de carácter mas bien general, a saber: * El compromiso creciente de las Comisiones de Autoevaluación31que a lo largo del trabajo desarrollado se han ido involucrando con el diagnóstico y las necesidades de producir cambios.

* El aumento gradual de la comunicación entre los miembros de cada Comisión de Autoevaluacion, las autoridades de la unidad y los diferentes actores de la comunidad académica.

* La democratización de información a partir de la construcción del Documento Base y de la publicación de otros reportes de datos32.

* La progresiva desaparición de prejuicios y temores ante la autoevaluación, al demostrarse en los hechos que docentes, alumnos, administrativos y autoridades son sujetos y no objeto de la evaluación institucional.

* La identificación de una aparente indiferencia de los integrantes de algunas categorías de actores.

El caso más significativo lo constituye el de consejeros docentes que declinaron resolver los cuestionarios de captura de información cualitativa.

Otro caso es el algunos docentes que entienden al cuestionario como una evaluación de lo que saben o no saben de la institución, en vez de interpretarlos como una herramienta para emitir su opinión sobre los mas diversos asuntos institucionales.

Esta indiferencia puede deberse a que existen dudas acerca de los cambios que efectivamente se producirán concluida esta primer etapa de evaluación institucional.

También puede deberse a que los consejos directivos parecen haber perdido la gravitación institucional que les otorga el estatuto universitario, convirtiéndose en un estamento mas bien burocrático y no decisorio de los aspectos centrales de la vida institucional.

A modo de autocrítica, puede pensarse que quizás las actividades de sensibilización que involucraron al Consejo Directivo fueron escasas o bien que el hecho de que no haya consejeros en la mayoría de las comisiones de autoevaluacion pueda resultar contraproducente.

Lo paradójico es que es el Consejo Directivo quien delega en la Comisión la realización de la Autoevaluación, y son sus integrantes -no todos, por supuestos- quienes mas dificultades presentan para la recuperación de información.

* En contraposición se encontró en general, excelente disposición por parte de estudiantes y egresados.

En particular con estos últimos, se vienen desarrollando Jornadas de Análisis que han sido, en los dos casos realizados, de gran riqueza, especialmente porque se puso de manifiesto de modo inapelable que resulta imprescindible desarrollar políticas de contacto permanente con los egresados para retroalimentar efectivamente la transformación permanente de los contenidos de los programas de estudio, mejorar la comprensión acerca de las necesidades de los estudiantes para mejor insertarse en el mercado de trabajo y profundizar las relaciones con entidades y empresas que emplean a esos egresados.

* También se encontró buena disposición en los informadores externos, categoría en la que se agruparon a empleadores, pares académicos (jurados de concursos, referees de revistas científicas y evaluadores de proyectos de investigación) y a personas del medio ambiente institucional consideradas relevantes desde el punto de vista socio-económico-cultural33.Debe señalarse que los resultados indican de modo inapelable la necesidad de crear vínculos con el medio externo que produzcan una retroalimentación permanente entre la universidad como formadora de recursdos humanos y el mundo del trabajo en sus más diversas facetas.

En lo que refiere a resultados particulares de cada autoevaluacion, corresponde señalar que en algún caso (Facultad de Bioquímica y Ciencias Biológicas y Facultad de Ciencias Económicas) todavía se esta realizando la captura de información cualitativa, si bien es relativamente escaso el trabajo que queda para completar esta actividad.En el caso de la FICH y la FIQ, a la fecha de publicación de este documento se viene trabajando en la estructuración de los indicadores y ambos Equipos de Trabajo se aprestan a generar el Informe de Autoevaluación34.

10- COMENTARIOS FINALES

Como ya se mencionó en algunos párrafos de esta apretada descripción de la "tecnología" de autoevaluación , se ha puesto particular cuidado en garantizar la viabilidad general de la evaluación.

Se han descripto aquí sólo los aspectos más relevantes de la metodología y esquema de operativización promovido por la UNAPE desde su rol de unidad de apoyo al desarrollo de acciones de planeamiento estratégico y evaluación institucional.Por ello es muy posible que las cuestiones de detalle hayan sido omitidos, no porque no se los considere importantes sino por que son en realidad ese tipo de asuntos que tienen que ver con la idiosincrasia de cada unidad académica y que a medida que fueron apareciendo se fueron resolviendo desde una actitud plural, a través de acciones consensuadas y en función de preservar el objetivo principal del PROAPE y por lo tanto de todas las acciones que de él se derivan: conocer mejor los problemas analizando sus causas, identificando qué actores tiene en sus manos la posibilidad de modificarlas e idear las acciones que efectivamente produzcan saltos cualitativos, aunque pequeños, constante y permanentemente.

NOTAS

1 Directora de Planeamiento y Programación-Secretaría General-Coordinadora General de la Unidad de Apoyo al Proceso de Planeamiento y Evaluación en la UNL

2 Síntesis del Trabajo PLANEAMIENTO ESTRATEGICO Y EVALUACION INSTITUCIONAL EN LA UNL: La autoevaluación. Trabajo Profesional del Curso IGLU 1997

3 Síntesis del Trabajo PLANEAMIENTO ESTRATEGICO Y EVALUACION INSTITUCIONAL EN LA UNL: La autoevaluación. Trabajo Profesional del Curso IGLU 1997

4 Documento circularizado por el Rector electo por la Asamblea Universitaria de la UNL para el período 94/98, Arq. Hugo G. Storero. Febrero 1994

5 Las principales líneas de acción iniciadas por la Dirección de Planeamiento y Programación -Sec. General se describen a continuación: Programa Sistema General de Información, Programa de Recuperación y Sistematización de Información Institucional, Programa de Planeamiento Estratégico.

6 Dirección de Planeamiento y Programación-Secretaría General.UNL. 1994

7 Dirección de Programación Académica. Secretaría Académica.UNL 1995

8 Ignace Hecquet "Proceso Institucional, etapas, gestión y organización de la evaluación de la calidad en el marco del Planeamiento Estratégico". Primer Encuentro Interuniversitario Nacional sobre Evaluación de la Calidad, Vol. I, Salta, 1991.

9 Albornoz, Mario "Evaluación de la Calidad ¨Instrumento o ideología? - Seminario: UNIVERSIDADES - Gestión y Evaluación de la calidad de la enseñanza. UIA 1993.

10 Alain Tobelem "Sistema de Análisis y Desarrollo de la Capacidad Institucional". 1988.

11 Resolución Rectoral Nø 61/95. La UNAPE está constituida por: Dr. Daniel Cano, Arq. Alejandro Boscarol, Ing. Jorge Recce, Tco. Gerardo Noseda, Arq. Sara Lauría, Prof. Claudia Neil, Ing. Fabiana Cian y es coordinada por la Ing. María Angélica Sabatier de Cerioni. La Unidad se desempeña en el ámbito de la Secretaría General, al frente de la que se encuentra el Ing. Mario D. Barletta.

12 Resolución CS Nø 139/95.

13 Para una definición más detallada de los conceptos de orientación, forma y tipo de evaluación ver el documento citado de la Dirección de Programación Académica, en su versión impresa: La evaluación Institucional para el Mejoramiento de la Calidad en la Universidad Nacional del Litoral, Centro de Publicaciones de la U.N.L., Santa Fe, 1995; en especial el Capítulo 3, Punto 3.6. y el Glosario.

14 Este primer tópico no constituye en realidad un aspecto a evaluar, sino la necesaria preparación de insumos para la evaluación y para la capacitación en esta materia (identificación y lectura de materiales sobre planeamiento y evaluación, sobre experiencias en otras Unidades Académicas del país y del extranjero, etc.). Para esto, la UNAPE generó un Banco de Documentación Bibliográfica, que se actualiza permanentemente, y puede ser consultado y utilizado por cualquier miembro de la comunidad académica, así como por docentes e investigadores de otras IES.

15 Byrt, William. "Management Education an International Survey".1989

16 Gonzalez,Nijad Handam."Hacia la universidad del siglo XXI: nuevo modelo de gestión de la Educación Superior".1995 17 Kells, Herbert "Self Study Processes", 1988.

18 Las Unidades Académicas de la UNL que se encuentran desarrollando acciones en el marco del PROAPE son siete de las ocho existentes. La Facultad de Arquitectura, Diseño y Urbanismo desarrolló una experiencia de evaluación preliminar durante 1995 e identificó unas líneas de acción que puso en marcha en el período 96-97.

La Facultad de Agronomía y Veterinaria centró la evaluación en el análisis de su modelo y estructura organizacional.

La Facultad de Formación Docente en Ciencias, en el contexto de una adecuación del modelo organizacional a las pautas estatutarias de la UNL incorpora al Instituto Superior de Música (que hasta 1995 dependía directamente del Rector) y encara una evaluación institucional tendiente a generar la transformación en una nueva unidad académica.

Hechas estas aclaraciones, la tecnología que se describe corresponde a la utilizada en la Facultad de Ingeniería Química, la Facultad de Ingeniería y Ciencias Hídricas, la Facultad de Bioquímica y Ciencias Biológicas y la Facultad de Ciencias Económicas, con ejercicios iniciados en distintos momentos de 1996 a través de diferentes acciones y estructurados como procesos de autoevaluación en febrero de 1997. Para más detalles ver el Parágrafo: Resultados Alcanzados, de este documento.

19 El Grupo denominado Comisión de Autoevaluación generalmente está conformada por docentes de la Unidad Académica, aunque en algún caso involucra también a estudiantes. El criterio de selección varia; en algunos casos los miembros dela Comisión de Autoevaluación son miembros del Consejo Directivo (pertenecientes a los distintos claustros) y docentes de diferentes áreas de la Facultad. En otros, se delegó la tarea en integrantes de la comunidad académica no pertenecientes al Cuerpo.

20 Muchos autores consideran indistintamente enseñanza o docencia. En nuestra concepción, calidad de la docencia puede evaluarse a nivel institucional (y en ese caso se trata de la enseñanza, sus características como proceso, sus resultados, etc.). Distinguimos esto de la evaluación de la calidad docente y en este caso se entiende que los mecanismos válidos son los concursos de ingreso y permanencia, el control de la gestión académica y otros en el que el docente es objeto de evaluación y no sujeto.

21 Algunos autores se refieren a criterios y subcriterios y en general se trata de diferenciaciones más bien semánticas.

22 "Calidad de la Docencia Universitaria en América Latina y el Caribe: Políticas, Gestión y Recursos". Santiago, CINDA 1990.

23 "Educational Evaluation and Decision Making".

Stufflebeam, Davis. Itaska-Peacock, 1971.

24 "The Countenance os Educational Evaluation" The Edactional Record, 1971.

25Ulrich Teichler "Beneficios y Peligros de la Evaluacion",en La Evalaucion Académica:Enfoques y Experiencias-Documentos Columbus sobre Gestión Universitaria-Volumen 1 CRE-UNESCO. Editora, Hebe Vessuri -

26 Muy recientemente se han incorporado los trabajadores no docentes a través de un representante al Consejo Directivo de cada Unidad Académica. Cabe aclarar que si bien se les entregó el mismo cuestionario que al resto de los consejeros se dejo a criterio de cada uno la devolución de información.

27 La planta de gestión es variable en cada Facultad de la UNL y, en general, se reduce a las tres secretarías mencionadas en primer término, quedando las otras áreas concentradas en el Decanato 28 El esquema operativo general fue elaborado por la UNAPE y en cada caso es sometido a consideración de la Comisión de Autoevaluación, por lo que puede sufrir algún ajuste. En general, representa casi estrictamente las operaciones que se realizan hasta llegar al Informe Diagnóstico producto de la Autoevaluación.

29 La escala utilizada permite asignar un número entre 2 y 5,que se corresponde con categorías conceptuales predeterminadas. Cada categoría numérica tiene asociada una calificación conceptual. Por fuera de la escala el informador tiene la posibilidad de asignar el valor 1 cuando se ve imposibilitado de dar un juicio de valor sea por desconocimiento o por otras razones. Las calificaciones entre 2 (malo, deficiente, insuficientemente, no aceptable) y 5 (muy satisfactorio, muy adecuado, muy bueno) se promedian, determinándose el desvío, lo que permite establecer los extremos entre los cuales se encuentran las valoraciones. Se toma particularmente en cuenta el % de respuestas indicadas con 1, ya que esto indica, en general el nivel de desconocimiento que los diferentes actores tienen sobre algunas cuestiones institucionales.

30 Se han desarrollado sendas Jornadas de Egresados en el marco de las Autoevaluaciones de las Facultades de Ingeniería Química (el 7 / 6 /97) y en la Facultad de Bioquímica y Ciencias Biológicas (el 26/ 7/ 97). La primera produjo un intercambio muy valioso entre las autoridades de la FIQ y los egresados, lo que permitió elaborar un informe puntual que ya fue remitido al Consejo Directivo y seguramente producirá acciones que pueden ponerse en marcha sin esperar al Informe Diagnóstico resultante de la Autoevaluacion.

31 Las Comisiones de Autoevaluacion que vienen desarrollando esta metodología en conjunto con la UNAPE están conformadas por: a) en la Facultad de Ingeniería Química los ingenieros Roa, Querini Y Giliberti; b) en la Facultad de Ingeniería y Ciencias Hídricas por los ingenieros Lozeco, Polla, Giacosa, Cacik, Loyarte y la estudiante Mariela Rodríguez; c) en la Facultad de Bioquímica y Ciencias Biológicas por la Dra. Chicco, los bioquímicos Odetti, Mayoral y el Lic. Eve; por último, en la Facultad de Ciencias Económicas por el Vicedecano, Cont.

Rodríguez Jauregui, la Prof. Visciglio y una egresada. En todos los casos el apoyo técnico es brindado por la UNAPE.

32 Véase Información Institucional 95' e Información Institucional 96', producidos por la Dirección de Planeamiento y Programación de la Secretaría General a través de la Dirección de Información y Estadística.

33 En ambos casos cada Comisión de Autoevaluación selecciona en estas categorías a individuos que tienen un conocimiento previo de la institución. Cabe mencionar que los instrumentos de captura de información no son los mismos para pares externos, empleadores y actores sociales relevantes; para cada categoría se elabora un cuestionario pertinente a la información que se espera de ellos.

Inicialmente se pensó en realizar entrevistas abiertas a estas tres categorías, pero luego se prefirió utilizar cuestionarios en esta etapa y dejar las entrevistas para la fase de formulación de acciones, donde la opinión

34 Dado que el PROAPE prevé la realización de una evaluación institucional a través de un Comité de Expertos Externos durante el presente año, se espera disponer de estos informes a fines del mes de agosto de 1997, aunque presenten diferentes grados de profundización y sin perjuicio de que las Comisiones de Autoevaluación sigan trabajando, en particular en la formulación de recomendaciones para la formulación de un plan de acción para el mejoramiento institucional.

Buscar en esta seccion :