II Encuentro Nacional "La Universidad como Objeto de Investigación" |
|
Centro de Estudios Avanzados (CEA - Universidad de Buenos Aires -UBA)Noviembre 1997 |
Ponencias publicadas por el Equipo NAyA https://www.equiponaya.com.ar/ info@equiponaya.com.ar |
Congresos en cdrom 2.2 - version en línea
ESTUDIO DE UN INSTRUMENTO UTILIZADO SISTEMATICAMENTE PARA EL CONTROL DE CALIDAD EN LOS CURSOS DE QUÍMICA DEL CBC.
LASTRES L., LANDAU L..
Este trabajo se realiza en el marco del proyecto UBACYT CB024 Estudio de vías para mejorar la calidad del aprendizaje en cursos masivos de química.
Antecedentes
Desde 1989 se realizan evaluaciones diagnóstico en los cursos de Química del CBC con el fin de obtener información acerca de los alumnos que ingresan y como una forma de seguimiento y evaluación de la calidad del proceso educativo. De 1990 a 1992 se administraron y estudiaron los resultados de las mismas en colaboración con la Secretaría de Planeamiento del CBC. En la construcción de los instrumentos se prepararon tablas de especificaciones y los resultados permitieron realizar el estudio de los diferentes item utilizados (Angelini y otros, 1992)(Landau, Lastres.) En 1993 se confeccionó un instrumento usando algunos item de las evaluaciones diagnósticos anteriores, para ser administrado a los alumnos que iniciaban la carrera de Biología de la Facultad de Ciencias Exactas y finalmente, basado en estos item, se preparó un instrumento definitivo (ED) que fue utilizado en varias oportunidades a saber: alumnos que iniciaban sus estudios de química en diferentes Facultades (Ingeniería, Farmacia y Bioquímica, Exactas) en el año 1994 (Baumgartner y otros, 1995), (Angelini y otros,1996); finalización de la materia química en el CBC en los años 1995, 1996 y 1997 y en el comienzo de la materia en el año 1996 (Lastres y otros, 1997).
Debemos hacer notar que en todas estas últimas instancias (de 1994 en adelante), se utilizó el mismo instrumento por considerar que asi se podían hacer comparaciones más válidas. Decidimos que sería importante contar con un standard, en lugar de usar sencillamente los resultados de los exámenes, teniendo en cuenta que nos movemos con cursos masivos, donde se utilizan hasta 12 temas en paralelo que no siempre son estrictamente idénticos y además corrigen esas evaluaciones alrededor de 130 docentes que, pese a los criterios de corrección previamente acordados, presentan cierta inevitable subjetividad.
Se diseñó una evaluación de 12 item de opción múltiple que se presenta como anexo I. Como característica común, ninguna de las preguntas exigía cálculos elaborados, sino que se trataba de preguntas de tipo conceptual o de aplicación de conocimientos a situaciones habituales porque nos interesaba estudiar aspectos relacionados con un aprendizaje significativo que garantizara éxito en etapas posteriores de estudio. El tipo de presguntas de la ED se apartaba asi de la tónica habitual en los examenes parciales y finales, donde las exigencias de las facultades en que continúan los estudios de los alumnos, condicionan ciertos aspectos relacionados con la utilización de algoritmos y fórmlulas.
Por otra parte en la elaboración del instrumento se tuvieron en cuenta las dificultades detectadas en el alumnado, de manera tal que el análisis crítico de los resultados obtenidos permitiera extraer conclusiones válidas aplicables al mejoramiento del curso.
Al transformar la evaluación diagnóstica en un standard de comparación utilizable como control de calidad, se hizo necesario profundizar el estudio del instrumento utilizado. Esa tarea, realizada sobre los resultados obtenidos en la ED de salida (EDS) de 1996, dió origen al análisis que se presenta en la primera parte de este trabajo.
Ahora bien, al estudiar en forma estadística las respuestas de los alumnos, se plantearon algunas dudas sobre las diferencia entre los resultados obtenidos en esta evaluación y los obtenidos en el curso. Como consecuencia se efectuó un nuevo análisis de los resultados de la EDS, utilizando una ponderación distinta de los ítem; los resultados obtenidos se presentan en la segunda parte del trabajo.
El estudio se realizó sobre una muestra de 212 alumnos que aprobaron la materia ya sea por promoción (promedio de 7 puntos o más entre los dos parciales del curso) o por examen final (4 o más puntos en el examen). Esta muestra corresponde a una población de 2760 alumnos y representa aproximadamente el 8% de la misma.
Los alumnos fueron elegidos al azar en las diferentes sedes y horarios y la evaluación se tomó a los que aprobaron la materia, inmediatamente despues de la entrega de las notas.
Parte 1: ANALISIS DEL INSTRUMENTO DE EVALUACION
Se realizó un análisis de discriminación y dificultad para cada item. El estudio se basa en las técnicas suministradas por diferentes autores especializados en evaluación, y en particular por Elola (1996).
La dificultad se establece en función del porcentaje de sujetos que responden correctamente cada item. En cuanto a la discriminación, es decir el poder de cada item para diferenciar entre los alumnos que logran el objetivo y los que no lo hacen, se determinó ordenando a los alumnos de mayor a menor en función de la cantidad de respuestas correctas, y aplicando la relación ( Cs - Ci )/nC , donde Cs , cuartil superior, es la cantidad de sujetos del grupo superior (27% de la muestra) que contestó correctamente el item , Ci es el número de sujetos del cuartil inferior que respondió correctamente el item y nC es el número de casos de uno de los cuartiles.
La Tabla que sigue muestra los resultados obtenidos con la EDS.
ITEMCsCiDiscriminaciónDificultad142100,5644249200,516233730,602444 5160,514954440,7032629170,2142734120,393784630,7536951180,58661039 160,40521145140,54511244150,5147 Considerando como índices aceptables de discriminación los que superan el valor 0,40, se observa que salvo el item 6, todos los demás muestran una buena discriminación.
En cuanto a la dificultad, todos los item están dentro de un rango aceptable . La mayor dificultad se presenta en el item 3, seguida del item 5. La menor corresponde a los item 9 y 2.
Los valores obtenidos con los alumnos evaluados en 1996 fueron corroborados con los obtenidos en otras evaluaciones diagnóstico de años anteriores.
Parte 2: OTRA FORMA DE ANALISIS DE ALGUNOS RESULTADOS
Al estudiar la distribución estadística de respuestas correctas, se obtuvo un valor promedio X = 5,42 con una desviación standard de 2,56. Recordando que la ED comprende 12 item, estos resultados indican que en promedio los alumnos responden en forma correcta a menos del 50% de los mismos. Este bajo valor nos sorprendió ya que las dos terceras parte de la población evaluada (141 alumnos) aprobó la materia por promoción con 7 o más puntos, mientras que el grupo restante (71 alumnos) lo hizo con 4 o más puntos en el examen final.
En la siguiente tabla se muestran los resultados de la EDS discriminados según la forma de aprobación de la materia
CONDICIONN§ ALUMNOS valor promedio de respuestas correctasdesviación (1992). Evaluaciones diagnóstico en un curso de química. VI Congreso Nacional e Internacional de Profesores de Química. Montevideo. ROU.
Angelini, Baumgartner, Benitez, Landau, Lastres, Pouchan, Roverano, Sileo, Vazquez, (1996). Evaluaciones diagnóstico: Articulación con cursos de grado y autoevaluación. XXII Congreso Latinoamericano de Química. Concepción. Chile.
Georgia, Sachs, Adams. 1970. Medición y evaluación. Herder, Barcelona
Buscar en esta seccion :