Evaluación para el aprendizaje

Evaluación

estandarizada

evaluaciones internacionales

PISA

“Programa para la Evaluación Internacional de Estudiantes” (Programmefor International Student Assessment). Evaluación a cargo de la OCDE (Organización para la Cooperación y el Desarrollo Económico), cuyo objetivo es evaluar la formación de alumnos hacia el final de su etapa de enseñanza obligatoria, en tres áreas, consideradas fundamentales en el proceso educativo: Lectura, Matemáticas y Competencia Científica o Ciencias Naturales.

El nombre PISA corresponde con las siglas del programa según se enuncia en inglés: Programmefor International Student Assessment, es decir, “Programa para la Evaluación Internacional de Estudiantes”. Se trata de un programa de evaluación a cargo de la OCDE (Organización para la Cooperación y el Desarrollo Económico), cuyo objetivo es evaluar la formación de alumnos hacia el final de su etapa de enseñanza obligatoria, a la edad de 15 años. A esta edad, en la mayoría de los países participantes, los estudiantes están a punto de iniciar la educación post-secundaria o de integrarse a la vida laboral. La aplicación de PISA es cada tres años; en ella se cubre tres áreas, consideradas fundamentales en el proceso educativo: Lectura, Matemáticas y Competencia Científica o Ciencias Naturales. No obstante lo anterior, cada año enfatiza especialmente un área de las anteriormente mencionadas, de manera cíclica. Esta focalización consiste en asignar un mayor porcentaje de preguntas al área en cuestión.

La secuencia cíclica se muestra en la siguiente tabla:

Año de aplicación

2000

2003

2006

2009

2011

Área de focalización

Lectura

Matemática

Ciencias Naturales

Lectura

Matemática

 

Encargados y  objetivos del programa PISA

La OCDE reúne a 30 países miembros y otros asociados, comprometidos con la democracia y la economía de mercado. De este modo, la misión de la OCDE consiste en promover políticas destinadas a expandir crecimiento económico, el empleo y la calidad de vida de los países miembros.

En este marco, PISA surge para monitorear el éxito de los sistemas escolares de los países en la preparación de sus jóvenes, para participar en la sociedad. El objetivo principal de este programa de evaluación es ofrecer información abundante y detallada que permita a los países adoptar las decisiones y políticas públicas necesarias para mejorar los niveles educativos.

¿Qué evalúa?

PISA está diseñada para conocer las competencias (habilidades, pericia y las aptitudes) de los estudiantes para analizar y resolver problemas, manejar información y enfrentar situaciones en las cuáles requerirán de tales habilidades. De este modo, no se centra en la verificación de contenidos, sino que busca identificar la existencia de ciertas capacidades, habilidades y aptitudes que, en conjunto, permiten a la persona resolver problemas y situaciones de la vida.

Por esta razón, el programa evalúa capacidades complejas en el estudiante y, si bien utiliza preguntas de opción múltiple, una porción importante de los reactivos requieren del alumno la redacción de textos e incluso la elaboración de diagramas.

Las áreas evaluadas por PISA, sus objetivos, contenidos, proceso y/o habilidades, se resumen  en la siguiente tabla:

 

 

Competencia Lectora

Matemática

Ciencias Naturales

Objetivo

 

Evaluar la capacidad de los jóvenes para comprender, usar y reflexionar sobre textos para alcanzar metas propias, desarrollar el conocimiento y el potencial paraparticipar en la sociedad.

Evaluar la capacidad de los jóvenes para comprender el papel de las matemáticas como elemento necesario para la vida cotidiana, así como el razonamiento matemático para realizar juicios bien fundados como ciudadanos constructivos capaces de reflexionar por sí mismos.

Evaluar la capacidad de usar el conocimiento científico para la obtención de conclusiones basadas en la evidencia y desarrollo de hipótesis para comprender y ayudar a tomar decisiones sobre el entorno natural y los cambios que este experimenta por la acción humana.

Contenido

 

N/A

 

-Espacio y forma

-Cambio y relaciones

-Cantidad

-Datos y azar

 

Contenidos de la ciencia:

-Sistemas físicos

-Sistemas vivos

-Sistemas de la Tierra y el espacio

Contenidos acerca de la ciencia:

-Investigación científica

-Explicaciones científicas

 

Proceso y/o Habilidades que evalúa

-Acceder y extraer información de un texto

-Integrar e interpretar

-Reflexionar y evaluar la forma y el contenido de un texto

 

-Formular situaciones matemáticamente

-Emplear conceptos, hechos, procedimientos y razonamiento matemático

-Interpretar, aplicar y evaluar resultados matemáticos

 

-Identificar problemas científicos

-Explicar fenómenos científicamente

-Usar evidencia científica

 

 

 Muestra y Niveles de Aplicación

La muestra para la aplicación de PISA es numéricamente representativa, variando entre 4,500 y 10,000 estudiantes por país. Los establecimientos en que se aplica la evaluación son elegidos al azar por el programa. Éstos pertenecen a todas las regiones, dependencias y modalidades de nuestro país.

La importancia de la participación de los establecimientos y alumnos elegidos en PISA, es fundamental para lograr  representatividad de la muestra, en cuanto a la diversidad del país en  que la evaluación está siendo aplicada.

En Chile, la implementación de la prueba PISA está encargada a la Unidad de Currículum y Evaluación del Ministerio de Educación. PISA evalúa a los estudiantes de 15 años que están cursando desde 7º básico en adelante. Opcionalmente, a partir de 2006, Chile ha evaluado también una muestra representativa a nivel nacional de alumnos que cursan II medio; por lo tanto, se aplican pruebas a dos grupos de estudiantes.

Características de los exámenes y preguntas

Los exámenes PISA incluyen:

-          evaluaciones escritas, donde se necesita lápiz y papel para responder.

-           pruebas que se responden en computador.

El día de la  evaluación, no todos los estudiantes tienen el mismo examen, sino que existen diferentes cuadernillos para su aplicación (cada uno con el mismo nivel de dificultad, y área de evaluación). Todos cuentan con dos horas cronológicas para responder. Dado que cada estudiante contesta una prueba distinta, no se pueden reportar puntajes individuales.

En el caso de la evaluación vía computador, si el establecimiento no dispone de computadores adecuados o son insuficientes para que los estudiantes rindan la prueba, se les facilitarán el día de la evaluación.

Además del examen propiamente dicho, los estudiantes deben responder un cuestionario en el que se les hacen preguntas sobre sí mismos y sobre sus hogares (las condiciones de su entorno, su familia, sus hábitos de estudio, las condiciones de su escuela). Este cuestionario de contexto es una herramienta muy importante para el aprovechamiento de la prueba PISA, debido a la universalidad que tiene por no estar ligado a currículos y ni a planes de estudio específicos.

En su constitución el examen combina preguntas cerradas o directas  y preguntas abiertas.

a) Preguntas cerradas o directas: Preguntas con una única respuesta correcta. Algunas se responden mediante palabras o frases específicas; otras son preguntas de opción múltiple donde el estudiante debe marcar la respuesta correcta. En este caso, las respuestas sólo se consideran correctas o incorrectas en su corrección.

b) Preguntas abiertas: preguntas que requieren que los estudiantes elaboren sus propias respuestas. En este caso, las respuestas admiten resultados parcialmente correctos, por lo que su corrección es  más compleja.

Las respuestas equivocadas no descuentan puntaje, por eso se pide a los estudiantes que traten de responder todas las preguntas.

Entrega de resultados

                a) Promedios y puntajes

Con las respuestas de los estudiantes, se calculan puntajes. El puntaje de cada estudiante indicará el nivel de competencias que posee: los que tienen más altas competencias contestan adecuadamente la mayoría de las preguntas sin importar su dificultad. Mientras menos es la competencia del estudiante, se centrará sólo en responder respuestas de mediana o baja dificultad. Estas expectativas están graficadas en el cuadro siguiente:

 

 

 

 

Preguntas con dificultad relativamente baja

Preguntas con dificultad moderada

Preguntas con dificultad relativamente alta

I

II

III

IV

V

VI

Estudiante A

(Competencia relativamente alta)

 

X

 

 

X

 

X

 

X

 

 

X

 

X

Estudiante B

(Competencia moderada )

 

X

 

X

 

X

 

X

 

 

Estudiante C

(Competencia relativamente baja)

 

X

 

X

 

 

 

 

 

                b) Niveles de desempeño

De acuerdo al puntaje en la escala de competencia PISA, cada estudiante es clasificado en un nivel de desempeño. Los niveles de desempeños PISA van generalmente de 1 a 6, desde el más bajo al más alto. Como resultado, el programa informa para cada país, el porcentaje de estudiantes que se ubica en cada nivel.

Los niveles de desempeño descritos por la última evaluación PISA (aplicada el 2009) corresponden a siete niveles de competencia lectora. El reporte de resultados de esta evaluación provee una escala general de competencia lectora, basada en todas las preguntas de la prueba de lectura impresa, así como sub escalas para los tres aspectos de lectura: (1) acceder y obtener, (2) integrare interpretar, y (3) reflexionar y evaluar; y para los dos formatos de texto: (1) continuo y (2) discontinuo.

Niveles de desempeño en la escala general de lectura en medio impreso

La siguiente tabla muestra una descripción breve de los siete niveles de desempeño de la escala general de lectura en medio impreso.

Nivel

Puntaje del límite inferior del nivel

Porcentaje de estudiantes capaces de realizar las tareas del nivel (promedio OCDE)

Características de las tareas

 

6

698

0,8%

 

Las tareas en este nivel requieren que el lector haga inferencias múltiples, comparaciones y contrastaciones que sean detalladas y precisas. Requieren la demostración de una comprensión completa y detallada de uno o más textos y pueden requerir la integración de información de más de un texto. Las tareas pueden requerir que el lector trabaje con ideas que no son familiares para él, con información destacada que compite, y que genere categorías abstractas de interpretación. Las tareas de reflexión y evaluación pueden requerir que el lector, a partir de un texto complejo sobre un tema que no le es familiar, elabore hipótesis o haga una evaluación crítica, teniendo en cuenta diversos criterios o perspectivas, y aplicando una interpretación sofisticada que vaya más allá del texto. Una característica que destaca en las tareas de acceder y obtener en este nivel es la precisión de análisis y la atención a detalles no destacados en los textos.

5

626

7,6%

 

Las tareas en este nivel que requieren obtener información demandan al lector localizar y organizar diversa información de muy difícil acceso, infiriendo cuál información es relevante. Las tareas de reflexión demandan que el lector recurra a conocimientos específicos, para realizar una evaluación crítica o elaborar hipótesis. Tanto las tareas de interpretación como las de reflexión requieren una comprensión global y detallada de un texto cuyo contenido o forma no es familiar. Para todos los aspectos de lectura, las tareas en este nivel implican manejar conceptos que pueden ser contrarios a las expectativas.

4

553

28,3%

 

Las tareas en este nivel que requieren obtener información demandan al lector localizar y organizar información de difícil acceso. Algunas tareas en este nivel requieren interpretar sutilezas del lenguaje de una sección del texto, teniendo en cuenta el texto como un todo. Otras tareas interpretativas requieren comprender y aplicar categorías en un contexto desconocido. Las tareas de reflexionar requieren que los lectores usen conocimiento formal o informal para elaborar hipótesis o realizar una evaluación crítica de un texto. Los lectores deben demostrar una comprensión exacta de textos largos y complejos cuyo contenido o forma puede no ser familiar.

3

480

57,2%

 

Las tareas en este nivel requieren que el lector localice diversa información que debe cumplir con múltiples condiciones y en algunos casos que reconozca la relación entre la información. Las tareas de interpretación requieren que el lector integre distintas partes del texto para identificar la idea principal, comprender una relación o construir el significado de una palabra o una frase. Ellos deben tener en cuenta muchas características para comparar, contrastar o categorizar. A menudo, la información requerida no destaca o hay mucha información que compite; o existen otros obstáculos en el texto, como ideas contrarias a lo que se espera o formuladas como negaciones. Las tareas de reflexión en este nivel pueden requerir establecer conexiones, comparaciones y explicaciones, o requerir que el lector evalúe una característica del texto. Algunas tareas de reflexionar requieren de los lectores una comprensión exacta de textos relacionados con conocimientos que son familiares o cotidianos. Otras tareas no demandan una comprensión detallada, pero sí que el lector use conocimientos menos comunes.

2

407

81,2%

 

Algunas tareas en este nivel requieren que el lector localice una o más informaciones que deben ser inferidas y deben cumplir con diversas condiciones. Otras implican reconocer la idea principal de un texto, comprender relaciones o construir significados dentro de una parte limitada del texto cuando la información no destaca y el lector debe hacer inferencias de bajo nivel. Las tareas en este nivel pueden involucrar comparaciones o contrastaciones basadas en una sola característica del texto. Las tareas típicas de reflexionar en este nivel requieren que los lectores hagan una comparación o diversas conexiones entre el texto y conocimiento externo al texto, recurriendo a la experiencia y actitudes personales.

1a

335

94,3%

 

Las tareas en este nivel requieren que el lector localice una o más informaciones presentadas de manera explícita, para reconocer el tema principal o la intención del autor en un texto de tema conocido o que haga una conexión simple entre la información del texto y el conocimiento cotidiano común. Generalmente la información se destaca en el texto y hay poca o ninguna información que compite. El lector es dirigido explícitamente para que considere factores relevantes en la tarea y en el texto.

1b

262

98,9%

Las tareas en este nivel requieren que el lector localice una sola información presentada de manera explícita y en una posición destacada en un texto breve, de sintaxis sencilla con un tema y tipo de texto conocidos, como una narrativa sencilla o una lista simple. El texto generalmente brinda apoyo al lector, mediante repetición de información, imágenes o símbolos conocidos. Hay una cantidad mínima de información que compite. En las tareas que requieren interpretación, el lector puede necesitar hacer conexiones simples informaciones adyacentes.

 

¿Qué hacer con los resultados?

En primer lugar, se espera que al conocer la riqueza de la información aportada por PISA sirva a un mayor número de países para emprender acciones orientadas a mejorar la calidad de sus sistemas educativos.

Desde un punto de vista descriptivo, la evaluación debería proporcionar información a las autoridades y a toda la sociedad respecto a las siguientes dos preguntas generales:

·         ¿Qué aprenden y qué son capaces de hacer los jóvenes al terminar la educación obligatoria?

·         ¿En qué medida estos jóvenes están preparados para integrarse como ciudadanos activos en la sociedad contemporánea y en particular en una "sociedad del conocimiento" globalizada?

·         ¿Qué caminos debemos tomar como institución para lograrlo?

A un nivel micro, los docentes pueden examinar los niveles de logro reportados en los informes de resultados nacionales e internacionales de PISA, y utilizar los ejemplos de preguntas que representan esos niveles de desempeño para evaluar las competencias de sus propios estudiantes. El nivel de desempeño alcanzado por sus alumnos puede iluminar el trabajo formativo que debería emprenderse para desarrollar las capacidades de los niveles sucesivos, habilidades que se espera tengan los ciudadanos en el presente siglo.

Ejemplos de preguntas

Existen muchos ítems liberados de la prueba PISA en lenguaje. Aquí se han seleccionado ejemplos de preguntas que representan niveles de desempeño diferentes de la última prueba aplicada en Chile el 2009, con énfasis en competencia lectora.

Competencias lectoras

 pisa1

El texto “Anuncio sobre la donación de sangre” , ha sido tomado de un sitio web francés. Úsalo para responder las siguientes preguntas. 

img2

img3

Las preguntas anteriores presentan un texto de tipo argumentación, en formato continuo. La pregunta 1 evalúa la capacidad de Integrar e Interpretar y su nivel de desempeño es 2. La pregunta 2 (cuya clave es A) evalúa la capacidad de reflexionar y evaluar y corresponde a un nivel de desempeño 1a.

 

img4

La pregunta anterior (cuya clave es C) presenta un texto de tipo narración en formato continuo. Evalúa la capacidad de Integrar e interpretar y corresponde al nivel de desempeño 3.

Esta tarea requiere integrar e interpretar información para lograr su comprensión global. Para obtener puntaje, los alumnos tienen que sintetizar elementos que aparecen a lo largo del texto para identificar por qué los personajes de la historia se comportaron, al final, como lo hicieron. Para seleccionar la opción C, deben rechazar ciertas razones plausibles que podrían explicar por qué las personas podrían decidir no ir al cine, y que están representadas por distractores que se basan más en ideas preconcebidas que en el texto.

img5

img6

img7

img8

img9

img10

Las preguntas anteriores presentan un texto de tipo argumentación en formato continuo. La pregunta 1 (cuya clave es B) evalúa la capacidad de Integrar e interpretar el propósito del texto y corresponde a un nivel de desempeño 2. La pregunta 2 evalúa la capacidad de reflexionar y evaluar acerca de las intenciones del autor al hablar de un tema y corresponde al nivel de desempeño 3. Las preguntas 3 y 4 evalúan la misma capacidad anterior, pero corresponden a los niveles de desempeño 2 y 3, respectivamente.  En la pregunta 3 el estudiante debe emitir una opinión y para ello debe demostrar que comprende y que puede sintetizar las ideas expresadas en ambas cartas. En la pregunta 4 el estudiante debe evaluar las cartas, no en términos de su contenido sino de su forma.

 

Otras preguntas que PISA utiliza para evaluar la competencia lectora presentan mapas, gráficos, diagramas, etc. Se busca enfrentar al alumno con las tareas auténticas que debe o deberá enfrentar a diario en la vida ciudadana.  

 

 Matemática

Estas preguntas presentan una situación o contexto público y  un contenido de probabilidad. Se refiere a las exportaciones anuales del imaginario país de Zedlandia, cuya moneda es el zed.

img10

img11

img12

En la primera pregunta el alumno tiene que leer e interpretar adecuadamente los datos del histograma, donde aparece la información que se le pide, desarrollando la respuesta a partir de los gráficos presentados. En la segunda pregunta  el estudiante,  debe reflexionar sobre la relación entre la composición de las exportaciones y los montos anuales y hacer la operación 9% de 42.6 millones.

Este ejercicio ejemplifica la estrategia de la prueba de ligar las competencias a la solución de problemas concretos que pueden aparecer en diferentes ámbitos de la vida real.

Para profundizar acerca del programa PISA

 

Evaluación de las competencias lectoras para el siglo XXI.  Marco de evaluación y preguntas de la prueba.

Información general cerca de la  evaluación PISA en Chile

Diferentes publicaciones desde la OCDE,  de PISA en español

Muestras y ejemplos de reactivos PISA diversa áreas

 

Referencias bibliográficas

-          PISA. Evaluación de las competencias lectoras para el siglo XXI. Marco de evaluación y preguntas de la prueba (2011).Ministerio de Educación, Unidad de Currículum y Evaluación, SIMCE.

-          PISA  2012, Programa Internacional de Evaluación de Estudiantes (2012) Ministerio de Educación, Chile.

-          PISA para docentes. La evaluación como oportunidad de aprendizaje (2005) Secretaría  de Educación Pública, Instituto Nacional para la Evaluación de la Educación, México.

-          PISA 2006: objetivos, conceptos y método (2006) Tabaré Fernández, María Helvecia Sánchez y Marcela Armúa, Uruguay.

-          El programa PISA de la OCDE ¿Qué es y para qué sirve? Recuperado en http://www.oecd.org/pisa/39730818.pdf