Frequently Asked Questions

Antworten auf die häufigsten Fragen im Zusammenhang mit PISA, den PISA- Erhebungen und dem im Zusammenhang mit PISA stehenden Bildungsmontoring.

Bedeutung von PISA

Warum schon wieder eine PISA-Erhebung?

PISA wird in einem Dreijahreszyklus durchgeführt. Dabei werden jeweils verschiedene Testaufgaben der Bereiche Lesen, Mathematik und Naturwissenschaften beibehalten und wiedereingesetzt. Auf diese Weise kann für die drei Kompetenzbereiche von PISA die Frage beantwortet werden, wie sich die Leistungen entwickeln.

Was bringt PISA der Bildungspolitik?

PISA ist im Kern eine Evaluation der Bildungssysteme und stellt der Bildungspolitik Steuerungswissen zur Verfügung. In der Schweiz hat die EDK aufgrund der PISA-Ergebnisse einen Aktionsplan mit einer ganzen Reihe von Massnahmen erstellt. Auch wenn einige der Projekte bereits vor PISA lanciert wurden (z.B. HarmoS, Verbesserung von Betreuungsangeboten), so hat PISA dennoch den Blick für einige Themen geschärft. Dazu gehören der grosse Anteil von Schülerinnen und Schülern mit sehr schwachen Lesekompetenzen, der starke Zusammenhang zwischen sozialer Herkunft und Leistung bei selektiven Schulsystemen oder die schwierigen Lernbedingungen in gewissen Realklassen, die auf die Zusammenfassung von leistungsschwachen Schülerinnen und Schülern aus oftmals benachteiligten sozialen Verhältnissen zurückzuführen sind.

Was bringt PISA der Bildungsforschung?

Die Bildungsforschung interessiert sich weniger für die absoluten Stärken und Schwächen der Bildungssysteme, sondern vielmehr dafür, wie die Leistungsunterschiede zwischen und innerhalb der Bildungssysteme erklärt werden können. Dazu werden die Informationen aus dem Schüler- sowie aus dem Schulfragebogen genutzt. Für die Schweizer Bildungsforschung ist zudem die nationale und internationale Vernetzung, sowie das hinzugewonnene forschungsmethodische Knowhow von grosser Bedeutung. Wünschenswert wäre, wenn die PISA-Stichprobe vermehrt auch für weitere Forschungsvorhaben genutzt werden würde – insbesondere für Längsschnittstudien, die Erkenntnisse über individuelle Leistungsentwicklungen und gesicherte Hinweise über einen gelingenden Unterricht bringen könnten.

Was bringt PISA der Schulpraxis?

Schulleitungen und Lehrpersonen können aus den allgemeinen PISA-Erkenntnissen Nutzen für die Schulentwicklung oder den Unterricht ziehen. In diesem Zusammenhang bedeutsam sind insbesondere Fragen zum Unterricht und zum Lernen. Für die Unterrichtspraxis relevant sind auch die Befunde zu jenen Lernmerkmalen, die das selbst-regulierte Lernen begünstigen (z.B. Interessen, Lernstrategien usw.).

Eine systematische Beeinflussung des Unterrichtsalltags durch die PISA-Erkenntnisse geschieht indirekt über die Lehreraus- und -weiterbildung oder über neue Lehrmittel. Durch das Literacy-Konzept mit den problem- und alltagsorientierten Aufgabenstellungen von PISA wurde im Speziellen die fachdidaktische Diskussion angeregt.

Testinhalte

Welche Kompetenzen werden untersucht und warum?

Untersucht werden die Kompetenzen in Lesen, Mathematik und Naturwissenschaften. Gemäss Expertenmeinungen bilden diese Basiskompetenzen die Grundlage für ein selbstbestimmtes Leben, eine aktive Teilnahme an der Gesellschaft, sowie für ein lebenslanges Lernen.

Wie werden die Testaufgaben entwickelt?

Die Testaufgaben werden unter Berücksichtigung des konzeptionellen Rahmens der Experten entwickelt. Zum Teil werden sie vom internationalen Konsortium entworfen, zum Teil von Teilnehmerstaaten vorgeschlagen. Die Aufgaben werden auf jeden Fall von Seiten der Expertinnen und Experten der verschiedenen Länder mehreren standardisierten Bewertungsverfahren unterzogen. Aufgrund der Ergebnisse dieser Verfahren werden manche Aufgaben noch vor dem Pilottest verändert oder ausgemustert. Nach dem Pilottest findet eine weitere Auslese bzw. Veränderung der Aufgaben statt.

Warum gibt es einen Pilottest?

Anhand der Piloterhebungwerden einerseits organisatorische Aspekte der Durchführung erprobt, andererseits wird die internationale Vergleichbarkeit der Aufgaben überprüft.

Wie verläuft die Durchführung der PISA-Erhebungen?

Die Erhebungen werden von speziell geschulten Testadministratorinnen und -administratoren (TA) nach einem genau festgelegten Prozedere durchgeführt und dauern einen ganzen Vormittag. Seit PISA 2015 wird die Erhebung computergestützt durchgeführt (sog. Computer-Based Assessment, CBA). Die Schülerinnen und Schüler haben genau zwei Stunden Zeit, um die Testaufgaben zu lösen. Nach einer Pause füllen sie einen Fragebogen aus, in dem sie über ihre familiäre Herkunft, ihre Lerngewohnheiten, oder ihren Umgang mit neuen Medien Auskunft geben. Um Informationen über die Schule zu erhalten, füllt auch die Schulleitung einen Fragebogen (online) aus.

Warum werden die Testaufgaben geheim gehalten?

Im Vergleich zu anderen Studien zeichnet sich PISA durch das innovative Ziel aus, eine hohe Vergleichbarkeit nicht nur zwischen verschiedenen Ländern, sondern auch im Laufe der Zeit zu ermöglichen. Die Aufgaben werden teilweise in mehreren Erhebungen eingesetzt und müssen folglich „geheim“ gehalten werden, um zu vermeiden, dass Schülerinnen und Schüler gezielt darauf vorbereitet werden, was die Ergebnisse verfälschen würde. Einige Testaufgaben werden nicht mehr wiederverwendet und können eingesehen werden: Beispielaufgaben.

Können die Lehrpersonen ihre Klassen auf die Tests vorbereiten?

Einige Testaufgaben von PISA sind in Publikationen abgedruckt und verfügbar Beispielaufgaben.

Diese Fragen werden in zukünftigen Erhebungen jedoch nicht mehr eingesetzt, und es ist schwierig, sich auf diese Art von Aufgaben vorzubereiten.

Auswahl der teilnehmenden Schülerinnen und Schüler

Weshalb werden Stichproben gezogen?

Die im Rahmen von PISA gewonnen Daten sollen valide Aussagen über die Grundgesamtheit sämtlicher 15-jähriger Schülerinnen und Schüler eines Landes ermöglichen. In dem meisten Ländern – so auch in der Schweiz – wäre jedoch die Überprüfung der ganzen Grundgesamtheit mit einem äusserst aufwändigen, organisatorischen Aufwand verbunden. Aus diesem Grund werden in der grossen Mehrheit der bei PISA teilnehmenden Ländern lediglich Teile der jeweiligen Grundgesamtheit erhoben.

Sind die PISA-Stichproben repräsentativ?

Die Schweizer PISA-Stichproben sind insofern repräsentativ, als dass sie valide Aussagen über die Grundgesamtheit aller in der Schweiz unterrichteten 15-jährigen Schülerinnen und Schüler erlauben. Dazu gehören auch an privaten Schulen unterrichtete Schülerinnen und Schüler. Von den PISA-Erhebungen nicht abgedeckt sind ausschliesslich Sonderschulen sowie an Regelschulen unterrichtete Schülerinnen und Schüler, deren besonderer Bildungsbedarf eine zumutbare und valide Erhebung nicht zulässt.

Werden Stichproben gezogen, so sind die Ergebnisse stets mit einem Stichprobenfehler (Standardfehler) behaftet. Wird jedoch die Grundgesamtheit präzise definiert und die Stichprobe mithilfe eines Zufallsverfahrens gezogen, dann ist dieser Fehler quantifizierbar. Die im Rahmen von PISA berechneten Werte werden stets mit Angaben zum Stichprobenfehler ergänzt (Konfidenzintervall).

Wie wird die Repräsentativität bei PISA-Stichproben gewährleistet?

Vor der Ziehung der Schulen sowie Schülerinnen und Schüler werden diese nach bestimmten – mit der schulischen Leistung im Zusammenhang stehenden – Merkmalen gruppiert und geordnet (Schichtung). In der Schweiz wird hier auf Merkmale wie Sprachregion, Schulstufe, Schultyp, Schulträgerschaft, Kantonszugehörigkeit usw. zurückgegriffen um ein möglichst gutes Abbild der Grundgesamtheit der 15-jährigen Schülerinnen und Schüler zu ziehen.

Wie werden Schulen, sowie Schülerinnen und Schüler ausgewählt?

Im Rahmen des PISA-Projekts werden in der Schweiz 15-jährige Schülerinnen und Schüler aus folgenden Bildungsinstitutionen ausgewählt: • Schulen des 7., 8., 9. und 10. Schuljahrs der Sekundarstufe I; • Allgemeinbildende Schulen der Sekundarstufe II, wie Gymnasien und Fachmittelschulen; • Berufsfachschulen der Sekundarstufe II.

Das auf Zufall beruhende Stichprobenverfahren erfolgt in zwei Stufen. In einem ersten Schritt werden die Schulen mit einer zur jeweiligen Schulgrösse proportionalen Auswahlwahrscheinlichkeit gezogen. Dies bedeutet, dass für Schulen mit einer hohen Anzahl 15-jähriger Schülerinnen und Schüler die Wahrscheinlichkeit für PISA gezogen zu werden höher ist, als für Schulen mit einer vergleichsweise kleineren Schülerschaft. Innerhalb der gezogenen Schulen werden in einem zweiten Schritt die teilnehmenden Schülerinnen und Schüler mithilfe einer einfachen Zufallsstichprobe bestimmt.

Warum werden keine Klassen gezogen?

Studien, in welchen die zu untersuchenden Individuen auf bestimmte Gruppen – wie z.B. Klassen und Schulen – aufgeteilt sind, haben mit sogenannten Klumpeneffekten zu kämpfen. So sind sich Schülerinnen und Schüler innerhalb eines Schulhauses hinsichtlich diverser Merkmale (z.B. schulische Leistung, soziale Herkunft) ähnlicher, als Schülerinnen und Schüler anderer Schulen. Dieses Phänomen erhöht den Stichprobenfehler und wird meistens durch eine Vergrösserung des Stichprobenumfangs kompensiert. Um ähnlichen Klumpeneffekten auf Klassenebene vorzubeugen, setzt sich die Stichprobe innerhalb gezogener Schulen aus Schülerinnen und Schülern aus allen Klassen zusammen.

Warum die 15-Jährigen?

Um die Ergebnisse international vergleichbar zu machen bietet sich eine Altersstichprobe an. Eine auf Basis Schuljahren oder Klassenstufen definierte Stichprobe würde die Vergleichbarkeit stark beeinträchtigen. Da in diesem Alter in den meisten bei PISA teilnehmenden Ländern die Schulpflicht endet, hat man sich auf Stichproben mit 15-jährigen Schülerinnen und Schülern geeinigt.

Warum nicht mehr die Neuntklässlerinnen und Neuntklässler?

In den früheren Untersuchungen (bis 2012) wurde in der Schweiz eine Stichprobe der Neuntklässlerinnen und Neuntklässler gezogen. In der Schweiz endet nach der neunten Klassenstufe die Schulpflicht (unabhängig vom Alter der Schülerinnen und Schüler).Dies ist also ein Zeitpunkt, der sich für Vergleiche zwischen den drei Sprachregionen und den verschiedenen Kantonen anbietet. Dieses Verfahren erlaubte zugleich, die verschiedenen Schultypen der Sekundarstufe I zu vergleichen.

Seit 2015 gibt es keine kantonalen Stichproben von Neuntklässlerinnen und Neuntklässlern mehr, sondern nur noch eine Stichprobe von 15-Jährigen. Stattdessen wird in der Schweiz seit 2016 im Rahmen des Bildungsmonitorings die Überprüfung des Erreichens der Grundkompetenzen (ÜGK) durchgeführt.

Ergebnisse

Wann stehen die Ergebnisse zur Verfügung?

Die ersten internationalen Ergebnisse stehen üblicherweise ein Jahr nach der Datenerhebung im Dezember zur Verfügung. In der Schweiz liegen die ersten nationalen Ergebnisse zur selben Zeit vor. Im Anschluss werden unter Umständen noch regionale und kantonale Berichte veröffentlicht. Diese relativ langen Zeiten sind auf die grosse Teilnehmerzahl zurückzuführen. Ausserdem müssen die erhobenen Daten zuerst erfasst und bereinigt und dann verschiedenen zeitintensiven Überprüfungsverfahren unterzogen werden.

Sind die Ergebnisse repräsentativ?

Aufgrund des weiter oben beschriebenen Auswahlverfahrens (siehe Auswahl der teilnehmenden Schülerinnen und Schüler) sind die Ergebnisse repräsentativ für die Schweiz und die drei Sprachregionen.

Sind die Ergebnisse zwischen den Ländern vergleichbar?

Es werden grosse Anstrengungen unternommen, damit die Ergebnisse zwischen den Ländern und verschiedenen Schülergruppen vergleichbar sind. Neben der bereits erwähnten Vorgehensweise bei der Aufgabenentwicklung (z.B. kulturelle Vergleichbarkeit der Aufgaben) werden die Abläufe in allen Teilnehmerstaaten durch Beauftragte des internationalen PISA-Konsortiums regelmässig überprüft. Stichprobenartig werden auch einzelne Testsitzungen besucht, um zu kontrollieren, dass das international standardisierte Vorgehen eingehalten wird. Allerdings gilt es zu bedenken, dass trotz der hohen Vergleichbarkeit der Datenbasis bei der Interpretation stets berücksichtigt werden muss, was bzw. wer miteinander verglichen wird.

Vergleicht man die Ergebnisse zwischen den Ländern, so müssen jeweils die Rahmenbedingungen der betreffenden Länder sowie die Charakteristika der Bildungssysteme berücksichtigt werden.

Worüber kann PISA nichts aussagen?

a) PISA erfasst nur einen Ausschnitt von schulischen Zielkriterien. Es werden zwar zweifellos wichtige Kompetenzbereiche gemessen, diese decken aber nur einen Teil der schulischen Lernziele ab. Dies erlaubt z.B. keine Aussagen über Fremdsprachenkenntnisse, musische Leistungen oder soziale Kompetenzen. Motivationale Aspekte und selbstbezogene Kognitionen werden hingegen im Zusammenhang mit dem selbstregulierten Lernen erfasst.

b) PISA misst die Leistungen einer Altersgruppe, nämlich der Jugendlichen am Ende der obligatorischen Schulzeit (15-Jährige). Dies ermöglicht keine Folgerungen über die Leistungen in der Primarschule oder im Erwachsenenalter.

c) Es liegen keine Daten von Lehrpersonen vor – weder in Form von Fragebogen noch von Unterrichtsbeobachtungen. Für Aussagen über den Lehr-Lernprozess wären dies wichtige Informationsquellen.

d) PISA ist keine Studie, die einzelne Schulen oder Lehrpersonen untersucht oder Aussagen darübermacht. Sie kann dementsprechend - selbst wenn jemand dies wollte - nicht für Schulrankings missbraucht oder zur Beurteilung der Leistungen von Lehrpersonen herangezogen werden.

Nicht zuletzt aus den genannten Gründen ist es wichtig, auch andere Bildungs- und Unterrichtsstudien zu beachten und die Ergebnisse von PISA in deren Kontext zu interpretieren.

Sagen die PISA-Resultate etwas über die Fähigkeiten der Lehrpersonen an den Schulen aus?

Nein, dazu können keine Aussagen gemacht werden. Die durchschnittlichen Leistungen eines Landes können als Output des Bildungssystems interpretiert werden, nicht aber als direktes Ergebnis des Unterrichts der einzelnen Lehrpersonen. Die Leistungen der Schülerinnen und Schüler hängen von mehreren Faktoren ab, wobei die Fähigkeiten der Lehrpersonen nur einen dieser Faktoren darstellen.

Letzte Aktualisierung dieser Seite: 12.03.2018

Job