von EWOUT TER HAAR & OTAVIANO HELENE*
Eine einfache standardisierte Prüfung wie Enade eignet sich nicht zur Bewertung eines innovativen und vielfältigen Hochschulsystems, weshalb kein Land der Welt eine ähnliche Methodik verwendet
Wieder auf der Tagesordnung, wie schon einige Male in den letzten zwanzig Jahren, stand die Teilnahme der USP am National Student Performance Exam (Enade) an, beginnend mit Grundstudiengängen. Eine systematische Überwachung und Evaluation universitärer Lehrveranstaltungen sind willkommene und notwendige Maßnahmen. Sicherlich muss die USP Verantwortung übernehmen und Mechanismen für diese Aufgabe schaffen. Allerdings ist der eventuelle Anschluss von USP an Enade aus drei Hauptgründen mit großer Vorsicht zu genießen.
Zunächst werden wir argumentieren, dass eine einfache standardisierte Prüfung wie Enade nicht zur Bewertung eines innovativen und vielfältigen Hochschulsystems geeignet ist, weshalb kein Land der Welt eine ähnliche Methodik verwendet. Ein zweiter Grund besteht darin, dass die USP durch die Teilnahme an Enade ihre Bachelor-Studiengänge unnötigerweise einer homogenisierenden Regulierung unterwerfen würde, die für andere Arten von Institutionen konzipiert ist, mit dem Risiko einer Einengung ihrer Lehrpläne. Schließlich würde Enade für USP-Kurse äußerst instabile Zahlen generieren, die zur Unterstützung einer guten Bildungspolitik ungeeignet wären.
Es ist notwendig, die Ziele einer Beurteilung zu kennen
Dies ist in der Fachgemeinschaft der Bildungsbewertungsspezialisten weithin anerkannt Die Gültigkeit eines Tests erfordert Beweise für die Verwendung und Interpretation seiner Ergebnisse. Der Wert und die Gültigkeit von Enade müssen immer im Verhältnis dazu beurteilt werden, wie USP seine Ergebnisse nutzen und interpretieren wird. Tatsächlich muss jedem Evaluierungsprozess eine Arbeit vorausgehen, die den Zweck der Evaluierung definiert.
Eine Universität hat beispielsweise vielfältige Funktionen, wie z. B. die Ausbildung von Fachpersonal, die Förderung der sozialen und kulturellen Entwicklung, den Beitrag zur Weiterentwicklung von Produktionsprozessen sowie die Produktion und Aneignung wissenschaftlicher Erkenntnisse. Zusätzlich zu diesem vielfältigen Zweck ist es notwendig, das Ziel jedes einzelnen zu kennen und zu wissen, wie weit man gehen möchte. Eine vereinfachte Antwort wäre zu sagen, dass eine Universität all diese Zwecke hat und das ultimative Ziel der Himmel ist. Diese Art der Reaktion ist jedoch unverantwortlich, denn wenn mehr Anstrengungen auf ein Ziel gerichtet werden, bleiben weniger Anstrengungen für die anderen übrig.
Die Frage, die jeder Diskussion über Evaluierung vorausgehen muss, ist daher, das Ziel dessen zu kennen, was evaluiert wird. Es gibt mehrere Beispiele für Fälle, in denen diese Frage vor der Beurteilung gestellt wird. Vielleicht können Diskussionen über die großen Universitäten im Bundesstaat Kalifornien, USA, helfen, den Prozess zu verstehen. Ein bekanntes und markantes Beispiel war die Planung des Hochschulsystems in diesem US-Bundesstaat, in den 1960er Jahren.
Derzeit besteht dieses System aus drei Komponenten: a Hochschulen, mit fast zwei Millionen Studenten, bietet berufliche und kulturelle Ausbildung und dient als Sprungbrett für Studenten, die ihre Hochschulausbildung an einer Universität fortsetzen möchten; die California State University mit mehr als 400 Studenten, deren Hauptzweck die Ausbildung von Fachkräften ist, natürlich ohne die wissenschaftliche und kulturelle Produktion auszuschließen; und die University of California mit fast 300 Studenten, deren Hauptziele die Produktion wissenschaftlicher Erkenntnisse umfassen, ohne die Ausbildung von Fachkräften auszuschließen.
Offensichtlich können in diesem Beispiel die Bewertungskriterien für jeden Teil dieses Hochschulsystems nicht gleich sein. Bei Enade hingegen handelt es sich auch in der neuen Version um eine Einzelprüfung, die für alle Studiengänge in einem Bereich gleich ist und mit nur einhundert Multiple-Choice-Fragen die vierjährige Ausbildung von Hochschulabsolventen charakterisieren soll , in nur einer oder zwei Dimensionen. Fragen wir uns: Welche Rolle spielen USP-Kurse in der Gesellschaft? Enade hilft USP bei der Beurteilung, ob seine Kurse dazu beitragen werden, „schulen Sie professionelle Führungskräfte und Bürger, die sich ihrer sozialen Rolle bewusst sind"?
Theodore Porter, in seinem klassisches Buch über die Geschichte der Konstruktion von Objektivität in der öffentlichen Politikweist auf die politischen Vorteile hin, vermeintlich objektive Kennzahlen für Manager zu schaffen („es sind der Algorithmus und die Kennzahl, die entscheiden“). In Gesellschaften wie Brasilien, wo das Gefühl weit verbreitet ist, dass Urteilsvermögen und Know-how Da Personalressourcen besonders verdächtig und korruptionsanfällig sind, wird die Verwendung objektiver Beweise und Tests in Bewertungsprozessen wie Wettbewerben oder Ausschreibungen als unverzichtbar angesehen. Einerseits hat im Bildungswesen die Kultur der externen Bewertung und Vergleichbarkeit durch standardisierte Tests zu wichtigen Fortschritten geführt, wie der Schulzählung, Saeb und daraus abgeleiteten Managementindikatoren, wie Ideb, die die Grundbildung in Brasilien insgesamt begleiten. Es ist jedoch wichtig, die Grenzen der Gültigkeit standardisierter Prüfungen wie Enade zu erkennen.
Die Unzulänglichkeit standardisierter Prüfungen zur Beurteilung der Hochschulbildung
Brasilien ist das einzige Land der Welt, das einen objektiven Test zum doppelten Zweck der Bewertung und Regulierung seines Hochschulsystems einsetzt. Kaum ein anderes Land versucht, die Qualität seines tertiären Bildungssystems durch eine standardisierte Prüfung zu überwachen, die die Absolventen am Ende ihres Studiums durchführen. Die Gründe dafür werden glasklar dargelegt in einem OECD-Bericht, die auf Ersuchen der brasilianischen Regierung ihr „Qualitätssicherungssystem“ für Kurse untersuchte. Obwohl der Bericht von einer Organisation erstellt wurde, die für ihr Engagement bei der Verwaltung von Bildungssystemen mithilfe quantitativer Evidenz bekannt ist, steht er dem aktuellen System sehr kritisch gegenüber und zeigt, dass die Ziele von Enade, die Lernleistungen von Hochschulabsolventen zu messen, aus drei Gründen völlig unerreichbar sind Hauptgründe.
Erstens ist im Gegensatz zu einer Beurteilung am Ende der Grundschulbildung nicht klar, was gemessen werden soll. Es gibt und sollte es nicht geben, wie im Fall der Grundbildung, eine Reihe allgemeiner Fähigkeiten und Fertigkeiten, die jeder erwerben muss. Charakteristisch für die Hochschulbildung ist, dass die Vielfalt der Lehrpläne und Lernziele sehr groß ist. Eine Enade, die nur die allgemeinsten Fähigkeiten bewertet, entwertet diejenigen Kurse, die in der Lage sind, genau die spezielleren Fähigkeiten zu erarbeiten, die von einem Hochschulkurs erwartet werden. Aber jede Bewertung spezifischerer Fähigkeiten würde zwangsläufig einer einzigen Vision der Ziele eines Kurses folgen, zum Nachteil der Pluralität von Visionen, die auf fortgeschritteneren Stufen des Bildungssystems geschätzt werden.
Eine zweite Herausforderung ist technischer Natur: Wie kann eine relativ kurze Prüfung erstellt werden, die in der Lage ist, die in einer vierjährigen Ausbildung erworbenen Inhalte und Fähigkeiten zuverlässig zu bewerten? Aus Regulierungsgründen schlägt das neue Enade (vorerst für Grundstudiengänge) vor, die Item-Response-Theorie (IRT) zu verwenden und eine Prüfung mit 45 Multiple-Choice-Fragen für die Dimension „Allgemeine Ausbildung“ und 60 für eine spezifische Dimension für jeden Bereich zu erstellen. Selbst wenn man zugibt, dass Lehrkompetenz ein Konstrukt ist, das auf einer ein- oder zweidimensionalen numerischen Skala erfasst werden kann – eine aus den oben erläuterten Gründen höchst problematische Präposition –, ist es noch zweifelhafter, ob einhundert Multiple-Choice-Fragen in der Lage sind, vier Jahre fair zu bewerten der Ausbildung.
Drittens besteht durch die Einführung einer standardisierten Prüfung, die aus praktischen Gründen zwangsläufig kurz ist und sich auf eine sehr begrenzte Anzahl von Fähigkeiten konzentriert, ein großes Risiko, dass Kurse ihre Studenten nur auf diese Fähigkeiten ausbilden. Diese Einengung des Lehrplans würde die Möglichkeit von Innovationen und die Fähigkeit der Kurse, sich an Veränderungen und lokale Gegebenheiten anzupassen, beeinträchtigen.
All diese von OECD-Experten genannten Gründe schränken die berechtigten Schlussfolgerungen, die aus standardisierten Tests in der Hochschulbildung gezogen werden können, erheblich ein. Aus diesen Gründen gibt es kein anderes Land auf der Welt, das seine Hochschulstudiengänge durch ein solches Verfahren bewertet. Ein 2013 von der OECD gefördertes Pilotprojekt, die AHELO-Initiative, wurde aufgegeben, da es als nicht realisierbar galt. In Europa und den USA verlassen sich die Hochschulsysteme nicht auf eine einzige Form der Bewertung, sondern werden von Akkreditierungsagenturen bewertet, die umfassende und ganzheitliche Bewertungsformen anwenden.
Das neue Enade wird die Anzahl der Fragen erhöhen und das IRT nutzen, um die Vergleichbarkeit zwischen den Anwendungsjahren zu gewährleisten und die Genauigkeit zu verbessern. Wie jede standardisierte Prüfung hat auch die neue Enade das Potenzial, wertvolle Beweise zu liefern, die dazu beitragen können, die Ausrichtung von Kursen oder die öffentliche Politik zu verbessern. Aber Experten für Bildungsbewertung warnen Sie, dass ein Test nicht unbedingt das misst, was sein Titel sagt und dass ein wenig Ausgleichsmagie nicht unbedingt dazu führt, dass zwei Tests gleichwertig sind. Die Beurteilungsliteratur warnt besonders davor die nahezu unmögliche Verwendung eines einzigen Tests für diagnostische und regulatorische Zwecke.
Die Funktionsweise, Gültigkeit, Zuverlässigkeit und Interpretation des neuen Enade müssen untersucht werden, bevor die von ihm generierten Zahlen für regulatorische Zwecke und andere hochwertige Zwecke verwendet werden. Es ist sehr besorgniserregend, dass Inep, die für Enade verantwortliche Stelle, zwischen 2014 und 2021 den wichtigsten von Enade abgeleiteten Indikator falsch berechnet hat wies den Kursen im Wesentlichen Zufallszahlen zu. Der Fehler wurde schließlich im Jahr 2024 korrigiert, aber die Tatsache, dass keiner der am Bewertungsprozess Interessierten seine Existenz in all den Jahren bemerkte, lässt Zweifel an der tatsächlichen regulatorischen Rolle der Inep-Indikatoren sowie an ihrer Fähigkeit aufkommen, die Qualität ihrer eigenen zu kontrollieren . Indikatoren.
Spezifische Gründe, warum USP Enade nicht verwendet
Neben den von OECD- und Evaluierungsexperten hervorgehobenen allgemeinen Schwierigkeiten gibt es im Fall von USP weitere Gründe, einer Teilnahme an Enade skeptisch gegenüberzustehen.
Zunächst ein technischer Punkt. Im aktuellen Enade ist die Varianz bei den Kursnoten gering, wenn man die Wirkung von Enem für Studienanfänger außer Acht lässt: nur etwa 10 % der Varianz bei den Studentennoten. Mit anderen Worten: Die Schwankung der Enade-Note zwischen den Studierenden eines bestimmten Kurses ist viel größer als die Schwankung zwischen den Kursdurchschnitten, und das wird auch für das neue Enade weiterhin der Fall sein. Das bedeutet, dass jeder Kursindikator, der aus dem Enade-Score der Studierenden abgeleitet wird, mit vielen teilnehmenden Studierenden berechnet werden muss, um statistische Zuverlässigkeit zu gewährleisten.
Es stellt sich heraus, dass laut Higher Education Census nur fünf der 34 Grundstudiengänge an der USP mehr als 50 Absolventen haben (Durchschnitt der letzten fünf Jahre). Für die meisten USP-Grundstudiengänge (und auch für andere Studiengänge) sind alle von Enade abgeleiteten Durchschnittswerte oder anderen Indikatoren ziemlich instabil, und es wäre ein Fehler, darauf basierende Richtlinien zu übernehmen.
Zweitens könnte die Prüfung grundsätzlich interessante Erkenntnisse über USP-Kurse liefern, wenn die Ergebnisse für diagnostische Zwecke genutzt würden. Es wird jedoch argumentiert, dass die Teilnahme von Enade die Kurse von der Notwendigkeit einer erneuten Anerkennung durch den State Education Council befreien könnte, was deutlich den Wunsch zeigt, dass ihre Ergebnisse für Regulierungszwecke verwendet werden sollen.
In diesem Fall wird es fast unvermeidlich sein, dass sich die Kurse an der engen Enade-Matrix orientieren und nicht an den nationalen Kursrichtlinien, die den Kursen absichtlich die Freiheit lassen, ihre Programme entsprechend den örtlichen Gegebenheiten zu gestalten. Ebenso wird das Festhalten an Enade die eigenen Bemühungen der USP schwächen, ein umfassenderes Bewertungsprogramm für ihre Kurse zu implementieren, das besser zum eigenen Kontext passt.
Fazit
Es ist unwahrscheinlich, dass USP die Beteiligung von Enade ausnutzen wird; im Gegenteil: Die Unterwerfung der USP unter das bundesstaatliche Regulierungssystem, wie es heute umgesetzt wird, birgt große Risiken für die Qualität unserer Kurse. Es besteht die Gefahr einer Verengung der Lehrpläne aufgrund von Sekundäreffekten (Lehre zum Test) durch eine Prüfung bewertet werden, die zu einfach und für die Vielfalt der USP-Kurse unzureichend ist.
Darüber hinaus verliert USP durch das Festhalten an einer oberflächlichen Form der Regulierung und der Verwendung instabiler Indikatoren mit geringer Aussagekraft die Chance, eigene, umfassende und vielschichtige Bewertungen seiner Kurse zu entwerfen. Und für die meisten USP-Studiengänge mit weniger als 50 Absolventen pro Jahr werden die von Enade generierten Zahlen zu nahezu zufälligen Indikatoren führen, die zu instabil sind, um Bildungspolitik zu unterstützen.
USP muss sich bemühen, ein eigenes Bewertungssystem für seine Kurse zu implementieren und dieses zu nutzen Know-how Druck auf die Qualitätskontrollstellen im Hochschulbereich auszuüben, für Regulierungszwecke validere Methoden zu verwenden. Um nützlich zu sein, würde eine Prüfung vom Typ Enade nur eine diagnostische Rolle spielen, für Analyseeinheiten, die größer als Kurse sind, und auf Stichprobenbasis, um die von uns hervorgehobenen Nebenwirkungen der Bewertung zu vermeiden.
*Ewout ter Haar ist Professor am Physikinstitut der USP.
*Otaviano Helene ist Seniorprofessor am USP Physics Institute.
Ursprünglich veröffentlicht am Zeitschrift der USP.
Die Erde ist rund Es gibt Danke an unsere Leser und Unterstützer.
Helfen Sie uns, diese Idee aufrechtzuerhalten.
BEITRAGEN
