Modell Online-Prüfungen

Kontakt
Dr. Brigitte Schmucki      
schmucki@net.ethz.ch
044 632 25 48

• Die Entscheidung zur Online-Prüfung
• Die Entscheidung für ein Konzept
  
• Information der Studierenden und Prüfungsplanstelle
• Entwicklung des Inhalts
• Bereitstellung Software
• Bereitstellung Hardware
• Reservation Raum
• Probeprüfung?
• Durchführung der Prüfung
• Korrektur
• Information der Studierenden/Prüfungseinsicht
• Archivierung
• Analyse
• Evaluation

Im untenstehenden Modell ist der Weg zur Online-Prüfung aus der Sicht des Examinators dargestellt.
Bei Interesse an der Durchführung einer Online-Prüfung empfiehlt sich gleich zu Beginn die Teilnahme an einem Beratungsgespräch.

Die Entscheidung zur Online-Prüfung

Der Entscheidung zur Online-Prüfung geht immer eine Motivation – positiv oder negativ stimuliert – voraus.
Folgende Gründe können den Ausschlag geben für die Durchführung einer Online-Prüfung:
- die Tätigkeit kann nur am Computer authentisch ausgeübt werden (z. Bsp. Programmieren)

- Einsatz von Multimedia (Bilder, Audio, Video, Animation, Simulation)

- Einsatz von speziellen Fragetypen (z. Bsp. Drag&Drop)

- Reduktion des Korrekturaufwands

- Objektivität in der Korrektur (bei automatisch auswertbaren Antworten)

- Gut leserliche Antworten

- Anonym korrigierbare Aufsätze

- leicht durchführbare Analyse (= Überprüfen der Fragen auf bestimmte Gütekriterien)

- sofortiges Feedback für Studierende

- Pflegen eines Fragenpools mit Wiederverwendung von Fragen

- Adaptives Testen

Entscheidung für ein Konzept durch Beratung

Die Entscheidung für ein bestimmtes Konzept basiert am besten auf einer Beratung durch verschiedene Fachstellen der ETH (NET, ev. DIZ und Informatikdienste). Solche Beratungen werden für Dozierenden und Assistierende der ETH kostenlos durchgeführt. Kontakt: Brigitte Schmucki

Folgende Fragen werden in einem Beratungsgespräch geklärt:

Studiengang:

- Um welchen Studiengang handelt es sich?

- Welches sind die inhaltlichen Lernziele des Fachs?

Welches sind die kognitiven Lernziele des Fachs?

Zielgruppe:

- Auf welcher Stufe des Studiengangs befinden sich die Studierenden?

- Wieviele Studierende umfasst der Studiengang?

- Sind die Studierenden mit der Arbeit am Computer vertraut?

Prüfung:

- Soll der Test am Computer im Rahmen einer Übung, Semesterleistung, Semesterendprüfung oder Sessionsprüfung eingesetzt werden?

Weiter werden in einem Beratungsgespräch aufgrund dieser Antworten die passende Prüfungssoftware vorgestellt. Für die Durchführung von Online-Prüfungen werden häufig Learning Management Systeme (Definition Wikipedia) eingesetzt. Learning Management Systeme können nicht nur für die Durchführung eines Tests verwendet werden, sie unterstützen auch die Vor- und Nachbereitung von Prüfungen.
Das NET unterstützt und betreibt kostenlos für Dozierende die folgenden Learning Management Systeme:

• Blackboard CE
• ILIAS
• Moodle

Welches LMS für eine bestimmte Prüfung geeignet ist, hängt u.a. von den Anforderungen des Tests ab (zum Beispiel erforderliche Fragetypen) und davon, ob schon ein bestimmtes LMS in der Vorlesung eingesetzt wird.
Weitere allgemeine Informationen zu diesen Learning Management Systemen (LMS).

Falls der Prüfungsinhalt nicht mit einem LMS umgesetzt werden kann, braucht es ein Spezial-Setup, welches in Zusammenarbeit mit den Informatikdiensten erstellt werden muss. Die Kontaktaufnahme erfolgt am besten via ID-Helpdesk.

Die Entscheidung für ein bestimmtes LMS liegt schliesslich beim Dozierenden. Mittels eines Formulars kann ein Kurs in einem LMS bei Thomas Piendl beantragt werden.

Weitere Informationen zu dieser Dienstleistung.

Information der Studierenden und Prüfungsplanstelle

Gemäss der Allgemeinen Verordnung über Leistungskontrollen ist der Examinator verpflichtet die Studierenden rechtzeitig über den Modus der Prüfung zu informieren. Als Modus für Online-Prüfungen ist "schriftlich" anzugeben, wobei es sich aber empfiehlt den Zusatz "am Computer" zu machen.

Entwicklung des Inhalts

Die Herstellung der Prüfungsfragen und deren Erfassung in der Prüfungssoftware liegt in der Verantwortung des Examinators. Das NET bietet aber technischen und konzeptionellen Support sowie das DIZ didaktische Hilfestellung.

Um Aufwand zu vermeiden werden die Fragen am besten gleich im Prüfungstool erfasst. Es ist aber auch möglich diese in einem Textverarbeitungsprogramm bis zur finalen Form zu erstellen und anschliessend in das LMS einzugeben. Die Importfunktionen sind bei den verschiedenen LMS aber sehr unterschiedlich ausgeprägt, deshalb lohnt es sich, die Importmöglichkeiten vorgängig abzuklären.

Nach der Herstellung der Prüfungsfragen sollte eine inhaltliche und formale Revision erfolgen (insbesondere bei Multiple Choice-Fragen). Die inhaltliche Revision kann durch einen Fachkollegen erfolgen, währenddessen die Überprüfung der Einhaltung der formalen Kriterien durch einen erfahrenen Entwickler von MC-Fragen oder das DIZ erfolgen sollte.

Nützliche Links zur Herstellung von Multiple Choice Fragen gibt es hier.

Bereitstellung Software

Sobald sich der Examinator für ein LMS entschieden und das Kurs-Antragsformular ausgefüllt an das NET gesendet wurde, wird der Kurs eingerichtet und der Examinator informiert. Selbstverständlich ist es möglich, die ersten Klicks in der neuen Lernumgebung zusammen mit einem Berater des NET's zu unternehmen.

Die Spezial-Setups werden durch die ID bereitgestellt.

Bereitstellung Hardware

Findet die Prüfung in einem Studentenarbeitsraum statt, dann muss die Hardware nicht speziell bereit gestellt werden. Die Arbeitsplatzinformatik ist dafür besorgt, dass die Maschinen in funktionstüchtigem Zustand sind und lässt die Räume täglich kontrollieren.

Reservation Raum

Eine Liste der möglichen Räume befindet sich hier.

Bei der Anzahl der zu belegenden Plätze ist zu beachten, dass nicht immer alle Computer genutzt werden können, da sie zum Teil sehr nah beieinander stehen. Ausserdem sollten Reservestationen für den Notfall (falls eine Maschine aussteigt) eingeplant werden. 10% der Anzahl Kandidaten sollten hierfür ausreichend sein.

Beim NET können sich Examinatoren beraten lassen, welches der geeignete Raum für ihre Prüfung sein könnte und im Fall von Semesterleistungen und Semesterendprüfungen übernimmt das NET auch die Reservation. Bei Sessionsprüfungen empfiehlt es sich einen Raumwunsch anzugeben.

Probeprüfung?

Die Entscheidung, ob eine Probeprüfung vor Ort durchgeführt wird, liegt beim Examinator.
Ratsam ist eine Probeprüfung, wenn…
… Studierende oder Examinatoren technische Probleme befürchten
… die Studierenden mit der Arbeit am Computer nicht vertraut sind
… die Studierenden Zweifel an dieser Prüfungsform äussern

Am besten läuft die Probeprüfung möglichst identisch wie die richtige Prüfung ab. Der Test muss zwar nicht umfangreich sein, von Vorteil wird aber jeder Fragetyp mindestens einmal verwendet.
Anstatt eine Probeprüfung vor Ort durchzuführen, kann den Studierenden auch ein entsprechender Test zur Verfügung gestellt werden, den sie von zu Hause aus lösen können.

Das NET bietet für die Durchführung der Probeprüfung denselben Support wie für die Prüfung.

Durchführung der Prüfung

Die Durchführung einer Prüfung läuft in der Regel folgendermassen ab:

1. Die Kandidaten betreten einige Minuten vor Beginn der Prüfung den Prüfungssaal und nehmen ihren Sitzplatz ein. Kleider, Gepäck (inkl. Handy) werden an den dafür vorgesehenen Orten deponiert.
2. Auf dem Tisch befinden sich lediglich die Legi und erlaubte Hilfsmittel (Schreibwaren, Bücher, etc) und ev. eine Anleitung für den Test.
3. Zu Beginn trägt die Aufsicht (durch den Examinator zu stellen) die nötigen Instruktionen vor.
4. Beginn der Prüfung
5. Die Aufsicht kontrolliert die Legis.
6. Die Dauer des Tests wird vor der Prüfung eingestellt. Der Timer startet individuell, sobald der Kandidat seinen Test begonnen hat.
7. Während der gesamten Testdauer ist nebst der Aufsicht mind. eine Person aus dem Support-Team des NET's vor Ort, sowie weitere Spezialisten auf Abruf bereit.
8. Nach Abschluss des Tests kann der Kandidat die erfolgreiche Übermittlung seiner Arbeit am Computer des Support-Mitarbeiters überprüfen.
9. Der Kandidat verlässt den Prüfungsraum.
   

Korrektur

Ein grosser Vorteil von Online-Prüfungen ist der reduzierte Aufwand bei der Korrektur.
Automatisch ausgewertet werden alle Fragetypen, deren Antworten sich vordefinieren lassen. Dies sind Multiple/Single Choice Fragen, True/False-Fragen, Zuordnungsfragen, etc.
Auch die Fragetypen Kurzantwort und Lückentext lassen sich automatisch auswerten. Wobei die Möglichkeiten der Fehlertoleranz vom eingesetzten LMS abhängen. Bei (auch nur kurzen) Texteingaben empfiehlt es sich die Falschantworten auf Schreibfehler/Synonyme/Fremdworte zu überprüfen.
Aufsätze müssen manuell korrigiert werden. Der Vorteil besteht jedoch in der guten Lesbarkeit sowie auf Wunsch in der anonymen Korrektur (Möglichkeiten ebenfalls vom LMS abhängig).

Besteht eine Prüfung ausschliesslich aus automatisch korrigierbaren Fragetypen, so liesse sich dem Studierenden unmittelbar die im Test erreichte Punktzahl übermitteln. Dies macht jedoch nur Sinn, wenn die Fragen bereits eingesetzt wurden, sich bewährt haben und die Resultate des Tests verlässlich sind bzw. wenn keine Notenkonferenz vorausgesetzt ist.

Information der Studierenden

Die Kommunikation des Prüfungsresultats kann auf unterschiedliche Weise passieren:

- die erreichte Punktzahl/Note kann nach Abschluss der Korrektur den Studierenden individuell sichtbar gemacht werden

- die Noten können aus dem LMS ins eDoz übertragen werden und von da aus an die Studierenden gebracht werden

- die Resultate können aus dem LMS exportiert (Format vom LMS abhängig) und ins eDoz importiert werden

Archivierung

Gemäss allgemeiner Verordnung über Leistungskontrollen an der ETHZ müssen schriftliche Leistungskontrollen ab der Verfügung des Ergebnisses zwei Jahre lang aufbewahrt und anschliessend vernichtet werden.

Dabei ist darauf zu achten, dass die Daten für Unbefugte nicht erreichbar sind und vor Manipulationen geschützt sind. Dies kann zum Beispiel erreicht werden, indem die Daten unter Aufsicht auf zwei, einmal beschreibbare CD-ROMS gebrannt werden und an getrennten Orten aufbewahrt werden.

Analyse

Unter Analyse versteht man die Untersuchung des Tests und der Fragen auf gewisse Gütekriterien hin. Mittels dieser Kriterien können "gute" von "schlechten" Fragen unterschieden werden und bei entsprechenden Massnahmen die Qualität der Fragen im Pool verbessert werden.

Fragen können auf verschiedene Gütekritierien untersucht werden. In der Regel werden aber mit den folgenden beiden Werten gute Resultate ausreichende erreicht :

- Schwierigkeitsgrad

- Trennschärfe

Schwierigkeitsgrad

Der Schwierigkeitsgrad wird aus der Anzahl der richtig beantworteten Fragen und der Totalzahl teilnehmender Studierender errechnet. Ganz schwierige (Schwierigkeitskoeffizient >0.9) und ganz einfache Fragen Schwierigkeitskoeffizient<0.1) sollten vermieden werden.

Trennschärfe

Mittels der Trennschärfe kann überprüft werden, ob eine Frage zwischen guten und schlechten Studierenden unterscheidet. Die Trennschärfe basiert auf einem Vergleich zwischen der Leistung eines Studierenden an einer spezifischen Frage mit dessen Leistung über den gesamten Test.

Es sind auf jeden Fall positive Werte anzustreben. Eine Trennschärfe <0 bedeutet, dass die betreffende Frage von den schlechten Studierenden besser beantwortet wurde, als von guten. Eine Frage mit Trennschärfe ≅0 verbessert die Aussagekraft einer Prüfung ebenfalls nicht.

Abhängig vom eingesetzten LMS lassen sich diese Parameter mit wenigen Klicks berechnen und ausgeben.

Evaluation

Alle LMS bieten die Möglichkeit Umfragen zu erstellen um den Test zu evaluieren. Diese können zum Teil unmittelbar dem Test nachgeschaltet werden.