ETH - NET

Ja. Prüfungen am Computer sind eine zulässige Form der Leistungskontrolle nach Massgabe der entsprechenden Definition in Art. 2 lit. e der Allgemeinen Verordnung über Leistungskontrollen an der ETH Zürich.
Art. 2 lit. e: „Leistungskontrolle: jedes Verfahren, mit dem die Leistung von Studierenden gemessen und bewertet wird, insbesondere Prüfungen und schriftliche Arbeiten;“

Sind Online-Prüfungen sogenannt „rekursfähig“?

Ja. Wie bei allen anderen Leistungskontrollen werden den Studierenden die Leistungsbewertungen mittels Verfügung mitgeteilt. Eine solche Verfügung kann mit Verwaltungsbeschwerde bei der ETH-Beschwerdekommission angefochten werden.

Kann ich mit x Studierenden eine Prüfung am Computer durchführen?

Momentan stehen in erster Linie die Studentenarbeitsräume für Online-Prüfungen zur Verfügung.

Eine Liste der verfügbaren Studentenarbeitsräume befindet sich auf der Website der ID.

Übersteigt die Zahl der zu prüfenden Kandiaten die Zahl der Arbeitsstationen in einem Raum, dann gibts folgenden Möglichkeiten.

Die Kohorte wird in zwei Gruppen geteilt. Diese absolvieren den gleichen Test entweder parallel in zwei verschiedenen Räume oder unmittelbar nacheinander (mit Schleuse).
Sie erstellen zwei verschiedene Tests und prüfen die Gruppen unabhängig voneinander. Dies setzt jedoch einen identischen Schwierigkeitsgrad des Testes voraus bzw. nachfolgende Analyse.
Sie teilen die Kohorte in die nötig Anzahl Gruppen (abhängig von Raumgrösse), erstellen einen Fragenpool und generieren zufällig für jeden Kandidaten einen eigenen Test. Dies setzt Kenntnisse über den Schwierigkeitsgrad der Fragen voraus.

Welche Vorteile bringt mir die Online-Prüfung?

Je nach verwendeten Aufgabentypen erfolgt die Korrektur automatisch.
Essays sind besser lesbar.
Einsatz von Multimedia (Video, Audio) ist möglich.
Es sind andere/weiteren Fragetypen möglich (zum Beispiel Drag&Drop).
Auswertung kann sofort geliefert werden (abhängig von Fragetypen)
Je nach Tool sind verschiedene Analyseparameter erhältlich (-> Qualität)
Adaptives Prüfen ist möglich.

Ich möchte eine Prüfung am Computer durchführen. Wie soll ich vorgehen?
Essentiell für die Planung einer Prüfung sind die Antworten auf diese drei Fragen:

WAS möchte ich prüfen? -> Inhalt? Lern-/Prüfziele (inkl. kognitiver Level)?

WIE möchte ich prüfen? -> Erlaubte Hilfsmittel?

WEN möchte ich prüfen? -> Anzahl Kandidaten? Computerkenntnisse?

Die Antworten auf diese Fragen geben Hinweise für die Wahl des Prüfungsraums, der Hard- und Software, den Bedarf an personellen Ressourcen sowie weitere zu beachtende organisatorische Gegebenheiten.

Für detailliertere Auskünfte wenden Sie sich bitte an Brigitte Schmucki.

Wie verhindere ich, dass die Studierenden während der Prüfung schummeln?

Authentifizierung mittels ETH-Login und Legi
Aufsicht durch Person und/oder Fernüberwachung mittels Computersoftware (Apple Remote Desktop)
Unterbindung von "verbotenen" Funktionen mittels Secure Browser

Was mache ich bei einer technischen Panne?
Die zu ergreifenden Massnahmen hängen von der Anzahl betroffener Arbeitsstationen ab:

Ausfall einzelner Arbeitsstationen: Der betroffene Kandidat wird an eine Reservestation im Raum gesetzt. Das Bereithalten von Reservestationen muss bei der Planung der Infrastruktur berücksichtigt werden.
Ausfall sämtlicher Arbeitsstationen (zum Beispiel Stromausfall): Gleiches Verhalten wie bei Papierprüfung. Wenn Panne nicht innert nützlicher Frist behoben werden kann, muss die Prüfung zu einem neuen Zeitpunkt durchgeführt werden.

Welche Software kann ich für eine Prüfung am Computer einsetzen?
Bevor die Wahl für eine Software eingegrenzt werden kann, muss man sich Klarheit über die Funktion des Computers während der Prüfung verschaffen.

Dient der Computer dazu einen Test (häufig Multiple Choice- und Freitext-Fragen) zum Kandidaten zu bringen?
Ist das Prüfziel direkt mit der Tätigkeit am Computer und einer speziellen Software verbunden (zum Beispiel Programmieren)?

Software zu 1.
In diesem Fall bietet sich der Einsatz eines Learning Management Systems (LMS) an. Ein LMS unterstützt bei der Kandidatenadministration, der Erstellung von Tests, dem Aufbau und Pflegen eines Fragepools, der Korrektur, der Analyse und der Notenauslieferung (etc.). Das NET bietet den Dozierenden und Studierenden der ETH kostenlos Zugang und Support zu den drei Learning Management Systemen Blackboard CE, Moodle und Ilias. Mehr>>

Ab einer gewissen Anzahl von Studierenden empfiehlt sich der Einsatz eines sog. "Secure Browser". Dieser unterdrückt zahlreiche Funktionen am Computer (zum Beispiel Verlassen des Tests, Herunterfahren des Computers, etc.) und sorgt mit automatischen Zwischenspeicherungen zusätzlich für Sicherheit für die Studierenden. Das NET bietet für Blackboard den LockDown Browser und für Moodle und ILIAS den Safe Exam Browser (SEB) an.

Software zu 2.

Voraussetzung für eine Prüfung dieser Art ist die Installation dieser speziellen Software, welche zum Testen des Prüfziels nötig ist (zum Beispiel MATLAB). Idealerweise werden diese Programme in einer sicheren Umgebung gestartet. Um Datenverlust vermeiden zu können, sollte eine regelmässige Speicherung der Zwischenresultate stattfinden.

Kann ich mit einer MC-Prüfung mehr als nur Fakten überprüfen?

Ja. Dass MC- Fragen in der Praxis häufig "nur" zur Überprüfung von Fakten eingesetzt werden, bedeutet nicht, dass auch höhere kognitive Lernziele getestet werden können. Eine Liste mit Links zu Literatur finden sie hier.

Welches sind die Vorteile von Multiple Choice-Fragen?

Tests mit MC-Fragen sind schnell zu korrigieren
MC-Fragen sind schnell zu beantworten
MC-Fragen sind für formatives Prüfen geeignet (via Feedback)
Mit MC-Fragen lässt sich ein grosses Fachgebiet überprüfen
MC-Fragen weisen eine hohe Reliabilität auf
Tests mit MC-Fragen sind für die Prüfung am Computer geeignet

Welches sind die Nachteile von Multiple Choice-Fragen?

MC-Fragen sind nicht geeignet um Kreativität oder Kommunikationsfähigkeiten zu überprüfen
MC-Fragen weisen häufig eine geringere Validität auf (weil sie nicht korrekt eingesetzt werden)
MC-Fragen, welche höhere kognitive Stufen testen, sind aufwändig in der Produktion
Kompliziert geschriebene MC-Fragen können schwer verständlich sein und setzen hohe Lesefähigkeiten voraus (bwz. prüfen diese)

Was kostet mich die Durchführung einer Online-Prüfung mit einem Learning Management System (LMS)?

Die Nutzung eines LMS, welches vom NET angeboten wird (Blackboard, Moodle, Ilias), ist für DozentenInnen der ETH kostenlos. Auch der didaktische und technische Support dazu ist für Lehrpersonen und deren Studenten unentgeltlich.

Im Rahmen des Projekts "Online-Prüfungen an der ETH" bekommen Pilotprojekte zusätzlich Unterstützung bei der Organisation der Prüfung.

Wie lange dauert die Vorbereitung für eine Online-Prüfung?

Die Dauer für die Vorbereitung der ersten Online-Prüfung nimmt ca. 3-12 Monate in Anspruch. Die Dauer ist abhängig von den vorhandenen Ressourcen und den Ansprüchen. Der Idealfall bzgl. kurzem Vorlauf:

- Prüfung wird mit Blackboard, Ilias oder Moodle und deren Standard-Fragetypen durchgeführt

- Es gibt bereits einen Fragenpool oder es ist Erfahrung in der Erstellung von Multiple Choice-Fragen vorhanden

Der Vorlauf verlängert sich, wenn:

- spezielle Prüfungsumgebung/Fragetypen bereitgestellt und/oder programmiert werden müssen

- wenn Multiple Choice-Fragen eingesetzt werden sollen, aber der Autor noch keine Erfahrung in der Entwicklung hat

Wo können an der ETH Online-Prüfungen durchgeführt werden?

Zur Durchführung von Online-Prüfungen können die Computer-Arbeitsräume für Studierenden der ID benutzt werden.

Hier finden Sie eine Auflistung der Räume: Arbeitsräume Informatikdienste

Was ist eine Online-Prüfung?

Unter einer Online-Prüfung versteht man eine Prüfung, die an einem Computer, welcher an einem Netzwerk (Intra- oder Internet) angeschlossen ist, durchgeführt wird.

Der Begriff Online-Prüfung sagt nichts über den Inhalt aus. Bei einer Online-Prüfung kann es sich um einen Multiple Choice-Test, Programmieraufgaben, Erfassung von Texten etc. handeln.

Was ist E-Assessment?

Unter E-Assessment sind Leistungskontrollen zu verstehen, welche elektronisch unterstützt werden (insbesondere Durchführung).

Beispiele für E-Assessment im engeren Sinne:

- Multiple Choice-Prüfung, welche am Computer absolviert wird

- Andere summative Leistungskontrollen, die am Computer durchgeführt werden

Beispiele für E-Assessment im weiteren Sinne:

- Bewertung von Beiträgen in Blogs

- Elektronische Einreichung von Prüfungsaufgaben

E-Assessment kann anhand folgender Kriterien eingeteilt werden:

- summativ vs. formativ

- zentral vs. dezentral (bzgl. Durchführung)

- Netzwerk-basiert vs. stand alone (bzgl. Arbeitsstation)

Welche Fragetypen kann ich in einem Learning Management Systemen erfassen?

Kurzübersicht:

	Blackboard	Ilias	Moodle
Single Choice: 1 Richtige aus X Antworten	ja	ja	ja
Multiple Choice: Y Richtige aus X Antworten	ja	ja	ja
True/False	ja		ja
Zuordnungsfrage (Dragdrop oder Dropdown)	ja	ja	ja
Lückentext	ja	ja	ja
Kurzantwortfrage	ja	ja	ja
Kurzantwortfrage mit Bonus für korrekte Reihenfolge	ja
Essay-Frage	ja	ja	ja
(Satz-)Ordnungsfrage	ja	ja	ja
Kombinationsaufgabe Text	ja
Kurzantwortfrage mit numerischer Eingabe	ja	ja	ja
Rechenaufgabe mit zufällig generierten Variabeln	ja		ja
File-Upload			ja
Hotspot/Image Map		ja	ja

Detailliertere Informationen zur Nomenklatur von Fragetypen: nomenklatur_fragetypen.pdf

Beispiel:

Single Choice (Einfachauswahl)

Single Choice

Ordering (Anordnung)

ordering

Matching (Zuordnung)

matching

Drag&Drop Matching (Zuordnung)

drag&dropmatching

Cloze (Lückentext)/Short answer (Kurzantwort)

cloze

Essay (Freitext)

essay

Numeric (Numerisch)

numerical

Image Target

imagetarget

Wichtiger Hinweis:
Diese Website wird in älteren Versionen von Netscape ohne graphische Elemente dargestellt. Die Funktionalität der Website ist aber trotzdem gewährleistet. Wenn Sie diese Website regelmässig benutzen, empfehlen wir Ihnen, auf Ihrem Computer einen aktuellen Browser zu installieren. Weitere Informationen finden Sie auf
folgender Seite.

Important Note:
The content in this site is accessible to any browser or Internet device, however, some graphics will display correctly only in the newer versions of Netscape. To get the most out of our site we suggest you upgrade to a newer browser.
More information