Evaluation

Allgemeines

Mit dem Modul Evaluation können Evaluationsbeauftragte oder Orga-Administratoren einzelne Dozenten zur Evaluation freischalten sowie Auswertungen der abgegebenen Evaluationsbögen abrufen. Das Modul ist im Bereich Admin/Evaluation zu finden.

Nutzen

Das Evaluationssystem des TraiNex sorgt für eine umfangreiche Zeitersparnis bei den üblichen Schritten einer Evaluation, die Erhebung ist zudem sicherer, die Auswertung automatisch und zielgenau und die Kommunikation an alle Akteure erleichtert. Durch einen standardisierten Fragebogen wird die Vergleichbarkeit gewährleistet, die bei Akkreditierungen üblicherweise besonders wichtig ist. Das Evaluationssystem des TraiNex wird in Akkreditierungen ausdrücklich positiv als Teil des Qualitätsmanagementsystems gelobt. Selbst große Hochschulen können die Evaluation innerhalb von 2 Wochen komplett durchgeführt haben.

Aufbau und Funktionen

Die 4 Schritte bestehen aus Freischaltung, Teilnahme sowie Auswertung und Kommunikation.

Freischaltung

Im oberen Bereich der Übersicht zur Funktion "Evaluation" können die Evaluations-Beauftragten unter dem Link "Zur Freischaltung wechseln" die Evaluation vorbereiten. Es erscheint eine Übersicht über alle Dozenten sowie die Kurse, die evaluiert werden können. Sie können hier einen oder mehrere Dozenten zur Bewertung durch einen Lehrgang freischalten.

Um die Bewertung manuell-einzeln freizuschalten, wählen Sie neben dem Dozenten aus der Dozentenliste das "freischalten" und dann Kurs und zu bewertende Thema.

Effizienter ist die Massenfreischaltung: Lassen Sie sich von TraiNex automatisch anzeigen die Dozenten-Themen-Kurs-Kombinationen, wo ein Dozent in den letzten z.B. 180 Tagen mind. z.B. 2-mal ein zeugnisrelevantes Thema unterrichtet hat. Wenn Sie mit der Anzeige zufrieden sind, klicken Sie "alle", um die Checkboxen zu füllen und scrollen nach unten zur Massen-Freischaltung. Geben Sie ein VON-Datum (0:01 Uhr) und ein BIS-Datum (0:01 Uhr !) an, in welchem die Evaluation laufen soll. Geben Sie zusätzlich an, ob Dozenten die Bewertung ab dem BIS-Datum oder erst später sehen dürfen.

Dem Lehrgang wird dann innerhalb des definierten Zeitraumes unter "Aktuelles" angezeigt, dass ein Dozent bewertet werden kann.

Freischaltung: Option "Alte Eval. löschen"

Wenn eine Evaluation in einer Thema-Dozent-Studiengang-Kombination bereits einmal stattgefunden hat, dann können diejenigen, die an dieser Evaluation bereits teilgenommen haben, nicht nochmals teilnehmen. Pro Thema-Dozent-Studiengang-Kombination kann nur einmal eine Stimme abgegeben werden. Beispiel: Ein Thema BWL geht über 2 Semester und es wurde bereits nach dem 1. Semester evaluiert. Üblicherweise gilt dann die Evaluation aus dem 1. Semester als Zwischeninfo die komplett durch die Evaluation im 2. Semester ersetzt wird. Hierzu ist "Alte Evaluationen von Thema/Dozenten/Studiengang-Kombination löschen?" zu wählen, damit die Evaluationen aus dem 1. Semester gelöscht werden. Wenn beide Semester evaluiert werden sollen, dann müsste das Thema auch zweimal angelegt werden als z.B. BWL1 und BWL2.

Nutzergruppen

Neben der Evaluation durch Studiengruppen ist auch die Evaluation durch Nutzergruppen möglich. Die Nutzergruppe wird zur Freischaltung angezeigt, wenn der Dozent mehr als einen Termin mit ihm als Leiter und einem Lernthema innerhalb der letzten 6 Monate hatte und diese Mailgruppe nicht abgelaufen ist. Bewertungen in Nutzergruppen sind einzeln freizuschalten. Bewerten können alle studentischen Mitglieder der Nutzergruppe, die zum Zeitpunkt des Evaluationszeitraums Mitglied der Gruppe sind. Die Ergebnisse sind beim Dozenten abrufbar und werden aber auch verrechnet im Zeitverlauf der Zufriedenheit mit dem Dozenten und der Zufriedenheit mit Themen. Keinen Einfluss hat eine Bewertung in einer Nutzergruppe auf die Zufriedenheit des Studienganges. Auch in Nutzergruppen gilt: eine Nutzergruppe kann einen Dozenten in einem Fach nur einmal evaluieren.

Teilnahme

Beispiel eines Fragebogens aus Sicht eines Studierenden

Mobile Ansicht der Evaluation

Wenn eine Evaluation freigeschaltet wurde, erhalten Studenten beim nächsten Login in das TraiNex einen deutlichen Hinweis mit der Frage "Nehmen Sie bitte kurz an der Dozenten-Evaluation teil? Ja / Nein, später". Auch bei der Wahl von "Nein" wird auf der Startseite rechts unter "Bewertung" vermerkt, welche Bewertungen derzeit möglich sind für den Studierenden. Die Bewertungsmöglichkeit wird auch in der WebApp angezeigt und eine Bewertung ist auch mobil möglich.

Die Studenten werden an prominenter Stelle darauf hingewiesen, dass die Bewertung anonym ist und direkt und automatisch mit anderen Bewertungen verrechnet wird, so dass im Nachhinein nur ein Rückschluss auf den Studiengang und kein Rückschluss auf einzelne Studenten möglich ist.

Die Bewertung erfolgt anhand eines standardisierten Fragebogens. Dieser Fragebogen umfasst mindestens 8 und maximal 20 Statements, z.B. folgende 8 Statements, die jeweils in sechs Abstufungen von '1=stimme voll zu=zufrieden' bis '6=stimme überhaupt nicht zu=unzufrieden' bewertet werden müssen. (Likert-Skala)

1. Der Dozent hat meine Motivation für das Fach steigern können.
2. Die Veranstaltung war meinem Kenntnisstand positiv angemessen. Ich habe etwas dazugelernt.
3. Der Dozent hat mich zur aktiven Mitarbeit angeregt.
4. Die Darstellungsmethodik und Verständlichkeit des Dozenten war gut.
5. Der Dozent ist auf Fragen und Anregungen eingegangen.
6. Der Unterricht war im Rahmen des Themas interessant gestaltet.
7. Ein Bezug zur Praxis wurde gut hergestellt.>
8. Es wurden Möglichkeiten zur selbständigen Weiterarbeit aufgezeigt.

Gefragt werden kann nach Prozessqualität (Die Vermittlung war interessant!) und nach der Ergebnisqualität (Ja, ich habe viel dazugelernt!). Sinnvoll ist es nur, nach Bereichen zu fragen, die der Dozent verantworten kann. Allgemeine Fragen zur Organisation oder Ausstattung der Hochschule sollten mit der Funktion "Umfragen" durchgeführt werden.

Darüber hinaus muss eine Note gem. Schulsystem vergeben werden und es können in einem Freitextbereich Positives, Negatives und Anmerkungen eingetragen werden. Auch kann ermöglicht werden, dass der Lehrgangsteilnehmer eingibt, wie viele Stunden er für die Vor- und Nachbereitung aufgebracht hat, was in eine Workload-Erhebung münden kann. Jeder Lehrg.-Teilnehmer kann den Fragebogen nur einmal ausfüllen. Um eine Evaluation zu löschen und damit eine erneute Befragung für alle Betroffenen zu ermöglichen, nutzen Sie den Button 'löschen'. Wenn eine Bewertung im Nachhinein nochmals freigeschaltet wird, dann können nur die Teilnehmer, die bisher nicht bewertet haben, ihre Stimme abgeben.

Auswertung

Hineinzoomen in einen schlecht bewerteten Dozenten

Als Evaluationsbeauftragter sehen Sie zunächst eine Übersicht der "Mittelwerte nach Lehrgang" sowie die Mittelwerte für jedes einzelne Statement. Rote Noten deuten an, dass in einem Lehrgang vermehrt schlechte Evaluationen abgegeben wurden und der Durchschnitt einer Note schlechter als 3 ist. Es gibt nun mehrere Möglichkeiten der Auswertung:

• Wenn Ihnen ein Studiengang mit einer roten Note auffällt, klicken Sie rechts in der Spalte "Top-Dozenten" auf "zeige". Dargestellt wird dann der Verlauf der Zufriedenheit des Studiengangs (Position 1 in der Abb.) und eine Rangfolge der Dozenten, die von der besten zur schlechtesten Bewertung geht (Position 2 in der Abb.).
• Klicken Sie bei einem "roten=schlecht bewerteten" Dozenten auf "Details" (Position 3 in der Abb.), so wird Ihnen angezeigt, ob der Dozent auch in anderen Kursen schlecht bewertet wurde und bei welchem Statement schlecht bewertet wurde. Über "Gesamtübersicht" sehen Sie ausführlich alle Evaluationen dieses Dozenten.
• Klicken Sie auf "alle Evals komplett anzeigen" (Position 4 in der Abb.), werden Ihnen alle Evaluationen aller Dozenten übersichtlich untereinander angezeigt.

Die Ergebnisse der Befragung können nur zusammengefasst und nur durch den zu bewerteten Dozenten im Bereich "Privat" -> "Bewertung" und die Evaluationsbeauftragten abgerufen werden. Das Ergebnis zeigt Mittelwerte und Standardabweichungen (Std.Abw.=0=keine Streuung) der Antworten.

Übersicht "nach Dozenten"

Grafisch abrufbar ist die Zufriedenheit mit einem Dozenten (über alle Gruppen) im Zeitverlauf. Hier z.B. eine konstant schlechter werdende Bewertung.

Im oberen Bereich der Übersicht zur Funktion "Evaluation" können alle Nutzer, die über das Recht "Evaluations-Beauftragte" verfügen, unter dem Link "Zur Übersicht nach Dozenten" eine Zusammenstellung der Bewertung aller Dozenten erhalten.

• In diesem Bereich wird aufgelistet, wie viele Fragebögen bereits abgegeben und welchen Gesamtschnitt der Dozent erreicht hat.
• Sie können mittels der Checkboxen mehrere Dozenten auswählen und einen Sammelbericht mit allen Evaluationen erstellen.
• Sie können auch einen Dozenten auswählen und sich die Bewertungen für alle Themen des Dozenten anzeigen lassen.
• Die dortige Übersicht 'Mittelwerte' zeigt zunächst, ob der Dozent auch in einem anderen Lehrgang ähnlich bewertet wurde. Detaillierte Einzelnoten und Kommentare von einem bestimmten Lehrgang zu einem bestimmten Thema dieses Dozenten können dort unter [Bewertung] ebenfalls abgerufen werden. Das TraiNex zeigt durch rote, schwarze und grüne Markierungsfarben jeweils die Bewertungs-Tendenzen an.
• Über "Evaluationen nach Themen und Zeit" wird grafisch die Zufriedenheit mit dem Dozenten (über alle Gruppen) im Zeitverlauf angezeigt als auch, in welchen Modulthemen der Dozenten besser oder schlechter bewertet wurde.
• Über "Gesamtübersicht" verzweigen Sie zu allen Evaluationen zu diesem Dozenten.

Verteilung der Dozenten eines Fachbereiches eines Evaluationsdurchganges

Grafisch abrufbar ist z.B. die Zufriedenheit der Gruppe (mit allen Dozenten) im Zeitverlauf.

Übersicht "Workload-Details"

Workload-Auswertungs-Parameter

Im oberen Bereich der Übersicht zur Funktion "Evaluation" können alle Nutzer, die über das Recht "Evaluations-Beauftragte" verfügen, unter dem Link "Details" weiterführende Daten zur Workload-Befragung abrufen. Verschiedene Auswerte-Parameter können gesetzt werden: Stunden pro CP oder Anteil des SSVN (Selbststudium sowie Vor- und Nachbereitung) oder zeitliche Eingrenzungen.

Dargestellt wird, ob die Studenten in den einzelnen Modulen entweder überlastet oder unterausgelastet sind. Dazu bezieht das TraiNex die nötigen Daten aus der Themenverwaltung sowie der Einschätzung der Studenten zu ihrem eigenen Workload aus der Evaluation.

Im unteren Bereich der Workload-Detail-Übersicht errechnet das TraiNex automatisch Kennzahlen, welche für die Evaluations-Beauftragten hilfreich sind. So ist beispielsweise der durchschnittliche Gesamtworkload oder alternativ der Workload für das Selbststudium pro CP automatisch verfügbar. Diese Angaben werden häufig auch bei Akkreditierungsverfahren abgefragt. (siehe Abbildung Workload sowie Artikel zu Workload)

Übersicht "Themen-Rangreihe"

Wenn Sie weniger die Dozenten und mehr die Modultehmen interessieren, so nutzen Sie die "Themen-Rangreihe". Hier können Sie zunächst auf z.B. ein bestimmtes Semester eingrenzen und erhalten danach eine Rangreihe der beliebtesten und unbeliebtesten Themen. Eingeblendet werden können danach die zugehörigen Dozenten/Studiengänge oder Teilnahmequoten.

Konfigurationsparameter

Das TraiNex kann so eingestellt werden,

• dass das Modul komplett ausgeblendet und somit nicht verfügbar ist,
• dass Dozenten sich selber zur Evaluation freischalten können oder auch nicht,
• dass Dozenten die Textkommentare der Evaluationen sehen oder auch nicht,
• dass die Texte der Statements EINMALIG initial durch andere ersetzt werden können,
• dass die Anzahl der Statements auf bis zu 23 erhöht werden kann.
• eine Abfrage der Bewertung nach Fachbereichen möglich ist
• die Frage zum Workload/der Stundenbelastung kann ausgeschaltet werden
• eingebende Bewerter werden nicht nur anonymisiert sondern extrem anonymisiert (immer, falls Kunde das Datenbankhosting übernimmt)
• dass Dozenten die eigene Evaluation erst im Detail sehen können, wenn 75% der Noten vorliegen
• dass ähnliche, aber doch unterschiedliche, Statement-Sets verwendet werden pro Studiengang (z.B. anderes Statement im Fernstudium statt Präsenz, in Bachelor statt Master)
• dass ein Studierender nach Evaluationsteilnahme und Ende aller Evaluationen des eigenen Studienganges für 60 Tage das hochaggregierte Ergebnis des eigenen Studienganges sehen kann im Bereich LERNEN.
• dass einem Dozenten eine Mail gesendet wird automatisch, wenn dessen Evaluation beendet bzw. die Einsicht möglich ist (Standard=ja)
• Die derzeitige Einstellung entnehmen Sie bitte dem Menüpunkt Admin/Logdatei/Konfiguration.

Profi-Tipps

• Sie können die Teilnahmequote erhöhen, indem den Studierenden vorab die Bedeutung der Evaluation verdeutlicht wird - beispielsweise via Mail. Außerdem kann die Bewertung noch vor Ort innerhalb des letzten Unterrichtes durchgeführt werden, um eine gewisse Verbindlichkeit zu schaffen.
• Beim Einsatz eines gleichbleibenden Statement-Sets entsteht im Verlauf mehrerer Evaluationen ein wertvoller Datenschatz, welcher die Grundlage für das Qualitätsmanagement bildet. Es wird empfohlen, die einzelnen Frage-Items nicht zu verändern, da sonst ein Bruch im Datensatz entsteht und die Vergleichbarkeit nicht mehr durchgehend gewährleistet ist.
• Wenn das Klassenbuch genutzt wird, dann werden die Evaluationen der Dozenten aggregiert den Evaluationen der Studierenden gegenübergestellt für den Evaluationsbeauftragten. Auch die Kommentare der Dozenten sind sichtbar.

Anpassung des Eval-Bogens

• Das Fragen/Statement-Set sollte einmalig zu Beginn möglichst allgemeingültig festgelegt werden.
• Die Statements werden von TrOn kurz geprüft und dann von TrOn eingebunden.
• Statt "der Dozierende" oder "der Dozent/die Dozentin" können Platzhalter benutzt werden, die das TraiNex automatisch im Fragebogen austauscht. Die Platzhalter sind: [Dozentenanrede] [Dozentenvorname] [Dozentenname] mit Dozentenanrede=Herr oder Frau zzgl. Titel.
• Die Anzahl der Antwortmöglichkeiten pro Statement kann geändert werden und statt von 1 bis 6 von z.B. 1 bis 5 oder 2 bis 6 gehen.
• Die dichotome Antwortmöglichkeit Ja/Nein ist möglich statt der 1-6 Skala. Intern wird das positive "ja" dem Wert 2 und das negative "nein" dann dem Wert 3 zugeordnet.
• Die Statements sollen eine sehr positive Aussage sein (z.B. "Die Darstellungsmethodik und Verständlichkeit von [Dozentenvorname] [Dozentenname] war sehr gut."). Jedes Statement muss bei Zustimmung eine sehr positive und gleichzeitig bei Ablehnung eine sehr negative Bewertung sein. Jede andere Form von Statement führt zu Verzerrungen.
• Sowohl die Zustimmung als auch die Ablehnung des Statements sollen klar interpretierbar sein. (ungut wäre: "Die Lehrgeschwindigkeit war sehr gut", denn wenn jemand dem nicht zustimmt, ist nicht klar, ob es zu schnell der zu langsam war)
• Die Statements sollten möglichst nur den Unterricht des Lehrenden und nur den Verantwortungsbereich des Dozenten betreffen.
• Allgemeinen Fragen zur Organisation/Hochschule sollten besser in Umfragen gestellt werden.
• Wenn Statements später angepasst werden sollen, so sollte dies möglichst behutsam erfolgen, damit die Werte aus alten Evaluationen nicht an Aussagekraft verlieren

Textbausteine

Auf dem Fragebogen kann jederzeit ausgetauscht werden

• der Text über dem Freitext "Kommentieren Sie hier z.B. zu den Inhalten oder der Art der Stoffvermittlung." sowie
• die Texte neben den freitextboxen "Beispiel: Welche Inhalte waren gut? Welche Form der Stoffvermittlung war gut?".
  

siehe auch Textbaustein

Sonderfunktion für Mitarbeiter

• der Evaluationsbereich kann nur mit Sonderrecht eingesehen werden. Der Bereich kann also nicht, auch nicht von einem Orga-Admin, eingesehen werden, wenn kein Sonderrecht zugewiesen wurde. Jede Zuweisung von Sonderrechten wird dokumentiert in der Logdatei
• das Sonderrecht 11 ist das umfassendste Sonderrecht und wird zugewiesen dem/den Evaluationsbeauftragten des Standortes.
• das Sonderrecht 67 "Evaluations-Einsicht, nur eigener Fachbereich" kann einem z.B. Fachbereichsleiter zugewiesen werden. Wenn der Fachbereichsleiter z.B. dem Fachbereich Medizin zugeordnet ist, dann kann er alle Evaluationen von Kursen sehen, die dem Fachbereich Medizin zugeordnet sind und in Details von Dozenten zoomen, die dem Fachbereich Medizin zugeordnet sind. Nicht sehen kann er Evaluationen von Dozenten aus anderen Fachbereichen.
• das Sonderrecht 66 "Freischaltung" ist gedacht für Personen, die keinen Einblick in Evaluationen habe sollen und aber die Aufgabe der Freischaltung übernehmen sollen.

siehe auch Sonderfunktion

Videos und sonstige Infos

Bitte beachten Sie auch den kommentierten Online-Mitschnitt zum Evaluationsmodul unter dem YouTube-Link: https://youtu.be/-0PoYqJu4vU. Ebenso steht ein Mitschnitt aus 2013 zum Thema Qualitätsmanagement unter http://trainex.adobeconnect.com/p7gdi081ros/ zur Verfügung.

Aufsätze

• Praxisbericht "Evaluation per Mausklick"
• Ganzheitliches Qualitätsmanagement durch Campus-Management-Systeme
• Basic_Relations_of_Quality_Quality_Management_and_Campus_Management_Systems

TraiNex-Akademie

Bitte beachten Sie dazu auch das Schulungsangebot der TraiNex-Akademie und besuchen Sie die Online-Schulung Evaluations- und Qualitätsmanagement.
Den nächsten Termin erfahren Sie im Schulungsprogramm unter http://Akademie.Trainings-Online.de

Letzte funktionale Änderungen

• Juli 2020: Die Frage nach dem Workload "Wie viel Zeit haben Sie außerhalb der Lehrveranstaltung für die Vor- und Nachbereitung und die Prüfungs-Vorbereitung für dieses Fachmodul aufgebracht?" ist nun ein veränderbarer Textbaustein.
• Juni 2019: *Feedback-Box als dauerhafter "Kummerkasten", z.B. als Ergänzung zu Evaluation bzw. Qualitäts-Management-Umfragen
• Dezember 2018: wenn in der Evaluation verschiedene Fragensets verwendet werden, dann können diese benannt werden mit z.B. "Master-Fragen"
• November 2018: Rohdaten der Evaluation können als Excel nun auch für Nutzergruppen heruntergeladen werden
• Mai: pro Evaluation kann definiert werden, ab wann der Dozent den Link zur Evaluation-Einsicht nutzen darf, z.B. erst 10 Tage nach Evaluationsende
• Januar 2018: Kommentare aus der Bewertung können abweichend vom Standard aus- bzw. eingeblendet werden
• August 2017: Evaluation: AutoMail an den Dozenten, wenn dessen Evaluation beendet/einsehbar ist. (Standard: ja)
• Juni 2017: Evaluation: Möglichkeit, dass Dozenten die eigene Evaluation erst sehen können, wenn 90% der Noten durch Verwaltung eingetragen sind bzw. durch Dozenten eingereicht wurden.
• Juni 2017: Evaluation: Möglichkeit, dass in unterschiedlichen Studiengängen unterschiedliche Fragensets verwendet werden
• Dezember 2016: Unterstützung englischer Sprache neben der Navigation auch im Bereich Startseite/Terminplan/Evaluation/Login für Studierende
• September 2016: Evaluation: auch in mobiler WebApp und Konfiguration "extrem anonymisiert"

Siehe auch

Bewertung
Workload
WebApp
Umfragen
Feedback-Box

Themenverwaltung
Lehrg.-verwalt.
Anmeldung
Umfragen
Logdatei

Vorherige Kategorie: Privat, Kommunikation, Dozenten, Lehrgang