Evaluation: Unterschied zwischen den Versionen

Aus TraiNexWiki
Wechseln zu:Navigation, Suche
(Auswertung)
(Siehe auch)
 
(138 dazwischenliegende Versionen von 10 Benutzern werden nicht angezeigt)
Zeile 6: Zeile 6:
 
== Allgemeines ==
 
== Allgemeines ==
  
Mit dem Modul "[[Evaluation]]" können Evaluationsbeauftragte oder Orga-Administratoren einzelne Dozenten zur Evaluationen freischalten sowie Auswertungen der abgegebenen Evaluationsbögen abrufen. Das Modul ist im Bereich "[[Admin]]" -> "[[Evaluation]]" zu finden.
+
Mit dem Modul [[Evaluation]] können Evaluationsbeauftragte oder Orga-Administratoren einzelne Lehrkräfte zur Evaluation freischalten sowie Auswertungen der abgegebenen Evaluationsbögen abrufen. Das Modul ist im Bereich [[Admin]]/[[Evaluation]] zu finden.
  
 
== Nutzen ==
 
== Nutzen ==
  
Das Evaluationssystem des TraiNex sorgt für eine umfangreiche Zeitersparnis bei den üblichen Schritten einer Evaluation, die Erhebung ist zudem sicherer, die Auswertung automatisch und zielgenau und die Kommunikation an alle Akteure erleichtert. Durch einen standardisierten Fragebogen wird die Vergleichbarkeit gewährleistet, die bei Akkreditierungen üblicherweise besonders wichtig ist. Das Evaluationssystem des TraiNex wird in Akkreditierungen (WR,FIBAA) ausdrücklich positiv als Teil des Qualitätsmanagementsystems gelobt. Selbst große Hochschulen können die Evaluation innerhalb von 4 Wochen komplett durchgeführt haben.
+
Das Evaluationssystem des TraiNex sorgt für eine umfangreiche Zeitersparnis bei den üblichen Schritten einer Evaluation, die Erhebung ist zudem sicherer, die Auswertung automatisch und zielgenau und die Kommunikation an alle Akteure erleichtert. Durch einen standardisierten Fragebogen wird die Vergleichbarkeit gewährleistet, die bei Akkreditierungen üblicherweise besonders wichtig ist. Das Evaluationssystem des TraiNex wird in Akkreditierungen ausdrücklich positiv als Teil des Qualitätsmanagementsystems gelobt. Selbst große Hochschulen können die Evaluation innerhalb von 2 Wochen komplett durchgeführt haben.
  
 
== Aufbau und Funktionen ==
 
== Aufbau und Funktionen ==
Zeile 17: Zeile 17:
  
 
=== Freischaltung ===
 
=== Freischaltung ===
 +
Im oberen Bereich der Übersicht zur Funktion "Evaluation" können die Evaluations-Beauftragten unter dem Link "Zur Freischaltung wechseln" die Evaluation vorbereiten. Es erscheint eine Übersicht über alle Lehrkräfte sowie die Kurse, die evaluiert werden können. Sie können hier einen oder mehrere Lehrkräfte zur Bewertung durch einen Studiengang freischalten.
  
Im oberen Bereich der Übersicht zur Funktion "Evaluation" können die Evaluations-Beauftragten unter dem Link "Zur Freischaltung wechseln" die Evaluation vorbereiten. Es erscheint eine Übersicht über alle Dozenten sowie die Kurse, die evaluiert werden können. Sie können hier einen oder mehrere Dozenten zur Bewertung durch einen Lehrgang freischalten. Um die Bewertung freizuschalten klicken Sie auf 'Freischaltung' und wählen anschließend den Dozenten aus der Dozentenliste, dann den Lehrgang und das Thema. Hilfreich ist, dass TraiNex automatisch bereits anzeigt, welche Unterrichte der Dozent in den vergangenen 4 Monaten durchgeführt hat. Beim [freischalten] ändern Sie ggf. den Zeitraum der Möglichkeit der Bewertung und aktivieren dies. Dem Lehrgang wird dann innerhalb des definierten Zeitraumes unter "Aktuelles" angezeigt, dass ein Dozent bewertet werden kann.  
+
Um die Bewertung manuell-einzeln freizuschalten, wählen Sie neben der Lehrkraft aus der Dozierendenliste das "freischalten" und dann Kurs und zu bewertendes Thema.  
  
Alternativ können Sie eine sogenannte "Massenfreischaltung" vornehmen: Dabei werden alle markierten Themen automatisch freigeschaltet, der Evaluationsbeauftragte legt für alle Kurse einen gemeinsamen Zeitraum fest. Mit Hilfe dieser Funktion können Evaluations-Beauftragte ganz unkompliziert viele Kurse schnell für die Evaluation freischalten.
+
Effizienter ist die Massenfreischaltung: Lassen Sie sich von TraiNex automatisch anzeigen die Lehrkraft-Themen-Kurs-Kombinationen, wo eine Lehrkraft in den letzten z.B. 180 Tagen mind. z.B. 2-mal ein zeugnisrelevantes Thema unterrichtet hat. Wenn Sie mit der Anzeige zufrieden sind, klicken Sie "alle", um die Checkboxen zu füllen und scrollen nach unten zur Massen-Freischaltung. Geben Sie ein VON-Datum (0:01 Uhr) und ein BIS-Datum (0:01 Uhr!) an, in welchem die Evaluation laufen soll. Geben Sie zusätzlich an, ob Lehrkräfte die Bewertung ab dem BIS-Datum oder erst später sehen dürfen.
 +
 
 +
Dem Studiengang wird dann innerhalb des definierten Zeitraumes unter "Aktuelles" angezeigt, dass eine Lehrkraft bewertet werden kann.
 +
 
 +
===Freischaltung: Option "Alte Eval. löschen"===
 +
[[Datei:eval_fb_beispiel.JPG|mini|400px|right|Beispiel eines Fragebogens aus Sicht eines Studierenden]]
 +
[[Datei:Evaluation.jpg|mini|400px|right|Mobile Ansicht der Evaluation]]
 +
Wenn eine Evaluation in einer Thema-Lehrkraft-Studiengang-Kombination bereits einmal stattgefunden hat, dann können diejenigen, die an dieser Evaluation bereits teilgenommen haben, nicht nochmals teilnehmen. Pro Thema-Lehrkraft-Studiengang-Kombination kann nur einmal eine Stimme abgegeben werden. Beispiel: Ein Thema BWL geht über 2 Semester und es wurde bereits nach dem 1. Semester evaluiert. Üblicherweise gilt dann die Evaluation aus dem 1. Semester als Zwischeninfo, die komplett durch die Evaluation im 2. Semester ersetzt wird. Hierzu ist "Alte Evaluationen von Thema/Lehrkraft/Studiengang-Kombination löschen?" zu wählen, damit die Evaluationen aus dem 1. Semester gelöscht werden. Wenn beide Semester evaluiert werden sollen, dann müsste das Thema auch zweimal angelegt werden als z.B. BWL1 und BWL2.
 +
 
 +
=== Nutzergruppen ===
 +
Neben der Evaluation durch Studiengruppen ist auch die Evaluation durch [[Nutzergruppen]] möglich. Die Nutzergruppe wird zur Freischaltung angezeigt, wenn die Nutzergruppe keine organisatorische sondern eine Lehr-Lern-Nutzergruppe ist UND die Lehrkraft mehr als einen Termin mit ihm als Leiter und einem Lernthema innerhalb der letzten 6 Monate hatte UND diese Nutzergruppe nicht abgelaufen ist. Bewertungen in Nutzergruppen sind einzeln freizuschalten. Bewerten können alle studentischen Mitglieder der Nutzergruppe, die zum Zeitpunkt des Evaluationszeitraums Mitglied der Gruppe sind. Die Ergebnisse sind bei der Lehrkraft abrufbar und werden aber auch verrechnet im Zeitverlauf der Zufriedenheit mit der Lehrkraft und der Zufriedenheit mit Themen. Keinen Einfluss hat eine Bewertung in einer Nutzergruppe auf die Zufriedenheit des Studienganges. Auch in Nutzergruppen gilt: Eine Nutzergruppe kann eine Lehrkraft in einem Fach nur einmal evaluieren.
  
 
=== Teilnahme ===
 
=== Teilnahme ===
  
Wenn eine Evaluation freigeschaltet wurde, erhalten Studenten beim nächsten Login in das TraiNex eine kurze Benachrichtigung mit der Frage "Nehmen Sie bitte kurz an der Dozenten-Evaluation teil?". Wenn sie die Bewertung später durchführen, wird diese auf der Startseite rechts unter "Bewertung" vermerkt und kann jederzeit durchgeführt werden.
+
Wenn eine Evaluation freigeschaltet wurde, erhalten Studierende beim nächsten Login in das TraiNex einen deutlichen Hinweis mit der Frage "Nehmen Sie bitte kurz an der Lehrkraft-Evaluation teil? Ja / Nein, später".  
 
+
Auch bei der Wahl von "Nein" wird auf der Startseite rechts unter "Bewertung" vermerkt, welche Bewertungen derzeit möglich sind für den Studierenden. Die Bewertungsmöglichkeit wird auch in der WebApp angezeigt und eine Bewertung ist auch [[WebApp|mobil]] möglich.
Die Studenten werden an prominenter Stelle darauf hingewiesen, dass die Bewertung anonym ist und direkt und automatisch mit anderen Bewertungen verrechnet wird, so dass im nachhinein nur ein Rückschluß auf den Studiengang und kein Rückschluß auf einzelne Studenten möglich ist.
+
 +
Die Studierenden werden an prominenter Stelle darauf hingewiesen, dass die Bewertung anonym ist und direkt und automatisch mit anderen Bewertungen verrechnet wird, so dass im Nachhinein nur ein Rückschluss auf den Studiengang und kein Rückschluss auf einzelne Studierende möglich ist.
  
 
Die Bewertung erfolgt anhand eines standardisierten Fragebogens. Dieser Fragebogen umfasst mindestens 8 und maximal 20 Statements, z.B. folgende 8 Statements, die jeweils in sechs Abstufungen von '1=stimme voll zu=zufrieden' bis '6=stimme überhaupt nicht zu=unzufrieden' bewertet werden müssen. (Likert-Skala)'''
 
Die Bewertung erfolgt anhand eines standardisierten Fragebogens. Dieser Fragebogen umfasst mindestens 8 und maximal 20 Statements, z.B. folgende 8 Statements, die jeweils in sechs Abstufungen von '1=stimme voll zu=zufrieden' bis '6=stimme überhaupt nicht zu=unzufrieden' bewertet werden müssen. (Likert-Skala)'''
  
#Der Dozent hat meine Motivation für das Fach steigern können.  
+
#Die Lehrkraft hat meine Motivation für das Fach steigern können.  
 
#Die Veranstaltung war meinem Kenntnisstand positiv angemessen. Ich habe etwas dazugelernt.
 
#Die Veranstaltung war meinem Kenntnisstand positiv angemessen. Ich habe etwas dazugelernt.
#Der Dozent hat mich zur aktiven Mitarbeit angeregt.
+
#Die Lehrkraft hat mich zur aktiven Mitarbeit angeregt.
#Die Darstellungsmethodik und Verständlichkeit des Dozenten war gut.
+
#Die Darstellungsmethodik und Verständlichkeit der Lehrkraft war gut.
#Der Dozent ist auf Fragen und Anregungen eingegangen.
+
#Die Lehrkraft ist auf Fragen und Anregungen eingegangen.
 
#Der Unterricht war im Rahmen des Themas interessant gestaltet.
 
#Der Unterricht war im Rahmen des Themas interessant gestaltet.
 
#Ein Bezug zur Praxis wurde gut hergestellt.>
 
#Ein Bezug zur Praxis wurde gut hergestellt.>
#Es wurden Möglichkeiten zur selbständigen Weiterarbeit aufgezeigt.
+
#Es wurden Möglichkeiten zur selbstständigen Weiterarbeit aufgezeigt.
 +
 
 +
Gefragt werden kann nach Prozessqualität (Die Vermittlung war interessant!) und nach der Ergebnisqualität (Ja, ich habe viel dazugelernt!). Sinnvoll ist es, nur nach Bereichen zu fragen, die die Lehrkraft verantworten kann. Allgemeine Fragen zur Organisation oder Ausstattung der Hochschule sollten mit der Funktion "[[Umfragen]]" durchgeführt werden.
 +
 
 +
Darüber hinaus muss eine Note gem. Schulsystem vergeben werden und es können in einem Freitextbereich Positives, Negatives und Anmerkungen eingetragen werden. Auch kann ermöglicht werden, dass der Studiengangsteilnehmer eingibt, wie viele Stunden er für die Vor- und Nachbereitung aufgebracht hat, was in eine [[Workload]]-Erhebung münden kann. Jeder Studieng.-Teilnehmer kann den Fragebogen nur einmal ausfüllen. Um eine Evaluation zu löschen und damit eine erneute Befragung für alle Betroffenen zu ermöglichen, nutzen Sie den Button 'löschen'. Wenn eine Bewertung im Nachhinein nochmals freigeschaltet wird, dann können nur die Teilnehmer, die bisher nicht bewertet haben, ihre Stimme abgeben.
  
Gefragt werden kann nach Prozessqualität (Die Vermittlung war interessant!) und nach der Ergebnisqualität (Ja, ich habe viel dazugelernt!). Sinnvoll ist es nur, nach Bereichen zu fragen, die der Dozent verantworten kann. Allgemeine Fragen zur Organisation oder Ausstattung der Hochschule sollten mit der Funktion "[[Umfragen]]" durchgeführt werden.
+
== Sicht einer Lehrkraft/Dozierenden ==
 +
Die Lehrkraft hat Zugriff auf ihre eigenen Evaluationen unter Privat/Bewertung (siehe Bild "Sicht einer Lehrkraft" bei Pos 1). In einer Gesamtübersicht aller Studiengänge sieht sie tabellarisch zunächst die Statements (Bild Pos 2) und in rot/grün/schwarz die summierte Bewertung (Pos 3). Durch Klick gelangt man sowohl zu einer anonymen Rangreihenfolge (Pos 4) als auch zu den Details inkl. ggf. der Freitextkommentare (Pos 5). Wenn Werte aus mehreren Jahren vorliegen, wird auch grafisch angezeigt, wie die eigene Evaluation sich im Zeitverlauf entwickelt hat.    
 +
[[Datei:eval_dozsicht.JPG|mini|450px|Sicht einer Lehrkraft (durch Klick vergrößern)]]
  
Darüber hinaus muß eine Note gem. Schulsystem vergeben werden und es können in einem Freitextbereich Positives, Negatives und Anmerkungen eingetragen werden. Auch kann ermöglicht werden, dass der Lehrgangsteilnehmer eingibt, wieviele Stunden er für die Vor- und Nachbereitung aufgebracht hat, was in eine [[Workload]]-Erhebung münden kann. Jeder Lehrg.-Teilnehmer kann den Fragebogen nur einmal ausfüllen. Um eine Evaluation zu löschen und damit eine erneute Befragung für alle Betroffenen zu ermöglichen, nutzen Sie den Button 'löschen'. Wenn eine Bewertung im nachhinein nochmals freigeschaltet wird, dann können nur die Teilnehmer, die bisher nicht bewertet haben, ihre Stimme abgegeben.
+
== Auswertung ==
 +
[[Datei:eval_doz3.JPG|mini|350px|Hineinzoomen in eine bewertete Lehrkraft]]Als Evaluationsbeauftragter sehen Sie zunächst eine Übersicht der "Mittelwerte nach Lehrgang" sowie die Mittelwerte für jedes einzelne Statement. Rote Noten deuten an, dass in einem Studiengang vermehrt schlechte Evaluationen abgegeben wurden und der Durchschnitt einer Note schlechter als 3 ist. Es gibt nun mehrere Möglichkeiten der Auswertung:
  
=== Auswertung ===
+
*Wenn Ihnen ein Studiengang mit einer roten Note auffällt, klicken Sie rechts in der Spalte "Top-Dozenten" auf "zeige". Dargestellt wird dann der Verlauf der Zufriedenheit des Studiengangs (Position 1 in der Abb.) und eine Rangfolge der Lehrkräfte, die von der besten zur schlechtesten Bewertung geht (Position 2 in der Abb.).
Als Evaluationsbeauftragter sehen Sie zunächst eine Übersicht der "Mittelwerte nach Lehrgang" sowie die Mittelwerte für jedes einzelne Statement. Rote Noten deuten an, dass in einem Lehrgang vermehrt schlechte Evaluationen abgegeben wurden und der Durchschnitt einer Note schlechter als 3 ist. Es gibt nun mehrere Möglichkeiten der Auswertung:
+
*Klicken Sie bei einer "roten=schlecht bewerteten" Lehrkraft auf "Details" (Position 3 in der Abb.), so wird Ihnen angezeigt, ob die Lehrkraft auch in anderen Kursen schlecht bewertet wurde und bei welchem Statement schlecht bewertet wurde. Über "Gesamtübersicht" sehen Sie ausführlich alle Evaluationen dieser Lehrkraft.
 +
*Klicken Sie auf "alle Evals komplett anzeigen" (Position 4 in der Abb.), werden Ihnen alle Evaluationen aller Lehrkräfte übersichtlich untereinander angezeigt.
  
Die Ergebnisse der Befragung können nur zusammengefasst und nur durch den zu bewerteten Dozenten im Bereich "[[Privat]]" -> "[[Bewertung]]" und die Evaluationsbeauftragten abgerufen werden. Das Ergebnis zeigt Mittelwerte und Standardabweichungen (Std.Abw.=0=keine Streuung) der Antworten.
+
Die Ergebnisse der Befragung können nur zusammengefasst und nur durch die zu bewertende Lehrkraft im Bereich "[[Privat]]" -> "[[Bewertung]]" und die Evaluationsbeauftragten abgerufen werden. Das Ergebnis zeigt Mittelwerte und Standardabweichungen (Std.Abw.=0=keine Streuung) der Antworten.
 +
 +
==== Übersicht "nach Lehrkräften/Dozierenden" ====
  
==== Übersicht "nach Dozenten" ====
+
[[Datei:Eval_doz.JPG|mini|250px|Grafisch abrufbar ist die Zufriedenheit mit einer Lehrkraft (über alle Gruppen) im Zeitverlauf. Hier z.B. eine konstant schlechter werdende Bewertung.]]
  
[[Datei:Eval_doz.JPG|mini|250px|Grafisch abrufbar ist die Zufriedenheit mit einem Dozenten (über alle Gruppen) im Zeitverlauf. Hier z.B. eine konstant schlechter werdende Bewertung.]]
+
Im oberen Bereich der Übersicht zur Funktion "Evaluation" können alle Nutzer, die über das Recht "Evaluations-Beauftragte" verfügen, unter dem Link "Zur Übersicht nach Dozenten" eine Zusammenstellung der Bewertung aller Lehrkräfte erhalten.
  
Im oberen Bereich der Übersicht zur Funktion "Evaluation" können alle Nutzer, die über das Recht "Evaluations-Beauftragte" verfügen, unter dem Link "Zur Übersicht nach Dozenten" eine Zusammenstellung der Bewertung aller Dozenten erhalten. So ist auf einen Blick sichtbar, welcher Dozent von dem betroffenen Lehrgang besonders gut oder schlecht bewertet wurde:
+
*In diesem Bereich wird aufgelistet, wie viele Fragebögen bereits abgegeben und welchen Gesamtschnitt die Lehrkraft erreicht hat.
 +
*Sie können mittels der Checkboxen mehrere Lehrkräfte auswählen und einen Sammelbericht mit allen Evaluationen erstellen.
 +
*Sie können auch eine Lehrkraft auswählen und sich die Bewertungen für alle Themen der Lehrkraft anzeigen lassen.
 +
*Die dortige Übersicht 'Mittelwerte' zeigt zunächst, ob die Lehrkraft auch in einem anderen Studiengang ähnlich bewertet wurde. Detaillierte Einzelnoten und Kommentare von einem bestimmten Studiengang zu einem bestimmten Thema dieser Lehrkraft können dort unter [Bewertung] ebenfalls abgerufen werden. Das TraiNex zeigt durch rote, schwarze und grüne Markierungsfarben jeweils die Bewertungs-Tendenzen an.
 +
*Über "Evaluationen nach Themen und Zeit" wird grafisch die Zufriedenheit mit der Lehrkraft (über alle Gruppen) im Zeitverlauf angezeigt als auch in welchen Modulthemen die Lehrkraft besser oder schlechter bewertet wurde.
 +
*Über "Gesamtübersicht" verzweigen Sie zu allen Evaluationen zu dieser Lehrkraft.
  
*In diesem Bereich wird aufgelistet, wieviele Fragebögen bereits abgegeben und welchen Gesamtschnitt der Dozent erreicht hat.
 
*Sie können einen Dozenten auswählen und sich die Bewertungen für alle Themen des Dozenten anzeigen lassen.
 
*Die dortige Übersicht 'Mittelwerte' zeigt zunächst, ob der Dozent auch in einem anderen Lehrgang ähnlich bewertet wurde. Detaillierte Einzelnoten und Kommentare von einem bestimmten Lehrgang zu einem bestimmten Thema dieses Dozenten können dort unter [Bewertung] ebenfalls abgerufen werden. Das TraiNex zeigt durch rote, schwarze und grüne Markierungsfarben jeweils die Bewertungs-Tendenzen an.
 
*Grafisch abrufbar ist beispielsweise die Zufriedenheit mit einem Dozenten (über alle Gruppen) im Zeitverlauf, aber auch die Zufriedenheit der Gruppe (mit allen Dozenten) im Zeitverlauf.
 
  
[[Datei:rgseval.JPG|mini|250px|Verteilung der Dozenten eines Fachbereiches eines Evaluationsdurchganges]] [[Datei:eval_kurs.JPG|mini|250px|Grafisch abrufbar ist z.B. die Zufriedenheit der Gruppe (mit allen Dozenten) im Zeitverlauf.]]  
+
[[Datei:rgseval.JPG|mini|250px|Verteilung der Lehrkräfte eines Fachbereiches eines Evaluationsdurchganges]] [[Datei:eval_kurs.JPG|mini|250px|Grafisch abrufbar ist z.B. die Zufriedenheit der Gruppe (mit allen Lehrkräften) im Zeitverlauf.]]
  
==== Übersicht "Details" ====
+
==== Übersicht "Workload-Details" ====
 +
[[Datei:workload2.JPG|mini|350px|Workload-Auswertungs-Parameter]] Im oberen Bereich der Übersicht zur Funktion "Evaluation" können alle Nutzer, die über das Recht "Evaluations-Beauftragte" verfügen, unter dem Link "Details" weiterführende Daten zur Workload-Befragung abrufen. Verschiedene Auswerte-Parameter können gesetzt werden: Stunden pro CP oder Anteil des SSVN (Selbststudium sowie Vor- und Nachbereitung) oder zeitliche Eingrenzungen.
  
Im oberen Bereich der Übersicht zur Funktion "Evaluation" können alle Nutzer, die über das Recht "Evaluations-Beauftragte" verfügen, unter dem Link "Details" weiterführende Daten zur Evaluation abrufen.  
+
Dargestellt wird, ob die Studierenden in den einzelnen Modulen entweder überlastet oder unterausgelastet sind. Dazu bezieht das TraiNex die nötigen Daten aus der Themenverwaltung sowie der Einschätzung der Studierenden zu ihrem eigenen [[Workload]] aus der [[Evaluation]].  
  
Über diese Funktion können die Evaluations-Beauftragten insbesondere prüfen, ob die Studenten in den einzelnen Modulen entweder überlastet oder unterausgelastet sind. Dazu bezieht das TraiNex die nötigen Daten aus der Themenverwaltung sowie der Einschätzung der Studenten zu ihrem eigenen Workload.
+
Im unteren Bereich der [[Workload]]-Detail-Übersicht errechnet das TraiNex automatisch Kennzahlen, welche für die Evaluations-Beauftragten hilfreich sind. So ist beispielsweise der durchschnittliche Gesamtworkload oder alternativ der Workload für das Selbststudium pro CP automatisch verfügbar. Diese Angaben werden häufig auch bei Akkreditierungsverfahren abgefragt. (siehe Abbildung Workload sowie Artikel zu [[Workload]])
  
Im unteren Bereich der Detail-Übersicht errechnet das TraiNex automatisch mehrere Parameter, welche für die Evaluations-Beauftragten hilfreich sind. So ist beispielsweise der durchschnittliche Gesamtworkload oder alternativ der Workload für das Selbststudium pro CP automatisch verfügbar. Diese Angaben werden häufig auch bei Akkreditierungsverfahren abgefragt.
+
==== Übersicht "Themen-Rangreihe" ====
 +
Wenn Sie weniger die Lehrkräfte und mehr die Modultehmen interessieren, so nutzen Sie die "Themen-Rangreihe". Hier können Sie zunächst auf z.B. ein bestimmtes Semester eingrenzen und erhalten danach eine Rangreihe der beliebtesten und unbeliebtesten Themen. Eingeblendet werden können danach die zugehörigen Lehrkräfte/Studiengänge oder Teilnahmequoten.
  
 
== Konfigurationsparameter ==  
 
== Konfigurationsparameter ==  
  
 
Das TraiNex kann so eingestellt werden,
 
Das TraiNex kann so eingestellt werden,
 
*dass Dozenten sich selber zur Evaluation freischalten können oder auch nicht,
 
*dass Dozenten die Textkommentare der Evaluationen sehen oder auch nicht,
 
 
*dass das Modul komplett ausgeblendet und somit nicht verfügbar ist,
 
*dass das Modul komplett ausgeblendet und somit nicht verfügbar ist,
 +
*dass Lehrkräfte sich selber zur Evaluation freischalten können oder auch nicht,
 +
*dass Lehrkräfte die Textkommentare der Evaluationen sehen oder auch nicht,
 
*dass die Texte der Statements EINMALIG initial durch andere ersetzt werden können,
 
*dass die Texte der Statements EINMALIG initial durch andere ersetzt werden können,
*dass die Anzahl der Statements auf bis zu 23 erhöht werden kann.
+
*dass die Anzahl der Statements auf bis zu 23 erhöht werden kann,
*Die derzeitige Einstellung entnehmen Sie bitte dem Menüpunkt Admin/Logdatei/Konfiguration.  
+
*dass eine Abfrage der Bewertung nach Fachbereichen möglich ist,
*eine Abfrage der Bewertung nach Fachbereichen möglich ist
+
*dass die Frage zum Workload / der Stundenbelastung ausgeschaltet werden kann,
 +
*dass eingebende Bewerter nicht nur anonymisiert, sondern extrem anonymisiert werden (immer, falls Kunde das [[Datenbankhosting]] übernimmt),
 +
*dass Lehrkräfte die eigene Evaluation erst im Detail sehen können, wenn 75% der Noten vorliegen,
 +
*dass ähnliche, aber doch unterschiedliche Statement-Sets verwendet werden pro Studiengang (z.B. anderes Statement im Fernstudium statt Präsenz, in Bachelor statt Master),
 +
*dass ein Studierender nach Evaluationsteilnahme und Ende aller Evaluationen des eigenen Studienganges für 60 Tage das hochaggregierte Ergebnis des eigenen Studienganges sehen kann im Bereich LERNEN, 
 +
*dass einer Lehrkraft eine Mail gesendet wird automatisch, wenn deren Evaluation beendet bzw. die Einsicht möglich ist (Standard=ja).
 +
*Die derzeitige Einstellung entnehmen Sie bitte dem Menüpunkt Admin/Logdatei/Konfiguration.
  
 
== Profi-Tipps ==
 
== Profi-Tipps ==
 +
*Sie können die Teilnahmequote erhöhen, indem den Studierenden vorab die Bedeutung der Evaluation verdeutlicht wird - beispielsweise via Mail. Außerdem kann die Bewertung noch vor Ort innerhalb des letzten Unterrichtes durchgeführt werden, um eine gewisse Verbindlichkeit zu schaffen.
 +
*Beim Einsatz eines gleichbleibenden Statement-Sets entsteht im Verlauf mehrerer Evaluationen ein wertvoller Datenschatz, welcher die Grundlage für das Qualitätsmanagement bildet. Es wird empfohlen, die einzelnen Frage-Items nicht zu verändern, da sonst ein Bruch im Datensatz entsteht und die Vergleichbarkeit nicht mehr durchgehend gewährleistet ist.
 +
*Wenn das [[Klassenbuch]] genutzt wird, dann werden die Evaluationen der Lehrkräfte aggregiert den Evaluationen der Studierenden gegenübergestellt für den Evaluationsbeauftragten. Auch die Kommentare der Lehrkräfte sind sichtbar.
 +
 +
== Anpassung des Eval-Bogens ==
 +
*Das Fragen/Statement-Set sollte einmalig zu Beginn möglichst allgemeingültig festgelegt werden.
 +
*Die Statements werden von [[TrOn]] kurz geprüft und dann von [[TrOn]] eingebunden.
 +
*Statt "der Dozierende" oder "der Dozent/die Dozentin" können Platzhalter benutzt werden, die das TraiNex automatisch im Fragebogen austauscht. Die Platzhalter sind: [Dozentenanrede] [Dozentenvorname] [Dozentenname] mit Dozentenanrede=Herr oder Frau zzgl. Titel.
 +
*Die Anzahl der Antwortmöglichkeiten pro Statement kann initial geändert werden und statt von 1 bis 6 von z.B. 1 bis 5 oder 2 bis 6 gehen.
 +
*Die dichotome Antwortmöglichkeit Ja/Nein ist möglich statt der 1-6 Skala. Intern wird das positive "ja" dem Wert 2 und das negative "nein" dann dem Wert 3 zugeordnet.
 +
*Die Statements sollen eine sehr positive Aussage sein (z.B. "Die Darstellungsmethodik und Verständlichkeit von [Dozentenvorname] [Dozentenname] war sehr gut."). Jedes Statement muss bei Zustimmung eine sehr positive und gleichzeitig bei Ablehnung eine sehr negative Bewertung sein. Jede andere Form von Statement führt zu Verzerrungen.
 +
*Sowohl die Zustimmung als auch die Ablehnung des Statements sollen klar interpretierbar sein. (Ungut wäre: "Die Lehrgeschwindigkeit war sehr gut", denn wenn jemand dem nicht zustimmt, ist nicht klar, ob es zu schnell oder zu langsam war.)
 +
*Die Statements sollten möglichst nur den Unterricht des Lehrenden und nur den Verantwortungsbereich der Lehrkraft betreffen.
 +
*Allgemeine Fragen zur Organisation/Hochschule sollten besser in [[Umfragen]] gestellt werden.
 +
*Wenn Statements später angepasst werden sollen, so sollte dies möglichst behutsam erfolgen, damit die Werte aus alten Evaluationen nicht an Aussagekraft verlieren. Die Anzahl der Statements muss identisch sein zur initialen Anzahl der Statements. Der Erkenntnisgewinn des Statements soll in den Statements-Sets möglich identisch sein.  (z.B. Frage nach der Didaktik in Frage 5 von Statement-Set 1 so auch in Frage 5 vom Statement-Set 2)
 +
 +
== Textbausteine ==
 +
Auf dem Fragebogen kann jederzeit ausgetauscht werden
 +
*der Text über dem Freitext "Kommentieren Sie hier z.B. zu den Inhalten oder der Art der Stoffvermittlung." sowie
 +
*die Texte neben den Freitextboxen, "Beispiel: Welche Inhalte waren gut? Welche Form der Stoffvermittlung war gut?".<BR>
 +
siehe auch [[Textbaustein]]
 +
 +
==Sonderfunktion für Mitarbeitende==
 +
*Der Evaluationsbereich kann nur mit Sonderrecht eingesehen werden. Der Bereich kann also nicht, auch nicht von einem Orga-Admin, eingesehen werden, wenn kein Sonderrecht zugewiesen wurde. Jede Zuweisung von Sonderrechten wird dokumentiert in der [[Logdatei]].
 +
*Das Sonderrecht 11 ist das umfassendste Sonderrecht und wird zugewiesen dem/den Evaluationsbeauftragten des Standortes.
 +
*Das Sonderrecht 67 "Evaluations-Einsicht, nur eigener Fachbereich" kann einem z.B. Fachbereichsleiter zugewiesen werden. Wenn der Fachbereichsleiter z.B. dem Fachbereich Medizin zugeordnet ist, dann kann er alle Evaluationen von Kursen sehen, die dem Fachbereich Medizin zugeordnet sind und in Details von Lehrkräften zoomen, die dem Fachbereich Medizin zugeordnet sind. Nicht sehen kann er Evaluationen von Lehrkräften aus anderen Fachbereichen.
 +
*Das Sonderrecht 66 "Freischaltung" ist gedacht für Personen, die keinen Einblick in Evaluationen haben sollen und aber die Aufgabe der Freischaltung übernehmen sollen.
  
*Sie können die Teilnahmequote erhöhen, indem den Studierenden vorab die Bedeutung der Evaluation verdeutlicht wird - beispielsweise via Mail. Außerdem kann die Bewertung noch vor Ort innerhalb des letzten Unterrichtes durchgeführt werden, um eine gewisse Verbindlichkeit zu schaffen.
+
siehe auch [[Sonderfunktion]]
*Beim Einsatz eines gleich bleibenden Statement-Sets entsteht im Verlauf mehrerer Evaluationen ein wertvoller Datenschatz, welcher die Grundlage für das Qualitätsmanagement bildet. Es wird empfohlen, die einzelnen Frage-Items nicht zu verändern, da sonst ein Bruch im Datensatz entsteht und die Vergleichbarkeit nicht mehr durchgehend gewährleistet ist.
 
*Wenn das [[Klassenbuch]] genutzt wird, dann werden die Evaluationen der Dozenten aggregiert den Evaluationen der Studierenden gegenübergestellt für den Evaluationsbeauftragten. Auch die Kommentare der Dozenten sind sichtbar.
 
  
 
== Videos und sonstige Infos ==
 
== Videos und sonstige Infos ==
Bitte beachten Sie auch den kommentierten [http://www.webb24.de/flash/eval2.html Online-Mitschnitt zum Evaluationsmodul] (Stand: 2005). Ebenso steht ein Mitschnitt aus 2013 zum Thema Qualitätsmanagement [http://trainex.adobeconnect.com/p7gdi081ros/ hier] zur Verfügung.
+
Bitte beachten Sie auch den kommentierten Online-Mitschnitt zum Evaluationsmodul unter dem YouTube-Link: https://youtu.be/-0PoYqJu4vU. Ebenso steht ein Mitschnitt aus 2013 zum Thema Qualitätsmanagement unter <!-- http://trainex.adobeconnect.com/p7gdi081ros/ -->https://youtu.be/pRwEUh0-VQM  zur Verfügung.  
  
 
=== Aufsätze ===
 
=== Aufsätze ===
 +
*[https://www.trainings-online.de/downloads/Praxisbericht_Evaluation.pdf Praxisbericht "Evaluation per Mausklick"]
 
*[http://qm.campus-management-system.de/QM_durch_Campus-Management-Systeme.pdf Ganzheitliches Qualitätsmanagement durch Campus-Management-Systeme]  
 
*[http://qm.campus-management-system.de/QM_durch_Campus-Management-Systeme.pdf Ganzheitliches Qualitätsmanagement durch Campus-Management-Systeme]  
*[http://www.researchgate.net/publication/264274859_Basic_Relations_of_Quality_Quality_Management_and_Campus_Management_Systems Basic_Relations_of_Quality_Quality_Management_and_Campus_Management_Systems]
+
*[http://ecampus24.eu/campus_management_system.pdf Ganzheitlichkeit von Campus-Management-Systemen als Akkreditierungsvorteil]
 +
*[https://www.researchgate.net/publication/264274859_Basic_Relations_of_Quality_Quality_Management_and_Campus_Management_Systems Basic_Relations_of_Quality_Quality_Management_and_Campus_Management_Systems]
  
 
=== TraiNex-Akademie ===
 
=== TraiNex-Akademie ===
  
Bitte beachten Sie dazu auch das Schulungsangebot der TraiNex-Akademie und besuchen Sie unser Online-Modul '''Experte QME'''. Den nächsten Termin erfahren Sie im Schulungsprogramm unter http://Akademie.Trainings-Online.de
+
Bitte beachten Sie dazu auch das Schulungsangebot der TraiNex-Akademie und besuchen Sie die Online-Schulung
 +
'''Evaluations- und Qualitätsmanagement'''. <BR>Den nächsten Termin erfahren Sie im
 +
Schulungsprogramm unter https://Akademie.Trainings-Online.de
 +
 
 +
== Häufige Fragen ==
 +
Frage: Oh, ich habe falsch bewertet. Kann man meine abgegebene Evaluation rückgängig machen und löschen?<BR>
 +
Antwort: Nein, die Evaluation ist geheim und TraiNex kann keinen abgegebenen Evaluationbogen einem Studierenden zuordnen und deshalb auch keinen Evaluationbogen löschen.
 +
 
 +
== Letzte funktionale Änderungen ==
 +
*August 2024: [[Evaluation]]: Optional kann durch [[TrOn]] ausgeschaltet werden, dass Textkommentare (gefallen/missfallen/Anregungen) möglich sind.
 +
*Mai 2022: [[Evaluation]]: Möglichkeit, die anonyme Vergleichsbetrachtung der Lehrkräfte untereinander für Lehrkräfte zu deaktivieren durch [[TrOn]]
 +
*April 2022: [[Umfragen]] können einem Thema/Modul zugeordnet werden. Wenn eine [[Evaluation]] zu einem Thema abgegeben wird und eine [[Umfragen|Umfrage]] zu dem gleichen Thema derzeit aktiv ist, wird der Nutzer auf die Umfrage hingewiesen am Ende der Evaluation.
 +
*April 2022: [[Evaluation]]: Jedes Fragenset kann einen individuellen einleitenden Text haben (max. 800 Zeichen), der der bewertenden Person auf dem Fragebogen vor den Statements angezeigt wird.
 +
*Juli 2020: Die Frage nach dem Workload "Wie viel Zeit haben Sie außerhalb der Lehrveranstaltung für die Vor- und Nachbereitung und die Prüfungs-Vorbereitung für dieses Fachmodul aufgebracht?" ist nun ein veränderbarer [[Textbaustein]].
 +
*Juni 2019: *[[Feedback-Box]] als dauerhafter "Kummerkasten", z.B. als Ergänzung zu Evaluation bzw. Qualitäts-Management-[[Umfragen]]
 +
*Dezember 2018: Wenn in der Evaluation verschiedene Fragensets verwendet werden, dann können diese benannt werden mit z.B. "Master-Fragen".
 +
*November 2018: Rohdaten der Evaluation können als Excel nun auch für Nutzergruppen heruntergeladen werden.
 +
*Mai: Pro Evaluation kann definiert werden, ab wann die Lehrkraft den Link zur Evaluation-Einsicht nutzen darf, z.B. erst 10 Tage nach Evaluationsende.
 +
*Januar 2018: Kommentare aus der Bewertung können abweichend vom Standard aus- bzw. eingeblendet werden.
 +
*August 2017: Evaluation: AutoMail an die Lehrkraft, wenn deren Evaluation beendet/einsehbar ist (Standard: ja) <!--in Hauptartikel integriert iHAi--->
 +
*Juni 2017: Evaluation: Möglichkeit, dass Lehrkräfte die eigene Evaluation erst sehen können, wenn 90% der Noten durch Verwaltung eingetragen sind bzw. durch Lehrkräfte eingereicht wurden
 +
*Juni 2017: Evaluation: Möglichkeit, dass in unterschiedlichen Studiengängen unterschiedliche Fragensets verwendet werden <!--in Hauptartikel integriert iHAi--->
 +
*Dezember 2016: Unterstützung englischer Sprache neben der Navigation auch im Bereich Startseite/Terminplan/Evaluation/Login für Studierende <!--in Hauptartikel integriert iHAi--->
 +
*September 2016: Evaluation: Auch in mobiler WebApp und Konfiguration "extrem anonymisiert"<!--in Hauptartikel integriert iHAi--->
 +
 
 +
== Schlagworte ==
 +
<small>Auswertung, Bewertung, Beurteilung, Bewertungsbogen, Feedback, Evaluierung, Einstufung, QM, Qualitätsmanagement, Akkreditierung
  
 
== Siehe auch ==
 
== Siehe auch ==
[[Bewertung]]<BR><BR>
+
[[Bewertung]]<BR>
 +
[[Workload]]<BR>
 +
[[Umfragen]]<BR>
 +
[[Feedback-Box]]<BR>
 +
[[Akkreditierung und Campus Management]]<BR>
 +
[[WebApp]]<BR>
 +
 
 
[[Themenverwaltung]]<BR>
 
[[Themenverwaltung]]<BR>
 
[[Lehrg.-verwalt.]]<BR>
 
[[Lehrg.-verwalt.]]<BR>

Aktuelle Version vom 27. September 2024, 07:12 Uhr


Allgemeines

Mit dem Modul Evaluation können Evaluationsbeauftragte oder Orga-Administratoren einzelne Lehrkräfte zur Evaluation freischalten sowie Auswertungen der abgegebenen Evaluationsbögen abrufen. Das Modul ist im Bereich Admin/Evaluation zu finden.

Nutzen

Das Evaluationssystem des TraiNex sorgt für eine umfangreiche Zeitersparnis bei den üblichen Schritten einer Evaluation, die Erhebung ist zudem sicherer, die Auswertung automatisch und zielgenau und die Kommunikation an alle Akteure erleichtert. Durch einen standardisierten Fragebogen wird die Vergleichbarkeit gewährleistet, die bei Akkreditierungen üblicherweise besonders wichtig ist. Das Evaluationssystem des TraiNex wird in Akkreditierungen ausdrücklich positiv als Teil des Qualitätsmanagementsystems gelobt. Selbst große Hochschulen können die Evaluation innerhalb von 2 Wochen komplett durchgeführt haben.

Aufbau und Funktionen

Die 4 Schritte bestehen aus Freischaltung, Teilnahme sowie Auswertung und Kommunikation.

Freischaltung

Im oberen Bereich der Übersicht zur Funktion "Evaluation" können die Evaluations-Beauftragten unter dem Link "Zur Freischaltung wechseln" die Evaluation vorbereiten. Es erscheint eine Übersicht über alle Lehrkräfte sowie die Kurse, die evaluiert werden können. Sie können hier einen oder mehrere Lehrkräfte zur Bewertung durch einen Studiengang freischalten.

Um die Bewertung manuell-einzeln freizuschalten, wählen Sie neben der Lehrkraft aus der Dozierendenliste das "freischalten" und dann Kurs und zu bewertendes Thema.

Effizienter ist die Massenfreischaltung: Lassen Sie sich von TraiNex automatisch anzeigen die Lehrkraft-Themen-Kurs-Kombinationen, wo eine Lehrkraft in den letzten z.B. 180 Tagen mind. z.B. 2-mal ein zeugnisrelevantes Thema unterrichtet hat. Wenn Sie mit der Anzeige zufrieden sind, klicken Sie "alle", um die Checkboxen zu füllen und scrollen nach unten zur Massen-Freischaltung. Geben Sie ein VON-Datum (0:01 Uhr) und ein BIS-Datum (0:01 Uhr!) an, in welchem die Evaluation laufen soll. Geben Sie zusätzlich an, ob Lehrkräfte die Bewertung ab dem BIS-Datum oder erst später sehen dürfen.

Dem Studiengang wird dann innerhalb des definierten Zeitraumes unter "Aktuelles" angezeigt, dass eine Lehrkraft bewertet werden kann.

Freischaltung: Option "Alte Eval. löschen"

Beispiel eines Fragebogens aus Sicht eines Studierenden
Mobile Ansicht der Evaluation

Wenn eine Evaluation in einer Thema-Lehrkraft-Studiengang-Kombination bereits einmal stattgefunden hat, dann können diejenigen, die an dieser Evaluation bereits teilgenommen haben, nicht nochmals teilnehmen. Pro Thema-Lehrkraft-Studiengang-Kombination kann nur einmal eine Stimme abgegeben werden. Beispiel: Ein Thema BWL geht über 2 Semester und es wurde bereits nach dem 1. Semester evaluiert. Üblicherweise gilt dann die Evaluation aus dem 1. Semester als Zwischeninfo, die komplett durch die Evaluation im 2. Semester ersetzt wird. Hierzu ist "Alte Evaluationen von Thema/Lehrkraft/Studiengang-Kombination löschen?" zu wählen, damit die Evaluationen aus dem 1. Semester gelöscht werden. Wenn beide Semester evaluiert werden sollen, dann müsste das Thema auch zweimal angelegt werden als z.B. BWL1 und BWL2.

Nutzergruppen

Neben der Evaluation durch Studiengruppen ist auch die Evaluation durch Nutzergruppen möglich. Die Nutzergruppe wird zur Freischaltung angezeigt, wenn die Nutzergruppe keine organisatorische sondern eine Lehr-Lern-Nutzergruppe ist UND die Lehrkraft mehr als einen Termin mit ihm als Leiter und einem Lernthema innerhalb der letzten 6 Monate hatte UND diese Nutzergruppe nicht abgelaufen ist. Bewertungen in Nutzergruppen sind einzeln freizuschalten. Bewerten können alle studentischen Mitglieder der Nutzergruppe, die zum Zeitpunkt des Evaluationszeitraums Mitglied der Gruppe sind. Die Ergebnisse sind bei der Lehrkraft abrufbar und werden aber auch verrechnet im Zeitverlauf der Zufriedenheit mit der Lehrkraft und der Zufriedenheit mit Themen. Keinen Einfluss hat eine Bewertung in einer Nutzergruppe auf die Zufriedenheit des Studienganges. Auch in Nutzergruppen gilt: Eine Nutzergruppe kann eine Lehrkraft in einem Fach nur einmal evaluieren.

Teilnahme

Wenn eine Evaluation freigeschaltet wurde, erhalten Studierende beim nächsten Login in das TraiNex einen deutlichen Hinweis mit der Frage "Nehmen Sie bitte kurz an der Lehrkraft-Evaluation teil? Ja / Nein, später". Auch bei der Wahl von "Nein" wird auf der Startseite rechts unter "Bewertung" vermerkt, welche Bewertungen derzeit möglich sind für den Studierenden. Die Bewertungsmöglichkeit wird auch in der WebApp angezeigt und eine Bewertung ist auch mobil möglich.

Die Studierenden werden an prominenter Stelle darauf hingewiesen, dass die Bewertung anonym ist und direkt und automatisch mit anderen Bewertungen verrechnet wird, so dass im Nachhinein nur ein Rückschluss auf den Studiengang und kein Rückschluss auf einzelne Studierende möglich ist.

Die Bewertung erfolgt anhand eines standardisierten Fragebogens. Dieser Fragebogen umfasst mindestens 8 und maximal 20 Statements, z.B. folgende 8 Statements, die jeweils in sechs Abstufungen von '1=stimme voll zu=zufrieden' bis '6=stimme überhaupt nicht zu=unzufrieden' bewertet werden müssen. (Likert-Skala)

  1. Die Lehrkraft hat meine Motivation für das Fach steigern können.
  2. Die Veranstaltung war meinem Kenntnisstand positiv angemessen. Ich habe etwas dazugelernt.
  3. Die Lehrkraft hat mich zur aktiven Mitarbeit angeregt.
  4. Die Darstellungsmethodik und Verständlichkeit der Lehrkraft war gut.
  5. Die Lehrkraft ist auf Fragen und Anregungen eingegangen.
  6. Der Unterricht war im Rahmen des Themas interessant gestaltet.
  7. Ein Bezug zur Praxis wurde gut hergestellt.>
  8. Es wurden Möglichkeiten zur selbstständigen Weiterarbeit aufgezeigt.

Gefragt werden kann nach Prozessqualität (Die Vermittlung war interessant!) und nach der Ergebnisqualität (Ja, ich habe viel dazugelernt!). Sinnvoll ist es, nur nach Bereichen zu fragen, die die Lehrkraft verantworten kann. Allgemeine Fragen zur Organisation oder Ausstattung der Hochschule sollten mit der Funktion "Umfragen" durchgeführt werden.

Darüber hinaus muss eine Note gem. Schulsystem vergeben werden und es können in einem Freitextbereich Positives, Negatives und Anmerkungen eingetragen werden. Auch kann ermöglicht werden, dass der Studiengangsteilnehmer eingibt, wie viele Stunden er für die Vor- und Nachbereitung aufgebracht hat, was in eine Workload-Erhebung münden kann. Jeder Studieng.-Teilnehmer kann den Fragebogen nur einmal ausfüllen. Um eine Evaluation zu löschen und damit eine erneute Befragung für alle Betroffenen zu ermöglichen, nutzen Sie den Button 'löschen'. Wenn eine Bewertung im Nachhinein nochmals freigeschaltet wird, dann können nur die Teilnehmer, die bisher nicht bewertet haben, ihre Stimme abgeben.

Sicht einer Lehrkraft/Dozierenden

Die Lehrkraft hat Zugriff auf ihre eigenen Evaluationen unter Privat/Bewertung (siehe Bild "Sicht einer Lehrkraft" bei Pos 1). In einer Gesamtübersicht aller Studiengänge sieht sie tabellarisch zunächst die Statements (Bild Pos 2) und in rot/grün/schwarz die summierte Bewertung (Pos 3). Durch Klick gelangt man sowohl zu einer anonymen Rangreihenfolge (Pos 4) als auch zu den Details inkl. ggf. der Freitextkommentare (Pos 5). Wenn Werte aus mehreren Jahren vorliegen, wird auch grafisch angezeigt, wie die eigene Evaluation sich im Zeitverlauf entwickelt hat.

Sicht einer Lehrkraft (durch Klick vergrößern)

Auswertung

Hineinzoomen in eine bewertete Lehrkraft

Als Evaluationsbeauftragter sehen Sie zunächst eine Übersicht der "Mittelwerte nach Lehrgang" sowie die Mittelwerte für jedes einzelne Statement. Rote Noten deuten an, dass in einem Studiengang vermehrt schlechte Evaluationen abgegeben wurden und der Durchschnitt einer Note schlechter als 3 ist. Es gibt nun mehrere Möglichkeiten der Auswertung:

  • Wenn Ihnen ein Studiengang mit einer roten Note auffällt, klicken Sie rechts in der Spalte "Top-Dozenten" auf "zeige". Dargestellt wird dann der Verlauf der Zufriedenheit des Studiengangs (Position 1 in der Abb.) und eine Rangfolge der Lehrkräfte, die von der besten zur schlechtesten Bewertung geht (Position 2 in der Abb.).
  • Klicken Sie bei einer "roten=schlecht bewerteten" Lehrkraft auf "Details" (Position 3 in der Abb.), so wird Ihnen angezeigt, ob die Lehrkraft auch in anderen Kursen schlecht bewertet wurde und bei welchem Statement schlecht bewertet wurde. Über "Gesamtübersicht" sehen Sie ausführlich alle Evaluationen dieser Lehrkraft.
  • Klicken Sie auf "alle Evals komplett anzeigen" (Position 4 in der Abb.), werden Ihnen alle Evaluationen aller Lehrkräfte übersichtlich untereinander angezeigt.

Die Ergebnisse der Befragung können nur zusammengefasst und nur durch die zu bewertende Lehrkraft im Bereich "Privat" -> "Bewertung" und die Evaluationsbeauftragten abgerufen werden. Das Ergebnis zeigt Mittelwerte und Standardabweichungen (Std.Abw.=0=keine Streuung) der Antworten.

Übersicht "nach Lehrkräften/Dozierenden"

Grafisch abrufbar ist die Zufriedenheit mit einer Lehrkraft (über alle Gruppen) im Zeitverlauf. Hier z.B. eine konstant schlechter werdende Bewertung.

Im oberen Bereich der Übersicht zur Funktion "Evaluation" können alle Nutzer, die über das Recht "Evaluations-Beauftragte" verfügen, unter dem Link "Zur Übersicht nach Dozenten" eine Zusammenstellung der Bewertung aller Lehrkräfte erhalten.

  • In diesem Bereich wird aufgelistet, wie viele Fragebögen bereits abgegeben und welchen Gesamtschnitt die Lehrkraft erreicht hat.
  • Sie können mittels der Checkboxen mehrere Lehrkräfte auswählen und einen Sammelbericht mit allen Evaluationen erstellen.
  • Sie können auch eine Lehrkraft auswählen und sich die Bewertungen für alle Themen der Lehrkraft anzeigen lassen.
  • Die dortige Übersicht 'Mittelwerte' zeigt zunächst, ob die Lehrkraft auch in einem anderen Studiengang ähnlich bewertet wurde. Detaillierte Einzelnoten und Kommentare von einem bestimmten Studiengang zu einem bestimmten Thema dieser Lehrkraft können dort unter [Bewertung] ebenfalls abgerufen werden. Das TraiNex zeigt durch rote, schwarze und grüne Markierungsfarben jeweils die Bewertungs-Tendenzen an.
  • Über "Evaluationen nach Themen und Zeit" wird grafisch die Zufriedenheit mit der Lehrkraft (über alle Gruppen) im Zeitverlauf angezeigt als auch in welchen Modulthemen die Lehrkraft besser oder schlechter bewertet wurde.
  • Über "Gesamtübersicht" verzweigen Sie zu allen Evaluationen zu dieser Lehrkraft.


Verteilung der Lehrkräfte eines Fachbereiches eines Evaluationsdurchganges
Grafisch abrufbar ist z.B. die Zufriedenheit der Gruppe (mit allen Lehrkräften) im Zeitverlauf.

Übersicht "Workload-Details"

Workload-Auswertungs-Parameter

Im oberen Bereich der Übersicht zur Funktion "Evaluation" können alle Nutzer, die über das Recht "Evaluations-Beauftragte" verfügen, unter dem Link "Details" weiterführende Daten zur Workload-Befragung abrufen. Verschiedene Auswerte-Parameter können gesetzt werden: Stunden pro CP oder Anteil des SSVN (Selbststudium sowie Vor- und Nachbereitung) oder zeitliche Eingrenzungen.

Dargestellt wird, ob die Studierenden in den einzelnen Modulen entweder überlastet oder unterausgelastet sind. Dazu bezieht das TraiNex die nötigen Daten aus der Themenverwaltung sowie der Einschätzung der Studierenden zu ihrem eigenen Workload aus der Evaluation.

Im unteren Bereich der Workload-Detail-Übersicht errechnet das TraiNex automatisch Kennzahlen, welche für die Evaluations-Beauftragten hilfreich sind. So ist beispielsweise der durchschnittliche Gesamtworkload oder alternativ der Workload für das Selbststudium pro CP automatisch verfügbar. Diese Angaben werden häufig auch bei Akkreditierungsverfahren abgefragt. (siehe Abbildung Workload sowie Artikel zu Workload)

Übersicht "Themen-Rangreihe"

Wenn Sie weniger die Lehrkräfte und mehr die Modultehmen interessieren, so nutzen Sie die "Themen-Rangreihe". Hier können Sie zunächst auf z.B. ein bestimmtes Semester eingrenzen und erhalten danach eine Rangreihe der beliebtesten und unbeliebtesten Themen. Eingeblendet werden können danach die zugehörigen Lehrkräfte/Studiengänge oder Teilnahmequoten.

Konfigurationsparameter

Das TraiNex kann so eingestellt werden,

  • dass das Modul komplett ausgeblendet und somit nicht verfügbar ist,
  • dass Lehrkräfte sich selber zur Evaluation freischalten können oder auch nicht,
  • dass Lehrkräfte die Textkommentare der Evaluationen sehen oder auch nicht,
  • dass die Texte der Statements EINMALIG initial durch andere ersetzt werden können,
  • dass die Anzahl der Statements auf bis zu 23 erhöht werden kann,
  • dass eine Abfrage der Bewertung nach Fachbereichen möglich ist,
  • dass die Frage zum Workload / der Stundenbelastung ausgeschaltet werden kann,
  • dass eingebende Bewerter nicht nur anonymisiert, sondern extrem anonymisiert werden (immer, falls Kunde das Datenbankhosting übernimmt),
  • dass Lehrkräfte die eigene Evaluation erst im Detail sehen können, wenn 75% der Noten vorliegen,
  • dass ähnliche, aber doch unterschiedliche Statement-Sets verwendet werden pro Studiengang (z.B. anderes Statement im Fernstudium statt Präsenz, in Bachelor statt Master),
  • dass ein Studierender nach Evaluationsteilnahme und Ende aller Evaluationen des eigenen Studienganges für 60 Tage das hochaggregierte Ergebnis des eigenen Studienganges sehen kann im Bereich LERNEN,
  • dass einer Lehrkraft eine Mail gesendet wird automatisch, wenn deren Evaluation beendet bzw. die Einsicht möglich ist (Standard=ja).
  • Die derzeitige Einstellung entnehmen Sie bitte dem Menüpunkt Admin/Logdatei/Konfiguration.

Profi-Tipps

  • Sie können die Teilnahmequote erhöhen, indem den Studierenden vorab die Bedeutung der Evaluation verdeutlicht wird - beispielsweise via Mail. Außerdem kann die Bewertung noch vor Ort innerhalb des letzten Unterrichtes durchgeführt werden, um eine gewisse Verbindlichkeit zu schaffen.
  • Beim Einsatz eines gleichbleibenden Statement-Sets entsteht im Verlauf mehrerer Evaluationen ein wertvoller Datenschatz, welcher die Grundlage für das Qualitätsmanagement bildet. Es wird empfohlen, die einzelnen Frage-Items nicht zu verändern, da sonst ein Bruch im Datensatz entsteht und die Vergleichbarkeit nicht mehr durchgehend gewährleistet ist.
  • Wenn das Klassenbuch genutzt wird, dann werden die Evaluationen der Lehrkräfte aggregiert den Evaluationen der Studierenden gegenübergestellt für den Evaluationsbeauftragten. Auch die Kommentare der Lehrkräfte sind sichtbar.

Anpassung des Eval-Bogens

  • Das Fragen/Statement-Set sollte einmalig zu Beginn möglichst allgemeingültig festgelegt werden.
  • Die Statements werden von TrOn kurz geprüft und dann von TrOn eingebunden.
  • Statt "der Dozierende" oder "der Dozent/die Dozentin" können Platzhalter benutzt werden, die das TraiNex automatisch im Fragebogen austauscht. Die Platzhalter sind: [Dozentenanrede] [Dozentenvorname] [Dozentenname] mit Dozentenanrede=Herr oder Frau zzgl. Titel.
  • Die Anzahl der Antwortmöglichkeiten pro Statement kann initial geändert werden und statt von 1 bis 6 von z.B. 1 bis 5 oder 2 bis 6 gehen.
  • Die dichotome Antwortmöglichkeit Ja/Nein ist möglich statt der 1-6 Skala. Intern wird das positive "ja" dem Wert 2 und das negative "nein" dann dem Wert 3 zugeordnet.
  • Die Statements sollen eine sehr positive Aussage sein (z.B. "Die Darstellungsmethodik und Verständlichkeit von [Dozentenvorname] [Dozentenname] war sehr gut."). Jedes Statement muss bei Zustimmung eine sehr positive und gleichzeitig bei Ablehnung eine sehr negative Bewertung sein. Jede andere Form von Statement führt zu Verzerrungen.
  • Sowohl die Zustimmung als auch die Ablehnung des Statements sollen klar interpretierbar sein. (Ungut wäre: "Die Lehrgeschwindigkeit war sehr gut", denn wenn jemand dem nicht zustimmt, ist nicht klar, ob es zu schnell oder zu langsam war.)
  • Die Statements sollten möglichst nur den Unterricht des Lehrenden und nur den Verantwortungsbereich der Lehrkraft betreffen.
  • Allgemeine Fragen zur Organisation/Hochschule sollten besser in Umfragen gestellt werden.
  • Wenn Statements später angepasst werden sollen, so sollte dies möglichst behutsam erfolgen, damit die Werte aus alten Evaluationen nicht an Aussagekraft verlieren. Die Anzahl der Statements muss identisch sein zur initialen Anzahl der Statements. Der Erkenntnisgewinn des Statements soll in den Statements-Sets möglich identisch sein. (z.B. Frage nach der Didaktik in Frage 5 von Statement-Set 1 so auch in Frage 5 vom Statement-Set 2)

Textbausteine

Auf dem Fragebogen kann jederzeit ausgetauscht werden

  • der Text über dem Freitext "Kommentieren Sie hier z.B. zu den Inhalten oder der Art der Stoffvermittlung." sowie
  • die Texte neben den Freitextboxen, "Beispiel: Welche Inhalte waren gut? Welche Form der Stoffvermittlung war gut?".

siehe auch Textbaustein

Sonderfunktion für Mitarbeitende

  • Der Evaluationsbereich kann nur mit Sonderrecht eingesehen werden. Der Bereich kann also nicht, auch nicht von einem Orga-Admin, eingesehen werden, wenn kein Sonderrecht zugewiesen wurde. Jede Zuweisung von Sonderrechten wird dokumentiert in der Logdatei.
  • Das Sonderrecht 11 ist das umfassendste Sonderrecht und wird zugewiesen dem/den Evaluationsbeauftragten des Standortes.
  • Das Sonderrecht 67 "Evaluations-Einsicht, nur eigener Fachbereich" kann einem z.B. Fachbereichsleiter zugewiesen werden. Wenn der Fachbereichsleiter z.B. dem Fachbereich Medizin zugeordnet ist, dann kann er alle Evaluationen von Kursen sehen, die dem Fachbereich Medizin zugeordnet sind und in Details von Lehrkräften zoomen, die dem Fachbereich Medizin zugeordnet sind. Nicht sehen kann er Evaluationen von Lehrkräften aus anderen Fachbereichen.
  • Das Sonderrecht 66 "Freischaltung" ist gedacht für Personen, die keinen Einblick in Evaluationen haben sollen und aber die Aufgabe der Freischaltung übernehmen sollen.

siehe auch Sonderfunktion

Videos und sonstige Infos

Bitte beachten Sie auch den kommentierten Online-Mitschnitt zum Evaluationsmodul unter dem YouTube-Link: https://youtu.be/-0PoYqJu4vU. Ebenso steht ein Mitschnitt aus 2013 zum Thema Qualitätsmanagement unter https://youtu.be/pRwEUh0-VQM zur Verfügung.

Aufsätze

TraiNex-Akademie

Bitte beachten Sie dazu auch das Schulungsangebot der TraiNex-Akademie und besuchen Sie die Online-Schulung Evaluations- und Qualitätsmanagement.
Den nächsten Termin erfahren Sie im Schulungsprogramm unter https://Akademie.Trainings-Online.de

Häufige Fragen

Frage: Oh, ich habe falsch bewertet. Kann man meine abgegebene Evaluation rückgängig machen und löschen?
Antwort: Nein, die Evaluation ist geheim und TraiNex kann keinen abgegebenen Evaluationbogen einem Studierenden zuordnen und deshalb auch keinen Evaluationbogen löschen.

Letzte funktionale Änderungen

  • August 2024: Evaluation: Optional kann durch TrOn ausgeschaltet werden, dass Textkommentare (gefallen/missfallen/Anregungen) möglich sind.
  • Mai 2022: Evaluation: Möglichkeit, die anonyme Vergleichsbetrachtung der Lehrkräfte untereinander für Lehrkräfte zu deaktivieren durch TrOn
  • April 2022: Umfragen können einem Thema/Modul zugeordnet werden. Wenn eine Evaluation zu einem Thema abgegeben wird und eine Umfrage zu dem gleichen Thema derzeit aktiv ist, wird der Nutzer auf die Umfrage hingewiesen am Ende der Evaluation.
  • April 2022: Evaluation: Jedes Fragenset kann einen individuellen einleitenden Text haben (max. 800 Zeichen), der der bewertenden Person auf dem Fragebogen vor den Statements angezeigt wird.
  • Juli 2020: Die Frage nach dem Workload "Wie viel Zeit haben Sie außerhalb der Lehrveranstaltung für die Vor- und Nachbereitung und die Prüfungs-Vorbereitung für dieses Fachmodul aufgebracht?" ist nun ein veränderbarer Textbaustein.
  • Juni 2019: *Feedback-Box als dauerhafter "Kummerkasten", z.B. als Ergänzung zu Evaluation bzw. Qualitäts-Management-Umfragen
  • Dezember 2018: Wenn in der Evaluation verschiedene Fragensets verwendet werden, dann können diese benannt werden mit z.B. "Master-Fragen".
  • November 2018: Rohdaten der Evaluation können als Excel nun auch für Nutzergruppen heruntergeladen werden.
  • Mai: Pro Evaluation kann definiert werden, ab wann die Lehrkraft den Link zur Evaluation-Einsicht nutzen darf, z.B. erst 10 Tage nach Evaluationsende.
  • Januar 2018: Kommentare aus der Bewertung können abweichend vom Standard aus- bzw. eingeblendet werden.
  • August 2017: Evaluation: AutoMail an die Lehrkraft, wenn deren Evaluation beendet/einsehbar ist (Standard: ja)
  • Juni 2017: Evaluation: Möglichkeit, dass Lehrkräfte die eigene Evaluation erst sehen können, wenn 90% der Noten durch Verwaltung eingetragen sind bzw. durch Lehrkräfte eingereicht wurden
  • Juni 2017: Evaluation: Möglichkeit, dass in unterschiedlichen Studiengängen unterschiedliche Fragensets verwendet werden
  • Dezember 2016: Unterstützung englischer Sprache neben der Navigation auch im Bereich Startseite/Terminplan/Evaluation/Login für Studierende
  • September 2016: Evaluation: Auch in mobiler WebApp und Konfiguration "extrem anonymisiert"

Schlagworte

Auswertung, Bewertung, Beurteilung, Bewertungsbogen, Feedback, Evaluierung, Einstufung, QM, Qualitätsmanagement, Akkreditierung

Siehe auch

Bewertung
Workload
Umfragen
Feedback-Box
Akkreditierung und Campus Management
WebApp

Themenverwaltung
Lehrg.-verwalt.
Anmeldung
Umfragen
Logdatei

Vorherige Kategorie: Privat, Kommunikation, Dozenten, Lehrgang