Beschreibung des Evaluationsverfahrens

Beschreibung des Evaluationsverfahrens

Mit der Evaluation von Lernmanagementsystemen (LMS) haben sich viele Projekte schon befasst. Im deutschsprachigen Raum bekannt sind zum Beispiel das "E-Learning Praxishandbuch" von Peter Baumgartner, Hartmut Häfele und Kornelia Maier-Häfele (2002) oder das Buch "Lernplattformen für das virtuelle Lernen" von Rolf Schulmeister (2005). Beide Evaluationen konzentrierten sich aber auf grundsätzliche Eigenschaften von LMS, auf Fragen der Installation, des Betriebs und der technisch-didaktischen Möglichkeiten unterschiedlicher Systeme. Dabei wurde deutlich, dass es nicht das eine LMS geben kann, welches für alle Bedarfe geeignet ist.

Vielmehr begreifen sowohl Baumgartner als auch Schulmeister ihre Untersuchungen als eine grundsätzliche Darstellung, wie die Evaluation durchgeführt werden können. Nicht zuletzt aufgrund des sich rasch verändernden Marktes ist es nicht möglich, mehr als eine Momentaufnahme zu machen. Deshalb sollten Bildungseinrichtungen, Firmen u.a., die ein LMS beschaffen und installieren wollen, eine eigene Evaluation durchführen. Und dafür können sie - so der Vorschlag von Baumgartner sowie Schulmeister - auf die entwickelten Evaluationsverfahren zurückgreifen.

Die Barrierefreiheit von LMS wurde bislang in einigen kleineren Studien untersucht. So hat das kanadische Projekt Special Needs Opportunity window - SNOW bereit in den Jahren 1999 und 2000 ausgewählte LMS auf ihre Barrierefreiheit hin evaluiert. Dazu wurde ein ausgefeiltes Evaluationsverfahren entwickelt, welches aus insgesamt vier Komponenten besteht. Evaluiert wurden:

• Designer Controlled Utilities and Functions: Alle Bereiche eines LMS, die innerhalb einer Kursumgebung geändert werden können.
  
  • Access Support
  • Information
• Inherent Courseware Features: Alle Bereiche eines LMS, die nicht bei der Bearbeitung einer Kursumgebung verändert werden können. Dazu zählen beispielsweise die Navigation sowie die grundlegende Struktur der Kursumgebung.

Evaluationsverfahren

Für die Beurteilung wurde das im Projekt SNOW entwickelte Evaluationsverfahren aufgegriffen, aktualisiert und erweitert. Dazu konnte auf Expertise aus einer im Jahr 2008 an der Fakultät Rehabilitationswissenschaften der TU Dortmund durchgeführten Evaluation zurückgegriffen werden. Bereits für diese Evaluation wurde das SNOW-Verfahren überarbeitet. Aufgrund der technischen Entwicklung und insbesondere der Aktualisierung der Web Content Accessibility Guidelines (WCAG) wurde das Verfahren allerdings nochmal gründlich überarbeitet.

Bei dem eingesetzten Evaluationsverfahren handelt es sich um eine Überprüfung der Barrierefreiheit mittels Checklisten. Statt lediglich einer langen Checkliste kamen insgesamt fünf Checklisten zum Einsatz:

• Design Control - DC
• Inherent Courseware Features - ICF, jeweils einmal Lehrendensicht und Lernendensicht
• Communication Components - CC
• Universal Design for Learning - UDL

Da LMS meist aus mindestens zwei Perspektiven genutzt werden - durch Lehrpersonen und durch Lernende - wurde die Checkliste der Inherent Courseware Features für beide Rollen getrennt bewertet.

Inherent Courseware Features (IFC)

Mit den Items der Prüfliste „Inherent Courseware Features“ (ICF) sollen die Designelemente eines Lernmanagementsystems erfasst und bewertet werden, die nicht von den Kursentwicklern oder Lehrenden angepasst und verändert werden können. Dazu gehört bspw. die Navigation oder der allgemeine Aufbau einer typischen Kursseite. Diese Elemente können in der Regel nur dann verändert werden, wenn die Vorlagen oder sogar Quelltexte des Lernmanagementsystems bearbeitet werden.

Die Original-Items des Bereichs ICF basieren auf einem Dokument des World Wide Web Consortiums (W3C), welches Techniken zur automatischen Überprüfung von HTML-Dokumenten auf die Konformität mit der WCAG 1.0 beschreibt. Dieses Dokument ist allerdings nie über den Entwurfsstatus hinausgekommen, weshalb die Items nicht einfach übernommen worden sind.

Für die Bundesrepublik Deutschland gilt zudem der rechtliche Rahmen der Barrierefreie Informationstechnik Verordnung (BITV) vorgegeben. In der ersten Entwicklung des Evaluationsverfahrens wurden die Items der ICF-Checklisten der BITV angepasst. Die Prüflisten entsprachen den Prüfschritten des BITV-Kurztests, der für die Beurteilung der Barrierefreiheit von Internetseiten empfohlen wird. Alle Prüfschritte des BITV-Kurztests wurden 1:1 übernommen. Allerdings erfolgt die Beurteilung mit einer anderen Skala und die Items wurden anders gewichtet.

Für die Evaluation von LMS im Rahmen von ELoQ wurden die beiden Checklisten für ICF weiter aktualisiert. So wurde im Jahr 2009 die WCAG2.0 offiziell verabschiedet und damit folgte die Überprüfung der Barrierefreiheit anderen Kriterien. Die Sortierung der WCAG1.0 wurde vom POUR-Konzept abgelöst. Dabei stehen die Buchstaben POUR für Perceivable/Wahrnehmbar, Operable/Bedienbar, Understandable/Verständlich und Robust/Robustheit.

Die überarbeitete Checkliste für ICF folgt dieser Sortierung. Die Prüfpunkte wurden der WCAG2.0 angepasst. Dazu wurden die Items aus dem BITV-Kurztest beibehalten, die sich ebenfalls in der WCAG2.0 wiederfinden, entfallene Items gelöscht und neue Items, die in der BITV noch nicht enthalten waren, ergänzt.

Design Control - DC

Die Items der Checkliste Design Control beziehen sich auf die Elemente eines Lernmanagementsystems, die von der Kursverwaltung zu beeinflussen sind. Dazu gehört bspw. die Möglichkeit, ein Bild oder eine Datei hochzuladen sowie die Eingabe von Textdokumenten mit Überschriften, Listen und Absätzen.

Die Original-Items dieses Bereichs orientierten sich ebenfalls an dem veralteten und nicht weiter verwendeten Dokument des W3C, weshalb auf die einfache Übernahme der Items verzichtet wurde. Es geht bei dem Bereich DC schlussendlich um die Möglichkeit, barrierefreie Inhalte zu erstellen. Daher haben wir uns dazu entschieden, in der Anpassung des SNOW-Verfahrens auf die Authoring Tool Accessibility Guidelines (ATAG2.0) zurückzugreifen. Mit insgesamt 24 Items werden drei zentrale Anforderungen überprüft:

• Das Werkzeug erlaubt die Erstellung barrierefreier Inhalte.
• Das Werkzeug bietet Unterstützung bei der Erstellung barrierefreier Inhalte.
• Das Werkzeug fördert und unterstützt die Erstellung barrierefreier Inhalte aktiv.

Communication Components

Die Original-Items dieses Bereichs untersuchen die Barrierefreiheit und Zugänglichkeit bestimmter Inhaltskomponenten wie der Kursstartseite, von Werkzeugseiten, Inhaltsseiten und Navigation sowie die Barrierefreiheit von Kommunikationskomponenten (Diskussionsforen, internes Nachrichtensystem, Chat). Dazu wurden einzelne Items der ICF-Prüfliste übernommen und die einzelnen Komponenten damit überprüft.

Für die Überprüfung im Projekt ELoQ haben wir uns für ein anderes Vorgehen entschieden. Da die ICF-Prüfliste unseres Evaluationsverfahrens bereits die Bewertung einzelner Komponenten enthält, haben wir auf die erneute Überprüfung von Kursstartseite, Werkzeugseite etc. verzichtet und uns im Bereich "Courseware Components" auf die Kommunikationselemente der Lernmanagementsysteme konzentriert, weshalb aus "Courseware Components" auch "Communication Components".

Dazu wurden jeweils das Forum, das interne Nachrichtensystem und der integrierte Chat untersucht. Die Barrierefreiheit solcher Kommunikationselemente ist nicht nur mit den Anforderungen der WCAG2.0 zu untersuchen, sondern es werden noch weiterführende Anforderungen gestellt, wie sie beispielsweise in den IMS Guidelines for Developing Accessible Learning Applications formuliert sind (IMS Global Learning Consortium 2007). Daher haben wir für die Anpassung der Prüfitems des Bereichs "Communication Components" die Anforderungen der WCAG2.0 mit denen in den IMS Guidelines abgeglichen und die Barrierefreiheit der Kommunikationselemente mit insgesamt 32 Items überprüft.

Universal Design for Learning

Neu entwickelt wurde eine Checkliste zur Überprüfung von Kriterien des "Universal Design for Learning" (UDL). Hinter UDL steckt die Idee, dass Vielfalt (Diversität) bei Lernenden die Norm ist, nicht die Ausnahme. Deshalb wendet sich UDL gegen Lehr-Lern-Prozesse, die unflexibel sind und lediglich einen möglichen Zugang zum Lernen bietet, eine „Einheitsgröße“ für alle Lernenden. Solche starren Curricula stellen nicht nur für Lernenden mit Behinderung eine Hürde dar, sondern schränken möglicherweise alle Lernenden in ihren Wünschen nach einem individuellen Lernweg ein. Lernende unterscheiden sich hinsichtlich ihrer verschiedenen Fähig- und Fertigkeiten, ihrer Lernstile, ihrer biographischen Hintergründe und ihrer Lernpräferenzen; dieser Vielfalt will UDL gerecht werden.

Deshalb setzt UDL auf flexible Lernmaterialien, methodische Zugänge und Strategien, mit denen Lehrende den vielfältigen Bedarfen der Lernenden entsprechen können. Ein Curriculum, das gemäß den Prinzipien des UDL geplant wurde, soll auch die vielfach zeit- und kostenintensiven Individuallösungen, welche Lernende mit Behinderung oft benötigen, überflüssig machen oder den Bedarf an individuellen Anpassungen zumindest reduzieren.

Das „Center for Applied Special Technology“ (CAST) fast die Ansätze des UDL in den „Universal Design for Learning Guidelines 1.0“ (CAST 2008) zusammen. Grundlage des UDL sind demnach drei Prinzipien, denen jeweils mehrere Richtlinien untergeordnet sind:

1. Stellen Sie mehrere Möglichkeiten der Darbietung zur Verfügung.
   1. Wahrnehmung
   2. Sprache und Symbole
   3. Verstehen
2. Stellen Sie mehrere Möglichkeiten des Ausdrucks zur Verfügung.
   1. Bedienung
   2. Ausdruck
   3. Exekutive Funktionen
3. Stellen Sie mehrere Möglichkeiten zur Beteiligung zur Verfügung.
   1. Aufmerksamkeit gewinnen
   2. Anstrengung und Beharrlichkeit
   3. Selbstregulation

UDL ist also kein technisches Konstrukt und keine technische Lösung, sondern umfasst die didaktische Gestaltung von Lernumgebungen und Lerninhalten. Aus Sicht des Projekts ging es bei der Evaluation um die Frage, ob und in welchem Umfang die getesteten LMS die Möglichkeit bieten, die Prinzipien des UDL bei der Gestaltung von Kursen und Lerninhalten zu berücksichtigen. Dazu wurden aus den Richtlinien in einem ersten Schritt Prüfpunkte abgeleitet. Anschließend wurde überprüft, ob diese Prüfpunkte bereits in einer der anderen Checklisten enthalten sind. Auf diese Weise kamen 13 Prüfpunkte zusammen. Auf die Prüfpunkte wird hier nicht im Detail eingegangen, diese können aber alle in der Übersicht zu den Checklisten eingesehen werden.

Bewertung und Skalierung

Die Bewertung erfolgt zuerst für alle fünf Bereiche getrennt. Jedem Item aller Prüflisten wird ein Prioritätsfaktor von 1 bzw. 3 zugewiesen, der sich an den Prioritätsfaktoren der BITV orientiert. Die Bewertung jedes Items erfolgt mit einer fünfstufigen Skala:

• 0: Item nicht zutrifft
• 1: Item nicht erfüllt
• 2: eher nicht erfüllt
• 3: eher erfüllt
• 4: Item voll erfüllt

Dieser Basiswert des Items wird anschließend mit dem Prioritätsfaktor des Items - also entweder mit 1 oder mit 3 - multipliziert. Außerdem wird für jeden Item ein Funktionalitätswert erfasst. Dieser ist 4, wenn der Basiswert des Items größer als 0 ist, und 0, wenn der Basiswert des Items 0 ist. Mit Hilfe des Funktionalitätswertes wird ein Ausgleich zwischen der Barrierefreiheit eines Lernmanagementsystems und den funktionalen Möglichkeiten erreicht. Beispielsweise kann ein Lernmanagementsystem sehr zugänglich sein, aber kaum Möglichkeiten für die Gestaltung und die Arbeit mit dem System bieten. Ein solches System soll nicht besser bewertet werden als eines, das zwar viele Funktionen bietet, aber nicht barrierefrei ist. Durch die Berücksichtigung des Funktionalitätswertes wird das Lernmanagementsystem am besten bewertet, dass sowohl barrierefrei ist als auch viele Funktionen und Möglichkeiten bietet.

Ein Beispiel soll die Bewertung verdeutlichen: Der Item „Alternativtexte für Bedienelemente“ wird bei der Evaluation eines LMS mit einem Basiswert von 3 bewertet, da nicht alle Bedienelemente einen Alternativtext haben. Dieser Item gehört zur BITV-Prioritätsstufe I und hat daher einen Prioritätsfaktor von 3. Der Basiswert wird also mit dem Faktor 3 gewichtet und der gewichtete Wert 9 geht als Access Support in die Berechnung ein. Der Funktionswert ist in diesem Fall 4.

Für jede Checkliste wird durch Summierung der Itemwerte jeweils ein Gesamtwert für Access Support und Funktionalität gebildet. Ein mit dem Wert 0 (trifft nicht zu) bewertetes Item würde zu einem schlechteren Gesamtwert führen als ein mit dem Wert 0 bewertetes Item. Sind beispielsweise Layouttabellen nicht linearisierbar, weil keine Tabellen für das Layout genutzt werden, dann wird der Item mit 0 bewertet. Der Verzicht auf Layouttabellen ist aber nicht schlechter als Layouttabellen, die nicht linearisierbar sind. Um solche Items nicht schlechter zu bewerten und die Gesamtbewertung damit zu verfälschen, werden alle mit 0 bewerteten Items in der Berechnung des Gesamtwertes mit dem Basiswert 4 veranschlagt.

Zusammenfassende Bewertung

Für die abschließende Bewertung werden für alle Bereich getrennt der Access Support und der Funktionswert sowie ein Accessibility Quotient berechnet. Der Accessibility Quotient gibt auf einer Skala von 0 bis 100 die Zugänglichkeit bzw. Barrierefreiheit an, wobei ein höherer Wert besser ist. Durch die getrennte Bewertung aller Bereiche können diese separat beurteilt und miteinander verglichen werden, der Accessibility Quotient als Gesamtwert erlaubt einen raschen Vergleich der Barrierefreiheit sowohl einzelner Teile als auch des gesamten Lernmanagementsystems.