Ein Satz dokumentierter Verfahren und Anweisungen, die festlegen, wie Daten während einer Evaluation gesammelt, bewertet, aufgezeichnet und gehandhabt werden, um Konsistenz, Zuverlässigkeit und ethische Konformität über Beobachtende, Standorte oder Zeiträume hinweg zu gewährleisten.

Prinzip

Die operationellen Schritte, die die Datenqualität beeinflussen, standardisieren, damit Messungen vergleichbar und reproduzierbar sind, wobei die Vertraulichkeit der Teilnehmenden zu schützen und Messverzerrungen zu minimieren sind.

Demonstration

Ein Unterrichtsbeobachtungsprotokoll, das Anforderungen an die Beobachterausbildung, genaue Beobachtungsfenster, welche Verhaltensweisen zu kodieren sind und wie (Operationale Definitionen), Bewertungsskalen, Daten­erfassungs­verfahren und Verfahren zur Lösung von Diskrepanzen zwischen Beobachtern definiert.

Fehlanwendung

Das Protokoll als optionale Leitlinie zu behandeln statt als verbindliches Verfahren, wodurch Beobachter Schritte überspringen oder idiosynkratische Interpretationen anwenden, die die Interrater-Reliabilität verringern.

Konsequenz

Ein klares Protokoll erhöht die Vergleichbarkeit und Vertrauenswürdigkeit der Daten und ermöglicht valide Aggregation und Interpretation; ein schwaches oder ignoriertes Protokoll liefert verrauschte Daten, die keine sicheren Schlussfolgerungen erlauben.

Umkehrung

Ad-hoc, undokumentierte Beobachtungspraktiken, bei denen verschiedene Beobachter unterschiedliche Definitionen und Verfahren nutzen und inkonsistente sowie nicht vergleichbare Daten erzeugen.

Abgrenzung

Konzentriert sich auf operationelle Regeln für Datenerhebung und -handhabung; es legt nicht selbst Evaluationsfragen oder Berichtsformate fest, sollte jedoch mit dem Evaluationsplan abgestimmt sein.

Semantische Spannung

Spannung zwischen strikter Protokolltreue (Maximierung der Reliabilität) und adaptivem Urteil in komplexen Kontexten (Maximierung der kontextuellen Validität); Protokolle müssen beide Ziele ausbalancieren.

Synthese

Ein Evaluationsprotokoll ist das operationelle Rückgrat einer Evaluation: Es legt standardisierte, ethisch vertretbare Verfahren für Datenerhebung und -handhabung fest, damit Erkenntnisse zuverlässig, vergleichbar und verteidigbar sind.