Ein detaillierter, operativer Verfahrenskatalog, abgeleitet aus einem Evaluationsplan, der festlegt, wie Daten erhoben werden, von wem, mit welchen Instrumenten, Stichproben‑ und Einwilligungsverfahren, Datenmanagement- und Qualitätssicherungsmaßnahmen, Kodier‑ und Analyseprotokolle sowie Berichtskonventionen.

Prinzip

Verfahrensstandards schaffen, um Konsistenz, Reliabilität, ethische Konformität und Reproduzierbarkeit der Evaluationsaktivitäten sicherzustellen, sodass Ergebnisse belastbar und zwischen Evaluatoren und Standorten vergleichbar sind.

Demonstration

Ein Protokoll für Unterrichtsbeobachtungen mit Anforderungen an die Beobachterausbildung, dem Beobachtungsinstrument mit Itemdefinitionen, Stichprobenplan, Interrater-Reliabilitätsprüfungen, Protokollen zur Aufzeichnung und Speicherung von Video, Verfahren zur Klärung von Abweichungen und schrittweisen Analyseanweisungen.

Fehlanwendung

Ein Protokoll, das ungenau bezüglich Beobachterausbildung oder Datenhandhabung ist, Pilottests der Instrumente überspringt oder die konsistente Anwendung der Schritte nicht durchsetzt, was zu verzerrten oder nicht vergleichbaren Daten führt.

Konsequenz

Ein gut spezifiziertes Protokoll liefert hochwertige, reproduzierbare Daten mit bekannten Fehlereigenschaften, ermöglicht effektives Training und Supervision von Datensammlern und stützt glaubwürdige Schlussfolgerungen und Empfehlungen.

Umkehrung

Das Fehlen eines Protokolls oder dessen Missachtung führt zu ad-hoc-Methoden, inkonsistenter Datenqualität, unterminierter Validität und Ergebnissen, die Stakeholder nicht zuverlässig nutzen können.

Abgrenzung

Operationalisiert Elemente des Evaluationsplans in ausführbare Schritte; es ist nicht selbst der strategische Plan noch ein eigenständiges Instrument (z. B. verweist es auf Instrumente, Einwilligungsformulare und Analyseskripte, ersetzt diese aber nicht).

Semantische Spannung

Es gibt eine Spannung zwischen dem Bedarf an prozeduraler Detailtiefe im Protokoll und dem Wunsch der Stakeholder nach Flexibilität in dynamischen Kontexten; die Balance zwischen Protokolltreue und notwendigen Anpassungen ist eine häufige Herausforderung.

Synthese

Das Protokoll zur Programmevaluation übersetzt das Evaluationsdesign in explizite, getestete Verfahren und Kontrollen, sodass Datenerhebung und -analyse konsistent, ethisch und mit bekannten Qualitätsparametern erfolgen.