Level 14
Level 15

(Lit) Evaluation pädagogisch-psycholos. Maßnahmen


57 words 0 ignored

Ready to learn       Ready to review

Ignore words

Check the boxes below to ignore/unignore words, then click save at the bottom. Ignored words will never appear in any learning session.

All None

Ignore?
Evaluation =
jegliche Art der zielgerichteten und zweckorientierten Festsetzung des Wertes einer Sache
Evaluation im päd.-psych. Bereich
i.d.R. Interventions-/ Präventionsprogramme
Evaluation: Komponenten (Chen, 2005)
Input, Transformation, Output, Umwelt, Feedback
Input (Chen, 2005)
bereitgestellte Ressourcen für Maßnahme (z.B. Finanzen, Personal)
Nahziele (Hager, 2008)
Effekte zum Zeitpunkt des Programmendes
Fernziele (Hager, 2008)
längerfristige Erfolge
Transformation (Chen, 2005)
Durchführung der Maßnahme (Prozess)
Output (Chen, 2005)
Ergebnisse (Effektivität, Durchführbarkeit, Akzeptanz, theoret. Fundierung) → Nah- vs. Fernziele
Umwelt (Chen, 2005)
natürlicher Programmkontext (evtl. neg. Einfluss), z.B. soz. Normen, pol. Strukturen, wirtschaftl. Umfeld, Interessengruppen
Feedback (Chen, 2005)
eigentliche Evaluation (idealerweise prozessbegleitend)
globale vs. analytische Evaluation
Überprüfung Gesamtprogramm vs. Einzelkomponenten (→ meist fließende Übergänge!)
Evaluations- vs. Grundlagenforschung
Untersuchung "Produkt" vs. (theoretisch hergeleitete) Forschungsfrage
wissenschaftliche Evaluation
theoriebasierter Evaluationsgegenstand, auf Empirie basierend
summative vs. formative Evaluation
Untersuchung "Produkt" (Wirksamkeit?) vs. "Prozess" (interventionsbegleitend)
interne vs. externe Evaluation (Schule)
Kollegium vs. Schulaufsicht/unabhängige Einrichtungen
Ranking =
z.B. Schulsysteme (Bundesländer), Schulen (England: League-Tables), CHE-Hochschulranking, Forschungsrankings
Evaluationsparadigmen (Hager, 2008)
(1) Isolierte E., (2) vergleichende E., (3) kombinierte E.
Isolierte Evaluation (Hager, 2008)
Frage nach der grundsätzlichen Wirksamkeit eines Programms
Vergleichende Evaluation (Hager, 2008)
Vergleich von mind. 2 Interventionen mit gleichem Ziel → Äquivalenz-, Überlegenheits-, Nicht-Unterlegenheitshypothesen
Äquivalenzhypothesen
alle Maßnahmen sind gleich erfolgreich
Überlegenheitshypothesen
eine Maßnahme hat größere Effekte als andere
Nicht-Unterlegenheitshypothesen
eine Maßnahme ist mind. so wirksam wie die Alternative
Kombinierte Evaluation (Hager, 2008)
Isolierte + vergleichende Evaluation
8 Schritte einer wissenschaftlichen Evaluation (3 Phasen)
Entscheidung für Evaluation → Untersuchungsbereiche → Fragestellung/Indikatoren → Instrumente → Durchführung/Aufbereitung/Auswertung/Dokumentation → Ergebniszugang → Ergebnisinterpretation → Konsequenzen (Abs et al. 2006)
3 Phasen einer wissenschaftlichen Evaluation (8 Schritte)
Entstehungs-, Begründungs-, Verwertungszusammenhang (Abs et al. 2006)
Entstehungszusammenhang (Evaluation)
(1) Entscheidung über die Durchführung einer Evaluation, (2) Entscheidung über die zu untersuchenden Bereiche
Begründungszusammenhang (Evaluation)
(3) Entwicklung von Fragestellungen und Indikatoren, (4) Konstruktion von Instrumenten, (5) Durchführung/Aufbereitung/Auswertung/Dokumentation
Verwertungszusammenhang (Evaluation)
(6) Entscheidung über Zugang zu den Ergebnissen, (7) Interpretation von Ergebnissen, (8) Ziehen von Konsequenzen
Phasen wissenschaftl. Evaluation nach Rost (2000)
Konzeptualisierungsphase (1 - 3); Implementationsphase (4 & 5); Wirkungsforschungsphase (6 - 8)
Evaluationsdesign
mind. eine „echte“ (d.h. keine Warte-) Kontrollgruppe, Längsschnittdesign
einfachstes, aber auch hinreichend flexibles Evaluationsdesign
Vortest-Nachtest-Follow-up-Plan
Effektstärken: Koeffizienten
d bzw. η2
d =
Differenz zw. 2 Mittelwerten durch gepolte Standardabweichung
η2 =
durch Gruppenzugehörigkeit aufgeklärte Varianz
unbedeutender Effekt
d < 0,20 (η2 < 1%)
kleiner Effekt
d = 0,20 - 0,50 (η2 = 1 - 5%)
mittlerer Effekt
d = 0,50 - 0,80 (η2 = 6-14%)
großer Effekt
d > 0,80 (η2 > 15%)
Kosten-Nutzen-Analyse (Cost-benefit-Analysis)
Effizienz (statt Effektivität)
Effektivität
Wirksamkeit einer Maßnahme
Effizienz
Aufwand einer Intervention in Relation zu den Erträgen
Methodische Probleme (Evaluation)
(1) Reifungseffekte, (2) Nichtäquivalenz v. Vergleichsgruppen, (3) Stichprobenmortalität, (4) hierarchische Daten
Reifungs- & Entwicklungseffekte
auf organismische oder umweltbedingte Effekte zurückzuführende Veränderungen (nicht durch Intervention)
Äquivalenzprobleme
Störvariablen (z.B. Geschlecht, Vorwissen, Migrationshintergrund)
Äquivalenzprobleme: Fehlerquellen
(1) Diffusion/Imitation, (2) Kompensation, (3) Protest/neg. Rkt.
Diffusion/Imitation
Kontrollgruppe versucht Imitation des Treatments
Kompensation
Kontrollgruppe kompensiert durch andere Maßnahmen bzw. im Posttest durch besondere Anstrengung
Protest/neg. Rkt. der Kontrollgruppe
keine Anstrengung im Posttest
Stichprobenmortalität
Teilnahmeverweigerung nach Studienbeginn → Stichprobenpflege, statistische Analyseverfahren anpassen
hierarchische Daten
Klumpenstichproben → Unterschätzung des Standardfehlers → mehrebenenanalytische Verfahren
mehrebenenanalytische Verfahren
regressionsanalytischer Ansatz: Zurückführung von Personenmerkmale auf individuelle, Klassen- und Schulebene
Standards für Evaluationen (Schiffler & Hübner, 2000)
JCSEE (Richtlinien des "Joint Committee on Standards for Educational Evaluation")
JCSEE (Richtlinien des "Joint Committee on Standards for Educational Evaluation")
Nutzenstandards („utility standards“): • Machbarkeits-/Durchführungsstandards („feasibility standards“) • Standards für Anstand und ethisches Vorgehen („propriety standards“): • Genauigkeitsstandards („accuracy standards“):
Nutzenstandards („utility standards“)
Evaluation befriedigt Wissensbedarf (informativ, zeitnah)
Machbarkeits-/Durchführungsstandards („feasibility standards“)
Anpassung Evaluationsdesign an natürliche Umgebung
Standards für Anstand und ethisches Vorgehen („propriety standards“)
Schutz individueller Rechte (z.B. Datenschutz), ethische Standards der Grundlagenforschung (z.B. Unversehrtheit)
Genauigkeitsstandards („accuracy standards“)
Begründungszusammenhang: umfassend, Regeln wissenschaftl. Arbeitens