Hallo, habe Antworten gefunden.
Wenn ich das richtig überflogen habe, so reichen 200 Menschen aus um einen "gültigen" Test auf den Markt werfen zu dürfen. (Mir kommt das verdammt wenig vor).
Das habe ich mal rauskopiert:
--------------------------------------------------------------------------------------------
2) Anforderungen an IQ Tests
Ein Grundproblem bei der Entwicklung von Testverfahren zur Messung von intellektuellen
Fähigkeiten ist die angenommene Verbindung zwischen den gestellten Aufgaben und der
zugrundeliegenden Fähigkeit.
Tests zur Messung intellektueller Fähigkeiten haben bestimmte Voraussetzungen zu
erfüllen, die in Lehrbüchern unter dem Begriff der �Testgütekriterien� ausführlich
behandelt werden. Den drei Kriterien �Objektivität�, �Reliabilität� und �Validität� kommt
dabei eine zentrale Rolle zu.
Unter Objektivität wird verstanden, daß die Bedingungen, unter denen ein Test
durchgeführt wird, für alle Testpersonen und Anwendungen gleich ist.
Mit Reliabilität wird die Zuverlässigkeit der Messung bezeichnet. Die Wiederholung eines
Tests bei der gleichen Person nach wenigen Wochen darf nicht wesentlich andere
Ergebnisse hervorbringen.
Mit Validität ist gemeint, daß überprüft sein muß, daß ein Test wirklich �Intelligenz� und
nicht etwa die Gedächtnisleistung erfaßt.
Dies wird bei neuen Tests durch den Vergleich mit der Leistung in anderen Tests
sichergestellt, was allerdings voraussetzt, daß diese bereits valide waren.
Um diese Anforderungen erfüllen zu können, durchläuft die Konstruktion eines
Testverfahrens verschiedene Schritte, die jeweils umfangreiche empirische
Überprüfungen umfassen.
Der erste Schritt besteht in der Aufgabenkonstruktion. Das setzt zum einen genauere
Vorstellungen über die zu erfassende Leistung voraus und legt damit die Inhalte der
Fragen fest. Die Formulierung der Fragen ist dann relativ einfach. Schwieriger ist es, die
Voraussetzungen für die objektive Auswertung zu erfüllen.
Da die Beurteilung �richtig oder falsch� eindeutig und unabhängig von den Prüfern zu
erfolgen hat, wird bei den meisten Tests eine Auswertungsschablone verwendet.
Für die Testaufgaben bedeutet dies, daß die richtige Antwort aus einer Anzahl
vorgegebener Lösungen ausgewählt werden soll. Der am meisten verwendete Aufgabentypus
ist der Multiple Choice Test. Wir kennen ihn alle aus der theoretischen
Führerscheinprüfung.
Dabei wird das Problem des objektiven Prüfers aber nicht gelöst, sondern nur verlagert.
Gesetzt den Fall der Prüfer wendet die Schablone richtig an, würde ein anderer akkurater
Prüfer zwar zu exakt denselben Ergebnissen kommen, was gerecht, aber noch lange nicht
richtig sein muß. Es kommt so noch mehr auf die Schablone an, sprich, auf die Person, die
ursprünglich festlegt, was richtig und falsch ist.
Ein Beispiel soll das Dilemma verdeutlichen: Von welchem Maler stammt das Bild �Der Mann
mit dem Goldhelm�?
a) Rubens
b) Rembrandt
c) van Gogh
d) Raffael
An der Beispielaufgabe, bei der die Antwort b) richtig ist, wird bereits deutlich, daß das
eigentliche Problem der Aufgabenkonstruktion die Festlegung der Antworten, insbesondere
der �falschen�, ist.
Diese sogenannten �Distraktoren�, müssen für denjenigen, der über die genauen Kenntnisse
nicht verfügt, zumindest plausibel sein. Ob das wirklich der Fall ist, läßt sich erst dann
feststellen, wenn die Aufgaben von einer größeren Zahl von Testpersonen bearbeitet
wurden, die größtenteils auch falsch lagen. Ein Distraktor �Walt Disney� wäre
beispielsweise zu einfach gewesen. Kaum jemand hätte diese Antwort gewählt (sollte man
zumindest hoffen
).
Nun stehen wir aber vor dem Problem, daß auch Antwort b) nicht �richtig� ist. Der Mann
mit dem Goldhelm stammt, wie man mittlerweile weiß, aus der Schule von Rembrandt, wurde
aber wahrscheinlich nicht von ihm persönlich gemalt.
Die Antwort b) ist daher �richtiger� als a), c) und d), aber trotzdem falsch. Auch der
Einwand, �dann nimmt man halt andere Fragen�, löst dieses Problem nicht wirklich. Allein die
Formulierung der Frage hat mehr Einfluß auf das Ergebnis, als der Wissensstand der
Prüflinge. Zum Beispiel werden doppelt negierte Fragen regelmäßig falsch beantwortet.
Mit dem Vorteil der objektiven Auswertbarkeit geht bei den Mehrfachwahlaufgaben zudem
der Nachteil einher, daß der Bearbeiter einfach �rät�.
Das bedeutet, daß die Aufgabenzahl in einem Test nicht zu niedrig sein darf, weil sonst
keine Differenzierung zwischen Personen unterschiedlicher Leistungsfähigkeit möglich ist.
Um die Chance des Erratens zu vermindern, werden zwei voneinander unabhängige
Strategien verfolgt. Die eine besteht darin, die Zahl der vorgegebenen Antworten auf
mindestens fünf zu erhöhen; was sich aber in der Bearbeitungszeit niederschlagen muß.
Je mehr Text man vorgibt, um so größer wird beispielsweise der Einfluß der
Lesegeschwindigkeit und des Textverständnisses, auch wenn es um Wissensfragen wie
obige handelt. Das widerspricht der Anforderung nach Validität.
Die andere Möglichkeit verwendet Formeln zur Ratekorrektur. Da die Chance, bei vielen
Aufgaben eine bestimmte Wahl richtiger Lösungen zu erraten, für alle Testpersonen gleich
groß ist, wird in der Praxis aber meist auf eine Ratekorrektur verzichtet.
Wenn eine ausreichende Zahl von Testaufgaben für einen Test vorliegt, in der Regel 25 bis
50, kann eine erste Erprobung durchgeführt werden. Diese besteht darin, daß die Aufgaben
von einer genügend großen Anzahl von Personen aus der späteren Zielgruppe bearbeitet
werden. Für die dann folgenden Analysen sollten mindestens 200 Personen untersucht
worden sein.
Das statistische Verfahren, das bei der Auswertung der Ergebnisse der Testvorform
zugrunde gelegt wird, bezeichnet man als Aufgabenanalyse. Die Beurteilung jeder Aufgabe
erfolgt nach zwei Kriterien, der Aufgabenschwierigkeit und der Trennschärfe. Die
Aufgabenschwierigkeit gibt an, wieviel Prozent der Testteilnehmer diese Aufgabe richtig
lösen konnten.
Ein Test, der zwischen Personen verschiedener Fähigkeit differenzieren beziehungsweise
individuell unterschiedliche Fähigkeiten messen soll, muß aus Aufgaben verschiedener
Schwierigkeitsstufen bestehen. Aufgaben, die von allen Personen oder von niemandem
gelöst werden, liefern keine Information über eventuell vorhandene Leistungsunterschiede
und sind daher ungeeignet.
Auf der anderen Seite sollen auch diejenigen, die über die Fähigkeit, die mit dem Test
gemessen werden soll, nur in geringem Maße verfügen, nicht durch zu schwierige Aufgaben
am Anfang frustriert werden, weil es das Ergebnis für alle Teilnehmer verändern würde.
Deshalb stehen bei allen Intelligenztests leichtere Aufgaben am Anfang und die
schwereren am Ende. Das motiviert, weil man sich schon nach den ersten Fragen für
�schlau� und �unfehlbar� hält.
Neben der Schwierigkeit einer Aufgabe interessiert vor allem die Trennschärfe. Darunter
versteht man die Möglichkeit, aufgrund der richtigen Lösung einer Aufgabe die
betreffende Person der leistungsfähigeren Gruppe zuzuordnen. Wenn eine Aufgabe
hingegen nicht oder falsch gelöst wurde, sollte die betreffende Person entsprechend zur
leistungsschwächeren Gruppe gehören.
Nach der Analyse der einzelnen Testaufgaben werden alle ungeeigneten ausgeschlossen. Es
handelt sich dabei um diejenigen, die zu leicht, zu schwer oder nicht ausreichend
trennscharf sind. Auch bei erfahrenen Aufgabenkonstrukteuren beträgt der Anteil
ungeeigneter Aufgaben etwa 25 Prozent der Ausgangszahl. Wenn nach der Auswahl eine
ausreichende Zahl übrigbleibt, kann die Endform des Tests erstellt werden. Tritt dieser
Fall nicht ein, müssen neue Aufgaben konstruiert und einer weiteren empirischen
Untersuchung mit anschließender Aufgabenanalyse unterzogen werden.
Die endgültige Form eines Tests ist für den Einsatz in der Praxis erst dann geeignet, wenn
weitere Untersuchungen stattgefunden haben, von denen die wichtigste zur Ermittlung von
repräsentativen Vergleichswerten dient.
Dabei interessiert nicht nur der Mittelwert, sondern auch die Streuung der Leistung in
dieser Stichprobe. Diese Standardabweichung stellt den Bereich dar, in dem, um den
Mittelwert herum, die Leistungen von 68 Prozent der untersuchten Stichprobe liegen. Für
den Vergleich der Testleistungen in unterschiedlichen Tests, die aus verschiedenen
Aufgabenzahlen bestehen, hat man sich auf einige Standardskalen geeinigt, die zur
Interpretation herangezogen werden.
Die individuelle Leistung einer Testperson wird nach der Durchführung des Tests und der
Ermittlung der Zahl der richtig gelösten Aufgaben mit der Durchschnittsleistung der
repräsentativen Stichprobe verglichen. Daraus resultiert ein Standardwert, zum Beispiel
ein IQ von 95, der dann als �leicht unterdurchschnittlich� interpretiert werden kann.
Während für den üblichen Einsatz der Intelligenztests im �Normalbereich� in Bezug auf
den Mittelwert der Bevölkerung interessant ist, lassen sich jedoch auch nach denselben
Prinzipien der Testkonstruktion Verfahren entwickeln, die bestimmte Teilbereiche präziser
erfassen.
So wurde beispielsweise für den Bereich der geistigen Behinderung ein Spezialverfahren
entwickelt, das eine trennscharfe Messung im unteren Intelligenzbereich zuläßt. Dieses
Verfahren, die sogenannte �Testbatterie für geistig Behinderte� (TBGB), liegt seit 1969
vor.
Ebenso gibt es Verfahren, die speziell konstruiert wurden, um Intelligenzwerte über einem
IQ von 130 oder 145 genauer zu bestimmen. Eines dieser Verfahren wird von der MENSA,
einer Vereinigung, die nur Mitglieder aufnimmt, die einen IQ von über 130 haben, zur
Auswahl der Antragsteller eingesetzt.
Wenn bereits 68 Prozent der Leistungen auf der Intelligenzskala im Bereich zwischen 85
und 115 liegen, wie hoch ist dann die höchste Leistung, die erreicht werden kann? Die
Entscheidung über den Meßbereich eines Testverfahrens fällt nach der obigen Darstellung
bereits bei der Festlegung der Schwierigkeit der Aufgaben.
Das bedeutet, daß bei den üblichen Tests, bei denen die Messung eines möglichst breiten
Bereichs des normalen Fähigkeitsspektrums angestrebt wird, die maximale Testleistung
zwischen zwei und drei Standardabweichungen über dem Mittelwert liegt. Für den
Intelligenzquotienten heißt das, daß über den Bereich über 145 hinaus keine verläßlichen
Aussagen gemacht werden können. Auch verbesserte Tests bleiben hier wirkungslos, weil
die dafür notwendige Kontrollgruppe nicht herangezogen werden kann.
Aussagen über eine �gemessene� Intelligenz von 170 sind daher Unsinn; es müßte �deutlich
über 145� heißen. Allenfalls könnte man den Wert 170 als Summe von IQ und Hybris
interpretieren
.
-------------------------------------------------------------------------------------------
Es stand übrigens auch drinn das Deutschland bei PISA deshalb so schlecht abgeschnitten hat, weil das Testverfahren anders ist als das deutsche Unterrichtssystem. Verglichen mit einem neuen Computerprogramm, auch wenn man gut am Computer ist, einem völlig neuen Programm gegenüber ist man erstmal verunsichert und tastet sich langsamer heran.
Naja, es steht in dem Artikel viel drinnen das es gar nicht erstrebenswert ist überdurchschnittlich begabt zu sein. Und das es oft elterliches Wunschdenken ist.
Also es ist ein kritischer Artikel.
http://www.bushi-no-ichigon.de/mediapoo ... ligenz.pdf
Ab Seite 15 fand ich wurde es interessanter.
Keshali
)
ja aber wirklich. Wenn vom Durchschnitt gesprochen wird, dann ist auch der Durchschnitt gemeint. Der geht nunmal durch alle Schichten der Bevölkerung.