Die Passung von Modellen und Daten überprüfen.
Eine gute Studie testet mindestens zwei Modelle gegeneinander. Um zu bestimmen, welches Modell die Daten besser beschreiben kann, gibt es zwei gebräuchliche Maße. Für genestete Modelle lässt sich berechnen, ob sich Modelle statistisch signifikant darin unterscheiden, wie gut sie die Daten beschreiben können. Für ungenestete Modelle ist ein Vergleich über den Bayes-Faktor möglich.
Genestete Modelle leigen dann vor, wenn das einfachere Modelle ein Submodell des generelleren Modells mit mehr Parametern ist.
Beispiel: Lineare Modelle
Modell 1:
\[y = b_0 + b_1 \times x_1 + b_2\times x_2 \]
Modell 2:
\[y = b_0^* + b_1^* \times x_1 \]
Modell 2 is genesetet in Modell 1, wenn \(b_0 = b_0^*\) und \(b_1 = b_1^*\) und \(b_2 = 0\). Ein genestetes Modell kann die Daten höchstens gleich gut oder schlechter beschreiben als das generelle Modell.
Der folgende Test kann angewendet werden, um zu testen, ob ein generelles Modell die Daten signifikant besser beschreiben kann. Der Test basiert auf den Log-Likelhood-Wert, den ein Modell für Daten erzielt (siehe vorherige Sitzung zu Maximum-Likelihood Verfahren).
\[\chi^2 \approx -2 \times ln\left(\frac{L_{\text{genestet}}}{L_{\text{generell}}}\right)\]
Die resultierende Teststatistik ist \(\chi^2\)-verteilt mit \(df =\) Differenz in der Anzahl der freien Paramater. Es lässt sich bestimmen, ob ein erzielter \(\chi^2\)-Wert noch unter der \(H_0 =\) “Beide Modelle bschreiben die Daten gleich gut” plausibel ist.
Bei ungenesteten Modellen kann der oben beschriebene Test nicht gerechnet werden. Für solche Vergleiche ist die Berechnung des Bayesianischen Informationskriteriums (BIC) möglich.
\[BIC = -2 \times log(L(\hat{\theta}|d,model)) + K \times log(N)\] \(K\) = Anzahl freier Parameter; \(N\) = Anzahl Beobachtungen
Ein Modell mit einem geringeren \(BIC\)-Wert passt besser zu den Daten.
\(BIC\) Werte von Modellen lassen sich für einen Modellvergleich zu Bayes-Faktoren umrechnen. Ein Bayes-Faktor gibt an, wie wahrscheinlich die beobachteten Daten gegeben die Modelle sind.
\[BF = \frac{p(d|model_A)}{p(d|model_B)} = e^{( -\frac{1}{2} \times \Delta BIC)}\] Ein Bayes-Faktor von 3 bedeutet zum Beispiel, dass die Daten unter Modell A dreimal so wahrscheinlich ist wie unter Modell B. Ein Bayes Faktor von 1 gibt an, dass die Daten unter beiden Modellen gleich wahrscheinlich ist. Ein Bayes Faktor \(<1\) gibt an, dass die Daten unter Modell B wahrscheinlicher sind.
Es gibt Konventionen, wie einzelne Bayes-Faktoren bewertet werden können (siehe z. B. Wagenmakers, 2007).
\(BF_{AB}\):
Bayes-Faktoren zwischen \(1/3\) und \(3\) sind also nicht der Rede wert. Extremere Bayes-Faktoren sprechen dann entweder für Modell A (\(>3\)) oder Modell B (\(<1/3\)).