regression_simple

Modul "Multivariate Statistik": Simple Regression

Andreas Cordes, Uwe Mattler, Peter Zezula

[Field, 2013, Kap 8]

Ziel ist es, Regressionsanalysen mit nur einem Prädiktor rechnen und visualisieren zu können.

Ausflug Korrelation - Partial-Korrelation

Korrelation ist Regressionsanalyse mit einem Prädiktor.

Einfachstes lineares Modell: Eine Outcome-Variable, ein Prädiktor.

Parameter sind die einer Geradengleichung: Y-Achsenabschnitt und Steigung (Y-Zuwachs pro 1 X-Schritt)

Einfache Regression ist ALM mit einer Covariaten.

Formeln

Quelle Wikipedia (05/2013): http://de.wikipedia.org/wiki/Lineare_Regression

Regression zur Mitte

Punktwolke, zwei Regressionsgeraden, Schätzung der y aufgrund x, Schätzung x aufgrund y

Vergleichsgrafik in R-Teil

Vergleichsgrafik MatPlotLib

Simple Regression

Benennungs-Äquivalenzen

AV = y, Kriterium, outcome variable response variable, target variable, beobachtete Variable

UV = x, Prädiktor, erklärende Variable, explanatory variable, covariate, independent variable (deprecated), Regressor

Verhältnis Regression, Regressionskoeffizienten, Korrelation:
http://de.wikipedia.org/wiki/Lineare_Regression

Regression Vorgehen und Beurteilung

Gesamtmodell

Betrachtung des Beitrags der einzelnen Prädiktoren

Residualanalyse

Ausreißerkontrolle,

Kontrolle bedeutsamer oder einflussreicher Fälle (influential cases)

ggf. Anpassungen von geeigneteren Modellen

Regression: Quadratsummen

Quelle: Field et al (2013)

Influential cases (einflussreiche Fälle)

[detailliert bei MR]

adjusted predicted value

Probleme

Varianz in beiden Variablen vorhanden? Eingeschränkte Varianz?

Outlier (Extremwerte)?

(zu) einflussreiche Beobachtungen?

Partial und Semipartial-Korrelation

Einfluss einer dritten Variable auf die Enge des Zusammenhangs von zwei Variablen

gemeinsame Varianz

Auspartialisieren entspricht MR und Weiterrechnen mit den Residuen. Dabei sind die beiden interessierenden Variablen Kriterium (output var) und die auszupartialisierende Var Prädiktor.

Bei Semipartial-Koeffizienten (part correlation) wird der Einfluss der auszupartialisierenden Var auf nur eine der beiden interessierenden (korrelierten) Variablen herausgerechnet.

zero-order Var ist Produkt-Moment Korrelation. first-order partial correlation: der Einfluss einer Variable wurde auspartialisiert. second-order partial correlation: der Einfluss von zwei Variablen wird auspartialisiert usw.