Was sind die mathematischen Grundlagen der Regression?

Die mathematischen Grundlagen der Regression basieren auf der Modellierung von Zusammenhängen zwischen Variablen. Im einfachsten Fall, der linearen Regression, wird angenommen, dass zwischen einer abhängigen Variable \( y \) und einer oder mehreren unabhängigen Variablen \( x \) ein linearer Zusammenhang besteht.

**1. Lineares Regressionsmodell:**
Das Grundmodell lautet:
\[
y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \ldots + \beta_p x_p + \varepsilon
\]
- \( y \): abhängige Variable (Zielgröße)
- \( x_1, x_2, \ldots, x_p \): unabhängige Variablen (Prädiktoren)
- \( \beta_0, \beta_1, \ldots, \beta_p \): Regressionskoeffizienten
- \( \varepsilon \): Fehlerterm (Residuum)

**2. Ziel der Regression:**
Die Regressionsanalyse sucht die Werte für die Koeffizienten \( \beta \), sodass die Vorhersage \( \hat{y} \) möglichst gut zu den beobachteten Werten \( y \) passt.

**3. Methode der kleinsten Quadrate (Least Squares):**
Die am häufigsten verwendete Methode ist die Methode der kleinsten Quadrate. Sie minimiert die Summe der quadrierten Abweichungen (Residuen) zwischen den beobachteten und den vorhergesagten Werten:
\[
\text{Minimiere} \quad S = \sum_{i=1}^n (y_i - \hat{y}_i)^2
\]

**4. Matrixdarstellung:**
Für mehrere Variablen kann das Modell in Matrixform geschrieben werden:
\[
\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}
\]
- \( \mathbf{y} \): Vektor der Zielgrößen
- \( \mathbf{X} \): Matrix der Prädiktoren (mit einer Spalte für den Achsenabschnitt)
- \( \boldsymbol{\beta} \): Vektor der Regressionskoeffizienten
- \( \boldsymbol{\varepsilon} \): Fehlervektor

Die Lösung für die Koeffizienten ist:
\[
\hat{\boldsymbol{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}
\]

**5. Annahmen der linearen Regression:**
- Linearität: Der Zusammenhang zwischen \( x \) und \( y \) ist linear.
- Unabhängigkeit: Die Fehler sind unabhängig.
- Homoskedastizität: Die Fehler haben konstante Varianz.
- Normalverteilung der Fehler (für Inferenz).

**6. Erweiterungen:**
- Nichtlineare Regression: Modelliert nichtlineare Zusammenhänge.
- Multiple Regression: Mehrere Prädiktoren.
- Regularisierte Regression (z.B. Ridge, Lasso): Fügt Strafterme hinzu, um Überanpassung zu vermeiden.

**Zusammenfassung:**
Die mathematischen Grundlagen der Regression bestehen aus der Annahme eines funktionalen Zusammenhangs, der Schätzung der Modellparameter (meist mit der Methode der kleinsten Quadrate) und bestimmten Annahmen über die Fehlerstruktur.