- pub
Dérivation de l'estimateur OLS
- authors
- name
- Tails Azimuth
Introduction
L'analyse et l'affichage des équations mathématiques sont inclus dans ce modèle de blog. L'analyse mathématique est activée par remark-math
et rehype-katex
. KaTeX et sa police associée sont inclus dans _document.js
alors n'hésitez pas à l'utiliser sur n'importe quelle page. 1
Les symboles mathématiques en ligne peuvent être inclus en plaçant le terme entre le symbole «$».
Les blocs de code mathématique sont désignés par $$
.
Si vous avez l'intention d'utiliser le signe $
au lieu des mathématiques, vous pouvez l'échapper (\$
) ou spécifier l'entité HTML ($
) 2
Les notes de bas de page en ligne ou énumérées manuellement sont également prises en charge. Cliquez sur les liens ci-dessus pour les voir en action.
Dérivation de l'estimateur OLS
En utilisant la notation matricielle, soit le nombre d'observations et le nombre de régresseurs.
Le vecteur des variables de résultat est une matrice ,
\mathbf{Y} = \left[\begin{array}
{c}
y_1 \\
. \\
. \\
. \\
y_n
\end{array}\right]
La matrice des régresseurs est une matrice (ou chaque ligne est un vecteur ),
\mathbf{X} = \left[\begin{array}
{ccccc}
x_{11} & . & . & . & x_{1k} \\
. & . & . & . & . \\
. & . & . & . & . \\
. & . & . & . & . \\
x_{n1} & . & . & . & x_{nn}
\end{array}\right] =
\left[\begin{array}
{c}
\mathbf{x}'_1 \\
. \\
. \\
. \\
\mathbf{x}'_n
\end{array}\right]
Le vecteur des termes d'erreur est également une matrice .
Parfois, il peut être plus facile d'utiliser la notation vectorielle. Par souci de cohérence, j'utiliserai le petit x gras pour désigner un vecteur et les lettres majuscules pour désigner une matrice. Les observations uniques sont indiquées par l'indice.
Moindres carrés
Start:
Assumptions:
- Linearity (given above)
- (conditional independence)
- rank() = (no multi-collinearity i.e. full rank)
- (Homoskedascity)
Aim:
Find that minimises the sum of squared errors:
Solution:
Hints: is a scalar, by symmetry .
Take matrix derivative w.r.t :
\begin{aligned}
\min Q & = \min_{\beta} \mathbf{Y}'\mathbf{Y} - 2\beta'\mathbf{X}'\mathbf{Y} +
\beta'\mathbf{X}'\mathbf{X}\beta \\
& = \min_{\beta} - 2\beta'\mathbf{X}'\mathbf{Y} + \beta'\mathbf{X}'\mathbf{X}\beta \\
\text{[FOC]}~~~0 & = - 2\mathbf{X}'\mathbf{Y} + 2\mathbf{X}'\mathbf{X}\hat{\beta} \\
\hat{\beta} & = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y} \\
& = (\sum^{n} \mathbf{x}_i \mathbf{x}'_i)^{-1} \sum^{n} \mathbf{x}_i y_i
\end{aligned}
Footnotes
Pour la liste complète des fonctions TeX prises en charge, consultez la documentation KaTeX ↩
$10 et $20. ↩