ガウス＝マルコフの定理

仮定

誤差項 ${\displaystyle {\boldsymbol {\varepsilon }}}$ について

1. ${\displaystyle E[{\boldsymbol {\varepsilon }}]=0}$ （不偏性）
2. ${\displaystyle \operatorname {Cov} [{\boldsymbol {\varepsilon }}]=\sigma ^{2}{\boldsymbol {I}}}$ （等分散性・無相関性）

を仮定する。ここで${\displaystyle {\boldsymbol {I}}}$は単位行列を表す。

無相関性は独立性よりも弱い仮定であり、また正規分布など特定の分布に従うことを仮定していない。

定理の内容

最小二乗推定量${\displaystyle {\widehat {\boldsymbol {\beta }}}}$は最良線形不偏推定量になる。つまり任意の線形不偏推定量${\displaystyle {\widetilde {\boldsymbol {\beta }}}}$に対して

${\displaystyle \operatorname {Cov} \left[{\widetilde {\boldsymbol {\beta }}}\right]\succeq \operatorname {Cov} \left[{\widehat {\boldsymbol {\beta }}}\right]}$

が成立する。

証明

${\displaystyle {\widetilde {\boldsymbol {\beta }}}}$は線形推定量なので${\displaystyle (p+1)}$行${\displaystyle n}$列の行列${\displaystyle \mathbf {C} }$を用いて${\displaystyle {\widetilde {\boldsymbol {\beta }}}=\mathbf {C} \mathbf {Y} }$とかける。${\displaystyle {\widetilde {\boldsymbol {\beta }}}}$が不偏性を持つための条件を求めると ${\displaystyle E[{\widetilde {\boldsymbol {\beta }}}]=\mathbf {C} \mathbf {X} {\boldsymbol {\beta }}={\boldsymbol {\beta }}}$が恒等的に成立することから${\displaystyle \mathbf {C} \mathbf {X} =\mathbf {I} }$である。

次に${\displaystyle {\widetilde {\boldsymbol {\beta }}}}$の分散共分散行列を整理すると

${\displaystyle {\begin{alignedat}{2}\operatorname {Cov} \left[{\widetilde {\boldsymbol {\beta }}}\right]&=E\left[(\mathbf {C} \mathbf {Y} -{\boldsymbol {\beta }})(\mathbf {C} \mathbf {Y} -{\boldsymbol {\beta }})^{\top }\right]\\&=E\left[\mathbf {C} {\boldsymbol {\varepsilon }}(\mathbf {C} {\boldsymbol {\varepsilon }})^{\top }\right]\\&=\mathbf {C} E[{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top }]\mathbf {C} ^{T}\\&=\sigma ^{2}\mathbf {C} \mathbf {C} ^{\top }\end{alignedat}}}$

になる。ここで${\displaystyle {\hat {\mathbf {C} }}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }}$とした時の推定量が最小二乗推定量${\displaystyle {\widehat {\boldsymbol {\beta }}}}$になるので ${\displaystyle \mathbf {C} \mathbf {C} ^{\top }\succeq {\hat {\mathbf {C} }}{\hat {\mathbf {C} }}^{\top }}$を示せばよい。不偏性より${\displaystyle \mathbf {C} \mathbf {X} =\mathbf {I} }$なので

${\displaystyle {\begin{alignedat}{2}(\mathbf {C} -{\hat {\mathbf {C} }}){\hat {\mathbf {C} }}^{\top }&=(\mathbf {C} -{\hat {\mathbf {C} }})\mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}\\&=(\mathbf {C} \mathbf {X} -{\hat {\mathbf {C} }}\mathbf {X} )(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\\&=\mathbf {O} \end{alignedat}}}$

に注意すると

${\displaystyle {\begin{alignedat}{2}\mathbf {C} \mathbf {C} ^{\top }&=(\mathbf {C} -{\hat {\mathbf {C} }}+{\hat {\mathbf {C} }})(\mathbf {C} -{\hat {\mathbf {C} }}+{\hat {\mathbf {C} }})^{\top }\\&=(\mathbf {C} -{\hat {\mathbf {C} }})(\mathbf {C} -{\hat {\mathbf {C} }})^{\top }+{\hat {\mathbf {C} }}{\hat {\mathbf {C} }}^{\top }\\&\succeq {\hat {\mathbf {C} }}{\hat {\mathbf {C} }}^{\top }\end{alignedat}}}$

が成立する。したがって

${\displaystyle \operatorname {Cov} \left[{\widetilde {\boldsymbol {\beta }}}\right]\succeq \operatorname {Cov} \left[{\widehat {\boldsymbol {\beta }}}\right]}$

が成立し、最小二乗推定量${\displaystyle {\widehat {\boldsymbol {\beta }}}}$は最良線形不偏推定量になる。