一般的な定義

決定係数 ${\displaystyle R^{2}}$ のはっきりと合意された定義は無い。タロル・クヴォルセス^{[注釈 1]}によれば、8種類の定義があり注意が必要だとしている^[3]。 しかし、以下の式を定義とするのが一般的なようである。標本値（実測値、観測値）を ${\displaystyle y=\left\{y_{1},\ y_{2},\ \cdots ,\ y_{N}\right\}}$、回帰方程式による推定値を ${\displaystyle f=\left\{f_{1},\ f_{2},\ \cdots ,\ f_{N}\right\}}$ とする。

${\displaystyle R^{2}\equiv 1-{\frac {\displaystyle \sum _{i=1}^{N}\left(y_{i}-f_{i}\right)^{2}}{\displaystyle \sum _{j=1}^{N}\left(y_{j}-{\overline {y}}\right)^{2}}}}$

すなわち、残差の二乗和を標本値の平均値 ${\displaystyle {\overline {y}}}$ からの偏差の二乗和で割ったものを1から引いた値であり、1に近い程相対的な残差が少ないことを表す。最小二乗法はこの定義を最大にするようなパラメータの選択法である。値域は1以下の実数。よく見かける値は0～1のあたり。

回帰方程式が最小二乗法による単回帰の回帰直線の場合は、決定係数はピアソンの積率相関係数の2乗になり、0以上1以下の実数になる。

なお、一般的な線形回帰の場合、以下の各式が等価であり、それらを定義式とすることもあるようである。

推定値の分散を標本値の分散で割ったもの

${\displaystyle R^{2}\equiv {\frac {\displaystyle \sum _{i=1}^{N}\left(f_{i}-{\overline {f}}\right)^{2}}{\displaystyle \sum _{j=1}^{N}\left(y_{j}-{\overline {y}}\right)^{2}}}}$

標本値と推定値との相関係数の2乗

${\displaystyle R^{2}\equiv {\frac {\left\{\displaystyle \sum _{i=1}^{N}\left(f_{i}-{\overline {f}}\right)\left(y_{i}-{\overline {y}}\right)\right\}^{2}}{\left\{\displaystyle \sum _{j=1}^{N}\left(f_{j}-{\overline {f}}\right)^{2}\right\}\left\{\displaystyle \sum _{k=1}^{N}\left(y_{k}-{\overline {y}}\right)^{2}\right\}}}}$

線形回帰以外の場合、原点を通ることを要求した場合、最小二乗法以外で回帰した場合はこれらの式は上の定義と等価になるとは限らないため、注意が必要である。

クヴォルセスによる8つの定義

クヴォルセスによる8つの定義は以下の通りである。

名前	定義
${\displaystyle R_{1}^{2}}$	${\displaystyle 1-{\frac {\displaystyle \sum _{i=1}^{N}\left(y_{i}-f_{i}\right)^{2}}{\displaystyle \sum _{j=1}^{N}\left(y_{j}-{\overline {y}}\right)^{2}}}}$
${\displaystyle R_{2}^{2}}$	${\displaystyle {\frac {\displaystyle \sum _{i=1}^{N}\left(f_{i}-{\overline {y}}\right)^{2}}{\displaystyle \sum _{j=1}^{N}\left(y_{j}-{\overline {y}}\right)^{2}}}}$
${\displaystyle R_{3}^{2}}$	${\displaystyle {\frac {\displaystyle \sum _{i=1}^{N}\left(f_{i}-{\overline {f}}\right)^{2}}{\displaystyle \sum _{j=1}^{N}\left(y_{j}-{\overline {y}}\right)^{2}}}}$
${\displaystyle R_{4}^{2}}$	${\displaystyle 1-{\frac {\displaystyle \sum _{i=1}^{N}\left(e_{i}-{\overline {e}}\right)^{2}}{\displaystyle \sum _{j=1}^{N}\left(y_{j}-{\overline {y}}\right)}},\ \ \ \ e_{i}\equiv y_{i}-f_{i}}$
${\displaystyle R_{5}^{2}}$	独立変数と従属変数の間の重相関係数の二乗[注釈 2]
${\displaystyle R_{6}^{2}}$	${\displaystyle y}$ と ${\displaystyle f}$ の間の相関係数の二乗[注釈 3]
${\displaystyle R_{7}^{2}}$	${\displaystyle 1-{\frac {\displaystyle \sum _{i=1}^{N}\left(y_{i}-f_{i}\right)^{2}}{\displaystyle \sum _{j=1}^{N}y_{j}^{2}}}}$
${\displaystyle R_{8}^{2}}$	${\displaystyle {\frac {\displaystyle \sum _{i=1}^{N}f_{i}^{2}}{\displaystyle \sum _{j=1}^{N}y_{j}^{2}}}}$

注釈

出典