カーネル回帰の例
カーネル回帰（カーネルかいき、英: kernel regression）は、統計学において確率変数の条件付き期待値を推定するためのカーネルを用いた回帰分析のためのノンパラメトリック手法である。その目的は確率変数の組 X と Y の間にある非線形な関係を見出すことである。
どのようなノンパラメトリック回帰においても、変数 X に対する変数 Y の条件付き期待値は次のように表すことができる。
ここで、m は未知の関数である。m として様々な方法が提案されている。
Nadaraya–Watson カーネル回帰
エリズバール・ナダラヤとジェフリー・ワトソンが1964年にほぼ同時に独立に、重み関数としてカーネルを用いた局所加重平均にて 
を推定することを提案した[1][2][3]。
Nadaraya–Watson推定量は以下の通りである。
ここで、
はバンド幅（帯域幅） 
を持つカーネルであり、
の次数は少なくとも1次である（すなわち、
を満たす）。
導出
条件付き期待値の定義より、
カーネル K を用いたカーネル密度推定により、結合分布 f(x,y) および周辺分布 f(x) を次のように推定する。
これらを代入すると以下の式が得られる。
![{\displaystyle {\begin{aligned}\operatorname {\hat {E}} (Y\mid X=x)&=\int y{\frac {{\hat {f}}(x,y)}{{\hat {f}}(x)}}\,dy,\\[6pt]&=\int y{\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i})}{\sum _{j=1}^{n}K_{h}(x-x_{j})}}\,dy,\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})\int y\,K_{h}(y-y_{i})\,dy}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c596a7c32720fa730e3eb3d03b3dfaa3563a45eb)
これはNadaraya–Watson推定量と一致する。
Priestley-Chao カーネル推定量
ここで はバンド幅（または平滑化パラメータ）である。
Gasser–Müller カーネル推定量
![{\displaystyle {\widehat {m}}_{GM}(x)=h^{-1}\sum _{i=1}^{n}\left[\int _{s_{i-1}}^{s_{i}}K\left({\frac {x-u}{h}}\right)\,du\right]y_{i}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/12dc000816c2fa2058db9c185befda2542b1541c)
ここで 
である。[4]
