Ensemble method는 예측 성능의 향상을 위해 사용된다..
Ensemble의 기본적인 원칙은 기본 모델(some model)을 설정하고 그것의 linear combination을 하는 것이다.
d차원 input을 이용해 실수값을 예측하는 문제를 가정하자.
$$ g: \mathbb{R}^{d} \rightarrow \mathbb{R} $$
$$ \hat{g}{1}(\cdot), \hat{g}{2}(\cdot), \hat{g}_{3}(\cdot), \ldots $$
위와 같이 M 개의 모델들을 형성한 이후
$$ \hat{g}{e n s}(\cdot)=\sum{k=1}^{M} c_{k} \hat{g}_{k}(\cdot)\ \ $$
개별 모델의 weighted sum 형태로 Ensemble 예측 모델을 만든다.
계수를 정하는 방식에 따른 bagging과 boosting
bagging과 boosting은 모델의 성능을 향상시키는 방법 중 하나라는 점에서는 공통점이 있지만 근본적으로는 매우 큰 차이를 갖고 있다.
variance & bias