Decision Trees(의사 결정 나무)와 Random Forests(랜덤 포레스트)

Decision Trees : 의사결정나무

의사결정나무 모델은 스무고개와 비슷하게 데이터를 feature 기준으로 순차적으로 분류한다.
전체적으로 나무를 뒤집어놓은 것과 같은 모양이며,
처음 노드를 root node, 중간을 intermediate node, 끝을 terminal node라 부른다.
큰 분산을 갖기 때문에 깊이가 매우 깊은 모델은 overfitting에 취약하다.

Random Forest

의사결정나무의 단점을 보완한 랜덤포레스트 모델은 여러개의 의사결정나무 모델을 만들고,
데이터를 중복 가능하게 추출(bootstrap aggregating)해 임의로 각 모델에 넣는다.
그 이후 나온 모든 모델의 결과를 합산(앙상블)하여 예측을 하게 된다.