배깅
부트스트랩으로 샘플을 여러번 뽑아 각 모델로 학습 시킴 그래서 결과물을 합침.
배깅은 병렬적으로 진행 가능 그리고 동일한 학습 알고리즘으로 부트 스트랩에 데이터를 적용해서 여러 모델을 만듦
→ 랜덤 포레스트
부스팅
약한 학습기 여러개를 순서대로 학습함. 이전 모델이 틀린 것을 다음 모델이 더 잘 맞추도록 순차적으로 학습
순차적 학습. 틀린 데이터 가중치 증가. 편향 감소 이전 모델 결과에 영향 받음
대표 알고리즘
- adaboost
- gradient boosting
- xgboost
- lightgbm
배깅 부스팅 차이
배깅 : 병렬적 진행 부스팅 : 순차적 진행
부스팅은 배깅에 비해 에러 적음 = 성능 좋음 BUT, 속도 느리고 오버 피팅 될 가능성 있음
