> For the complete documentation index, see [llms.txt](https://air-pro.gitbook.io/air-delay-project/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://air-pro.gitbook.io/air-delay-project/undefined-3/6.md).

# 6차 모델 테스트

## 사용된 모델 및 데이터 셋

학습에 사용된 데이터는 6차 전처리 과정에서 도출된 데이터를 사용하였다.

{% content-ref url="/pages/-LmxsxTxrBV9INBTBuPS" %}
[6차 전처리 과정](/air-delay-project/undefined-2/undefined-3/6.md)
{% endcontent-ref %}

6차 모델 테스트에서는 지금까지 집중해왔던 Bagging 알고리즘의 랜덤 포레스트 모델이 아닌, 또다른 앙상블 알고리즘인 GBM을 시도해보았다. 사용한 모델은 LightGBM으로 아래오 같은 파라미터를 사용하였다.

```coffeescript
LightGBM Model
lgb_params = {
                    'objective':'binary',
                    'boosting_type':'gbdt',
                    'metric':['auc','rmse'],
                    'n_jobs':-1,
                    'learning_rate':0.01,
                    'num_leaves': 2**7,
                    'max_depth':-1,
                    'tree_learner':'serial',
                    'colsample_bytree': 0.95,
                    'subsample_freq':1,
                    'subsample':0.9,
                    'n_estimators':62_000,
                    'max_bin':4092,
                    'verbose':-1,
                    'seed': SEED,
}
```

## 실행 결과

이미 랜덤 포레스트에 비해 매우 우수한 성능을 보여주었으나, 아직 하이퍼 파라미터에 대한 여러 시도가 수행되지 않았기 때문에 더 높은 성능을 끌어내는게 가능할 것이라 전망하고 있다.

| 지표              | 수치       |
| --------------- | -------- |
| training's rmse | 0.139442 |
| training's auc  | 0.998531 |
| valid's rmse    | 0.25772  |
| valid's auc     | 0.907068 |