4차 전처리 과정

전처리 과정 명세

3차 과정까지 거듭하는 동안, 각 칼럼에 존재하는 데이터 중, 출현 빈도 수가 높은 순으로 구분하여 일정 기준으로 그룹화를 한 후, 테스트를 진행해보았다. 특정 부분에서는 그룹화로 인해, 어느정도 정확도 향상을 기대할 수 있었으나 오히려 그룹화로 인해 정확도가 떨어지는 경우가 발생하게 되었다.

그리하여, 그룹화 및 정규화를 수행한 칼럼들 중, 성능에 긍정적인 영향을 끼치는 것들을 모아서 전처리를 수행해보았다.

이때까지의 과정과 대표적인 차이점은 다음과 같다.

1. ARP와 ODP의 경우 같은 공항 데이터를 사용하기 때문에 각각의 라벨링을 수행할 경우, 서로 다른 데이터가 각각의 칼럼에 삽입되게 되어 이를 수정하였다.

2. 시간 데이터 그룹화를 각 시간대별 지연율을 고려하여 다음과 같이 그룹화하였다.

시간대	그룹
6:00	0
7:00 ~ 12:00	1
13:00 ~ 19:00	2
20:00	3
21:00 ~ 22:00	4

3. 계획시간 및 실제시간 사이의 차이시간을 계산한 뒤, -180분 이하의 데이터들을 제거하였다.

실행 코드

print("file_load...")
df = pd.read_csv("AFSNT.CSV", encoding='euc-kr')
#############전처리하기
print("pre-processing...")
#결항 제거
df = df.loc[df['CNL'] == 'N']
#등록 기호 제거
df = df[df['REG'].notnull()]
#부정기편 제거하기
df = df[ df['IRR'] == "N" ]
# 시/분 단위로 나누기
STT_Hour = []
STT_Minute = []
ATT_Hour = []
ATT_Minute = []
STT = df['STT']
ATT = df['ATT']
sub = STT.str.split(':', expand = True)
STT_Hour = sub.iloc[0:, 0]
STT_Minute = sub.iloc[0:, 1]
sub2 = ATT.str.split(':', expand = True)
ATT_Hour = sub2.iloc[0:, 0]
ATT_Minute = sub2.iloc[0:, 1]
df['STT_H'] = STT_Hour.astype(int)
df['STT_M'] = STT_Minute.astype(int)
df['ATT_H'] = ATT_Hour.astype(int)
df['ATT_M'] = ATT_Minute.astype(int)
df_STT_Time = df['STT_H'] * 60 + df['STT_M']
df_ATT_Time = df['ATT_H'] * 60 + df['ATT_M']
df_H3 = df_ATT_Time - df_STT_Time
# H3값이 음수면 빨리 출발, 양수면 늦은 출발(지연가능)
df['Time'] = df_H3
df = df.loc[(df['Time'] >= -180) | (df['DLY'] != 'Y') | (df['ATT_H'] < 0) | (df['ATT_H'] > 3) | (df['STT_H'] < 22)]
df = df.loc[(df['STT_H'] != 0) & (df['STT_H'] != 1) & (df['STT_H'] != 23)]
df['STT_H'].loc[(df['STT_H'] == 6)] = 0
df['STT_H'].loc[(df['STT_H'] >= 7) & (df['STT_H'] <= 12)] = 1
df['STT_H'].loc[(df['STT_H'] >= 13) & (df['STT_H'] <= 19)] = 2
df['STT_H'].loc[(df['STT_H'] == 20)] = 3
df['STT_H'].loc[(df['STT_H'] == 21) | (df['STT_H'] == 22)] = 4
print(df.head())