# 1 이상치 탐지

이상치

- Outlier : 보통 단별량 분석에서 사용

- Noverty : ex) 주식시장에서 폭등하는 경우 (긍정적 뉘앙스) 

- Anomaly : ex) 제조 공정에서 불량, 의료에서 특이한 질병 (부정적 뉘앙스)

 

이상치 데이터는 노이즈 데이터와는 다름

- 노이즈는 측정 과정에서의 무작위성(randomness)에 기반함

- (이론상) 노이즈는 이상치 탐지 전에 제거되는 것이 일반적임

- (현실은) 노이즈만 제거하는 것은 현실적으로 불가능하므로 이를 포함해서 모델링 수행

 

이상치 데이터는 적지만 중요한 데이터

- 정상적인 데이터를 생성하는 매커니즘을 위반하여 생성됨

 

이상치 데이터 기법의 적용분야

대부분의 데이터가 한 범주에 속하며 극소수의 데이터만 다른 범주애 속하는 문제

- 제조업 공정에서 불량 탐지

- 신용카드 사기 거래 탐지

- 통신망의 불법적인 사용 등

 

분류(Classification) 문제와 이상치 탐지 문제의 차이

 

일반화(Generalization)와 특수화(Specialization)

일반화 : 주어진 데이터로부터 정상 범주의 개념을 확장해 가는 것

특수화 :  주어진 데이터로부터 정상 범주의 개념을 좁혀 가는 것

일반화에 치중할 경우 이상치 데이터 판별이 어렵게 되며, 특수화에 치중할 경우 과적합의 위험(빈번함 false alarm)에 빠질 수 있음 (Trade Off 관계)

Classification vs Novelty Detection

- 어떤 걸 사용해야 할까?

위 그림처럼 가이드라인을 잡으면 좋을 것 같다.

 

이상치 탐지 데이터셋 구성 시 주의사항

- 학습용 데이터셋에는 정상 범주의 데이터만 포함

- 검증 및 테스트 데이터에 이상치 데이터가 최대한 균등하게 포함되도록 설정

 

이상치 탐지 방법론 평가

- 이상치 알고리즘에 대한 결과물이 산출되면 이를 바탕으로 최종적으로는 이상치인지 아닌지에 대한 판별을 해야 함

- 실제 데이터에서는 이러함 cut-off에 따라 정오 행렬이 달라지기 때문에 이상치 탐지 방법론의 성능 역시 달라짐

정오행렬 기반 평가 지표

- 이상치 탐지 방법론 자체의 정합성을 평가할 때는 Cut-off에 영향을 받지 않는 성능 평가 지표가 필요함

 

 

이상치 탐지 방법론 평가 지표

- Integrated Error (FRR-FAR 그래프 밑면의 넓이 = 1 - AUROC)

- Equal Error Rate(EER) : FRR과 FAR이 같이지는 지점

  ex) EER이 0.1 -> 이상치 데이터 10건 중 1건은 정상으로 잘못 accept가 되는 비율