이상감지 (정리)

https://www.youtube.com/watch?v=xPA6JyHFHew 

 

1. 이상치(Anomaly)란?
기존 관측과는 상이하여 다른 메커니즘에 의해 생성되었다고 판단할만한 관측값

 

 

2. 이상탐지 목적
기회 탐지 Chance Discovery (Positive Anomaly) : 새로운 이상치 탐지
오류 탐지 Fault Discovery (Negative Anomaly) : 노이즈 제거

 

3. 입력 데이터의 특성 (input data)

• Time series(sequential) vs static
• univariate vs multivariate
• data type (binarr / categorical / continuous / hybrid )
• relational vs inddependent
• well-known or not (기존 룰의 적용 가능한 / 알려져 있지 않은)

 

이상 탐지 알고리즘 종류

 

 

 

 

Anomaly 종류

 

 

이상 탐지 ML 알고리즘

 

 

 

Anomaly detection use case

1. 시스템 관리 : 이전에 없던 접속 IP로부터 시스텤 접근량 증가 (DDOS 징후)
2. 사용자 관리 : 다른 사용자와 다른 이동 패턴이나 접근 패턴
3. 보안 : 사람의 접근이 없는 곳의 통행량 증가

 

1. prophet를 이용한 시계열 이상탐지 예제

https://www.youtube.com/watch?v=0wfOOl5XtcU

• 예제 코드
  • https://github.com/uiandwe/TIL/blob/master/Machine_Running/이상감지/Anomaly_Detection_using_Isolation_Forest.ipynb
• prophet 설명
  • https://www.slideshare.net/lumiamitie/facebook-prophet
  • https://zzsza.github.io/data/2019/02/06/prophet/
• 단점 : 급격한 curve fitting 방식 알고리즘으로 급격하게 변하는 데이터는 불가능

 

2. Isolation Forest (sklearn)

• https://john-analyst.medium.com/isolation-forest를-통한-이상 탐지-모델-9 b10 b43 eb4 ac
• 예제 코드
  • https://github.com/uiandwe/TIL/blob/master/Machine_Running/이상 감지/Anomaly_Detection_using_Isolation_Forest.ipynb

 

 

 

3. LSTM (keras)

• LSTM 설명
  • https://blog.naver.com/kmkim1222/221069000196
  • https://www.youtube.com/watch?v=Mdp5pAKNNW4
• 예제 코드
  • https://github.com/uiandwe/TIL/blob/master/Machine_Running/이상 감지/test_LSTM.ipynb
  • https://github.com/uiandwe/TIL/blob/master/Machine_Running/이상 감지/Multivariate_Time_Series_Modeling_using_LSTM.ipynb
  • 주식 예측 : https://www.youtube.com/watch?v=6S2v7G-OupA
  https://towardsdatascience.com/illustrated-guide-to-lstms-and-gru-s-a-step-by-step-explanation -44e9eb85bf21