Probability Calibration 개념 정리

 

 

 의료 AI 영역에서 일을 하다보면 의사로부터 "인공지능 모델의 출력값이 정확히 무엇을 의미하는 건가요? 0.7이라는 숫자는 환자가 실제로 질병을 갖고 있을 확률이라는 뜻인가요?"와 같은 맥락의 질문을 되게 많이 듣게 된다. 솔직히 그런 질문을 처음 들었을 때는 '어..? 나도 모르겠는데??...'하는 생각이 제일 먼저 들었다. 출력값에 thr 걸어줘서 단순히 True or False로만 생각해봤지 출력값 그 자체가 갖는 의미에 대해서는 깊게 생각해본적이 없었다. 

 

 그래서 이것 저것 검색하다보니 Probability Calibration이라는 개념을 접하게 됐다. 연구가 엄청 활발한 분야는 아닌 것 같은데 Medical Imaging 영역에서는 꼭 필요한 개념이라 차근차근 공부하며 정리해나가고자 한다.

 

 

---

 

Probability Calibration?

 

모델의 출력값과 실제 정확도가 일치되도록 보정하는 작업

 

 

 Model A가 0.7의 값으로 폐렴이라고 예측한 CXR Sample들 100개를 모아서 실제로 성능 평가를 했을 때, 정확도 0.7이 나오도록 Model A의 출력값을 보정하는 작업을 Probability Calibration이라고 한다. 이 작업을 거치고 나면 위 질문에 대한 대답을 "인공지능 모델의 출력값이 0.7이라는 건 해당 CXR에 대해 모델이 정확도 0.7로 예측한 결과라는 것을 의미합니다. 강수 확률과 비슷한 개념으로 받아들이시면 됩니다"로 할 수 있게 된다. 개념과 정의에 대해서는 이 정도면 어느정도 이해가 됐을테니 모델의 Probability Calibration 정도를 평가하는 방법과 어떻게 보정하는지에 대해 알아보도록 하자.

 

 

1. Calibration Curve

 

• 모델의 확률 보정 정도를 시각화하여 나타내주는 그래프이다.
• 확률 보정이 제대로 된 모델이라면 파란색 점선처럼 y=x의 그래프가 그려진다.
• 고로 LR가 RF보다 좀 더 나은 확률 보정 모델이라 말할 수 있다.
• y=x를 기준으로 그래프가 위에 그려진다면 모델의 예측값 보다 실제 정확도가 더 좋은 경우에 해당되어
  'Under-Forecasting'라고 부른다.
• 반대로 y=x를 기준으로 그래프가 아래에 그려진다면 모델의 예측값이 실제 정확도보다 더 높은 경우에 해당되어
  'Over-Forecasting'이라고 부른다.
• 고로 RF와 LR 모두 대략 0.5를 기점으로 'Over-Forecasting'과 'Under-Forecasting' 현상을 보여준다.

 

 

 

 

< 참고 사이트 >

https://medium.com/analytics-vidhya/how-probability-calibration-works-a4ba3f73fd4d