AUC-ROC Curve, Sensitivity(민감도)와 Specificity(특이도)

ROC (Receiver Operating Characteristic)

• 모든 임계값에서 분류 모델의 성능을 보여주는 그래프 (이진 분류 모델의 분류 성능을 시각화한 그래프)

 

AUC (Area Under the Curve)

• ROC Curve 아래 영역의 면적을 나타내는 지표. 모델이 얼마나 잘 분류하는지 나타내는 지표.
• 0.5~1.0 으로 나타냄
• AUC 면적이 클 수록 정확도가 높은 모델이라고 보면 된다.
  • “AUC가 높다” → 모델이 질병이 있는 환자와 질병이 없는 환자를 잘 구별할 수 있다는 것.
• 0.5이면 랜덤에 가까운 성능, 1이면 최고의 성능. 0.7 이상은 되어야 수용할만한 수준이라고 평가됨.

 

AUC-ROC Curve

“AUC가 높다” → 모델이 질병이 있는 환자와 질병이 없는 환자를 잘 구별할 수 있다는 것.

ROC Curve는 TPR(True Positive Rate, 민감도)이 y축에 있고, FPR(False Positive Rate)이 x축에 있는 좌표 평면에 그려진다.

FPR의 변화에 따른 TPR의 변화를 보여준다.

임계값(threshold)를 변화 시키면서 분류 문제에 대한 성능을 측정합니다.

 

 

 

혼동행렬 (Confusion Matrix)		실제
		True(참)	False(거짓)
판정	Positive (양성 판정)	TP (True Positive) 양성으로 판정했는데 실제로 양성	FP (False Positive) 양성으로 판정했는데 실제로 음성 -> 음성을 양성으로 판정
	Negative (음성 판정)	TN (True Negative) 음성으로 판정했는데 실제로 음성	FN (False Negative) 음성으로 판정했는데 실제로 양성 -> 양성을 음성으로 판정

 

분류 모델의 평가 지표 상세

• 민감도 (TPR, True Positive Rate, Sensitivity)
  • = TP / (TP+FN)
  • 실제로 질병이 있을 때, 검사 결과가 양성으로 판정될 확률
  • 모델이 실제로 양성인 데이터를 얼마나 잘 분류하는 지의 정도를 나타냄
• 특이도(TNR, True Negative Rate, Specificity)
  • = TN / (TN + FP)
  • 실제로 질병이 없을 때, 검사 결과가 음성으로 판정될 확률
  • 모델이 실제로 음성인 데이터를 얼마나 잘 분류하는 지의 정도를 나타냄
• 민감도와 특이도 모두 클수록 좋다.
• 그러나… 민감도와 특이도는 반비례 관계
  • 민감도를 높이는 경우 특이도가 낮아짐. 특이도를 높이는 경우 민감도가 낮아짐
  • threshold를 낮추면 민감도는 높아지지만 특이도는 낮아짐.
  • threshold를 높이면 특이도는 높아지지만 민감도는 낮아짐.
  • 따라서 특이도와 민감도를 모두 고려하여 최적의 threshold 값을 선택해야 한다.

• FPR, False Positive Rate, false accept rate
  • = 1-{특이도}
  • 실제 음성을 양성으로 잘못 예측한 비율 (암 환자가 아닌데 암이라고 진단)
  • TPR과 FPR은 비례하는 관계
  • 예) 암환자를 진단할 때, 성급한 의사는 아주 조금의 징후만 보여도 암인 것 같다고 할 것이다. 이 경우 TPR은 1에 가까워질 것이다. 그리고 동시에 FPR도 1에 가까워진다. (정상인 사람도 전부 암이라고 하니까)
  • 반대로 실력이 없는 의사라서 암환자를 알아내지 못한다면, 모든 환자에 대해 암이 아니라고 할 것이다. 이 경우 TPR은 매우 낮아져 0에 가까워 질 것이고, 마찬가지로 FPR 또한 0에 가까워질 것이다.(암환자라고 판단 자체를 안하므로, 암환자라고 잘못 진단 하는 경우가 없어짐)
  • 그런데 문제는 좋은 성능에 대한 지표인 TPR을 높이려다보면, 나쁜 성능에 대한 지표인 FPR도 같이 높아져버린다는 것이다. 따라서 어떤 의사의 실력을 판단하기 위해서는 특정 기준(=threshold, 어느 정도의 징후일때 암이라고 예측 할 지)을 연속적으로 바꾸어 가면서 TPR과 FPR을 측정을 해야한다. 그리고 이것을 한눈에 볼 수 있게 시각화 한 것이 바로 ROC 커브이다.
• ACC (Accuracy, 정확성)
  • = (TP + TN) / (TP + TN + FP + FN)
  • 모델이 전체 데이터에서 정확하게 분류한 비율을 나타내는 지표