본문 바로가기
OpEx

관점에 따라 달라지는 통계 결과 해석

by happyjay 2023. 12. 10.

오늘 아침 지하철에서 신문을 훑다가 눈에 띄는 기사가 있어 자세히 읽었다.  요즘 한참 화제가 되고 있는 의사와 대형 병원 부족, 특히 소아과 의사 부족 현상을 어떤 통계적 관점에서 보느냐에 따라, 의사와 병원이 부족해 보이기도 하고, 반대로 충분해보이기도 한다는 것이다. 정치적으로 왼쪽에 있는 의사들은 의사가 부족한 면을 부각시켜 공공의대 설립을 부르짖고 있고, 보다 합리적인 관점에서 통계를 쳐다보면 의사가 부족한것이 아니라 인구 감소 현상까지 고려하면 의사 숫자는 오히려 넘쳐난다는 것이다. 

​기사의 말미에 기자는, 마크트웨인이 영국 작가 벤저민 디즈레일리를 인용하여 자서전에 적었다는, "거짓말에는 세 가지 종류가 있다. 그럴듯한 거짓말, 새빨간 거짓말, 그리고 통계"를 인용했다. 마크트웨인이 인용했고, 그걸 다시 기자가 인용했고, 마지막으로 내가 인용한 셈이다. 말하자면, 삼단계 인용.  

​오늘 상급자와 통계를 어떻게 사용할 것이냐를 두고 논쟁이 있었다. 사실 discussion이라하면 그리 거북하지 않은데, 논쟁이라하니 fighting스러워 보인다. 말 그대로 논쟁이었다. 

​supplier의 risk와 performance를 평가해주는 신용평가사가 있다. 국내에는 메이저 3개사가 거의 1/3의 시장점유율을 보이고 있어, 시장점유율만을 놓고 보면 선호도를 가리기는 불가능하고, 이들 3개사가 동일한 supplier에 대해 평가한 결과치의 편차도 거의 무시할수준이다. 예전에 어떤 기사에서 확인한 기억을 떠올려보면, 동일한 supplier에 대한 3개사의 평가 결과의 편차의 수준은 3-8% 수준이라고 한다. 3사의 평가 결과치 중 3-8%의 갯수의 결과치가 다르다는 것인지, 결과치의 편차가 평균 3-8%가 벌어진다는 것인지는 잘 모르겠다.  

​어쨋든, 3사간 편차가 그리 크지 않다보니, 회사의 입장에서는 어느 신용평가사의 평가 등급을 활용하더라도 대부분의 경우에는 큰 문제는 없을 것이다.  다만, 혹시라도 특정한 신용평가사에만 의존하다가 공교롭게도 그 편차가 나한테 발생하면 어쩌나하는 불안감에 대부분의 담당자는 가능하다면 3개사의 신용평가 결과를 모두 확인하곤 한다. 

​최근 특정한 지표에 대한 진단 모델이 일제히 3개 신용평가사 모두가 출시하였고, 동일한 supplier에 대한 평가 결과는 이론상 모두 동일하게 평가되어야 하고, 그래야지만 3개사의 평가 결과 중 어느것을 사용하더라도 마음이 놓인다. 하지만, 동일 supplier에 대한 평가 결과의 일치율이 30% 수준으로 확인 되었다. 이 수치를 반대편 관점에서 본다면, 해당 모델이 시장 초기임을 감안하더라도, 동일한 supplier에 대한 3개 신용평가사의 평가 결과가 상이할 확율이 70%에 이른다. 이렇게 본다면 편차는 작지 않고 오히려 크다고 할 것이다. 

​하지만, 상급자는 3개의 신용평가사간 편차가 없다는 메시지를 원했기에, 이리 저리 숫자를 돌려보며 통계치를 만지작 거리다가, "동일한  supplier에 대한 3개사의 평가치가 +/- 1등급 이내로 동일할 확율은 82%"라는 분석 결과를 꽂아 주었다. 

아래 위로 1개 등급 이내이니, 최대 2개 등급이내이고, 이 범위에 들어갈 확율이 80% 수준이라면 사실 이 범위는 작은것은 아니다. 다만, 이렇게 정리해야 내가 퇴근길이 빨라지고, 편해진다.