복면가왕 대진 순서가 승패에 영향을 미칠까?

미스터리 음악쇼 복면가왕 16회가 7/19(일) 저녁에 있었습니다. 10주 만에 '화생방실 클레오파트라'가 복면가왕 가면을 벗었고, '노래왕 퉁키'는 새로운 복면가왕으로 등극하였습니다.

 

'죠스가 나타났다'도 정말 잘했는데 '노래왕 퉁키' 너무 잘했죠. 그리고 '화생방실 클레오파트라' 역시 4연속 가왕으로서 '한오백년'과 '진도아리랑'을 가지고 관객과 시청자를 홀렸습니다만, 관객석을 콘서트장으로 만든 '노래왕 퉁키'가 새로운 복면가왕이 되었습니다.  이번 회차는 노래 듣는 내내 참 귀가 호강했습니다.

 

새로운 복면가왕 '노래왕 퉁키' 콘서트장을 방불케하는 카리스마!	한오백년으로 전혀 새로운 장르에 도전하며 가왕 타이틀 방어전에 임하는 화생방실 클레오파트라
8대 복면가왕은 간발의 표 차이로 '노래왕 퉁키'	10주만에 새 복면가왕 탄생에 놀라워하는 심사단

* 화면 출처: MBC 복면가왕 16회차 방송 사진 캡쳐

 

 

 

16회차 복면가수들의 노래에 대한 후기는 다른 많은 분들이 포스팅을 할 것이라 예상이 되구요, 저는 이번 포스팅에서 "대진 순서가 승패에 영향을 미칠까?"라는 질문(가설)에 대해서 통계적으로 검증을 해보았습니다.

 

14회차 Final Round에서 '소녀감성 우체통(린)'과 '내 칼을 받아라 낭만자객(김보아)'가 맞붙었는데요, 낭만자객이 52표, 우체통이 47표를 얻어서 낭만자객이 클레오파트라와 복면가왕전을 벌였고, 클레오파트라 승으로 끝났었죠. 

 

14회차 Final Round 때 둘다 잘하기는 했지만, 저는 '소녀감성 우체통'에 조금 더 마음이 끌리더라구요. 그런데 낭만자객이 근소한 표 차이로 승리를 했는데요, '그게 혹시 노래 순서 때문은 아닐까?', '뒤에 노래하는 복면가수일 수록 심사 관객/심사원의 뇌리에 인상이 더 크게 남아 있어서 더 유리한 것은 아닐까?' 하는 생각이 들었습니다. 그래서 .... 인터넷 뒤져가면서 1회부터 28회까지 대진표랑 승패 결과를 데이터로 정리해서 카이제곱 독립성 검정을 해보았습니다.

 

결론부터 말씀드리자면, "대진 순서는 10% 유의수준 하에서 승패에 영향이 있다"로 나왔습니다.

 

 

분석에 활용한 데이터는 1회~28회까지 매 회의 2 round, 3round 의 대진 순서와 승패 결과 데이터를 활용하였습니다.

아래 15, 16회차를 예로 들면 황색으로 테두리 친 영역이 분석 대상이 되겠습니다.  

 

 

 

 

데이터셋은 바로 아래에 링크 걸어놓습니다. (자료 모으고 정리하느라 시간 꽤 걸렸습니다. ㅜ_ㅠ) 

 

 

 

masksinger_win_lose_20151011.csv

 

(17회, 18회, 19회, 20회, 21회, 22회, 23회, 24회, 25회, 26회, 27회, 28회 업데이트 한 자료 새로 올립니다)

 

 

귀무가설 H0 : "노래 대진 순서는 승패에 영향이 없다"

대립가설 H1 : "노래 대진 순서는 승패에 영향이 있다"

 

라는 가설 검정을 위해서 R 오픈소스 통계툴을 활용해서 이변량 범주형 데이터의 독립성을 10% 유의수준 하에서 카이제곱 검정했습니다.

다음은 R에서 데이터 불러오고, 분할표 만들고, 카이제곱 검정 옵션 줘서 검정하라는 R 명령문입니다.

 

> masksinger_win_lose <- read.csv("C:/Users/user/Documents/R/masksinger_win_lose_20151011.csv", + header = TRUE) > > install.packages("gmodels") # gmodels 패키지 설치 > library(gmodels) # 패키지 호출 > str(masksinger_win_lose) # 데이터셋 구조 탐색, 60개의 관측치, 5개 변수를 가진 데이터 프레임 'data.frame': 84 obs. of 5 variables: $ broadcast: Factor w/ 10 levels "1_2","11_12",..: 1 1 1 1 1 1 7 7 7 7 ... $ round : int 2 2 2 2 3 3 2 2 2 2 ... $ singer : Factor w/ 40 levels "7월의크리스마스",..: 24 5 40 8 5 40 33 2 9 28 ... $ sequence : Factor w/ 2 levels "1st","2nd": 1 2 1 2 1 2 1 2 1 2 ... $ win_lose : Factor w/ 2 levels "lose","win": 1 2 2 1 1 2 2 1 1 2 ...

 

 

아래는 노래 대진 순서(1st, 2nd)와 승패 결과 (lose, win) 분할표 결과 입니다.

'2번째(2nd)'로 노래를 했으면서 승리(win)할 기대도수(Expected N)은 '21'인데 실제는 '25' 이고, 패배(lose)할 기대도수(Expected N)도 '21'인데 실제는 '17'이 나왔다는 뜻입니다.  

피어슨 카이제곱 검정 통계량은 '3.047619'이고, p-value는 0.0808이므로, 유의수준 10% 하에서 귀무가설 H0 : "노래 대진 순서는 승패에 영향이 없다"를 기각하고, 대립가설 H1: "노래 대진 순서는 승패에 영향이 있다"를 채택하게 됩니다.

 

 

> masksinger_win_lose <- read.csv("C:/Users/user/Documents/R/0_분석 관점으로 세상보기/02_복면가왕/masksinger_win_lose_20151011.csv", + header = TRUE) > CrossTable(masksinger_win_lose$sequence, masksinger_win_lose$win_lose, + expected = TRUE, + chisq = TRUE) Cell Contents |-------------------------| | N | | Expected N | | Chi-square contribution | | N / Row Total | | N / Col Total | | N / Table Total | |-------------------------| Total Observations in Table: 84 | masksinger_win_lose$win_lose masksinger_win_lose$sequence | lose | win | Row Total | -----------------------------|-----------|-----------|-----------| 1st | 25 | 17 | 42 | | 21.000 | 21.000 | | | 0.762 | 0.762 | | | 0.595 | 0.405 | 0.500 | | 0.595 | 0.405 | | | 0.298 | 0.202 | | -----------------------------|-----------|-----------|-----------| 2nd | 17 | 25 | 42 | | 21.000 | 21.000 | | | 0.762 | 0.762 | | | 0.405 | 0.595 | 0.500 | | 0.405 | 0.595 | | | 0.202 | 0.298 | | -----------------------------|-----------|-----------|-----------| Column Total | 42 | 42 | 84 | | 0.500 | 0.500 | | -----------------------------|-----------|-----------|-----------| Statistics for All Table Factors Pearson's Chi-squared test ------------------------------------------------------------ Chi^2 = 3.047619 d.f. = 1 p = 0.0808556 Pearson's Chi-squared test with Yates' continuity correction ------------------------------------------------------------ Chi^2 = 2.333333 d.f. = 1 p = 0.1266305

 

 

심사단의 투표 결과가 박빙일 때는 노래 순서가 영향을 미치지 않을까...하고 지금도 의혹을 가지고 있기는 합니다만, 복면가왕 보시는 분들은 아시겠지만, 진짜 가수와 아마추어 (개그맨, 탤런드, 아나운서 등)가 나와서 대진을 하면 실력차이가 나기 때문에 실력있는 가수 쪽으로 쏠림이 심한 경우가 많았습니다. 이렇게 실력차가 확연해서 쏠림이 심하면 '대진 순서'는 의미가 퇴색되겠지요. (다 아는 내용인데 미련한 저만 몰랐던 걸까요? 똥인지 된장인지 꼭 찍어먹어봐야 아는.... ㅋㅋ)

 

암튼, "노래 대진 순서는 승패에 영향이 없다"가 그동안의 1회~26회까지의 결과를 기반으로 통계분석를 통해 도출한 결론이 되겠습니다.

 

앞으로 몇 회 더 추적해서 분석을 업데이트 하도록 하겠습니다.

 

16회 때 이 블로그를 썼었는데요, 그때보다 회를 거듭할 수록 제가 세웠던 대립가설, 즉 "대진 순서가 승패에 영향이 있을 것이다 (두번째 노래한 가수의 승률이 더 높을 것이다)"라는 가설의 통계적 유의성이 점점 더 높아지고 있습니다.  두어달 더 꾸준히 트래킹해보면서 더 지켜보겠습니다.

 

그동안 아슬아슬하게 대립가설을 채택 못했는데요, 드디어 28회차에 뒤집혀서 10% 유의수준 하에  대진순서가 승패에 영향이 있다는 대립가설을 채택할 수 있게 되었습니다.  매주 데이터 수집, 정리하느라 시간이 솔찬히 걸렸는데요, 보람이 있었네요. ^^v

 

시간 순서에 따른 평가의 왜곡(후광효과?)을 줄이기 위해서는 첫번째 복면가수가 노래를 부르고 나서 바로 점수를 입력하게 하고, 두번째 복면가수가 노래를 부르면 또 바로 입력하게 하는 것이 필요할 것 같습니다.  그리고 평가를 할 때 몇 가지 평가요소를 세분화(예: 목소리, 리듬, 무대 퍼포먼스 등)해 놓고 평가를 하게 하면 왜곡을 줄일 수 있을 것 같습니다. 

 

회사에서도 연말에 한번 몰빵으로 평가를 하는 것이 아니라, 월이나 분기마다 평가를 하고 자주 피드백을 하는 것이 필요하거든요.  그리고 평가 항목을 직급, 업무에 따라 세분화, 구체화하구요.

 

아래는 복면가왕 역대 대진표와 승자를 정리한 내용이 되겠습니다. (데이터는 위의 본문 중간에 링크)

 

---

 

[복면가왕 1회, 2회 대진표 ('15.4.5~4.12)]

 

 

---

 

[복면가왕 3회, 4회 대진표 ('15.4.19~4.26)]

 

  

---

 

[복면가왕 5회, 6회 대진표 ('15.5.3~5.10)]

 

 

---

 

[복면가왕 7회, 8회 대진표 ('15.5.17~5.24)]

 

 

---

 

[복면가왕 9회, 10회 대진표 ('15.5.31~6.7)]

 

 

---

 

[복면가왕 11회, 12회 대진표 ('15.6.14~6.21)]

 

 

---

 

 [복면가왕 13회, 14회 대진표 ('15.6.28~7.5)]

 

---

 

[ 복면가왕 15회, 16회 대진표 ('15.7.12~7.19) ]

 

 

 

---

 

[ 복면가왕 17회, 18회 대진표 ('15.7.26~8.2) ]

 

 

 

---

 

[복면가왕 19회, 20회 대진표 ('15.8.9~8.16) ]

 

 

 

 

 

---

 

[ 복면가왕 21회, 22회 대진표 ('15.8.23~8.30) ]

  

 

 

 

---

 

[ 복면가왕 23회, 24회 대진표 ('15.9.6~9.13) ]

 

 

 

 

 

---

 

[ 복면가왕 25회, 26회 대진표 ('15.9.20~9.27) ]

 

 

 

---

 

[ 복면가왕 27회, 28회 대진표 ('15.10.04~10.11) ]