개인적으로 여론조사 및 설문에 대한 관심이 큰 편인데요. 이 기사에서 몇 가지 내용을 인용해보겠습니다.
...그 가운데 하나는 낮은 응답률(Response Rate)이다. 우리나라 조사에선 응답률이 매우 낮다. 다시 말해 응답을 거부하면 자꾸 다른 사람에게 물어 본다는 얘기다. 전화조사에서 미국의 경우 1,000명을 표본으로 할 경우 전화 거는 대상을 3,000명 정도로 한정한다.
그 이상이 넘을 경우 표본에 치우침(Bias)이 생긴 것으로 보고 표본을 줄이거나 파기한다. 그래서 응답률의 기준은 30% 이상, 보통 40~50%에 이른다.
그런데 우리나라의 경우 1,000명을 채울 때까지 계속 전화를 건다. 그래서 1만명 이상에게 전화를 걸 경우가 많다. 응답률은 정치조사의 경우 10~15% 수준이라고 한다....여론조사 얼마나 믿을 수 있나[한국일보]
표본으로 편입되기 위한 과정이 바로 응답률입니다. 그런데 우리나라 사람들은 설문조사 결과나 여론조사 결과에 대해서는 대체적으로 긍정하지만 정작 자신에게 설문이 왔을 때 귀찮거나 바쁘거나 구태여 자신의 입장을 표명하지 않는 경우가 많아 응답률이 지극히 낮습니다.
응답률이 낮다는 것은 표본집단이 상대적으로 적극적인 의사표현을 하고 있는 계층만을 대상으로 하게 되어 전체적이 결과의 왜곡이 있을 수 있다는 점입니다.
고려대 허명회(통계학) 교수는 “2000~2003년 국내 메이저 3사의 여론조사를 분석한 결과 저학력 직장인의 응답비중이 너무 낮고 가정주부와 고학력자의 응답률이 너무 높았다”면서 “우리나라 전화여론조사의 표본오차는 실제보다 20%이상 크다고 봐야 한다”고 지적했다... 위와 출처 같음.
학계에서도 응답률에 대한 문제점을 제기하면서도 딱히 응답률을 높일 수 있는 방안을 찾아내지 못하고 있지요. 예를 들어 조사에 응하면 보상을 준다거나 추첨을 통해 보상을 하는 경우가 있을 수 있는데 이는 오히려 자신의 정치적 성향을 바깥으로 드러내지 않는 국민 정서상 보상을 주기 위한 개인정보를 획득하기가 쉽지 않다는 것이다. 이 또한 왜곡이 생길 수 있는 부분이죠.
현장에서는 어떤 문제가 있을까요? 대부분의 통계 전문 회사들은 비정규직이나 아르바이트 등의 인력을 한시적으로 동원해 전화 번호 샘플링을 나눠주고 전화를 걸게 하는 방식입니다. 일부 ARS(자동응답시스템)를 동원하는 경우가 있으나 이는 설문 결과의 일관성이 떨어진다는 점에서 비과학적인 조사 방법으로 통용되고 있습니다.
...설문지당 1,300원~2,000원의 보수를 받는데, 하루 30여명 분량의 설문지를 모두 작성해야 돈을 받기 때문에 심리적 압박은 크다...(중략)... 그는 “한시간에 30여 통의 전화를 거는데 실제 받는 것은 10통이 채 안되고 제대로 응답해 주는 경우는 많아야 3, 4통이라 어떻게든 한번 연결이 되면 대화를 이어가야 한다”며 “어쩔 수 없이 설문지에 없는 말을 덧붙이는 경우가 있다”고 했다..."응답률 채우려 답변지 몰래 고쳐"[한국일보]
이런 문제는 직접 설문을 진행해보면 황당한 경우를 봅니다. 예를 들면 설문을 제대로 듣지 않고 1번이나 2번으로 죽 만들거나 번호 찍듯이 자신의 의지와는 다른 대답을 무작위로 하는 경우도 많죠. 또한 설문 내용이 모호한 경우도 있습니다.
...한겨레가 공개한 여론조사 자료 전문을 보면 리서치플러스는 '차기 대통령으로 가장 낫다고 생각하는 후보'를 1차적으로 질문한 결과와 '그럼, 조금이라도 낫다고 생각하는 후보'에 대해 재차 질문한 결과가 다른 것으로 나타났다...(중략)... 1차 질문 결과를 보면 이 후보의 지지율은 46.5%로 조사됐다. 그러나 재차 질문을 할 경우 58.0%로 나타났다. 언론이 여론조사 보도를 할 때 1차 조사 당시의 지지율을 보도하느냐, 재차 질문한 결과를 보도하느냐에 따라 후보의 지지율은 출렁이게 된다...
설문 내용을 재차 물어보거나 '아무것도 찍고 싶지 않다'고 말하는 사람에게 '그래도 그렇다면...'식의 질문을 요구하는 경우도 있죠. 엉뚱하게도 '누가 하는 게 낫냐?'와 '실제로 누구를 선택하겠느냐?'는 질문을 '선호도', '지지율' 등의 모호한 용어로 설명하는 경우도 있으니 여론 조사는 들어가면 들어갈수록 헷갈립니다.
개인적으로 여론조사 기사를 눈여겨 보고 있지만 그 신뢰도에 대해서는 여전히 의문스러운 시각으로 보고 있습니다.
문제는 여론조사가 '대세론'을 만들어내는 기초가 되고 자신의 의지가 소수의견(마이너리티)으로 확인되는 순간 불안한 감정을 갖게 된다는 데 있습니다.
여론조사 결과를 좀더 높이려면 자신의 의사를 분명하게 표현하는 분들이 늘어야 겠죠. 그러니 조사에 성실하게 응답해주세요.^^
개인적으로, 현재의 여론조사 결과는 거의 믿지 않습니다. 물론 추세는 인지하고 있습니다. 어찌됐든 모수와 신뢰수준, 표본오차 등의 산술적인 내용은 공개되고 있으니 그나마 다행이죠.^^ 종종 여론조사를 뒤집는 대역전극이 나오는 이유는 이런 여러 문제가 복합적으로 작용했기 때문입니다.
0. 올블 갔다가 좀 황당했습니다. 실은 이회창 대선출마 분위기에 관한 블로거들의 생각이 궁금해서 갔는데요, 의외로 '여론조사'가 메인창의 첫 번째 이슈더군요. 이회창은 없었습니다. 당연히 있으리라 예상했는데, 아마도 내일쯤은 있겠지만요. 문국현 후보에 대해 호감을 갖고 계시는 일부 블로거들께서 여론조사 음모론을 주장하고 계신 것 같습니다. 그런데요. 그 마음은 이해합니다. 하지만 이건 아닙니다. 제가 문국현 후보라면, 혹은 문캠프 관계자라면 여러...
http://instatistics.officetutor.org/562 http://instatistics.officetutor.org/496
위의 두 글을 읽어보시면 대강 아시겠지만...(제 글 아닙니다)
그러니까, 이렇게까지나 압도적인 차이를 뛰어넘는 오류의 가능성이 있다는 것이 문제겠죠. -_-;
오차가 없으면 저도 믿겠습니다만.
노사모야....니들이 작년 지방선거떄도 민심을 외면하고 이런류의 헛소문 엄청나게 만들어 퍼뜨렸었지...선거당일날 까지도....니들이 하고 싶은 말이 뭐냐?? 놈현과 그 일당들이 재집권할 가능성이 1%라도 남아 있다는 말이 듣고 싶은게냐?? 미안하다...그런소리 길거리에서 했다간 넌 1분안에 돌맞아 죽을껄?? ㅋㅋㅋㅋㅋ
물론 응답률이 낮긴 하지만 저걸보고 100명중에서 이명박 지지는 7명밖에 안된다! 하고 하는 것 역시 문제가 있긴 하지요.. 결론은 이도저도 믿기 힘들다는 거겠지만...
전체적인 추세는 분명 현재 여론조사가 맞긴 할겁니다. 지지율의 정도의 차이는 있겠지만요. 100명중 15명이 답했다고 해서 85명이 응답을 기피했다, 누굴 뽑아야 될지 모르겠다는 것이 아닌 그냥 바빠서 혹은 이거 보이스피싱 아냐 하면서 그냥 끊은거일테니깐요.
2000명 가량이면 상당한 표본이니 2만명중 2천명을 뽑았다고는 해도 그 표본과 원래의 차이는 생각보다 크지 않을수.. 도 있습니다만 저 2만명 중에서 어떻게 2천명을 뽑았느냐가 가장 크게 좌우할지도 모르겠네요. 라지만 이 역시 랜덤으로(응답해주신분들이 모두 몇살이다! 정할 수 없는 랜덤인거니) 뽑힌거일테니 이래저래 의심의 눈길을 한 번 던져볼만 합니다. 그렇지만 응답률 30%미만은 믿을게 못된다고 보진 않습니다~
댓글을 달아 주세요
솔직히 여론조사라고는 하지만 그다지 믿음이 가지는 않더군요.
2007/10/12 17:38언론이나 정치권의 그저 생색내기에 그치는게 아닌가 하는 생각이 듭니다.
아, 그렇다고 다 무시하지는 못할 것 같긴 합니다. 추세란 것도 있으니까요.^^
2007/10/13 21:55여론조사 믿을만 합니다. 이 정도로 압도적으로 차이가 나는 조사라면 믿어도 됩니다. 지난번 대선에서도 이회창 40%에 노무현이 막판에 후보 단일화 해서 40%였고... 대선 결과도 크게 다르지 않았던 것으로 알고 있습니다.
2007/10/12 18:45아마도 이런 막장 여론조사를 보고 대한민국 국민들이 설마 이 정도까지 막장은 아니라는 식으로 믿고 싶으신 것으로 보입니다만 제가 보기엔 그냥 다같이 막장이 맞는 것 같습니다. 더도 덜도 아니고 딱 지금의 여론조사만큼 대한민국이 막장이라는 말이지요.
신뢰성이 낮다고 해서 신뢰성을 모조리 무시하기는 힘든 것도 사실이겠죠. 하지만 그 수치 그대로를 받아들이기에는 무리가 있는 것도 엄연한 사실입니다. 여론조사에서 나타난 압도적인 우위는 그대로 인정할 필요도 있습니다. 다만 그것이 그 수치 그대로인지는 의심이 갑니다.
2007/10/13 21:57http://instatistics.officetutor.org/562
2007/10/13 00:23http://instatistics.officetutor.org/496
위의 두 글을 읽어보시면 대강 아시겠지만...(제 글 아닙니다)
그러니까, 이렇게까지나 압도적인 차이를 뛰어넘는 오류의 가능성이 있다는 것이 문제겠죠. -_-;
오차가 없으면 저도 믿겠습니다만.
좋은 글을 소개해주셨네요. 감사합니다.^^
2007/10/13 21:57응답률이 30%이하면 폐기처분해햐 합니다. 근래에는 여론 조사에 대해 신뢰가 가지 않습니다.
2007/10/13 15:23흠.. 하지만 여론 향배에 대한 추세선을 보기에는 여론조사만한 것이 없답니다.^^
2007/10/13 21:58100명중 15명 응답
2007/10/13 16:36거기서 7명이 이명박지지
하지만 언론에는 '여론조사 50% 이명박지지'
오차범위다 무시한 여론조사는 필요없습니다
여론조사란 것이 전체 모수에서 샘플링을 통해 대표권을 부여하는 방식이라서 조사 자체를 부정하긴 힘듭니다. 다만 좀더 응답률을 높일 수 있는 방법을 택하거나 조사 기법에 대한 면밀한 검토가 필요한 시점인 것도 맞습니다.
2007/10/13 22:00노사모야....니들이 작년 지방선거떄도 민심을 외면하고 이런류의 헛소문 엄청나게 만들어 퍼뜨렸었지...선거당일날 까지도....니들이 하고 싶은 말이 뭐냐?? 놈현과 그 일당들이 재집권할 가능성이 1%라도 남아 있다는 말이 듣고 싶은게냐?? 미안하다...그런소리 길거리에서 했다간 넌 1분안에 돌맞아 죽을껄?? ㅋㅋㅋㅋㅋ
2007/10/13 17:00거, 댓글 한 번 제대로 싸놓고 가셨네요.^^ 어차피 다시 오시지도 않을 것 같지만 나름 진지한 글에 이런 식의 댓글이 뇌빠멸종님에게 어떤 득이 되는지 모르겠네요.
2007/10/13 22:01네가 추종하는 면장님이 급파해서 왔나보구나. 그려 넌 뭔소리해도 길에서 돌맞아 죽진 않겠지. 두뇌가 있는넘이면 자존심없이 범죄자 밑에서 알바를 하겠냐. 네 영혼은 이미 저기 지옥에 가있다. 지금 먹고 싸고 할 수 있을때 그나마 즐기며 살렴.
2007/10/14 04:18물론 응답률이 낮긴 하지만 저걸보고 100명중에서 이명박 지지는 7명밖에 안된다! 하고 하는 것 역시 문제가 있긴 하지요.. 결론은 이도저도 믿기 힘들다는 거겠지만...
2007/10/15 03:07전체적인 추세는 분명 현재 여론조사가 맞긴 할겁니다. 지지율의 정도의 차이는 있겠지만요. 100명중 15명이 답했다고 해서 85명이 응답을 기피했다, 누굴 뽑아야 될지 모르겠다는 것이 아닌 그냥 바빠서 혹은 이거 보이스피싱 아냐 하면서 그냥 끊은거일테니깐요.
2000명 가량이면 상당한 표본이니 2만명중 2천명을 뽑았다고는 해도 그 표본과 원래의 차이는 생각보다 크지 않을수.. 도 있습니다만 저 2만명 중에서 어떻게 2천명을 뽑았느냐가 가장 크게 좌우할지도 모르겠네요. 라지만 이 역시 랜덤으로(응답해주신분들이 모두 몇살이다! 정할 수 없는 랜덤인거니) 뽑힌거일테니 이래저래 의심의 눈길을 한 번 던져볼만 합니다. 그렇지만 응답률 30%미만은 믿을게 못된다고 보진 않습니다~
신뢰도가 낮다고 해서 그 결과 모두를 폐기하기에는 무리가 있다고 봅니다. 다만 좀더 정확한 조사를 위한 응답률 높이기 묘책을 찾을 필요가 있지 않을까요. 언론사나 조사기관이나 고민 좀 되겠는데요.
2007/10/15 11:42사실 여론조사의 응답률은 그 자체만으로는 오류발생이나 그 조사 결과에 대한 신뢰성에 영향을 미치지는 않습니다. 적어도 기술적인 의미에서는요.
2007/10/16 01:15다만 1000명 표본의 조사에서 응답률이 10% 내외라는것은 수천 혹은 만명을 조사 해야 한다는 것인데..
더욱이 표본 추출에 지역별 연령별 성별 비율을 적용하려면 필요한 모집단은 수만에서서 수십만에 이르러야 하는데 그만한 신뢰할 만한 모집단에 대한 자료를 여론 조사 기관이 가지고 있는지도 의문이고 그만한 능력이 되는지도 의문입니다...
또한 통계학이나 조사방법론의 좀더 근본적인 곳에 문제가 있을 수 있다고 생각 합니다.
즉 원래 통계와 표본 추출은 양적인 수치의 영역입니다.
이것으로 수치가 아닌 인간의 상대적인 선호 즉 질적인 것을
표현한다는 "여론조사 라는것의 기본 개념"에 문제가 있을 수 있다는 것입니다.
이것은 질문지의 편향성, 응답자의 주관적인 기분상태 등을 포함하는 개념입니다.
물론 통계 기법의 정교한 발달로 보완을 하기는 하지만 완전한 극복이 가능한 문제가 아닙니다. 여론조사의 근본적인 문제이죠. 통계학이나 조사방법론에서도 상당히 문제제기 되는 부분이 바로 이점입니다.
즉 이런한 것의 문제 바로
갑 후보를 열성적으로 지지하는 사람이나
그냥 갑 후보에 대해 알기만 하고 다른 후보는 잘 모르는 사람을 동일하게
하나씩 갑 후보에 대한 지지로 계산 하는것이죠...
그리고 여기서 1은 유권자 전체로 따지면 무려 만표가량의 의미를 가지게 됩니다..
정치적 무관심이 커질수록 사실상 지지 후보 없음 혹은 부동층이 많아질텐데... 이런 문제가 더더욱 커진다는거죠..
하지만 개인적으로 저는 이러한 여론조사 자체의 문제접 보다 더 심각 하다고 생각 하는게 있습니다.
2007/10/16 01:11요사이 여론조사가 정치에 너무 큰영향을 미친다는 것입니다.
여론조사의 오류 가능성이나 그 여부의 문제는 둘제 치더라도
여론 조사는 그저 정치 투입요소중의 하나인
여론을 알아보는 요소중의 하나 일 뿐인데...
그것으로 정치 자체가 결정되고 좌우 된다는 점이죠..
뭔가... 민주주의가 이상한 방향으로 흐르는듯 해서 걱정 됩니다.