Q. 여론조사는 믿을만한가?
A. 여론조사는 축적된 데이터와 과학적 근거를 가지고 조사하는 것이기 때문에 미신도 아니고 당연히 상당한 신뢰성은 있다. 하지만, 전수조사가 아닌만큼 오차범위가 존재하고 정말로 그 확률로 틀릴수도 있다. 진짜 오차범위내의 정확한 여론을 알 수 있는가에 대해선 제법 논란이 있는 것도 사실이다.
우선 표본 선정 과정에서 편향적이기 쉬운 문제가 있다. 예를 들어 정치 여론조사의 경우 중장년층이 주로 응답하는 집전화(유선) 조사는 가중치를 조절한다 치더라도 그 비율이 높을수록 결과가 보수정당에 유리하게 나오기 쉽다. 때문에 연령대 가리지 않고 많이들 쓰는 휴대폰으로 하는 무선조사의 경우 좀 더 편향성을 줄일 수 있는 장점이 있으나, 정치/사회 현안에 대한 견해나 대선처럼 전국 단위 여론 분석이 가능한 조사가 아닌 지역구 선거 관련 조사 같은 경우는 유무선 조사의 비율을 조정하기 쉽지 않다는 한계가 있다. 또 같은 소득, 같은 연령대라도 정보화가 된 사람이 개혁적인 성향을 가지는 경향이 높은 등 여러 오차변수가 많긴 하다.
Q. 장노년층 전화는 끊어버린다?
A. 유튜브나 노년층의 카톡방 등지에서 노년층을 중심으로 여론조사의 신뢰성을 의심하며 제기되는 주장이다. 여론조사를 할 때 장노년층인 본인의 나이대를 밝히자마자 전화를 뚝 끊어버리는데, 이것이 보수적인 성향이 강한 노년층의 여론조사 참여를 막으려는 수작이라는 것.
그러나 이 역시 표본 확보를 이해하지 못해서 생긴 오해다. 위 문단에서 말하듯, 유선전화는 장노년층의 참여가 훨씬 많을 수 밖에 없고, 젊은 층들은 집전화를 잘 받지 않는다. 심지어 청년층 또한 일과시간에는 집 전화는 아예 받지 못하고, 심지어 휴대전화가 온다고 해도 쉽게 받기가 힘들다. 학교나 직장에서 업무에 종사하는 경우가 많기 때문이다.
이런 저런 이유 때문에 당연히 60대 이상 노년층이 목표하는 표본을 채우는 속도가 빠르므로, 다른 세대 조사에 필요한 수치를 채우기 전에 먼저 표본 수가 차버리는 경우가 대부분이다. 그래서 이런 경우에는 60대 이상의 표본 채집은 중지하고 다른 세대 위주로 조사하게 되는 것이다.
Q.표본 수가 적어서 의미가 없다?
A. 이것은 통계와 확률에 대한 이해 부족에서 비롯된다. 1000명 이상의 여론조사는 보통의 여론조사에서 매우 많은 조사인원이다. 그 이유는 보통 표본 추출 작업, 가중치 부가 작업이 잘 되었다는 전제하에 1000명 정도면 모집단의 수와 무관하게 충분히 의미 있는 결과를 내고도 남기 때문이다. 여론조사 전문가들은 "국을 끓일 때 모든 국물을 다 마셔보지 않아도, 한 숟가락만 먹어 보면 국의 간을 알 수 있다. 다만 국이 잘 섞여있어야 한다"는 비유를 들어 설명한다. 여론조사의 표본이 충분히 무작위로 잘 형성되었기만 했다면, 표본 1000명 정도는 조사 결과 도출에 충분하다는 것이다.
지역 단위의 조사라면 더 적은 인원으로도 가능하다. 작은 지방자치단체의 조사에서는 500명이나 800명 정도 표본의 조사를 얼마든지 진행한다.