물론 표본집단의 크기도 중요하긴 합니다. 표본집단의 크기가 클수록 표준오차는 점점 줄어들게 되죠. 그래서 보통 유의수준이라는걸 밝히죠. 신뢰도 95퍼센트다 98퍼센트다. 매 표본을 채집하고 결과치를 냈을때 해당 결과치의 신뢰도 유의수준내에서 왔다갔다 한다는것을 밝힙니다. 그래서 표본집단의 수도 중요하지만 그건 어느정도 오차를 수치화할수 있기 때문에 표본집단이 얼마나 모집단을 대표하느냐가 가장 중요합니다. 실제 여론조사의 문제점은 바로 거기에 있는 것이죠. 컨티뉴....
표준오차라나는건 이미 그 값이 이론적으로 정해져 있는 값입니다. 예를들어 주사위를 굴려서 평균값을 측정한다고 해보죠. 거기에 대한 통계는 이미 이론적으로 정해져 있어서 몇번굴렸을때 어느정도의 오차가 발생하는지가 이미 결과가 다 나와있습니다.
문제는 주사위는 정육면체상의 무게중심이 정확히 정가운데이고 각 숫자간의 면적이 여섯면이 모두 동일하게 모서리가 정확히 직각이고 동일한 표면적 특성을 가진다는 이러저러한 전제가 깔여있을때 의미가 있다는 것입니다.
실제 여론조사에서 발표하는 신뢰도나 유의수준이라는 것도 이러한 주사위의 통계와 마찬가지 원리로 계산됩니다. 즉 표본집단이 정확히 모집단의 축소판이라는 전제가 깔려있어야 하죠. 물론 모집단내에서 표본집단을 뽑는것이기에 거기서도 통계적인 오류가 발생하지만 모집단이 고르게 분산되어 있다는 전제하에서는 그것도 역시 오차를 수치화할 수 있습니다.
문제는 실제 울나라 여론조사에서의 표본집단은 모집단을 통계적인 오류수준내에서 대표하느냐를 떠나서 근원적으로 바이어스가 존재한다는 것입니다. 그것이 이 영상속에서 말하는 무선전화방식과 유선전화방식에 관한 문제제기입니다. 즉 무선전화 응답집단과 유선전화 응답집단이 나이,성별,지역, 직업, 정치관이 거의 동일한 특성을 지닌다면 문제가 없겠지만 아시다시피 유선전화 응답집단은 대부분 고연령층의 자영업자 내지 주부,은퇴자처럼 이미 예측되는 편향성이 존재한다는 것이죠.
통계상에서 발생하는 근원적인 오차와 표본집단을 얼마나 모집단에 맞게 선정하느냐와 같은 바이어스 문제는 근본적으로 다른 문제입니다. 그래서 각 여론조사기관마다 그것을 보정하는 여러가지 방법툴이 있는데 그걸 선관위가 사용못하게 했다는 것입니다.
네. 거기에는 전제가 깔려있다는 것입니다.
예를들어 1,2,3,4라는 숫자가 적혀있는 구슬을 각각 100개 준비하고 상자에 담는다고 해보죠. 그리고 마구섞습니다. 그리고 매 4개씩 100회에 걸쳐 추출해서 100개 집단간의 특성을 조사한다고 해보죠. 만약 랜덤하게 골고루 잘 섞여있다면 1,2,3,4가 각각 뽑힐수 있는 확률이 젤 높죠. 하지만 예를들어 1이라는 구슬은 10그램 2는 20그램 3은 30그램 4는 40그램의 구슬이라고 해보죠. 마구 흔들어놓은뒤 똑같은 방식으로 추출한다고 해보죠. 정확히 같은 무게의 구슬을 뽑을때와 같은 결과를 가질까요? 이건 통계의 문제가 아니라 바이어스의 문제입니다. 여론조사를 할때 진짜 문제는 통계상의 오류가 문제가 아니라 바이어스 문제입니다. 여론조사에서 말하는 신뢰도나 유의수준이라는건 그러한 바이어스가 없다는 전제하에서의 이미 정해져있는 근원적인 통계적인 오류라는 것이죠. 문제는 그건 수치화가 가능하게 확정적이라는것입니다. 하지만 바이어스는 그렇지못하고 어디에 어떻게 잠복되어있는지 모르고 수치화가 불가능합니다. 신뢰도나 유의수준이 말하는 오차는 실제오차가 아니라 통계방법상 필연적으로 나타나는 오차입니다.
어떠한 기계가 화살을 쏴서 과녁을 맞춘다고 해보죠. 정확히 과녁의 가운데를 겨눈상태로요. 바람이 랜덤하게 분다는 전제하에 10개의 화살을 쏘면 정확히 과녁의 가운데를 중심으로 고르게 퍼질 것입니다. 하지만 겨눈 화살이 정확히 과녁의 가운데가 아니라 빗겨난 방향이라면 어떨까요? 전자의 랜덤한 오차는 필연적이지만 후자의 오차(바이어스)는 실제 잘못된 오차라는 것이죠. 애초 잘못된 지점을 겨눈것처럼 통계조사상의 바이어스는 애초 표본집단을 잘못 골랐다는 것을 말하는 것입니다.
예를들어보죠. 주전자안에 2리터의 뜨거운물이 들어있습니다. 그리고 그 물의 온도를 측정해서 섭씨 70도라는 결과를 얻었습니다. 그게 과연 물 전체의 온도인지 온도계와 접한 부근의 온도인지 어떻게 알수 있을까요? 아시다시피 대류활동으로 인해 전체의 온도는 평형을 이루게 된다는 것을 알고 있죠. 그래서 물의 어느곳을 대더라도 물의 온도는 같게 나온다는 것을 알수 있습니다. 실제 측정해도 그렇구요. 모집단의 특성을 명확히 알고 있다면 사실 표본집단의 크기는 일정수준 이상이 되면 거의 모집단의 특성에 수렴합니다. 표본집단을 모집단의 특성과 거의 유사하게 뽑아내느냐가 가장 중요합니다. 여론조사에서는...
표본의 숫자는 응답자의 숫자이지 전화 건 숫자가 아닙니다. 아직도 이런 주장을 하는 분이 있네요.
문제는 이동전화나 직장전화의 응답률이 낮고 집전화의 응답률이 상대적으로 높은 것이 문제입니다.
이동 전화는 지역 식별을 해야 하니 더더욱 문제가 됩니다.
이들 모두를 합하면 유선 집전화가 표본에 비중이 커지겠지요.
방문조사도 거짓으로 답하는 경우가 있습니다.
정당은 정당대로 유리한 여론조사결과와 불리한 여론 조사 결과를 이용합니다. 유리하면 불리하다 하고 불리하면 유리하다고 하는 식으로.
젊은이들은 응답류이 가장 낮고 그다음은 직장 근로자입니다. 오차가 날 수 뿐이 없습니다.
가장 예측을 잘한 여론조사 기관이 실력이 있는 기관이겠지요.
하여간 어떤 방법으로 조사해도 이론적 신뢰도와 표준편차를 벗어나게 되있는데 무조건 세상의 모든것은 음모라고 보는 파파이스가 음모 같네요.
파파이스의 음모인지 리얼미터의 권순정 조사분석실장의 음모인지 잘 판단해보시기 바랍니다. 님이 뭐하시는분인지는 잘 모르겠지만 저분보다 님이 얼마나 신뢰를 가질만한 분인지는 잘 모르겠네요. 김어준 혼자 소리였다면 그러려니 넘어가겠건만. 그리고 아직도 이런 주장을 하는 분이 있다는것이 저 또한 신기합니다. 이거 고등학교때 배우는거에요. 이것도 모르면서 뭔 여론조사에 대해서 운운하시는지.
애초 여론조사는 실제결과와 다를수밖에 없습니다. 그건 이론적으로 이미 예측이 가능합니다. 또한 표본집단은 모집단을 100퍼센트 완전히 축소모사할 수 없습니다. 애초 여론조사가 말하는 각종 주변수치들은 표본집단이 모집단을 완전히 모사한다는 전제에서 나온 결과물이기 때문에 단순히 유의수준이나 신뢰도만 가지고 그 조사의 정확도를 판별할 수는 없습니다. 본인이 지적하신 여러 문제지적들은 이미 다 아는 내용이에요. 그 다 아는내용을 문제삼은 것이 아니에요.
이 영상에서 저 권실장이라는 분이 뭘 문제삼았는지 그 문제점이라는 것이 뭔지 잘 이해하시라는 얘기입니다. 음모론이 아니라 정확히 이해할 수 없는 제약이라는 것입니다. 새누리나 더민주같은 정당기관에서는 사용하는 방식인데 여론조사기관보고는 하지 말라는걸 가지고 문제제기를 하는데 이미 기존부터 알고 있던 문제들을 마치 상대가 모르는 자신만 아는듯 이상한 얘기를 하는지. 애초 문제는 그게 아니에요. 그 부분은 이미 각 여론조사기관마다 자신만의 독특한 보정툴이 다 있어요. 문제는 그것가지고도 오차는 존재하지만 그건 이미 다 이전 여론조사에서 보아왔던거라 다 아는거고 한계로 지적되었던 것입니다. 그 보정툴마저 법으로 허용한걸 선관위가 나서서 제약을 걸었다는걸 지적하는 것입니다. 왜 제약을 걸었을가요? 기존에 그대로 해오던걸? 이미 주요정당들이 다 하는 방식을?
하지만 raw data자체도 이미 편향이 존재한다는 것이 문제죠. 이미 편향이 존재한다면 그건 잘못된 data이기 때문에 raw data로서의 가치가 떨어집니다. 표본집단은 근본적으로 잘못 뽑을수밖에 없다는것을 인정하는 것이 바로 보정툴입니다. 실제로 편향이 존재하는데 편향이 없는것처럼 강제하는 것은 사실상 정치적 의도라고 볼수밖에 없습니다. 보정의 문제는 보정이 어떤식으로 이루어졌는지 공개를 하면 그뿐입니다. 갤럽을 포함한 여러 여론기관들은 자신들의 통계기법들을 인터넷을 통해 다 공개합니다. 그러면 아무런 문제가 없죠.
작성일 : 16-04-16 11:34
조회 : 1,149
