Как получаются нелепые рейтинги Путина и аннексии?

[taki_net]

Я не знаю, все ли понимают, как устроен ЧЕСТНЫЙ опрос общественного мнения (о жульнических опросах от ФОМ и ВЦИОМ я сейчас не буду)? Что такое "опрос N человек по репрезентативной (всероссийской и т.д.) выборке"? Нет, это не результат обработки N ответов от N человек, выбранных так, чтобы их распределение по всем параметрам совпадало с всероссийским. Я сейчас отвлекусь от проблемы репрезентативности (очень сложной) и рассмотрю только самый простой вопрос - количественный. Чтобы получить N ответов, надо опросить (выдать анкет, инициировать интервью, произвести звонков...) много, много больше, чем N. Часто в десятки, порой в сотни раз больше. Иными словами, "сырой массив" ответов на вопрос поллстера выглядит так: "отказ от ответа, отказ, отказ, вар. А, отказ, отказ, не знаю, вариант Б, отказ, отказ, отказ, отказ...". Иными словами, если бы результаты опросов публиковались без обработки, как есть - рейтинг крымской авантюры выглядел бы так: "поддерживают решение Президента 7% опрошенных, 2% осуждают, остальные не сформировали своего отношения..."

Поллстеры на основе опыта (о котором ниже) исходят из предположения, что отказ от ответа - не одна из разновидностей позиции, а независимое поведения; иными словами, что не ответившие, на самом деле, имеют позицию по теме опроса, и ее можно с некоторой точностью предсказать на основе "видимого" меньшинства анкет. "Нулевой" вариант такого предсказания - простое исключение отказавшихся от ответа и подведения итога на основе полных анкет/интервью (я отвлекаюсь от того, что само множество ответивших будет не соответствовать генеральной выборке по возрасту, полу, доходу и т.п. параметрам, и его придется нормировать, то есть разбивать на группы и завышать или занижать ценность ответов недопредставленных или перепредставленных групп - это, как я уже отметил, отдельная сложная проблема, а нам бы разобраться с легкой.

Безопасно ли применять "нулевой вариант"? Легко видеть, что он основан на предположении, что в огромном массиве отказных анкет истинное распределение позиций ТОЧНО такое же, как в маленьком массиве отвеченных. Но это очень подозрительная гипотеза; ответившие принадлежат к экзотическому меньшинству "ненормально коммуникативных" людей; а всякое меньшинство, особенно предопределенное свободным выбором, подозрительно на необычность и еще по куче параметров. Кроме подозрительности, есть и прямое возражение: совершенно очевидно, что процент "не определившихся с ответом" между вариантами А и Б среди ответивших должен быть МНОГО НИЖЕ, чем среди отказников. Если вопрос опроса сложен, далек или неинтересен - в высшей степени неестественно все же отвечать на анкету, а не уходить в отказ. Иными словами, как минимум процент ответа "не знаю" среди идеальной выборки должен быть много выше, чем в "сырых" неотказных анкетах. Кстати, на опросе ФОМ+ВЦИОМ таки да, было ненормально мало ответов "не знаю".

Следующая тема - опросы можно разделить на два типа: на предсказывающие событие и на "оценки в себе". Пример первого типа - какой молотый кофе предпочитаете, арабику, робусту или молотого не пью? Послезавтра выборы - за кого будете голосовать, за синих или зеленых, или испортите бюллетень, или не пойдете?

Второго типа: верите ли вы в Бога? Как вы относитесь к Господину Президенту (отлично, хорошо, посредственно, плохо, не знаю).

В опросах первого типа наступает "послезавтра", и подсчет голосов (если он принят в этой стране) или цифры продаж покажут, была ли верна нулевая гипотеза, а точнее, какие поправки надо было внести. Часто эти поправки хорошо рационализируются, и их можно при аналогичных опросах выставить заранее, домножая на коэффициенты: так, сторонники бюджетных брендов стесняются и чаще отказываются от ответа, чем сторонники престижных и люксовых, сторонники правящей (или вероятно побеждающей) партии чаще отвечают, а сторонники предполагаемых лузеров - чаще уклоняются от ответа.

А что делать с опросами о поддержке того или иного лидера или тех или иных мер? Никакие "выборы наутро" или "продажи в конце квартала" тут не помогут. Можно применять поправки, заимствованные от недавних выборов, по аналогии - но насколько они аналогичны по интенсивности страху показаться себе (А МОЖЕТ И НЕ СЕБЕ, кто этих поллстеров знает) предателем? Врагом народа?

Иными словами, я утверждаю, что статистические модели - даже с поправками на политическую реальность России, но России прежней, докрымской - неприменимы для определения истинных настроений людей, и даже так называемый "честный" опрос Левады говорит нам только, что большинство людей в России, как и всегда, не готовы делиться своими политическими взглядами. А готовые и при этом поддерживающие власть - составляют меньшинство.

Comments

[yankel.livejournal.com]

Ну вот, а как вы чувствуете? Поддерживают широкие массы это или нет? Я не прошу статистику.

[taki-net.livejournal.com]

Скажем так, я не удивлюсь распределению за/против/не знаю 40/40/20. И даже 30/50/20 не удивлюсь, как и наоборот.

[yankel.livejournal.com]

Я в этом совсем не уверен.
Но я сужу по Рунету. Впрочем, я в России не живу, не вижу настроения людей

[taki-net.livejournal.com]

В Рунете очень волнами, что явный признак управляемой и финансируемой кампании.

По Рунету я тоже сперва вариант Левады (76/10/14) воспринял как реальный, но потом понял, что ПОЛНОЕ отсусттвие на улицах, в транспорте, в очередях и магазинах разговоров "за" (как минимум один встреченный мной разговор против) - как-то не слишком вяжется с этой картиной.

[yankel.livejournal.com]

Интересно

[vrakker.livejournal.com]

В моей личной статистике один разговор "за" в транспорте (в самом начале марта), разговоры за на работе (в очень неформальной обстановке, сторонники и противники делятся пополам) и в гостях у коллег. Ребенок (13 лет) сказал у меня на уроке: "я думаю, этот день (18 марта) уже в следующем году будет выходным!". Как-то так.

[kireev.livejournal.com]

Вы, конечно, правы, что те, кто не хочет отвечать на вопросы, чаще всего проти власти и не хотят делиться своими реальными настроениями. Это было видно буквально по всем опросам, которые преувеличивали рейтинг власти буквально на всех федеральных выборах (если отбросить фальсификации), причем, по нарастающей.

Я опять-же согласен, что после Крыма желающих делиться своим, отличающимся от официального, мнением, должно стать еще меньше. Кому хочется быть "пятой колонной"? Призывы с такими разобраться звучат постоянно и люди реально становятся неадкеватными. Достаточно почитать отчет grezev http://grezev.livejournal.com/463298.html

Другое дело, какой процент людей не хочет общаться с интервьюерами или же дает фальшивые ответы? Из опросов по Крыму мы этого не узнаем, так что остается только гадать. Лично я считаю, что большинство действительно все это поддерживает и они полностью дезинофрмированы пропагандой, но таковых действительно меньше, чем даже по опросам Левада-центра.

[taki-net.livejournal.com]

По личным впечатлениям от Москвы - я не удивлюсь ни соотношению за/против 50/30, ни 30/50 при 20 неопределившихся.

[kireev.livejournal.com]

Может быть, с учетом того, что в Москве процент за будет прилично ниже среднего по стране.

[taki-net.livejournal.com]

Говорят, в Москве были самые массовые и буйные гуляния по поводу аннексии (тут я пас - меня ровно в ту неделю не было в России, к сожалению или к счастью).

[kireev.livejournal.com]

Так потому что это Москва, тут вообще всех выступлений больше. Но в Москве точно больше именно демократической, либеральной оппозиции. Реально тут Яблоко на выборах в ГД получило 15% при 5% по стране. То есть тут противников этого точно должно быть больше.

[taki-net.livejournal.com]

Это да, это общий фактор.

Хотя некоторые исключения, причем связанные именно с военными угрозами (парадоксальная зависимость от типа поселения) уже случались, например, в 1 чеченскую войну.

[kireev.livejournal.com]

Собственно, даже в 2008 г. поддержка действий России в Грузии в Москве была вроде бы на уровне общероссийской. Точно не припомню, но точно знаю, что у образованных даже чуть повыше было. Я даже как то у себя об этом в блоге писал. Но тут ситуация уже несколько другая: по сравнению даже с Грузией, уже не говоря о первой чеченской войне, уровень обоснования всего этого не лезет ни в какие ворота. Это расчитано уже на полных лохов.

[stzozo.livejournal.com]

С другой стороны, Москва живет богаче, чем Россия в целом.
Бедным регионам обидно, что теперь федеральный центр будет еще и обделять их в пользу дотационного Крыма.
Во многих регионах были шуточные акции "введите в нашу область танки, а то у нас ущемляются права русских", далее описывается, как российское государство не заботится о людях.

[kireev.livejournal.com]

Мне кажется, тут прежде всего играет роль уровня информированности и уровня образования. Бедная бабка на селе вообще не будет думать о том, что за Крым ей придется платить. Да и вообще ей это безразлично. Главное, Крым - наш! Детали "нашего Крыма" интересны уже более образованным и информированным людям вне зависимости от уровня их доходов. Точнее, у них доходы будут выше из-за более высокого уровня образования.

[stzozo.livejournal.com]

С одной стороны да, с другой стороны, "Крым - наш" звучит более осмысленно в устах москвича, нежели в устах провинциала.
Российскими землями владеет прежде всего Москва.

[mfrid.livejournal.com]

Что совершенно не мешает провинициалу это повторять.

[arhivistka.livejournal.com]

Такой аргументацией можно любой телефонный опрос обесценить.

"ПОЛНОЕ отсусттвие на улицах, в транспорте, в очередях и магазинах разговоров "за" (как минимум один встреченный мной разговор против) - как-то не слишком вяжется с этой картиной."

Люди могут относиться к этому индиффирентно-положительно - как одна моя родственница: пить шампанское она за это не будет, и даже сомневаюсь, что отстегнёт сто рублей на какое-нибудь благотворительное пожертвование для крымчан. Но при этом абсолютно уверена, что "справедливость свершилась".

[taki-net.livejournal.com]

Телефонные (то есть принципиально неанонимные) в современной России по политвопросу??? Я долго смеялся.

В норме, политическиое распределение - - нормальное. Смещение в сторону большей провластности, даже если при этом центр остается "умеренным", "шампанское пить не буду, но за" - должен вести к возрастанию числа острозаточенных тоже.

[stzozo.livejournal.com]

Спасибо, очень грамотно.

Но надо заметить, что если человек стесняется в соцопросе сказать "я против власти", то едва ли он решится какими-то действиями противостоять власти.

[taki-net.livejournal.com]

Он не то чтобы стесняется, это принципиальная установка не вступать с "начальством" в излишние коммуникации.

[stzozo.livejournal.com]

Сегодня я пробовал провести на улице собственный соцопрос.
Один респондент отказался отвечать после того, как узнал, что я не работаю ни на какую социологическую контору, а провожу опрос сам для себя.

[lemsh.livejournal.com]

Здравый смысл говорит, что независимо от российских реальностей метод социологического опроса не позволяет сколько-нибудь разумным образом оценить "истинные настроения людей" (тем более что непонятно, что это такое). Если те, кто проводят эти опросы, утверждают обратное, это значит, что они либо жулики и шарлатаны, либо искренне заблуждающиеся люди.

[gegmopo4.livejournal.com]

Интересно, как отличается процент отказников на опросы о кофе и о Крыме? Сравнивая это для разных вопросов, возможно можно будет оценить какая часть ушла в отказ не из-за природной некоммуникабельности, а не желая давать «не такой» ответ.

[ichthuss]

Хорошо бы ещё иметь статистику, на каком этапе разговора последовал отказ - как минимум, до формулировки вопросов или после.

[bbb.livejournal.com]

Ключевой пункт твоей схемы - в утверждении

"Чтобы получить N ответов, надо опросить (выдать анкет, инициировать интервью, произвести звонков...) много, много больше, чем N. Часто в десятки, порой в сотни раз больше"

То есть в предположении, что на сто опрошенных реально отвечает, в лучшем случае, десять человек, а "порой" - один на двести-триста-четыреста.

А так ли это? Действительно ли при опросах на политические темы отказываются отвечать от 90 и выше процентов опрошенных?

[ella-p.livejournal.com]

Ставился эксперимент (гуглить "Дмитрий Рогозин"), специально направленный на замер искажений выборки при опросе конкретно в России. Примерно каждый второй отобранный телефон оказывается технически недоступен, примерно 60-70% из тех, до кого удается дозвониться, соглашаются разговаривать, потом из них процентов пять выпадает по техническим причинам (несоответствие квоте выборки, рабочий телефон и т.д.), и в пределах 10% от оставшихся прерывают интервью в процессе. Российская выборка несколько искажена в сторону необразованных и пожилых (западная, наоборот - в пользу среднего класса: сознательные лучше отвечают), но не смертельно.

[bbb.livejournal.com]

Ну вот это примерно то, что я и предполагал. "Технически недоступные" телефоны мы отбрасываем, в итоге отвечающих оказывается 0.65x0.95x0.9=0.55 охваченных. Не в десятки раз и не в сотни меньше, а в два раза.

Это при телефонных интервью.

Левадовский "Омнибус", если я правильно понял, предполагает физическое хождение по квартирам. А разговор с живым интервьюером прервать на полуслове, думаю, психологически тяжелее, чем просто повесить трубку.

То есть исходная конструкция оказывается слишком умозрительной.

[taki-net.livejournal.com]

Я сейчас спросил Эллу, может она расскажет.

У меня четкое впечатление (по личному опыту), что при телефонных опросах звонят хорошо прикормленному пулу.

[bbb.livejournal.com]

Допустим даже, что в определенных схемах опрашивается заранее сформированная панель, то есть группа людей, ожидающих, что их будут опрашивать и т.д.

Следует ли принимать за данность, что эти люди - "прикормленные", то есть натасканные на заранее заданные ответы (или, скажем, подобранные так, чтобы выйти на заранее заданные ответы)?

Мне кажется, это слишком серьезные предположения, чтобы использовать их без проверки.

[taki-net.livejournal.com]

А вот интересно, это описание как-то учитывает тот факт, что мне поллстеры звонят примерно раз в неделю? Просто потому, что я пару раз ответил?

[ella-p.livejournal.com]

Это - точно не учитывает.

[bbb.livejournal.com]

Собственно, вот описание того, как устроена выборка Левада-центра - http://www.levada.ru/omnibusnyi-opros

Там 1600 респондентов по 94 городам и 36 сельским районам.

Значит ли это, что на самом деле опрашивающие обходят не 1600 квартир (домов), а в десятки или даже сотни раз больше? Или что на самом деле в результаты включаются ответы всего лишь нескольких десятков респондентов из полутора тысяч?

[ermenegilda.livejournal.com]

Отказываться отвечать тоже страшно. Вдруг посадят за "мещанство".
Я ни на секунду не забываю, что опросы (даже о марках колготок) проводит ЦРУ (это эвфемизм), и если мой ответ ЦРУ (эвфемизм) не понравится, у меня будут проблемы.
Но у меня вообще врожденная паранойя. Я даже на больных детей жертвовать боюсь, пожертвую на ребенка с русской фамилией - посадят за шовинизм, с нерусской - за национал-предательство.

[friendly-fox.livejournal.com]

>>Как вы относитесь к Господину Президенту (отлично, хорошо, посредственно, плохо, не знаю).


вариант ответа - "боюсь даже подумать об этом"

[vaysburd.livejournal.com]

Меня однажды спрашивали про Собяку. Сказал, что отвечать не буду, поскольку эти данные используются для подсчета, сколько нужно вбросить бюллетеней.

[bukvoyeditsa.livejournal.com]

Спасибо, что обратили внимание на эту особенность опросов. Когда читаешь отчёты, то как-то забываешь о великом множестве отказавшихся отвечать. Потому что некогда, не до того, непонятно, что за люди и с какой целью задают вопросы и т.п.
Мне кажется, что огромное большинство "простого народа" не одобряет действия правительства всегда, не вникая, исключительно исходя из своего жизненного опыта. Но делиться своим мнением с незнакомыми людьми не будут. Тоже исходя из опыта.