Математика выборов — 2011

В статье «Математика выборов», опубликованной в № 40 «Троицкого варианта» за 27 октября 2009 г. [1], исследовалась статистика результатов федеральных и московских выборов 2007—2009 гг. Проведенный в статье анализ официальных данных выборов с детализацией до избирательных участков показал, что, согласно этим данным, доля избирателей, проголосовавших за кандидатуру власти, имеет сильную положительную корреляцию с явкой, в отличие от долей избирателей, проголосовавших за другие кандидатуры. Этот эффект проявлялся на всех рассмотренных выборах, но исчезал на участках с автоматизированным подсчетом (оборудованных сканерами избирательных бюллетеней — КОИБ).

В совокупности с другими обстоятельствами (такими, как пики на красивых значениях явки в распределении избирательных участков по явке) этот анализ позволил сделать вывод, что и наблюдаемое увеличение явки выше некоторых средних величин (50-55%), и сопровождающий его рост доли голосов, поданных за кандидатуру власти, обусловлены одним механизмом — искусственным завышением голосов за партию власти путем административного давления, вброса и приписок. В статье был предложен метод вычисления величины этого завышения («аномального вклада») на основании распределений голосов за партии в зависимости от явки.

Статья [1] не прошла незамеченной для общественности, и после недавних выборов в Госдуму в Интернете появилось множество работ, посвященных сбору и анализу выборных данных. Многие результаты были получены независимо и практически одновременно разными людьми, поэтому установить приоритет не представляется возможным. В этой статье я сначала коротко показываю основные статистические особенности прошедших выборов, а затем представляю результаты сравнительного анализа голосования на участках с автоматизированным и неавтоматизированным подсчетом голосов в масштабах всей страны. Окончательные результаты выборов по участкам на момент подготовки статьи не были доступны, поэтому при расчете использовался набор данных с сайта http://kartaitogov.ru, датированный 23:26 9 декабря 2011 г. Набор охватывает 95073 избирательных участка и 109,055 миллиона зарегистрированных избирателей.

Учитывая прошлый опыт, по итогам выборов следует задавать два вопроса. Первое: были ли на выборах статистически заметные фальсификации и аномалии? Второе: если были — какого они были масштаба, и можно ли оценить неискаженные результаты? Этим вопросам и посвящена данная статья.

Аномалии и фальсификации

На нынешних выборах в Госдуму сохранилась главная аномалия российских выборов прошлых лет — разная зависимость от явки доли голосов, поданных за кандидатуру власти (в данном случае за партию «Единая Россия»), и долей голосов за другие партии. Это хорошо видно на следующей диаграмме распределения результатов голосования по Москве (рис. 1):

Рис. 1. Голосование на выборах в Государственную Думу 2011 г. в Москве. Точки — доли голосов за партии от списочного состава на отдельных участках

Как и на выборах прошлых лет, на этом распределении можно выделить две области. В области средних явок (45-55 %) с ростом явки доли голосов за все партии растут пропорционально. При более высоких явках доля голосов за «Единую Россию» растет, а за остальные партии остается неизменной и даже снижается. Новая тенденция, которая не была видна на прошлых выборах, — необычное скопление точек выше наклонной линии, соответствующей 50%-ному голосованию за «Единую Россию» (тонкая белая линия на графике). Мы вернемся к этой особенности при обсуждении распределения участков по явке.

Вторая аномалия, сохранившаяся на этих выборах, — необычное распределение избирательных участков по явке, не отвечающее разумным представлениям о том, как должна выглядеть явка на выборах при свободном волеизъявлении, и не похожее на распределения для стран, которые принято рассматривать как демократические. После предыдущей статьи автора справедливо упрекали в том, что для сравнения предлагалось только распределение избирательных участков на президентских выборах в Польше в 2006 г.

Теперь автор может предложить для сравнения более обширный набор распределений избирательных участков по явке в зарубежных странах (рис. 2).

Рис. 2. Распределение избирательных участков по явке на различных выборах в ряде зарубежных стран

Из общего ряда выделяются только Азербайджан с мощным пиком на значении явки 67% (вероятно, 2/3) и Украина с завышенным правым краем распределения. В остальных странах распределение участков по явке имеет простую колоколообразную, достаточно симметричную форму. Заметное количество участков с явкой 100% наблюдается помимо перечисленных Азербайджана и Украины только в Болгарии.

В России же на думских выборах 2011 года самобытная традиция сохранилась: распределение избирательных участков по явке по-прежнему выглядит странно.

Рис. 3. Распределения избирательных участков по явке на федеральных выборах в России

Да, распределение 2011 г. ближе по форме к выборам 2003 г., чем к выборам 2007-2008 гг., — меньше участков на высоких явках, меньше выражены зубцы на «круглых» явках. Однако зубцы на 70, 75 и 80% остались — и это означает, что по крайней мере на некоторых участках были фальсификации явки.

В Москве распределение избирательных участков по явке тоже получилось интересное — двугорбое (рис. 4).

Рис. 4. Распределение избирательных участков в Москве по явке на думских выборах 2011 г. Для сравнения показано распределение на думских выборах 2007 г.

Первый «горб» располагается примерно на том же месте, где находился максимум явки на выборах 2007 г. — на явке около 50 %. Второй же горб, «выросший» у распределения участков в Москве, очевидно, связан с верхней частью облака точек на рис. 1, т.е. с участками, где наблюдается повышенное голосование за «Единую Россию».

Распределения голосов по явке

Распределения голосов за партии в зависимости от явки тоже выглядят (увы!) традиционно для российских выборов (рис. 5).

Рис. 5. Распределение голосов за партии в зависимости от явки. Все избирательные участки РФ

Видно, что голоса за все партии, кроме ЕР, ведут себя с изменением явки сходным образом,а распределение голосов ЕР примерно до явки 50 % следует общей тенденции, а затем отклоняется от нее. При этом, в отличие от предыдущих выборов, соотношения между голосами, поданными за альтернативные ЕР партии, заметно зависят от явки. Это видно, если нормировать поданные голоса на сумму голосов за все партии, кроме ЕР (рис. 6).

Рис. 6. Голоса за партии, нормированные на сумму голосов всех партий, кроме ЕР

Видно, что на средних явках (50-55 %) среди «альтернативных» партий увеличивается доля «Справедливой России» и «Яблока», а на высоких — доля КПРФ (последний эффект может быть результатом «нарисованного» голосования в некоторых республиках — так, например, во Владикавказе КПРФ получила практически ровно 20% на большинстве избирательных участков).

Как уже было видно из рис. 6, до явки 50 % количество голосов, поданных за ЕР, действительно остается пропорциональным количеству голосов за другие партии. Как и в прошлом анализе, выделим из распределения голосов за ЕР «нормальную» часть, пропорциональную сумме голосов за все остальные партии, подобрав эмпирический коэффициент таким образом, чтобы по возможности обнулить разность между полным распределением и «нормальной» частью ниже некоторой пороговой явки (которая, как видно из предыдущего графика, должна составлять около 50%) (рис. 7).

Рис. 7. выделение «нормальной» части из распределения голосов за ЕР по явке. Голосование по всей России

Как видим, выполнить такое разделение действительно удается. При таком разделении из общего числа в 32,3 млн голосов за «Единую Россию» «нормальными» оказываются 17,1 млн, а «аномальными» — 15,2 млн. (Анализируемый набор данных голосования неполон; по официальным данным общее количество голосов за ЕР составляет 32,4 млн.)

Аналогичные процедуры можно выполнить и для голосования по Москве (рис. 8).

Рис. 8. Распределение голосов за партии в зависимости от явки. Голосование на думских выборах 2011 г. в Москве

Отметим, что распределения голосов за все в зависимости партии от явки получились двугорбыми, как распределение участков, а за «Единую Россию» — одногорбым. При этом распределения голосов за все партии достигают максимума на первом «горбе», а за ЕР — на втором. Это подтверждает, что второй горб в распределении участков действительно связан с одновременным завышением явки и количества голосов именно за «Единую Россию».

Разделение голосов за ЕР на «нормальную» и «аномальную» составляющие в этих условиях выглядит так — рис. 9.

Рис. 9. Выделение «нормальной» части из распределения Голосов за Ер по явке. Голосование по Москве

Примечательно, что «аномальная» составляющая голосов за ЕР появляется примерно на том же значении явки, что и для распределения в масштабах всей страны. Количество «аномальных» голосов за ЕР при таких разделениях составляет 15,2 млн по всей России и 1,03 млн по Москве. Исключив «аномальную» часть голосов за ЕР, можно рассчитать «скорректированные» результаты выборов в Госдуму 4 декабря 2011 г. (см. таблицу 1).

Таблица 1. Официальные и скорректированные результаты выборов по России и по Москве

Вся Россия

Москва

Официально C коррекцией Официально C коррекцией
«Справедливая Россия»

8679678

13.24%

8679678

17.25%

534458

12.14%

534458

15.85%

ЛДПР

7650536

11.67%

7650536

15.21%

416014

9.45%

416014

12.33%

«Патриоты России»

637779

0.97%

637779

1.27%

58865

1.34%

58865

1.75%

КПРФ

12574282

19.18%

12574282

24.99%

852033

19.35%

852033

25.26%

«Яблоко»

2244800

3.42%

2244800

4.46%

376513

8.55%

376513

11.16%

«Единая Россия»

32349735

49.34%

17103270

33.99%

2052751

46.62%

1022373

30.31%

«Правое Дело»

391920

0.60%

391920

0.78%

35888

0.82%

35888

1.06%

Недействительные

1031238

1.57%

1031238

2.05%

76511

1.74%

76511

2.27%

Всего

65559968

50313503

4403033

3372655

Явка

60.12%

46.14%

61.31%

46.96%

 
Нечеловеческий фактор

В прошлой статье [1] было продемонстрировано поразительное различие в статистике выборов на московских избирательных участках с автоматическими сканерами бюллетеней (КОИБ) и без них. На нынешних выборах КОИБы решением ЦИК были распределены по всем субъектам Федерации. В общей сложности планировалось установить КОИБы более чем на 5000 избирательных участков. При этом в Москве КОИБов осталась четверть от прежнего количества (250 участков), а в Санкт-Петербурге не осталось практически совсем (25 участков).

К сожалению, централизованной информации об участках, оборудованных КОИБами, нет. Сведения об их распределении необходимо искать на сайтах избиркомов субъектов Федерации, но даже там они обнаруживаются не всегда. Автору удалось собрать списки участков по 57 субъектам Федерации. Увы, не удалось найти перечни участков для многих важных субъектов Федерации, например для Московской области и таких видных участников избирательного процесса, как Татарстан и Башкортостан. С другой стороны, есть данные по Дагестану, Чечне, Кабардино-Балкарии, Ингушетии, Карачаево-Черкесии. Из уже собранного списка досрочно выбыла Бурятия, где, по сообщениям местной прессы, все 41 КОИБ «отказались выдать результаты», так что их вскрыли и считали бюллетени вручную.

В итоге получилась выборка из 3282 избирательных участков, охватывающая всю страну, от Приморья до Калининградской области. Общее количество зарегистрированных на этих участках избирателей составляет 5,8 миллиона человек— больше, чем в Санкт-Петербурге, хотя и меньше, чем в Москве. Отличный материал для статистического анализа.

С чем сравнивать данные голосования по этой выборке? Решения о расстановке КОИБов по избирательным участкам принимают избиркомы субъектов Федерации или даже более низкого уровня. Конечно, из организационных и хозяйственных соображений КОИБами скорее оборудуют городские участки, чем сельские, и скорее в центре субъекта, чем на периферии (хотя во многих субъектах Федерации их распределили по райцентрам), поэтому нашу выборку нельзя считать представительной для всего населения страны.

Кроме того, в ней есть не все субъекты Федерации. В качестве компромиссного решения в данной статье для сравнения взяты результаты голосования на всех остальных участках тех территориальных избирательных комиссий, где есть участки с КОИБами. В общей сложности таких участков оказалось 16405 — в 5 раз больше, чем участков с КОИБами. Возможно, при более строгом исследовании следовало бы отфильтровать базовую выборку дополнительно — например, по численности избирателей — и применить весовые коэффициенты в зависимости от доли участков с КОИБами в конкретных ТИК. Но это дело будущего, а пока первые результаты. Они удивительны.

Сначала результаты для участков с КОИБами (рис. 10).

Рис. 10. Распределение избирательных участков по явке. выборка избирательных участков с КОИБ по РФ

Хочется специально отметить для любителей теории «особой электоральной культуры» российского провинциального населения: эта выборка включает в себя участки в Погаре, Почепе, Суземке и Трубчев-ске Брянской области, в Гороховце и Петушках Владимирской области, в райцентрах Кабардино-Балкарии, Карачаево-Черкесии и Краснодарского края. Доля москвичей в ней примерно такая же, как среди всех избирателей в стране, доля петербуржцев совсем мала.

И, тем не менее, распределение участков по явке — узкий, почти га-уссовский пик с пиком на 52% и небольшим «хвостом» справа. Оно лишь немного шире, чем распределение избирательных в Москве на думских выборах 2007 г. (см. рис. 4). Под стать ему и распределение голосов за партии в зависимости от явки (рис. 11).

Рис. 11. Распределение голосов за партии в зависимости от явки. выборка избирательных участков с КОИБ по РФ

Повышенная доля голосов за ЕР при высоких явках присутствует, но относительно невелика.

Теперь результаты для базовой выборки — избирательных участков без КОИБов из тех же территориальных избирательных комиссий (рис. 12).

Рис. 12. Распределение избирательных участков по явке. Базовая выборка избирательных участков без КОИБ

Избирательные участки находятся на тех же самых территориях, — а распределение по явке совершенно другое. Правый край распределения поднят, прорезались пики на красивых явках (рис. 13).

Рис. 13. Распределение голосов за партии в зависимости от явки. Базовая выборка избирательных участков без КОИБ

Сравните с рис. 9. На выборке участков с КОИБами «Единая Россия» получает при повышенных явках лишь небольшую прибавку по сравнению с другими партиями. На выборке участков без КОИБов доля голосов за ЕР с ростом явки буквально взлетает.

В заключение проведем процедуру вычитания аномальной составляющей для двух выборок участков — с КОИБами и без КОИБов, как это делалось выше для страны в целом, и рассчитаем соответствующие результаты выборов. Естественно, абсолютные количества голосов значения не имеют, существенны лишь процентные доли голосов за партии (рис. 14).

Рис. 14. Выделение «нормальной» части из распределения голосов за ЕР по явке. Выборка избирательных участков с КОИБ по РФ
Рис. 15. Выделение «нормальной» части из распределения голосов за ЕР по явке. Базовая выборка избирательных участков без КОИБ

И, наконец, результаты голосования — исходные и скорректированные (таблица 2).

Выборка участков с КОИБ
Базовая выборка без КОИБ
Официально
Cкоррекцией
Официально
Cкоррекцией
«СправедливаяРоссия»
551788
17.10%
551788
18.72%
1623180
11.68%
1623180
16.76%
ЛДПР
455323
14.11%
455323
15.45%
1457899
10.49%
1457899
15.05%
«ПатриотыРоссии»
40855
1.27%
40855
1.39%
122688
0.88%
122688
1.27%
КПРФ
751383
23.28%
751383
25.49%
2520475
18.13%
2520475
26.02%
«Яблоко»
167835
5.20%
167835
5.69%
378043
2.72%
378043
3.90%
«ЕдинаяРоссия»
1180335
36.57%
900650
30.56%
7528227
54.16%
3313592
34.21%
«ПравоеДело»
27563
0.85%
27563
0.94%
77915
0.56%
77915
0.80%
Недействительные
52184
1.62%
52184
1.77%
192093
1.38%
192093
1.98%
Всего
3227266
2947581
13900520
9685885
Явка
55.04%
50.27%
63.45%
44.21%

 
 
Заключение

Анализ статистики данных думских выборов 2011 года указывает, что на этих выборах имели место существенные манипуляции с явкой и голосами за партию «Единая Россия». Разные варианты коррекции результатов дают «Единой России» от 30.5 до 34% голосов по стране и около 30% — по Москве. Для явки получается соответственно от 44 до 50% по России и около 47% по Москве.

Вторым важным выводом статьи является неожиданная однородность явки по стране — анализ статистики по охватывающей всю страну выборке из участков с КОИБ не показывает существенных отличий в распределении явки от распределения явки в пределах Москвы.

1. Шпилькин С.А. Статистическое исследование результатов российских выборов 2007 — 2009 гг. «Троицкий вариант» № 40, 27 октября 2009г. http://trv-science.ru/2009/10/27/statisticheskoe-issledovanie-rezultatov-rossijskix-vyborov-2007-2009-gg

2. Шень А. Выборы и статистика: казус «Единой России» (2009). http://alexander.shen.free.fr/elections.pdf

3. Постоянно обновляемый анализ текущих выборов публикуется в блоге Дмитрия Кобака: http://kobak.livejournal.com/102646.html#cutid1

Подписаться
Уведомление о
guest

48 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
Владимир
Владимир
12 года (лет) назад

Уважаемые коллеги ! Статья безусловно интересна, но к делу, на которое она претендует, отношения не имеет. “Научно” вброс не доказывает ни она, ни другие статьи в номере. Можно было бы начать с того, что статистику за математику принимают не все математики, но дело не в этом. Если браться за доказательство вбросов, достаточно было бы одного рисунка 1, так как остальные никакой информации к нему не добавляют. Но и рисунок 1 не есть доказательство. Возможный спор вокруг него проходит в разных плоскостях: “Такого не бывает” (и это истинная правда) и “Такое может быть” (и это тоже истинная правда). Применение математических методов обработки не выясняет природу явления, а только говорит о том, что предположение о вбросе крайне правдоподобно. Увы, но взывания к Гауссу неуместны, и Медведев прав: вопрос о вбросе должен решаться только в суде. Там Гаусс не аргумент, и в данном случае я с этим согласен. На всякий случай обращаю внимание, что в этом комментарии я не касался своих симпатий противостоящим сторонам.

Олег Токарев
Олег Токарев
12 года (лет) назад
В ответ на:  Владимир

1) Странные существа, утверждающие, что математическим анализом опубликованных данных о голосовании на выборах невозможно доказать фальсификацию этих данных, очевидным образом наследуют ВСУ (“великому советскому учёному”) Т.Д. Лысенко, настаивавшему на неприменимости математики к биологии. “Разведение” статистики с математикой следует, разумеется, отвергнуть как совершенно несерьёзное. Статистика именно является адекватным средством опровержения наглой лжи, в частности, лжи по поводу прошедших “выборов”.

2) К счастью, эта ложь всё же не тотальна: если бы результаты подделывались полностью и тщательно, анализ Сергея Шпилькина был бы бесполезен; у нас ещё всё впереди.

3) Статистическая обработка не доказывает фальсификацию НА КОНКРЕТНОМ УЧАСТКЕ и, тем более, не позволяет кого бы то ни было наказать за эту фальсификацию. Она лишь намекает на необходимость тщательного расследования. Как, кстати, и публикуемые видеоматериалы, обработанные или необработанные, а также все иные свидетельства pro и contra. Расследование может привести некоторых граждан на скамью подсудимых – и вот там (и только там) им будет в полной мере обеспечена презумпция невиновности и все прочие юридические удовольствия, до которых так охоч президент Медведев.

4) Суд, как известно, не устанавливает фактов. Напротив, они имеют (или не имеют) место вне зависимости от решений всех на свете судов, так что судебным решениям следует основываться на фактах, но не наоборот. Для уголовного суда, наказывающего конкретных лиц за фальсификацию выборов, результаты статистического анализа – не факт. Но для Верховного суда, принимающего РЕШЕНИЕ ОБ ОТМЕНЕ РЕЗУЛЬТАТОВ ГОЛОСОВАНИЯ 04.12.2011, именно они должны быть главным фактом, а отнюдь не (юридически доказанные) факты фальсификации на конкретных участках, про которые всегда можно будет сказать, что они не влияют на общий результат.

5) ЭТО ВОПРОС ГРАМОТНОСТИ СУДЕЙ И ДОБРОСОВЕСТНОСТИ Т.Н. ЭКСПЕРТОВ, БОЛЬШЕ НИЧЕГО.

Anton
Anton
12 года (лет) назад
В ответ на:  Олег Токарев

Уважаемый Олег,
вы подменяете логические аргументы демагогией отсылая читателя к Лысенко.
1) “… математическим анализом опубликованных данных о голосовании на выборах невозможно доказать… “. Действительно невозмножно т.к. для этого следует использовать не “математический анализ”, а статистический анализ.
2) статистическим анализом тоже ничего “доказать” невозможно ибо это противоречит основам статистического анализа, где можно лишь проверить гипотезу с некоторой вероятностью. Т.е. всегда есть вероятность (обычно берут 1%, 5%, 10%) что даже если гипотеза не опровергнута это произошло случайно, а на самом деле она не верна.
3) В статье не приведены результаты тестирования каких либо гипотез а лишь графики.

Более взвешенное обсуждение можно найти например сдесь:
eruditor.ru/k/?15

Владимир
Владимир
12 года (лет) назад
В ответ на:  Олег Токарев

Шпилькин весьма умело применил методы мат.статистики, которые, конечно же, достоверны. Наивно надеяться на Верховный суд РФ, что он отменит результаты выборов (см.выступление В.В.Путина на съезде судей РФ и речь Путина В.В. при открытии нового здания Верховного суда РФ). Вопрос в том, каким способом и кто вносит изменения в Программу ГАСТ? Модель проста, но вопрос именно в этом. Чуров здесь ни при чем – он получает то, что изменил программист. Вопрос в программисте и в его чистосердечном признании. Необходим контроль изменений в Программу ГАСТ. Для независимых экспертов – это не сложно. Необходимо соединить результаты Шпилькина с Программой ГАСТ.Должна быть тесная коллеляция между результатами Шпилькина и актуальными изменениями в Программе ГАСТ. В этом сущность и истина вопроса. Математики! Пора вам взяться за дело! Гаусс всегда прав! Математики могут аналитически обнаружить фальсификеацию на выборах.Повторно: все дело в Программе ГАСТ. Искать надо в алгоритме операций по Программе и в изменениях в нее. Это не сложно.
Владимир

Anton
Anton
12 года (лет) назад
В ответ на:  Владимир

Уважаемый Владимир, Вам не нужна помощь математиков чтобы проконтролировать выборы!
Берёте копии протоколов у опозициционных партий по всем 93000 учаскам и пересчитываете. Хорошо организованная группа из 100 человек может пересчитать это за 3 дня.

Александр
Александр
12 года (лет) назад

Статья и не претендует на доказательство “вброса”! Она всего лишь доказывает “ненормальность” результатов выборов. Если “вброс” заменить тривиальными приписками, получим сходную картину. Похожая картина будет и при “администрированном” голосовании, когда электорат насильно привозят и заставляют голосовать как надо. Что-то подобное (даже круче вверх!) увидели бы на выборах в Северной Корее… Поэтому, говоря строго юридически, мы имеем прекрасный математический аппарат, позволяющий оценить свободомыслие населения, помноженное на функцию “натягивания результатов” ЦИК-ами. Разделить же эти переменные исходя из данного анализа скорее всего не получится!

Naukarus
Naukarus
12 года (лет) назад

Думаю, что два сообщения выше – это высурковскаяпропаганда, но для любопытных красивая ссылка, в которой видно, что все участки, по которым есть копии протоколов и выявленные подтасовки попадают именно в комету Чурова.

КОИБы – лягаются задом
http://vladislav-01.livejournal.com/5065.html

Anton
Anton
12 года (лет) назад

Интересно, как уважаемый автор объясняет ещё бОльшую корреляцию между явкой и процентом голосов на выборах в парламент Великобритании (а также отсутствие там нормального распределения)? Там тоже были “вбросы”?!
Данные смотрите, например, здесь:
eruditor.ru/k/?15

Антон
12 года (лет) назад

Я тоже проводил исследование этой проблемы. Результаты получил похожие, но, возможно, они будут выглядеть более убедительно: http://golosovanie.land.ru/itogi_golosovaniya-falsifikaciya_viborov.html

Anton
Anton
12 года (лет) назад
В ответ на:  Антон

Антон,
попробуйте эту методу на выборах в Великобритании 2010
Уверен, что Вы британцев тоже “разоблачите”.

Алексей
Алексей
12 года (лет) назад

А может должно быть распределение Райса или Рэлея? Не пора ли подкорректировать плакаты?

Владимир
Владимир
12 года (лет) назад

Допустим, что под одного кандидата в Президенты РФ составляется подпрограмма на рез-т 52,8%. Машинное время оптимизации на результат составляет 2,5 мин. В основе подпрограммы лежат теории баланса и симметрии, или теория “переливов”. Занимается этой задачачей группа математиков и программистов. Благородная задача у продвинутых программистов явить миру эту подпрограмму.

Владислав
Владислав
12 года (лет) назад

Методика Шпильмана верна. Необходимо продолжить исследования. К теории мат.статистики необходимо добавить теорию Date Maining.Это даст более достоверные результаты.
Владислав

Андрей
12 года (лет) назад

Любопытно, что ещё 5 декабря я получил число фальсифицированных голосов, вброшенных за ЕдРо, которое по моей оценке составило около 15 млн.

Вряд ли такое совпадение является случайностью. Очевидно, оно отражает реальную картину масштаба выборных фальсификаций.

Anton
Anton
12 года (лет) назад
В ответ на:  Андрей

Уважаемый Андрей,
на чём основана ваша оценка “реальной картины масштаба выборных фальсификаций”?
Попробуйте вашу методу на выборах в Великобритании 2010
Уверен, Вы обнаружите миллионы “вбросов” и там.

P.S.: О формах распределений голосов в Великобритании 2010 можно посмотреть по следующей ссылке:
eruditor.ru/k/?15

Андрей
12 года (лет) назад
В ответ на:  Anton

По первому Вашему вопросу – http://a-kudryavets.livejournal.com/2618.html

Касательно “вбросов” и фальсификаций на выборах в Великобритании: скажу Вам честно, что они меня вообще не интересуют. Для меня имеет значение чистота наших выборов, которые должны отражать реальное волеизъявление народа, а не чьи-то манипуляции с бюллетенями и цифрами. О том же говорит и Конституция РФ.

Зачем мне изучать британские выборы? Они никакого влияния на мою жизнь не оказывают.

Anton
Anton
12 года (лет) назад
В ответ на:  Андрей

Изучать британские выборы нужно чтобы протестировать методику!
Ведь, к выборам в Великобритании гораздо больше доверия.
Если и там методика покажет “фальсификации”, то, видимо, методика не верна.
(А именно, предположения, что голоса должны распределяться по Гауссу,
а процент за партию не должен зависеть от явки, не верны. Что и видно на примере Великобритании 2010.)

Р.С.: В приведённой Вами ссылке не изложена методика оценки.

Андрей
12 года (лет) назад
В ответ на:  Anton

Изучайте британские выборы, тем более в британских зависимостях % от явки и близко не просматривается хвостов, упирающихся в 100%. А методика прекрасно подтверждается результатами голосования с применением КОИБов, на которые некто Кузнецов не соизволил обратить внимание.

Странная непоследовательность для “неангажированного” математика.

Anton
Anton
12 года (лет) назад
В ответ на:  Андрей

Вашу реплику про “непоследовательность” позвольте оставить без комметария.
В остальтом, давайте разбираться по пунктам:
1. В этом форуме обсуждается методика Шпилькина. И Вы согласились, что его предположения не верны.
2. Теперь Вы выдвигаете новые претензии к подсчёту результатов выборов: “… не просматривается хвостов, упирающихся в 100% …” Это тема для нового обсуждения. По мне, хороший обзор попыток стат-анализа этих выборов дал Дмитрий Кобак: http://trv-science.ru/2011/12/20/matematika-vyborov-2011-dopolnenie/
3. Думаю вы согласитесь, что КОИБы в стране установлены не случайным образом, а именно, в центрах больших городов, т.е. совпадают с местом проживания либерального электората. Следовательно, меньший процент за ЕР на КОИБах можно объяснить тем, что у этих участков проживают представители только одного класса населения.
В заключнии расскажу гипотезу, которая может объяснить наблюдаемые “аномалии” в результатах выборов. В России есть, как минимум, две группы населения. Условно назовём их “городское” и “сельское”. Они по разному относятся к ЕР, хотя бы из-за разного доступа к электронным СМИ. Каждая из этих групп может иметь вполне нормальное распределения голосов за ЕР, но в сумме распределение получается с тяжёлым правым хвостом. Также, разумно предположить, что в “сельской” группе явка выше по организационным причинам, т.е. корреляция явки и поддержки ЕР тоже объясняется.

С уважением,
Антон

П.С.: Я не утверждаю, что на выборах не было вбросов или фальсификация. Я утверждаю, что их нельзя однозначно выявить при помощи стат-анализа. Но, зато, стат-анализ результатов может помочь нам понять общество в котором мы живём.
Единственный достоверный способ контроля фальсификаций – это наблюдение на участках и независимый пересчёт ВСЕХ заверенных копий протоколов УИКов.

Андрей
12 года (лет) назад
В ответ на:  Anton

“1. В этом форуме обсуждается методика Шпилькина. И Вы согласились, что его предположения не верны.”

Знаете что, неуважаемый Anton, Вы напрасно тратите своё и моё время, прибегая к подобным экзерсисам. Дальше не читал, ибо Ваше профессион де фуа мне показалось не совсем приличным.

Anton
Anton
12 года (лет) назад
В ответ на:  Андрей

Простите, Андрей. Видимо, я Вас неправильно понял в пердыдущем ответе.
Вы остаётесь НЕ согласны с тем, что исходные предположения Шпилькина неверны, несмотря даже на контр-примеры (Великобритания, Израиль, Германия).
В таком случае, Вы правы. Время тратить не стоит.

Pavel
Pavel
11 года (лет) назад

Anton развёл попросту небывалую активность в комментариях. Отвечаю по пунктам: 1) Шпилькин сравнивает участки с КОИБ с СОСЕДНИМИ участками без КОИБ (т.е. из одного ТИК). Нет никаких причин, чтобы голосование на соседних участках отличалось так резко (54% и 36%). Другая важная особенность участков с КОИБ, что распределение явки на них гораздо более нормально (почти исчезает хвост). Такая же картина наблюдалась и на выборах-2007 в Москве – trv-science.ru/2009/10/27/statisticheskoe-issledovanie-rezultatov-rossijskix-vyborov-2007-2009-gg. Подобное легко объясняется массовыми фальсификациями, но требуются поистине фантастические теории, если пытаться объяснять это естественными причинами. 2) Сравнение с Великобританией некорректно, поскольку там совсем иная выборная система – мажоритарная – где голосуют за кандидата, а не за партийный список. Мажоритарная система приводит к сильной корреляции голоса-явка (www.accessecon.com/Pubs/EB/2011/Volume31/EB-11-V31-I2-P173.pdf). Для пропорциональной системы небольшая корреляция естественна, однако сильнейшая корреляция для высоких явок феноменальна и объясняется лишь вбросами и массовыми приписками. oude-rus.livejournal.com/569802.html – видно, что для явок до 50% корреляция небольшая, а потом резко вырастает. 3) Шпилькин не говорит, что явка обязательно должна быть нормальной (найдите в статье упоминание Гаусса или нормального распределения). Цитирую: “количество голосов, поданных за ЕР, остается пропорциональным количеству голосов за другие партии до явки 50%”. А вот после 50% почему-то резко растёт число голосов за ЕР – т.е. появляется “аномальная” составляющая явки. 4) Тем не менее, есть серьёзные основания считать, что в общем случае явка должна иметь распределение, близкое к гауссовому – на это указывают и выборы 2003 года (stat.golos.org/pages/3), когда ещё не было столь массовых фальсификаций), выборы в других странах (Болгария, Чехия, Польша, Турция, Мексика, Швеция, Канада), выборка участков с КОИБ, мартовские выборы в Москве, прошедшие без массовых фальсификаций из-за феноменальной активности наблюдателей (oude-rus.livejournal.com/583726.html). Да, бывают случаи, когда явка имеет левый хвост, но НИГДЕ кроме России не наблюдается столь тяжёлый правый хвост (т.е. аномально большое число голосов на участках с высокой явкой). 5) Разделение на город и село НЕ объясняет тяжёлый… Подробнее »

Anton
Anton
11 года (лет) назад
В ответ на:  Pavel

Pavel, отвечаю также по пунктам: 1) “В качестве компромиссного решения в данной статье для сравнения взяты результаты голосования на всех остальных участках тех территориальных избирательных комиссий, где есть участки с КОИБами.”//Шпилькин. Как пишет Шпилькин “Увы, не удалось найти перечни участков для многих важных субъектов Федерации, например для Московской области …” Возникает вопрос, а Москва и С-Петербург были включены в выборку? И где можно скачать исходные данные автора? А теперь, внимание, фокус: ТИК – формируются на территории городов и районов, и сам Шпилькин пишет: “КОИБами скорее оборудуют городские участки, чем сельские, и скорее в центре субъекта, чем на периферии (хотя во многих субъектах Федерации их распределили по райцентрам)…” Итак: мы имеем города и районы где с КОИБами голосуют жители центра а жители окраин голосуют без них. Чего же Вы, Pavel, удивляетесь что там получается разный процент за EP!? Большую нормальность распределения с КОИБов тоже можно объяснить большей однородностью населения центров чем окраин. В чём здесь фантастика? 2) “Мажоритарная система приводит к сильной корреляции голоса-явка” – приведите пожалуйста доказательства. В статье, которую Вы указали, спрашивается: может ли меньшая процентная разность между двумя лидирующими партиями стимулировать явку избирателей? Делается вывод, что в Тайване может, а в развитых странах такое не наблюдается. Поясните, пожалуйста какое это имеет отношение к статье Шпилькина и где его соответствующие статистические тесты? Большая положительная корреляция явки с голосами за ЕР как и отрицательная корреляция с голосами за ЛДПР можно, помимо вбросов, объяснить большой политической поляризацией общества совпадающей совпадающей с социальной поляризацией. (читайте мои ранние посты) 3) “В остальных странах распределение участков по явке имеет простую колоколообразную, достаточно симметричную форму.” Что, по Вашему, имеет ввиду Шпилькин под термином “простая колоколообразная”? 4) Начнём с того, что явка в однородной группе должна скорее иметь Пуассоновское распределение, чем Гауссовское. Этим объясняется левый хвост при малой явке. Что касается правого хвоста, то может… Подробнее »

Pavel
Pavel
11 года (лет) назад
В ответ на:  Anton

1) Ещё раз – КОИБы брались из того же ТИКа. Есть ТИКи на окраине, есть в центре. Если КОИБ стоял в центре, то и соседние участки ТОЖЕ в центре.
“Большую нормальность распределения с КОИБов тоже можно объяснить большей однородностью населения центров чем окраин. В чём здесь фантастика?”
В вашем антинаучном объяснении. Оно на кого рассчитано?
2) Главный вывод в статье: “The empirical result shows when the race is perceived to be decisive, the voters are more likely to vote.” – Если выборы что-то решают, т.е. проходят “на грани”, то и явка выше. Именно поэтому нельзя сравнивать пропорциональную систему с мажоритарной. По сути в мажоритарной системе одновременно проходят N выборов (по количеству мандатов) – каждый кандидат индивидуален, в отличие от пропорциональной системы, где голосуют за партии.
5) “Ваша ссылка не совсем релевантна”
Скорее ваша ложь и манипуляции слишком заметны. Автор 7.12 написал, что есть трудности с разделением на город и село, после чего он разобрался и 9.12 сделал апдейт к посту.
6) Выборы – это случайный процесс, который описывается социологией и матстатистикой. Если бы науку нельзя было применить к выборам, то не работали бы и экзит-поллы, и прогнозы, составленные на основании опроса 1600 человек.

Статистические аномалии, которые вы не можете объяснить, вы описываете “поляризацией”. Удобно, но антинаучно.

Anton
Anton
11 года (лет) назад
В ответ на:  Pavel

1) Ещё раз – я специально спрашивал, есть ли в выборке такие крупные города как Москва, т.к. если ТИК находится в маленьком городе, то его УИКи будут как в центре так и на окраинах. 2) Так почему же в Великобритании явка коррелирует с одной партией положительно? Объясните механизм, пожалуйста. Пусть за мандат голосование “на грани” почему в таких голосованиях должна побеждать преимущественно одна определённая партия? 3) Извините, просмотрел пост 9.12. Но и там ничего криминального не нашёл: “В этом смысле Чуров с соавторами прав. И именно поэтому я провожу мою коррекцию отдельно для города и деревни в каждом регионе. Но вот такого эффекта, как у Чурова в статье, когда город и деревня описываются красивыми гауссианами с разными средними, — такого я не вижу”. Т.е. даже при таком формальном разделении на город и деревню как у автора, различие в зависимостях обнаруживается (хоть и не такое красивое как у Чурова). Значит гипотезу о “городе и деревне” мы отвергнуть пока не можем. 4) “Выборы — это случайный процесс…” извините, но это в корне не верно. Голосуя, люди не бросают монетку. Вы, видимо, даже не поняли мой вопрос. Вот опрос – случайный процесс, т.к. валидную выборку набирают случайным образом. Более того, чтобы максимально убрать любую предварительную фильтрацию по уровню дохода, роду деятельности и т.д. опросы проводят в различных местах среди различных групп населения, взвешивая данные пропорционально величине этих групп в стране. Только поэтому опросы могут давать хорошие оценки. Если же Вы поставите опрашивающих в центре города напротив дорогих магазинов, то Вы получите очень смещённую оценку. Так что профессиональные социологи знают о существовании разных групп населения с разными предпочтениями, а для Вас это – фантастика. Антинаучно – объяснять всё на свете вбросами и фальсификациями. Научно – рассмотреть все возможные причины. И ещё раз поясню: голосование можно рассматривать как случайный процесс (т.е. пользоваться ЗБЧ и… Подробнее »

Pavel
Pavel
11 года (лет) назад
В ответ на:  Anton

1) http://podmoskovnik.livejournal.com/134962.html
“Доля Москвы в выборке по числу избирателей примерно такая же, как во всей стране”
Если город маленький и там лишь один ТИК, то там не будет никаких окраин.
2) Мы видим, что хвост наблюдается и в ряде городов (что опровергает гипотезу Чурова). И что самое главное, хвост там, где высок процент ЕР и есть сообщения о серьёзных фальсификациях. А в деревне хвост больше, поскольку там фальсифицировать проще. http://arxiv.org/abs/1201.3087 – на 6 странице наглядная иллюстрация роста хвоста с 2003 по 2011.
3) “Так почему же в Великобритании явка коррелирует с одной партией положительно?”
Вот здесь ответ: http://oude-rus.livejournal.com/550109.html?thread=4392413#t4392413
Консерваторы, у которых наблюдается положительная корреляция, были в оппозиции до 2010 года. Правление лейбористов было неудачным и они по результатам выборов потеряли 91 мандат, а консерваторы приобрели 96 мандатов. Там, где кандидат от оппозиции имел хорошие шансы на успех, явка была выше, т.к. подтягивалось “болото” (peripheral voters).
Что особенно интересно, у нас ведь была очень похожая ситуация. В обществе царило сильное разочарование правящей партией – ЕР (в итоге Путин был даже вынужден отказаться от ЕР во время предвыборной кампании) – и корреляция была ОТРИЦАТЕЛЬНОЙ – http://oude-rus.livejournal.com/569802.html. Но до 50% явки. А после 50% начинается “зона повышенных фальсификаций” с сильной положительной корреляцией.
4) Демагогия в чистом виде. Ещё раз говорю, выборы описываются статистикой и социологией – любая статаномалия должна иметь социологическое объяснение. И так получается, что все эти аномалии ОЧЕНЬ хорошо объясняются вбросами и приписками, но крайне плохо естественными причинами.
“В неоднородном обществе надо учитывать зависимости от посторонних факторов”
Ага. Объяснимо, например, то, что за Путина (и ЕР) меньше голосовали научные работники, люди с высоким доходом и т.п: http://vizgalov.livejournal.com/6886.html
Однако когда два участка в ОДНОЙ школе Москвы, где голосует население из одного района, демонстрируют ТРЁХКРАТНОЕ различие (22/68%) объяснить иначе как фальсификацией невозможно.

Anton
Anton
11 года (лет) назад
В ответ на:  Pavel

1) Как я понял, в ЖЖ на который Вы ссылаетесь, Московские ТИКи с КОИБами были включены. ОК. “Если город маленький и там лишь один ТИК, то там не будет никаких окраин.” – Вы утверждаете что у маленького города с одним ТИКом нет своего центра и окраин?! 2) “Мы видим, что хвост наблюдается и в ряде городов (что опровергает гипотезу Чурова)” надо посмотреть что это за города и что это за районы городов. Если это город заселённый одними военными и бюджетниками, то здесь ничего удивительного. Я же писал, что разделение на “город-деревню” – условно. И в городе могут быть районы с “деревенским” мышлением. Так получилось, что я лично знаю одного из авторов статьи, на которую Вы ссылаетесь. И уровень аргументации у него такой же как и у Шпилькина. Хотелось бы посмотреть, получится ли у авторов опубликовать эту статью в серьёзном научном издании… 3) “Там, где кандидат от оппозиции имел хорошие шансы на успех, явка была выше, т.к. подтягивалось «болото» (peripheral voters)” – интересная версия. Тогда на тех выборах, когда консерваторы потеряли власть, у них должна была быть отрицательная корреляция. Это было так? 4) “любая статаномалия должна иметь социологическое объяснение” – я Вам его предложил. Извините за повторение, но видимо Вы забыли: “В России есть, как минимум, две группы населения. Условно назовём их «городское» и «сельское». Они по разному относятся к ЕР, хотя бы из-за разного доступа к электронным СМИ. Каждая из этих групп может иметь вполне нормальное распределения голосов за ЕР, но в сумме распределение получается с тяжёлым правым хвостом. Также, разумно предположить, что в «сельской» группе явка выше по организационным причинам, т.е. корреляция явки и поддержки ЕР тоже объясняется.” По поводу обвинений в “демагогии” – я вам задал вопрос: “считаете выборы случайным процессом?” вы ответили «Выборы — это случайный процесс…». Хочется спросить, Вы мат.статистику изучали? Вы определение случайного процесса… Подробнее »

Pavel
Pavel
11 года (лет) назад
В ответ на:  Anton

1) Я утверждаю, что в маленьком городе центр в электоральном смысле (т.е. область с повышенным голосованием за оппозицию) выделить практически не удаётся. Вот в Москве сразу видно различие между голосованием центра и окраин. В малых городах – нет.
2) “И в городе могут быть районы с «деревенским» мышлением.”
Антинаучно.
4) Вообще-то никто не отрицает, что город и село голосуют по-разному. Однако в 2003 году что-то не было заметно такой “хвостатости” у сельских жителей. Тем более, у городских. А вот в 2007 году и пики на круглых числах появились, и хвосты.
“Может оказаться так, что ко второму участку приписаны пара домов, заселённых семьями военных”
В том-то и дело, что никаких причин для столь резкого отличия нет (март это подтвердил). И не надо распространять байки про то, что у военных столь высокая поддержка ЕР (высокие результаты ЕР в военных частях объясняются тем, что там на полную катушку работает адм. ресурс).

Anton
Anton
11 года (лет) назад
В ответ на:  Pavel

1) 2) “Я утверждаю, что в маленьком городе центр в электоральном смысле (т.е. область с повышенным голосованием за оппозицию) выделить практически не удаётся”. Можно смотреть старый район или новостройки. Например, в Люберцах: УИК 1356 – (52,85% за ЕР) находится на ул. Кирова д,47 (одна из самых старых улиц города), а УИК 1362 – (25,45% за ЕР) Авиаторов д.3 содержит коммерческие новостройки. Одна точка – не доказательство, но – демонстрация двукратного отличия в голосах за ЕР в зависимости от типа домов в одном ТИКе! (интересно бы набрать статистику)
3) “А вот в 2007 году и пики на круглых числах появились, и хвосты”. Пики были всегда это – артефакт целочисленного деления см. http://eruditor.ru/k/?15 и http://eruditor.ru/k/?16 . “Ховостатость” может повышаться не только из-за “фальсификаций” но и из-за расслоения общества и агломерации слоёв внутри административных единиц (престрижные/непрестижные районы) или/и из-за большего контроля гос-ва над традиционными СМИ.
3.5) Проверил статистику выборов в Великобритании 1997 когда консерваторы проиграли http://www.parliament.uk/documents/commons/lib/research/rp2001/rp01-038.pdf. Там тоже сильная положительная корреляция с явкой у консерваторов. Так, что Ваша гипотеза, что в мажоритарной системе корреляция возникает из-за голосования “на грани” по тому что фаворит уже надоел – не подтверждается. “болото” постоянно на стороне консерваторов.
4) “не надо распространять байки про то, что у военных столь высокая поддержка ЕР …” это – моя гипотеза. Если у вас есть статистика, то попробуйте опровергнуть её.

Pavel
Pavel
11 года (лет) назад
В ответ на:  Anton

1) Вы всерьёз приводите в пример декабрьские выборы в Москве? Уже собрано достаточно доказательств, чтобы считать их полностью сфальсифицированными (только на трети участков не было фальсификаций). Сравните эти же участки в марте. Вот, кстати, как фальсифицировали на УИК 1356 – http://kabanchik-no-lj.livejournal.com/4859.html И он не в Люберцах, а в Лефортово.
3) Лжёте насчёт артефактов. Их легко убрать, увеличив бин. Вы писали, что следили за журналом kobak – а у него об этом был отдельный пост. Так вот, пики на нынешних выборах – это не артефакты. В 2003 и пиков не было, и хвост был существенно меньше (http://stat.golos.org/pages/3). Ещё раз обратите внимание на гистограмму явки для КОИБов – хвоста почти не видно.
Ощутимое различие в явке, если и встречается, имеет ясные, исторически и географически понятные причины. В российском случае такого нет. Здесь есть лишь смещение у деревни, где явка традиционно выше. Но и доля деревни в общих голосах существенно меньше. Городские хвосты – это гарантированная фальсификация.
4) “Если у вас есть статистика, то попробуйте опровергнуть её”
Вообще-то именно за вами бремя доказательства того, что военные, не находясь в части, склонны к голосованию за ЕР.

Anton
Anton
11 года (лет) назад
В ответ на:  Pavel

1) “…Уже собрано достаточно доказательств, чтобы считать их полностью сфальсифицированными…” – доказательствами могут служить только расхождения копий протоколов УИКов или отказ наблюдателей с правом решающего голоса подписать протокол. Мне известны как минимум 4 интернет ресурса, где пытались собрать все копии протоколов. Нигде количество протоколов с расхождениями (даже если принимать их без рзбора) не превысило 1 процента от 93000. Если у Вас есть соответствующая ссылка на ресурс, где это не так, то приведите её.
2) “Лжёте насчёт артефактов. Их легко убрать, увеличив бин.” – именно поэтому при увеличении бина пики 1/2 1/3 1/4 практически пропадают eruditor.ru/k/?15. Остается периодическая структура других пиков, которая действительно не объясняется просто целочисленным делением. Но такая же структура наблюдается на выборах в Израэле, см. график 10 в http://levrrr.livejournal.com/31427.html
3) “Городские хвосты — это гарантированная фальсификация” если предположить, что городское население однородно. Но, я не вижу причин для этого предположения. Я привёл вам 2 участка из Люберец, где я живу и знаю где они находятся. УИК 1356 Вы взяли из другого ТИКа – “лжёте” и “фальсифицируете”?! Данные я брал с официального сайта избирательной комиссии.
“В 2003 и пиков не было, и хвост был существенно меньше” – уменьшите бин и пики появятся. Да хвост увеличился с тех пор. И что, у Вас всему объяснения фальсификации?! А как же тогда быть с хвостами в Великобритании 2010,2005,1997, Германии, Израиле, про которые Вы скромно умолчали?! Там – естественные причины, а у нас – нет?! Назовите эти естественные причины – и посмотрим почему они не могут быть у нас.
4) “Вообще-то именно за вами бремя доказательства…” – это официальные данные http://grani.ru/War/m.193764.html – теперь мяч на Вашей стороне.

Anton
Anton
11 года (лет) назад
В ответ на:  Pavel

3) Поправка. на графике 10 в levrrr.livejournal.com/31427.html представлены Российские выборы 2007 года.

Anton
Anton
11 года (лет) назад
В ответ на:  Pavel

1) По Вашей просьбе посмотрел Люберецкие участки в Марте:
УИК 1356 — (52,85% за ЕР) (80,67% за Путина)
УИК 1362 — (25,45% за ЕР) (65,96% за Путина)
опять оговорюсь, что одно сравнение ничего не доказывает, но пока противоречий гипотезе неоднородности городов нет.

Olga
Olga
7 года (лет) назад
В ответ на:  Pavel

Высокие явки и корреляции “высокая явка/высокое количество голосов за ЕР” объясняются не вбросами, это я как наблюдатель с 15-летним стажем скажу. Причины – это, во-первых, голосование, проходящее на территории воинских частей; во-вторых, это “левые” избирательные участки, которые организуются в дополнение к существующим; в-третьих, это голосования в домах ветеранов, в больницах и СИЗО; в-четвёртых, это голосование в таких регионах, как Чечня, Ингушетия, Дагестан, Кемеровская область. Было бы любопытно выделить избирательные участки из этого списка, проанализировать явку и процент проголосовавших “правильно”. Всё остальное – это так, розочки на торте.

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (1 оценок, среднее: 5,00 из 5)
Загрузка...