Похибка вибірки і упередженість — дві різні причини, з яких результат опитування розходиться з дійсністю: випадково або в один бік. Похибка вибірки — це випадкова похибка, тобто розбіжність, що виникає через випадковість відбору: ви опитали частину групи, а не всіх. Зі збільшенням вибірки вона передбачувано меншає, а для випадкової вибірки її можна оцінити. Упередженість — це систематична похибка (зміщення). Вона зсуває результати в один бік, виникає через те, хто є у вашому списку, хто відповідає і як поставлено питання, і додаткові відповіді її не прибирають. Першу виправляє більша кількість відповідей, другу — лише краще продумане опитування. Ця стаття для всіх, хто проводить опитування або читає їхні результати: вона порівнює обидві похибки і дає правило, за яким обрати рішення.
Коротко
- Похибка вибірки випадкова: вона відхиляє результати то вгору, то вниз і меншає зі збільшенням вибірки. Щоб зменшити її вдвічі, потрібно вчетверо більше відповідей.
- Упередженість систематична: вона зсуває результати в один бік, і більша вибірка її не зменшує.
- Гранична похибка, яку вказують зі знаком «±», охоплює лише похибку вибірки і лише для випадкової вибірки. Про упередженість вона нічого не каже.
- Похибку вибірки зменшують більшою кількістю відповідей із випадкової вибірки. Упередженість зменшують повнішим списком, повторними листами тим, хто не відповів, і кращими питаннями.
Що таке похибка вибірки (випадкова похибка)
Похибка вибірки — це різниця між показником, отриманим на вибірці, і показником, який ви отримали б, опитавши всіх у групі. Вона існує лише тому, що опитано вибірку: суцільне опитування, як-от перепис, похибки вибірки не має.
Її джерело — випадковість того, хто саме потрапив до вибірки. Припустімо, з одного списку учасників програми лояльності магазину двічі випадково відібрали по 200 осіб. Перша вибірка показала 41 % «дуже задоволених», друга — 45 %. Жодна з них не хибна: у кожну потрапили трохи інші люди, і цей розкид і є похибкою вибірки. В одній вибірці вона завищує результат, в іншій занижує, а в середньому врівноважується.
Для ймовірнісної вибірки, де кожен у списку мав відомий шанс потрапити до неї, похибку вибірки можна оцінити у вигляді стандартної похибки, довірчого інтервалу або граничної похибки.
Що таке упередженість (систематична похибка)
Упередженість, або систематична похибка, — це похибка, яка зсуває результати опитування в один бік. Якщо про товар, який купують і чоловіки, і жінки, опитати лише жінок, кожна оцінка відхилиться в той самий бік, хоч би скільки жінок відповіло. Це систематична частина похибок, не пов’язаних з вибіркою, тобто всіх похибок, що виникають не через сам відбір. Коли її причина в тому, хто зрештою відповів, її часто називають зміщенням вибірки, але це не похибка вибірки.
Випадкова похибка в середньому врівноважується, систематична — ні. Як зазначає Статистичне управління Канади (Statistics Canada), систематичну похибку не можна зменшити, збільшивши вибірку. Класичний приклад — опитування американського журналу Literary Digest 1936 року. Вибірка була величезна, а прогноз президентських виборів у США виявився грубо помилковим, бо зміщеними були і список, за яким розсилали бюлетені, і склад тих, хто їх повернув (Squire, Public Opinion Quarterly, 1988).
Для упередженості не існує граничної похибки, яку можна було б обчислити. Гранична похибка, яку друкують під результатами, охоплює лише похибку вибірки, наголошує AAPOR (Американська асоціація дослідників громадської думки). До того ж величина систематичної похибки різна для різних питань (Pew Research Center, 2017). Тому мета — зменшити упередженість і повідомити, в який бік вона, ймовірно, зсуває результати.
Похибка вибірки і упередженість: різниця в одній таблиці
Різниця між похибкою вибірки та упередженістю — у напрямку і способі виправлення: похибка вибірки розкидає результати навколо справжнього значення, упередженість зсуває їх від нього.
| Похибка вибірки (випадкова похибка) | Упередженість (систематична похибка) | |
|---|---|---|
| Причина | Випадковість того, хто потрапив до вибірки | Хто є у списку, хто відповідає, як поставлено питання |
| Напрямок | То вгору, то вниз; у середньому врівноважується | Завжди в один бік |
| Більша вибірка | Меншає: учетверо більше відповідей зменшують її вдвічі | Не змінюється |
| Чи можна виміряти | Так, у вигляді граничної похибки, для випадкової вибірки | Не за самими відповідями; граничної похибки немає |
| Як виправити | Більше відповідей | Повніший список, повторні листи, кращі питання, пробне опитування |
У концепції загальної похибки опитування (Groves і Lyberg, Public Opinion Quarterly, 2010) похибку показника зазвичай вимірюють середньоквадратичною похибкою: сумою його дисперсії та квадрата систематичної похибки. Більша вибірка зменшує перший доданок і не зачіпає другого: велика зміщена вибірка однаково дає хибний результат, а будь-яке опитування планують, шукаючи баланс між похибкою і витратами.
Що дають додаткові відповіді
Граничну похибку вказують у відсоткових пунктах, зазвичай із довірчою ймовірністю 95 %, і вона найбільша, коли відповіді розділилися 50 на 50. Такі значення наводить пояснення AAPOR щодо граничної похибки вибірки:
Проста випадкова вибірка з великої групи, відповіли всі запрошені, довірча ймовірність 95 %, відповіді розділилися 50 на 50 (AAPOR).
| Кількість відповідей | Гранична похибка |
|---|---|
| 100 | ±9,8 в. п. |
| 200 | ±6,9 в. п. |
| 400 | ±4,9 в. п. |
| 500 | ±4,4 в. п. |
| 1 000 | ±3,1 в. п. |
| 1 500 | ±2,5 в. п. |
| 2 500 | ±2,0 в. п. |
Таблиця припускає, що вся група значно більша за вибірку. У малій групі, як-от у компанії на 80 працівників чи в класі на 30 учнів, похибка менша, коли ви вже опитали значну її частину. Якщо ви запросили всіх, похибки вибірки немає взагалі: результат — це підрахунок, а розбіжність, що лишилася, виникає через тих, хто не відповів або відповів неточно.
Учетверо більша вибірка вдвічі зменшує похибку (±9,8 пункту для 100 відповідей, ±4,9 для 400), але перехід від 1 000 до 2 000 відповідей дає виграш лише приблизно в один пункт. Типове загальнонаціональне опитування приблизно 1 000 осіб має похибку близько ±3 пунктів. Підгрупа з 200 осіб у вибірці з 1 000 має похибку близько ±6,9 пункту, а зважування і дизайн-ефект роблять справжню похибку ще ширшою.
Головне: гранична похибка стосується лише ймовірнісних вибірок, у яких кожен мав відомий і ненульовий шанс потрапити до вибірки. Вона не стосується вибірок, де люди самі вирішують, чи відповідати, як-от відповідей, зібраних за посиланням у соціальних мережах чи на вебсайті. Для таких вибірок граничну похибку обчислити неможливо, і самі відповіді не скажуть, наскільки вони відхиляються від дійсності. Оцінити зміщення можна лише за тим, що відомо поза опитуванням: порівняйте склад усієї групи (вік, місто, відділ, сегмент клієнтів) зі складом тих, хто відповів.
Звідки береться упередженість в онлайн-опитуванні
Упередженість проникає в онлайн-опитування п’ятьма шляхами. Перші три стосуються того, хто відповідає, останні два — самих відповідей (зміщення відповідей та інші похибки вимірювання).
Охоплення: кого немає у вашому списку
Похибки охоплення виникають, коли список або канал не охоплює частину групи. Опитування працівників, розіслане електронною поштою, оминає тих, хто не має корпоративної електронної адреси, наприклад працівників складу чи виробництва. Перш ніж надсилати, перевірте, кого немає у списку, і заплануйте інший спосіб їх охопити.
Самовідбір: хто сам вирішує відповісти
Посилання на вебсайті чи в соціальних мережах дає людям самим вирішувати, чи відповідати, і найохочіше відповідають ті, у кого є тверда думка. Краще запрошуйте конкретний список людей. Щоб відсікти незапрошених, позначте «Отримувати відповіді на опитування тільки через запрошення, які надіслані електронною поштою»: це вимикає пряме посилання та всі інші способи поширення. Разом із цим позначте «Увімкнути відстеження відповідей»: за замовчуванням відстеження вимкнене, а без нього обмеження не впустить в опитування навіть запрошених. Відстеження пов’язує кожну відповідь з адресатом, і в листі-запрошенні про це сказано. Обмеження не пускає незапрошених, але вибірки випадковою не робить.
Ті, хто не відповів
Зміщення через неучасть залежить одразу від двох чинників: скільки запрошених не відповіли і наскільки вони відрізняються від тих, хто відповів. Якщо відповіли небагато, але ті, хто мовчить, мало відрізняються від інших, шкода невелика. Якщо відповіли багато, але решта дуже не схожа на них, результат усе одно може ввести в оману.
Неучасть буває і всередині опитування. Дивіться на кількість відповідей на кожне питання, а не лише на кількість заповнених анкет: показник для чутливого питання, яке пропустила половина респондентів, має зміщення через неучасть, навіть якщо загалом на опитування відповіло багато запрошених.
Робіть опитування коротким, скористайтеся порадами, як залучити більше запрошених до відповіді, і надсилайте запрошення і повторні листи електронною поштою. Коли відстеження відповідей увімкнене, з фільтром одержувачів «Не відповіли на запрошення на електронну пошту» повторний лист отримають лише ті, хто ще не відкрив опитування із запрошення. Потім порівняйте склад тих, хто відповів, зі складом групи. Порівняння тих, хто відповів рано, з тими, хто відповів пізно, — це підказка, а не перевірка: люди, які відповіли після повторного листа, усе одно відповіли.
Формулювання і порядок питань
Навідні та провокаційні питання підштовхують відповіді в один бік, подвійні питання їх розмивають, і навіть одне слово може змінити результат. Pew Research Center у матеріалі про формулювання питань наводить приклад: американці охочіше підтримують «допомогу бідним», ніж «welfare» (так у США називають державні соціальні виплати). Уникайте навідних питань, розділяйте подвійні питання на два і проведіть пробне опитування з кількома людьми з вашої групи.
Питання, що спираються одне на одне, тримайте у фіксованому порядку: від загального до конкретного, питання-фільтр перед уточнювальним. Паралельні пункти, як-от перелік брендів, відділів чи тверджень, показуйте у випадковому порядку, щоб жоден пункт не стояв завжди першим. Так вплив порядку розподіляється рівномірно, але не зникає. У матричних питаннях для цього є «випадковий порядок рядків»; «випадковий порядок стовпців» вмикайте, лише коли стовпці — це невпорядковані категорії, і ніколи для шкали оцінок. Налаштування «Випадковий порядок питань» перемішує питання на кожній сторінці опитування, тож вмикайте його лише тоді, коли на кожній сторінці є тільки паралельні питання. Варіанти відповіді в питаннях з вибором не перемішуються.
Соціально бажані відповіді
Люди применшують поведінку, яку інші засуджують, і перебільшують ту, яку схвалюють: це ефект соціальної бажаності, різновид зміщення відповідей. Питання «Ви затятий курець?» підштовхує частину затятих курців відповісти «ні». Питайте нейтрально і пропонуйте діапазони замість ярликів: «Скільки сигарет ви зазвичай викурюєте за день?» з варіантами «Жодної», «1–5», «6–10» і так далі. Онлайн-анкета прибирає інтерв’юера, і це послаблює ефект, але не усуває його. Телефонні й особисті опитування додають ефект інтерв’юера, а похибки обробки, як-от помилки під час кодування чи введення даних, — ще одне джерело неточності.
Випадковість чи упередженість? Як читати несподіваний результат
Коли результат вас здивував, порівняйте різницю між ним і очікуваним значенням із граничною похибкою. Якщо різниця значно більша, ніж допускає випадковість, або вибірка не була випадковою, шукайте упередженість і напрямок, у який вона зсуває результат.
Припустімо, 100 респондентів, яких вважають випадковою вибіркою ваших клієнтів, показали, що новий смак обирають 20 %, а надійний повний підрахунок згодом дав близько 33 %. Різниця становить 13 відсоткових пунктів, а не 13 %. Гранична похибка для 100 відповідей — близько ±10 пунктів. Приблизно одна випадкова вибірка з 20 виходить за її межі, і майже жодна не виходить так далеко, тож сама лише випадковість — малоймовірне пояснення. З’ясуйте, кого запросили і хто відповів. Якщо ці 100 відповідей зібрано за загальним посиланням, граничну похибку пропустіть і почніть одразу з цих питань.
Для різниці між двома групами похибка ширша. Два відділи по 200 відповідей мають похибку близько ±7 пунктів кожен, а різниця між ними — близько ±10. Різниця в 6 пунктів лежить у межах похибки, а в 15 пунктів — ні. Те саме стосується порівняння цього року з минулим.
Посилання в розсилці для підписників, яке принесло 500 заповнених анкет, не дає табличних ±4,4 пункту. Респонденти обрали себе самі, і навіть випадкові 500 описували б лише підписників, а не всіх клієнтів, і нічого не казали б про підписників, які не відповіли. У звіті вкажіть кількість відповідей, канал і групи, які, ймовірно, представлені недостатньо.
Так само читайте фразу «похибка вибірки не перевищує…» під результатами соціологічних опитувань: вона описує лише випадкову похибку. Вплив формулювань, прогалини в охопленні та нещирі відповіді важко виміряти, і про них рідко повідомляють (Pew Research Center), тож у цю цифру вони не входять.
Більше відповідей чи краща анкета: яке рішення для якої похибки
Пройдіться за цим списком перед розсиланням і ще раз перед звітом.
- Випадкова вибірка з великої групи, а похибка надто широка для вашого рішення: зберіть більше відповідей, але не чекайте великого виграшу понад приблизно 1 000.
- Деяких груп немає або їх замало: більше відповідей із того самого каналу не допоможе, змініть список або канал. Якщо склад тих, хто відповів, відрізняється від складу групи за ознакою, відомою для всіх (місто, відділ, вікова група), показуйте результати окремо за цими групами або застосуйте зважування після експорту: сервіс не зважує відповіді. Зважування виправляє лише ту ознаку, за якою зважують, а не погляди тих, хто не відповів, і розширює граничну похибку.
- Ви запросили всю групу: більше відповідей означає повторні листи тим, хто не відповів, а не більшу вибірку.
- Сумніви щодо питань: проведіть пробне опитування й перепишіть питання за порадами, як складати чіткі й нейтральні питання. Випадковий порядок застосовуйте лише до паралельних пунктів, ніколи до питань, що спираються одне на одне.
- Звіт: укажіть кількість відповідей, спосіб запрошення і напрямок, у який імовірна упередженість зсуває результати; граничну похибку наводьте лише для випадкової вибірки.
Похибка вибірки і упередженість потребують різних рішень. Випадкова похибка меншає з кожною новою відповіддю, а для випадкової вибірки гранична похибка показує, скільки її лишилося. Упередженість не зникає, хоч скільки відповідей ви зберете. Її зменшують лише список, що охоплює всю групу, повторні листи тим, хто мовчить, і нейтральні, перевірені питання.
Щоб застосувати це на практиці, почніть із шаблону опитування для дослідження ринку нижче й надішліть його конкретному списку адресатів, а не за загальним посиланням.
Готовий шаблон: опитування для дослідження ринку
Дивитися шаблон