Упередженість через відсутність відповідей: як її перевірити і зменшити

Упередженість через відсутність відповідей — це систематична похибка (зміщення) результатів опитування, яка виникає, коли ті, хто не відповів, відрізняються від тих, хто відповів, саме в тому, що опитування вимірює. Мала кількість відповідей сама собою її не спричиняє. Низький відсоток відповідей робить її ймовірнішою, але не доводить, що результати хибні, а високий її не виключає. Ця стаття для всіх, хто надсилає опитування за списком — працівникам, клієнтам, членам організації чи студентам — і має вирішити, чого варті отримані результати. Вона пояснює, чому люди не відповідають, пропонує п’ять перевірок, які можна зробити на власному списку й власних результатах, і показує, що робити до, під час і після опитування.

Коротко

• Упередженість через відсутність відповідей виникає через різницю між тими, хто відповів, і тими, хто не відповів, а не через малу кількість відповідей.
• Низький відсоток відповідей — попередження, а не доказ. Більше відповідей від тих самих охочих людей звужує граничну похибку, але упередженості не прибирає.
• Її можна перевірити: порівняйте тих, хто відповів, з усіма запрошеними, ранні відповіді — з пізніми і розпитайте кількох людей, які не відповіли.
• Щоб її зменшити, робіть опитування коротким і доречним, надсилайте повторний лист лише тим, хто не відповів, і повідомляйте відсоток відповідей разом із його обмеженнями.

Що таке упередженість через відсутність відповідей

Упередженість через відсутність відповідей (англ. non-response bias) — це систематична похибка, що виникає, коли ті, хто не відповів, відрізняються від тих, хто відповів, за ознаками, які вимірює опитування, тож результати, отримані лише від респондентів, відхиляються в один бік. У методологічних документах Держстату те саме явище описують словами «неучасть респондентів» і «систематична похибка», а в університетських курсах із соціології — словом «зміщення».

Її розмір залежить від двох речей: скільки людей не відповіли і наскільки вони відрізняються від решти. Якщо ті, хто промовчав, схожі на тих, хто відповів, результати не зміщені, хоч би скільки людей бракувало. Якщо ж вони відрізняються, результат зсуває навіть невелика частка тих, хто не відповів.

Візьмімо опитування працівників. Якщо люди, які працюють у компанії понад п’ять років, відповідають рідше, результати відображають переважно погляди тих, хто прийшов до компанії недавно. Це видно, бо стаж кожного вам відомий, і це можна виправити. Важчий випадок — коли люди не відповідають саме через ту відповідь, яку дали б: якщо працівники, незадоволені своїм керівником, ігнорують опитування, задоволеність виглядає вищою, ніж є насправді, і ніщо у ваших даних цього не показує.

Упередженість через відсутність відповідей стосується того, хто відповідає. Зміщення відповідей, яке ще називають упередженістю у відповідях, — того, чи точні самі відповіді.

До другого стовпця належить і ефект інтерв’юера, коли на відповіді впливає людина, яка ставить питання.

Повна і часткова відсутність відповіді

Повна відсутність відповіді (неучасть) означає, що запрошена людина не відповіла на жодне питання. Часткова — що респондент пропустив окремі питання.

В онлайн-панелі Pew Research Center типове закрите питання пропускають близько 1–2 % респондентів, а відкрите — у середньому близько 18 %, від 3 % до трохи понад 50 % залежно від питання (Pew Research Center, 2021). Пропусків більше, коли люди відповідають з телефону і коли над питанням треба довше подумати. Учасники панелі відповідають на опитування регулярно, тож для разового опитування вважайте ці цифри нижньою межею, а не нормою.

Обов’язкове питання пропустити неможливо, тому там відсутність відповіді проявляється інакше: люди кидають анкету або обирають будь-який варіант. Найважливіші показники вимірюйте закритими питаннями, а відкритих залишайте небагато й не робіть їх обов’язковими. Докладніше про це — у статті про відкриті і закриті питання.

Низький відсоток відповідей — сигнал, а не доказ упередженості

Сам відсоток відповідей, тобто частка запрошених, які відповіли (Держстат називає це рівнем участі респондентів), не показує, чи зміщені ваші результати. Дослідження Pew Research Center 2017 року, як і попередні роботи, вказує, що відсоток відповідей — ненадійний показник упередженості (Pew Research Center, 2017).

У США відсоток відповідей у телефонних опитуваннях Pew упав із 36 % у 1997 році до 9 % у 2012-му. Попри це, опитування 2012 року за більшістю показників збігалося з даними державної статистики, а паралельне опитування, у якому респондентів залучали значно наполегливіше й відповіли 22 % запрошених, відрізнялося від нього не більш як на два відсоткові пункти за 28 показниками із 40 (Pew Research Center, 2012). Але там, де сама тема впливає на готовність відповідати, зміщення було великим. У 2012 році 55 % респондентів сказали, що займалися волонтерством, тоді як у державному обстеженні Current Population Survey таких було 27 %; у 2017-му про спільну роботу із сусідами повідомили 46 % проти 8 % у тому самому державному обстеженні. Люди, які допомагають іншим, охочіше погоджуються й на опитування.

Є одне важливе застереження. Pew зважує свої опитування так, щоб розподіл за віком, статтю, освітою, расою та регіоном відповідав населенню, тож висновок зроблено вже на зважених даних. Опитування, надіслане за списком працівників чи клієнтів, зазвичай не зважують, тож таке порівняння вам доведеться зробити самим (перевірка 1 нижче).

Для вас це означає таке: ризик найбільший, коли тема опитування пов’язана з причиною, з якої люди відповідають або мовчать. Опитування залученості ігнорують саме незалучені, а на опитування задоволеності відгукуються переважно дуже невдоволені й дуже задоволені.

Приклад показує, чому кількість відповідей — не головне мірило. Ви запросили 200 людей із 20 000 учасників програми лояльності й отримали 50–60 відповідей. Якби ці відповіді були випадковою вибіркою, гранична похибка становила б близько ±13 відсоткових пунктів за довірчої ймовірності 95 % (для питання, де відповіді розділилися 50 на 50): це широко, але великі відмінності побачити можна. Розмір усієї групи майже не має значення, коли в ній тисячі людей: 377 відповідей дають близько ±5 пунктів і для 20 000 осіб, і для 2 мільйонів. Справжнє питання в іншому: чи схожі 50–60 людей, які відповіли, на приблизно 140, які промовчали. Якщо запросити 600 людей і отримати 180 відповідей від таких самих охочих, звузиться гранична похибка, а упередженість залишиться. В окремій статті пояснено, чому більше відповідей зменшує випадкову похибку, але не упередженість.

Чому люди не відповідають на опитування

Ті, хто не відповів, поділяються на три групи, і кожній потрібне своє рішення.

Один випадок до відсутності відповідей не належить узагалі. Якщо ваш список неповний або застарілий, частина людей, яких опитування стосується, запрошення просто не отримає. Це недостатнє охоплення, і повторні листи тут не допоможуть: допоможе лише виправлений список.

Як перевірити, чи є упередженість у ваших результатах

Порівняйте тих, хто відповів, із тими, кого ви запросили. Якщо склад обох груп збігається за всім, що вам відомо, це обнадіює, хоч і не є доказом. Чотири з п’яти перевірок спираються на дані, які у вас уже є, а ще одна потребує розмови з кількома людьми, які не відповіли.

1. Порівняйте тих, хто відповів, з усіма запрошеними

Скористайтеся тим, що ви знаєте про кожного у списку: відділ, регіон, тип клієнта, вікова група чи стаж. Група, яка відповідала вдвічі рідше за інші, представлена у ваших результатах недостатньо. В eSurvey.com.ua це можна побачити двома способами. Якщо відстеження відповідей увімкнене, а у списку адрес для кожної адреси збережено додаткове значення, наприклад відділ, відфільтруйте результати за умовою «Значення "адреса електронної пошти" дорівнює». Якщо ні, додайте одне питання про відділ чи стаж і порівняйте розподіл відповідей на нього зі складом запрошених, а на вкладці «Перехресна табуляція» (таблиця спряженості) подивіться, чи відрізняються відповіді на головні питання між групами.

2. Порівняйте відсоток відповідей за групами

Низький відсоток відповідей в одній групі важить більше, ніж низький відсоток загалом. Поки опитування триває і відстеження відповідей увімкнене, фільтр «Всіх, хто не відповіли» у списку одержувачів показує, кого ще бракує. Перевіряйте це після кожного повторного листа.

3. Порівняйте ранні відповіді з пізніми

В опитуванні, надісланому електронною поштою, пізні відповіді — це ті, що надійшли після повторного листа. Люди, які відповідають лише після нього, часто, хоч і не завжди, ближчі до тих, хто не відповідає зовсім. Розділіть відповіді за датою повторного листа фільтром результатів «Пройшли опитування в проміжок» (він використовує дату, коли людина почала відповідати). Якщо дві групи по-різному відповідають на головні питання, запідозріть упередженість; це підказка, а не доказ.

4. Розпитайте кількох людей, які не відповіли

Поставте кільком людям, які не відповіли, одне-два головні питання — телефоном чи особисто, у нейтральному формулюванні. Іншого способу дізнатися, що думають ті, хто промовчав, немає: Австралійське бюро статистики (ABS) зазначає, що повністю розв’язати цю проблему можна, лише отримавши дані від тих, хто не відповів. На таку розмову погоджуються ті з них, хто охочіше йде на контакт, тому сприймайте результат як орієнтир, а не як точне число.

5. Подивіться на пропущені питання і на те, де люди зупинилися

Питання, яке пропускає багато людей, — це часткова відсутність відповіді, а сторінка, на якій обриваються незавершені анкети, показує, де саме люди зупиняються. Знайти такі місця допомагають фільтр «Включити незавершені відповіді» та умова «не отримано відповідь» для окремого питання.

Як зменшити упередженість до та під час опитування

Спрямовуйте зусилля на групи, яких бракує, а не на загальну кількість відповідей: сто нових відповідей від тих, хто й так охоче відповідає, складу респондентів не вирівняють. Загальні способи отримати більше відповідей описано в статті про збільшення кількості респондентів, а тут ідеться про те, як дістатися саме груп, яких бракує.

Огляд Cochrane, який підготували Edwards і колеги (2023; 758 рандомізованих досліджень, дані до грудня 2021 року), показує, що збільшувало кількість відповідей у вебопитуваннях та опитуваннях електронною поштою:

Відношення шансів понад 1 означає, що відповідей було більше, менше за 1 — що менше. Приблизно для половини перевірених прийомів результати помітно різнилися від дослідження до дослідження.

Більше відповідей — не те саме, що менша упередженість. Винагорода приваблює й тих, кому тема байдужа. Це зменшує упередженість, коли бракує саме їх, але може й поглибити розрив, якщо на неї відгукуються переважно групи, які й так відповідали; тому робіть перевірку 1 до і після. Обирайте те, що дійде до груп, яких бракує: другий спосіб відповісти (на папері, телефоном чи особисто), повторний лист від нейтрального відправника, якому ці люди довіряють (відділ кадрів чи хтось із вищого керівництва, але ніколи не керівник команди, яку опитують), і час, зручний для тих, хто працює позмінно.

Надсилайте повторний лист лише тим, хто не відповів. У дослідженнях поштових анкет із того самого огляду нагадування електронною поштою збільшувало кількість відповідей (відношення шансів 1,60). В eSurvey.com.ua новий лист можна надіслати лише одержувачам, які «Не відповіли на запрошення на електронну пошту». Сервіс знає, хто відповів, лише коли увімкнене відстеження відповідей, а типово воно вимкнене (про це в наступному абзаці). З увімкненим відстеженням «не відповіли» означає, що людина не відкрила опитування за посиланням зі свого запрошення: той, хто почав і покинув, листа не отримає, а той, хто відповів за іншим посиланням, отримає. Коли відстеження вимкнене, лист піде всім зі списку. Автоматичних нагадувань у сервісі немає: повторний лист ви надсилаєте самі. Перш ніж надсилати, подивіться, яких груп досі бракує. Кожен такий лист зараховується до місячного ліміту запрошень електронною поштою у вашому плані.

Скажіть, хто бачить відповіді і що фіксується. Поясніть, як використовуватимете результати, хто має доступ до окремих відповідей і що результати подаються лише в узагальненому вигляді; у дослідженнях поштових анкет запевнення в конфіденційності збільшувало кількість відповідей (1,33). Анонімності не обіцяйте. Якщо ви вмикаєте відстеження відповідей, щоб надсилати повторний лист лише тим, хто не відповів, скажіть про це прямо, бо те саме налаштування дає вам змогу бачити відповіді кожної людини: «Ми фіксуємо, хто відкрив опитування зі свого запрошення, щоб повторно написати лише тим, хто цього ще не зробив; автор опитування може бачити окремі відповіді, а результати ми подаємо лише в узагальненому вигляді». Примітку про те, що автор опитування бачитиме відповіді, сервіс сам додає внизу листа-запрошення, коли відстеження увімкнене. Найкраще місце для ваших слів — вступ до опитування.

Робіть анкету короткою, а питання — такими, щоб на кожне можна було відповісти. Називайте справжню тривалість: дослідження з огляду Cochrane не показали надійного виграшу ні від коротшого, ні від довшого заявленого часу. Приберіть усе, чого не використаєте в аналізі, виправте складні, незрозумілі та довгі питання і додайте «Інше» чи «Важко відповісти» там, де це чесна відповідь. Обов’язковими робіть лише ті питання, без яких не обійтися: коли відповідати треба на все, люди кидають анкету або обирають будь-що.

Проведіть пробне опитування і заміряйте час. Попросіть двох-трьох людей із вашої групи пройти опитування і заміряйте, скільки часу це забрало, замість покладатися на правило «стільки-то питань за хвилину».

Після опитування: зважування і чесний звіт про відсоток відповідей

Зважування коригує результати так, щоб вага кожної групи відповідала її частці серед запрошених: якщо працівники зі стажем понад п’ять років відповідали рідше, їхні відповіді отримують трохи більшу вагу. Воно виправляє лише ту ознаку, за якою зважують. Якщо люди не відповіли через свої погляди, зважування за стажем чи відділом цього не виправить, а оцінки стануть менш точними. Практичне правило, а не стандарт: зважуйте за однією-двома ознаками і лише тоді, коли в кожній групі є щонайменше 20–30 відповідей; інакше просто покажіть склад тих, хто відповів, поруч зі складом запрошених. eSurvey.com.ua відповідей не зважує, але це можна зробити в електронній таблиці, у файлі, який дає «Експорт у Excel-форматі».

Повідомляйте відсоток відповідей разом із його визначенням. Найпростіше стандартне визначення, RR1 у «Стандартних визначеннях» AAPOR (Американської асоціації дослідників громадської думки), — це кількість завершених анкет, поділена на кількість запрошених; якщо ви рахуєте й незавершені анкети, скажіть про це. Сервіс не повідомляє про листи, які не були доставлені, тому такі адреси залишаються серед запрошених, а ваш відсоток — це нижня межа. Додайте канал і дати опитування. Якщо опитування поширювали за загальним посиланням, кількість запрошених невідома і відсотка відповідей воно не має: так і напишіть, не вигадуючи числа.

Скажіть, що показали перевірки і в який бік упередженість, що могла залишитися, зсуває результати: «Відділ продажів відповідав удвічі рідше за інші відділи й ставив нижчі оцінки, тож загальна оцінка, ймовірно, дещо завищена».

Підсумок

Упередженість через відсутність відповідей залежить від того, кого бракує, а не від того, скільки людей відповіло. Порівняйте тих, хто відповів, із запрошеними, зіставте ранні відповіді з пізніми, а коли від результатів залежить важливе рішення, розпитайте кількох людей, які промовчали. Повторний лист надсилайте лише тим, хто не відповів, зусилля спрямовуйте на групи, що відстають, а відсоток відповідей повідомляйте разом із визначенням і з тим, що показали перевірки.

Найлегше почати з опитування працівників: ви знаєте, кого запросили, а склад команди за відділами, посадами і стажем вам відомий, тож тих, хто відповів, є з чим порівняти. Візьміть готову анкету задоволеності працівників нижче: питання про посаду і стаж у ній уже є.

Читайте також

• Логіка опитування: як налаштувати розгалуження анкети
• Онлайн-опитування в освіті: що школа й університет дізнаються від учнів і студентів
• Опитування щодо дистанційного навчання: що питати під час і після курсу