Як вибрати тип питання в анкеті з огляду на аналіз

Як вибрати тип питання в анкеті? Почніть не з формулювання, а з цифри, яку це питання має дати для звіту: саме тип питання визначає, яку діаграму ви зможете побудувати і яке число назвати. Одна відповідь від кожного респондента дає частки цілого, що в сумі становлять 100 %. Кілька відповідей від кожного дають частки респондентів, які в сумі можуть перевищувати 100 %. Оцінка за шкалою дає розподіл відповідей уздовж упорядкованої шкали. Відкрита відповідь дає текст, який спершу треба закодувати, тобто розкласти за темами, і лише потім рахувати. Стаття стане в пригоді всім, хто складає опитування в онлайн-сервісі: підприємцям, маркетологам, HR-фахівцям, викладачам і студентам. У ній є таблиця, що пов’язує кожен тип питання з діаграмою і ключовою цифрою, помилки, які псують результат кожного типу, і пояснення, що саме покаже екран результатів.

Коротко

• Одна відповідь від кожного дає частки, що в сумі становлять 100 %. Показуйте їх стовпчастою діаграмою, а секторною — лише коли секторів не більш як п’ять і один із них явно найбільший.
• У питанні «позначте всі варіанти, що підходять» називайте для кожного варіанта відсоток респондентів, навіть якщо стовпчики в сумі дають понад 100 %. Стовпець «%» у самому сервісі показує для цього типу частку варіанта серед усіх позначок, а не серед людей.
• Одна оцінка за шкалою — ще не шкала Лайкерта. Беріть 5–7 поділок, підписуйте кожну словами, на двосторонній шкалі залишайте середню поділку і показуйте весь розподіл відповідей.
• Відкриті відповіді можна порахувати, якщо розкласти їх за темами, але на це потрібен час.

Почніть із цифри, яку покажете у звіті

Перш ніж писати питання, напишіть речення, яке воно дасть у звіті («X % клієнтів…», «три найчастіші причини — це…»), і визначте, яка діаграма до нього потрібна та які групи ви порівнюватимете. Якщо речення не виходить, питання або зайве, або ще не продумане. А якщо нечіткою залишається мета всього опитування, спершу з’ясуйте, яка інформація потрібна вашому бізнесу.

Наприклад, ви хочете знати, що клієнтам зручніше: кур’єрська доставка чи самовивіз із магазину. Головне речення звіту може звучати так: «58 % обирають самовивіз» (усі цифри в прикладах цієї статті умовні). Для нього потрібне питання з одним варіантом відповіді: два варіанти, як отримати замовлення, і третій — «Мені однаково»; результат покаже стовпчаста діаграма.

Далі перелічіть групи, які порівнюватимете, наприклад нових і постійних клієнтів, і оцініть, скільки відповідей дасть кожна. Відсоток, який спирається менш ніж на три десятки відповідей, зсувається на кілька відсоткових пунктів з кожним новим респондентом, а сервіс не перевіряє, чи справді дві групи відрізняються. Тому під кожною діаграмою вказуйте базу відсотків: n, тобто кількість людей, які відповіли на питання.

Тип питання, діаграма і ключова цифра: зведена таблиця

Знайдіть у першому стовпці те, що хочете повідомити, і прочитайте рядок до кінця. Типи питань в анкеті названо так, як у редакторі опитувань eSurvey.com.ua.

Результати розміщено на п’яти вкладках: «Підсумки», «Аналіз», «Перехресна табуляція» (у статистиці це таблиця спряженості), «Індивідуальні відповіді» та «Управляти фільтрами». На вкладці «Аналіз» кожне питання з вибором відповіді має таблицю з кількістю й відсотками та стовпчасту діаграму, яка показує кількість відповідей; кнопка «Змінити тип діаграми» перетворює її на секторну. У вікні вибору стовпчаста діаграма називається «Гістограма», хоча в статистиці так називають інший графік: розподіл числових значень за інтервалами. У матриці відсотки рахуються в межах кожного рядка. Усе, чого екран не рахує, беруть з експорту: він є і на вкладці «Аналіз», і на вкладці «Індивідуальні відповіді» (файл Excel із цієї вкладки ви отримаєте електронною поштою).

Одна відповідь від кожного: частки цілого

Коли кожен респондент дає одну відповідь, відсотки в сумі становлять 100 % тих, хто відповів. Щоб цим часткам можна було довіряти, дотримуйтеся двох правил щодо варіантів і одного щодо діаграми.

Варіанти без перетинів і прогалин

Кожен респондент має знайти рівно один варіант, який йому підходить. У переліку «Одружений / заміжня», «Неодружений / незаміжня», «Розлучений / розлучена» не знайдуть себе вдівці та вдови, а також ті, хто живе з партнером без шлюбу. Візьміть категорії, якими користується Держстат, і ввімкніть у налаштуваннях питання «Показати варіант "Інше"», щоб людина могла вписати власну відповідь.

Вікові інтервали «20–30» і «30–40» ставлять кожного тридцятирічного одразу у дві групи, а без інтервалу «до 20» молодшим немає чого обрати. Пишіть так: до 20, 20–29, 30–39 і далі. Внутрішні інтервали робіть однакової ширини й беріть ті самі вікові групи, що й Держстат або ваше попереднє опитування: тоді результати можна буде порівняти. Відкритий крайній інтервал на зразок «65 і старше» цілком прийнятний.

Те саме стосується періодів. Місяці, поділені на «січень–лютий», «березень–червень» і «серпень–листопад», дають нерівні проміжки й губять липень та грудень; поділіть рік на чотири періоди по три місяці, на шість по два або на три по чотири. Про сам перелік варіантів читайте у статті про те, як сформулювати питання з множинним вибором.

Секторна чи стовпчаста діаграма

Секторна діаграма, яку ще називають круговою, доречна, лише коли частин не більш як п’ять і одна з них явно найбільша. Робіть її пласкою, без об’ємних ефектів, підписуйте кожен сектор його часткою і розташовуйте сектори від найбільшого до найменшого. В інших випадках беріть стовпчасту (стовпчикову) діаграму: так радить і настанова британської урядової служби Analysis Function Data visualisation: charts (2022). Стовпчики впорядковуйте за розміром, крім категорій із природним порядком, як-от вік чи місяці.

Потім назвіть базу відсотків. Рядок «Всього» під кожною таблицею на вкладці «Аналіз» — це кількість людей, які обрали якийсь варіант, разом із рядком «Інші відповіді». Порівняйте її з кількістю відповідей на вкладці «Підсумки» і наведіть обидва числа, наприклад: «58 % із 212 респондентів, які відповіли на це питання». Стовпчика для тих, хто пропустив питання, на екрані немає; якщо він потрібен, додайте його самі за даними експорту.

Кілька відповідей від кожного: відсоток респондентів

Якщо респондент може позначити кілька варіантів, тобто це питання з множинним вибором, називайте для кожного варіанта частку людей, які відповіли на це питання, а стовпчики впорядковуйте за розміром. У сумі вони можуть давати понад 100 %, і це правильно.

На цифри впливає і сам формат питання. В експерименті Pew Research Center за участю 4 581 дорослого американця (2018 рік, опубліковано 2019-го) питання «так чи ні» про кожен пункт дало вищі показники, ніж перелік «позначте всі варіанти, що підходять», для всіх дванадцяти пунктів, у середньому на 8 відсоткових пунктів, а порядок пунктів за розміром майже не змінився. Тепер Pew користується форматом «так чи ні», бо він змушує людину зважити кожен пункт. Думка Pew, що вищі показники ближчі до істини, спирається на припущення: респонденти частіше не позначають того, що їх стосується, ніж позначають зайве. Тому у звіті завжди зазначайте, який формат ви обрали.

Якщо важливий сам рівень показника, питайте «так чи ні» про кожен пункт; якщо лише порядок пунктів, досить переліку, де можна позначити кілька варіантів. І пам’ятайте, що саме рахує позначка: питання «У які місяці ви відвідували наш магазин?» показує, скільки людей приходило кожного місяця, а не скільки було відвідин.

Стовпець «%» у сервісі — це не частка респондентів. Для питань «Множинні відповіді» і питань із зображеннями «Обрати декілька» він показує частку кожного варіанта серед усіх позначок, разом із відповідями, вписаними в поле «Інше», тому в сумі дає 100 %. Припустімо, на питання відповіли 100 людей і поставили разом 150 позначок, з них 62 — навпроти варіанта «Електронна пошта». На екрані цей варіант матиме близько 41 %, хоча електронною поштою користуються 62 % респондентів. Поділіть кількість позначок кожного варіанта на кількість людей, які відповіли на питання; цю кількість дає експорт із вкладки «Індивідуальні відповіді».

Два налаштування змінюють саме питання. Якщо «Мін. кількість полів, яку можна обрати» більша за одиницю, люди позначають варіанти, яких інакше не обрали б. «Макс. кількість полів, яку можна обрати» (на зразок «оберіть не більш як три») перетворює питання «що вас стосується» на питання «що для вас найважливіше», тобто на питання про пріоритети. Користуйтеся ними, лише коли хочете поставити саме таке питання.

Шкали оцінювання і шкала Лайкерта: яка шкала дасть потрібний результат

Шкала Лайкерта — це набір тверджень, кожне з яких респондент оцінює за тією самою шкалою згоди, а відповіді потім зводять в один бал. Окреме питання «оцініть від 1 до 5» — це рейтингове питання, і його результат показують розподілом відповідей. Елемент «Шкала Лайкерта» в eSurvey.com.ua — саме така окрема оцінка: одна шкала від 2 до 10 поділок зі словами лише на двох кінцях, а в результатах — кількість і відсоток для кожної поділки.

Одностороння чи двостороння шкала

Двостороння шкала (від «дуже незадоволений» до «дуже задоволений») повинна мати середню поділку й однакову кількість поділок з обох боків від неї. Одностороння (від «зовсім не важливо» до «надзвичайно важливо») середини не має, і їй зазвичай вистачає п’яти поділок.

Скільки поділок

Найпевніший вибір — від п’яти до семи поділок. В огляді Krosnick і Presser (2010) надійність відповідей зростає, коли поділок стає більше, від двох до п’яти; після семи вона майже не збільшується, а підписати кожну поділку словами вже важко. Найслабші — шкали з трьох поділок. Далі дані неоднозначні: Maitland (журнал Survey Practice, 2009) наводить і велике дослідження, у якому короткі шкали показали себе добре, і аргументи на користь шкал до 11 поділок із підписами лише на двох кінцях. Тож шкала від 0 до 10 виправдана, коли вона вам справді потрібна, наприклад щоб порівняти результати з попередніми вимірюваннями.

Підпис на кожній поділці

Слова на кожній поділці роблять відповіді надійнішими, а самі підписи мають ділити шкалу на приблизно рівні кроки. Елемент «Шкала Лайкерта» підписує лише кінці. Щоб підписати кожну поділку, візьміть питання «Тільки одна відповідь» з окремим варіантом для кожної поділки або матрицю «Одна відповідь на рядок», де кожній поділці відповідає стовпець із підписом.

Середня поділка

На двосторонній шкалі середню поділку залишайте. Krosnick і Presser наводять дані (O’Muircheartaigh, Krosnick і Helic, 1999) про те, що середня поділка підвищує надійність і валідність відповідей, а люди, чия думка справді посередині, без неї навмання обирають одну із сусідніх поділок. Побоювання, що середину обирають, аби не замислюватися, підтверджується не завжди. Прибирайте її, лише коли питання вимагає рішення на користь однієї зі сторін, і скажіть про це у звіті.

Твердження «згоден — не згоден»

Твердження, з якими пропонують погодитися чи не погодитися, підштовхують до згоди незалежно від змісту: спрацьовує схильність погоджуватися з будь-яким твердженням. Її зменшує пряме питання з підписаними відповідями («Наскільки ви задоволені доставкою?») або вибір між двома протилежними твердженнями.

Як показати результат оцінювання

Покажіть увесь розподіл стовпчиками в порядку шкали, а не секторною діаграмою, і додайте одну головну цифру, наприклад «71 % задоволені або дуже задоволені». Коли поділки об’єднують, частина інформації втрачається: в одному дослідженні, яке наводять Krosnick і Presser, надійність становила 0,83 для шкали із шести поділок і 0,71 після зведення відповідей до двох груп. Тому зберігайте повну таблицю, а поруч із будь-яким середнім значенням показуйте розподіл. «Оцінка (у зірках)» і «Повзунок» показують на екрані лише середнє для кожного пункту, без розподілу, тож розподіл беріть з експорту.

Як перетворити відкриті відповіді на цифри

Відкриті відповіді рахують після кодування: прочитайте частину відповідей, складіть короткий перелік тем, віднесіть кожну відповідь до однієї чи кількох тем і порахуйте. Якщо ті самі відповіді незалежно кодують двоє людей, а потім звіряють результати, підрахунок надійніший. Головна цифра тоді має вигляд «28 % згадують ціну», а на діаграмі кожній темі відповідає свій стовпчик.

Кодування забирає час, до того ж відкриті питання пропускають набагато частіше. В онлайн-панелі American Trends Panel дослідницького центру Pew Research Center відкриті питання у 2018–2021 роках залишали без відповіді в середньому близько 18 % респондентів (від 3 % до трохи понад 50 % залежно від питання), а закриті — 1–2 %. Тому відкритих питань ставте небагато й залишайте їх для причин, які люди мають назвати своїми словами.

Під час пробного опитування відкрите питання допоможе скласти перелік варіантів для закритого; як це зробити, описано у статті про те, коли використовувати відкриті і закриті питання. А що ви виграєте і що втрачаєте з кожним типом, пояснює стаття про переваги та недоліки відкритих і закритих питань.

Вкладка «Аналіз» показує відкриті відповіді списком, по одній, із датою; вона їх не групує і не рахує. Експортуйте відповіді з вкладки «Індивідуальні відповіді» і закодуйте їх в електронній таблиці.

Обов’язкові відповіді та «не знаю»: збережіть базу для відсотків

Робіть питання обов’язковим, лише якщо на нього справді може відповісти кожен респондент, як-от на питання-фільтр, від якого залежить, що людина побачить далі. Інакше вимушена відповідь стає здогадкою, а Американська асоціація дослідників громадської думки (AAPOR) у своїх рекомендаціях застерігає: вимога обов’язково відповісти підвищує ризик того, що людина покине анкету. Як залежно від відповіді на питання-фільтр показати людині лише ті питання й сторінки, що її стосуються, пояснює стаття про логіку опитування.

• Питання може стосуватися не всіх (наприклад, воно про послугу, якою людина могла й не користуватися): додайте варіант «Мене це не стосується» або «Важко відповісти».
• Оцінка думки чи задоволеності: варіанта «Не маю думки» не додавайте. Krosnick і Presser повідомляють, що його обирають і ті, хто думку має, а якість даних від цього падає. Краще зробіть таку оцінку необов’язковою.
• Чутливе питання: дайте змогу пропустити його або обрати «Не бажаю відповідати».

У звіті пишіть, скільки людей відповіло на кожне питання. Якщо питання частіше пропускають люди певного типу, результат зміщується; про це докладно розповідає стаття про упередженість через відсутність відповідей. Параметр «Обов'язкова відповідь» вмикають окремо для кожного питання в його налаштуваннях; за замовчуванням він вимкнений.

Перевірте аналіз, перш ніж надіслати опитування

Заповніть чернетку анкети самі, обираючи крайні відповіді, і попросіть заповнити її кількох колег. Потім відкрийте екран результатів і складіть речення для звіту з того, що бачите. Це найдешевший спосіб навчитися аналізу результатів опитування: якщо якесь речення не виходить, змініть питання зараз, поки анкету ніхто не отримав. Статистичне управління Канади (Statistics Canada) зазначає, що пробне опитування навіть на кількох людях виявляє більшість проблем із формулюваннями і послідовністю питань.

Перед запуском видаліть пробні відповіді на вкладці «Індивідуальні відповіді»; видалення остаточне. Вам знадобляться також поради про порядок питань і пробне заповнення і правила формулювання кожного питання.

Порядок питань

Питання, поставлене раніше, може змінити відповіді на наступні, тому йдіть від загального до конкретного, а питання, за яким ви стежите від опитування до опитування, щоразу ставте на те саме місце. Структура анкети теж має значення: починайте з легких питань, що стосуються теми, а демографічні залишайте наостанок, якщо тільки одне з них не є питанням-фільтром, яке визначає, хто відповідатиме далі.

Підсумок

Щоб вибрати тип питання, почніть зі звіту: спершу напишіть речення і визначте діаграму для кожного питання, а потім оберіть тип, який їх дасть. Не змішуйте чотири види результату: частки цілого, частки респондентів, розподіл за шкалою і теми після кодування. Перед запуском перевірте, чи дає екран результатів змогу написати кожне речення, і занотуйте, що доведеться брати з експорту, наприклад частку респондентів для питання «Множинні відповіді» або розподіл, який стоїть за середнім значенням «Повзунка».

Щоб потренуватися, відкрийте готовий шаблон опитування про продукт, напишіть речення для звіту до кожного його питання і виправте ті питання, які не дають потрібної цифри, ще до того, як надішлете анкету.

Читайте також

• Логіка опитування: як налаштувати розгалуження анкети
• Онлайн-опитування в освіті: що школа й університет дізнаються від учнів і студентів
• Опитування щодо дистанційного навчання: що питати під час і після курсу