Модель Кіркпатріка: як оцінити ефективність тренінгу

Оцінка ефективності тренінгу починається ще до першого заняття: спершу вирішіть, який результат тренінг має змінити. Далі модель Кіркпатріка пропонує виміряти чотири речі, від найпростішої до найскладнішої: як учасники сприйняли тренінг (коротка анкета наприкінці), чого вони навчилися (тест або порівняння «до» і «після»), чи застосовують вони вивчене на роботі (про це питають і їх самих, і їхнього керівника в наступні тижні) і чи зрушив результат для бізнесу (власні показники компанії, бажано в порівнянні з подібною групою, яка тренінгу не проходила). Звичайна анкета задоволеності охоплює лише перше. У статті для HR-фахівців, тренерів і керівників команд є план для кожного рівня, графік вимірювань, способи зіставити відповіді до і після тренінгу і правила для самих питань.

Коротко

• Спершу назвіть результат, який має змінити тренінг, а потім плануйте у зворотному порядку: поведінку, знання і реакцію, що до нього ведуть.
• Анкета реакції показує, чи вважають люди тренінг доречним і корисним, але не те, чи вони чогось навчилися.
• Навчання вимірюйте тестом, вправою або порівнянням «до» і «після». Дешевша заміна — самооцінка «до тренінгу» і «тепер» в одній анкеті наприкінці.
• Поведінку перевіряйте в учасника і в того, хто бачить його роботу (зазвичай це безпосередній керівник), і починайте вже в перші тижні, а не через кілька місяців.
• Щоб порівняти відповіді тих самих людей до і після, потрібен ідентифікатор. Скажіть учасникам, хто бачить окремі відповіді, показуйте результати лише в узагальненому вигляді і не називайте таке опитування анонімним.

Почніть із результату, який має змінити тренінг

Оцінювання тренінгу відповідає на два питання: чи досягла програма тієї зміни, заради якої її створювали, і що виправити, якщо не досягла. Компанії оцінюють навчання з трьох причин: щоб наступного разу провести програму краще, щоб вирішити, продовжувати її чи відмовитися від неї, і щоб обґрунтувати бюджет на навчання.

Модель Кіркпатріка — це спосіб оцінити навчальну програму на чотирьох рівнях: реакція, навчання, поведінка і результати. Її створив Дональд Кіркпатрік у 1950-х роках. Вимірюють рівні саме в такому порядку, а планують навпаки: Kirkpatrick Partners, компанія, яка розвиває модель сьогодні, радить починати з четвертого рівня і його показників. Для контакт-центру інтернет-провайдера ланцюжок може виглядати так:

1. Результат: менше повторних звернень з тією самою проблемою.
2. Поведінка: перш ніж завершити розмову, оператор перевіряє разом із клієнтом, чи проблему розв’язано.
3. Навчання: оператори знають кроки такої перевірки і вміють виконати їх під час живої розмови.
4. Реакція: оператори вважають ці кроки доречними для своїх дзвінків.

Якщо в ланцюжку бракує ланки, тренінг може бути приємним, але показати, що він змінив, ви не зможете. Серед видів опитувань персоналу анкета після тренінгу — найзвичніша, проте вона охоплює лише останню ланку.

Чотири рівні моделі Кіркпатріка: що вимірює кожен і хто відповідає

Кожен рівень потребує інших даних, від інших людей і в інший момент:

Анкета для учасників — це лише перший рівень і частина другого та третього. Решта потребує тестів, людей, які бачать роботу, і власних показників компанії. Анкета, яка питає учасників про всі чотири рівні, просто чотири рази збирає їхню думку.

Рівень 1, реакція: питайте про користь, а не лише про задоволеність

Те, наскільки тренінг людям сподобався, мало що каже про те, скільки люди навчилися. Оцінки реакції здебільшого відображають враження від самого заняття: манеру тренера, жвавість обговорень. Питання про користь і доречність тренінгу тісніше пов’язані з навчанням і з тим, чи застосують люди вивчене, ніж питання про те, чи було цікаво. Тож віддайте їм більшу частину анкети:

• Доречність: «Наскільки зміст тренінгу стосувався вашої роботи?» («Зовсім ні», «Трохи», «Помірно», «Значною мірою», «Повністю»).
• Намір застосувати: «Наскільки ймовірно, що протягом наступних двох тижнів ви застосовуватимете кроки перевірки у своїх розмовах?»
• Зрозумілість мети: «Наскільки зрозумілою була мета тренінгу?»
• Тренер і матеріали окремо: рядки «Пояснення тренера», «Вправи», «Роздатковий матеріал», кожен з оцінкою від «Погано» до «Відмінно». Одне твердження в рядку показує, що саме змінювати: тренера чи матеріали.
• Одна загальна оцінка, сформульована однаково для всіх тренінгів, щоб порівнювати програми і провайдерів.

Питання «Чи порекомендуєте ви цей тренінг колезі?» можна залишити як необов’язкове питання про намір. Того, що люди роблять після тренінгу, воно не вимірює.

В eSurvey.com.ua рядки про тренера і матеріали зручно зібрати в одне питання з групи «Матриця» типу «Одна відповідь на рядок»: у результатах для кожного рядка видно, як розподілилися відповіді саме в ньому. Шаблон на сторінці анкети зворотного зв’язку після тренінгу уже має загальну оцінку і питання про програму та організацію, а рядки про тренера, матеріали й користь для роботи додайте самі.

Рівень 2, навчання: тест до і після тренінгу

Найпереконливіший доказ навчання — короткий тест перед тренінгом і ще раз наприкінці. У Kirkpatrick Partners такі тести називають традиційним способом і зазначають, що вправа, рольова гра чи завдання, у якому видно навичку, може краще пасувати до змісту. Тест має бути коротким. Не повторюйте ті самі питання слово в слово: саме повторення може завищити приріст. Якщо більшість учасників ще до тренінгу відповідає майже на все правильно, тест просто не покаже, чого люди навчилися, тож вимірюйте поведінку.

Тест можна скласти у вигляді опитування із закритими питаннями, а бали підрахувати самостійно. Самооцінка на початку і наприкінці — слабша заміна: люди, які не знали, чого саме вони не знають, завищують свій початковий рівень, і справжній приріст губиться.

Автори сучасної версії моделі, які оновили її у 2010-х під назвою New World Kirkpatrick Model, додають на цьому рівні ще два питання і вважають їх ранніми ознаками того, чи застосують люди навичку. Перше — про впевненість: «Наскільки ви впевнені, що зможете виконати кроки перевірки під час живої розмови?» Друге — про намір: «Наскільки ви налаштовані виконувати ці кроки в кожній розмові наступного тижня?»

Коли тест неможливий: ретроспективна самооцінка «до і тепер»

Ретроспективна самооцінка (англійською retrospective pre-test) — це одна анкета наприкінці тренінгу, у якій кожну навичку оцінюють двічі: «до тренінгу» і «тепер». Свій попередній рівень люди оцінюють, уже розуміючи, з чого складається навичка, тож не завищують його. В eSurvey.com.ua для цього підійдуть два питання типу «Одна відповідь на рядок» з однаковими рядками: одне для оцінки «до», друге для оцінки «тепер».

Такий спосіб вимірює, наскільки люди самі відчувають, що навчилися. Він спирається на пам’ять, і на нього можуть впливати очікування, що покращення мало статися, та бажання виглядати краще. Allen і Nimon (2007) радять його для випадків, коли справжній тест до тренінгу провести неможливо, а не замість такого тесту. Практична перевага: обидві оцінки містяться в одній відповіді, тож зіставляти нічого не треба.

Рівень 3, поведінка: питайте учасника і безпосереднього керівника

Поведінка проявляється на роботі, тож думка самого учасника — лише одне з джерел, а не доказ. Додайте безпосереднього керівника, а якщо тренінг був для керівників чи тренерів, то людей, які бачать цю поведінку: колег, підлеглих, слухачів. Також враховують спостереження і робочі записи.

Поставте учасникові й одному спостерігачеві ті самі два-три короткі питання про конкретні дії, кожному окремо: два незалежні свідчення про одну поведінку дають більше, ніж будь-яке з них саме по собі. Оператора, наприклад, запитайте: «Як часто за останні два тижні ви перевіряли з клієнтом, чи розв’язано проблему, перш ніж завершити розмову?» Керівника — те саме про [ім’я працівника]. Варіанти відповіді: «Ніколи», «Рідко», «Іноді», «Часто», «Завжди», а для керівника ще й «Не було змоги це спостерігати».

Питайте керівників лише про ту поведінку, яку вони справді бачать. Відповіді «Не було змоги це спостерігати» показуйте окремо і ніколи не рахуйте як нуль. Якщо керівник роботи не бачить (виїзні працівники, віддалені команди), запитайте колег чи підлеглих або візьміть робочі записи. За тим самим принципом працює оцінка 360 градусів: вона поєднує оцінки керівника, колег і підлеглих.

Почніть рано. У Kirkpatrick Partners попереджають, що вимірювання поведінки не може починатися через 90 днів після навчання: тоді вже пізно усувати те, що заважає людям. Зробіть короткі перевірки в перші тижні, а повніший раунд — коли люди мали реальну змогу застосувати навичку: для сценарію розмови це кілька тижнів, для навички, потрібної раз на квартал, — після першої нагоди її застосувати. Сторінка шаблону пропонує для другого раунду 2–3 місяці; це орієнтир, а не стандарт. Опитування керівника має ще одну користь: воно залучає людину, від чиєї підтримки залежить, чи користуватимуться навичкою. Результат залежить від цієї підтримки після тренінгу, а не лише від самого заняття.

Кожен наступний раунд показуйте разом із кількістю відповідей, наприклад «відповіли 9 із 15 учасників». Ті, хто застосував навичку, відповідають охочіше, тож коли відповідей мало, частка тих, хто нею користується, виходить завищеною. Надішліть повторний лист тим, хто не відповів, а якщо відповідей усе одно мало, опишіть, що люди сказали, замість того щоб наводити відсоток.

Рівень 4, результати: показники компанії та група для порівняння

Результати вимірюють у власних даних компанії за показниками, обраними ще до тренінгу. Випереджальні показники змінюються рано (скажімо, частка звернень, розв’язаних з першого разу), запізнілі — пізніше (кількість повторних скарг за квартал). Анкета учасників на цьому рівні не потрібна. Показником може бути наявне опитування клієнтів чи працівників, якщо його провели однаково до і після тренінгу. А якщо спитати керівників, чи змінився результат, ви отримаєте їхню думку про результат, а не сам результат.

Різниця між «до» і «після» ще не доводить, що її спричинив тренінг: ті самі цифри може зрушити нова система, сезон або новий керівник. Щоб говорити про ефект, порівняйте з групою, яка тренінгу не проходила (або ще не пройшла), і вимірюйте обидві групи кілька разів. Таке порівняння чогось варте, лише якщо до тренінгу групи були подібні:

• Спершу порівняйте їхні базові показники.
• Не обирайте групу для тренінгу за її результатами. Добровольці від початку були вмотивовані, а найслабша команда, ймовірно, покращила б показники й так.
• Якщо впроваджуєте тренінг поетапно (одна команда зараз, інша наступного кварталу), визначте порядок за ознакою, не пов’язаною з результатами роботи: за містом чи жеребкуванням.

Приклад такого дизайну з наукових публікацій — нідерландська програма для менеджерів, яку оцінювали з контрольною групою і повторними вимірюваннями (Steensma і Groeneveld, Journal of Workplace Learning, 2010). Навчені менеджери покращили знання, поведінку і довгострокові результати, але «результатами» там були оцінки колег у форматі 360 градусів, а не цифри з обліку компанії.

Графік оцінювання: коли вимірювати кожен рівень

Дати визначте ще до початку тренінгу:

Наприкінці заняття розмістіть посилання на останньому слайді, покажіть QR-код, який ви створите з посилання в зовнішньому генераторі, або вставте посилання в чат онлайн-зустрічі. Тренер оголошує анкету і виходить із зали чи з дзвінка. Люди відповідають кожен зі свого телефону чи ноутбука, і ніхто не збирає пристроїв і не зазирає в екрани: коли людина відповідає сама, відвертих відповідей більше. Наступні раунди надсилайте електронною поштою.

У Kirkpatrick Partners вважають одне опитування в самому кінці програми типовою помилкою: тоді вже пізно щось коригувати. Кілька хвилин, заздалегідь закладених у розклад, нічого не відбирають в учасників, а це єдиний момент, коли всі на місці й усе ще свіже в пам’яті.

Як зіставити відповіді до і після тренінгу

Групи можна порівнювати, не знаючи, хто відповідав: середнє «до» проти середнього «після». Але щоб побачити зміну в кожної людини або поставити відповіді учасника поруч із відповідями його керівника, потрібен ідентифікатор, і тоді опитування вже не анонімне. Вирішіть, що вам потрібно, ще до того, як надішлете перше опитування.

П’ять способів, від найпростішого до найсуворішого

1. Порівняння груп без ідентифікатора. Два опитування за загальним посиланням, порівнюєте середні. Найдешевший спосіб: він показує зміну в групі, а не в людині, і склад тих, хто відповів, може відрізнятися.
2. Ретроспективна самооцінка, описана вище: зіставляти нічого не треба.
3. Запрошення електронною поштою з відстеженням відповідей. Типово відстеження вимкнене. Якщо його увімкнути, кожна відповідь пов’язується з адресою одержувача, у запрошенні з’являється примітка, що автор опитування бачитиме відповіді з цієї адреси, а ви можете відкрити відповіді кожного одержувача зі списку одержувачів. В експортах Excel і CSV адреси немає, тож щоб зіставити два опитування по кожній людині окремо, усе одно потрібне питання з ідентифікатором.
4. Питання з кодом. Необов’язкове питання типу «Один рядок» в обох опитуваннях, куди людина вписує код, який ви їй дали (наприклад, на картці під час заняття), або свою адресу електронної пошти. Додайте одне речення про те, навіщо ви питаєте і хто це читатиме. Об’єднайте два експорти Excel за цим полем і будьте готові, що кілька відповідей не знайдуть пари. Хто має список кодів, той може встановити, чия це відповідь.
5. Код, який складає сам учасник. Ті самі три-чотири короткі питання в обох анкетах, кожне просить одну літеру чи цифру з того, що знає лише сам учасник: наприклад, першу літеру імені матері або число місяця, коли він народився. Об’єднайте експорти за отриманим кодом; списку, який пов’язує код із людиною, немає ні в кого. Кілька кодів не збіжаться, і що довший проміжок між опитуваннями, то більше таких буде, тож спосіб краще підходить для пари «початок — кінець», ніж для перевірки через кілька місяців. Надсилайте таке опитування за загальним посиланням або запрошенням електронною поштою з вимкненим відстеженням відповідей, щоб жодна відповідь не була пов’язана з адресою.

Що сказати учасникам про конфіденційність

Скажіть, хто бачить окремі відповіді (наприклад, лише HR-фахівець, а не тренер і не керівник), що тренер або провайдер отримує узагальнення, а не окремі відповіді, і що результати показують лише в узагальненому вигляді. Напишіть це у вступі до опитування і в запрошенні. Про те, чим анонімність відрізняється від конфіденційності, читайте окремо.

У дуже малій групі навіть узагальнення може вказати на конкретну людину. Зачекайте, доки відповість достатньо людей, або об’єднайте кілька груп тренінгу, перш ніж показувати результати за командами.

Вісім правил для анкети

Вони стосуються кожної анкети, описаної вище:

1. Коротко. Анкета наприкінці заняття має займати кілька хвилин; шаблон зі сторінки анкети після тренінгу заповнюють за 3–4 хвилини. В експерименті з онлайн-опитуванням довша заявлена тривалість означала, що менше людей починали й завершували анкету, а відповіді ближче до кінця ставали швидшими, коротшими й одноманітнішими (Galesic і Bosnjak, 2009).
2. Кожне питання — під мету і рівень. Якщо не можете сказати, яке рішення зміниться від відповіді, приберіть питання.
3. Питайте лише про те, що можете змінити. Якщо місце проведення не зміниться, не питайте про нього.
4. Переважно закриті питання. Їх легше аналізувати, і пропускають їх набагато рідше: на загальнонаціональній панелі Pew Research Center (дорослі жителі США) закрите питання пропускали приблизно 1–2 % респондентів, а відкрите — в середньому близько 18 % (Pew Research Center, 2021). В анкеті після тренінгу цифри будуть інші, але напрям той самий. Детальніше — у статті про те, коли закриті питання кращі за відкриті.
5. Ставте питання, а не твердження для згоди, і підписуйте кожну точку шкали. «Наскільки зміст тренінгу стосувався вашої роботи?» з п’ятьма підписаними варіантами краще за твердження з відповідями «згоден — не згоден»: такі твердження підштовхують людей погоджуватися незалежно від змісту (схильність погоджуватися). Якщо все ж залишаєте їх, шкала з п’яти пунктів працює краще, ніж із семи чи одинадцяти (Revilla, Saris і Krosnick, 2014). Обмежтеся приблизно п’ятьма варіантами відповіді, а «так» і «ні» залишайте для фактів: «Чи користувалися ви кроками перевірки після тренінгу?» Про те, як нейтрально формулювати питання, ми писали окремо.
6. Наприкінці — одне необов’язкове відкрите питання, наприклад: «Що б ви змінили насамперед, щоб тренінг став кориснішим для вашої роботи?»
7. Ті самі основні питання в кожному оцінюванні, щоб з часом порівнювати програми, тренерів і провайдерів.
8. Пробне опитування. Дайте анкету двом-трьом людям, які її не складали, тією мовою, якою її заповнюватимуть, і виправте все, на чому вони спіткнулися.

Як налаштувати все в eSurvey.com.ua

1. Почніть із шаблону. На сторінці шаблону для тренінгів відкрийте «Відгук про подію», пристосуйте його до тренінгу, як радять примітки під питаннями, і додайте питання першого і другого рівнів із цієї статті.
2. Для кожного наступного раунду використовуйте «Скопіювати це опитування», щоб кожен раунд мав окремі результати. За типового налаштування «З одного пристрою (ПК, планшет або мобільний телефон) можна пройти опитування лише один раз» учасник, який протягом року знову відкриє те саме опитування, побачить свої попередні відповіді і зможе лише змінити їх.
3. Для третього рівня зробіть одне опитування для учасників і одне для керівників, а одержувачів зберіть у списки адрес електронної пошти. Для кожної адреси список може містити до п’яти додаткових значень, наприклад команду або «навчені» і «група порівняння», і за ними потім можна фільтрувати результати. Увімкніть відстеження відповідей і надішліть запрошення. Тоді в полі «Відправити електронний лист одержувачам, які» можна обрати «Не відповіли на запрошення на електронну пошту» і нагадати лише тим, хто ще не відповів (з вимкненим відстеженням це будуть усі одержувачі). Щоб опитування для керівників не відкривалося за загальним посиланням, увімкніть ще «Отримувати відповіді на опитування тільки через запрошення, які надіслані електронною поштою», але тільки разом із відстеженням відповідей, інакше запрошені не зможуть відкрити опитування. Як надіслати персональні запрошення листом, докладно описано в окремій статті.
4. Дивіться результати за групами: у розділі «Управляти фільтрами» є фільтр за додатковими значеннями зі списку адрес (він теж працює лише з відстеженням відповідей). Щоб поставити два раунди поруч в електронній таблиці, скористайтеся функцією «Експорт у Excel-форматі». Порівнювати два опитування між собою сервіс не вміє.
5. Додайте питання з кодом (спосіб 4 або 5), якщо потрібно зіставляти окремих людей. Для способу 5 відстеження відповідей не вмикайте.

Підсумок

Спершу назвіть результат, потім визначте поведінку, знання і реакцію, які до нього ведуть, а вимірюйте у зворотному порядку. Анкета реакції — це початок, а не доказ. Навчання перевіряйте тестом до і після тренінгу або ретроспективною самооцінкою, якщо тест неможливий. Учасника і того, хто бачить його роботу, питайте вже в перші тижні, а не через кілька місяців. Результат шукайте у власних показниках компанії і порівнюйте з групою, яка до тренінгу була подібною.

Ще до першого опитування вирішіть, чи потрібно зіставляти відповіді окремих людей, і скажіть учасникам, хто їх бачитиме. Коли надійдуть результати, працюйте з ними так само, як із результатами будь-якого опитування працівників.

Почніть з анкети для кінця заняття: візьміть готовий шаблон і доповніть його питаннями першого і другого рівнів.

Читайте також

• Що робити з результатами опитування працівників: план дій
• Види опитувань персоналу: яке обрати і коли проводити
• Ефект інтерв’юера та переваги онлайн-опитувань