Методы оценки обучения персонала: что измерять и чем это доказать

Директор спрашивает: мы потратили на обучение полтора миллиона, что изменилось. Руководитель обучения показывает: курс прошли 240 человек, средний балл 87, удовлетворённость 4,6 из 5. Директор смотрит на это и не понимает, стало ли лучше работать отдел продаж.

Посещаемость, баллы и удовлетворённость описывают процесс обучения. Последствия остаются за кадром. Ниже разберём, что измерять вместо них и как получить цифры, с которыми можно идти к руководству.

Три показателя, которые ничего не доказывают

Сколько человек прошли. Показывает загрузку отдела обучения. Если 240 человек прошли курс и ничего не изменилось в работе, цифра 240 только подтверждает, что деньги потрачены.

Средний балл за тест. Зависит от того, как составлен тест. Вопрос с тремя вариантами, где правильный очевиден, даёт 90% сдачи и ноль информации. Высокий средний балл чаще говорит о качестве вопросов, чем о качестве знаний.

Удовлетворённость. Отвечает на вопрос, понравилось ли людям. Понравившийся тренинг и изменившееся поведение это разные вещи: харизматичный спикер соберёт 4,9, после чего все вернутся к прежней работе. Обратная связь нужна, но собирать её надо иначе, и отвечает она на другой вопрос.

Четыре уровня оценки

Рабочая схема разделяет оценку на четыре слоя. Каждый следующий сложнее измерить и ближе к деньгам.

Уровень 1. Реакция

Что сотрудник думает о материале: понятно ли, применимо ли, сколько времени занял. Измеряется опросом сразу после прохождения.

Полезен для одного: найти сломанные модули. Половина людей отвечает на блоке «не понял, зачем это»: значит переделывать надо блок. Как оценка результата обучения этот уровень бесполезен.

Уровень 2. Усвоение

Что человек реально запомнил и понял. Измеряется проверкой, но качество измерения зависит от её устройства.

Что даёт сигнал:

• Число попыток до сдачи. Сдал с первой или с четвёртой, это разные ситуации, хотя итог одинаковый.
• Распределение ошибок по вопросам. Если на одном вопросе спотыкаются 70% людей, дело в материале или в формулировке вопроса.
• Развёрнутые ответы вместо выбора из вариантов. «Опишите, что вы сделаете, если клиент говорит, что у конкурента дешевле» показывает больше, чем тест с четырьмя вариантами.
• Проверка через время. Тот же вопрос через месяц отделяет усвоенное от запомненного на один день.

Подробнее про признаки настоящего усвоения мы разбирали отдельно.

Уровень 3. Применение

Изменилось ли поведение на рабочем месте. Это первый уровень, который что-то говорит бизнесу, и первый, который нельзя измерить внутри системы обучения.

Чем измеряют:

• Наблюдение по чек-листу. Руководитель или тайный покупатель отмечает конкретные действия: поздоровался, выявил потребность, предложил дополнение. Формулировка «работает хорошо» тут не годится, нужен перечень наблюдаемых шагов.
• Выборочный разбор записей. Десять звонков или переписок в месяц на сотрудника, размеченных по тем же пунктам, что и обучение.
• Частота однотипных ошибок. Если до обучения оформляли заявку неправильно 30 раз в месяц, а после 8, это измеримое изменение поведения.
• Срок выполнения типовой операции. Работает там, где есть норматив: сборка заказа, оформление документа, ответ на обращение.

Важный момент: замер до обучения обязателен. Без него через три месяца не с чем сравнивать, и разговор сводится к ощущениям.

Уровень 4. Результат

Что изменилось в показателях бизнеса. Это то, ради чего всё затевалось, и то, что сложнее всего отделить от остальных факторов.

Показатели, которые обычно двигает обучение:

• Срок выхода новичка на норму. Самый честный показатель для адаптации: сколько дней до плановых результатов. Считается по дате найма и дате достижения нормы, спорить тут не о чем.
• Доля прошедших испытательный срок. Если новички уходят на втором месяце, обучение либо отсутствует, либо не помогает.
• Число рекламаций и возвратов. Для розницы, сервиса и производства это прямое следствие того, знает ли человек свою работу.
• Конверсия и средний чек. Для продаж, но с оговоркой ниже.
• Разброс между сотрудниками. Недооценённая метрика. Если до обучения лучший продавал в четыре раза больше худшего, а стало в два, обучение подтянуло слабых, даже если средний показатель почти не сдвинулся.

Как отделить обучение от остальных факторов

Главное возражение к четвёртому уровню звучит так: выручка выросла, но, может, дело в сезоне или в новой рекламе. Возражение справедливое, и есть три способа его закрыть.

Сравнение групп. Одна часть сотрудников проходит обучение, вторая пока нет. Через месяц показатели сравниваются. Способ даёт самый чистый ответ, но требует терпения: половина компании временно остаётся без обучения.

Сравнение с собой до и после. Показатели того же сотрудника за три месяца до и три месяца после. Хуже защищает от сезонности, зато не требует делить людей.

Привязка к конкретному действию. Самый практичный вариант. Если обучение было про допродажу, измеряется доля чеков с дополнительным товаром. Общая выручка тут слишком грубый инструмент. Чем уже показатель, тем меньше на него влияет всё остальное.

Кто измеряет и когда

Методика тут вторична. Оценка разваливается там, где не назначен ответственный. Работающее распределение выглядит так.

Уровни 1 и 2 собирает система. Число попыток, ошибки по вопросам, результаты повторных проверок считаются автоматически. Человек нужен, только чтобы раз в квартал посмотреть на модули с худшей сдачей и переписать их.

Уровень 3 измеряет непосредственный руководитель. Не отдел обучения: он не видит, как сотрудник работает каждый день. Руководителю нужен чек-лист на десять пунктов и договорённость, что он заполняет его, например, на трёх сотрудниках в месяц.

Уровень 4 берётся из отчётности, которая уже есть. Срок выхода на норму, текучесть на испытательном, рекламации, конверсия обычно считаются и без обучения. Задача сводится к тому, чтобы привязать существующие цифры к датам обучения.

По срокам: уровни 1 и 2 сразу и через месяц, уровень 3 через месяц и через три, уровень 4 через квартал. Раньше квартала смотреть на бизнес-показатели бессмысленно, изменения не успевают проявиться.

Как это выглядит в разных отраслях

Четвёртый уровень сильно зависит от того, чем занимается компания. Примеры того, что берут в качестве показателя.

• Розница. Доля чеков с дополнительным товаром, средний чек по точке, результаты тайного покупателя по чек-листу стандартов.
• Производство. Число брака по вине персонала, простои из-за неправильной эксплуатации, срок допуска нового рабочего к самостоятельной работе.
• Медицина и сервис. Жалобы пациентов и клиентов, доля повторных обращений, соблюдение протокола при выборочной проверке карт.
• Продажи. Конверсия на том этапе воронки, которому учили. Общая слишком зашумлена: учили работе с возражением, смотрим долю сделок, где возражение возникло и было пройдено.
• Дилерская сеть. Доля точек, где продавцы прошли проверку по новому продукту, и продажи этого продукта в тех точках против остальных.

Что показывать руководству

Отчёт, который читают, помещается на одну страницу и отвечает на четыре вопроса.

1. Сколько стоило. Прямые расходы плюс время сотрудников, потраченное на обучение, в деньгах.
2. Что изменилось в поведении. Один-два показателя третьего уровня с цифрами до и после.
3. Что изменилось в результате. Один показатель четвёртого уровня, желательно тот, что ближе всего к теме обучения.
4. Что дальше. Какие модули переделываются и почему, на основании данных второго уровня.

Про то, как собрать такой отчёт из данных системы, у нас есть отдельный разбор.

Четыре ошибки, которые обесценивают оценку

Мерить только то, что легко померить. Посещаемость и баллы считаются автоматически, поэтому отчёт собирается из них. Уровни 3 и 4 требуют работы, и именно поэтому их пропускают.

Не делать замер до. Самая частая и самая дорогая ошибка. Данные «после» без данных «до» не доказывают ничего.

Проверять сразу после прохождения. Тест через пять минут после материала измеряет короткую память. Настоящая проверка происходит через месяц, и лучше без предупреждения.

Оценивать эрудицию вместо умения. Человек знает, что такое отработка возражения, и не умеет отработать его в разговоре с раздражённым клиентом. Знание и умение разные вещи, и проверять надо второе: разбором ситуаций, тренажёрами, наблюдением за реальной работой.

С чего начать, если сейчас не измеряется ничего

Не стройте систему оценки на всю компанию сразу. Возьмите одно обучение и одну должность.

1. Выберите обучение, у которого есть понятный ожидаемый результат. Адаптация новичков подходит лучше всего: там есть срок выхода на норму.
2. Зафиксируйте текущее состояние: сколько дней в среднем уходит у новичка сейчас, какая доля проходит испытательный срок.
3. Определите одно наблюдаемое действие, которое должно измениться, и способ его замера.
4. Запустите обучение на ближайших новичках.
5. Через три месяца сравните с тем, что записали на втором шаге.

Одна такая цифра на защите бюджета работает лучше, чем отчёт о 240 прошедших с удовлетворённостью 4,6.

В Атмагуру данные первых двух уровней собираются сами: число попыток, распределение ошибок по вопросам, результаты повторных проверок через месяц, срез по компании и каждому сотруднику. Уровни применения и результата остаются за компанией, но обучение можно собрать так, чтобы их было чем измерять: с наблюдаемыми действиями вместо общих формулировок. Посмотреть, как устроено.