Сразу в руки

Эффект от обучения: как его оценить

Как понять, что обучение сработало как надо? После него сотрудники меняют поведение? Затраты окупаются в следующем квартале? Или оно бесшовно встраивается в систему развития, и у сотрудников нет проблем с применением полученных знаний? Разберёмся в методах оценки образовательных результатов и частых трудностях.

Комплексный подход Дональда Киркпатрика. Старейшая и самая цитируемая методика родом из 1950-х, которая, по сути, и не совсем методика. Киркпатрик не предлагает конкретного инструмента для оценки. Он выделяет четыре уровня образовательного результата, которые можно проанализировать с помощью качественных и количественных методов. Оценивать предлагается со стороны учащихся, организаторов обучения, а также заказчиков, если реализацией занимается провайдер.

1. Реакция учащихся. Что можно оценить: образовательный дизайн и контент, работу преподавателей (экспертов, ведущих, модераторов). Способы оценки — прямые опросы, наблюдения и замеры, например, посещаемости, активности на занятиях, объёма выполненных заданий, доходимости до финала, удовлетворённости и готовности рекомендовать обучение коллегам (индексы NPS и CSI).

Первый уровень самый поверхностный. Он показывает, нравится ли учащимся программа и организация обучения, интересно ли учиться, полезно и сподручно ли всё устроено. Удобно, что так можно выловить и быстро исправить досадные недостатки. Но встречаются и противоречивые мнения. Ведущего курса могут назвать слишком заумным и недостаточно глубоким — сразу. Одному нравятся вебинары, другой не хочет тратить на них время, для третьего слишком много текста и т. д.

2. Научение. Что можно оценить: как учащиеся поняли материал, хорошо ли усвоили, уверенно ли ориентируются в нём. Способы оценки — тесты, индивидуальные и групповые задания, открытые вопросы и обсуждения, аналитические записки.

Тесты и опросы позволяют сделать «моментальный снимок» учащегося или группы. Но надёжным этот способ не назвать: результаты будут отличаться, если учащиеся плохо сфокусированы на тесте, потому что устали или торопятся. А вот по решениям задач и обсуждением видно, готовы ли они применять знания, навыки и инструменты в работе. Также по результатам можно увидеть, подходящие ли выбраны задания и достаточно ли времени дано на освоение и отработку материала.

3. Изменение поведения. Что можно оценить: достигнуты ли образовательные цели, действуют ли сотрудники так, как планировалось, после завершения обучения. Способы оценки — наблюдение и контроль выполнения рабочих задач, интервью, аттестация (ассессмент) или селф-ассессмент.

Наблюдения и замеры на этом уровне имеют смысл, если ведутся в динамике, иначе результаты обучения не с чем сравнить. На каком уровне учащиеся владели навыками раньше и как владеют сейчас? Какие индикаторы указывали на это тогда и указывают теперь?

Чтобы получить ответы, ещё до начала проектирования образования нужно определить, каким компетенциям мы будем учить, разложить их на уровни владения и каждому приписать поведенческие индикаторы — т. е. контрольный список кейсов, с которыми может справиться человек. Дальше договориться, до какого уровня мы прокачиваем учащихся на программе и что хотим видеть в ближайшей зоне развития — через 3−6 месяцев рабочей практики. Трудоёмко, зато после будет понятно наверняка, получилось или нет.

4. Бизнес-результат. От действий отдельных сотрудников — к системным изменениям в компании. Что можно оценить: стала ли команда быстрее справляться с определёнными задачами? Увеличилось ли число людей, владеющих конкретными навыками/на конкретном уровне? Улучшилось ли качество производства/уменьшилось количество ошибок? Стало ли больше работ, которые выполняет компания? Больше ли проектов и клиентов? Сократилась ли текучка сотрудников? Улучшилась ли мобильность внутри компании? Способы оценки — наблюдения и подсчёты на уровне подразделений и всей компании в динамике (матрицы компетенций, HR-аналитика, финансовая аналитика), отзывы клиентов.

Чтобы система сложилась, нужно простроить структуру результатов сверху вниз — от верхнеуровневых целей до желаемых компетенций и их индикаторов. Должна получиться связка: цели компании>цели подразделения>цели обучения. Это карта, по которой сначала идёт провайдер, а затем её развивает тот, кто поддерживает обучение в компании — HR-служба, образовательное направление, руководители подразделений.
В дальнейшем модель Киркпатрика не раз изменяли и дорабатывали. См., например, модель CIPP (Контекст, Вводные, Процесс, Продукт) и модель CIRO (Контекст, Вводные, Реакция, Результат). Авторы этих подходов советуют внимательнее соотносить между собой: стратегию компании и потребности в обучении сотрудников; планы развития и доступные ресурсы; результаты обучения и поставленные цели.

Метод расчёта возврата вложений добавляет классической модели Киркпатрика ещё один уровень. Его автор, экономист Джек Дж. Филлипс предложил оценивать образовательный эффект с помощью расчёта коэффициента ROI (Return on Investment) — т. е. зависимости между вложением в обучение и последующей выгодой:
В расходы включены затраты на организацию и производство образовательного продукта, а также стоимость отвлечения сотрудников от рабочих задач на время учёбы.

Вроде бы всё прозрачно: чем выше прибыль компании (а вместе с ней и ROI), тем эффективнее было обучение. Но есть нюанс: чтобы увидеть, как обучение повлияло на финансовый результат, нужно изолировать его от других факторов.

Простой пример: мы месяц учили менеджеров работать с потребностями клиентов и отвечать на возражения. Замерили квартальный ROI, и он оказался выше предыдущих. Обучение проходило в конце года, а перед праздниками продажи обычно растут. А ещё руководство в это время как раз увеличило бюджет на маркетинг. Где тут эффект от обучения, а где от сезонности и стимулирования продаж — трудно разобрать.

На это же в начале 1990-х обратил внимание психолог и специалист по обучению Роберт О. Бринкерхофф. По его мнению, не бывает автономного эффекта от обучения. Это лишь один из факторов, связанный с другими: со зрелостью рабочих процессов, налаженной коммуникацией, стилем руководства и т. д. Результаты от обучения не будут высокими, если в системе есть другие проблемы.

Чтобы выяснить, что влияет на образовательный эффект, Бринкерхофф предлагает метод положительных примеров. Нужно интервьюировать сотрудников, разделив на две фокус-группы — наиболее и наименее успешных учащихся. Учащиеся сами оценивают пользу от обучения, отвечая на вопросы: «Насколько обучение изменило ваш подход к делу? В какой степени вы применяете новые знания/навыки в работе?» Дальше сотрудников каждой группы просят ответить подробнее:

  1. Насколько обучение помогает вам улучшить рабочие результаты?
  2. Что в компании помогает (помогло бы) вам успешно учиться и показывать высокие результаты? Что стоило бы поддерживать и укреплять?
  3. Что стоит изменить (улучшить), чтобы помочь вам достигать лучших результатов?

Теперь можно изучить опыт успешных учащихся и попробовать масштабировать для всех сотрудников. Опыт менее успешных учащихся указывает на недостатки (например, нехватку своевременной обратной связи или слабую поддержку руководителя), которые полезно исправить.

Какие выводы можно сделать:
  • Способа быстро оценить образовательную разницу «было-стало» ещё не придумали, и вряд ли он когда-нибудь появится.
  • Маловероятно и то, что обучение может создать видимые изменения, если параллельно не работать над процессами, не налаживать и не укреплять коммуникацию.
  • Организацию обучения (программу, материалы, форматы, работу ведущих) и глубину освоения материала оценить проще всего — с помощью опросов, наблюдения и диагностики.
  • Для анализа более глубоких изменений (развитие сотрудников и подразделений, улучшение финансовых результатов) обучение нужно встроить в систему управления, использовать единую систему оценки компетенций, вести наблюдения и подсчёты в динамике.


Этот текст можно скачать в pdf. Телеграм-канал Verno.