Портал №1 по управлению цифровыми
и информационными технологиями

Процессная математика. Динамические веса

calcmanВ книге, которую мы недавно выпустили, представлена методика формирования сбалансированных карт показателей и даже приведены два предельных способа агрегирования нескольких нормированных KPI в интегральный показатель. Почему предельных? Потому что при большом числе KPI среднее арифметическое стремится к 1, а произведение – к 0. Поэтому там же в книге честно сказано, что эти алгоритмы удовлетворительно работают только при небольшом числе KPI (3-5). А что делать, если их больше?

Уточню вопрос. Допустим, у меня есть сотрудник, который оценивается по десяти KPI. Как сделать так, чтобы при полном невыполнении одной из работ (соответствующий KPI=0%) его интегральная оценка получила бы более существенное снижение, чем 10%? Как избавиться от позиции работника «Чёрт с ними, с 10%, не буду делать эту дурацкую работу, займусь другим!»? (Веса здесь, конечно, не  работают)

Один из вариантов такого алгоритма агрегирования, который адекватно работает с бОльшим числом метрик (десять – вполне приемлемо), я и опишу.

Его идея предельно проста: это взвешенное среднее, но вес каждого KPI должен зависеть от его значения. Чем ниже значение (чем больше отклонение от целевого значения), тем выше вес.

То есть веса становятся динамическими.

Теперь вместо статически заданного веса параметр, которым управляет руководитель, такой: какое значение должен получить интегральный показатель, если все KPI 100%, а один – 0% (то есть одна область ответственности полностью провалена). Назовём эту величину MS (Marginal Score). Тогда интегральный показатель BS (Balanced Score) будет считаться методом взвешенного среднего:

fig01

с единственным, но принципиальным изменением: теперь веса KPI Wi являются функциями значений KPI Ri. Эта функциональная зависимость определяется формулой:

fig02

а параметр Wmax как раз и определяется величиной MS, выбранной руководителем:

fig03

где N – общее количество KPI, участвующих в расчете интегрального показателя.

Для понимания идеи сначала рассмотрим простой пример: десять KPI (N=10), все равнозначны. Поэтому значение MS руководитель выбрал одно для всех KPI – скажем, 50%. То есть если 9 метрик равны 100%, а одна – 0%, то интегральный показатель должен получить значение 50%. Для этого примера на рисунке ниже представлена зависимость интегральной оценки от значения одного KPI в предположении, что остальные девять равны 100%. Красной штриховой линией представлена эта же зависимость для обычного арифметического среднего:

fig05

Согласитесь, теперь игнорировать одну из областей ответственности стало гораздо «накладнее»! Значит главный минус арифметического среднего удалось преодолеть.

Минусов, присущих произведению, у алгоритма с динамическими весами тоже нет: при одной проваленной области заниматься остальными все ещё имеет смысл, поскольку значение интегральной оценки продолжает от них зависеть. Вот график, иллюстрирующий это утверждение:

fig06

Судите сами: если провалено одно направление (один KPI = 0%), то интегральная оценка равна 50% (это мы зафиксировали выбором параметра MS). Если провала два, интегральная оценка становится равной 31%, три – 21%. Опять же, красная штриховая линия показывает, что было бы с интегральной оценкой, если бы она считалась методом арифметического среднего.

Ну а что делать, если метрики неравнозначны? Тогда параметр MS для разных метрик определяется индивидуально. Например, для менее важной метрики он будет равен 75%, для более важной – 50%. То есть сложность действий руководителя неизменна: он по прежнему для каждой метрики определяет ровно один параметр. При использовании алгоритма среднего с динамическими весами этот параметр – marginal score, от которого зависят значения весов KPI.

При этом в отличие от обычного среднего арифметического и произведения, значение интегральной оценки в данном случае не будет зависеть от количества KPI.

И вся математика – не сложнее линейных функций 🙂

Вот такая идея. Как она вам?

ВНИМАНИЕ!: Для этой заметки есть важное обновление.

«VAP: Построение системы KPI для ИТ»
Как обеспечить управление процессами, проектами, услугами, персоналом

Комментариев: 14

  • Идея замечательная. И даёт хорошее представление о новой книге – что и как в ней описано.

    Думаю, обобщённый алгоритм работы с книгой таков:

    1. Прочитать про очередную идею и понять что она помогает достичь, измерить, какую проблему решить

    2. Посмотреть на формулы и ужаснуться

    3. Открыть Excel, попробовать с формулами разобраться и поиграть

    4. …

    5. PROFIT!!!

     

  • "Ты безмерно, безмерно крут". Правда, очень красивое решение. 

     

    • Все, что нужно для этого решения, проходят в школе. Никакой крутизны. Абсолютно.

      • Ну, знаешь, орфографию и пуктуацию тоже проходят в школе, однако ж и у нас тут редкий текст обходится без ошибок. Вот как этот твой, например. Почему я и говорю – ты безмерно крут. 

  • Alexander Zhilinsky

    Дима, просто супер!!

    • Саша, спасибо! А то судя по "обилию откликов" я было решил, что эта тема вообще никому не интересна, кроме наших. А тут ты 🙂

      • Alexander Zhilinsky

        Завидую белой завистью решению – очень просто и изящно! Я с этой проблемой несколько лет столкнулся, именно "изящно" решить не смог – были только топорные решения!

        Супер, так держать! 8)))

  • Петр

    Действительно интересно.

    Такими темпами данную методику еще и в Бонусные планы внесут.

     

  • Илья Рунов

    Хорошая идея, мне нравится!

    Есть вопрос, косвенно связанный с темой статьи. Предположим, что для руководителя важнее получить нужный _результат_ от подчиненного с достаточным качеством, чем пожурить и лишить премии. Вероятно, что в этом случае руководителю выгодно, чтобы подчиненный скорее самостоятельно и _проактивно_ распределял свои усилия по направлениям деятельности, чем тратил время руководителя на периодический разбор полетов постфактум. Тогда подчиненный должен, помимо понимания описанной математики, осуществлять анализ "что если" для распределения своих усилий по направлениям деятельности. 

    Вопросы: 

    * Каков мог бы быть удобный инструмент для "что если" анализа подчиненным? 

    * Если вы используете у себя какой-то инструмент, то какой? 

    * Удобен ли он вам?

    * Есть ли объективные показатели, которые доказали: да, инструмент внедрили; самооценка проводится подчиненным чаще, технически просто; руководителю легче управлять; подчиненному проще распределять усилия?

    PS: Я действительно видел человека, который при наличии достаточно сложной многофакторной системы расчета показателей (и премии) в компании рассчитывал что-то в Excel. Похоже, он написал код сам.

  • подчиненный должен, помимо понимания описанной математики, осуществлять анализ "что если" для распределения своих усилий по направлениям деятельности

    Я думаю, не стоит строить такую систему, которая предполагает. что наиболее ответственные и самоорганизованые сотрудники будут заниматься реверс-инжинирингом, чтобы понять, что нужно делать, чтобы получить высокую оценку. Это работа менеджера – поставить задачу, объяснить механизм оценки и, если нужно, рассмотреть вместе со своими подчинёнными все "что если", тем более если используется сложная система оценки и мотивации.

    Что важно для сотрудника, получив такой "инструктаж" – это иметь возможность регулярной (лучше on-line) самооценки, чтобы видеть, насколько ему удаётся достигать результатов, каковы его шансы высокой оценки, какие области его ответственности требуют большего внимания. Но это не предполагает никакого специального инструмента – тот же отчет, просто с персональным фокусом.

    • Илья Рунов

      Я полностью согласен с тезисом, что сотрудники не должны заниматься "реверс-инжинирингом", как и с тем, что "работа менеджера – объяснить".

      Однако кейс, о котором я пишу, предполагает, как и эта отличная статья:-), большое количество метрик, большое количество процессов. Пример компании, который я держу в голове, выходит далеко за рамки нескольких процессов, где сотрудник приносит основную пользу компании. Представьте, что дополнительно метрики на сотрудника навесили департаменты ИБ, HR, обучения и т.п. Я хочу сказать, что их процессы и "требования" находятся вне управления и прямой компетенции непосредственного руководителя сотрудника. При достаточной динамике изменений сторонних процессов руководитель только и будет делать, что разбираться в обновлениях и разъяснять их подчиненным. В этой ситуации есть два основных выхода: перестать думать о всяких KPI и жить по-своему, принимая и переоценивая требования периодически постфактум или попытаться проактивно анализировать изменение требований.

      Мои основные вопросы остаются:

      Как часто читателям данной статьи встречались компании и их сотрудники, которые регулярно онлайн\отчетом или как-то иначе применяли самооценку?

      Какова из них доля тех, кто делал для себя прогноз "что если" для "единой оценки" в связи с изменениями метрик?

      Какой инструмент они использовали?

      • При достаточной динамике изменений сторонних процессов руководитель только и будет делать, что разбираться в обновлениях и разъяснять их подчиненным.

        Мой ответ – значит надо или реже менять процессы, или разгонять (в смысле "ускорять") руководителей. "Спецтулами" тут делу не поможешь.

        Но давайте подождём, что скажут коллеги – народу здесь много, опыт обширный.

  • Владимир Капустин

    Очень красиво! Спасибо!

    Книга лежит с подписью – до неё пока не добрался, но теперь она явно выплывет на самый верх стопки к прочтению 🙂

  • Павел Алферов

    Ценная мысль.

    Пошло в базу знаний.

    Спасибо! 🙂

     

     


Добавить комментарий для Илья РуновОтменить ответ

Ваш адрес email не будет опубликован. Обязательные поля помечены *

DevOps
Kanban
ITSM
ITIL
PRINCE2
Agile
Lean
TOGAF
ITAM