Вышло фундаментальное научно-верифицированное (в отличие от вечно победных пиар релизов) исследование успешности ИТ проектов на горизонте до 30 лет в разрезах от очень малых до очень больших проектов.
Ниже — краткая выжимка. Кому интересно, полный текст и перевод на странице публикаций
«Is Complexity Theory Right that Bigger Is Riskier? Evidence from Information Technology»
Fioralba Ajazi, Daniel Nickelsen, Jens Schmidt, Bent Flyvbjerg, Maria Christodoulou
Общая идея статьи
Статья посвящена проверке одного из наиболее распространенных постулатов теории сложности и управления проектами: чем больше ИТ-проект, тем выше его риск. Данное предположение десятилетиями лежало в основе многих моделей управления проектами, методик оценки рисков и корпоративных процессов управления портфелями.
Авторы проводят крупнейшее на сегодняшний день эмпирическое исследование данной гипотезы, используя более 5000 завершенных ИТ-проектов из 64 стран мира. Полученные результаты оказываются неожиданными: размер проекта практически не является хорошим предиктором риска, а наиболее опасными по стоимости оказываются вовсе не мегапроекты, а самые маленькие проекты.
Работа имеет большое практическое значение, поскольку ставит под сомнение существующие подходы к управлению рисками в ИТ и предлагает переосмыслить сами критерии оценки риска проектов.
Цель исследования
Авторы стремились проверить две фундаментальные гипотезы:
H1. Чем больше бюджет проекта, тем выше вероятность превышения бюджета.
H2. Чем больше бюджет проекта, тем выше вероятность нарушения сроков реализации.
Размер проекта измерялся утвержденным бюджетом (Estimated Cost) на момент окончательного инвестиционного решения (Final Investment Decision), а риск оценивался двумя показателями:
- превышение стоимости (Cost Overrun);
- превышение сроков (Schedule Overrun).
Используемые данные
Исследование основано на уникальной базе данных Бента Фливбьерга, которая используется в исследованиях мегапроектов уже более двадцати лет.
Использованы:
- 5094 ИТ-проекта для анализа перерасхода бюджета;
- 831 проект для анализа превышения сроков;
- проекты выполнялись с 1988 по 2017 год;
- представлены государственный и коммерческий сектор;
- 64 страны;
- десятки типов проектов (ERP, BI, разработка ПО, кибербезопасность и др.).
Авторы специально отказались от анкетных исследований и использовали только документально подтвержденные данные завершенных проектов.
Методология исследования
Для анализа проекты были разделены на пять одинаковых групп по размеру бюджета:
- очень маленькие;
- маленькие;
- средние;
- большие;
- очень большие.
Далее исследовались:
- средние значения перерасходов;
- медианы;
- форма распределений;
- вероятность экстремальных перерасходов;
- статистическая значимость различий между группами.
Особенностью работы является применение Generalized Linear Mixed Models (GLM) и анализа распределений Парето (Power Law) для исследования так называемых «толстых хвостов» риска, что позволяет анализировать экстремальные события значительно точнее традиционных методов.
Основные результаты
1. Размер проекта практически не влияет на риск перерасхода бюджета
Вопреки распространенной точке зрения авторы не обнаружили положительной зависимости между бюджетом проекта и стоимостью перерасхода.
Более того:
самые маленькие проекты оказались наиболее рискованными.
Средние перерасходы составили:
| Размер проекта | Средний перерасход |
| Очень маленькие | 192% |
| Маленькие | 53% |
| Средние | 42% |
| Большие | 42% |
| Очень большие | 57% |
При этом медианное значение почти во всех группах близко к 100%, что означает выполнение большинства проектов примерно в рамках бюджета. Однако небольшая доля проектов демонстрирует гигантские перерасходы, формируя так называемые «толстые хвосты» распределения риска.
2. Малые проекты обладают наиболее высоким риском экстремальных перерасходов
Авторы исследовали не только средние значения, но и вероятность катастрофических перерасходов.
Для этого использовалось распределение Парето.
Полученный показатель α оказался минимальным именно у самых маленьких проектов.
Это означает:
- значительно более высокую вероятность чрезвычайно больших перерасходов;
- практически непредсказуемый уровень риска.
Авторы называют такую ситуацию Wild Risk по классификации Бенуа Мандельброта.
3. Размер проекта также не объясняет задержки сроков
Анализ сроков дал аналогичные результаты.
Хотя отдельные группы демонстрировали небольшие различия, статистически устойчивой зависимости между размером проекта и задержками обнаружено не было.
Наоборот:
- маленькие проекты нередко выполнялись хуже крупных;
- самые большие проекты вовсе не оказались лидерами по задержкам.
Почему это происходит?
Авторы предлагают несколько объяснений.
1. Малые проекты получают недостаточное внимание
Во многих организациях считается:
«Небольшой проект — небольшой риск.»
Следовательно:
- меньше контроль;
- меньше управление рисками;
- менее опытные команды;
- слабее проектное управление;
- меньше резервов.
Это создает ложное ощущение безопасности.
2. Ошибочная связь между размером и сложностью
Традиционно считается:
Большой бюджет ⇒ высокая сложность ⇒ высокий риск.
Авторы показывают, что эта цепочка далеко не всегда работает.
Сложность определяется не только масштабом, но и:
- зрелостью организации;
- опытом команды;
- архитектурой системы;
- количеством изменений;
- компетенциями участников.
Именно поэтому небольшой проект может оказаться значительно сложнее крупного.
3. Компетенции важнее бюджета
Авторы предполагают, что реальным фактором риска является не размер проекта, а соответствие компетенций команды сложности проекта.
Один и тот же проект может быть:
- рутинной задачей для опытной организации;
- крайне рискованным для неопытной компании.
Психологические причины ошибок
Авторы связывают результаты исследования с двумя известными когнитивными эффектами.
Эффект Даннинга—Крюгера
Менее опытные организации:
- переоценивают собственные возможности;
- недооценивают риски;
- хуже прогнозируют стоимость.
Bias уникальности (Uniqueness Bias)
Каждый новый проект воспринимается как «совершенно уникальный», из-за чего организации не используют накопленный опыт аналогичных проектов и не применяют методы сравнения с референтными классами (Reference Class Forecasting).
Практические выводы для управления проектами
Авторы предлагают пересмотреть традиционные подходы.
Не использовать бюджет как основной индикатор риска
Сегодня во многих компаниях действует правило:
«Чем больше бюджет — тем выше уровень контроля.»
Исследование показывает, что подобный подход ошибочен.
Размер бюджета плохо предсказывает риск проекта.
Малые проекты требуют такого же внимания
Особенно важно:
- полноценное управление рисками;
- независимые проверки;
- контроль качества;
- опытный руководитель проекта;
- резервирование бюджета.
Необходимо учитывать «толстые хвосты»
Распределение рисков ИТ-проектов не является нормальным.
Экстремальные события происходят существенно чаще, чем предполагают классические модели оценки риска.
Следовательно:
- обычные методы вероятностной оценки недостаточны;
- необходимы специальные подходы к управлению редкими, но чрезвычайно дорогими событиями.
Основные рекомендации авторов
Авторы формулируют четыре ключевых вывода исследования.
1. Все ИТ-проекты обладают высоким уровнем риска
Независимо от бюджета вероятность значительных перерасходов остается высокой.
2. Малые проекты вовсе не являются безопасными
Наоборот, именно они демонстрируют наибольший риск крупных перерасходов.
3. Размер бюджета не должен определять уровень управления
Использование бюджетных порогов для назначения уровня контроля приводит к тому, что наиболее рискованные проекты могут вообще не попадать в поле зрения руководства.
4. Управление рисками должно учитывать распределения с «толстыми хвостами»
Авторы считают необходимым отказаться от предположения о нормальном распределении рисков и строить современные системы управления проектами с учетом высокой вероятности экстремальных событий.
Итоговое заключение
Статья представляет собой одно из наиболее масштабных эмпирических исследований риска ИТ-проектов и существенно корректирует устоявшиеся представления в области управления проектами. Главный вывод состоит в том, что размер проекта сам по себе не является надежным индикатором риска. Более того, самые небольшие проекты оказываются наиболее уязвимыми к экстремальным перерасходам бюджета и нередко демонстрируют более высокий уровень риска, чем крупные инициативы.
Для практики управления проектами это означает необходимость отказа от традиционного подхода, при котором уровень контроля определяется исключительно бюджетом. Вместо этого организациям следует оценивать зрелость команды, сложность архитектуры, степень новизны решения, качество управления требованиями и наличие релевантного опыта. Авторы также подчеркивают, что риск ИТ-проектов имеет природу «толстых хвостов»: экстремальные отклонения являются не исключением, а фундаментальной характеристикой таких проектов. Следовательно, эффективное управление должно быть ориентировано не только на средние значения, но и на подготовку к редким, но крайне дорогостоящим событиям.
IT Services & Project Management 