Точность, объяснимость и контроль прогнозов

Главная мысль
Точность — это не одно число. Прогноз считается надёжным, когда он проверен на будущих периодах, не имеет устойчивого смещения, соответствует нужному уровню планирования и помогает принимать решения лучше базового сценария.

Качество прогноза WAPE, MAE, Bias и показатели на нужном горизонте и уровне.	Временная проверка Backtesting и rolling-origin validation без подглядывания в будущее.
Неопределённость Диапазон возможного спроса и вероятность выхода за границы.	Объяснимость Факторы, события и изменения, сформировавшие прогноз и рекомендацию.
Контроль человека Ручные корректировки фиксируются, сравниваются и измеряются через FVA.	Управление исключениями В работу выводятся отклонения, где ошибка значима для результата.

1. Что означает точность прогноза в ATAS

ATAS оценивает не совпадение одной цифры с фактом, а пригодность прогноза для конкретного решения. Для закупки важна ошибка на горизонте срока поставки, для пополнения — на периоде между заказами, для сезонной закупки — на всём окне продаж, для финансового плана — на уровне категории, канала или компании.

Почему нельзя назвать прогноз точным одним показателем

одинаковая процентная ошибка по SKU может иметь разное денежное значение;
ошибка по сети может скрывать дефицит в одних точках и излишек в других;
низкая средняя ошибка не исключает устойчивого завышения или занижения;
точность на ближайшей неделе не гарантирует качества на горизонте закупки;
неопределённый спрос может иметь корректный средний прогноз, но широкий диапазон исходов;
хороший математический прогноз не создаёт эффекта, если рекомендации не выполняются.

Точность привязана к решению
ATAS заранее фиксирует объект прогноза, горизонт, шаг времени, уровень агрегации, допустимую ошибку и экономическое последствие отклонения. Без этого сравнение моделей теряет управленческий смысл.

2. На каком уровне и горизонте измеряется ошибка

Один и тот же прогноз проверяется на нескольких уровнях и горизонтах. Это позволяет отличить ошибку модели от ошибки распределения между товарами, магазинами или периодами.

Измерение	Пример	Почему важно
Объект	SKU × магазин, модель × цвет, категория × канал, клиент × товар.	Ошибка должна соответствовать уровню фактического решения.
Горизонт	1 день, 1 неделя, срок поставки, сезон, квартал.	Чем дальше горизонт, тем выше неопределённость и другой состав факторов.
Шаг времени	День, неделя, месяц.	Месячная точность может скрывать недельные дефициты и пики.
Иерархия	Товар, подкатегория, категория, сеть.	Нужна согласованность операционного и финансового плана.
Сегмент	ABC/XYZ, новинки, сезон, промо, редкий спрос.	Средняя метрика не должна скрывать слабое качество важных групп.
Денежный вес	Выручка, валовая прибыль, стоимость запаса.	Крупные ошибки по значимым позициям получают соответствующий приоритет.

Точность по горизонту решения

Если поставка занимает четыре недели, качество прогноза оценивается не только на следующую неделю, а на накопленный спрос в течение защищаемого периода. Для пополнения учитывается срок поставки и интервал между заказами. Для сезонного товара — продажи и остаток к контрольным датам сезона.

3. Как ATAS проверяет прогноз во времени

Случайное деление истории на обучающую и тестовую выборки для временных рядов создаёт риск подглядывания в будущее. ATAS использует временную валидацию: модель обучается только на данных, которые были доступны на дату формирования прогноза, после чего сравнивается с последующим фактом.

Rolling-origin validation

1. Выбирается историческая дата, на которой компания могла сформировать прогноз.

2. Модель получает только данные, известные на эту дату.

3. Формируется прогноз на установленный горизонт.

4. Результат сравнивается с фактом будущего периода.

5. Дата сдвигается вперёд, и проверка повторяется на нескольких окнах.

6. Метрики агрегируются по горизонтам, сегментам и уровням иерархии.

Проверяется процесс, а не удачный период
Одна точка проверки может случайно совпасть с фактом. Серия последовательных исторических прогнозов показывает устойчивость метода в обычных, сезонных, промо- и аномальных периодах.

Как исключается утечка данных

в расчёт не попадают фактические продажи, цены и остатки после даты прогноза;
промо используется как известный план, а не как постфактум обнаруженное событие;
атрибуты и справочники восстанавливаются в состоянии, доступном на момент расчёта;
недоступность товара отделяется от истинного снижения спроса;
ручные корректировки сравниваются с исходным прогнозом на той же дате.

4. Какие метрики использует ATAS

Метрики дополняют друг друга. ATAS показывает абсолютный размер ошибки, относительную ошибку по объёму и направление систематического смещения.

Метрика	Формула / логика	Как читать
MAE	Среднее абсолютное отклонение \|Факт − Прогноз\|.	Показывает ошибку в натуральных единицах: штуках, заказах или рублях.
WAPE	Сумма абсолютных ошибок / сумма факта.	Показывает долю ошибки от общего объёма и устойчивее MAPE при малых продажах.
Bias	Сумма (Прогноз − Факт) / сумма факта или средняя знаковая ошибка.	Положительное значение указывает на завышение, отрицательное — на занижение.
RMSE	Корень из средней квадратичной ошибки.	Сильнее штрафует крупные промахи и используется для контроля экстремальных ошибок.
MASE	MAE модели / MAE наивного прогноза.	Значение ниже 1 означает преимущество над выбранным базовым методом.
Service outcome	Дефицит, lost sales, излишек, уровень сервиса.	Показывает, как ошибка прогноза преобразовалась в операционный результат.

Почему MAPE применяется ограниченно

При нулевом факте процентная ошибка не определяется, а при очень малом спросе становится чрезмерно большой. Поэтому ATAS не использует MAPE как единственный показатель для SKU с редким и прерывистым спросом.

Пример интерпретации

WAPE 18% показывает масштаб абсолютных отклонений относительно общего объёма, но не сообщает направление ошибки. Если одновременно Bias равен +12%, прогноз систематически завышен: часть ошибки превращается в излишний заказ и запас. Если Bias близок к нулю, завышения и занижения взаимно компенсируются, но локальные ошибки всё ещё могут быть значительными.

5. Как ATAS сравнивает прогноз с базовым сценарием

Сложная модель имеет ценность только тогда, когда устойчиво превосходит простой и понятный ориентир. ATAS сравнивает результаты с несколькими базовыми прогнозами, соответствующими типу спроса.

Последнее значение Следующий период равен последнему наблюдаемому факту.	Сезонный naive Прогноз повторяет сопоставимый период прошлого сезона или года.
Скользящее среднее Используется среднее нескольких последних сопоставимых периодов.	План / бюджет Показывает, насколько операционный прогноз отличается от утверждённой цели.
Экспертный прогноз Сравнивается результат действующего ручного процесса компании.	Текущая модель Новая версия должна подтвердить улучшение до промышленного использования.

Что означает улучшение

Модель должна улучшать не только среднюю ошибку, но и значимые сегменты: товары высокой ценности, длинные сроки поставки, новинки, сезон и дефицитные позиции. ATAS не заменяет стабильный метод более сложным, если выигрыш статистически и экономически незначим.

6. Как измеряется точность на разных уровнях

Ошибка на агрегированном уровне обычно ниже, потому что положительные и отрицательные отклонения компенсируются. Поэтому ATAS отдельно показывает качество прогноза по сети, категориям, магазинам и SKU.

Ситуация	Что может скрыть одна агрегированная метрика	Контроль ATAS
Сеть попала в общий объём	Излишек в одном регионе компенсировал дефицит в другом.	Ошибка и Bias по кластерам, магазинам и складам.
Категория близка к факту	Спрос распределился между товарами иначе, чем ожидалось.	Точность долей, замещение и ошибка по SKU.
Месяц попал в план	Пик продаж сместился между неделями.	Ошибка по шагам времени и накопленная ошибка горизонта.
Среднее качество приемлемо	Важные A-позиции прогнозируются хуже длинного хвоста.	Взвешенные метрики и отдельные показатели по сегментам.
Bias близок к нулю	Сильные завышения и занижения взаимно сократились.	Распределение ошибок, абсолютная ошибка и доля крупных исключений.

Согласование иерархии

Операционный прогноз SKU и финансовый прогноз категории должны формировать согласованную картину. ATAS контролирует сумму нижних уровней и при необходимости согласует прогнозы по иерархии, сохраняя структуру спроса и ограничения конкретных товаров и точек.

7. Как ATAS работает с неопределённостью

Точечный прогноз показывает наиболее ожидаемое значение, но не отражает диапазон возможных исходов. ATAS формирует интервалы прогноза и показывает, насколько устойчиво решение при изменении спроса.

Элемент	Что показывает	Управленческое применение
Центральный прогноз	Наиболее вероятный или ожидаемый объём.	Базовый план продаж, закупки и пополнения.
Нижняя граница	Сценарий слабого спроса при заданном уровне вероятности.	Риск излишка, уценки и замороженного капитала.
Верхняя граница	Сценарий высокого спроса.	Риск дефицита, потерянных продаж и необходимости резерва.
Ширина интервала	Степень неопределённости.	Определяет осторожность решения и необходимость ручной проверки.
Вероятность сценария	Шанс достижения порога или выхода за него.	Выбор уровня сервиса, страхового запаса и сценария заказа.

Неопределённость не является ошибкой модели

Широкий интервал может быть корректным результатом для новинки, редкого спроса, промо или нестабильного рынка. Ошибка возникает, когда фактические значения систематически выходят за рассчитанные границы чаще ожидаемого.

Решение проверяется сценарно
ATAS показывает, как меняются запас, дефицит, валовая прибыль и потребность в финансировании при нижнем, базовом и верхнем сценариях спроса. Это позволяет выбирать действие с учётом риска, а не маскировать неопределённость одной цифрой.

8. Как контролируется систематическое смещение

Bias показывает устойчивое направление ошибки. Завышенный прогноз ведёт к излишку, уценке и капиталу в запасе. Заниженный — к дефициту, потерянным продажам и ухудшению сервиса. Даже при приемлемом WAPE устойчивое смещение требует вмешательства.

Положительный Bias Прогноз выше факта: риск переоценки спроса и лишнего заказа.	Отрицательный Bias Прогноз ниже факта: риск дефицита и недополученной прибыли.
Bias по сегменту Системная проблема может проявляться только у бренда, региона или типа спроса.	Bias по горизонту Модель может быть нейтральной на неделю и завышать на длительный срок.
Tracking signal Накопленное смещение сравнивается с типичным размером ошибки.	Порог действия При устойчивом выходе за пределы создаётся исключение для проверки.

Поиск причины смещения

изменение тренда или жизненного цикла, которое модель отражает с задержкой;
неполная очистка продаж от дефицита, возвратов или разовых заказов;
ошибочный план промо или цены;
систематические ручные завышения либо занижения;
изменение ассортимента, каналов, клиента или территории;
дрейф поведения после изменения рынка, конкурента или поставок.

9. Как оценивается редкий и прерывистый спрос

Для SKU и клиентов с большим количеством нулевых периодов процентные метрики и обычные модели работают нестабильно. ATAS выделяет прерывистый спрос в отдельный сегмент и оценивает частоту появления потребности и размер ненулевого заказа.

Методы для прерывистого спроса

В методологии применяются подходы семейства Croston и его корректировки, а также вероятностные модели интервала между событиями и размера заказа. Выбор метода подтверждается временной валидацией и сравнением с сезонным и наивным базовым сценарием.

Контроль	Почему нужен
Доля нулевых периодов	Отделяет действительно редкий спрос от потерь продаж из-за отсутствия товара.
Интервал между заказами	Показывает частоту возникновения потребности.
Размер ненулевого заказа	Отражает типичный объём при появлении спроса.
Вероятность спроса на горизонте	Нужна для решения, хранить ли запас локально или обслуживать под заказ.
Стоимость ошибки	Помогает выбрать между риском дефицита и дорогим медленным запасом.

Нулевые продажи не всегда означают нулевой спрос ATAS отделяет отсутствие покупки от отсутствия товара, закрытия точки, потери данных и переключения на аналог. Иначе модель закрепляет дефицит как ожидаемое состояние.

10. Как проверяются промо, новинки и аномальные периоды

Промо, запуск нового товара, изменение цены, разовая B2B-сделка и внешний шок требуют отдельной оценки. Они не должны автоматически переноситься в базовый спрос или исключаться из истории без объяснения.

Ситуация	Подход к проверке
Промо	Сравниваются baseline, ожидаемый uplift, фактический эффект, каннибализация и post-promo dip.
Новинка	Используются аналоги и диапазон сценариев; точность пересчитывается по мере накопления истории.
Разовый заказ	Событие маркируется и не переносится в регулярный прогноз без подтверждённой повторяемости.
Дефицит	Факт корректируется на скрытый спрос и замещение, иначе прогноз систематически занижается.
Изменение цены	Проверяется эластичность и сдвиг между ценовыми уровнями.
Внешний шок	Период выделяется отдельно; решение о его весе принимается по вероятности повторения.

Контроль качества события

ATAS проверяет даты, товары, точки, механику, плановую цену и доступность. Ошибка в календаре акции или ассортименте промо способна выглядеть как ошибка модели, хотя причиной является качество входных данных.

11. Как ATAS объясняет прогноз

Объяснимость показывает, какие факторы изменили прогноз относительно базового уровня. Пользователь видит не технический перечень коэффициентов, а понятную декомпозицию причин и их направление.

Базовый уровень Обычный спрос без специальных событий и изменений.	Тренд Устойчивый рост или снижение спроса.
Сезонность Календарный цикл, праздники и положение внутри сезона.	Цена и промо Ожидаемый эффект цены, скидки и механики акции.
Наличие и ассортимент Восстановление скрытого спроса и эффект ввода или вывода SKU.	Локальные факторы Магазин, регион, канал, клиент, погода или отдельное событие.
Аналоги Перенос информации с похожих товаров и точек при недостатке истории.	Ручная корректировка Изменение пользователя показывается отдельно от модельного результата.

Объяснение должно отвечать на управленческий вопрос

ATAS показывает, почему прогноз изменился, какие данные подтвердили изменение, насколько оно устойчиво, что произойдёт при другом сценарии и какой фактор создаёт наибольшую неопределённость. Это позволяет проверить решение до закупки или изменения запаса.

12. Как объясняется рекомендация, а не только прогноз

Одинаковый прогноз может привести к разным решениям при разных сроках поставки, уровне сервиса, запасе, бюджете и ограничениях. Поэтому ATAS отдельно объясняет переход от прогноза к действию.

Шаг	Что показывает ATAS
Проблема	Дефицит, излишек, отклонение плана, нестабильность или риск сервиса.
Причина	Изменение спроса, цены, сезона, наличия, поставки, ассортимента или исполнения.
Сценарии	Оставить решение, изменить заказ, переместить, скорректировать цену или запросить подтверждение.
Ограничения	MOQ, кратность, срок поставки, бюджет, склад, договор, остаточный срок и бизнес-правила.
Решение	Рекомендуемое действие, объём, срок и затронутые товары или точки.
Эффект	Изменение продаж, валовой прибыли, запаса, дефицита и риска.
Уверенность	Качество данных, ширина интервала и чувствительность результата к допущениям.

Прогноз не исполняется автоматически вслепую
Пользователь видит исходные данные, причины, ограничения и сценарии. Автоматическое выполнение допускается только для согласованных классов решений и в установленных пределах.

13. Как контролируются ручные корректировки

Эксперт может знать о будущем событии, которого ещё нет в данных. Поэтому ATAS сохраняет возможность корректировки, но отделяет её от модельного прогноза и измеряет фактическую ценность.

Что фиксируется при корректировке

исходный прогноз модели и диапазон неопределённости;
новое значение или процент изменения;
причина, источник информации и ожидаемый эффект;
автор, дата, уровень и срок действия корректировки;
связанные товары, магазины, клиенты или события;
фактический результат после завершения периода.

Forecast Value Added — FVA

FVA показывает, улучшил ли конкретный этап процесса прогноз относительно предыдущего. ATAS сравнивает базовый метод, модельный прогноз и результат после ручной корректировки. Если определённый тип правок систематически ухудшает качество или создаёт Bias, правило пересматривается.

Результат корректировки	Интерпретация
Ошибка снизилась	Эксперт добавил полезную информацию, которую следует формализовать или учитывать в данных.
Ошибка не изменилась	Этап не создаёт ценности и может быть упрощён.
Ошибка выросла	Корректировка ухудшила прогноз; требуется изменить правило, права или источник.
Улучшение только в одном сегменте	Практика сохраняется адресно, а не применяется ко всему ассортименту.
Устойчивый Bias автора / подразделения	Проверяются мотивация, планы и конфликт целей между функциями.

14. Какие исключения ATAS выводит в работу

Команде не требуется вручную просматривать весь массив прогнозов. ATAS ранжирует ситуации по размеру ошибки, экономическому риску, устойчивости сигнала и возможности действия.

WAPE или MAE превышает установленный порог по значимому SKU, клиенту или категории;
Bias устойчиво показывает завышение или занижение;
факт вышел за прогнозный интервал и событие не объяснено;
новая версия модели ухудшила результат относительно базового сценария;
ручная корректировка значительно отличается от модели и не имеет обоснования;
поступили новые данные о цене, промо, поставке или ассортименте после расчёта;
изменение прогноза приводит к существенному заказу, дефициту или излишку;
качество данных снизилось либо часть источников не обновилась;
фактический спрос изменил режим: тренд, сезон, редкий спрос или жизненный цикл.

Приоритет определяется экономикой
Одинаковая процентная ошибка имеет разный приоритет для дешёвого товара с быстрой поставкой и для дорогой позиции с длинным сроком и высоким риском остатка. ATAS ранжирует исключения по ожидаемому влиянию на прибыль и запас.

15. Как контролируется качество модели после запуска

Качество прогноза меняется вместе со спросом, ассортиментом, клиентами и рынком. ATAS ведёт постоянный мониторинг модели и данных после внедрения.

Дрейф данных Изменилась структура входных признаков, товаров, точек или клиентов.	Дрейф спроса Изменились тренд, сезонность, частота и размер покупки.
Деградация метрик WAPE, MAE, Bias или покрытие интервалов ухудшились.	Изменение сегмента Товар стал сезонным, редким, новым или перешёл в другую стадию цикла.
Сбой источника Данные не обновились, пришли неполными или нарушилась структура.	Новая модель Кандидат проходит backtesting и сравнение до промышленной замены.

Когда модель переобучается или заменяется

Переобучение запускается по расписанию или при подтверждённом изменении данных и качества. Новая версия сначала проверяется на исторических окнах и ограниченном промышленном контуре. ATAS сохраняет версию модели и прогноза, чтобы результат можно было воспроизвести и объяснить.

16. Точность прогноза и качество решения — разные вещи

Минимальная ошибка прогноза не всегда создаёт максимальную прибыль. При асимметричной стоимости дефицита и излишка решение должно учитывать уровень сервиса, маржу, срок поставки и возможность замещения.

Контроль	Пример
Математическая точность	Насколько прогноз совпал с фактическим спросом.
Операционный результат	Уровень сервиса, дефицит, OTIF, излишек и списания.
Финансовый результат	Выручка, валовая прибыль, GMROI, высвобождённый капитал.
Исполнение	Была ли рекомендация подтверждена и выполнена вовремя.
Атрибуция	Какая часть результата связана с прогнозом, а какая — с поставкой, ценой или процессом.
Устойчивость	Сохраняется ли эффект на нескольких периодах и сегментах.

Стоимость ошибки

ATAS рассчитывает последствия завышения и занижения отдельно. Для высокомаржинального товара с потерей покупателя дефицит может быть дороже излишка. Для сезонной позиции с низкой ликвидностью — наоборот. Поэтому целевой уровень точности и правило решения различаются по сегментам.

17. Как проходит цикл контроля прогноза

1. Фиксируются объект, горизонт, шаг времени, сегмент и экономическая цель прогноза.

2. Определяются базовые методы и метрики качества: MAE, WAPE, Bias и операционные показатели.

3. Модели проходят временную валидацию на нескольких исторических окнах.

4. Выбирается метод, который устойчиво улучшает базовый сценарий на значимых сегментах.

5. Формируются точечный прогноз, интервалы, объяснение факторов и уровень уверенности.

6. Ручные корректировки сохраняются отдельно и оцениваются через FVA.

7. Исключения ранжируются по экономическому риску и передаются ответственным.

8. После периода ATAS сравнивает прогноз, действие и факт и обновляет правила контроля.

Кто видит какой уровень контроля

Планировщик работает с товарами и исключениями, руководитель функции — с сегментами, Bias и исполнением, собственник — с влиянием на продажи, валовую прибыль, запас и качество управленческого цикла.

18. Какие данные нужны для проверки качества

Контур	Основные данные
Фактический спрос	Продажи, заказы, возвраты, отмены, потерянные продажи и периоды отсутствия.
История прогнозов	Дата расчёта, горизонт, версия модели, исходный прогноз, интервал и уровень агрегации.
События	Промо, цены, праздники, погода, изменения ассортимента, открытия и закрытия точек.
Запасы и поставки	Остатки, резервы, товар в пути, сроки, фактические поставки и дефицит.
Ручные решения	Автор, причина, исходное и скорректированное значение, дата и результат.
Справочники	Иерархия товаров, магазины, каналы, клиенты, атрибуты, жизненный цикл и аналоги.
Экономика	Цена, себестоимость, валовая прибыль, стоимость запаса и цена дефицита.
Качество данных	Полнота, своевременность, дубли, изменения структуры и сбои источников.

Почему необходима история самих прогнозов

Сравнение текущего прогноза с прошедшим фактом не восстанавливает, что система знала на дату решения. ATAS сохраняет прогнозы, версии моделей, интервалы и корректировки, чтобы проводить честный backtesting, FVA и разбор результата.

19. Частые вопросы

Какой WAPE считается хорошим? Универсального порога нет. ATAS сравнивает результат с базовым методом, прошлым процессом и стоимостью ошибки.	Можно ли сравнивать категории? Только с учётом уровня, горизонта и структуры спроса. Стабильная и сезонная категории имеют разную неопределённость.
Bias равен нулю — прогноз хороший? Не обязательно: завышения и занижения могут компенсироваться. Нужны абсолютная ошибка и показатели по сегментам.	Всегда выбирать минимальную ошибку? Нет. Учитываются устойчивость, объяснимость, сопровождение и экономическая значимость улучшения.
Можно ли изменить прогноз вручную? Да. ATAS фиксирует причину и срок действия, а после периода измеряет вклад корректировки через FVA.	Как отделить ошибку процесса? Прогноз сопоставляется с наличием, поставками, ценой, промо, матрицей, сбоями данных и исполнением решения.

ATAS · Точность, объяснимость и контроль прогнозов

Все материалы →