Дом нельзя вернуть в оперативную память. Если алгоритм помог купить его слишком дорого, на балансе остаются стены, крыша, налоги, проценты и ремонтная бригада, которая обещала приехать ещё во вторник. На этом месте заканчивается красивая презентация о цифровой трансформации и начинается бизнес.

В ноябре 2021 года Zillow объявила о сворачивании Zillow Offers — направления, которое покупало дома, готовило их к продаже и перепродавало. В третьем квартале компания признала обесценение запасов недвижимости на 304,4 млн долларов: приобретённые объекты оказались дороже ожидаемой выручки от их продажи за вычетом соответствующих затрат. Это конкретная бухгалтерская величина, а не универсальный счёт за «ошибку искусственного интеллекта». [1]

История интересна именно своей сложностью. Здесь работали профессионалы, были данные, капитал, сильная инженерная команда и реальная технология машинного обучения. Всё равно получилась дорогая авария на стыке прогноза, закупки и физического исполнения. Для предпринимателя этот стык важнее очередного рейтинга моделей.

Как оценка на экране превратилась в риск на балансе

В феврале 2021 года Zillow начала использовать Zestimate как первоначальное денежное предложение по подходящим объектам. В июне компания представила новую нейросетевую версию оценки, сообщив об улучшении точности определения текущей стоимости домов. Связь с машинным обучением здесь подтверждена самой компанией. Но оценка стоимости сегодня и прибыльная перепродажа через несколько месяцев — разные задачи. Пресс-релиз о новой архитектуре не доказывает, что именно она стала причиной закрытия направления. [2]

В письме акционерам от 2 ноября руководство объяснило: модель бизнеса требовала прогнозировать стоимость жилья на три–шесть месяцев вперёд. Изменения рынка оказались существенно сильнее предполагаемых; ошибки прогноза сочетались с трудностями планирования мощностей, дефицитом работников и перебоями поставок. Возникали задержки ремонта и перепродажи. Компания решила, что дальнейшее масштабирование создаёт неприемлемую волатильность. [3]

По итогам всего 2021 года обесценение запасов, связанное со сворачиванием Offers, составило 407,9 млн долларов. Квартальные 304,4 млн уже входят в годовую сумму: складывать их нельзя. В годовом раскрытии отдельно перечислены другие расходы на прекращение деятельности. Ни одна из этих строк сама по себе не измеряет «ущерб от нейросети» и не равна всем денежным потерям группы. [4]

Эта аккуратность нужна не ради бухгалтерской занудности. Если перепутать природу потерь, получится неправильное лекарство. Ошибку оценки лечат одним способом, чрезмерную позицию в недвижимости — другим, зависший ремонт — третьим. Покупка более дорогой модели не создаёт дополнительных ремонтных бригад.

Точность прогноза ещё не означает прибыль

Разберём условную сделку, не связанную с конкретным объектом Zillow. Компания покупает дом за 300 тысяч долларов, планирует продать за 330 тысяч и закладывает 20 тысяч на ремонт, финансирование, содержание и продажу. Ожидаемый вклад — 10 тысяч. Если фактическая цена продажи окажется всего на 3% ниже прогноза, исчезнут 9,9 тысячи. Почти вся ожидаемая прибыль сгорит, хотя прогноз формально ошибся ненамного.

Теперь ремонт задерживается на месяц, а содержание дорожает. Модель оценки может продолжать показывать приличную среднюю точность. Экономика сделки уже отрицательная. Поэтому полезная метрика зависит от управленческого решения: для справочной оценки допустима одна ошибка, для покупки актива с тонкой маржой — совершенно другая.

Добавляется асимметрия. Заниженное предложение часто просто не принимают. Завышенное предложение продавцу нравится гораздо больше. В результате заключённые сделки могут содержать непропорционально много именно дорогих ошибок. Это общий механизм отбора, а не установленная количественная оценка его роли в истории Zillow. Проверять его следует на собственных принятых и отклонённых предложениях, иначе средняя точность по всем объектам создаёт ложное спокойствие.

Бизнесу нужен ответ на более неприятный вопрос: как выглядит распределение прибыли среди сделок, которые действительно состоятся. Красивый средний показатель способен скрывать несколько районов, типов объектов или периодов, где предприятие систематически покупает будущий убыток. Именно туда должен смотреть коммерческий руководитель вместе с аналитиком.

Физическая очередь умеет усиливать цифровую ошибку

Представим второй условный механизм. Алгоритм ускоряет закупку, а ремонтные мощности остаются прежними. Дома накапливаются. Срок владения растёт. Чем дольше объект находится на балансе, тем больше расходов и тем дальше фактическая продажа от даты первоначального прогноза. Новая модель может покупать ещё быстрее и тем самым усугублять проблему, которую призвана решить.

Это управленческий контур обратной связи: решение меняет среду, в которой оценивается его качество. В работе Sculley и соавторов о скрытом техническом долге машинного обучения рассмотрены зависимости между данными, компонентами и обратными связями системы. Их вывод полезен здесь как общий аналитический инструмент: работающая модель — лишь часть работающего процесса. Статья не исследовала Zillow Offers и не устанавливает причины его закрытия. [5]

Для собственника практический перевод предельно земной. Нельзя отдельно одобрить модель закупок, отдельно утвердить план продаж, отдельно принять обещание подрядчика по ремонту и считать, что целое автоматически сойдётся. У этих решений общий кошелёк. Несовместимые локальные планы способны съесть его быстрее, чем каждый руководитель успеет объяснить, почему лично у него показатели были нормальными.

Проверка, которую проводят до масштабирования

Из этого кейса можно собрать рабочую карточку допуска к автоматическим решениям. Она нужна для закупок, управления запасами, динамических цен и других процессов, где прогноз превращается в обязательство. Ниже — предлагаемая нами конструкция, а не реконструкция внутренних регламентов Zillow.

  1. Единица решения. Зафиксировать, что именно разрешено системе: рекомендовать цену, отправлять предложение или совершать покупку. У каждого действия должен быть денежный предел и конкретный владелец.
  2. Полная экономика. Посчитать прибыль после исполнения, возвратов, задержек и стоимости капитала. Сопоставить прогноз с результатом по завершённым операциям, сохранив промежуточные решения и версии модели.
  3. Плохой сценарий. Проверить одновременное ухудшение цены, срока и затрат. По отдельности риски могут выглядеть терпимо; вместе они способны уничтожить запас прочности.
  4. Пропускная способность. Привязать разрешённый объём новых операций к реальной мощности следующего звена. Если очередь растёт, автоматический разгон прекращается независимо от красоты прогноза.
  5. Остановка. Заранее определить порог потерь, превышение срока и отклонение от плана, после которых новые обязательства блокируются. Назначить человека, который вправе остановить процесс без долгой защиты перед автором проекта.

Рамка управления рисками NIST предлагает рассматривать ИИ в контексте его применения, измерять риски и организовывать управление ими на протяжении жизненного цикла. Она появилась позже событий Zillow и используется здесь для проектирования контроля сегодня, а не как правило, которое компания якобы нарушила в 2021 году. [6]

Пилот должен дожить до денег

Короткий пилот часто заканчивают в самый приятный момент: рекомендации выданы, пользователи довольны, операции ускорились. Но если денежный результат возникает через квартал, трёхнедельная демонстрация проверяет только начало цепочки. Она ещё не увидела возвратов, просрочек, зависшего товара и неприятных исключений.

У процесса должен быть полный наблюдаемый цикл. Для закупок — от заказа до окончательной продажи и получения денег. Для производства — до приёмки и гарантийных последствий. Для коммерческого предложения — до оплаты и исполнения обязательств. Только после этого можно обсуждать, какой дополнительный объём безопасно передавать системе.

Сравнение тоже требует дисциплины. Нельзя отдавать алгоритму самые простые объекты, оставлять людям сложные, а затем хвалить технологию за превосходство. Нужны сопоставимые группы либо заранее описанная поправка на различия. И отдельно — предел применимости: успешный эксперимент в одном сегменте не выдаёт пропуск во все остальные.

Полезен и теневой режим. Система некоторое время предлагает решения, но не распоряжается деньгами; команда сохраняет предложения и затем проверяет, что случилось бы при их исполнении. Такой режим не воспроизводит рынок идеально: само предложение может менять поведение контрагента. Зато он способен обнаружить грубые провалы до появления необратимых обязательств. Его ограничение нужно честно внести в протокол пилота.

Чей показатель первым покраснеет

Ещё один полезный шаг — назначить для каждого звена ранний сигнал. Отдел закупок видит отклонение цены предложения. Операционная команда — рост очереди и сроков. Финансы — увеличение капитала, связанного в незавершённых операциях. Коммерческий блок — скидки, без которых не удаётся закрыть продажу. Эти показатели должны попадать в один короткий обзор, иначе каждый руководитель заметит только свою часть пожара.

Обсуждение запуска удобно закончить репетицией плохого дня. Участники получают один сценарий: очередь выросла, цены сместились, плановая прибыль исчезает. Затем каждый показывает, какое решение он принимает, какие данные видит и кого уведомляет. Если остановка требует согласия пяти занятых директоров, она существует преимущественно на бумаге. Если отключение модели останавливает весь бизнес, резервный процесс ещё не готов.

Такая репетиция не предсказывает следующий кризис. Она проверяет более скромную вещь: способна ли организация действовать при расхождении плана и реальности. Именно эта способность превращает мониторинг из экрана с графиками в управление.

Независимый взгляд ценен правом испортить праздник

Внешний практик может помочь до запуска: свести финансовую модель с реальным производственным циклом и проверить, где экономия одного отдела превращается в расходы другого. Его результат — проверяемые допущения и ограничения риска. Желательно, чтобы вознаграждение не зависело исключительно от решения о внедрении. Но внешний статус ничего не гарантирует: человек должен понимать оборотный капитал, очереди и ограничения конкретного бизнеса.

Не стоит также превращать Zillow в доказательство, что прогнозные модели бесполезны. Кейс показывает более узкую и более полезную вещь: сильная аналитика не освобождает от проектирования бизнес-механизма вокруг неё. Дорогая ошибка рождается, когда неопределённость прогноза встречается с масштабом обязательств, задержкой обратной связи и слабым запасом прочности.

Перед следующим внедрением положите на стол три числа: сколько приносит удачная операция, сколько стоит плохая и сколько плохих операций система успеет совершить до вашего вмешательства. Если третье число никто не знает, бюджет проекта пока не описывает ваш настоящий риск.