Раньше коммерческое предложение делали два часа, теперь — двадцать минут. Контента стало втрое больше, протоколы совещаний пишутся сами, директору показывают панель с тысячами сэкономленных часов. Деньги на счёте этого праздника почему-то не заметили. Команда занята как прежде, клиенты ждут, прибыль не двигается. На следующей встрече предлагают купить ещё одного агента.
В этой истории технология может работать вполне исправно. Ошибка находится между успешной демонстрацией и устройством бизнеса. Скорость отдельной операции, производительность процесса и экономический результат компании — разные уровни. Соединять их приходится решениями: что именно станет возможным, какие ограничения останутся, куда попадёт высвободившийся ресурс и кто отвечает за последствия.
Исследования подтверждают пользу, но не любую обещанную пользу
В исследовании поддержки Brynjolfsson, Li и Raymond средняя производительность выросла примерно на 15%; новичкам помощник принёс больше пользы. Рост прибыли исследование не устанавливает. [1] Подробно разбираем это внедрение в отдельном кейсе.
В эксперименте Noy и Zhang доступ к ChatGPT улучшал выполнение профессиональных письменных заданий по времени и оценке качества. Исследование помогает понять возможности инструмента внутри ограниченной задачи. Оно не проверяло, как фирма перестроит продажи, распорядится временем работников или выдержит год эксплуатации нового процесса. Расширять выводы за пределы измеренного результата удобно для презентации и опасно для бюджета. [2]
Поэтому тезис «ИИ полезен только опытным практикам» столь же груб, как обещание заменить им любого специалиста. В некоторых задачах технология помогает новичку приблизиться к более сильным коллегам. Опыт может быть особенно важен для постановки задачи, распознавания исключений и принятия ответственности, но величина выигрыша зависит от процесса. Возраст человека не является готовой моделью его компетентности.
Другая граница видна в полевом эксперименте Dell’Acqua и соавторов с консультантами. На задачах внутри возможностей модели помощь давала преимущества; на специально выбранной задаче за этой границей участники с ИИ могли чаще приходить к неверному решению. Граница оказалась неровной: внешне похожие задачи требовали разного отношения к результату. Уверенный текст на экране не служит свидетельством правильности. [3]
Сэкономленное время должно куда-то попасть
Рассмотрим условную компанию, которая готовит двести предложений в месяц. Пример иллюстративный, не описание реального внедрения. Подготовка каждого сократилась с часа до получаса. Получилось сто часов потенциально свободной мощности. Если умножить их на внутреннюю стоимость рабочего часа, выйдет эффектная сумма. Но зарплаты остались прежними, дополнительных заказов нет, а проверка новых текстов требует ещё двадцати пяти часов.
Компания получила семьдесят пять часов чистой потенциальной мощности до учёта других издержек. Это может иметь ценность, но в кассе пока не появилось соответствующей экономии. Чтобы результат стал денежным, нужен следующий механизм: сократить оплачиваемую сверхурочную работу, отказаться от планировавшегося найма, обработать дополнительный прибыльный спрос или уменьшить потери от задержек. Каждый механизм проверяется отдельно.
Если сделки зависают на согласовании цены у директора, ускорение подготовки предложений может только увеличить очередь перед его кабинетом. Если нет спроса, дополнительная способность производить тексты вообще не решает текущую задачу. Если у продавцов высвободились минуты, разбросанные по рабочему дню, превратить их в сложную работу с клиентом будет труднее, чем показывает арифметика.
То же происходит с маркетингом. Сотня публикаций вместо двадцати — показатель выпуска материалов. Их деловая ценность зависит от того, увидела ли нужная аудитория содержание, изменилось ли поведение, пришли ли подходящие обращения и хватает ли компании способности их обслужить. Если ограничение находится в предложении или доверии к бренду, конвейер одинаковых текстов способен лишь быстрее заполнить интернет вашим шумом.
Поэтому до внедрения нужно указать конечный результат: время до ответа, число решённых обращений с заданным качеством, доля своевременных поставок, дополнительный денежный вклад. И проследить цепочку от операции до этого результата. Если цепочка обрывается на «сотрудникам станет удобнее», эффект не обязательно плохой. Просто его следует честно оценивать как удобство или улучшение условий работы, а не продавать владельцу как уже полученную прибыль.
Экономия может утонуть в проверке и переделке
Измерять нужно не время до первого ответа модели, а полный цикл до принятого результата. В него входят подготовка входных данных, проверка, исправления, согласования, обработка исключений и устранение последствий ошибки. Особенно неприятны ошибки, которые выглядят убедительно: их обнаруживают поздно, когда документ уже ушёл клиенту или неверное значение попало в следующий процесс.
При этом сплошная ручная перепроверка любого вывода тоже способна съесть весь эффект. Практическое решение зависит от риска и наблюдаемой надёжности задачи. Для внутренней черновой заметки достаточно одного режима контроля; для изменения условий договора или платежа нужен другой. Делегировать можно разные части работы: подготовку, рекомендацию, создание проекта действия. Право совершить действие — отдельное решение.
В отчёте DORA за 2024 год использование ИИ рассматривалось вместе с показателями разработки программного обеспечения. Наряду с индивидуальными преимуществами исследователи обнаружили неблагоприятные связи с некоторыми показателями доставки и стабильности. Это опросные ассоциации, а не экспериментальное доказательство, что ИИ вызывает ухудшение. Но они хорошо напоминают: локальное ускорение не гарантирует улучшения системы. [4]
Организация может быстрее создавать изменения и одновременно хуже их проверять, согласовывать или внедрять. Тогда добавленная скорость увеличивает нагрузку на следующий этап. Не следует автоматически переносить выводы разработки на производство или медицину. Переносим здесь управленческий вопрос: какой участок теперь принимает дополнительный поток и чем подтверждено, что он выдержит нагрузку?
Технология требует дополнительных изменений, но это не оправдание бездонного проекта
Работа Brynjolfsson, Rock и Syverson о «кривой J» производительности объясняет, почему отдача от технологий общего назначения связана с дополнительными инвестициями в организационные изменения и другие нематериальные активы. Часть затрат возникает раньше измеряемой выгоды. Это основание учитывать обучение, перестройку процессов и экспериментирование, а не разрешение бесконечно обещать будущий скачок. [5]
Идея взаимодополняющих организационных решений имеет более длинную историю. Milgrom и Roberts анализировали, как элементы стратегии и устройства производства могут усиливать друг друга. Для внедрения ИИ это полезная аналитическая оптика: инструмент, данные, полномочия и критерии качества должны поддерживать выбранный способ работы. Их статья не исследовала современные языковые модели и не даёт готового рецепта конкретной компании. [6]
Например, помощнику поддержки нужен доступ к актуальному описанию продукта. Команде — способ исправлять ошибочную инструкцию. Руководителю — возможность увидеть повторяющиеся обращения. Если база знаний не имеет владельца, модель будет быстро размножать старые ошибки. Покупка более дорогого доступа не устраняет отсутствие ответственности за содержание.
Практик с внешней стороны может принести пользу, когда проходит весь процесс вместе с командой: от запроса клиента до оплаты, от рекомендации системы до последствий решения. Его задача — найти место, где ускорение превращается в ценность, и проверить это на ограниченном участке. Наличие консультанта само по себе ничего не гарантирует. Те же действия может выполнить сильный внутренний руководитель; критичны доступ к реальной работе, компетенции и ответственность за проверяемый результат.
Бюджет изменений должен включать не только лицензии. Нужны время сотрудников, интеграция, сопровождение, исправление данных, контроль, ожидаемые последствия ошибок. При этом затраты следует разделять на разовые и повторяющиеся. Иначе пилот кажется слишком дорогим из-за первоначальной настройки либо, наоборот, привлекательным за счёт бесплатного ручного труда команды внедрения.
Пилот, после которого можно принять решение
Начните с одного процесса и исходного измерения. Зафиксируйте объём, состав задач, полный срок выполнения, качество и затраты. Определите, что разрешено системе и в каких случаях человек обязан вмешаться. Потом выберите период сравнения и способ учитывать различия в нагрузке. При достаточном потоке полезно случайно распределять сопоставимые задачи между вариантами; при малом объёме придётся осторожнее интерпретировать наблюдения.
До запуска запишите, что будет считаться успехом, провалом и основанием продлить проверку. Например, сокращение полного цикла при сохранении заранее выбранного уровня качества и приемлемых издержках. Нужен и ответ на вопрос о высвободившейся мощности: кто, когда и для какой работы её использует. Обещание «люди займутся более стратегическими задачами» слишком часто означает, что никто этим ещё не занимался.
Проверяйте также распределение результата. Среднее время может улучшиться, пока небольшая доля сложных обращений станет существенно хуже. Для клиента, который попал в эту долю, общий успех малоутешителен. Разделите хотя бы типовые и нестандартные задачи, новые и знакомые продукты, случаи с достаточными и неполными данными. Такая проверка не требует сразу строить сложную систему аналитики: иногда достаточно внимательно разобрать десяток исключений и обнаружить повторяющийся механизм сбоя.
Не смешивайте улучшение модели, обучение сотрудников и изменение правил процесса в одну неразборчивую массу. Если всё меняется одновременно, полезный результат возможен, но понять его причины сложнее. Сохраните версии инструкций, состав задач и записи об исключениях. Это даст возможность повторить удачную конфигурацию, а не только рассказать о ней на итоговой встрече.
После расширения оставьте владельца процесса и периодическую проверку качества. Изменятся продукт, документы, сотрудники или сама модель — прежний результат может перестать воспроизводиться. Это не повод бояться внедрения. Это обычная цена эксплуатации системы, которая участвует в реальной работе и потому нуждается в наблюдении после праздничного запуска.
После пилота возможны три взрослых решения: расширить применение, доработать ограниченный участок или остановить эксперимент. Отказ от невыгодной автоматизации тоже экономический результат. Бизнесу не нужно доказывать, что он современный, оплачивая цифровой фейерверк. Ему нужно получить нужное качество, сроки и экономику. ИИ становится полезным именно там, где эта связь выдерживает проверку обычным рабочим днём.