Московский дождь и ошибка предсказания

Утро в Москве началось с идеального прогноза. Нейроныч сидел на кухне, пил кофе и смотрел на экран. Нейросеть погоды рисовала яркое желтое солнце и уверенно текстом выводила: «0% вероятности осадков. Ясно».
На коврике у стола возился Бублик, а рядом с ним тихо мигал индикатором зарядки его роботизированный компаньон Луна. Нейроныч погладил Бублика, надел чистый воротничок и поехал в университет.
Там его уже ждала огромная аудитория. Сегодня должна была пройти сложная лекция: «Ошибки ИИ и почему они случаются». Студенты сидели с ноутбуками, окна в аудитории были распахнуты настежь — все верили алгоритму и готовились к жаркому дню.
Нейроныч подключил макбук к проектору, откашлялся и начал:
— Сегодня мы поговорим о том, почему искусственный интеллект иногда врет с очень умным видом…
И тут небо над Москвой треснуло. Не предупреждая. Просто хлынул такой серый, тяжелый, московский ливень, что звук заглушил микрофон. Ветер загнал дождевые капли прямо в распахнутые окна, студенты бросились их закрывать, кто-то выронил ноутбук, кто-то схватился за зонты, которых, разумеется, ни у кого не было.
План города на пару часов сломался. Пробки встали, парусные зонты продавцов на улицах вывернулись наизнанку.
Нейроныч не стал повышать голос. Он спокойно отошел от трибуны, подошел к окну и постучал когтем по стеклу. Шум немного стих.
— Видите? — тихо сказал он. — Вот она. Ошибка предсказания. В живом виде.
Он вернулся к столу и отключил проектор. Слайды больше не были нужны.
— Погодная модель проанализировала тысячи графиков. Давление, влажность, спутниковые снимки. Точность её алгоритма на исторических данных — 98,6%. Она была абсолютно, математически уверена, что сегодня солнце. Но она не учла один старый тепловой фронт, который зашел с севера и спрятался за облаками. Модель не сказала: «Я не знаю». Она сказала: «Будет солнце». И весь город поверил.
Нейроныч сел на край стола — студенты любили, когда он так делал.
— В IT мы часто путаем точность с мудростью. Точная модель выдает вам число. Мудрая система говорит: «С вероятностью 98% будет солнце, но я рекомендую положить зонт в рюкзак, потому что цена ошибки — промокшие ноги и сломанные планы». Самые хрупкие системы в мире — это те, которые уверены в себе на 100%. Самые надежные — те, которые умеют признавать неопределенность.
Он посмотрел на мокрые окна.
— Что делает хороший инженер? Что делаю я, когда тестирую новый прототип гаджета? У меня всегда есть план Б. У меня был план А — показать вам красивые слайды с графиками ошибок нейросетей. Но план Б — использовать этот дождь, чтобы вы запомнили главное правило. ИИ ошибается не потому, что он глупый. Он ошибается, потому что он не знает, чего не знает. А мы-то с вами знаем. Поэтому всегда держите план Б в кармане. И для лекции, и для кода, и для жизни.
Аудитория захлопала. Мокрые ноутбуки быстро вытирали салфетками, но на лицах светилось понимание. Это был лучший урок информатики в этом семестре.
Когда Нейроныч возвращался домой, дождь уже стихал. Пахло мокрым асфальтом, сиренью и озоном. В его рюкзаке лежал план Б — небольшой зонт, который он, конечно же, взял утром, потому что верить прогнозам на 100% могут только алгоритмы.
Дома его ждали тепло, сухие диваны, Бублик, который радостно гавкнул, и Луна, которая автоматически включила теплый свет. Нейроныч снял мокрую обувь, заварил чай и улыбнулся.
Системы с планом Б всегда работают надежно.

Спокойной ночи.