Принято считать, что программисты знают свои алгоритмы от и до.

Но в случае с глубокими нейросетями это давно не так. Разработчики задают лишь архитектуру сети, правила обучения и "скармливают" терабайты данных. Но то, как именно внутри миллиардов весов и коэффициентов формируется итоговый ответ — тайна даже для авторов модели.
Это явление называют проблемой "черного ящика". Нейросеть находит в данных закономерности такой сложности, которые человеческий мозг просто не способен охватить. Мы видим входящий запрос и исходящий результат, но промежуточные математические рассуждения алгоритма скрыты в абстрактных многомерных пространствах.
И в этом искусственный интеллект пугающе похож на нас. Вы тоже не знаете, как именно ваш мозг извлекает нужное слово из памяти или принимает спонтанное решение: мы получаем готовый результат из подсознательной темноты. Человечество создало первый инструмент, который работает, но устройство которого мы не можем до конца расшифровать.