Для некоторых людей термин «черный ящик» напоминает записывающие устройства в самолетах, которые могут быть полезны для посмертного анализа, если произойдет немыслимое. Для других это напоминает маленькие, минимально оборудованные театры. Но черный ящик также является важным термином в мире искусственного интеллекта.
Черные ящики ИИ относятся к системам ИИ, внутренняя работа которых невидима для пользователя. Вы можете передать им ввод и получить вывод, но вы не можете проверить системный код или логику, которая произвела вывод.
Машинное обучение является доминирующим подмножеством искусственного интеллекта. Он лежит в основе генеративных систем искусственного интеллекта, таких как ChatGPT и DALL-E2. Машинное обучение состоит из трех компонентов: алгоритм или набор алгоритмов, обучающие данные и модель. Алгоритм - это набор процедур. В машинном обучении алгоритм учится идентифицировать шаблоны после обучения на большом наборе примеров - обучающих данных. После обучения алгоритма машинного обучения результатом является модель машинного обучения. Модель - это то, что используют люди.
Например, алгоритм машинного обучения может быть разработан для выявления шаблонов на изображениях, а обучающими данными могут быть изображения собак. В результате модель машинного обучения станет собакой-наблюдателем. Вы должны передать ему изображение в качестве входных данных и получить в качестве вывода, представляет ли и где на изображении набор пикселей собаку.
Любой из трех компонентов системы машинного обучения может быть скрыт или помещен в черный ящик. Как это часто бывает, алгоритм общеизвестен, что делает его «черный ящик» менее эффективным. Поэтому, чтобы защитить свою интеллектуальную собственность, разработчики ИИ часто помещают модель в черный ящик. Другой подход разработчиков программного обеспечения заключается в том, чтобы скрыть данные, используемые для обучения модели, другими словами, поместить обучающие данные в черный ящик.
Противоположность черного ящика иногда называют стеклянным ящиком. Стеклянный ящик ИИ - это система, чьи алгоритмы, обучающие данные и модель доступны для просмотра любому. Но исследователи иногда характеризуют аспекты даже их как черный ящик.
Это потому, что исследователи не до конца понимают, как работают алгоритмы машинного обучения, особенно алгоритмы глубокого обучения. Область объяснимого ИИ работает над созданием алгоритмов, которые, хотя и не обязательно являются стеклянными ящиками, могут быть лучше поняты людьми.
Почему так важны черные ящики ИИ
Во многих случаях есть веские причины опасаться алгоритмов и моделей машинного обучения черного ящика. Предположим, модель машинного обучения поставила диагноз о вашем здоровье. Вы хотите, чтобы модель была черным ящиком или стеклянным ящиком? Что насчет врача, прописывающего вам курс лечения? Возможно, она хотела бы знать, как модель пришла к такому решению.
Что, если модель машинного обучения, которая определяет, имеете ли вы право на получение бизнес-кредита в банке, откажет вам? Разве ты не хочешь знать, почему? Если бы вы это сделали, вы могли бы более эффективно обжаловать решение или изменить свою ситуацию, чтобы увеличить свои шансы на получение кредита в следующий раз.
Черные ящики также имеют важное значение для безопасности программных систем. В течение многих лет многие специалисты в области вычислительной техники считали, что хранение программного обеспечения в черном ящике не позволит хакерам изучить его и, следовательно, будет безопасным. Это предположение в значительной степени оказалось неверным, потому что хакеры могут реконструировать программное обеспечение, то есть создать факсимиле, внимательно наблюдая за тем, как работает часть программного обеспечения, и обнаруживать уязвимости для использования..
Если программное обеспечение находится в стеклянном ящике, то тестировщики программного обеспечения и благонамеренные хакеры могут изучить его и сообщить создателям о слабых местах, тем самым минимизировав кибератаки.
Саураб Багчи - профессор электротехники и вычислительной техники в Университете Пердью. Он получает финансирование исследований из большого количества источников, федерального правительства, правительства штата и частных предприятий.