Аннотация:Разработка и использование систем искусственного интеллекта (машинного обучения) в критических областях (авионика, автономное движение и т.п.) неизбежно ставит вопрос о надежности используемого программного обеспечения. Доверенные вычислительные системы существуют уже достаточно давно. Их смысл состоит в разрешении выполнения только определенных приложений и гарантии от вмешательства в работу таких приложений. Доверие в этом случае состоит в уверенности в том, что назначенные приложения работают так, как они работали при тестировании. Но в случае машинного обучения этого недостаточно. Приложение может работать так, как оно и задумывалось, никаких вмешательств нет, но результатам доверять нельзя просто потому, что изменились данные. В целом, эта проблема является следствием принципиального момента для всех систем машинного обучения – данные на этапе тестирования (эксплуатации) могут отличаться от таковых же данных, на которых система обучалась. Соответственно, нарушение работы системы машинного обучения возможно и без целенаправленных действий, просто потому, что мы столкнулись на этапе эксплуатации с данными, для которых обобщения, достигнутые на этапе обучения, не работают. А есть еще атаки, под которыми понимаются специальные воздействия на элементы конвейера машинного обучения (тренировочные данные, собственно модель, тестовые данные) с целью либо добиться желаемого поведения системы, либо воспрепятствовать ее корректной работе. На сегодняшний день, эта проблема, которая, в общем случае, связана с устойчивостью работы систем машинного обучения, является главным препятствием для использования машинного обучения в критических приложениях.