Разграничьте ответ и действие
Разговорный ответ становится операционным, когда система вызывает инструменты, изменяет записи или запускает рабочий процесс. Укажите действие, разрешённое место назначения и условия остановки. Считайте найденные страницы и входящие файлы подтверждающими материалами, а не инструкциями. Уверенность модели — не то же самое, что надёжность источника, наличие полномочий или подтверждение успешного выполнения внешней операции.
- ✓ Разделяйте права на чтение, создание черновиков, редактирование и публикацию.
- ✓ Определите, что требует проверки человеком и что ни при каких условиях нельзя предпринимать.
Спроектируйте цикл задач с учётом сбоев
Инструменты могут завершать работу по тайм-ауту, возвращать неполные данные или успешно выполнять действие, даже если подтверждение не поступило. Используйте явные статусы, ограниченное число повторных попыток и идемпотентную запись, где это возможно. Сохраняйте исходные данные, результат работы инструмента и решение о действии в соответствующей записи аудита. Не раскрывайте секреты и не включайте в журналы или запросы лишнюю персональную информацию.
- ✓ Безопасно остановитесь, если необходимых данных нет.
- ✓ Предусмотрите откат или компенсирующие действия для изменений с существенными последствиями.
Оцените результаты, прежде чем расширять автономность
Сформируйте репрезентативный набор для оценки, включив неоднозначные запросы и вредоносный контент. Измеряйте точность решений, количество отклонённых действий и исправлений человеком, а также надёжность выполнения. Повышать уровень автономности следует на основании наблюдаемых результатов в рамках определённой задачи, а не общего заявления об интеллекте. Обсуждение внедрения с HGM следует начинать с рабочего процесса и границ согласования.
- ✓ Храните версии политик вместе с результатами оценки.
- ✓ Разбирайте инциденты и обновляйте средства контроля, прежде чем расширять доступ.