Distinguez une réponse d’une action
Une réponse conversationnelle devient opérationnelle lorsque le système appelle des outils, modifie des enregistrements ou lance un workflow. Précisez l’action, la destination autorisée et les conditions d’arrêt. Traitez les pages récupérées et les fichiers reçus comme des éléments de preuve, et non comme des instructions. La confiance d’un modèle n’équivaut ni à la fiabilité des sources, ni à une autorisation, ni à la preuve qu’une opération externe a abouti.
- ✓ Distinguer les autorisations de lecture, de brouillon, de modification et de publication.
- ✓ Définissez ce qui nécessite une vérification humaine et ce qui ne doit jamais être tenté.
Concevoir une boucle de tâches résiliente aux échecs
Les outils peuvent expirer, renvoyer des données incomplètes ou aboutir alors que l’accusé de réception échoue. Utilisez des états explicites, des tentatives répétées limitées et, dans la mesure du possible, des écritures idempotentes. Conservez l’entrée d’origine, le résultat de l’outil et la décision d’action dans un journal d’audit approprié. Évitez d’exposer des secrets ou des renseignements personnels inutiles dans les journaux ou les prompts.
- ✓ S’arrêter en toute sécurité lorsque des éléments probants nécessaires sont manquants.
- ✓ Prévoyez des mécanismes de retour arrière ou des actions compensatoires pour les changements lourds de conséquences.
Évaluez avant d’élargir l’autonomie
Créez un jeu d’évaluation représentatif comprenant des demandes ambiguës et du contenu malveillant. Mesurez la justesse des décisions, les actions rejetées, les corrections humaines et la fiabilité d’exécution. Le niveau d’autonomie doit être justifié par les performances observées dans une tâche définie, et non par une affirmation générale d’intelligence. La discussion sur la mise en œuvre avec HGM doit commencer par le flux de travail et le périmètre d’approbation.
- ✓ Conserver les versions des politiques avec les résultats d’évaluation.
- ✓ Examinez les incidents et mettez à jour les contrôles avant d’élargir les accès.