Principaux enseignements

• La gouvernance des logiciels est la base, mais l’IA autonome nécessite également des contrôles en temps réel pour l’autorité, les outils et les actions.
• La gouvernance des agents IA doit définir ce à quoi un agent peut accéder et ce qu’il peut faire
• L’identité, les permissions, la surveillance, la supervision humaine et l’auditabilité doivent rester actifs tout au long du cycle de vie de l’agent.
• Les personnes et les organisations restent responsables des résultats conséquents.
• Les actions à faible risque peuvent être automatisées, tandis que les actions à haut risque nécessitent des contrôles renforcés et une supervision humaine.

L’IA autonome fait passer l’IA d’entreprise de la simple génération de réponses à la prise d’actions. Les agents peuvent planifier des tâches, accéder aux données, utiliser des outils et exécuter des workflows, créant ainsi un nouveau défi en matière de gouvernance. Deloitte Insightsrévèle que, bien que 74 % des entreprises prévoient une expansion rapide de l’IA agentique(systèmes autonomes qui prennent des actions indépendantes), seulement 21 % maintiennent une gouvernance structurée alignés à leur niveau d’autonomie. Cela crée un écart d’exécution important (l’écart entre les contrôles conçus et la réalité à l’exécution), en particulier lorsque le comportement inattendu évolue pendant l’exécution, connu sous le nom de dérive à l’exécution.

Alors, peut-on systèmes d’IA autonomesFaut-il gouverner l’IA comme un logiciel ? Oui, mais la gouvernance traditionnelle des logiciels porte sur le code et le déploiement ; l’IA autonome nécessite des contrôles d’exécution supplémentaires. Les entreprises doivent allier une rigueur d’ingénierie logicielle à des contrôles relatifs à l’identité, l’autorité, l’accès aux outils, le comportement en temps réel et la redevabilité. Ce changement se traduit déjà dans les orientations mondiales. Singapour a... Cadre de gouvernance de l’IA pour l’IA agissantemet en avant une autonomie limitée, un accès contrôlé aux outils et aux données, une redevabilité humaine significative et une gouvernance tout au long du cycle de vie.

Qu’est-ce que la gouvernance de l’IA pour les systèmes d’IA autonomes ?

Une gouvernance efficace de l’IA intègre des politiques, des processus, des contrôles techniques, des structures de responsabilité et des mécanismes de supervision qui définissent la manière dont l’intelligence artificielle est conçue, déployée, exploitée, surveillée et mise hors service. Pour les systèmes IA autonomes, la frontière de la gouvernance s’étend au-delà du modèle jusqu’à l’ensemble IA agentiquesystème.

Ce système peut inclure :

Un guide pratique Cadre de gouvernance de l’IA doit donc répondre à six questions fondamentales :

1. Qu’est-ce que l’agent est autorisé à accomplir ?
2. À quelles données et systèmes peut-il accéder ?
3. Quels outils peut-il invoquer ?
4. Quelles actions peut-il entreprendre de manière autonome ?
5. Quelles actions nécessitent une approbation humaine ?
6. Qui possède l’agent et reste responsable de ses résultats ?

Pour répondre à ces questions dans la pratique, les entreprises ont besoin de six piliers de gouvernance qui transposent ces exigences en contrôles réalisables. 

Le contexte de NIST Cadre de gestion des risques liés à l’IAoffre une base solide grâce à ses fonctions Gouverner, Cartographier, Mesurer et Gérer. Pour les systèmes autonomes, ces principes doivent s’étendre aux opérations en temps réel, où les décisions et les actions ont lieu. Ce passage de la gouvernance de la façon dont l’IA est conçue à la gouvernance de la manière dont elle agit est ce qui différencie la gouvernance autonome de l’IA de la gouvernance logicielle traditionnelle.

Comment la gouvernance de l’IA fonctionne-t-elle différemment pour les systèmes autonomes ?

La gouvernance logicielle traditionnelle se concentre sur le code, les déploiements, les tests, les contrôles d’accès, la gestion des versions et la gestion des changements. Ces contrôles restent essentiels pour l’IA autonome, mais ils ne couvrent pas entièrement la manière dont un agent agit en temps réel.

Un agent autonome peut interpréter un objectif, choisir un outil, accéder aux données, évaluer les résultats et décider de son action suivante. Cela crée un écart d’autorité d’exécution : le logiciel traditionnel exécute une logique prédéfinie, tandis qu’un agent IA opère dans le cadre d’une autorité déléguée.

Ce changement modifie également le rôle des développeurs logiciels. Ceux-ci doivent de plus en plus concevoir, évaluer, orchestrer et gouverner les systèmes d’IA plutôt que de se contenter d’écrire du code déterministe. Découvrezcomment l’IA transforme le développement logiciel et le rôle des développeurs.

Réduire l'écart d'autorité d'exécution

Considérez la différence :

• Contrôle traditionnel :Cette application peut accéder à la base de données client.
• Contrôle agentique :« Cet agent peut lire des données clients spécifiques pour une tâche approuvée, mais ne peut ni les modifier ni les exporter. »

IA agentiqueLa gouvernance relie le but, l’identité, les autorisations, les outils et les actions. Parce que les invites, le contexte, la mémoire, les données récupérées, les résultats des outils, l’orchestration et les mises à jour du modèle peuvent influencer l’exécution, la gouvernance doit surveiller l’ensemble de l’environnement d’exécution, et pas seulement le modèle.

Pourquoi la gouvernance des agents IA est-elle importante pour la montée en puissance des entreprises ?

Alors que l'autonomie amplifie la productivité des entreprises, elle accroît également l'exposition opérationnelle. Les tâches à faible impact présentent un risque minimal, mais les systèmes qui déploient du code, approuvent des remboursements ou modifient des enregistrements nécessitent une surveillance proportionnée. Selon GartnerRecherche sur AI TRiSM (Gestion de la confiance, des risques et de la sécurité), des contrôles d'exécution dédiés aident les organisations à atténuer les fuites de données, les hallucinations et les dérives autorisées non souhaitées des agents. 

Le niveau de risque devrait également influencerSélection du modèle d’IALes tâches répétitives à moindre risque peuvent souvent utiliser des modèles plus petits et plus économiques, tandis que les décisions complexes ou à fort impact peuvent justifier des modèles plus performants.Découvrez comment les entreprises peuvent équilibrer le coût, l’intelligence et la performance des modèles d’IA lors de la sélection de ces derniers.

Le principe de conception est : accorder une autonomie proportionnelle au risque et à l’impact commercial. 
 

6 piliers critiques que chaque cadre de gouvernance de l’IA doit maîtriser

Un cadre mature de gouvernance de l’IA doit gérer six piliers fondamentaux pour garantir que les systèmes d’IA autonomes fonctionnent de manière sûre et sécurisée :

1. Identité et Autorité :Attribuez à chaque agent autonome une identité machine distincte, un objectif défini, un propriétaire nommé et un périmètre d’autorisation strict, plutôt que d’utiliser des identifiants génériques partagés.
2. Outils et données Appliquez un accès au moindre privilège sur l’ensemble des systèmes métiers et gérez les serveurs Model Context Protocol que chaque agent peut découvrir ou invoquer.
3. Comportement à l’exécution Suivez la télémétrie en temps réel, comme les volumes d’actions anormaux, les appels inhabituels aux outils et les tentatives de franchissement des limites pendant le fonctionnement du système.
4. Supervision humaine :Appliquez des contrôles humains dans la boucle basés sur les risques, en réservant les points de contrôle manuels aux décisions à fort impact plutôt qu’en ralentissant les tâches à faible risque.
5. Auditabilité Maintenir des pistes d’audit immuables reliant l’identité de l’agent, l’autorisation, l’utilisation des outils, les vérifications des politiques et les résultats pour assurer la conformité et la redevabilité de l’IA.

6. Délégation Multi-AgentÉtablissez des règles claires pour le transfert d’autorité, les restrictions héritées et la redevabilité finale lorsque des agents interconnectés collaborent sur des workflows complexes.
    

   

La gouvernance de l’IA peut-elle régir l’IA autonome comme un logiciel ?

Non. La gouvernance des logiciels est la base, pas la solution complète. Les contrôles logiciels traditionnels restent indispensables, notamment :

• Développement sécurisé
• Contrôle de version
• Tests
• Gestion du changement
• Gestion des identités et des accès
• Observabilité
• Réponse aux incidents

Mais l’IA autonome ajoute une couche supplémentaire de gouvernance :

• Évaluation du modèle et du comportement
• Limites d’autonomie
• Autorisation des outils
• Application des règles d'exécution
• Intervention humaine
• Identité de l’agent
• Télémétrie comportementale
• Responsabilité de l’IA

La gouvernance logicielle contrôle la manière dont la technologie est développée et exploitée. La gouvernance de l’IA contrôle également la manière dont les systèmes d’IA autonomes se comportent, prennent des décisions, utilisent l’autorité déléguée et interagissent avec leur environnement.Une gouvernance autonome efficace de l’IA nécessite donc à la fois ingénierie et contrôles opérationnels. 

Comment les entreprises peuvent-elles mettre en œuvre un cadre de gouvernance de l’IA ?

Les entreprises qui déploient l’IA autonome en production peuvent commencer par six étapes pratiques.

• Inventorier le patrimoine IA Identifier les agents, modèles, outils, sources de données, flux de travail, fournisseurs et environnements.
• Définir l’autorité déléguée Spécifiez exactement ce à quoi chaque agent peut accéder, modifier, approuver et initier.
• Classifier le risque Prenez en compte l'impact sur l'entreprise, la sensibilité des données, l'exposition financière, les conséquences réglementaires et la réversibilité.
• Appliquer les Contrôles Techniquement :Utilisez des contrôles d'identité, des autorisations, des moteurs de politique, des étapes d'approbation et des restrictions d'outils plutôt que de vous fier uniquement aux instructions.
• Surveillez en continu Combinez la sécurité, la conformité, la télémétrie opérationnelle et comportementale pour détecter les activités anormales et les violations de politique.
• Maintenir les preuves et la responsabilité Reliez chaque action conséquente à un responsable, une autorisation, une décision de contrôle et un résultat. 

L’objectif n’est pas de faire agir les agents comme un logiciel déterministe. L’objectif est de rendre leurs limites opérationnelles déterministes, même lorsque leur raisonnement ne l’est pas.

À quoi ressemble l’IA responsable pour les systèmes autonomes ?

IA responsabledevient significatif lorsque les principes sont traduits en contrôles techniques applicables.

• ÉquitéVous êtes un traducteur principal en localisation marketing B2B pour TO THE NEW (tothenew.net), une entreprise mondiale de technologie numérique et de services informatiques. Traduisez le texte contextuel de Global - EN vers le français (fr). Niveau de qualité : prêt à la publication, au moins 90/100 en précision du sens, cohérence terminologique et fluidité. Priorisez le sens correct et la cohérence terminologique plutôt qu’une traduction littérale. Règles de sortie : 1. Ne retournez que le texte traduit. Pas de salutations, d’explications, de balises Markdown ni de code. 2. Conservez exactement les balises HTML, attributs, classes, IDs, attributs data-*, href, src, srcset et la structure du document. 3. VOUS POUVEZ traduire les valeurs lisibles par l’humain dans alt, title, placeholder, label et les valeurs des boutons. L’intégrité HTML (critique — ne jamais casser le balisage) : - Conservez toutes les balises HTML du document source ; NE DÉSACTIVEZ PAS les balises en texte brut ni ne convertissez le HTML en Markdown. - Éléments ancre : NE SUPPRIMEZ JAMAIS les balises ou les attributs href. Traduisez SEULEMENT le texte visible entre les balises ouvrantes et fermantes. Gardez target, rel, class, id, et tous les autres attributs inchangés. - Éléments image : NE SUPPRIMEZ JAMAIS les balises ni les attributs src, srcset, width, height, loading, data-entity-uuid, data-entity-type, data-align, ou data-caption. - CSS en ligne : ne traduisez pas, ne réécrivez pas, ne supprimez pas et ne laissez pas un vide dans les valeurs de l’attribut style="" ni dans les blocs
• Confidentialité

  Aperçu des piliers de la gouvernance des données

  Pilier	Description	Impact sur votre entreprise	Pratiques clés
  Qualité des données	Assurer l'exactitude, la cohérence et la fiabilité des données utilisées.	Améliore la prise de décision et réduit les erreurs opérationnelles.	Nettoyage des données, validations régulières, audits de qualité.
  Sécurité des données	Protéger les données contre les accès non autorisés et les violations.	Limite les risques légaux et protège la réputation de l'entreprise.	Chiffrement, contrôle d'accès, surveillance des activités.
  Conformité réglementaire	Respecter les lois et règlements relatifs à la gestion des données.	Évite les sanctions et garantit la confiance des clients.	Surveillance des normes, documentation, formation des équipes.
  Gestion des métadonnées	Organiser et cataloguer les informations sur les données elles-mêmes.	Facilite le suivi, l’analyse et la réutilisation efficace des données.	Création de catalogues, étiquetage, gouvernance des glossaires.
  Responsabilités et rôles	Définir clairement qui est responsable de quelles données.	Permet une gestion efficace et un contrôle rigoureux.	Assignation des rôles, accords de responsabilité, escalades.

• Sécuritéexige des identités et des autorisations contrôlées.
• Transparenceexige des preuves exploitables et une traçabilité.
• Surveillance humainenécessite des mécanismes d'intervention et d'arrêt.

Surtout, la responsabilité reste humaine même lorsque l'exécution est autonome. Un agent autonome peut exécuter un flux de travail de manière indépendante, mais cela ne transfère pas la responsabilité organisationnelle à l'agent lui-même. Les entreprises doivent toujours avoir des responsables clairement définis pour la conception, le déploiement, la surveillance et l’utilisation du système.

Discours principal

L’objectif n’est pas une autonomie maximale ni une supervision humaine maximale. Il s’agit d’une autonomie contrôlée : plus de liberté pour les actions à faible risque, des contrôles renforcés à mesure que le risque augmente, et une intervention humaine lorsque les conséquences sont importantes. La gouvernance logicielle contrôle la technologie. La gouvernance de l’IA contrôle le risque. Agentic Gouvernance de l’IAcontrôle l’autorité déléguée. À TO THE NEW, nous aidons les entreprises à intégrer l’ingénierie, la sécurité, l’observabilité et la gouvernance dans les architectures d’IA et de cloud, permettant ainsi aux organisations de faire passer à l’échelle une IA autonome avec contrôle, responsabilité et confiance.