Et si l’humain devenait la dernière barrière de sécurité de l’IA ?
Pendant des décennies, la prévention des risques a cherché à éviter qu’une erreur humaine puisse, à elle seule, conduire à un accident.
Nous avons ajouté des automatismes, des alarmes, des interverrouillages, des détrompeurs, des systèmes instrumentés de sécurité, des contrôles automatiques ou encore des aides à la décision.
Avec une logique simple : puisque l’humain est faillible, la sécurité ne doit pas reposer uniquement sur lui.
Nous avons ainsi progressivement ajouté de la technologie pour sécuriser les décisions et les actions humaines.
L’intelligence artificielle pourrait constituer une nouvelle étape majeure de cette évolution.
Capable d’analyser rapidement de grandes quantités de données, de rechercher une information dans des milliers de documents, de détecter des anomalies ou des signaux faibles, de comparer des scénarios et de formuler des recommandations, elle pourrait considérablement augmenter nos capacités de prévention.
Et c’est précisément parce qu’elle pourrait devenir très performante qu’une question mérite d’être posée.
Que se passera-t-il lorsque nous aurons suffisamment confiance dans ses analyses pour ne plus réellement les remettre en question ?
Une IA pourra toujours officiellement « assister » un opérateur, un manager ou un responsable HSE. Mais si, après des centaines de recommandations pertinentes, l’humain finit par valider presque systématiquement ce qu’elle lui propose, qui prend réellement la décision ?
Un paradoxe pourrait alors apparaître :
Après avoir ajouté de la technologie pour éviter qu’une erreur humaine ne conduise à l’accident, allons-nous devoir maintenir de l’humain pour éviter qu’une recommandation technologique ne devienne, sans véritable contrôle, une décision ?
La question n’est donc pas de savoir s’il faut utiliser ou non l’intelligence artificielle en sécurité. Nous l’utiliserons probablement de plus en plus, et elle peut devenir un formidable outil de prévention.
La question est plutôt de savoir jusqu’où nous sommes prêts à lui déléguer notre jugement, notamment lorsque les conséquences potentielles de la décision augmentent.
Et peut-être, comme nous le faisons pour une machine, un procédé ou une modification d’organisation, faudra-t-il apprendre à évaluer le risque associé à l’usage que nous faisons de l’IA avant de déterminer la place que nous souhaitons lui donner dans nos décisions de sécurité.
Partie 1 - L’IA pourrait devenir l’une de nos meilleures barrières de sécurité
Avant de s’interroger sur les risques liés à l’intelligence artificielle, il faut commencer par reconnaître son potentiel considérable pour la prévention.
Une grande partie du travail en HSE consiste à collecter des informations, les analyser, identifier des écarts, rechercher des causes, comparer une situation à des exigences ou encore détecter des évolutions susceptibles d’annoncer une dégradation.
Or ce sont précisément des domaines dans lesquels l’IA peut apporter de nouvelles capacités.
Elle peut par exemple :
- analyser rapidement de grandes quantités de données issues d’incidents, presque-accidents, observations ou audits ;
- rechercher une information dans des procédures, standards ou référentiels ;
- identifier des tendances ou des signaux faibles difficiles à percevoir dans des volumes importants de données ;
- assister l’analyse d’un événement et la recherche de facteurs contributifs ;
- exploiter des images ou des données issues du terrain pour détecter certaines situations anormales ;
- contribuer à des analyses de risques ou challenger certains scénarios ;
- accompagner des démarches plus spécialisées, par exemple dans la maintenance prédictive ou l’analyse de risques procédés.
L’intérêt ne réside donc pas seulement dans le gain de temps.
L’IA peut potentiellement augmenter notre capacité à traiter des informations que nous n’aurions matériellement pas le temps d’examiner, à croiser davantage de données et à attirer notre attention sur des éléments que nous aurions pu ne pas voir.
Prenons un exemple simple.
Un site industriel dispose de plusieurs années de remontées de situations dangereuses, presque-accidents, événements process, résultats d’inspections et actions correctives. Chaque événement a été analysé individuellement. Pourtant, certains rapprochements entre ces milliers d’informations peuvent être difficiles à identifier.
Une IA capable de les analyser ensemble pourrait faire apparaître des récurrences, des combinaisons de facteurs ou des dérives progressives qui n’étaient pas évidentes lors de l’analyse de chaque événement pris séparément.
Dans ce cas, l’IA ne remplace pas une barrière de sécurité existante. Elle peut en créer une nouvelle : une capacité supplémentaire à détecter et anticiper.
Et cette logique peut aller beaucoup plus loin.
Une IA pourrait demain alerter avant une dérive d’un équipement, challenger une analyse de risques, rechercher instantanément un retour d’expérience comparable à une situation rencontrée ou attirer l’attention d’un opérateur sur une configuration inhabituelle.
L’IA ne pourrait donc pas seulement automatiser certaines tâches HSE. Elle pourrait augmenter notre capacité à prévenir.
Il serait alors tentant d’en conclure que plus ces systèmes deviennent performants, plus la sécurité progresse.
Mais leur performance fait apparaître une autre question.
Car lorsqu’un outil nous apporte régulièrement une information pertinente, détecte ce que nous n’avions pas vu et formule des recommandations qui se révèlent correctes, notre comportement vis-à-vis de cet outil évolue lui aussi.
Nous commençons naturellement à lui faire confiance.
Et c’est peut-être là que se situe l’un des enjeux les plus intéressants de l’arrivée de l’IA dans nos décisions de sécurité.
Partie 2 - Le véritable risque pourrait venir de notre confiance
Une IA qui se trompe régulièrement incite naturellement à la prudence. Nous vérifions ses réponses, cherchons une autre source et conservons une certaine distance vis-à-vis de ses recommandations.
Mais que se passe-t-il lorsqu’elle a raison ?
Et surtout, lorsqu’elle a raison très souvent ?
Si un système identifie correctement des anomalies, retrouve les bonnes informations, produit des analyses pertinentes et formule des recommandations qui se révèlent fiables, il est parfaitement logique que notre confiance augmente.
Cette confiance n’est pas, en soi, un problème. Elle est même nécessaire pour qu’un outil soit réellement utilisé.
Le risque apparaît lorsque cette confiance modifie progressivement notre propre niveau de vigilance.
De la vérification à la validation
Lors des premières utilisations d’un système d’IA dans une activité sensible, l’utilisateur peut avoir tendance à examiner attentivement ses résultats :
Pourquoi me propose-t-il cette solution ?
Les informations utilisées sont-elles correctes ?
Cette recommandation est-elle cohérente avec la situation réelle ?
Puis les recommandations se révèlent pertinentes.
Une fois.
Dix fois.
Cent fois.
Progressivement, le contrôle peut changer de nature.
Au lieu de vérifier la recommandation avant de décider, l’utilisateur peut finir par chercher principalement à confirmer qu’aucun élément évident ne justifie de s’en écarter.
La différence paraît faible. Elle est pourtant fondamentale.
On passe progressivement de :
« J’analyse la situation et l’IA m’aide à décider. »
à :
« L’IA a analysé la situation et je vérifie si j’ai une raison de ne pas suivre sa recommandation. »
L’humain est toujours présent dans le processus. Mais son rôle a changé.
Le biais d’automatisation
Ce phénomène n’est pas propre à l’intelligence artificielle. Il est notamment étudié sous le terme d’automation bias, ou biais d’automatisation.
Il désigne la tendance à accorder une confiance excessive aux informations ou recommandations fournies par un système automatisé, au point parfois de moins rechercher ou moins prendre en compte des informations contradictoires.
Dans un contexte de sécurité, cette question devient particulièrement importante.
Imaginons un système qui analyse les conditions d’une intervention et recommande :
« Les conditions permettent de poursuivre l’opération. »
Si l’utilisateur sait que le système est imparfait, il conservera probablement une vigilance importante.
Mais après des centaines de recommandations correctes, la même phrase peut progressivement acquérir un autre statut.
Elle n’est plus seulement une information à prendre en compte.
Elle devient une référence à laquelle il faut trouver une raison de s’opposer.
La performance peut donc créer son propre risque
C’est probablement l’un des paradoxes les plus intéressants de l’IA appliquée à la sécurité.
Plus un système devient fiable, plus nous avons de bonnes raisons de lui faire confiance. Mais plus nous lui faisons confiance, plus nous risquons de réduire l’effort consacré à sa vérification.
Cela ne signifie évidemment pas qu’il faudrait se méfier systématiquement d’une IA performante.
La question est plutôt de savoir comment maintenir une capacité réelle de jugement humain lorsque l’expérience quotidienne nous apprend que la recommandation de la machine est presque toujours correcte.
Car une supervision humaine qui consiste simplement à approuver systématiquement la proposition du système n’est plus réellement une supervision.
Et cela nous conduit à une question encore plus délicate :
À partir de quand une aide à la décision devient-elle, dans les faits, la décision ?
Partie 3 - Quand l’aide à la décision devient-elle la décision ?
L’intelligence artificielle peut occuper des places très différentes dans une décision de sécurité.
Elle peut simplement fournir une information. Elle peut analyser une situation, proposer des options, recommander une action ou aller jusqu’à déterminer la conduite à tenir.
On pourrait représenter cette progression ainsi :
Informer → Analyser → Recommander → Aider à décider → Décider de fait
La frontière entre ces différents niveaux paraît relativement claire sur le papier.
Dans la réalité, elle peut l’être beaucoup moins.
Informer n’est pas encore décider
Prenons un assistant HSE capable d’interroger l’ensemble de la documentation d’un site industriel.
Un salarié lui demande :
« Quelle concentration minimale en oxygène est prévue par notre procédure pour entrer dans cet espace confiné ? »
L’IA recherche l’information et restitue l’exigence applicable.
Elle intervient essentiellement comme un outil d’accès à l’information. La décision reste largement extérieure au système.
Changeons maintenant légèrement la question :
« Voici les résultats des mesures atmosphériques et les conditions de l’intervention. Peut-on entrer dans cet espace confiné ? »
Le rôle de l’IA n’est déjà plus le même.
Elle ne se contente plus de retrouver une règle. Elle doit interpréter plusieurs informations, les confronter aux exigences applicables et produire une conclusion.
Et si elle répond :
« Les conditions d’entrée sont satisfaites. »
elle vient de franchir une étape supplémentaire.
La recommandation peut progressivement devenir une autorisation
Sur le papier, rien n’empêche de préciser :
Cette réponse constitue uniquement une aide à la décision. La décision finale appartient à l’utilisateur.
Mais cette phrase suffit-elle réellement à définir la manière dont le système sera utilisé ?
Si l’opérateur analyse lui-même la situation, consulte la recommandation de l’IA puis exerce son propre jugement, nous sommes bien dans une logique d’aide à la décision.
Mais si son raisonnement devient :
« L’IA dit que les conditions sont réunies, donc je peux entrer. »
la situation est différente.
Juridiquement ou organisationnellement, l’humain peut toujours être présenté comme le décisionnaire. Pourtant, fonctionnellement, une partie essentielle de la décision a déjà été prise en amont par le système.
L’humain ne décide plus réellement entre plusieurs possibilités. Il valide une recommandation.
Une signature humaine ne garantit pas une décision humaine
Cette distinction est particulièrement importante dans les activités à risque.
Nous avons parfois tendance à considérer qu’il suffit de maintenir un humain à la fin du processus pour conserver la maîtrise de la décision :
IA → recommandation → validation humaine → action
Mais ajouter une validation humaine ne garantit pas que l’humain exerce réellement son jugement.
La question n’est donc pas seulement :
« Qui clique sur le bouton ? »
Elle est plutôt :
« Qui construit réellement la décision ? »
Si le système collecte les informations, les interprète, évalue la situation et recommande l’action à réaliser, tandis que l’humain se contente généralement de confirmer cette recommandation, la frontière entre aide à la décision et décision de fait devient beaucoup plus difficile à tracer.
La délégation peut être progressive et presque invisible
C’est probablement ce qui rend cette évolution intéressante du point de vue des facteurs humains.
Une organisation ne décidera pas nécessairement un matin :
« À partir d’aujourd’hui, nous déléguons cette décision de sécurité à l’IA. »
La délégation peut se construire progressivement.
Au départ, l’IA informe.
Puis ses analyses sont utilisées pour préparer la décision.
Ses recommandations deviennent ensuite suffisamment pertinentes pour constituer l’option privilégiée.
Et progressivement, ne pas suivre la recommandation devient l’exception qu’il faut justifier.
L’humain est toujours dans la boucle.
La procédure n’a peut-être même pas changé.
Pourtant, la répartition réelle du jugement entre l’humain et le système s’est profondément transformée.
La question n’est donc peut-être pas seulement de savoir si l’IA a le droit de décider, mais de savoir à quel moment nous avons, dans les faits, cessé de réellement décider sans elle.
Et avant même de nous demander comment contrôler sa recommandation, une autre question doit être posée : sur quoi l’IA a-t-elle construit son analyse ?
Partie 4 - Une bonne réponse dépend aussi de ce que nous donnons à l’IA
Jusqu’ici, nous avons surtout raisonné sur la réponse produite par l’intelligence artificielle : est-elle pertinente ? Peut-on lui faire confiance ? L’utilisateur est-il capable de la remettre en question ?
Mais une partie du problème se situe avant même que l’IA ne produise sa réponse.
Une IA peut parfaitement analyser les informations dont elle dispose et aboutir malgré tout à une recommandation inadaptée à la situation réelle.
Non pas parce que son raisonnement est nécessairement mauvais, mais parce que les informations qui lui ont été fournies étaient incomplètes, imprécises ou incorrectes.
L’IA ne voit pas nécessairement la situation que nous voyons
Reprenons notre exemple d’intervention en espace confiné.
Un utilisateur indique à l’IA :
« L’atmosphère contient 20,8 % d’oxygène, aucune concentration dangereuse n’a été détectée et la ventilation fonctionne. Peut-on autoriser l’entrée ? »
À partir de ces seules informations, une IA correctement conçue peut rechercher les exigences applicables et produire une analyse cohérente.
Mais que se passe-t-il si l’utilisateur omet de préciser qu’une canalisation connectée à l’équipement n’a pas été isolée ?
Ou qu’un produit utilisé pendant l’intervention peut modifier l’atmosphère ?
Ou que la mesure a été réalisée à un seul endroit alors que la configuration nécessite plusieurs points de contrôle ?
Le problème ne se situe alors pas nécessairement dans la réponse.
Il se situe dans la représentation de la situation donnée au système.
Encore faut-il savoir quelles informations sont importantes
C’est ici qu’apparaît une difficulté supplémentaire.
On pourrait considérer qu’il suffit de demander à l’utilisateur de fournir toutes les informations nécessaires.
Mais pour fournir les bonnes informations, encore faut-il savoir lesquelles sont pertinentes pour analyser le risque.
Et cela suppose déjà une certaine compétence.
Un spécialiste d’un domaine peut utiliser l’IA pour accélérer son analyse tout en sachant quelles données sont nécessaires, quelles hypothèses doivent être précisées et quelles informations manquantes doivent l’alerter.
Un utilisateur moins expérimenté peut, au contraire, ne pas transmettre une information déterminante simplement parce qu’il ignore qu’elle est déterminante.
On arrive alors à un paradoxe :
Plus une personne utilise l’IA pour compenser un manque d’expertise, moins elle est potentiellement capable d’identifier les informations que l’IA aurait besoin de connaître pour produire une analyse fiable.
Cela ne signifie évidemment pas qu’un non-spécialiste ne devrait pas utiliser l’IA. Mais le niveau de confiance accordé à sa réponse ne peut probablement pas être indépendant de la qualité et de la maîtrise des données qui ont permis de la produire.
Superviser l’IA commence donc avant sa réponse
Lorsque l’on parle de supervision humaine, on imagine facilement un humain placé après l’IA :
Données → IA → recommandation → contrôle humain → décision
Mais la maîtrise devrait probablement commencer plus tôt :
Situation réelle → données fournies → IA → recommandation → contrôle humain → décision
Il faut donc s’interroger à la fois sur l’entrée et la sortie du système.
Les informations sont-elles fiables ?
Sont-elles suffisamment complètes ?
Correspondent-elles encore à la situation réelle au moment de la décision ?
Certaines hypothèses ont-elles été implicitement introduites ?
Et surtout : quelqu’un est-il capable d’identifier ce qui manque ?
Une réponse exacte peut donc conduire à une mauvaise décision
C’est peut-être l’une des distinctions les plus importantes.
Une IA peut fournir une réponse exacte au regard des informations qui lui ont été communiquées, sans que cette réponse permette pour autant de prendre une bonne décision dans la situation réelle.
Nous connaissons déjà très bien ce problème en prévention.
Une analyse de risques n’est jamais meilleure que la connaissance de la situation sur laquelle elle repose. Une étude réalisée à partir d’un procédé mal décrit, d’hypothèses incorrectes ou d’informations incomplètes peut être méthodologiquement impeccable et néanmoins passer à côté d’un scénario important.
L’intelligence artificielle ne fait pas disparaître cette difficulté.
Elle pourrait même parfois la rendre moins visible, parce que la qualité de la réponse produite peut donner une impression de maîtrise particulièrement convaincante.
La pertinence d’une réponse ne dépend donc pas uniquement de la performance de l’IA. Elle dépend aussi de notre capacité à lui donner une représentation suffisamment juste de la réalité.
Et cela renforce encore la question de la supervision humaine.
Car si nous voulons qu’un humain constitue la dernière barrière avant une décision importante, il ne suffit pas qu’il soit présent.
Encore faut-il qu’il soit réellement capable de comprendre, vérifier et, si nécessaire, contester ce que l’IA lui propose.
Partie 5 - « Un humain reste dans la boucle » : mais lequel ?
Face aux risques liés à l’utilisation de l’intelligence artificielle dans des décisions sensibles, une réponse revient souvent : la décision finale restera humaine.
Le principe paraît rassurant.
L’IA analyse, recommande ou alerte, mais un opérateur, un manager ou un expert conserve la responsabilité de valider la décision.
Sur le papier, nous obtenons donc une architecture simple :
IA → recommandation → validation humaine → décision
L’humain constituerait ainsi la dernière barrière avant l’action.
Mais en sécurité, nous savons qu’une barrière n’est pas efficace simplement parce qu’elle existe sur un schéma.
Encore faut-il qu’elle soit réellement capable de remplir la fonction qu’on lui attribue.
Être dans la boucle ne signifie pas maîtriser la décision
Imaginons qu’une IA analyse une situation et recommande de poursuivre une opération.
Un responsable doit ensuite valider cette recommandation.
Peut-on considérer que la supervision humaine est assurée simplement parce qu’il clique sur « Valider » ?
Pour que son contrôle ait une réelle valeur, plusieurs conditions doivent être réunies.
Il doit comprendre suffisamment la situation pour apprécier la recommandation. Il doit disposer des informations nécessaires pour la confronter à la réalité. Il doit posséder les compétences permettant d’identifier une incohérence ou une hypothèse discutable.
Et il doit pouvoir s’opposer réellement à la recommandation.
Cela conduit à une question beaucoup plus exigeante que la simple présence d’un humain :
La personne qui supervise l’IA dispose-t-elle des compétences, des informations et de l’autorité nécessaires pour remettre sa recommandation en cause ?
Si la réponse est non, la supervision risque de devenir essentiellement administrative.
L’humain est bien présent dans la boucle, mais il ne constitue pas nécessairement une barrière de sécurité.
Une barrière humaine doit pouvoir détecter l’erreur
Cette question n’a finalement rien de nouveau pour un préventeur.
Lorsqu’une mesure de maîtrise repose sur une intervention humaine, nous devons nous demander si cette personne peut effectivement détecter la situation dangereuse et agir avant qu’elle ne produise ses effets.
Appliquons le même raisonnement à l’IA.
Si une recommandation incorrecte est produite, comment l’utilisateur peut-il savoir qu’elle est incorrecte ?
Dispose-t-il d’une information indépendante ?
Peut-il vérifier le raisonnement ou seulement son résultat ?
A-t-il suffisamment d’expérience pour reconnaître une situation inhabituelle ?
Et surtout, lui laisse-t-on réellement le temps et les moyens de réaliser cette vérification ?
Une instruction du type « toute recommandation de l’IA doit être validée par un humain » ne garantit donc pas, à elle seule, une maîtrise du risque.
Et si l’humain était moins compétent que l’IA ?
La question devient encore plus délicate lorsque l’IA est utilisée précisément parce qu’elle apporte une capacité que l’utilisateur ne possède pas.
Supposons qu’un système analyse plusieurs milliers de paramètres, compare la situation à des années de données et identifie une dérive invisible à première vue.
Il recommande une action.
Comment l’utilisateur doit-il challenger cette recommandation ?
À l’inverse, si le système conclut qu’aucune action particulière n’est nécessaire, comment cet utilisateur peut-il détecter ce que l’IA aurait éventuellement manqué ?
Nous touchons ici à une limite importante du principe de supervision humaine.
On ne peut pas demander à un humain de constituer une barrière indépendante s’il ne dispose pas des moyens nécessaires pour détecter la défaillance qu’il est censé arrêter.
Cela ne signifie pas que l’humain doit être capable de refaire intégralement le travail de l’IA. Sinon, l’intérêt même de l’outil deviendrait limité.
Mais l’organisation doit savoir sur quoi repose réellement son contrôle.
L’autorité compte autant que la compétence
Un autre élément est souvent sous-estimé : la capacité à dire non.
Imaginons qu’un opérateur ait un doute sur une recommandation formulée par un système considéré comme extrêmement fiable par l’organisation.
Le système indique que l’opération peut continuer.
L’opérateur souhaite l’arrêter.
Que se passe-t-il ?
Son jugement est-il considéré comme suffisamment légitime pour suspendre l’activité ? Doit-il démontrer que l’IA se trompe ? Une décision contraire à la recommandation doit-elle être justifiée auprès de sa hiérarchie ?
Plus l’outil acquiert une réputation de fiabilité, plus un phénomène subtil peut apparaître : la charge de la preuve peut s’inverser.
Ce n’est plus à la recommandation de convaincre l’humain.
C’est à l’humain d’expliquer pourquoi il ne souhaite pas la suivre.
Or une véritable barrière de sécurité doit pouvoir fonctionner même lorsqu’elle contrarie le fonctionnement normal du système.
Une supervision réelle, pas une validation symbolique
Maintenir l’humain dans la boucle est donc probablement nécessaire pour certaines utilisations de l’IA.
Mais cela ne suffit pas.
Il faut encore déterminer quel humain, avec quelles compétences, quelles informations, quelle indépendance et quelle autorité.
Et cette exigence ne sera probablement pas identique pour toutes les utilisations.
Demander à une IA de résumer une procédure et lui demander de déterminer si une opération présentant un risque majeur peut être poursuivie sont deux usages radicalement différents.
Pourtant, dans les deux cas, nous pourrions écrire la même chose dans une procédure :
« La décision finale reste sous la responsabilité de l’utilisateur. »
C’est précisément là que cette formulation atteint ses limites.
La question n’est pas seulement de maintenir un humain dans la boucle. Il faut déterminer quelle performance nous attendons réellement de cette barrière humaine.
Et cette performance devrait logiquement dépendre de ce qui se passerait si elle échouait.
Partie 6 - Toutes les utilisations de l’IA ne présentent pas le même risque
Jusqu’ici, nous avons parlé de l’intelligence artificielle de manière assez générale.
Pourtant, demander à une IA de résumer une procédure de sécurité et lui demander de déterminer si une opération peut être poursuivie ne sont évidemment pas deux usages équivalents.
Dans le premier cas, une erreur peut conduire l’utilisateur à rechercher une information complémentaire ou à consulter le document d’origine.
Dans le second, une erreur peut contribuer directement à exposer une personne, un équipement, une installation ou l’environnement à une situation dangereuse.
Le sujet n’est donc peut-être pas d’évaluer le risque de l’IA, mais bien le risque associé à l’usage que nous décidons d’en faire.
La même IA peut être utilisée pour des décisions très différentes
Prenons un même assistant HSE.
Nous pouvons lui demander :
« Résume-moi cette procédure de consignation. »
Puis :
« Identifie les points de cette procédure applicables à cette intervention. »
Puis :
« Analyse cette situation et indique-moi les risques qui auraient pu être oubliés. »
Et finalement :
« Au regard de ces informations, pouvons-nous démarrer l’intervention ? »
Techniquement, nous utilisons peut-être exactement le même système.
Mais sa place dans le processus de décision a progressivement changé.
Il est passé d’un outil permettant d’accéder plus rapidement à l’information à un système auquel nous demandons d’influencer directement une décision de sécurité.
C’est donc moins la technologie elle-même que la fonction que nous lui attribuons qui doit nous intéresser.
La conséquence d’une erreur change la question
Nous raisonnons déjà ainsi dans de nombreux domaines de la prévention.
Nous n’exigeons pas le même niveau de maîtrise pour une défaillance sans conséquence significative et pour une défaillance susceptible de provoquer un accident majeur.
Pourquoi raisonnerions-nous différemment avec l’intelligence artificielle ?
Si une IA produit un mauvais résumé d’un document, la conséquence peut être limitée, notamment si le document source reste facilement accessible.
Si elle oublie un scénario lors d’une première séance de brainstorming HAZOP, les participants peuvent encore l’identifier par leurs propres analyses.
Mais si une organisation utilise une recommandation produite par l’IA pour autoriser une intervention, neutraliser une alarme, modifier un paramètre critique ou poursuivre une opération dégradée, la nature du problème change.
La question n’est plus seulement :
« Quelle est la probabilité que l’IA se trompe ? »
Elle devient aussi :
« Que peut-il se passer si nous suivons une recommandation incorrecte ? »
C’est une question particulièrement familière pour un professionnel de la prévention.
Mais la gravité ne suffit pas
Il serait toutefois trop simple de classer les usages uniquement selon la gravité potentielle de leurs conséquences.
D’autres éléments entrent en jeu.
Une erreur de l’IA peut-elle être détectée avant qu’elle ne produise ses effets ?
La recommandation est-elle confrontée à une autre source d’information ?
Existe-t-il encore des barrières indépendantes entre cette recommandation et l’accident ?
L’utilisateur dispose-t-il des compétences nécessaires pour identifier une incohérence ?
Et surtout : quelle part du jugement avons-nous réellement confiée au système ?
Une IA utilisée pour challenger une analyse HAZOP n’a pas la même fonction qu’une IA utilisée pour produire seule cette analyse, même si les deux usages concernent potentiellement les mêmes scénarios d’accident.
Dans le premier cas, elle constitue une couche supplémentaire d’analyse.
Dans le second, l’organisation peut commencer à faire dépendre son niveau de maîtrise de la qualité de son raisonnement.
Cette distinction est essentielle.
L’IA peut ajouter une barrière… ou devenir un maillon critique
C’est peut-être ainsi qu’il faut regarder son intégration dans nos systèmes de sécurité.
Dans certaines configurations :
Analyse humaine + IA → capacité supplémentaire de détection
L’IA ajoute alors une défense.
Mais dans d’autres :
IA → recommandation → validation humaine → action
la recommandation de l’IA devient progressivement un maillon nécessaire à la qualité de la décision.
Et plus nous supprimons ou affaiblissons les vérifications indépendantes autour d’elle, plus sa défaillance potentielle devient importante.
Nous retrouvons ici une logique classique de maîtrise des risques : il faut regarder l’ensemble de la chaîne de décision et pas seulement la fiabilité d’un de ses composants.
La confiance devrait-elle alors dépendre des conséquences ?
Cela conduit à une question centrale pour l’utilisation de l’IA en sécurité :
Le niveau de confiance que nous accordons à l’IA doit-il dépendre des conséquences de la décision qu’elle nous aide à prendre ?
Probablement.
Nous pouvons accepter qu’un outil automatise largement certaines tâches à faible enjeu tout en exigeant une supervision beaucoup plus forte lorsque sa recommandation intervient dans une décision susceptible d’avoir des conséquences graves.
Cela ne revient pas à considérer l’IA comme dangereuse.
C’est exactement ce que nous faisons avec les autres technologies : nous adaptons les exigences de maîtrise aux conséquences possibles de leur défaillance et à la fonction qu’elles occupent dans le système.
Dès lors, une idée assez naturelle apparaît.
Avant de déterminer jusqu’où nous pouvons déléguer une analyse ou une décision à une intelligence artificielle, ne devrions-nous pas commencer par analyser le risque associé à cette délégation ?
Partie 7 - Faut-il analyser le risque avant de déléguer une décision à l’IA ?
La question peut sembler inhabituelle. Pourtant, elle correspond à une démarche que nous appliquons déjà quotidiennement en prévention.
Avant de modifier une machine, d’introduire un nouveau produit chimique, de transformer un procédé ou de faire évoluer une organisation, nous cherchons à comprendre quels nouveaux risques cette modification peut introduire.
L’arrivée d’une intelligence artificielle dans un processus de décision devrait-elle être traitée différemment ?
Nous évaluons les risques avant de modifier une machine, un procédé ou une organisation. Pourquoi n’évaluerions-nous pas également le risque avant de déléguer une partie de nos décisions de sécurité à une IA ?
Il ne s’agirait pas nécessairement d’évaluer techniquement l’algorithme lui-même.
Pour un professionnel de la prévention, la question peut être beaucoup plus concrète :
Que confions-nous à l’IA, et que pourrait-il se passer si sa recommandation était incorrecte ?
Commencer par la fonction confiée à l’IA
La première étape serait probablement de définir précisément ce que nous attendons du système.
- Est-il utilisé pour rechercher une information ?
- Pour synthétiser des données ?
- Pour identifier des anomalies ?
- Pour proposer des scénarios ?
- Pour recommander une action ?
- Ou sa réponse conditionne-t-elle directement la poursuite ou l’arrêt d’une opération ?
Cette distinction est essentielle.
Une IA utilisée comme deuxième regard sur une analyse existante peut apporter une barrière supplémentaire.
Une IA à laquelle on confie progressivement une partie du raisonnement nécessaire à une décision critique occupe une fonction très différente.
Avant même de parler de performance technique, il faudrait donc pouvoir répondre à une question simple :
Quelle part de notre jugement sommes-nous réellement en train de déléguer ?
Que se passe-t-il si l’IA se trompe ?
Vient ensuite une question classique d’analyse des risques : la conséquence de la défaillance.
Imaginons volontairement que la recommandation produite soit incorrecte.
Que peut-il alors se passer ?
Si l’IA classe mal un document ou propose un résumé imparfait, les conséquences peuvent rester limitées.
Si elle ne détecte pas un risque lors d’un brainstorming, d’autres participants peuvent encore l’identifier.
Mais si sa recommandation contribue à autoriser une entrée en espace confiné, à poursuivre une opération en situation dégradée ou à considérer qu’une intervention peut être réalisée en sécurité, l’erreur peut prendre une tout autre dimension.
Ce raisonnement permet de déplacer la discussion.
Nous ne cherchons plus uniquement à savoir :
« L’IA est-elle fiable ? »
Nous cherchons à savoir :
« Quelle importance sa fiabilité prend-elle dans la maîtrise de ce risque précis ? »
L’erreur peut-elle être détectée avant ses conséquences ?
Une recommandation incorrecte ne conduit pas nécessairement à un accident.
D’autres mécanismes peuvent encore empêcher la situation dangereuse.
Une vérification indépendante peut être prévue. Un opérateur peut détecter une incohérence. Une alarme peut se déclencher. Une protection technique peut empêcher l’action. Une procédure peut imposer un contrôle complémentaire.
Autrement dit, il faudrait également regarder ce qui reste entre l’erreur de l’IA et la conséquence redoutée.
C’est une logique que nous connaissons bien dans l’analyse des barrières.
Si une recommandation erronée peut facilement être détectée et qu’il existe plusieurs barrières indépendantes avant l’accident, la place de l’IA dans le risque reste limitée.
À l’inverse, si cette recommandation constitue pratiquement la dernière analyse avant l’action, son importance devient beaucoup plus grande.
Et l’humain dans cette analyse ?
Nous retrouvons alors la question abordée précédemment.
Si la maîtrise repose sur une validation humaine, il faut considérer cette validation comme une véritable barrière à analyser.
L’utilisateur connaît-il suffisamment le domaine ?
Dispose-t-il d’informations indépendantes de celles utilisées par l’IA ?
Peut-il identifier une recommandation incohérente ?
A-t-il le temps de le faire ?
Peut-il refuser la recommandation sans devoir démontrer au préalable que le système s’est trompé ?
Et conserve-t-il réellement cette vigilance après des centaines de recommandations correctes ?
Il serait contradictoire de considérer automatiquement la présence d’un humain comme une mesure de maîtrise efficace sans s’interroger sur la performance réelle de cette supervision.
Une analyse de risque de l’usage, pas nécessairement de la technologie
Cette distinction me paraît essentielle.
L’objectif ne serait pas de créer une nouvelle méthode permettant à chaque responsable HSE d’évaluer la fiabilité technique d’un modèle d’intelligence artificielle. Ce sujet nécessite d’autres compétences et d’autres approches.
En revanche, nous savons analyser une situation de travail et une chaîne de décision.
Nous pouvons nous demander :
Quelle fonction est confiée à l’IA ? → Quelle erreur redoutons-nous ? → Quelles pourraient être ses conséquences ? → Comment cette erreur pourrait-elle être détectée ? → Quelles barrières indépendantes subsistent ? → Quelle compétence humaine reste nécessaire ?
C’est finalement une analyse de risques assez classique appliquée à un nouvel usage.
Et elle pourrait conduire à des conclusions très différentes selon les situations.
Dans certains cas, l’organisation pourrait accepter une automatisation importante.
Dans d’autres, elle pourrait imposer une validation par une personne compétente.
Pour certaines décisions particulièrement critiques, elle pourrait exiger une vérification indépendante ou décider que le jugement ne doit tout simplement pas être totalement délégué.
L’enjeu n’est donc peut-être pas de fixer une limite universelle à l’utilisation de l’IA, mais de déterminer, pour chaque usage, jusqu’où nous pouvons raisonnablement lui faire confiance.
Cela conduit naturellement à une dernière question pratique : le niveau de supervision humaine ne devrait-il pas être proportionné au risque associé à l’usage de l’IA ?
Partie 8 - Vers une supervision proportionnée au risque ?
Si toutes les utilisations de l’intelligence artificielle ne présentent pas les mêmes enjeux, il paraît logique que toutes ne nécessitent pas non plus le même niveau de supervision humaine.
Exiger une validation approfondie de chaque résumé de procédure produit par une IA rendrait rapidement l’outil inutile.
À l’inverse, considérer qu’une simple validation de l’utilisateur suffit pour toute décision assistée par IA serait difficilement défendable lorsque les conséquences potentielles deviennent importantes.
Nous retrouvons ici un principe classique de prévention :
Le niveau de maîtrise devrait être proportionné au niveau de risque.
Appliqué à l’intelligence artificielle, cela pourrait signifier que plus son rôle devient déterminant dans une décision critique, plus les exigences de supervision devraient augmenter.
De l’assistance à la décision critique
Sans chercher à créer une nouvelle méthode de cotation, nous pouvons imaginer plusieurs situations.
Usage de l’IA | Exemple | Place de l’IA | Supervision envisageable |
Assistance documentaire | Résumer une procédure | Information | Vérification ponctuelle / accès à la source |
Assistance à l’analyse | Rechercher des événements similaires ou proposer des scénarios | Analyse complémentaire | Relecture par l’utilisateur |
Recommandation | Proposer des mesures de prévention à partir d’une situation | Influence sur la décision | Validation par une personne compétente |
Aide à une décision sensible | Évaluer si les conditions nécessaires à une opération sont réunies | Forte influence sur la décision | Vérification humaine structurée et indépendante |
Décision critique | Autoriser ou poursuivre une opération pouvant conduire à un accident grave | Élément déterminant de la décision | Supervision humaine renforcée, voire absence de délégation de la décision |
Cette grille n’a évidemment aucune vocation normative.
Elle permet simplement de visualiser une idée : entre utiliser l’IA comme moteur de recherche amélioré et lui confier une fonction déterminante dans une décision critique, nous changeons progressivement de niveau de risque.
Plus l’IA devient déterminante, plus le contrôle doit être indépendant
Un autre point mérite attention.
Si l’humain chargé de vérifier la recommandation dispose exactement des mêmes informations, suit le même raisonnement proposé par l’IA et n’a aucun moyen supplémentaire de confronter sa conclusion à la réalité, peut-on véritablement parler de contrôle indépendant ?
Prenons une décision importante.
L’IA analyse les données disponibles et recommande de poursuivre l’opération.
Le superviseur lit son analyse, la trouve cohérente et valide.
Il y a bien eu deux étapes.
Mais y a-t-il réellement eu deux lignes de défense ?
Une supervision plus robuste pourrait nécessiter, selon le niveau de risque, une source d’information indépendante, une vérification terrain, un critère objectif supplémentaire, l’intervention d’une personne disposant d’une expertise particulière ou encore une barrière technique qui ne dépend pas de la recommandation de l’IA.
C’est une distinction fondamentale entre validation et vérification.
Plus les conséquences d’une erreur sont importantes, moins la supervision devrait se limiter à confirmer que la réponse de l’IA paraît plausible.
Certaines décisions devront peut-être rester non délégables
La logique de proportionnalité conduit également à accepter qu’il puisse exister une limite.
Pour certaines décisions, la bonne réponse ne sera peut-être pas de chercher à rendre l’IA suffisamment fiable pour décider à notre place.
Elle pourra être extrêmement utile pour analyser des données, identifier des scénarios, rechercher des informations, challenger un raisonnement ou formuler des recommandations.
Mais la décision elle-même pourra rester explicitement humaine.
Non pas parce que l’humain serait nécessairement plus fiable que l’IA.
C’est justement là que le raisonnement devient intéressant.
Nous pouvons décider de conserver une décision humaine parce que nous ne souhaitons pas qu’une seule technologie, aussi performante soit-elle, devienne le point déterminant d’une décision dont l’échec pourrait avoir des conséquences critiques.
Nous retrouvons alors une logique très familière en sécurité : éviter qu’une défaillance unique puisse suffire à conduire à l’événement redouté.
Le véritable enjeu pourrait être l’architecture de la décision
Finalement, la question n’est peut-être pas :
« Quel niveau de confiance pouvons-nous accorder à l’IA ? »
Mais plutôt :
« Quelle architecture de décision sommes-nous prêts à construire autour d’elle ? »
Qui fournit les informations ?
Qui contrôle leur qualité ?
Que fait réellement l’IA ?
Qui examine sa recommandation ?
Avec quelles compétences ?
À partir de quelles informations indépendantes ?
Quelles barrières subsistent en cas d’erreur ?
Et quelles décisions refusons-nous éventuellement de lui déléguer ?
Cette approche évite deux positions extrêmes : considérer que toute décision assistée par IA serait dangereuse, ou considérer qu’une IA suffisamment performante pourrait être utilisée de la même manière quel que soit l’enjeu.
L’objectif ne devrait probablement pas être de maintenir systématiquement un humain dans chaque boucle, mais de construire un niveau de supervision cohérent avec le risque que nous acceptons de confier à cette boucle.
Cette idée de supervision proportionnée au risque n’est d’ailleurs plus seulement une réflexion de préventeur.
Le cadre réglementaire européen commence lui aussi à poser explicitement la question de la supervision humaine des systèmes d’intelligence artificielle.
Partie 9 - Ce que l’AI Act nous dit déjà sur la supervision humaine
Cette réflexion sur la place de l’humain n’est pas uniquement théorique.
Le règlement européen sur l’intelligence artificielle, l’AI Act, introduit lui aussi une logique de maîtrise du risque et accorde une place importante au contrôle humain pour les systèmes d’IA classés à haut risque.
Il faut toutefois être précis : toute utilisation d’une IA en HSE n’est pas automatiquement un système d’IA à haut risque au sens de l’AI Act. Les exigences que nous allons évoquer concernent spécifiquement cette catégorie réglementaire.
Mais les principes retenus sont particulièrement intéressants lorsqu’on les regarde avec des yeux de préventeur.
Un contrôle humain proportionné au risque et à l’autonomie
L’article 14 prévoit que les systèmes d’IA à haut risque doivent pouvoir faire l’objet d’un contrôle effectif par des personnes physiques.
Surtout, il précise que les mesures de contrôle doivent être proportionnées aux risques, au niveau d’autonomie et au contexte d’utilisation du système.
Nous retrouvons presque exactement le raisonnement développé précédemment.
Il ne suffit donc pas de dire :
« Un humain valide la décision. »
Le contrôle doit être adapté à la place réelle occupée par l’IA et aux conséquences susceptibles de résulter de son utilisation.
L’AI Act reconnaît explicitement le biais d’automatisation
Un passage de l’article 14 est encore plus intéressant pour notre réflexion.
Le règlement demande que les personnes chargées du contrôle humain puissent rester conscientes de la tendance possible à se fier automatiquement ou excessivement aux résultats produits par le système.
Le texte emploie explicitement la notion de « biais d’automatisation » et vise notamment les systèmes fournissant des informations ou des recommandations utilisées par des humains pour prendre des décisions.
Autrement dit, le problème que nous évoquions plus tôt est suffisamment important pour être directement intégré dans le règlement européen :
La présence d’un humain ne suffit pas si celui-ci finit par suivre automatiquement la recommandation de la machine.
Et cela confirme un point essentiel : la performance de la supervision humaine ne peut pas être réduite à l’existence d’une étape de validation.
Comprendre, interpréter… et pouvoir dire non
L’article 14 va d’ailleurs plus loin.
Selon les situations, la personne chargée du contrôle doit notamment pouvoir comprendre les capacités et les limites du système, surveiller son fonctionnement, interpréter correctement ses résultats et détecter certaines anomalies ou performances inattendues.
Mais elle doit également pouvoir ne pas utiliser le système, ignorer sa recommandation, la remplacer ou revenir sur celle-ci.
Nous retrouvons ici trois dimensions que nous avions identifiées pour qu’une barrière humaine soit réellement crédible :
la compétence, pour comprendre et interpréter ;
l’information, pour détecter qu’une situation mérite d’être remise en question ;
l’autorité, pour ne pas suivre la recommandation.
Le considérant 73 du règlement précise d’ailleurs que les personnes auxquelles le contrôle humain est confié doivent disposer des compétences, de la formation et de l’autorité nécessaires pour remplir ce rôle.
L’AI Act ne répond pas à toute notre question
Il serait néanmoins excessif d’en conclure que l’AI Act apporte une méthode permettant de déterminer jusqu’où une entreprise peut déléguer une décision de sécurité à une intelligence artificielle.
Ce n’est pas son objet.
Et notre réflexion dépasse également la seule catégorie réglementaire des systèmes d’IA à haut risque.
Mais le rapprochement est intéressant.
Nous sommes partis d’un raisonnement classique de prévention : plus les conséquences potentielles augmentent et plus une technologie devient déterminante dans la décision, plus nous devons nous interroger sur les barrières qui permettent d’en maîtriser la défaillance.
Le règlement européen adopte lui aussi une logique de contrôle humain proportionné au risque, à l’autonomie et au contexte d’utilisation, tout en reconnaissant explicitement le risque de confiance excessive dans les recommandations automatisées.
Ce n’est donc probablement pas un hasard si, au moment où les capacités de l’intelligence artificielle progressent, la question n’est plus seulement de savoir ce que la technologie est capable de faire.
Elle devient aussi :
Que doit encore être capable de faire l’humain qui la supervise ?
Et nous revenons alors au paradoxe posé au début de cet article : après avoir utilisé la technologie pour renforcer nos barrières de sécurité, sommes-nous en train de faire de l’humain la dernière barrière de sécurité de la technologie ?
Règlement européen 2024/1689 – AI Act, texte officiel sur EUR-Lex
Partie 10 - L’humain, dernière barrière de sécurité de l’IA ?
L’humain, dernière barrière de sécurité de l’IA ?
Nous sommes partis d’un paradoxe.
Pendant des décennies, la prévention a cherché à éviter qu’une erreur humaine puisse, à elle seule, conduire à un accident.
Nous avons ajouté des automatismes, des alarmes, des interverrouillages, des systèmes instrumentés et des aides à la décision. Nous avons construit des barrières autour de l’humain parce que nous savons qu’il est faillible.
L’intelligence artificielle pourrait considérablement renforcer cette architecture. Elle peut nous aider à voir davantage, analyser plus vite, exploiter des volumes considérables d’informations et détecter des situations que nous aurions peut-être manquées.
Mais plus elle deviendra performante, plus nous aurons de bonnes raisons de lui faire confiance.
Et c’est précisément là que le paradoxe apparaît.
Ne pas opposer l’humain et l’IA
L’enjeu n’est probablement pas de déterminer lequel de l’humain ou de l’IA est le plus fiable.
Il est de construire une chaîne de décision suffisamment robuste lorsque l’un ou l’autre se trompe.
Nous retrouvons finalement un principe extrêmement classique de sécurité :
Ne pas faire reposer la maîtrise d’un risque critique sur une seule barrière.
Avant d’intégrer l’IA dans une décision de sécurité, nous devrons donc progressivement apprendre à nous demander : que lui déléguons-nous réellement, que se passe-t-il si elle se trompe, comment cette erreur peut-elle être détectée et quelles barrières restent indépendantes de son analyse ?
Et lorsque la dernière de ces barrières est humaine, une question supplémentaire devient essentielle :
La personne chargée de superviser l’IA est-elle réellement capable de lui dire non ?
Ce questionnement n’est pas une raison pour freiner l’utilisation de l’intelligence artificielle en prévention.
C’est peut-être, au contraire, une condition pour pouvoir lui confier davantage.
Pendant des décennies, nous avons ajouté de la technologie pour éviter qu’une erreur humaine ne conduise à l’accident.
Avec l’IA, nous allons peut-être devoir maintenir de l’humain pour éviter qu’une recommandation technologique ne devienne, sans véritable contrôle, une décision.
Et si l’humain doit devenir cette dernière barrière :
Il ne suffira pas qu’il soit dans la boucle. Il faudra s’assurer qu’il soit encore réellement capable de décider.
