← Écrits

Essai

Gouverner l’IA quand l’enjeu est humain

Dans les ONG de terrain et de défense des droits, les outils d’IA généralistes font déjà partie du travail courant de traduction, de rédaction et de synthèse. La question de leur gouvernance se pose dès qu’ils servent à traiter des témoignages, des dossiers individuels ou d’autres informations personnelles sensibles, sans que l’organisation ait clairement décidé des usages acceptables.

Dans cet essai

Lorsque des salarié·es ou des bénévoles utilisent déjà des outils d’IA généralistes dans un travail susceptible de porter sur des informations personnelles sensibles, des témoignages ou des dossiers individuels, deux problèmes méritent une attention particulière : ce que deviennent ces informations une fois transmises au système, et ce qui se passe lorsque ses dispositifs de sécurité entravent un travail légitime d’accompagnement. La Gouvernance par la cohérence permet d’examiner si les choix concernant l’outil, les données, les méthodes de travail, la vérification humaine et la responsabilité de l’organisation sont cohérents entre eux.

Une organisation à but non lucratif n’a pas besoin de lancer un « projet d’IA » pour être confrontée à sa gouvernance : une personne chargée de l’accompagnement utilise la traduction automatique, un·e collègue de la communication demande à un assistant de rédaction de raccourcir un témoignage pour un rapport, un·e bénévole réorganise une lettre difficile à l’aide d’un agent conversationnel, une équipe chargée de la collecte de fonds expérimente des textes générés, une suite bureautique intègre des fonctions de synthèse de réunions ou de recherche documentaire.

Pour les petites ONG en particulier, l’intérêt est évident : traduire, gérer des dossiers, rédiger des rapports et communiquer demande du temps et des compétences spécialisées qui ne sont pas toujours disponibles au moment où l’on en a besoin. La difficulté tient au fait que les ONG travaillent souvent avec des informations confiées dans des situations de dépendance, d’urgence et de vulnérabilité.

Cet article concerne plus particulièrement les ONG de terrain et de défense des droits qui accompagnent directement des personnes en situation de vulnérabilité ou de marginalisation et traitent régulièrement des informations personnelles sensibles, des témoignages ou des dossiers individuels.

Une organisation qui accompagne des personnes en demande d’asile peut détenir des récits de persécutions politiques, de torture, de violences sexuelles, de problèmes de santé, de séparation familiale, de parcours migratoires irréguliers ou de détention, ainsi que des informations sur la religion ou la sexualité. Une organisation LGBTQI+ peut recevoir des récits de discrimination, de révélation non consentie de l’orientation sexuelle ou de l’identité de genre, de rejet familial ou de crimes de haine. Une organisation qui accompagne les victimes de violences sexuelles et sexistes peut détenir des témoignages sur des violences, des relations intimes, des blessures ou des menaces persistantes. Les organisations qui interviennent auprès de personnes sans abri, dans les domaines du handicap, de la santé mentale, de la traite des êtres humains, de la réduction des risques ou de la protection de l’enfance peuvent traiter des informations tout aussi sensibles, même si les risques diffèrent selon les situations.

La personne qui a confié son histoire l’a généralement fait pour une raison précise : obtenir de l’aide, faire valoir un droit, documenter un préjudice ou accéder à un service. Transmettre ce récit à un service intégrant de l’IA soulève plusieurs questions. L’organisation a-t-elle, juridiquement, le droit de lui communiquer ces informations ? Que deviennent-elles ensuite ? Peuvent-elles être réutilisées pour développer des modèles ou des produits ? Et si c’est le cas, que signifie, pour une organisation au service de groupes marginalisés, le fait de fournir des récits très sélectifs de leur vie à des systèmes qu’elle ne peut pas examiner ?

Les ONG rencontrent un problème particulier de gouvernance de l’IA : les informations qu’elles traitent peuvent être extrêmement sensibles, alors que les outils utilisés sont généralement des systèmes généralistes conçus pour des contenus beaucoup plus variés. Les risques concernent à la fois le devenir des récits personnels une fois transmis au système et les situations dans lesquelles celui-ci ne parvient pas à les traiter de manière fiable.

Lorsqu’un récit personnel entre dans un système d’IA

La traduction permet de comprendre concrètement le problème. Lorsqu’une organisation d’aide aux personnes migrantes reçoit un témoignage en dari, en arabe, en persan, en tigrinya ou dans une autre langue, quelqu’un doit pouvoir le comprendre rapidement. La traduction automatique peut rendre ces informations accessibles lorsqu’aucun·e traducteur·rice n’est disponible ou que les délais d’une traduction humaine ne permettent pas de répondre au besoin immédiat. L’outil peut servir à traduire le message d’une personne qui craint que son orientation sexuelle ou son identité de genre soit révélée contre son gré, un récit de violences sexuelles, un document médical ou une demande d’hébergement d’urgence. La tâche de traduction peut sembler ordinaire ; le contenu à traduire, lui, ne l’est pas.

Le droit européen de la protection des données accorde une protection particulière à plusieurs catégories d’informations couramment traitées dans ces contextes, notamment les données concernant la santé, l’orientation sexuelle, la vie sexuelle, les opinions politiques, les convictions religieuses ou l’origine raciale ou ethnique.1

Supprimer les éléments directement identifiants ne suffit pas nécessairement à rendre les informations anonymes. Au sens du RGPD, les données pseudonymisées restent des données à caractère personnel lorsqu’elles peuvent encore être attribuées à une personne à l’aide d’informations supplémentaires.2 La combinaison d’un lieu, d’une date, d’un lien familial, d’une profession, d’antécédents médicaux ou de circonstances inhabituelles peut aussi contribuer à rendre une personne identifiable.

Avant de se demander si une traduction produite par l’IA est exacte, une question plus fondamentale se pose donc : l’organisation a-t-elle réellement décidé que ce service précis, dans ces conditions précises, pouvait recevoir ce type d’informations ? Cette décision ne devrait pas reposer sur la supposition d’un·e salarié·e selon laquelle un outil est sûr parce qu’il est déjà disponible sur son téléphone ou son ordinateur.

Détenir des informations sur une personne ne donne pas à une organisation toute latitude pour en disposer. Les personnes s’adressent généralement aux ONG pour un besoin précis. Une personne en demande d’asile peut décrire des violences politiques parce que cela est nécessaire pour étayer sa demande. Une personne qui contacte une association LGBTQI+ peut révéler son orientation sexuelle ou son identité de genre parce qu’elle a besoin d’un hébergement, de conseils juridiques ou d’un soutien psychologique. Une personne ayant subi des violences sexuelles peut les raconter parce que l’organisation doit évaluer l’aide dont elle a besoin. Ces récits sont généralement confiés dans une relation de confiance et dans un but particulier.

Le Comité européen de la protection des données indique que, pour apprécier les attentes raisonnables d’une personne dans le cadre d’une analyse fondée sur l’intérêt légitime, plusieurs facteurs peuvent entrer en compte : la relation avec cette personne, le contexte de collecte des informations, leur source et les utilisations ultérieures possibles du modèle.3 Pour une ONG, cette question mérite d’être examinée avant d’aborder les aspects plus techniques. L’organisation peut avoir une raison légitime de détenir les informations et une base juridique pour les traiter. Leur transmission à un autre service, qui peut faire intervenir d’autres finalités et d’autres acteurs, exige néanmoins une analyse de la situation et de l’outil envisagé.

Lorsqu’une organisation envisage d’utiliser un service intégrant de l’IA pour traiter des contenus sensibles, plusieurs questions ont tendance à être confondues.

La première est de savoir si ces informations peuvent être transmises au service. Cela peut relever de la protection des données, de la confidentialité, de la protection des personnes accompagnées, de règles professionnelles ou d’obligations contractuelles.

Vient ensuite la question de ce que le prestataire fait du contenu. Les informations saisies sont-elles conservées ? Pendant combien de temps ? Peut-on les supprimer ? Qui peut y accéder ? Les réponses diffèrent-elles selon qu’il s’agit d’un compte gratuit, d’une offre professionnelle payante ou d’un service destiné aux entreprises ?

Autoriser un produit de manière générale peut laisser des questions importantes sans réponse. L’organisation doit vérifier les conditions applicables au compte et à la version réellement utilisés par ses équipes, notamment en matière de conservation, de contrôles d’administration et de réutilisation éventuelle des échanges pour améliorer les modèles ou le produit.

Se pose également la question des usages secondaires : les échanges peuvent-ils servir à entraîner ou améliorer des modèles, à évaluer le service, à développer des dispositifs de sécurité ou à améliorer le produit d’une autre manière ? La réponse dépend du prestataire, du produit et du compte.

Si les échanges peuvent être réutilisés pour développer les modèles, une autre question suit : quel type de contenu l’organisation risque-t-elle de fournir ? Les organisations qui aident des groupes marginalisés rencontrent généralement ces personnes dans des circonstances très particulières. Une ONG d’aide aux personnes migrantes les rencontre souvent parce qu’elles subissent des persécutions, une détention, une exclusion administrative, l’absence de logement ou des violences. Une organisation de soutien aux personnes LGBTQI+ peut recevoir une proportion particulièrement élevée de récits de discrimination, de rejet familial, de discours haineux ou de précarité du logement. Les organisations qui travaillent sur le sans-abrisme, les addictions, la traite des êtres humains ou les crises de santé mentale sont elles aussi confrontées à une concentration de situations difficiles, précisément parce que leur mission est d’y répondre.

Ces récits ne constituent pas des portraits représentatifs de l’ensemble des populations concernées. Les recherches sur les biais des modèles de langage identifient la composition et la représentativité des données d’entraînement comme une source possible de biais préjudiciables, parmi de nombreux autres choix effectués lors du développement et du déploiement des modèles.4 Cela ne démontre pas qu’une ONG qui traduit des récits personnels rend automatiquement et systématiquement un modèle plus biaisé. L’enchaînement des causes est bien plus complexe.

Le problème tient ici au manque de visibilité. Si ces échanges peuvent alimenter le développement des modèles, l’ONG n’aura peut-être aucun moyen de savoir comment ils sont sélectionnés, pondérés, filtrés ou utilisés par la suite. Elle risque donc de contribuer à une représentation très particulière de la population qu’elle accompagne, sans savoir ce qu’il advient ensuite de cette représentation. Pour les organisations dont la mission comprend la défense de groupes déjà exposés aux stéréotypes ou à la discrimination, cette incertitude doit entrer dans la décision de transmettre ou non ces contenus au service.

Lorsque le système ne parvient pas à traiter le récit

Une autre série de difficultés apparaît lorsque les contenus eux-mêmes déclenchent les dispositifs de sécurité du système. Ces récits peuvent comporter des descriptions de violences, de persécutions, d’abus sexuels, d’automutilation, de discours haineux ou de détresse. Un outil de traduction ou de synthèse peut fonctionner parfaitement sur un texte administratif ordinaire, puis refuser une tâche légitime, tronquer le résultat ou en atténuer les termes en raison du contenu à traiter. Pour une ONG, les performances moyennes ne suffisent pas. L’outil doit aussi fonctionner sur des contenus difficiles, inhabituels ailleurs, mais trop fréquents dans ces organisations.

Les fournisseurs d’IA mettent en place des dispositifs de sécurité pour empêcher les modèles de produire des contenus préjudiciables ou d’aider à commettre des actes dangereux, et ils ont de bonnes raisons de le faire. Les ONG peuvent pourtant avoir besoin de traiter des descriptions portant précisément sur les sujets que ces dispositifs sont conçus pour détecter. J’ai vu des outils intégrant de l’IA refuser de traiter des témoignages liés à des demandes d’asile au cours d’une tâche par ailleurs ordinaire, parce que le récit contenait des éléments qui déclenchaient leurs dispositifs de sécurité.

Le même problème peut se présenter ailleurs : un service d’aide aux victimes de violences sexuelles peut avoir besoin de traduire la description explicite d’une agression ; une organisation LGBTQI+ peut devoir traiter des messages de menace contenant des insultes homophobes ou transphobes ; une organisation intervenant dans la santé mentale ou auprès des jeunes peut travailler sur un document qui évoque l’automutilation.

Des recherches récentes décrivent ce phénomène plus général comme un refus excessif induit par le contexte : le modèle refuse une tâche sans danger parce que des éléments sensibles présents dans le contenu fourni déclenchent ses dispositifs de sécurité. Une étude publiée en 2025 dans les actes Findings of ACL montre que cela peut se produire dans des tâches courantes comme la traduction et la synthèse, avec des taux de refus variables selon la tâche, la famille de modèles et la configuration du système.5

Les contenus susceptibles de déclencher ces dispositifs peuvent faire partie du quotidien d’une ONG. Un système très performant dans des tests génériques de traduction peut donc se révéler peu fiable sur les documents que l’organisation a le plus besoin de traiter.

Lorsqu’un outil refuse une tâche légitime, les personnes qui l’utilisent cherchent généralement à le faire fonctionner. Elles peuvent supprimer une partie du récit, remplacer des mots explicites par des euphémismes, découper le document en sections plus courtes, reformuler plusieurs fois la consigne ou passer à un autre outil qui semble plus disposé à traiter le texte.

On comprend pourquoi les salarié·es et les bénévoles procèdent ainsi. Une traduction, un rapport ou un dossier reste à terminer, souvent avec peu de temps et de moyens. Mais chaque contournement peut créer un nouveau problème. Si l’on modifie les termes d’un témoignage pour qu’il passe un filtre de sécurité, traduit-on encore le même témoignage ? Si l’on retire la description explicite d’une violence, un élément important a-t-il disparu ? Si l’on fragmente le récit, son contexte a-t-il changé ? Et si l’on finit par le copier dans un autre service d’IA, celui-ci offre-t-il les mêmes garanties de protection des données que le service initialement autorisé par l’organisation ?

Ce qui commence comme une limite du produit peut devenir une pratique informelle de l’organisation, sans que personne ait réellement décidé de l’adopter. Si les équipes doivent régulièrement contourner les mécanismes de sécurité d’un outil autorisé pour accomplir un travail légitime, l’organisation devrait réexaminer le choix de cet outil pour le travail concerné.

Les équipes ont également besoin d’une solution de repli définie à l’avance. Peut-on confier la tâche à un·e traducteur·rice ou à un·e spécialiste ? Faut-il toujours conserver le texte original à côté de la version produite avec l’aide de l’IA ? Le recours à un autre service d’IA est-il autorisé ? Quelqu’un doit aussi avoir l’autorité nécessaire pour décider que des échecs répétés rendent l’outil inadapté à ce travail. Sans solution de repli convenue, chaque salarié·e ou bénévole finit par improviser tout en manipulant des contenus sensibles.

Les décisions qu’une ONG doit prendre

Une petite ONG n’a pas besoin d’un service dédié à l’IA pour que ses équipes puissent utiliser des outils de traduction, de rédaction ou de synthèse. Elle a cependant besoin de règles communes suffisantes pour qu’une personne chargée de l’accompagnement, un·e bénévole ou un·e salarié·e de la communication n’ait pas à inventer la position de l’organisation à chaque ouverture d’un agent conversationnel.

Un bon point de départ consiste à comprendre ce qui se passe déjà : quels outils les équipes utilisent, pour quelles tâches, quels types d’informations leur sont transmis, où se présentent les cas difficiles et qui décide actuellement lorsqu’un problème survient. Sans cette connaissance, une politique d’IA peut facilement décrire une organisation qui n’existe pas dans la pratique.

J’emploie l’expression Gouvernance par la cohérence pour décrire l’étape suivante : examiner si les choix de l’organisation concernant l’outil, les données, les méthodes de travail, la vérification humaine et ses responsabilités envers les personnes concernées sont cohérents entre eux.

Je commencerais par sept questions :

  1. Quel service et quel compte utilisons-nous ?
  2. Quelles informations les équipes sont-elles autorisées à saisir ?
  3. Que deviennent ces informations une fois transmises, notamment en matière de conservation et de réutilisation éventuelle ?
  4. Qui décide si un usage plus sensible est acceptable ?
  5. Quelle vérification humaine le résultat nécessite-t-il ?
  6. Que doivent faire les équipes lorsque les dispositifs de sécurité empêchent une tâche légitime ?
  7. Le système a-t-il été testé sur des exemples réalistes des contenus difficiles que l’organisation traite effectivement ?

Un système peut sembler parfaitement adapté lors d’une démonstration générique et échouer sur les contenus propres au domaine d’intervention de l’organisation. Les tests devraient inclure des cas difficiles mais représentatifs, à partir d’exemples fictifs ou soigneusement préparés plutôt que de récits réels de personnes accompagnées.

Les tests doivent aussi aller au-delà des refus explicites. L’outil omet-il des informations ? Atténue-t-il des formulations explicites ? Le sens change-t-il lorsque des sujets sensibles apparaissent ? La personne qui vérifie le résultat s’en apercevrait-elle ? Une traduction fluide peut rester une mauvaise traduction d’un témoignage si un élément important du récit a discrètement disparu.

La « vérification humaine » doit elle aussi avoir un sens concret. Si personne dans l’organisation ne comprend la langue d’origine, il peut être impossible de vérifier correctement une traduction qui semble fluide. Le résumé d’un témoignage juridique, médical ou très spécialisé peut poser le même problème. La vérification ne fonctionne que si la personne qui l’effectue dispose des connaissances nécessaires pour reconnaître les types d’erreurs que l’outil peut commettre.

L’autorisation peut aussi porter sur un usage précis. Le même service peut convenir à la rédaction d’une lettre d’information publique et être inadapté à la traduction de témoignages issus de dossiers individuels.

L’organisation doit également savoir quand s’arrêter. Si elle ne peut pas établir des conditions acceptables pour le traitement des informations, vérifier correctement les résultats ou éviter des échecs répétés sur des dossiers courants, elle peut devoir restreindre cet usage ou trouver une autre solution.

Il est légitime que les ONG fixent des seuils différents. L’utilité d’un outil d’accessibilité, la sensibilité des dossiers de protection de l’enfance et les risques liés à des documents de santé ou administratifs peuvent conduire à des décisions très différentes. Une règle unique sur l’IA ne conviendra pas à toutes.

Le point commun est que l’organisation devrait en savoir assez sur l’outil, les informations et les personnes concernées pour décider en connaissance de cause.

Cela demande généralement plus qu’une liste d’outils autorisés. Il faut identifier les systèmes déjà utilisés, les activités dans lesquelles ils interviennent, les informations qui leur parviennent, les situations où ils échouent et les personnes qui ont l’autorité de décider, puis examiner si ces décisions restent cohérentes avec la mission et les responsabilités de l’organisation.

Ce que l’organisation doit toujours à la personne

L’intérêt de ces outils pour les ONG est évident. La traduction, la synthèse, la rédaction et le travail administratif mobilisent un temps et des moyens dont les petites organisations manquent souvent, et l’IA peut apporter une aide réelle dans de nombreuses situations.

Un récit personnel peut être plusieurs choses à la fois : un document à traduire, des informations personnelles sensibles, une pièce à l’appui d’une procédure juridique ou administrative, le récit d’un traumatisme et une représentation très sélective d’un groupe déjà exposé à la discrimination. Le transmettre à un système d’IA ne lui retire aucune de ces caractéristiques.

L’organisation l’a reçu parce qu’une personne avait besoin d’aide face à un problème précis. À mes yeux, cette relation doit continuer à compter dans le choix des outils auxquels les informations peuvent être confiées, de ce qu’elles peuvent devenir ensuite et du degré d’incertitude que l’organisation est prête à accepter.


Sources

Footnotes

  1. Commission européenne, Information for individuals, section sur les catégories particulières de données à caractère personnel. En anglais.
    https://commission.europa.eu/law/law-topic/data-protection/information-individuals_en ↩

  2. Commission européenne, Application of the GDPR, section définissant les données à caractère personnel et précisant que les données désidentifiées ou pseudonymisées restent des données personnelles lorsqu’une réidentification est possible ; RGPD, article 4, paragraphe 1, et considérant 26. En anglais.
    https://commission.europa.eu/law/law-topic/data-protection/information-business-and-organisations/application-gdpr_en
    https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32016R0679 ↩

  3. Comité européen de la protection des données, Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI models, adopté le 17 décembre 2024, notamment l’analyse des attentes raisonnables des personnes concernées dans la mise en balance des intérêts au titre de l’intérêt légitime. En anglais.
    https://www.edpb.europa.eu/system/files/documents/2024-12/edpb_opinion_202428_ai-models_en.pdf ↩

  4. Isabel O. Gallegos et al., Bias and Fairness in Large Language Models: A Survey, Computational Linguistics, 50(3), 2024. En anglais.
    https://aclanthology.org/2024.cl-3.8/ ↩

  5. Giovanni Sullutrone, Riccardo A. Vigliermo, Sonia Bergamaschi et Luca Sala, COVER: Context-Driven Over-Refusal Verification in LLMs, Findings of ACL 2025. En anglais.
    https://aclanthology.org/2025.findings-acl.1243/ ↩