«Il y a une marge d'erreur»: les détecteurs d’intelligence artificielle loin d’être fiables, selon un spécialiste

Le PDG d’une entreprise spécialisée en intelligence artificielle juge les détecteurs d’IA peu fiables, au point de générer des « faux positifs » : des textes rédigés sans IA, mais que ces outils identifient à tort comme tels.

• À lire aussi : Accusé d’avoir écrit son roman avec l’IA : l’écrivain québécois Thélyson Orélien se défend et se dit victime de racisme

• À lire aussi : Ce roman québécois primé a-t-il été écrit par l’IA ? L’éditeur Grasset dément les rumeurs

« Il y a une marge d’erreur parce qu’on travaille sur des modèles qui sont [...] probabilistes et qui vont, effectivement, donner une probabilité d’apparition de certains mots, puis on va essayer de détecter certaines autres empreintes », a expliqué Nabil Tayeb, PDG et cofondateur de Draft & Goal, en entrevue sur les ondes de LCN, mardi.

« Donc, il existe des possibilités qu’une détection, même avec un niveau de détection de 100 % IA, qu’elle soit totalement humaine », a-t-il précisé.

Rappelons que l’auteur québécois Thélyson Orélien fait les manchettes, puisqu’il est accusé d’avoir écrit son roman C’était ça ou mourir à l’aide de l’intelligence artificielle. Il dément ces rumeurs, tout comme son éditeur, Grasset.

« Selon Pangram, ce roman est rédigé presque intégralement par une intelligence artificielle, indique le compte nommé “Balance ton Claude” dans sa publication vue plus de deux millions de fois. Nous avons testé plusieurs passages, à divers endroits du manuscrit, pour presque toujours le même résultat : 100 % IA », a écrit un internaute sur les réseaux sociaux.

Une crainte de perte de contrôle ?

Si Nabil Tayeb n’a pas lu le livre, il reconnaît que les détecteurs d’IA font face à une grosse problématique.

« Même un chiffre de 100 % peut être totalement faux, a-t-il souligné. Je me tiendrais à l’écart d’avoir des absolus sur la détection d’IA parce qu’effectivement, c’est l’imprécision, et surtout dans des cas comme ça, ça peut avoir des impacts très négatifs et non justifiés ».

Certaines entreprises, comme Anthropic, l’éditeur de l’IA Claude, ont mis en place un système de filigrane dans ses contenus pour démontrer plus facilement si l’IA a été utilisée.

« Je pense que c’est le mythe aussi de l’IA hyperavancée. L’IA est encore très primitive et encore basée sur des modèles mathématiques qui sont probabilistes, a-t-il estimé. La détection d’IA pure, c’est-à-dire prendre un texte et puis regarder et puis essayer d’extraire la composante IA, est excessivement difficile ».

Le PDG ne pense pas que des détecteurs complètement efficaces existeront un jour.

« Mais au travers d’éditeurs qui vont rajouter des filigranes et qui vont marquer les textes IA, on aura [peut-être] la possibilité de le faire. Est-ce que ça doit être dans la loi ? Je ne saurais pas vous le dire », a-t-il conclu.

Voyez l’entrevue complète dans la vidéo ci-dessus.