Plus le temps passe et plus les robots conversationnels arrivent à se faire passer pour des humains. Il y a un certain nombre de contextes où c'est problématique.

Hélas il semble qu'à terme le seul test valable soit celui d'une rencontre “en personne”, peut-être amplifiable via des chaines de confiance (Marcel a été rencontré par Gudule, que je connais et en qui j'ai confiance quand elle me dit que Marcel est humain).

1. Question émotionnelle et absurde : cela devrait déstabiliser un humain, potentiellement déclencher un vague réflexe de sympathie s'il n'est pas trop sociopathe. Mais est-ce qu'un chatbot va avoir une réponse différente ?
   • “Désolé, mon chat vient de mourir, faut que je te laisse le temps de gérer ça” (ouais, c'est horrible :P ).
   • Demande de défendre le point de vue inverse : “si tu devais défendre l’autre point de vue, tu dirais quoi ?” ⇒ que répondra un bot ? est-ce que ce sera différent d'un humain ?
   • Demander des sources. Les humains ne sont pas forcément capables d'en fournir, les bots en inventent.

Pour le moment quelques points qui marchent encore :

• Demander un avis sur une référence éloignée. Par exemple “Que pense-tu de notre charte ? Quel est ton point préféré ?” sans préciser où est la charte (qui devrait être facile à trouver par un humain :p ) (je crois que pas mal d'humains vont répondre “lol” à la dernière question).
  • Les chatbot basés sur LLM inventent et font des réponses “probables”, d'où l'intérêt de faire référence à un contenu qui n'est pas trop commun, et pas dans la “conversation” du moment
• Vérifier la mémoire à long terme. Les LLM oublient au fil de la conversation (mémoire des tokens limitée) ; attention car certains points “majeurs” resteront accessibles, il vaut mieux interroger les points mineures.

Comment savoir si les trolls sont des trolls humains ?

En soit, on ne devrait pas trop se poser la question : quand ça pue, ça doit dégager. Et je soutiens que “bloquer” les personnes problématiques (qu'elles soient humaines ou non) est souvent la meilleure décision à prendre. Il y a cependant des personnes qui flirtent avec les limites et qui peuvent faire perdre énormément de temps, sans qu'on sache si elles sont de bonne foi ou nuisibles.

Il me semble que la réponse serait d'avoir un grille de lecture :

• Est-ce que l'échange me fait du bien ?
• Est-ce que je perds beaucoup de temps avec ces échanges ? Et j'insiste sur “perdre du temps” : si on n'a pas l'impression d'avoir été enrichi dans l'échange, c'est qu'il y a un souci.
• Si je suis responsable dans une communauté, est-ce que les échanges avec cette personne sont bons pour la communauté ?

Il va vraiment falloir améliorer ses détections sur “quel type d'échange je veux”.