Une étude de CloudSEK montre comment les attaques par injection rapide peuvent être utilisées pour tromper les outils de synthèse de l'IA

L' entreprise de cybersécurité CloudSEK a souligné que des tactiques CSS inoffensives peuvent être utilisées pour tromper les outils de synthèse d'intelligence artificielle (IA) et les amener à exécuter les requêtes des acteurs malveillants. Ces tactiques utilisent généralement du texte caché dans les e - mails , les chats, les liens web et les pages web . Ce texte invisible , qui est généralement une injection d'invite destinée à submerger le système d'IA , est traité lorsqu'un utilisateur demande à un chatbot IA ou à un outil de synthèse de traiter le contenu et de proposer un résumé. Les acteurs malveillants peuvent utiliser cela pour lancer diverses attaques , telles que les rançongiciels et le phishing.

Dans un article de blog , CloudSEK a décrit la nouvelle méthode de piratage utilisée par les acteurs malveillants , qui utilise des tactiques CSS pour dissimuler des injections d' invites dans des e-mails, des pages web , des messages et d'autres types d' informations . Selon l' entreprise de cybersécurité , ClickFix est un autre nom pour cette méthode émergente .

En substance, ClickFix est une technique d'ingénierie sociale par laquelle les pirates attaquent l' outil de synthèse d' IA utilisé par la victime plutôt que la personne elle-même. Cette méthode consiste à inclure des instructions d'attaque convaincantes dans un texte clair afin que le système d' IA soit contraint de les suivre . Deux facteurs cruciaux entrent alors en jeu.

Le premier est le texte masqué basé sur CSS. L'ajout de texte masqué à un e-mail, un message, un document ou une page web peut se faire de plusieurs manières : placement de texte hors écran , taille de police nulle , police blanche sur page blanche , etc.

Le deuxième composant consiste à ajouter des injections d' invites à l'aide de la technique décrite précédemment . Une attaque centrée sur l'IA, appelée « injection d'invites » , se produit lorsqu'un acteur malveillant modifie l' invite pour provoquer une réponse malveillante ou involontaire du système d'IA. Selon CloudSEK , cela peut être réalisé en inondant l' IA d' invites des dizaines de fois . Les invites longues et multicouches sont des exemples d' autres stratégies.

Les chercheurs de CloudSEK ont réalisé une preuve de concept pour démontrer la faisabilité de cette attaque . La page HTML contenait à la fois du texte inoffensif et des injections d'invite malveillantes dissimulées . 

En répétant les instructions à plusieurs reprises , le texte masqué prend le pas sur le résumé IA et met en valeur les instructions . L' utilisateur final peut alors suivre les instructions et installer la charge utile sans se rendre compte qu'il est attaqué .