Par 
Avant de procéder au listing de tokens sur sa plateforme, Coinbase réalise un audit de leurs smart contracts. L’exchange a testé la fiabilité de ChatGPT dans ce secteur. Bilan : ses performances sont insuffisantes à ce stade.
Le buzz est passé par là. Depuis des mois, l’outil d’intelligence artificielle générative d’OpenAI suscite la curiosité et les expérimentations. ChatGPT se révèle ainsi capable de performances surprenantes. Mais peut-il pour autant constituer un outil d’aide à la décision pour une bourse de cryptomonnaies ?
C’est ce que les équipes de sécurité de Coinbase ont cherché à déterminer au travers d’une batterie de tests. La Blockchain Security team de l’exchange partage son retour d’expérience de ChatGPT sur son blog.
ChatGPT Versus ingénieur en sécurité blockchain
Composée d’ingénieurs en sécurité informatique, celle-ci procède à un audit des smart contracts ERC20/721 des tokens étudiés pour un listing auprès des utilisateurs. Cet examen permet de déterminer un score de sécurité.
ChatGPT pourrait-il se substituer ou assister un ingénieur dans son analyse de vulnérabilité ? Pour évaluer les capacités de l’IA d’OpenAI, les experts cybersécurité de Coinbase ont d’abord dû déterminer le moyen d’apprendre à l’IA à générer un score selon sa méthodologie interne.
Pour soumettre des requêtes à ChatGPT, les utilisateurs ont eu recours à un « prompt ». Définir une requête complexe nécessite donc un travail approfondi. On parle ainsi désormais de prompt engineering. Le prompt soumis par Coinbase est le suivant :
Je veux que vous agissiez en tant qu’ingénieur en sécurité blockchain. Votre tâche consiste à identifier les risques de sécurité au sein d’un contrat intelligent à jeton en fonction du risque associé à ses fonctions. Voici notre cadre [ + framework de risque]. Le smart contrat suivant présente-t-il l’un ou l’autre de ces risques ? »
8 erreurs de ChatGPT, donc 5 graves
L’exchange a donc communiqué à ChatGPT son framework interne d’audit, puis lui a soumis le code d’un smart contract afin qu’il procède à son analyse de risque. Au total, 20 tokens ont été soumis à la machine et les résultats, un score, comparés avec ceux d’un ingénieur.
Dans 12 cas, ChatGPT a produit le même résultat que l’examen manuel. Dans les autres cas, l’IA a fait une erreur. Et sur ces 8 échecs, 5 ont abouti à sous-estimer le niveau de risque. Or, « sous-estimer un score de risque est beaucoup plus préjudiciable que de le surestimer ».
Bien que l’efficacité d’un examen de ChatGPT soit remarquable, il existe encore quelques limitations qui nuisent à la précision de l’outil », jugent donc les ingénieurs sécurité.
Plusieurs raisons expliquent ce bilan. ChatGPT n’est pas en capacité de déterminer lorsqu’il manque de données pour procéder à l’analyse de sécurité. La robustesse est aussi prise en défaut. Une même question ne génère pas systématiquement la même réponse.
ChatGPT doit encore progresser
C’est problématique pour une tâche aussi sensible. Cette faille de ChatGPT avait d’ailleurs été identifiée pour d’autres cas d’usage, limitant de fait ses applications dans un environnement B2B. Cette incohérence tient notamment aux mises à jour apportées par OpenAI.
Bien que ChatGPT soit prometteur quant à sa capacité à évaluer rapidement les risques liés aux contrats intelligents, il ne répond pas aux exigences de précision nécessaires pour être intégré dans les processus d’examen de sécurité de Coinbase », conclut donc la bourse crypto.
ChatGPT n’est pas totalement disqualifié. S’il ne peut être utilisé en contrôle automatique, l’outil pourrait en revanche « servir de contrôle de qualité secondaire ». Il aiderait les ingénieurs à procéder à un revue supplémentaire et donc à la détection potentielle de risques passés inaperçus.
L’intelligence artificielle pourra peut-être à l’avenir prétendre de nouveau à rejoindre la Blockchain Security Team de Coinbase. Dans cette perspective, les « prompts de ChatGPT sont sauvegardés pour une utilisation future par les ingénieurs et il est prévu de les améliorer au fil du temps ».
Suivez Coins.fr sur Twitter, Linkedin, Facebook ou Telegram pour ne rien manquer. Inscrivez-vous à notre newsletter crypto pour recevoir un résumé de l’actualité chaque semaine.
