SketchGPT

SketchGPT est un cadre flexible qui utilise un modèle autoregressif séquence-à-séquence pour la génération et la complétion de croquis, ainsi que pour la reconnaissance de croquis. En simplifiant les croquis complexes en séquences abstraites de primitives, SketchGPT facilite l'apprentissage du modèle autoregressif, permettant une meilleure prédiction du trait suivant, la création et la complétion de dessins, ainsi qu'une catégorisation précise. Cette approche améliore la formation du modèle et offre des performances compétitives dans la génération d'une grande variété de dessins, validée par des comparaisons qualitatives et quantitatives et une étude d'évaluation humaine approfondie. Le modèle est évalué notamment sur le dataset QuickDraw de Google, composé de millions de croquis dessinés à la main dans 345 catégories différentes.