Sora by OpenAI

Sora est un modèle de génération de vidéos développé par OpenAI. Il est capable de créer des vidéos à partir de textes, d'images ou de vidéos existantes, en utilisant le recaptioning de DALL·E 3 pour suivre fidèlement les instructions textuelles. Basé sur une architecture de diffusion transformer, il permet de générer des vidéos entières ou de prolonger des vidéos générées, en garantissant la cohérence des sujets même lorsqu'ils disparaissent temporairement. Sora représente les vidéos comme des collections de petits éléments appelés « visual patches », similaires aux tokens utilisés dans les modèles textuels, ce qui permet un traitement plus large de divers types de données visuelles.