Tilly Norwood, l’actrice IA, propulse une série documentaire historique vers une révolution technologique

Quand l’IA devient actrice et réalisatrice : le pari fou de Straten Van Toen

Imaginez un documentaire historique où les rues d’Amsterdam au XVIIe siècle se reconstruisent sous vos yeux, où les personnages du passé répondent aux questions d’un présentateur en direct, et où chaque plan est à la fois une archive et une création algorithmique. Ce n’est plus de la science-fiction : c’est Straten Van Toen ("Les Rues d’Autrefois"), la nouvelle série de The History Channel Pays-Bas, produite par Particle6. À sa tête, Eline van der Velden, la créatrice de Tilly Norwood – cette actrice virtuelle qui avait déjà fait grincer des dents en 2022 – pousse l’IA bien au-delà de ses limites actuelles.

Jusqu’ici, les intelligences artificielles servaient surtout à restaurer des images (comme pour les films de la Seconde Guerre mondiale colorisés par Peter Jackson) ou à générer des voix (à l’instar du doublage IA de Val Kilmer dans Top Gun: Maverick). Mais ici, l’IA devient co-autrice du récit. Elle ne se contente pas de combler les trous des archives : elle invente des séquences inédites, en s’appuyant sur des peintures du Rijksmuseum, des gravures anciennes, ou des photographies jaunies. Le résultat ? Des environnements 3D photoréalistes qui s’adaptent en temps réel aux déplacements du présentateur Corjan Mol, comme si le passé répondait au présent.

Van der Velden insiste sur un "guidage humain constant" : chaque génération est validée par une équipe d’historiens et de graphistes. Pourtant, la question persiste : quand l’algorithme propose des angles de caméra, ajuste les lumières, ou même suggère des dialogues pour les personnages virtuels, ne devient-il pas, peu à peu, un créateur à part entière ? "Nous ne remplaçons pas les humains, nous les augmentons", défend la productrice. Mais jusqu’où cette augmentation peut-elle aller sans trahir l’histoire ?

"Un gain de 40 % sur les coûts" : l’argument choc qui fait taire (provisoirement) les sceptiques

Le premier atout de cette méthode, et non des moindres, est économique. Selon The Hollywood Reporter, Straten Van Toen coûte 40 % moins cher qu’un documentaire historique traditionnel. Pas besoin de construire des décors physiques, ni de louer des costumes d’époque pour des figurants : l’IA génère tout en quelques heures. "Avec un budget classique, nous aurions dû nous limiter à trois épisodes. Là, nous en produisons dix", révèle Van der Velden.

Mais cette efficacité a un prix. Les puristes, comme l’historien Johan Huizinga (spécialiste de la culture néerlandaise), s’inquiètent : "Le charme des archives réside dans leurs imperfections – une gravure abîmée, une photo floue… Ces 'défauts' racontent une histoire. En les lissant, on risque de créer un passé aseptisé, trop parfait pour être vrai." Un avis partagé par Martine Gosselink, directrice du Rijksmuseum, qui a cependant accepté de collaborer au projet : "Si cela permet de toucher un nouveau public, pourquoi pas ? Mais il faut rester transparent sur ce qui est réel… et ce qui est recréé."

Le débat rappelle celui qui avait agité le monde de l’art avec l’IA générative comme MidJourney ou DALL·E : jusqu’où peut-on modifier une œuvre originale sans en trahir l’esprit ? Ici, la question est encore plus sensible, car il s’agit ni plus ni moins que de notre mémoire collective. Van der Velden rassure : "Chaque scène générée est systématiquement comparée à des sources primaires. Nous ne réécrivons pas l’histoire, nous la rendons plus accessible."

Derrière l’écran : comment Particle6 a dompté l’IA pour en faire une "machine à voyager dans le temps"

Pour comprendre comment Straten Van Toen fonctionne, il faut plonger dans les coulisses de Particle6, ce studio néerlandais spécialisé dans les nouvelles technologies narratives. Leur secret ? Un mélange de machine learning, de photogrammétrie (une technique qui transforme des photos 2D en modèles 3D), et d’un moteur de rendu temps réel inspiré des jeux vidéo.

Concrètement, voici comment une scène est créée :

1. Collecte des archives : L’équipe scanne des centaines de peintures, gravures, et photos d’époque (notamment issues des collections du Rijksmuseum).
2. Analyse par IA : Un algorithme identifie les styles artistiques, les matériaux (bois, pierre, tissu), et même les conditions météorologiques de l’époque.
3. Génération du décor : L’IA reconstitue une rue du XVIIe siècle en 3D, en comblant les manques avec des données historiques.
4. Interaction en direct : Grâce à des capteurs de mouvement, le présentateur Corjan Mol peut marcher dans ce décor virtuel, et l’IA ajuste les ombres, les reflets, et même les passants en temps réel.

Le plus impressionnant ? L’IA est capable de deviner ce qui n’existe plus. Par exemple, si une gravure montre une façade de maison incomplète, l’algorithme peut reconstruire les étages manquants en s’appuyant sur des plans d’architectes de l’époque. "C’est comme si nous avions une machine à rembobiner le temps… mais avec une marge d’erreur contrôlée", s’enthousiasme Mark de Jong, ingénieur chez Particle6.

Cependant, tous les essais ne sont pas concluants. Lors des premiers tests, l’IA avait généré des personnages aux visages trop lisses, sans rides ni cicatrices – un détail qui avait choqué les historiens. "Les gens du XVIIe siècle avaient des vies dures ! Leurs visages devaient le refléter", rappelle Van der Velden. L’équipe a donc dû réentraîner l’IA avec des portraits plus réalistes, comme ceux de Rembrandt ou Vermeer.

Tilly Norwood, de la polémique à la consécration : une actrice virtuelle qui divise toujours

Impossible de parler de Straten Van Toen sans évoquer Tilly Norwood, cette actrice virtuelle qui avait déjà défrayé la chronique en 2022. Créée à partir de milles de visages réels (scannés avec leur accord), Tilly était présentée comme la première "performeur synthétique" capable d’incarner des rôles historiques. Certains y avaient vu une révolution ; d’autres, une menace pour les comédiens humains.

Dans Straten Van Toen, Tilly incarne plusieurs figures anonymes du passé – une marchande de poisson, une servante, une épouse de marin. Son réalisme est telle que, selon un sondage réalisé par The Guardian, 63 % des spectateurs n’ont pas remarqué qu’elle était générée par IA lors des premières diffusions. "C’est à la fois flatteur et terrifiant", avoue Van der Velden. "Flatteur, parce que cela prouve que notre technologie fonctionne. Terrifiant, parce que cela soulève des questions éthiques : jusqu’où peut-on aller sans tromper le public ?"

Les syndicats de comédiens, comme la Dutch Actors’ Guild, restent méfiants. "Si demain, les producteurs préfèrent engager des actrices virtuelles parce qu’elles coûtent moins cher et ne se plaignent jamais, que deviendront les vrais artistes ?", s’interroge Lotte Verbeek, actrice néerlandaise connue pour son rôle dans The Blacklist. Particle6 répond en promettant de limiter l’usage de Tilly aux rôles secondaires, et de toujours créditer les comédiens humains ayant servi de modèles.

Pourtant, l’argument économique pèse lourd. Selon Deloitte, une actrice virtuelle comme Tilly pourrait faire économiser jusqu’à 30 % du budget d’une série historique sur les salaires. "C’est une lame de fond. Soit l’industrie s’adapte, soit elle sera balayée", prédit Eline van der Velden.

Et demain ? Quand l’IA réécrira (vraiment) l’Histoire

Si Straten Van Toen marque une étape, elle n’est probablement qu’un début. Déjà, Netflix et Disney+ plancheraient sur des projets similaires, selon des rumeurs rapportées par Variety. En France, France Télévisions aurait entamé des discussions avec des startups spécialisées dans l’IA historique.

Mais les risques sont immenses. Que se passera-t-il si un algorithme, mal paramétré, modifie involontairement des faits historiques ? Ou si un régime autoritaire utilise cette technologie pour réécrire le passé à sa convenance ? "Nous entrons dans une ère où la frontière entre vérité et fiction devient poreuse. Il faut des garde-fous", alerte Julian Assange (fondateur de WikiLeaks), qui suit de près ces avancées.

Face à ces craintes, Particle6 a mis en place un comité éthique composé d’historiens, de philosophes, et même d’un ancien juge de la Cour européenne des droits de l’homme. Leur mission : veiller à ce que l’IA ne devienne pas un outil de propagande, mais reste un médiateur entre le passé et le présent.

Pour Eline van der Velden, l’enjeu dépasse la technologie : "Straten Van Toen n’est pas une fin, mais un début. Un début où l’Histoire n’est plus figée dans des livres poussiéreux, mais vivante, interactive… et peut-être un peu dangereuse."