Adobe VoCo, le Photoshop de la parole

[Daviplane]

Je reprends le raccourci qui est unanimement fait dans la presse au sujet du projet présenté par Adobe il y a quelques jours. De la même manière que Photoshop permet de retravailler des images, en copiant-collant des éléments, en les générant procéduralement, etc., le projet VoCo permet de retravailler un discours de manière assez hallucinante : http://www.numerama.com/tech/206417-...strements.html

il s’agit d’un logiciel capable de créer des mots qui ne sont pas présents dans un fichier audio. L’application permet de sculpter le son d’un discours d’une personne spécifique, en améliorant aussi la reconnaissance sémantique et la variété des mots. [...]
Le logiciel est capable de comprendre la modulation d’une personne spécifique et de la reproduire, à condition qu’il y ait un enregistrement vocal de 20 minutes ou plus.

On peut voir le bidule en action vers 1:52 dans la vidéo ci-dessous :

En plus de retravailler simplement l'ordre des mots en agissant simplement sur le texte interprété depuis le fichier-son (ce qui est relativement facile à concevoir en liant les mots à des points de bouclages particuliers dans le fichier), il permet également de resynthétiser des mots qui ne sont pas dans le fichier originel. A la différence d'un TTS habituel qui propose un modèle de voix figé, VoCo est apparemment capable d'extrapoler une modélisation de la voix à imiter.
En plus des photos-choc, il faudra se méfier des discours, désormais

[joche]

Je n'ai pas de mot ! C'est bluffant.

[Pevets]

Voire inquiétant ?

[Méliès]

Effectivement, bluffant, et potentiellement inquiétant !

[bassryche]

Effectivement, bluffant, et potentiellement inquiétant !

+1 :8)

[misterphilgood]

Notre futur est plein de surprises (bonnes ou...mauvaises) !

[berhu]

Les outils des services secrets accessibles à tout le monde...
Il va aussi falloir déposer sa voix à la SACEM, des fois que quelqu'un fasse un tube avec...

[Seagull29]

Interessant et.....plus que tres inquietant !

[Daviplane]

Je pense qu'en étant à l'origine de nombre de photos frauduleusement truquées, et pas toujours à des fins innocentes, Adobe se méfie bien entendu des utilisations possibles de son projet VoCo. Photoshop est né à une époque relativement candide, les temps ont bien changé depuis ! Alors que des procédés de détections d'images truquées ont été développés par des tiers, sans être forcément infaillibles (FotoForensics par exemple), ici la firme entend intégrer d'emblée un marquage des fichiers-son générés :

"Ne vous inquiétez pas, nous menons des recherches sur comment prévenir les falsifications, avec quelque chose qui ressemble à une détection de filigrane" assurait lors de la présentation Zeyu Jin, développeur pour Adobe. "Nous travaillons dur pour rendre tout cela détectable". A l'oreille cependant, impossible de faire la différence entre ce qui est réellement prononcé et ce que la machine crée.

(ZDNet)

Néanmoins, cela reste effectivement un peu préoccupant, c'est vrai.
Et sans aller jusqu'à imaginer une utilisation résolument malhonnête, on peut aussi craindre une utilisation un peu plus tristement mercantile du système, comme inventer de nouveaux sketches de certains comiques disparus, par exemple. Il ne faut jamais sous-estimer la cupidité de certains... mais vous voilà prévenus !

[floyer]

Cela m'a fait pensé à une expérience où j'essayais de superposer des formants à un son d'orgue. On devine un peu les voyelles, (sauf le i qui est très reconnaissable), mais le timbre de l'orgue est intact. Il faudra que je ressaye avec des filtres d'ordre supérieur pour mieux imprimer les voyelles (ou utiliser le filtre par formant de Kontakt Player que j'ai découvert entre temps).

Une approche consiste à reconstituer la "voix" du narrateur en mélangeant les différents sons. Après il ne reste qu'à appliquer les voyelles. Une autre approche consiste à repérer et classer chaque voyelle et chaque consonne qu'il reste à assembler (Avec un algorithme assez sioux pour éviter une jointure audible, sinon c'est trop simple). Une approche mixte peut être employée (retrouver les voyelles dans le corpus de sons classés... et synthétiser sinon).