AI vocals

[Erenion]

C’est tombé aujourd’hui et rejoins ce qui était mentionné plus haut sur la législation autour de l’IA

https://www.lemonde.fr/pixels/article/2024/05/21/la-legislation-pour-reguler-l-intelligence-artificielle-definitivement-adoptee-par-l-union-europeenne_6234602_4408996.html

Des règles spécifiques s’appliqueront aux IA génératives, comme ChatGPT d’Open AI, pour s’assurer de la qualité des données utilisées dans la mise au point des algorithmes et le respect des droits d’auteur.

Les sons, images et textes générés artificiellement devront clairement être identifiés comme tels pour éviter des manipulations de l’opinion

[Jemm971]

D’abord juste une précision sur le terme d’Intelligence Artificielle. C’est un terme complètement erroné. Car en réalité cela désigne de gros algorithmes de mimétisme/remixage/réarrangement/détection automatique. Que ce soit pour du texte, de la voix, des photos ou des vidéos. Ça ne comprend rien à ce que cela fait.

Ceci étant dit, l’IA apporte énormément de facilité dans certains contextes. Par exemple vous l’utilisez déjà avec les images sur votre téléphone : il suffit maintenant de cliquer sur un objet pour qu’il soit détouré de son fond, ou de sélectionner un texte dans une image pour le copier/coller. Rien d’autre à faire, juste un clic. Cela n’aurait pas été possible avant.

Pareil pour la musique, on peut maintenant demander à une IA « crée-moi une chanson dans le style Alicia Keys mais avec la voix de Madonna, et sur des textes du style de Jean-Jacques Goldman ». Et surprise, on obtiendra probablement un truc tout à fait respectable.

Alors on peut se demander quel avenir pour les compositeurs/musiciens/chanteurs?
Il suffit de regarder ce qui est arrivé aux photographes quand les smartphones ont mis un téléphone/appareil photo dans toutes les poches. Avec des fonctionnalités telles que l’on n’arrive à rater une photo que si on le fait exprès! Beaucoup de photographes ont disparus, et ceux qui restent se sont spécialisés soit dans un style artistique unique, soit dans un service spécifique (mariage, etc…).

De même, en musique, depuis les années 80 on a mis dans une même boîte une tonne de sons/instruments, des styles/rythmes,des séquenceurs… Tout le monde peut aujourd’hui très facilement créer une musique. Pourtant les musiciens n’ont pas tous disparus, loin de là!… Il existe toujours des gens qui jouent avec de vrais pianos, de vraies guitares, de vraies batteries. Et bien plus encore qui jouent avec des synthés (ou tapotent en amateur comme moi).

Maintenant une nouvelle étape est franchie avec l’IA, puisque qu’elle arrive maintenant à simuler la voix, qui était encore l’apanage de l’humain. Mais ça fera comme le reste. Certains chanteurs disparaîtront parce qu’ils n’apportent rien par rapport à l’IA (ou, comme dit par quelqu’un dans un post, parce que leur comportement les disqualifie). Et d’autres resteront parce que leur voix apporte une présence, une émotion que la machine ne donne pas.

Personnellement je pense que le problème est légèrement ailleurs : c’est la copie du timbre de voix d’un chanteur. Avec la technologie on peut utiliser sa voix (le plagier), alors qu’il est pour moi l’auteur de sa façon de chanter (timbre/phrasé/intonations,…). Là cela me semble plus délicat car cela met de facto l’artiste au chômage.

Dernier point concernant l’industrie musicale publicitaire c’est sûr que dans quelques années elle n’utilisera plus personne, juste pour une raison de réduction des coûts. Ils taperont quelques mots clés et hop, la prochaine pub de promo sera créée en quelques secondes. Mais bon, il faut avouer qu’avec les workstations actuelles on y est déjà presque non? Ça sent pas la créativité à plein nez dans ce que je vois à la télé. On est loin de la créativité d’un Richard Gotainer… Ça sent plus le resucé de séquences MPC « repeintes » à tout va (mais ça fait le taf).

Et j’ai trouvé une remarque intéressante, concernant le fait que l’on risque de finir dans un univers uniformisé. Quelqu’un a dit que finalement c’est peut être dû au fait que cela plait au plus grand nombre. Je discutais de cela avec ma fille concernant un autre sujet qui n’a rien à voir (les cuisines!) en lui faisant remarquer que tout devient uniforme, basique, genre IKEA. Elle m’a répondu que dans un de ses cours d’architecture on lui en avait parlé. C’est le minimalisme. On enlève les fioritures pour plaire au plus grand nombre. Le problème c’est qu’à la fin il ne reste que des motifs géométriques simples : carrés, rectangles, ronds… Bref,artistiquement très pauvres.
Ca ne vous rappelle pas un peu quelque chose si on fait un parallèle avec la musique actuelle? Toutes ces séquences simples que l’on répète, répète... avec des sons en « layer » pour simuler du « plus riche »…

Peut-être que notre problème actuel est double :
- on fait du vite fait pas cher pour les besoins commerciaux
- on s’enferme trop dans la facilité des workstations et leurs séquenceurs par pattern, au détriment de la créativité.

Ce ne sont pas des jugements, juste des pistes de réflexion. Mais une chose est sûre : tout ce qui n’est pas humainement créatif sera balayé par l’IA.

[MAO]

J'ai eu un différend avec un pote sur ce sujet de l'AI vocale, car le pote en question confond un peu tout... le même débat est possible à tous les niveaux de la création (graphique, musicale, littéraire, etc)...
Il ne faut pas confondre:
- d'une part "l'imposture" qui consiste à faire croire qu'on a créé un produit/un morceau/une oeuvre quand on a juste sollicité plus ou moins précisément un processus d'automatisation de création qui "réalise" un peu aléatoirement le souhait,
-et d'autre part le fait d'utiliser pour parties, des processus, outils et technologies avancés, dans une création dont on a assumé la gestation, la naissance, la genèse, l'élaboration, et dont on imagine, met en oeuvre tous les choix, à tous les niveaux...

Sinon, le simple fait de plaquer un accord main gauche pour déclencher un "style" sur un arrangeur est une "imposture"... le fait de jouer une mélodie avec un son de "duduk" habilement samplé avec ses "articulations" spécifiques, en déclenchant cela depuis un clavier, en est une autre... simuler un ensemble instrumental quand on est tout seul avec son sampleur est la négation même de la pluralité vivante ! Mais en même temps, le musicien amateur passionné qui a des symphonies en tête, peut-il convoquer chez lui un philharmonique, un choeur de 200 personnes?!!!

Qui remet en question aujourd'hui la pertinence d'un arpégiateur sur un synthé? Qui remet en cause que l'informatique/l'électronique de pointe permette d'avoir des concentrés de technologies capables de produire des petits miracles: embarquer toutes les musiques que l'on veut, sans avoir à emporter avec soi des tonnes de disques, de K7, etc... que l'on puisse convoquer le morceau "live" de son groupe préféré à n'importe quelle heure du jour et de la nuit, sans devoir attendre leur prochain concert physique réel?! Tous ces petits miracles technologiques au quotidien ne nous dérangent pas vraiment, bien au contraire... mais ils se sont installés au détriment de l'humain dans sa réalité vivante... on convoque "l'autre" à l'autre bout du monde, dans sa "petite lucarne"... qui cela dérange-t-il?!

Revenons à la zique:
On a fait de la musique très longtemps avec de simples instruments acoustiques... les intégristes nostalgiques de l'acoustique ont vilipendé et vilipendent encore les guitares électriques et les amplis et fx, les synthés et tout ce qui n'est pas "naturel": peut-on dire pour autant qu'un shredder n'est pas un artiste? n'y a-t-il pas des virtuoses parmi ceux qui utilisent des instruments plus technologiquement avancés? N'est pas Hendrix qui veut, même si les pédaliers de fx promettent le son de Jimmy!!!

L'IA (la dénomination est effectivement abusive, puisqu'il n'y a pas d'intelligence créative à proprement parler, mais un processus de mimétisme de création par croisement et combinaisons algorithmiques) ne doit être regardée que comme une étape d'évolution dans les outils de production au service de la créativité... ils ne sont pas les ennemis de cette dernière...

Perso, désespéré de ne pas trouver d'interprètes pour donner vie et âme par leur voix à mes chansons, je suis content de pouvoir entendre (moi qui n'ai et n'aurai jamais de timbre particulier/remarquable même si je chante juste) , par le travail de "sculpture" des syllabes et des phrasés/respirations/calibrages d'intensité, ce que j'ai en tête: là on parle d'un "instrument" (qu'il faut apprendre à dompter), même s'il s'agit de "voix humaine" (j'écris mes textes, je compose mes mélodies, je produis et arrange mes morceaux avec mes capacités d'amateur averti).

Je n'ai donc aucun remords quand via Ace Studio Vocal AI ou via son pendant bien plus pro, Moises Voice Studio AI, je convoque une voix modélisée de chanteur/euse, soit pour chanter les lyrics que j'entre sur ma ligne mélodique, soit pour revoicer l'horrible enregistrement audio de ma non-voix (qui gâche la fête sur mes morceaux). Je ne cherche à imiter personne, je ne cherche pas à me faire passer pour autrui... et d'ailleurs, je dis et dirai haut et fort que mes morceaux sont chantés par IA puisqu'aucun chanteur réel (parmi les dizaines que j'ai sollicités) ne veut collaborer pour interpréter mes textes...

Je n'ai pas de remords non plus quand j'utilise des VSts dans le processus de production musicale, et encore moins quand je dois passer aux équilibrages dans le mix puis dans le mastering... Nombreux sont les plug-in qui utilisent des diagnostics/analyses "IA" et font ensuite des propositions/recommandations pour orienter le résultat final.

L'ingé-son, compétent et talentueux; l'instrumentiste remarquable par sa maîtrise et sa virtuosité; le chanteur/interprète porteur d'âme grâce à un miraculeux don naturel; le compositeur/arrangeur ou l'écrivain inspiré n'ont rien à craindre de la technologie... puisqu' a priori, le souffle créatif, l'envie de créer, l'envie d'explorer les techniques d'expression de son art relèvent de l'exigence personnelle...
Maintenant que la technologie démocratise l'accès à la création et en facilite certains aspects techniques dans la réalisation de projets, et qu'à partir de cela, certains abusent de ces facilités pour imposer une "normalisation" des goûts en nivelant par le bas, en banalisant la création par une frénésie mimétique insipide, cela n'est-il pas déjà le cas de l'industrie musicale et des médias qui en diffusent les productions standardisées, ce bien avant l'arrivée de l'IA (et pour ce qui concerne le fond de ce topic, de l'IA vocale)?!

[Jemm971]

D’accord avec toi MAO, la technologie est là et c’est bien pratique, et elle continuera à s’installer de plus en plus dans nos quotidiens.Tous les débats ne changeront pas cela : à l’avenir on aura de plus en plus de créations (musicales ou autres) générées automatiquement.

Perso cette évolution technologique ne me dérange pas du tout, probablement parce que n’étant qu’un amateur je suis du bon côté du manche, celui qui aura plus de possibilités pour son hobby. Évidemment pour ceux dont c’est le métier c’est évidemment un gros problème, qui les forcera à évoluer avec les changements à venir.

Concernant la distinction entre « imposture » si on fait créer un morceau par une IA, ou ce qui te paraît plus acceptable comme l’utilisation de parties de technologie, je suis plus mitigé. Pour moi c’est pareil : si j’appuie juste sur un bouton et qu’une IA me crée toute seule le morceau parfait qui me convient, c’est comme si c’est moi qui l’ait créé. Je m’explique : certes je n’ai pas imaginé, ni écrit le morceau, mais c’est moi qui finalement décide de ne garder que celui-là parmi les milliers de fois où j’ai cliqué sur le bouton et que le résultat ne me convenait pas.

Et puis faut pas rêver, il y aura toujours un truc à retoucher pour avoir vraiment ce que l’on veut!😄. Car l’important est là : entre un truc qui sonne bien, mais que je qualifierai de « normalisée par l’IA », et une création originale de quelqu’un qui sort son âme, je pense qu’il y aura toujours un monde. On aime un artiste pour son univers, son style, ses paroles, ses mélodies, son intention…

Mais si un jour une IA arrive par hasard à me sortir un truc épatant, je n’ai pas de problème avec ça.
Si sa musique me fait vibrer, c’est ça l’essentiel.
C’est un peu pour cela qu’on en fait, non?

[Erenion]

Il a remis ça avec hey Jude .
c’est pas parfait mais entre la prise de son initiale et le résultat final y’a pas photo .
idéal pour faire chanter une cssserole

[Jemm971]

C’est super impressionnant ce travail sur la voix !!
c’est quoi son logiciel?

[MAO]

C’est super impressionnant ce travail sur la voix !!
c’est quoi son logiciel?

C'est celui que j'utilise aussi: Ace Studio AI vocal: tu entres soit ton acapella (sans fx dessus) et l'IA analyse ton audio, la transforme en MIDI avec les paroles affectées aux bonnes notes (si et seulement si tu chantes en anglais/japonais ou chinois) dans une piste à laquelle tu as affecté un modèle de chanteur(euse) IA... la reconnaissance des paroles est tout de même un peu aléatoire et cela nécessite une correction de saisie sur de nombreuses syllabes mal interprétées par l'IA...ensuite, sur cette piste chantée (draw) par ton "chanteur IA" tu travailles la ligne chantée comme avec Melodyne + quelques outils spécifiques d'outils pour le chant: l'intensité (affectable à n'importe quel élément du phonème) /l'attaque/le vibrato/la répatition des respirations (souffle)...!

Tu peux également entrer n'importe quelle ligne mélodique MIDI et ensuite rentrer tes lyrics sur chacune des notes et travailler le chant sur l'ensemble de la ligne.

A cela s'ajoutent des fonctions intéressantes de doubling "intelligent" (pour donner du "gras" à un timbre trop fluet); tu peux aussi travailler avec plusieurs pistes (dont celles des harmonies); tu peux également (c'est compris dans l'abonnement sans supplément) mélanger plusieurs modèles de chanteurs préexistants (ceux de la liste de base ) et les merger en un modèle custom original que tu intègres à ta liste de chanteurs IA (je le fais systématiquement) pour avoir un résultat le plus proche de ce que j'ai en tête au départ...

Néanmoins, pour faire chanter en français, c'est la croix et la bannière car il faut tester les phonèmes (listés dans le VST) des trois langues supportées pour rentrer ceux qui sont les plus proches des syllabes françaises (c'est long et fastidieux, mais le résultat est plutôt correct à l'arrivée: franchement, cela donne des maquettes avec placements voix plus pros que quand tu fais ça avec de pas très bons chanteurs réels!)...

En revanche, la création de modèles persos (justement pour intégrer des phonèmes spécifiques à une langue non supportée a priori par le soft) est hors de prix (plus de 600 boules, voire bien plus, pour un nombre très limité de créations)! Autant demander à un vrai chanteur de studio de faire le job...
Mais pour des chansons anglaises avec des chanteurs iA (41 à dispo), l'abonnement annuel est en revanche très acceptable pour un amateur: 149 dollars US/an...

Mais pour mes compos en français (et même pour l'anglais), je pense que je vais craquer ma tirelire pour Moises IA Voice Studio (299 euros/an) car même s'il y a moins de chanteurs (dans le Pro Plan, il y en a 12), le réalisme des modèles est bien plus grand et la création de modèles custom persos est "gratuite" (comprise dans l'abonnement pro) et très convaincante: moi qui chante juste mais n'arrive à chanter avec l'intensité que je désirerais que sur de trop courts stems (ce qui exigerait du comping très fastidieux avec de petits bouts -ceux où je n'ai pas top mal chanté-), je vais pouvoir modéliser le "meilleur" de ma propre voix (avec un data set épars); ensuite, je pourrai revoicer tout acapella perso avec mon propre modèle (le meilleur de ma voix avec ses meilleures intonations, son meilleur grain): grosso modo l'IA rechantera ce que je chante proprement en me permettant d'avoir la base des meilleures performances de ma propre voix (quand j'ai réussi à être rauque sans que ça déraille/ quand j'ai réussi un grave/ un médium ou un aigu un peu par hasard sur une ligne de crête improbable sur un phrasé inspiré)...
Ces meilleurs éléments de ma voix seront donc ma base IA pour rechanter automatiquement tout morceau ultérieur...

Là, on imagine mieux effectivement la chance et en même temps le risque pour des chanteurs pros, en matière de garantie de stabilité/risque de fainéantise/risque d'être remplacé par leur clone...

[Jemm971]

Apparemment MAO tu es un super pro du domaine Moi tu m’as largué quand tu as parlé de « stems » et de « comping », je sais pas ce que c’est🙈. (Ne rigoles pas !!!😀).
Mais je trouve ton post super intéressant. Et je suis sur le c.. quand je vois tout ce que tu peux faire avec la voix!!!
Bon j’imagine que ça ne se fait pas tout seul, et que c’est quand même un gros boulot pour sortir un bon résultat quand le chant de départ serait celui d’un amateur comme moi. Ces logiciels tels que je les perçois c’est un peu des Photoshop mais pour la voix.
Je serais vraiment très curieux d’avoir ton retour quand tu créeras ton modèle à partir de ta propre voix avec Moises IA Vocal Studio, et le temps que ça va te prendre (sachant qu’apparemment tu es déjà hyper à l’aise avec les softs comme ça). Et aussi curieux de savoir si cela te permet ensuite de « faire chanter » ton modèle de manière réaliste ou s’il faut toujours faire 15000 retouches ensuite. Car si cette solution permet de se faire chanter soi-même convenablement sans que l’on soit un chanteur, ça serait le pied pour des petites compositions personnelles😀.

[MAO]

Apparemment MAO tu es un super pro du domaine Moi tu m’as largué quand tu as parlé de « stems » et de « comping », je sais pas ce que c’est🙈. (Ne rigoles pas !!!😀).
Mais je trouve ton post super intéressant. Et je suis sur le c.. quand je vois tout ce que tu peux faire avec la voix!!!
Bon j’imagine que ça ne se fait pas tout seul, et que c’est quand même un gros boulot pour sortir un bon résultat quand le chant de départ serait celui d’un amateur comme moi. Ces logiciels tels que je les perçois c’est un peu des Photoshop mais pour la voix.
Je serais vraiment très curieux d’avoir ton retour quand tu créeras ton modèle à partir de ta propre voix avec Moises IA Vocal Studio, et le temps que ça va te prendre (sachant qu’apparemment tu es déjà hyper à l’aise avec les softs comme ça). Et aussi curieux de savoir si cela te permet ensuite de « faire chanter » ton modèle de manière réaliste ou s’il faut toujours faire 15000 retouches ensuite. Car si cette solution permet de se faire chanter soi-même convenablement sans que l’on soit un chanteur, ça serait le pied pour des petites compositions personnelles😀.

Et bien, non, je ne suis pas du tout un pro de l'affaire: je débute et ce, par nécessité: en fait, en 8 mois de galères à essayer de trouver des chanteurs bien réels et pour le casting final de mon titre phare: "Label Sanchez" et pour de simples placements des voix sur la prémaquette!- , j'ai dû me résoudre à compenser ma frustration -les uns jouant les stars et me faisant perdre un temps fou avec leurs tergiversations et leurs emplois du temps "overbookés", les autres souvent n'étant pas à la hauteur de mes attentes et pourtant, pour certains, faisant des caprices de starlettes quand je demandais simplement un coup de main à titre amical!

Donc j'ai dû d'abord essayer de faire un boulot de titan (couper et coller des micro-morceaux de leurs "performances" pas top: c'est cela le "comping": imagine un mec dont la tronche est dégueu -vraiment moche-, et bien tu prends une multitudes de photos de lui et tu découpes les petits bouts (où il est pas trop mal) dans chaque photo et tu les retravailles et les réassembles pour constituer un faux portrait, où le gars apparaît finalement presque beau (en fait, un peu moins moche que sur chacun des vrais clichés initiaux)!

A partir de là, je me suis dit: pourquoi pas essayer de faire ça avec ma propre "non voix" (et j'ai obtenu des résultats pas pires qu'avec les voix de mes prétendus "pros du chant")...Au moins, je suis dispo pour moi-même et je sais ce que je veux obtenir: donc gain de temps, mais pas de qualité à l'arrivée...

Donc, imagine ce que la découverte du revoicing IA puis des deux VST/sites de Sudios vocaux IA représente pour moi... ces photomontages de la voix auxquels je me suis exercé (par nécessité et manque d'un matériau base de qualité) m'ont préparé à faire du pas trop mauvais boulot maintenant que j'ai des modèles de base d'excellence...

Même retouchées, ma tronche et/ou ma voix (sauf sous de micro angles et sur des tout petits bouts, en eux-mêmes pas trop moches) ne sont qu'à peine acceptables (mais acceptables tout de même). Imagine la même chose à partir de la tête d'un mannequin ou de la voix d'un chanteur pro et avec un vrai timbre au départ...

Pour ma propre voix, l'idée est à l'avenir de n'avoir que son clone (plus top car constitué du meilleur de ce que je peux laisser entendre parfois par petits bouts seulement) pour bien chanter ce que je "non chante" au naturel (sans avoir à trop ressortir les ciseaux et la malle de maquillages VSTs)...

[Jemm971]

Je trouve ça assez génial si l’on peut arriver à faire chanter son propre clone!
La question est de savoir combien de temps il faut pour arriver à maîtriser ce genre de soft pour faire son modèle, et ensuite si on arrive l’exploiter facilement dans passer des jours à tout retoucher.
En tout cas, c’est à tester !
Je vais suivre avec attention tes posts sur le sujet!😀

[Erenion]

un autre soft qui mérite de s’y intéresser . Le soft analyse la partie chantée et la remplace avec les instruments souhaités: batterie , cuivre , vocales etc

les Voix sont plutôt impressionnantes par contre les cuivres je trouve que c’est pas ça ..

[Jemm971]

Wouahhhouuu!!! Impressionnant! Bon tout à l’air toujours facile avec Dr Mix parce que son pote maîtrise à mort les softs. Curieux de savoir si c’est aussi facile quand on est chez soi…

[Erenion]

Docteur Mix en fait des caisses et c’est sans doute pas aussi simple que ce qu'il montre dans la vidéo qui n’est pas live mais montée .
Ça n’enlève pas au fait que le soft est assez interessant.
Meme si le model financier est pas top car il faut payer à l’usage . 20€ pour 120 processing mn / 70€ pour 600 processing mn

[Jemm971]

lol ben c’est un youtubeur, normal qu’il en fasse des caisses.😂
Bon par rapport au tarif … il est urgent d’attendre!🥵

[belempa]

Sujet vraiment intéressant et complexe ,
si ils pouvaient faire la même chose pour la cuisine