Interprétations avec visuel Concert Creator AI

[ubik]

Si je pige bien, tu balances une musique et ton programme te crée les images qui correspondent ?

C'est fou, cette histoire !

Bon, ça rend bien, et je pense qu'ils vont sans doute encore améliorer le truc.

Quand je vois ce qu'on obtient en graphisme avec Midjourney, il y a déjà de quoi être largement bluffé.

[Lylo]

Bonjour Ubik,
ce n'est pas exactement ça, ou du moins faut-il que j'affine le propos.
Ce qui est de l'ordre de "tu balances une musique et ton programme te crée les images qui correspondent" c'est la partie où on voit la pianiste jouer, ce fut le starter de la vidéo, à savoir ne pas me contenter des deux plans que j'avais pris juste avant que le site Concert Creator ferme et les monter sur toute la longueur du morceau mais intégrer un fragment au sein d'une vidéo qui relate une histoire.

En revanche dans la vidéo il y a plus fort, les dernières secondes sont réalisées à partir de seulement deux images, le site Runway génère aléatoirement une animation à partir d'une seule et simple image.

Le reste des scènes je les ais réalisé à l'aide d'image générées par ia, c'est à dire qu'il faut nourrir le programme de description de ce que l'on veut obtenir et ensuite j'importe ces images dans Blender et je les "extrude" à l'aide des depth maps.
D'un côté c'est simple, de l'autre ça représente tout de même 4 mois de boulot (dont deux semaines pour le makjing of à la fin qui montre tout ce que j'explique là, après ce n'était pas non plus du boulot à raison de 8h/jours mais il y a eu des jours où c'était assez intense tout de même)

Donc non, ce n'est pas une musique que j'ai donné à mouliner et la vidéo est sortie comme la pizza sort du four, j'ai tout de même pas mal taffé là dessus mais avec les progrès sidérant faits par tout ce qui est de l'ordre de l'ia, il n'est pas impossible que d'ici deux ans il suffise de mettre quelques images plus un prompt pour générer la même chose.

[ubik]

Bonjour Ubik,
ce n'est pas exactement ça, ou du moins faut-il que j'affine le propos.
Ce qui est de l'ordre de "tu balances une musique et ton programme te crée les images qui correspondent" c'est la partie où on voit la pianiste jouer, ce fut le starter de la vidéo, à savoir ne pas me contenter des deux plans que j'avais pris juste avant que le site Concert Creator ferme et les monter sur toute la longueur du morceau mais intégrer un fragment au sein d'une vidéo qui relate une histoire.

En revanche dans la vidéo il y a plus fort, les dernières secondes sont réalisées à partir de seulement deux images, le site Runway génère aléatoirement une animation à partir d'une seule et simple image.

Le reste des scènes je les ais réalisé à l'aide d'image générées par ia, c'est à dire qu'il faut nourrir le programme de description de ce que l'on veut obtenir et ensuite j'importe ces images dans Blender et je les "extrude" à l'aide des depth maps.
D'un côté c'est simple, de l'autre ça représente tout de même 4 mois de boulot (dont deux semaines pour le makjing of à la fin qui montre tout ce que j'explique là, après ce n'était pas non plus du boulot à raison de 8h/jours mais il y a eu des jours où c'était assez intense tout de même)

Donc non, ce n'est pas une musique que j'ai donné à mouliner et la vidéo est sortie comme la pizza sort du four, j'ai tout de même pas mal taffé là dessus mais avec les progrès sidérant faits par tout ce qui est de l'ordre de l'ia, il n'est pas impossible que d'ici deux ans il suffise de mettre quelques images plus un prompt pour générer la même chose.

Oui, j'ai résumé en une phrase, mais je me doutais bien que c'était un boxon monstre.

Mais en gros, tu peux te retrouver à créer des images à partir de... rien ? Si j'ai bien suivi ?

Hallucinant.

Moi ça me file le vertige.

J'imagine, en effet, que ça nécessite des trucs de fou, mais je ne me représente même pas quoi. Cela reste abstrait, pour moi.

Et le restera sans doute. J'ai déjà bien assez de mal à créer un peu de musique.

Le type qui a bossé pour notre vidéo "Sabbath" (as-tu vu ou pas, je mets le lien à tout hasard) a commencé à expliquer un peu non pas comment il a fait, mais ce qu'il a utilisé. Déjà, ça me filait le tournis. After effects, je vois un peu. Et après, d'autres programmes, même pas j'ai retenu leurs noms.

Mais c'est fou, ce qu'on peut obtenir.

Enfin, grâce à cette vidéo, on a dépassé les 1000 vues, on va pouvoir s'inscrire à la Sacem, pour notre album. Mais sans ce gars, jamais je n'aurais pu créer quoi que ce soit qui ressemble à ça. Quel délire !

Enfin, là ça m'épate et je le redis, me file le tournis...


(Le lien : https://youtu.be/AiOnxqD2bko )

[Lylo]

Hé super le morceau !!
C'est quoi les influences (même si j'ai mon idée).
Ton copain ne bosse pas sur Reaper par hasard ? Il me semble avoir vu passer un topic sur le forum Reaper pour demander comment animer le point rouge.

Sinon pour ce qui est des images IA c'est très simple en fait, il y a juste qu'une part d'empirisme implique de passer un peu de temps pour obtenir le résultat que l'on souhaite.
Il suffit de taper ce que l'on désire et l'image apparait parfois parfaitement comme ce que l'on souhaite, d'autres fois il faut affiner le langage pour que le programme comprenne, il y a aussi quelques options qui peuvent drastiquement changer les choses.
Tu peux essayer avec ce site qui est très simple https://picfinder.ai il lui faut de l'anglais par contre, tu peux par exemple taper "a doll in a forest" ou alors "radio steampunk" et taper "entrée", tu auras autant d'images générées que tu feras défiler la page vers le bas (par contre il y a tout de même une limite journalière)
Au bout de la ligne de prompt tu as un bouton "setting" qui te permet d'accéder aux différents styles.
C'est très ludique.

[ubik]

Hé super le morceau !!
C'est quoi les influences (même si j'ai mon idée).
Ton copain ne bosse pas sur Reaper par hasard ? Il me semble avoir vu passer un topic sur le forum Reaper pour demander comment animer le point rouge.

Sinon pour ce qui est des images IA c'est très simple en fait, il y a juste qu'une part d'empirisme implique de passer un peu de temps pour obtenir le résultat que l'on souhaite.
Il suffit de taper ce que l'on désire et l'image apparait parfois parfaitement comme ce que l'on souhaite, d'autres fois il faut affiner le langage pour que le programme comprenne, il y a aussi quelques options qui peuvent drastiquement changer les choses.
Tu peux essayer avec ce site qui est très simple https://picfinder.ai il lui faut de l'anglais par contre, tu peux par exemple taper "a doll in a forest" ou alors "radio steampunk" et taper "entrée", tu auras autant d'images générées que tu feras défiler la page vers le bas (par contre il y a tout de même une limite journalière)
Au bout de la ligne de prompt tu as un bouton "setting" qui te permet d'accéder aux différents styles.
C'est très ludique.

Hey, c'est très sympa de m'indiquer ça, MERCI ! ! ! Je vais aller zieuter ça de près.


MERCI pour la musique, aussi !



Sur la musique, c'est un peu particulier. J'ai écrit un truc quelque part, alors le plus simple, c'est que je le recopie ici... En espérant ne pas envahir chez toi, outre mesure.



Si on simplifiait vraiment, on pourrait dire que je fais du jazz fusion. Mais ça ne correspondrait qu'à une partie de la réalité. Il y a d'autres influences, tout un parcours.

Pink floyd et la musique électronique, très précocement. Puis Jethro Tull et Genesis, Yes, pour la prog'. L'école de Canterbury, avec Bill Bruford, Allan Holdsworth, Robert Wyatt, Henry Cow, National Heath, Hatfield and the North. Le jazz halluciné de John Coltrane, de Mc Coy Tyner. La musique symphonique, Stravinski, Bartók, Prokofiev. Les musiques de films, Bernard Herrmann loin devant tous les autres, mais des gens comme Miklos Rosza, Franz Waxman, Max Steiner, Jerry Goldsmith, James Newton Howard, Howard Shore, etc. J'adore la musique de films noirs, le suspense, la tension. Le latin jazz, Poncho Sanchez essentiellement, et les tournes Cubaines (mais pas la salsa, par contre, trop chanté, trop figé, trop ritualisé). Le jazz fusion de Miles Davis, des frères Brecker, de Dave Liebman, Jaco Pastorius, Weather report, Sixun, Steps ahead, le Fender Rhodes tordu de Steve Weingart, le brillant jeu de vibraphone de Mike Manieri, le violon de Didier Lockwood. Le sax halluciné de Michael Brecker, alors lui, je l'adore. Mais j'ai choisi d'utiliser un soprano (j'en ai joué, à une époque).

Mais les bouleversements MAJEURS, ça a été d'abord KING CRIMSON, qui a mis mon esprit en révolution. Et MAGMA, qui fut un séisme monstrueux. Steve Reich, que m'a fait découvrir mon meilleur ami, Bernard, mon mentor, un compositeur exceptionnel. Et je parlerai aussi, à un degré moindre, du jazz étrange, solennel, lent et mystérieux de Eberhard Weber, contrebassiste allemand et fabuleux compositeur.

J'ai mis de côté Magma, King Crimson et Steve Reich. C'est tellement particulier, spécial, que se laisser influencer, c'est courir le risque de se faire happer, avaler cru. Se retrouver à réciter une leçon, appliquer un système. Et puis, ces gens ont à la fois ouvert un champ immense, mais l'ont refermé derrière eux. C'est leur domaine, il leur appartient. Surtout Magma. Par moments, je me laisse inspirer, mais j'y vais avec d'infinies précautions. Steve Reich, n'en parlons pas.

King Crimson est pour moi plus abordable, et ils utilisent des procédés que je pratiquais déjà, depuis longtemps. C'est un business moins risky. Idem pour Weber.

Alors je fais une cote mal taillée, entre des influences qui seraient majeures mais que je tiens en sourdine, et d'autres qui relèvent d'un tronc commun plus large, mais que je m'efforce de constamment pousser plus loin et détourner.

Par exemple, les tournes latines. Dans leur forme traditionnelle, elles existent essentiellement sous forme de 4/4 ou de 6/8. Il m'est arrivé d'en utiliser des connues, la son-clave, la rhumba-clave, des tournes de campanas, d'agogo, de woodblock, etc. Mais quand j'ai une armature différente, je n'hésite pas à inventer mes propres motifs, en 7/8, en 9/8, en 5/4 ou autres, que ce soit au triangle, au shékéré, peu importe. Iconoclaste, dirons certains, les puristes de la musique latine, pour qui chaque rythme apparait dans un contexte bien particulier, et qui seraient scandalisés de tels détournements.

Et puis, si j’emprunte à l’école de Canterbury, au jazz, à la prog’, à la fusion, c’est toujours pour chercher ma propre route, déterrer mes propres obsessions. Je suis comme un mineur qui a trouvé un filon, une veine, et qui la suit. J'aiguise mon esprit. Et j'ai remarqué que moins j'écoute de musique, plus il me vient des idées. C'est Christian Vander qui le dit, "il faut faire le vide en soi pour que la musique puisse venir".

Pour finir sur ce morceau, il est assez ancien. Nous avions la contrainte d'utiliser un morceau qui ferait partie de l'album. "Sabbath" est mon quatorzième, alors que là, mon "Nagasaki", le dernier en date, est le quarante-huitième. C'est devenu infiniment plus complexe, ambitieux, nuancé. Mais "Sabbath" avait un potentiel plus large, il peut séduire des amateurs de rock, de jazz, il est assez simple, punchy, accessible.

Et puis, la vidéo, superbe. Effectivement, c'est en posant la question de comment animer un voyant rouge sur de la musique que, de fil en aiguille, Lozzec a fini par me proposer de me faire ma vidéo, du moment que je lui laissais le champ libre. Et je me félicite d'avoir accepté, fructueuse et passionnante collaboration. Il est utilisateur de Reaper, en effet. Mais j'ignore ce qu'il crée avec.

Sinon, je ne fais pas de vidéo, juste du graphisme 2D avec Photoshop, des espèces de paysages surréalistes. Si tu le souhaites, j'indiquerai le lien, là je suis déjà en train de tenir le crachoir, n'abusons pas.

On peut trouver mon Ubik Kaotik Orkestra chez YT, et chez Soundcloud. En général, chez Soundcloud, je mets les trois ou quatre derniers. J'enlève, j'ajoute, je fais mon petit micmac, quoi.

MERCI encore pour le site. Je pense que ça pourrait m'aider; du style il me crée le truc de base, ça me donne la perspective, et ensuite, dans Photoshop, je reprends et j'ajoute mes propres détails. A voir.


Très très sympa de m'avoir indiqué ça. J'apprécie !

Et encore bravo pour ces incroyables trafics de vidéo, auxquels je ne pige rien, bluffé je suis.

[Lylo]

"En espérant ne pas envahir chez toi, outre mesure." nan parce que tu cites une bonne partie de ce que j'ai pu écouter et réécouter, j'ajouterais Gong, Led Zeppelin, John Surman, Joachim Kuhn, ELP... que tu as très certainement aussi écouter.
En revanche, en fan de Magma que j'étais (avec le sigle que je m'étais taillé dans le plastique, peint pour le porter en pendentif) je trouve qu'il serait urbain que tu t'abonnes à ma chaine Youtube (comme je viens de le faire avec la tienne) Et jeter un oeil aux playlists que j'ai élaboré, je pense que certaines devraient matcher avec tes oreilles.
En tout cas ça fait plaisir de voir cité Eberhard Weber quasi inconnu par chez nous.

[Lylo]

Bonjour la troupe,
Nouvelle vidéo qui m'a encore demandé trois mois de travail là où j'en avais prévu un seul. Encore une incrustation "Concert creator" dans un environnement 3D..

Je vous laisse avec le descriptif générique de la vidéo pour vous faire une idée du pourquoi du comment.

----------------------------------------------------------------

Video élaborée initialement pour le concours Pianoteq 2023 il ne m'a pas été possible de la rendre dans les temps pour figurer parmi les participants.
Alors que j'avais envisagé pouvoir finir le projet en un mois, le film devant être une simple répétition d'un concertiste devant trois ou quatre personne, j'ai sophistiqué la scène au fil du temps.
Je me suis vu ajouter un stand Pianoteq puis Claude Debussy dans le public, ainsi que mes parents et des amis, un oiseau etc. chaque ajout allongeant les temps de rendus et demandant de la préparation ainsi que du travail d'animation.
J'ai utilisé un vieil enregistrement que j'avais fait en 2010 du prelude de la Suite bergamasque et que j'ai passer dans le programme Concert Creator pour obtenir l'avatar qui joue le piano puis j'ai extrait le fichier midi du fichier audio à l'aide de PianoTrans afin de retravailler l'interprétation.
J'ai aussi voulu mettre en exergue le travail de photogrammétrie de Artflech que l'on peut retrouver sur Sketchfab, il offre de maginifiques assets très inspirant, cela a contribué à me passionner pour 3D fin 2020.
J'espère que ce petit concert dans une église de Londres vous plaira.

[Poupouye]

C'est superbe Stéphane, ce décor convient tout ça fait à ce morceau que tu interprètes magnifiquement.

Bravo pour ce beau boulot !

[Lylo]

Merci beaucoup Poupouye, ça me touche d'autant plus que je sais que tu as été un peu déçu de ne pas voir l'avatar Amalia, soit la fille que tu aimes bien, pour ce morceau j'avais préféré prendre un concertiste masculin.

[Poupouye]

Merci beaucoup Poupouye, ça me touche d'autant plus que je sais que tu as été un peu déçu de ne pas voir l'avatar Amalia, soit la fille que tu aimes bien, pour ce morceau j'avais préféré prendre un concertiste masculin.

je suis tellement déçu.. mais tu es pardonné, l'avatar masculin joue presque aussi bien