AI ontmoet Vivaldi...
....zo heb ik een klassiek AI stuk gemaakt
Omdat jij lid bent van mijn nieuwsbrief bent, krijg jij als eerste een kijkje achter de schermen van mijn nieuwste experiment, een AI gecomponeerd muziekstuk in Vivaldi stijl, ondersteund door beelden en video.
Ik ben gek op klassieke muziek. Van Mozart tot Vivaldi, ik kan er uren naar luisteren. En zoals je van mij gewend bent, blijf ik AI tools testen om te zien hoe ver we kunnen gaan. Kun je AI zover krijgen dat het een echt klassiek stuk componeert? En kun je dat dan ook nog visueel tot leven brengen?
In deze update neem ik je stap voor stap mee in mijn proces. Onderaan deel ik alle gebruikte tools zodat je zelf aan de slag kunt als je dat leuk vindt.
Stap 1 - Het concept
Zoals altijd begon ik met het bedenken van een concept. Geen ingewikkelde brainstormsessie, gewoon ouderwets in Apple Notities. Mijn idee was een kort klassiek stuk in de stijl van Vivaldi. Denk aan een opbouw van solo naar ensemble, eerst een pianist, dan een violist en uiteindelijk een kleine groep violisten in beeld.
Ik wilde het geheel ondersteunen met visuals in een warme, nostalgische stijl. Denk aan zachte belichting, klassieke kleding en rijke kleuren.
Stap 2 - Beelden ontwerpen
Voor het beeldgebruik heb ik Midjourney ingezet. Zoals je misschien weet, werk ik met mijn eigen 8S framework om beelden consistent te maken in stijl, sfeer en compositie.
Het framework helpt mij om verschillende shots te genereren die goed bij elkaar passen. Wil je daar zelf mee aan de slag, onderaan deze nieuwsbrief vind je alle tools en uitleg.
Ik genereerde eerst losse beelden, een pianist, een violist, een klein ensemble, en gebruikte die om mijn verhaal verder te vormen.
Stap 3 - Muziek componeren
Voor de muziek gebruikte ik Udio, een van mijn favoriete tools op dit moment. Je kunt ook kiezen voor Suno, maar ik merk dat ik met Udio net iets meer controle en vrijheid heb om te experimenteren.
Ik heb het nummer opgebouwd in drie delen
Een korte intro met piano
Een solostuk met viool
En een finale met een kleine groep strijkers, allemaal in Vivaldi stijl
Het eindresultaat heb ik teruggebracht tot ongeveer 50 seconden, net lang genoeg om de sfeer te pakken maar kort genoeg om te blijven boeien.
Stap 4 - Eerste montage
De audio importeerde ik in DaVinci Resolve. Daar zette ik de beelden er handmatig onder zodat ze goed aansloten bij de muziek. Elk stuk kreeg zijn eigen sfeerbeeld. Door dit al vroeg te doen kreeg ik inzicht in welke beelden en videos ik nog nodig had.
Stap 5 - Video genereren
Met de juiste prompts maakte ik vervolgens korte videos in Midjourney. Sommige fragmenten duurden vijf seconden, andere gingen richting de zestien. Hoe langer de clip, hoe meer vrijheid je hebt tijdens het editen.
Ik selecteerde alleen de beelden die goed aansloten bij het ritme en de emotie van de muziek.
Stap 6 - Alles samenbrengen
Dit was de lastigste stap. Er zijn tools die bijvoorbeeld de lipbewegingen van een operazangeres kunnen syncen met audio, maar voor instrumenten werkt dat nog niet goed.
Ik moest dus handmatig alles editen, beelden, muziek, tempo. En eerlijk is eerlijk, ik ben geen professioneel video editor. Dus dit was flink aanpoten. Het resultaat klopt in sfeer, tempo en emotie, maar ik ben nog niet tevreden over hoe goed de instrumenten synchroon lopen met de beelden.
Benieuwd wat jij ervan vindt. Zie jij het ook, of valt het jou misschien helemaal niet op?
Is het perfect? Nee. Maar het is wel echt tof geworden. En dat is precies wat ik ermee wilde bereiken.
Tijdsinvestering
Even een indicatie van hoeveel tijd het me kostte
Idee bedenken 30 minuten
Beelden en videos genereren 1 uur
Audio componeren 30 minuten
Video editen 3 uur
Totaal iets meer dan een halve werkdag.
Welke tools heb ik gebruikt:
Udio: AI tool voor het componeren van muziek (gratis instapversie)
Midjourney: Voor het genereren van afbeeldingen en videos (betaald)
8s Framework: Mijn eigen methode voor consistente beelden (gratis te gebruiken via mijn site)
Davinci Resolve: Gratis videobewerkingsprogramma
Vond je dit interessant?
Dan zou ik het supertof vinden als je mijn nieuwsbrief wilt delen met iemand die hier ook blij van wordt. Aanmelden kan makkelijk via de knop hieronder.