Wat is de Jukebox van OpenAI en wat kunt u ermee doen?

Generatieve AI breidt zich langzaam uit naar steeds meer disciplines in de creatieve industrie. Het begon met AI-kunstgeneratoren en verspreidde zich vervolgens naar schrijven met door AI gegenereerde tekst. Nu kunnen we muziek aan die lijst toevoegen.

In de nabije toekomst zal door AI gegenereerde muziek, vanaf nul voortgebracht, werkelijkheid worden. Het is zelfs al mogelijk met Jukebox, OpenAI's AI-model voor het maken van muziek. Het is nog niet beschikbaar in een gebruiksvriendelijke applicatie en het klinkt nog niet goed genoeg, maar de algoritmische botten zijn er.

Dit is wat u moet weten over de Jukebox van OpenAI en wat u ermee kunt doen.

Jukebox: AI die muziek genereert als onbewerkte audio

Jukebox is een neuraal net dat muziek in onbewerkte audiovorm kan genereren wanneer je het input geeft zoals genre, artiest of songteksten. Het werd in april 2020 uitgebracht door OpenAI, hetzelfde bedrijf dat ons de AI-kunstgenerator genaamd Dall-E en de AI-chatbot genaamd ChatGPT heeft gebracht.

In tegenstelling tot Dall-E, dat zich snel over de wereld verspreidde en AI tot een koortsachtig onderwerp van nieuws en media maakte, kreeg Jukebox na de release niet veel belangstelling. Een reden hiervoor is dat het geen gebruiksvriendelijke webapplicatie heeft, althans nog niet.

Je vindt de code op de OpenAI-website, naast een uitgebreide uitleg over hoe het coderings- en decoderingsproces werkt.

Een andere waarschijnlijke reden is dat het enorm veel tijd en rekenkracht kost. Om u een idee te geven: de weergave van slechts één minuut aan audio kan negen uur in beslag nemen. Je moet bereid zijn om het model in zijn codevorm te verkennen, plus veel geduld als je wilt zien wat een AI-model kan doen om muziek te genereren.

Of u kunt doorgaan naar de Jukebox-voorbeeldverkenner. Dit is waar OpenAI zijn experimenten heeft gepost met het genereren van liedjes in de gelijkenis van Ella Fitzgerald of 2Pac.

Om duidelijk te zijn, andere AI-muziektools bestaan ​​om u te helpen bij het genereren van een nummer, maar ze genereren geen audio vanaf nul. In plaats daarvan combineren ze vooraf opgenomen samples of creëren ze MIDI-informatie die door een digitale synthesizer wordt gestuurd.

Hoe klinkt Jukebox?

De resultaten van Jukebox zijn herkenbaar maar vreemd. Het is niet moeilijk om de vorm van het nummer en het genre waartoe het behoort te begrijpen, maar de kwaliteit van de resultaten laat het klinken alsof je naar een van de vroegste opgenomen muziek luistert: dat wil zeggen, gedempt met veel lawaai.

Het is veilig om te zeggen dat Jukebox niet het soort high-fidelity-geluid produceert dat je zou horen uit een goede koptelefoon. Het lijkt meer op het horen van muziek van een radiostation dat niet volledig is afgestemd op de juiste frequentie. Sommige nummers zijn hervertolkingen, andere zijn voortzettingen van bestaande nummers. Er is ook een categorie voor nieuwe artiesten en stijlen, en ongeziene songteksten.

Ondanks de geluidskwaliteit beschrijven vroege onderzoekers dat ze onder de indruk waren van de griezelige schoonheid en bizarre aard van de muziek die door Jukebox werd gemaakt. "Als een soundtrack bij documentatie over een onbekend land met een onbekende cultuur", schrijft Merzmench op medium.

Momenteel zijn de resultaten verre van goed genoeg om door mensen gemaakte muziek te kopiëren of zelfs maar te vervangen de technologie gaat snel en snel genoeg zullen modellen als Jukebox in staat zijn om die prestaties te leveren te.

Hoe de Jukebox van OpenAI werd getraind

Een deel van de manier waarop Jukebox muziek kan maken die nooit eerder heeft bestaan, is dat het is getraind op de muziek van echte muzikanten. OpenAI legt uit dat:

"Om dit model te trainen, hebben we het web doorzocht om een ​​nieuwe dataset van 1,2 miljoen nummers (waarvan 600.000 in het Engels) samen te stellen, gecombineerd met de bijbehorende songteksten en metadata van LyricWiki."

Het zoeken naar gegevens is een praktijk die door sommige AI-bedrijven wordt gebruikt om een ​​set gegevens te creëren die een AI-model kan gebruiken om van te leren en beslissingen te nemen bij het genereren van een afbeelding, tekst, of in dit geval muziek. Datasets die zijn gemaakt door te crawlen, zijn controversieel omdat er in de eerste plaats geen toestemming wordt verkregen van de eigenaren van de gegevens. Hoewel sommige platforms u dit toestaan uw inhoud afmelden voor datasets.

Je zou kunnen denken dat 1,2 miljoen nummers veel zijn, maar ter vergelijking: Dall-E 2 is getraind op honderden miljoenen beeld-tekstparen van internet. Met dat in gedachten heeft Jukebox zijn beperking.

De relatief kleine trainingspool kan de rijkdom en diversiteit van menselijke muziek niet vatten. OpenAI heeft verklaard dat het grotendeels is getraind op westerse muziek, wat een duidelijke vooringenomenheid vertegenwoordigt in de muziek die het kan genereren.

Wat kun je doen met Jukebox?

Dus, met de beperkingen in het achterhoofd, wat kun je doen met Jukebox? Een snelle manier om die vraag te beantwoorden, is door te zeggen wat je niet kunt doen met Jukebox.

Omdat het bijna een halve dag kost om één minuut muziek weer te geven, is het niet erg handig voor het produceren van muziek. Althans, niet in de traditionele zin. Normaal gesproken bewegen muzikanten heen en weer tussen het spelen op een instrument (improviseren) en het plannen van de structuur van een nummer. Hetzelfde soort experimenteren is niet mogelijk met Jukebox.

Aangezien het in dit stadium niet eenvoudig is om met Jukebox een nummer te maken, kun je het meer zien als een nieuwe manier om muzieksamples te genereren. Als je eenmaal audio hebt gegenereerd die je leuk vindt, kun je deze gebruiken in je creatieve projecten zoals je normaal zou doen.

De onderstaande video is het resultaat van iemand die muziek gebruikt die met Jukebox is gemaakt om een ​​korte montagevideo te onderstrepen.

Kunstmatige intelligentie heeft ook buiten creatieve toepassingen een breed scala aan toepassingen, en daarom is het de moeite waard begrijpen wat AI is en de gevaren die het met zich meebrengt.

Ben je ontroerd door AI Music?

De muziek die door Jukebox wordt gegenereerd, is niet gemakkelijk te negeren, en ondanks al zijn vreemdheid en griezelige mens-machine-kwaliteit, klinkt het uiteindelijk als muziek. Terwijl de muziekindustrie al een tijdje AI-tools gebruikt, is de mogelijkheid om muziek als ruwe audio te genereren nu pas een realiteit.

Maar hoewel modellen zoals Jukebox bestaan, moeten ze nog worden verpakt in een commercieel hulpmiddel en voldoen ze nog steeds niet aan de mogelijkheden van menselijke muzikanten.