Stable Diffusion: Riffusion

In onze vorige artikelen hebben we de fascinerende mogelijkheden van Stable Diffusion voor het genereren van boeiende afbeeldingen onderzocht. Het is echter belangrijk om op te merken dat dit krachtige generatieve neurale netwerk nog meer te bieden heeft.

Riffusion is een Stable Diffusion-model voor het maken en bewerken van muziek. Met Riffusion kun je een spectrogram genereren van een gewenst muzieksegment en dit moeiteloos omzetten in een muziekfragment. Laten we Riffusion installeren op een LeaderGPU server en het in actie proberen.

Vereisten

Begin met het bijwerken van de pakketcache repository en geïnstalleerde pakketten:

sudo apt update && sudo apt -y upgrade

Vergeet niet de Nvidia-stuurprogramma's te installeren met de opdracht autoinstall of handmatig met behulp van onze stapsgewijze handleiding:

sudo ubuntu-drivers autoinstall

Start de server opnieuw op:

sudo shutdown -r now

Om een virtuele omgeving te creëren, raden ontwikkelaars aan om het hulpprogramma Anaconda te gebruiken. Je kunt ook venv gebruiken, dat we hebben besproken in de tutorial over Linux systeemhulpprogramma's. Download het installatiescript van Anaconda met behulp van curl:

curl --output anaconda.sh https://repo.anaconda.com/archive/Anaconda3-5.3.1-Linux-x86_64.sh

Maak het uitvoerbaar:

chmod +x anaconda.sh

En uitvoeren:

./anaconda.sh

Antwoord JA op alle vragen, behalve de laatste (installeer Microsoft VSCode). Log dan opnieuw in op de SSH-console en maak een nieuwe virtuele omgeving met Python v3.9:

conda create --name riffusion python=3.9

Activeer de nieuwe virtuele omgeving:

conda activate riffusion

Als je andere muziekformaten dan wav wilt gebruiken, moet je ook de FFmpeg-bibliotheekset installeren:

conda install -c conda-forge ffmpeg

Riffusion installeren

Kloon de Riffusion opslagplaats:

git clone https://github.com/riffusion/riffusion.git

Open de gedownloade map:

cd riffusion

Laten we enkele wijzigingen aanbrengen in het bestand met vereisten. Dit voorkomt fouten met compatibiliteit met torch:

nano requirements.txt

Pakketversies zoeken en herstellen:

diffusers==0.9.0
torchaudio==2.0.1

Sla de wijzigingen op en ga verder met het voorbereiden van een virtuele omgeving. Het volgende commando installeert alle benodigde pakketten:

python -m pip install -r requirements.txt

Tot slot kunt u een "speeltuin" openen. Dit is een eenvoudige webinterface waarmee je meer kunt leren over de functies van Riffusion:

python -m riffusion.streamlit.playground

Open uw favoriete browser en voer het adres in http://[SERVER_IP]:8501/

Test een speelplaats

Nu kun je muziek maken met behulp van tekstprompts en door de andere parameters te wijzigen:

Je kunt ook wat lastige dingen doen, zoals audio opsplitsen in afzonderlijke componenten. Je kunt bijvoorbeeld de zang uit Bohemian rhapsody van Queen halen:

Onthoud dat dit slechts een enkel voorbeeld is van hoe Riffusion gebruikt kan worden. Door je eigen toepassing te maken, kun je veel boeiendere resultaten bereiken. Krachtige servers van LeaderGPU zorgen voor de berekeningen.

Zie ook:

• Stable Video Diffusion
• Easy Diffusion UI
• AudioCraft van MetaAI: muziek maken op basis van beschrijving