Apps & Gidsen

Stable Video Diffusion

Generatieve neurale netwerken kunnen verschillende soorten inhoud creëren. Stable Diffusion is gemaakt om afbeeldingen te genereren uit tekstbeschrijvingen. Het kan echter ook worden gebruikt om muziek, geluiden en zelfs video's te maken. Vandaag laten we zien hoe je korte video's kunt maken van een enkele afbeelding met behulp van Stable Diffusion met WebUI en ComfyUI.

Stable Diffusion installeren

Laten we beginnen met het installeren van Stable Diffusion met behulp van onze stap-voor-stap handleiding. Onderbreek na de installatie de uitvoering van het webui.sh script door op Ctrl + C te drukken en sluit de SSH-verbinding. Het systeem staat niet toe dat u extensies installeert met de ingeschakelde --listen (--share) opties. Dit betekent dat je port forwarding (7860 en 8189) moet instellen van je lokale machine naar de remote server. De eerste poort is nodig voor WebUI en de tweede voor ComfyUI.

In PuTTY moet je bijvoorbeeld Connection >> SSH >> Tunnels openen en twee nieuwe doorgestuurde poorten toevoegen zoals in de volgende schermafbeelding:

Nu kunt u opnieuw verbinding maken met de externe server en ./webui.sh opnieuw uitvoeren.

Open deze URL in uw browser:

http://127.0.0.1:7860

Navigeer naar Extensions >> Available en klik vervolgens op de knop Load from::

Het systeem zal het JSON-bestand downloaden met alle beschikbare extensies. Typ ComfyUI in het zoekinvoervak en klik op de knop Install:

De webpagina wordt opnieuw geladen en je krijgt een nieuw tabblad ComfyUI in het hoofdpaneel. Ga daarheen en klik op Install ComfyUI:

Als de installatie voltooid is, onderbreek dan opnieuw de uitvoering van het webui.sh script door op Ctrl + C te drukken.

Stabiel videoverspreidingsmodel installeren

Open de map van het model:

cd stable-diffusion-webui/models/Stable-diffusion/

Download het volledige Stable Video Diffusion-model:

curl -L https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/resolve/main/svd_xt.safetensors?download=true --output svd_xt.safetensors

Terug naar de homedirectory:

cd ~/

En start de Stable Diffusion service opnieuw:

./webui.sh

Download het voorbeeld van de Stable Video Diffusion-workflow in JSON-formaat. Wis de standaardworkflow van ComfyUI door te drukken op Clear en vervolgens op Load het gedownloade voorbeeld:

Zorg ervoor dat u het juiste model hebt geselecteerd in het knooppunt Image Only Checkpoint Loader (img2vid model):

Klik op de knop choose file to upload in het knooppunt Load Image en selecteer een enkele afbeelding die het generatieve neurale netwerk moet transformeren in een video:

Probeer een video te genereren met alle standaardparameters door op de knop Queue Prompt te klikken:

Nadat het proces is voltooid, krijg je je video in WEBP-indeling in het knooppunt SaveAnimatedWEBP. Klik met de rechtermuisknop op de gegenereerde video en kies Save Image:

Hier is het uiteindelijke resultaat GIF.

Problemen oplossen

Als je een foutmelding krijgt: ModuleNotFoundError: No module named 'utils.json_util'; 'utils' is not a package, volg dan deze stappen:

Hernoem de map utils naar utilities:

mv /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/utils /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/utilities

Bewerk custom_node_manager.py:

nano /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/app/custom_node_manager.py

Vervang deze regel:

from utils.json_util import merge_json_recursive

met:

from utilities.json_util import merge_json_recursive

Sla het bestand op (Ctrl + O) en sluit de editor af (Ctrl + X). Bewerk vervolgens main.py:

nano /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/main.py

Vervang deze regel:

import utils.extra_config

met:

import utilities.extra_config

Sla het bestand op, sluit de editor af en start de Stable Diffusion-service opnieuw:

./webui.sh

Zie ook:

Bijgewerkt: 04.04.2025

Gepubliceerd: 22.01.2025