Stable Diffusion modellen: aanpassingen en opties

Tuning is een uitstekende manier om elke auto of gadget te verbeteren. Generatieve neurale netwerken kunnen ook worden getuned. Vandaag willen we niet diep ingaan op de structuur van Stable Diffusion, maar we streven naar betere resultaten dan een standaard opstelling.

Er zijn twee eenvoudige manieren om dit te doen: aangepaste modellen installeren en standaard optimalisatieopties gebruiken. In dit artikel leren we hoe we nieuwe modellen in Stable Diffusion kunnen installeren en met welke opties we hardware effectiever kunnen gebruiken.

Als je grappige foto's van schattige katten of lekker eten wilt delen, post je ze meestal op Instagram. Als je applicaties ontwikkelt en de code voor iedereen beschikbaar wilt maken, post je die op GitHub. Maar als je een grafisch AI-model traint en dat wilt delen, moet je eens kijken naar CivitAI. Dit is een enorm platform om kennis en resultaten te delen met communityleden.

Voordat u begint met downloaden, moet u de werkdirectory wijzigen. Alle AI modellen in Stable Diffusion staan in de "models" map:Voordat u begint met downloaden, moet u de werkmap veranderen. Alle AI-modellen in Stable Diffusion staan in de map "models":

cd stable-diffusion-webui/models/Stable-diffusion

Laten we eens kijken welke modellen standaard aanwezig zijn:

ls -a

'Put Stable Diffusion checkpoints here.txt'
v1-5-pruned-emaonly.safetensors

Er is slechts één model met de naam "v1-5-pruned-emaonly" en de extensie "safetensors". Dit model is een goed uitgangspunt, maar we hebben vijf interessantere modellen. Laten we ze downloaden en vergelijken met het standaardmodel.

Stabiele diffusie-aanwijzingen

Om het verschil visueel te laten zien, hebben we eenvoudige aanwijzingen bedacht:

princess, magic, fairy tales, portrait, 85mm, colorful

Voor veel modellen kan het een grote uitdaging zijn om geometrie en gezichtskenmerken nauwkeurig weer te geven. Om dit aan te pakken, kunt u negatieve aanwijzingen toevoegen om ervoor te zorgen dat afbeeldingen zonder deze kenmerken worden gegenereerd:

poorly rendered face, poorly drawn face, poor facial details, poorly drawn hands, poorly rendered hands, low resolution, bad composition, mutated body parts, blurry image, disfigured, oversaturated, bad anatomy, deformed body features

Stel de maximale waarde van bemonsteringsstappen in (150) om meer details in het resultaat te krijgen.

Standaardmodel

Het standaardmodel presteert goed in dergelijke taken. Sommige details zijn echter niet helemaal nauwkeurig. Er is bijvoorbeeld een probleem met de ogen: ze zijn duidelijk uit verhouding:

Als je naar de diadeem kijkt, is deze ook scheef en asymmetrisch. De rest van de details zijn goed uitgevoerd en komen overeen met de gegeven aanwijzingen. De achtergrond is wazig omdat we "85mm" hebben ingesteld. Dit is een veelgebruikte brandpuntsafstand voor portretten in professionele fotografie.

Realistische visie

Dit model is geweldig voor portretten. Het beeld ziet eruit alsof het is genomen met een kwaliteitsobjectief met de opgegeven brandpuntsafstand. De verhoudingen van het gezicht en lichaam zijn nauwkeurig, de jurk past perfect en de diadeem op het hoofd ziet er esthetisch uit:

De auteur raadt trouwens aan om het volgende sjabloon te gebruiken voor negatieve aanwijzingen:

deformed iris, deformed pupils, semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4), text, close up, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

Maar zelfs met onze vrij eenvoudige aanwijzingen is het resultaat uitstekend.

Download het model hier: Realistische visie

Bewust

Nog een geweldig model voor dergelijke doeleinden. De details zijn ook hier goed uitgewerkt, maar wees voorzichtig en let op het aantal vingers. Dit is een veel voorkomend probleem bij neurale netwerken: ze kunnen vaak extra vingers of zelfs hele ledematen tekenen.

Het creëren van visuele lijnen is een van de favoriete filmtechnieken. Zo koos dit model er ook voor om een persoon te tekenen tegen de achtergrond van een bospad.

Download het model hier: Bewust

OpenJourney

Onder generatieve neurale netwerken heeft Midjourney (MJ) speciale aandacht gekregen. MJ was een pionier op dit gebied en wordt vaak als voorbeeld voor anderen gebruikt. De beelden die het creëert hebben een unieke stijl. OpenJourney is geïnspireerd door de MJ-stijl en is een geschikt afgestemde Stable Diffusion.

gegenereerde afbeeldingen die eruitzien als een tekenfilm. Ze zijn levendig en helder. Voeg voor betere resultaten de stijlprompt mdjrny-v4 toe.

Download het model hier: OpenJourney

Alles

Dit model maakt beelden die lijken op die van een professionele mangatekenaar (iemand die strips tekent). We hebben dus een prinses in anime-stijl.

Dit model is getraind op afbeeldingen met een resolutie van 768x768. Je kunt deze resolutie instellen om betere resultaten te krijgen dan standaard 512x512.

Download het model hier: Alles

Zakelijk Memphis

Deze beeldstijl werd wild populair in de vroege jaren 2020 en werd veel gebruikt als bedrijfsstijl in verschillende hightechbedrijven. Ondanks kritiek is deze stijl vaak terug te vinden in presentaties en websites.

De prinses bleek minimalistisch, maar best mooi. Vooral grappig waren de details die het model op de achtergrond plaatste.

Download het model hier: Bedrijfsmemphis

Stabiele verspreidingsopties

Stable Diffusion verbruikt veel bronnen, dus zijn er veel opties voor ontwikkeld. De populairste is --xformers. Deze optie maakt twee optimalisatiemechanismen mogelijk. De eerste vermindert het geheugengebruik en de tweede wordt gebruikt om de snelheid te verhogen.

Als je --xformers probeert toe te voegen zonder aanvullende stappen, krijg je een foutmelding dat de pakketten(torch en torchvision) zijn gecompileerd voor verschillende versies van CUDA®. Om dit op te lossen, moeten we naar de virtuele Python-omgeving (venv) gaan die wordt gebruikt voor Stable Diffusion. Installeer daarna de pakketten voor de gewenste versie van CUDA® (v1.18).

Eerst moeten we apt packages cache updaten en package installer voor Python (pip) installeren. De volgende stap is het activeren van Python venv met het script activate:

source stable-diffusion-webui/venv/bin/activate

Daarna verandert de opdrachtprompt in (venv) username@hostname:~$ Laten we de pakketten torch en torchvision met CUDA® 11.8 installeren:

pip install torch==2.0.0+cu118 torchvision==0.15.1+cu118 --index-url https://download.pytorch.org/whl/cu118

Dit proces kan enkele minuten duren omdat de pakketten vrij groot zijn. Je hebt net genoeg tijd om wat koffie in te schenken. Tot slot kunt u de virtuele omgeving deactiveren en Stable Diffusion starten met de optie --xformers (vervang [user] en [password] door uw eigen waarden):

deactivate

./webui --xformers --listen --gradio-auth [user]:[password]

Het snellere alternatief voor --xformers is --opt-sdp-no-mem-attention. Het verbruikt meer geheugen maar werkt iets sneller. U kunt deze optie zonder extra stappen gebruiken.

Conclusie

Vandaag hebben we de mogelijkheden van Stabiele Verspreiding onderzocht in combinatie met andere toegevoegde modellen en optimalisatieopties. Onthoud dat u het detailniveau in de uiteindelijke afbeelding kunt aanpassen door het aantal bemonsteringsstappen te verhogen of verlagen.

Natuurlijk is dit maar een klein deel van wat je met zo'n generatief neuraal netwerk kunt doen. Bestel dus nu een GPU-server en begin te experimenteren. Er liggen nog veel meer ontdekkingen en mogelijkheden op je te wachten. Snelle en krachtige videokaarten zullen je helpen tijd te besparen en gave beelden te genereren.

Zie ook:

• Stabiele Diffusion WebUI
• Eenvoudige diffusie-gebruikersinterface
• PyTorch voor Linux
• PyTorch voor Windows