Fooocus: Heroverweging van SD en MJ

De komst van Stable Diffusion en MidJourney heeft een revolutie teweeggebracht in ons begrip van de mogelijkheden van generatieve neurale netwerken. Deze gereedschappen hebben een nieuw perspectief onthuld op het proces van beeldcreatie en de mate waarin we het kunnen manipuleren. De primaire benadering bestaat uit het geven van aanwijzingen aan het systeem over het gewenste resultaat. In wezen benadrukken we drie belangrijke aspecten: object, stijl en omgeving.

Extra aanwijzingen die meer specifieke instructies geven, zoals de gewenste compositie, het type camera/lens en de inkleuring, zijn ook belangrijk, maar niet onmisbaar. Hoe uitgebreider de instructies, hoe gemakkelijker het neurale netwerk ze kan verwerken. In de professionele ruimte is zelfs de rol van een prompt engineer ontstaan. Deze rol kan echter gemakkelijk worden vervangen door dezelfde generatieve neurale netwerken. Door vaardigheden in het maken van afbeeldingen te combineren met het maken van tekst, kunnen we extra aanwijzingen genereren om een optimaal resultaat te bereiken.

Dit is het fundamentele concept van Fooocus. Het integreert het XL Stable Diffusion-model en een GPT2-gebaseerde promptgenerator, die je eenvoudige prompt verrijkt en gedetailleerd maakt. Bovendien is Fooocus uitgerust met diverse verbeteringen en uitbreidingen. Deze functies maken het mogelijk om spectaculaire afbeeldingen te genereren via een eenvoudige interface, zonder ingewikkelde tools. Laten we ons verdiepen in de functionaliteit en Fooocus installeren op een LeaderGPU dedicated server.

Vereisten

Begin met de installatievereisten en start daarna opnieuw op:

sudo apt update && sudo apt -y upgrade && sudo ubuntu-drivers autoinstall && sudo shutdown -r now

Download het shellscript dat Anaconda installeert voor het beheren van virtuele omgevingen:

wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh

Stel de uitvoeringsvlag in en geef gegevenstoegang:

chmod a+x Anaconda3-2023.09-0-Linux-x86_64.sh

Voer het installatiescript uit:

./Anaconda3-2023.09-0-Linux-x86_64.sh

Nadat het proces is voltooid, raden we je aan om de SSH-sessie te verbreken en je voor te bereiden op het doorsturen van de poort. Je moet poort 7865 van de externe server doorsturen naar een lokaal loopback adres, 127.0.0.1:7865. Raadpleeg voor meer informatie een van onze eerdere gidsen: Stable Video Diffusion. Maak dan opnieuw verbinding en ga verder met het klonen van de repository van het project op GitHub.

Fooocus installeren

git clone https://github.com/lllyasviel/Fooocus.git

Wijzig de map naar Fooocus:

cd Fooocus

Creëer een virtuele omgeving met behulp van Anaconda en de YAML-config voorbereid door de auteur van het project:

conda env create -f environment.yaml

Laten we onze basisomgeving veranderen in een nieuw gemaakte omgeving:

conda activate fooocus

De volgende stap is het installeren van Python-bibliotheken:

pip install -r requirements_versions.txt

Nu is alles klaar om te beginnen:

Fooocus start

python entry_with_update.py

Het opstarten kan even duren omdat de applicatie alle benodigde bestanden controleert en downloadt. Misschien wilt u ondertussen een kopje koffie drinken. Zodra het proces is voltooid, opent u uw browser en typt u de volgende URL in de adresbalk:

http://127.0.0.1:7865

Voer je eenvoudige prompt in en klik op de knop Generate. Als je meer controle wilt, vink dan Advanced aan en selecteer de benodigde opties:

De echte magie ontvouwt zich achter de schermen. Zodra je op de knop Generate klikt, wordt je ingevoerde prompt doorgestuurd naar het op GPT2 gebaseerde taalmodel. Dit model zet je korte prompt om in een mix van elaboratieve positieve en negatieve prompts. Deze mix wordt vervolgens ingevoerd in het Stable Diffusion XL-model, dat is afgestemd op de MidJourney-stijl. Het resultaat is dat zelfs een korte prompt indrukwekkende resultaten kan opleveren.

Natuurlijk is er geen beperking voor het schrijven van je eigen prompts. Maar na meerdere iteraties wordt het duidelijk dat zelfs zonder deze beperking de gegenereerde inhoud intrigerend en divers blijft.

Zie ook:

• Easy Diffusion UI
• Stable Diffusion WebUI
• Stable Video Diffusion