Hoe de LangFlow-toepassing monitoren

In ons artikel Low-code AI app builder Langflow hebben we onderzocht hoe je aan de slag kunt met de visuele programmeeromgeving van deze low-code AI app builder. Hiermee kan iedereen, zelfs mensen zonder programmeerkennis, toepassingen bouwen die worden aangedreven door grote neurale netwerkmodellen. Dit kunnen AI chatbots zijn of toepassingen voor documentverwerking die inhoud kunnen analyseren en samenvatten.

Langflow gebruikt een bouwsteenbenadering waarbij gebruikers vooraf gemaakte componenten met elkaar verbinden om hun gewenste toepassing te creëren. Er zijn echter twee belangrijke uitdagingen: het oplossen van problemen wanneer neurale netwerken zich onverwacht gedragen en het beheren van de kosten. Neurale netwerken vereisen aanzienlijke rekenkracht, waardoor het essentieel is om de infrastructuurkosten te bewaken en te voorspellen.

LangWatch pakt beide uitdagingen aan. Deze gespecialiseerde tool helpt Langflow ontwikkelaars om verzoeken van gebruikers te monitoren, kosten bij te houden en afwijkingen te detecteren, zoals wanneer toepassingen op onbedoelde manieren worden gebruikt.

Deze tool is oorspronkelijk ontworpen als een service, maar kan op elke server worden ingezet, ook lokaal. Het integreert met de meeste LLM-providers, zowel in de cloud als op locatie. Omdat LangWatch open source is, kan het aan bijna elk project worden aangepast: nieuwe functies toevoegen of verbinding maken met interne systemen.

Met LangWatch kun je waarschuwingen instellen wanneer specifieke statistieken bepaalde drempelwaarden overschrijden. Dit helpt u om onverwachte stijgingen in aanvraagkosten of ongewone responsvertragingen snel te detecteren. Vroegtijdige detectie helpt ongeplande uitgaven en potentiële serviceaanvallen voorkomen.

Voor onderzoekers van neurale netwerken maakt deze toepassing zowel monitoring als optimalisatie van veelvoorkomende gebruikersverzoeken mogelijk. Het biedt ook tools om de kwaliteit van modelreacties te evalueren en waar nodig aanpassingen te doen.

Snel aan de slag

Systeem voorbereiden

Net als bij Langflow is de eenvoudigste manier om de applicatie te draaien een Docker-container. Voordat je LangWatch installeert, moet je Docker Engine op je server installeren. Werk eerst je pakketcache en de pakketten bij naar de nieuwste versies:

sudo apt update && sudo apt -y upgrade

Installeer extra pakketten die Docker nodig heeft:

sudo apt -y install apt-transport-https ca-certificates curl software-properties-common

Download de GPG-sleutel om de officiële Docker-repository toe te voegen:

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

Voeg de repository toe aan APT met de sleutel die je eerder hebt gedownload en geïnstalleerd:

echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

Vernieuw de pakketlijst:

sudo apt update

Om ervoor te zorgen dat Docker wordt geïnstalleerd vanuit de nieuw toegevoegde repository en niet vanuit de systeemrepository, kun je het volgende commando uitvoeren:

apt-cache policy docker-ce

Docker Engine installeren:

sudo apt install docker-ce

Controleer of Docker met succes is geïnstalleerd en of de bijbehorende daemon draait en de status active (running) heeft:

sudo systemctl status docker

● docker.service - Docker Application Container Engine
    Loaded: loaded (/lib/systemd/system/docker.service; enabled; vendor preset>
    Active: active (running) since Mon 2024-11-18 08:26:35 UTC; 3h 27min ago
TriggeredBy: ● docker.socket
      Docs: https://docs.docker.com
  Main PID: 1842 (dockerd)
     Tasks: 29
    Memory: 1.8G
       CPU: 3min 15.715s
    CGroup: /system.slice/docker.service

Bouwen en uitvoeren

Als Docker Engine is geïnstalleerd en draait, kun je de LangWatch-toepassingsrepository downloaden:

git clone https://github.com/langwatch/langwatch

De applicatie bevat een voorbeeldconfiguratiebestand met omgevingsvariabelen. Kopieer dit bestand zodat het image build hulpprogramma het kan verwerken:

cp langwatch/.env.example langwatch/.env

Nu ben je klaar voor de eerste lancering:

sudo docker compose up --build

Het systeem neemt even de tijd om alle benodigde containerlagen voor LangWatch te downloaden. Zodra dit is voltooid, ziet u een consolebericht dat aangeeft dat de applicatie beschikbaar is op:

http://[LeaderGPU_IP_address]:3000

Navigeer naar deze pagina in uw browser, waar u wordt gevraagd om een gebruikersaccount aan te maken:

In tegenstelling tot Langflow heeft dit systeem standaard verificatie ingeschakeld. Na het inloggen moet u het systeem configureren om gegevens van uw Langflow server te verzamelen.

Langflow integratie

LangWatch heeft een gegevensbron nodig om te functioneren. De server luistert op poort 3000 en gebruikt een RESTful API, die inkomende gegevens authenticeert via een automatisch gegenereerde API-sleutel.

Om gegevensoverdracht mogelijk te maken, moet je twee variabelen instellen in de Langflow configuratiebestanden: LANGWATCH_ENDPOINT en LANGWATCH_API_KEY. Maak eerst een SSH-verbinding met je Langflow server (die offline moet zijn tijdens dit proces).

Navigeer naar de map met de voorbeeldconfiguratie voor Docker:

cd langflow/docker_example

Open het configuratiebestand om het te bewerken:

nano docker-compose.yml

Voeg in het gedeelte "omgeving:" de volgende variabelen toe (zonder haakjes [] of aanhalingstekens):

- LANGWATCH_API_KEY= [YOUR_API_KEY]
- LANGWATCH_ENDPOINT=http://[IP_ADDRESS]:3000

Het YML-bestand vereist een specifieke opmaak. Volg deze twee belangrijke regels:

1. Gebruik spaties (2 of 4) voor inspringen, nooit tabs.
2. Zorg voor een goede hiërarchische structuur met consistente inspringing.

Sla het bestand op met Ctrl + O en sluit de editor af met Ctrl + X, Langflow is nu klaar om te starten:

sudo docker compose up

Controleer na het starten of alles naar behoren werkt. Maak een nieuw project of open een bestaand project en start een dialoog via Playground. Langflow stuurt automatisch gegevens naar LangWatch voor monitoring, die u in de webinterface kunt bekijken.

In de sectie Integratieverificatie verschijnt een vinkje bij het item "Synchroniseer uw eerste bericht". Dit geeft aan dat de gegevens van Langflow met succes naar LangWatch stromen, wat bevestigt dat de instelling correct is. Laten we eens kijken wat er verschijnt in de sectie Messages:

Het gedeelte Berichten geeft de gegevens weer die in de toepassing zijn ingevoerd, de parameters die zijn gebruikt voor het genereren van reacties en de reactie van het neurale netwerk zelf. Je kunt de kwaliteit van de respons evalueren en verschillende filters gebruiken om de gegevens te sorteren, zelfs met honderden of duizenden berichten.

Na deze eerste installatie kunt u de functies van de toepassing systematisch verkennen. In het gedeelte Evaluations kun je algoritmen voor dialoogverificatie instellen voor dialoogmoderatie of gegevensherkenning, zoals PII Detection. Deze functie scant invoer op gevoelige informatie zoals sofi-nummers of telefoonnummers.

De applicatie biedt zowel lokale als cloud-gebaseerde opties via providers zoals Azure of Cloudflare. Om cloudfuncties te gebruiken, heb je een account nodig bij deze services, samen met hun eindpuntadressen en API-sleutels. Houd er rekening mee dat dit providers van derden zijn, dus controleer direct hun servicekosten.

Voor lokale opties beschikt de applicatie over geavanceerde RAG-mogelijkheden (Retrieval-augmented generation). Je kunt de nauwkeurigheid en relevantie van RAG-gegenereerde inhoud meten en de verzamelde statistieken gebruiken om het RAG-systeem te optimaliseren voor nauwkeurigere neurale netwerkreacties.

Zie ook:

• Low-code AI-app bouwer Langflow
• Fotogrammetrie met Meshroom
• Blender op afstand renderen met Flamenco