Steg 2: Anslut Google Sheets

Anslut Google Sheets så att arbetsflödet kan läsa utvärderingsrader och bygga datasetet.

1. Öppna Dataset Row Trigger och välj credential-typen googleSheetsOAuth2Api. Credential Required: Anslut era googleSheetsOAuth2Api-uppgifter.
2. Öppna Retrieve Dataset och ställ in Sheet URL till https://docs.google.com/spreadsheets/d/1uuPS5cHtSNZ6HNLOi75A2m8nVWZrdBZ_Ivf58osDAS8/edit?gid=630157309#gid=630157309.
3. I Retrieve Dataset ställer ni in Document URL till https://docs.google.com/spreadsheets/d/1uuPS5cHtSNZ6HNLOi75A2m8nVWZrdBZ_Ivf58osDAS8/edit?gid=630157309#gid=630157309 och väljer googleSheetsOAuth2Api. Credential Required: Anslut era googleSheetsOAuth2Api-uppgifter.

Steg 3: Sätt upp bearbetning och inläsning till vektorlagret

Förbered datasetet, deduplicera rader och ladda dokument till vektorlagret.

1. Konfigurera Retrieve Dataset att köras från Manual Start Trigger och mata in i Deduplicate Records.
2. I Deduplicate Records ställer ni in Compare till selectedFields och Fields to Compare till document_id.
3. I Recursive Text Split behåller ni standardinställningarna och kopplar den till Default Data Ingest.
4. I Default Data Ingest ställer ni in JSON Data till {{ $json.document_text }} och JSON Mode till expressionData.
5. Konfigurera In-Memory Vector Store med Mode insert, Memory Key rag_evaluation_demo och Clear Store true.
6. Koppla OpenAI Embedding Engine till In-Memory Vector Store som embedding-källa. Credential Required: Anslut era openAiApi-uppgifter.

Steg 4: Sätt upp assistentagenten och verktyg för hämtning

Konfigurera agenten så att den svarar från vektorlagret och fångar mellanliggande steg.

1. I Normalize Chat Input ställer ni in fältet chatInput till {{ $json.question }} för att standardisera inkommande prompttext.
2. Koppla Dataset Row Trigger → Normalize Chat Input → Assistant Agent, och koppla även Chat Intake Trigger direkt till Assistant Agent.
3. I Assistant Agent aktiverar ni Return Intermediate Steps (redan inställt) så att verktygsutdata kan extraheras senare.
4. Koppla OpenAI Conversation Model till Assistant Agent som språkmodell. Credential Required: Anslut era openAiApi-uppgifter på OpenAI Conversation Model.
5. Konfigurera Vector Store Tool med Mode retrieve-as-tool, Tool Name vector_knowledge_base, Memory Key rag_evaluation_demo och Tool Description Source of all knowledge to work with.
6. Koppla OpenAI Embedding Tool till Vector Store Tool som embedding-leverantör. Credential Required: Anslut era openAiApi-uppgifter.

Steg 5: Konfigurera relevanspoäng och mätvärden

Extrahera hämtade dokument, poängsätt relevans och registrera utvärderingsmätvärden.

1. Konfigurera Evaluation Check med Operation checkIfEvaluating för att styra utvärderingsläge.
2. Ställ in Pull Documents så att documents tilldelas med {{ $json.intermediateSteps.filter(x => x.action.tool == 'vector_knowledge_base')[0].observation }}.
3. Ställ in Compute Relevance Score Model till gpt-4o-mini och aktivera JSON Output true.
4. I Compute Relevance Score ställer ni in användarmeddelandets innehåll till =QUESTION: {{ $('Dataset Row Trigger').item.json.question }} FACTS: {{ $json.documents }}.
5. Koppla Compute Relevance Score till Apply Metrics och ställ in similarity till {{ $json.message.content.score }}.
6. Compute Relevance Score kräver OpenAI-åtkomst. Credential Required: Anslut era openAiApi-uppgifter.

Steg 6: Testa och aktivera ert arbetsflöde

Validera varje väg och aktivera sedan arbetsflödet för användning i produktion.

1. Klicka på Execute Workflow och kör Manual Start Trigger för att bekräfta dataset-inläsning och att vektorlagret fylls.
2. Trigga Dataset Row Trigger med en testrad och verifiera att Normalize Chat Input → Assistant Agent → Evaluation Check → Pull Documents → Compute Relevance Score → Apply Metrics körs utan fel.
3. Bekräfta att utdata innehåller ett JSON-svar med ett score-värde och att Apply Metrics registrerar similarity.
4. När allt är validerat, växla arbetsflödet till Active för att hantera nya dataset-rader och chattförfrågningar i produktion.