Steg 2: koppla anropen för hämtning av dataset

Konfigurera HTTP request-noderna för att hämta dataset-splits och plocka ut testrader.

1. I Fetch Dataset Partitions, ställ in URL till https://datasets-server.huggingface.co/splits och aktivera Send Query.
2. I Fetch Dataset Partitions, sätt query-parametern dataset till {{ $json.dataset }}.
3. I Expand Split List, ställ in Field to Split Out till splits.
4. I Filter Test Partition, lägg till ett villkor där Left Value är {{ $json.split }}, Operation är equals och Right Value är test.
5. I Retrieve Test Questions, ställ in URL till =https://datasets-server.huggingface.co/rows och aktivera Send Query.
6. I Retrieve Test Questions, sätt query-parametrarna: dataset till {{ $json.dataset }}, config till {{ $json.config }}, split till {{ $json.split }} och length till 100.

Steg 3: ställ in frågebearbetning och batchning

Dela upp rader till enskilda frågor, filtrera besvarade items och forma fält för utvärdering av retrieval.

1. I Split Rows Individually, ställ in Field to Split Out till rows.
2. I Filter Answered Questions, lägg till ett villkor där Left Value är {{ $json.row.answers.length }}, Operation är gt och Right Value är 0.
3. I Select Question Fields, lägg till tilldelningar för id_qa satt till {{ $json.row.id }} och question satt till {{ $json.row.question }}.
4. Koppla Select Question Fields till Batch Iterate Items för att bearbeta items i kontrollerbara batchar.
5. Batch Iterate Items skickar utdata till både Combine Results och Hybrid Search Query parallellt.

Steg 4: ställ in utvärdering av retrieval och aggregering

Konfigurera Qdrant hybrid search, kombinera resultat, markera träffar och beräkna träffgrad.

1. I Hybrid Search Query, ställ in Resource till search och Operation till queryPoints.
2. I Hybrid Search Query, ställ in Limit till 1, Query till { "fusion": "rrf" } och Prefetch till =[ { "query": { "text": "{{ $json.question }}", "model": "mixedbread-ai/mxbai-embed-large-v1" }, "using": "mxbai_large", "limit": 25 }, { "query": { "text": "{{ $json.question }}", "model": "qdrant/bm25" }, "using": "bm25", "limit": 25 } ].
3. I Hybrid Search Query, välj samlingen legalQA_test i Collection Name.
4. Inloggningsuppgifter krävs: Anslut era qdrantApi-credentials i Hybrid Search Query.
5. I Combine Results, ställ in Mode till combine och Combine By till combineAll.
6. I Mark Retrieval Hit, behåll Include som selected, Include Fields som id_qa,question och lägg till isHit med värdet {{ $json.result.points[0].payload.ids_qa.includes($json.id_qa) }}.
7. I Aggregate Evaluation Data, ställ in Aggregate till aggregateAllItemData och Destination Field Name till eval.
8. I Compute Hit Rate, ställ in värdet för Hits percentage till {{ ($json.eval.filter(item => item.isHit).length * 100) / $json.eval.length}}.

Steg 5: testa och aktivera ert arbetsflöde

Kör ett manuellt test för att validera retrieval-utvärderingen och aktivera sedan arbetsflödet.

1. Klicka Execute Workflow och ange ett exempel-item med dataset satt (t.ex. legalQA).
2. Bekräfta att Compute Hit Rate ger ett numeriskt värde för Hits percentage.
3. Verifiera att Aggregate Evaluation Data innehåller en eval-array med isHit-värden.
4. När allt är validerat, slå på arbetsflödet Active för att möjliggöra körningar i produktion.