Steg 2: anslut BrightData och definiera käll-URL:en

Dessa noder laddar scraping-verktygen och ställer in sök-URL och webhook-destinationen som används genom hela flödet.

1. Öppna Retrieve BrightData Tools och anslut autentiseringsuppgifter. Credential Required: Anslut era mcpClientApi-uppgifter.
2. I Define Recipe Source URL, ställ in url till https://realfood.tesco.com/search.html?search=tomato%20pasta&sortby=Rating.
3. Ställ in webhook_url till er endpoint, t.ex. https://webhook.site/[YOUR_ID].
4. Ställ in base_url till https://realfood.tesco.com/search.html.

Steg 3: skrapa första sidan och extrahera paginering

Det här steget skrapar den första sidan med sökresultat och använder AI för att extrahera pagineringslänkarna.

1. I MCP Recipe Page Scraper, behåll toolName som scrape_as_html och toolParameters som ={ "url": "{{ $json.url }}" } . Credential Required: Anslut era mcpClientApi-uppgifter.
2. I Extract Pagination Details, ställ in text till =Extract the paginated data from the provided content. Here's the content : {{ $json.result.content[0].text }} Append the link with the Base URL as {{ $('Define Recipe Source URL').item.json.base_url }}.
3. Anslut OpenAI Pager Model som språkmodell för Extract Pagination Details. Credential Required: Anslut era openAiApi-uppgifter.
4. Anslut Parse Pagination Schema som output parser för Extract Pagination Details och ställ in jsonSchemaExample till [{ "page_number": "page number in int", "link": "link to the web content" }].

Steg 4: bygg och iterera pagineringsloopen

Pagineringsresultat omvandlas till en array och itereras med en fördröjning mellan sidorna.

1. I Build Pagination Array, ställ in jsCode till return $input.first().json.output.
2. Använd Iterate Page Links för att bearbeta varje sida i batchar (standardvärden fungerar bra).
3. I Delay Before Next Page, ställ in amount till 10 för att begränsa anropsfrekvensen.
4. I MCP Loop Page Scraper, behåll toolName som scrape_as_html och toolParameters som ={ "url": "{{ $json.link }}" } . Credential Required: Anslut era mcpClientApi-uppgifter.

Steg 5: extrahera receptdata med AI

Varje skrapad sida skickas till en AI-kedja för att extrahera strukturerad receptdata baserat på ett definierat schema.

1. I Extract Recipe Structure, ställ in text till =Extract search data. Here's the content : Output the data in JSON.
2. Anslut OpenAI Recipe Model som språkmodell för Extract Recipe Structure. Credential Required: Anslut era openAiApi-uppgifter.
3. Anslut Parse Recipe Schema som output parser och behåll schemaType som manual med det angivna JSON-schemat.

Steg 6: konfigurera parallella utdata (webhook + fil)

Efter extraheringen skickar arbetsflödet data till en webhook och skriver samtidigt en strukturerad fil.

1. Observera att Extract Recipe Structure skickar utdata parallellt till både Generate Binary Payload och Send Webhook Payload.
2. I Generate Binary Payload, behåll functionCode som items[0].binary = { data: { data: new Buffer(JSON.stringify(items[0].json, null, 2)).toString('base64') } }; return items;.
3. I Write Structured File, ställ in operation till write och fileName till =d:\Recipe-Structured-Data-{{ $('Iterate Page Links').item.json.page_number }}.json.
4. I Send Webhook Payload, ställ in url till ={{ $('Define Recipe Source URL').item.json.webhook_url }}, aktivera sendBody, och behåll contentType som multipart-form-data.
5. I Send Webhook Payload, lägg till en body-parameter med namnet recipe_content med värdet ={{ $json.output.toJsonString() }}.

Steg 7: testa och aktivera ert arbetsflöde

Verifiera hela körningen med en enskild exekvering innan ni aktiverar det för produktionsbruk.

1. Klicka på Execute Workflow från Manual Workflow Starter för att köra flödet.
2. Bekräfta att Iterate Page Links går igenom sidorna och att Delay Before Next Page pausar i 10 sekunder mellan anropen.
3. Verifiera att Send Webhook Payload postar data till er webhook och att Write Structured File skapar filer som d:\Recipe-Structured-Data-1.json.
4. När ni är nöjda, växla arbetsflödet till Active för produktionsbruk.