Steg 2: koppla Apify-begärans mappning och routing

Mappa formulärinmatningen till normaliserade fält och routa begäran till rätt crawler-väg.

1. Öppna Map Request Fields och mappa fälten som uttryck: url till {{ $json["Website page (URL) to scrape"] }}, scrapeAll till {{ $json["Scrape all pages available on the domain, or only the page provided?"] }}, maxCrawlPages till {{ $json["Max number of scraped pages to return"] }} och maxResults till {{ $json["Max number of scraped pages to return"] }}.
2. I Configure Apify Options verifierar ni att de två reglerna jämför {{ $json.scrapeAll }} med de exakta strängarna Scrape all pages on the domain och Scrape only the one URL provided.
3. I Check Page Limit bekräftar ni att villkoret kontrollerar {{ $json.maxCrawlPages }} med operatorn lt mot 1 för att avgöra begränsad kontra obegränsad crawl.

Configure Apify Options skickar utdata till Check Page Limit för begäranden som gäller ”scrape all” och direkt till Apify Single URL Crawl för begäranden som gäller en enskild sida.

Steg 3: konfigurera Apify-crawlers

Konfigurera HTTP-begärandena som triggar Apify-crawls, inklusive användning av API-token och payloads.

1. I Apify Crawl All Unlimited ställer ni in URL till https://api.apify.com/v2/acts/apify~website-content-crawler/run-sync-get-dataset-items, Method till POST och låter Send Body vara aktiverat.
2. Säkerställ att JSON Body innehåller den dynamiska start-URL:en: {{ $('Map Request Fields').item.json.url }} i startUrls.
3. I Apify Crawl All Limited bekräftar ni att JSON Body använder {{ $json.maxCrawlPages }} och {{ $json.maxResults }} för begränsningar.
4. I Apify Single URL Crawl låter ni maxCrawlPages och maxResults vara fasta på 1.
5. För alla tre Apify-noder ställer ni in frågeparametern token till er Apify API-nyckel i stället för [CONFIGURE_YOUR_API_KEY].

Steg 4: rensa och omforma det scrapade innehållet

Förbered crawler-utdata för efterföljande vektorisering.

1. I Sanitize Records behåller ni tilldelningarna för url som {{ $json.url }} och markdown som {{ $json.markdown }}.
2. Öppna Refine Content Layout och behåll den angivna JavaScript-koden som mappar markdown/text till toppnivåfält och lägger till metadata som type: 'webpage' och created_at.

Steg 5: konfigurera AI-chunkning och dokumentinläsning

Dela upp innehåll i chunkar och bygg dokumentobjekt för embedding och lagring.

1. Konfigurera Recursive Text Chunker med Chunk Size 800 och Chunk Overlap 80.
2. I Standard Data Loader ställer ni in JSON Data till {{ $('Refine Content Layout').item.json.text }} och JSON Mode till expressionData.
3. I metadata-värdena för Standard Data Loader ställer ni in title, url, type, section och created_at med uttryck från Refine Content Layout.
4. Säkerställ att Recursive Text Chunker är ansluten som text-splitter för Standard Data Loader.

Steg 6: konfigurera utdata till vector store

Lagra de rensade dokumenten och embeddings i Supabase.

1. Öppna Supabase Vector Index och ställ in Mode till insert.
2. Ställ in Table Name till documents.
3. Ställ in Embedding Batch Size till 800.
4. Credential Required: Anslut era supabaseApi-inloggningsuppgifter i Supabase Vector Index.
5. Credential Required: Anslut era googlePalmApi-inloggningsuppgifter i Gemini Embedding Generator.
6. Säkerställ att Gemini Embedding Generator är ansluten som embedding-källa för Supabase Vector Index, och att Standard Data Loader är ansluten som dokumentkälla.

Steg 7: testa och aktivera ert arbetsflöde

Validera körningen end-to-end och aktivera sedan arbetsflödet för användning i produktion.

1. Klicka på Execute Workflow och skicka in Website Input Form med en test-URL och en låg sidbegränsning.
2. Bekräfta att begäran flödar från Website Input Form → Map Request Fields → Configure Apify Options och sedan in i rätt Apify-crawler.
3. Verifiera att poster rensas i Sanitize Records, struktureras i Refine Content Layout och lagras i Supabase Vector Index.
4. När allt är bekräftat, slå på arbetsflödets Active-reglage för att aktivera produktionskörningar.