Din datapipeline ska inte fallera bara för att någon levererade en Parquet-fil där en kolumn har bytt namn. Men så brukar det bli: du märker det sent, efter loggar, omkörningar och en hel del fingerpekande.
Den här automatiseringen för Parquet JSON preview träffar data engineers först, ärligt talat. Men QA-analytiker som validerar inkommande filer och backendutvecklare som kopplar ETL-jobb till CI känner av den också. Du laddar upp en fil och får tillbaka rader, schema och metadata på några sekunder, så att du kan validera snabbt och gå vidare.
Du får se hur arbetsflödet tar emot en fil från Postman, skickar den till ParquetReader API och returnerar en strukturerad JSON-förhandsvisning som du kan använda i tester, kontroller och godkännanden.
Så fungerar automatiseringen
Här är hela arbetsflödet du kommer att sätta upp:
n8n Workflow Template: Postman + ParquetReader: snabb JSON-förhandsvisning
flowchart LR
subgraph sg0["Flow 1"]
direction LR
n0["<div style='background:#f5f5f5;padding:10px;border-radius:8px;display:inline-block;border:1px solid #e0e0e0'><img src='https://flowpast.com/wp-content/uploads/n8n-workflow-icons/webhook.dark.svg' width='40' height='40' /></div><br/>Inbound Webhook Trigger"]
n1["<div style='background:#f5f5f5;padding:10px;border-radius:8px;display:inline-block;border:1px solid #e0e0e0'><img src='https://flowpast.com/wp-content/uploads/n8n-workflow-icons/httprequest.dark.svg' width='40' height='40' /></div><br/>Parquet API Dispatch"]
n2["<div style='background:#f5f5f5;padding:10px;border-radius:8px;display:inline-block;border:1px solid #e0e0e0'><img src='https://flowpast.com/wp-content/uploads/n8n-workflow-icons/code.svg' width='40' height='40' /></div><br/>Process API Output"]
n0 --> n1
n1 --> n2
end
%% Styling
classDef trigger fill:#e8f5e9,stroke:#388e3c,stroke-width:2px
classDef ai fill:#e3f2fd,stroke:#1976d2,stroke-width:2px
classDef aiModel fill:#e8eaf6,stroke:#3f51b5,stroke-width:2px
classDef decision fill:#fff8e1,stroke:#f9a825,stroke-width:2px
classDef database fill:#fce4ec,stroke:#c2185b,stroke-width:2px
classDef api fill:#fff3e0,stroke:#e65100,stroke-width:2px
classDef code fill:#f3e5f5,stroke:#7b1fa2,stroke-width:2px
classDef disabled stroke-dasharray: 5 5,opacity: 0.5
class n0,n1 api
class n2 code
classDef customIcon fill:none,stroke:none
class n0,n1,n2 customIcon
Varför det här är viktigt: fånga filproblem innan de skapar fel i ETL
Kolumnbaserade filer som Parquet och ORC är toppen ända tills du snabbt behöver inspektera dem. Att öppna dem lokalt innebär att du måste leta upp rätt verktyg, matcha versioner och förstå varför din ”snabbkoll” blev en eftermiddag. Och om du hoppar över inspektionen helt får du oftast betala senare, när ett nedströmsjobb avvisar filen för att schemat har drivit eller en datatyp har ändrats. Det skapar en jobbig loop: kör om, exportera igen, ladda upp igen, testa igen. Det är inte svårt. Det är bara utmattande.
Friktionen blir värre när filer börjar komma varje dag.
- Du validerar till slut filer genom att köra delar av pipelinen, vilket är det långsammaste sättet att få veta ”den här kolumnen saknas”.
- Lokala inspektionsverktyg skiljer sig mellan datorer, så två personer kan få olika resultat från samma fil.
- Schema-kontroller hoppas över eftersom ingen vill installera ytterligare ett reader-bibliotek ”bara för den här enda filen”.
- När en leverantör skickar Avro en vecka och Parquet nästa blir processen en checklista som bara finns i någons huvud.
Vad du bygger: uppladdning-till-JSON-förhandsvisning via Postman och ParquetReader
Det här arbetsflödet ger dig en enkel ”inspektions-endpoint” som du kan anropa från Postman (eller valfri HTTP-klient) genom att ladda upp en fil som form-data. n8n tar emot uppladdningen via en webhook och vidarebefordrar sedan filen till ParquetReader API som multipart/form-data med samma fältnamn (file). ParquetReader tolkar den uppladdade Parquet-, Avro-, ORC- eller Feather-filen och returnerar ett strukturerat JSON-svar. Slutligen bearbetar arbetsflödet API-utdata och svarar den ursprungliga förfrågan med en läsbar förhandsvisning som innehåller exempelrader, upptäckt schema och användbar metadata (som antal kolumner och rader). Ingen anpassad kod i din app. Inga temporära skript.
Det börjar med en filuppladdningsförfrågan. Sedan skickar ett HTTP-anrop filen till ParquetReader för tolkning. Arbetsflödet returnerar JSON-förhandsvisningen direkt, vilket gör att du kan validera filer innan de ens når ditt datalager eller dina transformationsjobb.
Det här bygger du
| Vad som automatiseras | Vad du uppnår |
|---|---|
|
|
Förväntade resultat
Säg att du validerar 10 inkommande filer i veckan. Manuellt innebär en ”snabb förhandsvisning” ofta att ladda ner filen, öppna en notebook eller ett CLI-verktyg och plocka ut några rader plus schema, vilket lätt tar runt 20 minuter per fil när du räknar med kontextbyten. Det är ungefär 3 timmar i veckan. Med det här arbetsflödet laddar du upp filen i Postman (cirka en minut), väntar på API-svaret och så är du klar. De flesta team får tillbaka ungefär 2 timmar i veckan direkt, och den större vinsten är färre sena pipeline-fel.
Innan du börjar
- n8n-instans (testa n8n Cloud gratis)
- Alternativ för self-hosting om du föredrar det (Hostinger fungerar bra)
- Postman för att ladda upp filer och se svar
- ParquetReader API för att tolka Parquet/Avro/ORC/Feather till JSON
- Ingen API-nyckel krävs (API:et är just nu öppet/offentligt)
Kunskapsnivå: Nybörjare. Du klistrar in en webhook-URL i Postman och kopplar en HTTP Request-node.
Vill du att någon bygger det här åt dig? Prata med en automationsexpert (gratis 15-minuters konsultation).
Steg för steg
En filuppladdning träffar din webhook-endpoint. Du skickar en POST-förfrågan från Postman (eller curl) med form-data och fältnamnet file. n8n:s Webhook-node tar emot den uppladdade Parquet-, Avro-, ORC- eller Feather-filen.
Arbetsflödet vidarebefordrar filen till ParquetReader. En HTTP Request-node postar samma fil till https://api.parquetreader.com/parquet som multipart/form-data, vilket är vad ParquetReader förväntar sig.
Svaret formas till något du faktiskt kan använda. Arbetsflödets bearbetningssteg tar API-payloaden och ser till att utdata har ett förutsägbart JSON-förhandsvisningsformat, vanligtvis med data (rader), schema och meta_data.
Postman får JSON-förhandsvisningen direkt. Du kan skumma några exempelrader, bekräfta schematyper och kontrollera metadata som radantal utan att öppna en notebook eller skriva ett engångsskript.
Du kan enkelt justera vilka fält som returneras så att du bara får schema (eller bara metadata), beroende på behov. Se hela implementationsguiden nedan för anpassningsalternativ.
Felsökningstips
- Postman-uppladdningar misslyckas oftast eftersom förfrågan inte är multipart/form-data eller för att fältnamnet inte är exakt file. Kolla fliken Body och bekräfta att du använder form-data, inte rå JSON.
- Om du använder Wait-noder eller extern rendering varierar bearbetningstiderna. Öka väntetiden om nedströmsnoder fallerar på tomma svar.
- ParquetReader kan avvisa mycket stora filer eller edge cases som inte stöds. Om HTTP Request-noden returnerar ett fel, inspektera svarskroppen i n8n:s körningsdata och testa med en mindre exempelfil först.
Snabba svar
Cirka 20 minuter om du redan har Postman installerat.
Nej. Du laddar upp en fil till en webhook och n8n sköter resten. Den enda ”setupen” är att konfigurera HTTP Request-noden så att den vidarebefordrar filen korrekt.
Ja. n8n har ett gratis self-hosted-alternativ och en gratis provperiod på n8n Cloud. Cloud-planer börjar på $20/månad för högre volymer. Du behöver också ta höjd för kostnader för ParquetReader API, även om det just nu är öppet utan registrering (användningsgränser kan ändras).
Två alternativ: n8n Cloud (hanterat, enklast att komma igång) eller self-hosting på en VPS. För self-hosting är Hostinger VPS prisvärd och hanterar n8n bra. Self-hosting ger dig obegränsade körningar men kräver grundläggande serverhantering.
Ja, och det är enkelt. Du kan behålla samma Webhook-trigger och byta ut vad som händer efter ParquetReader-svaret, till exempel genom att bara returnera schema och meta_data i steget Respond to Webhook. Vanliga anpassningar är att bara sampla de första raderna, avvisa filer när en obligatorisk kolumn saknas eller routa ORC vs. Parquet till olika valideringsregler.
Oftast är det inte ”Postman”, utan förfrågeformatet. Säkerställ att du skickar en POST med form-data (inte rå JSON) och att filfältet heter file. Bekräfta också att du anropar rätt n8n webhook-URL (test vs. produktion), eftersom det är lätt att klistra in fel när man växlar miljö.
För de flesta team hanterar det utan problem dussintals filer per dag.
Ofta, ja, eftersom filuppladdningar och multipart/form-data är där ”enkla” automationsverktyg blir klumpiga. n8n hanterar webhooks snyggt, låter dig bearbeta det returnerade schemat med riktig logik och kan self-hostas när du vill ha obegränsade körningar. Zapier eller Make kan ändå fungera om du bara behöver en enkel vidarebefordran och inte bryr dig om att forma svaret. Om det här ska bli en del av QA eller CI är n8n oftast det lugnare valet. Prata med en automationsexpert om du vill ha hjälp att välja.
När det här är i drift blir filvalidering en snabbkoll i stället för ett miniprojekt. Sätt upp det en gång och håll dina pipelines tråkiga på bästa möjliga sätt.
Kontakta oss
Hör av dig, så diskuterar vi hur just din verksamhet kan dra nytta av alla fantastiska möjligheter som AI skapar.