Wat is een datapipeline in gewone taal?

Stel je voor dat iemand elke ochtend om zes uur langs al je pakketten loopt: de boekhouding, het CRM, de webshop, de urenregistratie. Hij haalt op wat er sinds gisteren is veranderd, zet alles in hetzelfde formaat, knoopt klantnummers aan elkaar en legt het netjes in één archiefkast. Als er iets ontbreekt, belt hij je. Dat is een datapipeline, alleen dan als software.

Veel mkb-bedrijven hebben al zo'n route, maar dan met de hand. Elke maandag een export uit de boekhouding, een export uit het CRM, plakken in Excel en met VERT.ZOEKEN de klanten bij elkaar zoeken. Dat werkt, tot degene die het doet op vakantie is of een kolom anders heet dan vorige week.

Een datapipeline doet hetzelfde werk, maar op een vast moment, op dezelfde manier en met een melding als er iets misgaat.

Wat betekent ETL, en wat is het verschil met ELT?

ETL beschrijft de drie stappen die bijna elke datapipeline doorloopt:

  1. Extract (ophalen). Gegevens uit de bron halen, meestal via een API, soms rechtstreeks uit een database of uit een bestand dat ergens klaarstaat.
  2. Transform (bewerken). De gegevens bruikbaar maken. Datums in dezelfde tijdzone zetten, btw consequent wel of niet meetellen, dubbele records weghalen, klanten uit verschillende systemen aan elkaar koppelen.
  3. Load (wegschrijven). Het resultaat opslaan op de plek waar rapporten en automatiseringen het ophalen, meestal een centrale database.

Bij ELT draai je de laatste twee stappen om. Je zet de ruwe gegevens eerst ongewijzigd in je database en bewerkt ze daarna daar. Dat heeft een praktisch voordeel: je bewaart altijd de oorspronkelijke gegevens. Verander je later een definitie, dan reken je alles opnieuw door zonder de bron opnieuw te bevragen.

Voor een mkb'er is het verschil vooral een ontwerpkeuze, geen geloofskwestie. Wij kiezen meestal voor een mengvorm: ruw opslaan, en de bewerkingen op één vaste plek in de database vastleggen, zodat ze niet in elk rapport opnieuw worden gedaan.

Wanneer heb je als mkb'er een datapipeline nodig?

Niet altijd. Rapporteer je uit één pakket en kloppen de cijfers, dan is een directe koppeling tussen dat pakket en Power BI vaak genoeg. Een pipeline wordt de moeite waard zodra een van deze situaties speelt:

  • Je combineert bronnen. Omzet uit de boekhouding naast kansen uit het CRM, of uren naast facturen. Dan moet er ergens een plek zijn waar die gegevens op elkaar aansluiten.
  • Je wilt historie. Veel pakketten tonen vooral de stand van vandaag. Wil je zien hoe je pijplijn of voorraad zich ontwikkelt, dan moet je die momentopnames zelf vastleggen.
  • Dezelfde cijfers komen in meerdere rapporten terug. Zonder pipeline zit de rekenlogica in elk rapport apart, en krijg je vroeg of laat twee versies van dezelfde omzet.
  • Je bron is traag of beperkt. Sommige API's hebben een limiet op het aantal verzoeken per minuut. Een pipeline haalt de gegevens één keer op en rapporten lezen daarna uit je eigen database.

Twijfel je of je meteen een volledig datawarehouse nodig hebt, lees dan eerst datawarehouse voor het mkb: wanneer wel en wanneer niet.

Waaruit bestaat een datapipeline?

Een pipeline op mkb-formaat heeft vijf onderdelen. Ze hoeven geen van alle groot te zijn.

  1. Bronkoppelingen die per pakket de gegevens ophalen, met de juiste rechten en met tokens die op tijd worden ververst.
  2. Een planning die bepaalt wanneer de pipeline draait. Voor de meeste rapportages is één keer per nacht of een paar keer per dag genoeg.
  3. Een centrale database waar de gegevens landen, liefst met een duidelijke scheiding tussen ruwe en bewerkte tabellen.
  4. Bewerkingen waarin je definities vastlegt: wat telt als omzet, wanneer is een klant actief, welke fases horen bij elkaar.
  5. Bewaking: controles die opvallen als er minder records binnenkomen dan normaal, en een melding naar iemand die het oplost.

Dat laatste onderdeel wordt het vaakst vergeten. Een pipeline die een week stilligt zonder dat iemand het merkt, laat een gat in je historie achter dat je niet meer kunt dichten.

Met welke tools bouw je een datapipeline zonder groot IT-team?

Er is geen beste tool, wel een passende. Grofweg zijn er vier routes, en ze zijn te combineren.

  • Een automatiseringsplatform zoals Make.com. Geschikt voor eenvoudige pipelines met een paar bronnen en bescheiden aantallen records. Je hebt een planning, HTTP-modules voor API's en foutafhandeling in één omgeving. Minder geschikt als je grote hoeveelheden gegevens verwerkt. Hoe je zo'n scenario robuust maakt, lees je in Make.com foutafhandeling.
  • Het Microsoft-platform. Werk je al met Power BI, dan liggen Power BI-dataflows, Data Factory in Microsoft Fabric of Azure Data Factory voor de hand. Krachtig en goed geïntegreerd, maar het vraagt meer kennis om netjes in te richten.
  • Kant-en-klare connectors. Voor sommige pakketten bestaan connectors die de gegevens klaar voor gebruik aanleveren. Dat scheelt bouwwerk, maar je bent afhankelijk van wat de connector ondersteunt.
  • Eigen scripts. Een Python- of SQL-script op een geplande taak geeft de meeste vrijheid. Dan ben je wel zelf verantwoordelijk voor onderhoud, documentatie en bewaking.

Onze vuistregel: kies de eenvoudigste route die je vraag beantwoordt en die iemand anders over een jaar nog kan begrijpen. Een slimme pipeline die alleen de bouwer snapt, is een risico.

Stappenplan: je eerste datapipeline in zes stappen

  1. Begin bij één vraag. Niet "we willen al onze data op één plek", maar bijvoorbeeld "welke klanten bestellen minder dan vorig jaar?" Die vraag bepaalt welke bronnen en velden je nodig hebt.
  2. Breng de bronnen in kaart. Per pakket: is er een API, welke rechten heb je nodig, is er een limiet op het aantal verzoeken, en in welke tijdzone komen datums terug?
  3. Haal alleen op wat veranderd is. Veel API's laten je filteren op de datum van de laatste wijziging. Dan haal je de eerste keer alles op en daarna alleen de verschillen. Dat is sneller en blijft binnen de limieten.
  4. Sla eerst ruw op, bewerk daarna. Zet de opgehaalde gegevens ongewijzigd in je database en leg de bewerkingen daarna op één plek vast. Zo kun je altijd terug naar de bron.
  5. Bouw de bewaking meteen mee. Een melding bij een mislukte run, en een controle op aantallen: komen er vandaag ineens nul orders binnen, dan klopt er waarschijnlijk iets niet.
  6. Controleer tegen de bron en documenteer. Kloppen de totalen met wat je in het pakket ziet? Schrijf kort op wat de pipeline doet, wanneer hij draait en wie een melding krijgt.

Hoe je zo'n eerste traject over vier weken verdeelt, staat uitgewerkt in van Excel naar een datafundament in 30 dagen.

Een voorbeeld: een pipeline van CRM en boekhouding

Een fictief, maar herkenbaar voorbeeld. Een adviesbureau van vijftien mensen werkt met een CRM voor kansen en een boekhoudpakket voor facturen. De directie wil elke maand zien hoeveel van de gewonnen kansen daadwerkelijk zijn gefactureerd, en hoe lang dat gemiddeld duurt.

De pipeline:

  1. Extract. Elke nacht haalt een gepland scenario uit het CRM de kansen en relaties op die sinds de vorige run zijn gewijzigd. Uit de boekhouding komen de facturen en debiteuren van de afgelopen dagen.
  2. Load. Alles landt ruw in een kleine database, in aparte tabellen per bron.
  3. Transform. Een koppeltabel legt vast welke CRM-relatie bij welk debiteurnummer hoort. Datums worden omgezet naar Nederlandse tijd. Omzet wordt overal exclusief btw gerekend.
  4. Bewaking. Mislukt een run, of komen er uit een van beide bronnen nul records binnen op een werkdag, dan krijgt de beheerder een mail.
  5. Rapport. In Power BI komt één pagina met gewonnen kansen, gefactureerde omzet en de doorlooptijd daartussen.

Werkt dat bureau met Cirqll als CRM, dan lees je in Cirqll-data in een eigen database hoe je daar ook historie van je pijplijn bij opbouwt.

Waar gaat het mis bij een datapipeline?

  • Alles tegelijk willen. Elke tabel uit elk pakket ophalen "voor het geval dat" maakt de pipeline traag en onoverzichtelijk. Begin klein.
  • Geen afspraken over definities. Als niemand heeft vastgelegd wat omzet is, bouwt de pipeline netjes het verkeerde getal.
  • Verwijderde records missen. Haal je alleen gewijzigde records op, dan zie je niet dat iets in de bron is verwijderd. Plan af en toe een volledige controle, of gebruik webhooks als de bron die biedt.
  • Tijdzones. Veel API's geven tijden in UTC. Een order van 00:30 Nederlandse tijd valt dan op de dag ervoor. Zet dat één keer goed om, in de pipeline.
  • Kennis in één hoofd. Zonder documentatie is de pipeline zo sterk als de persoon die hem bouwde.

Hulp bij je datapipeline

Het bouwen van koppelingen, de centrale database, de bewerkingen en de bewaking is precies wat wij onder data engineering verstaan. Welke pakketten we al kunnen ontsluiten, zie je bij onze koppelingen. Gaat het vooral om het automatisch doorzetten van gegevens tussen systemen, kijk dan bij workflow automation, en voor de rapporten erbovenop bij dashboarding. Wil je eerst het grotere plaatje zien, lees dan data engineering voor het mkb.