Waarom raak je historie kwijt in je eigen pakketten?
Je boekhouding, CRM, webshop en planning zijn gemaakt om het werk van vandaag te doen. Verandert er iets, dan passen ze de gegevens aan. Een kans gaat van "offerte" naar "gewonnen", een voorraadaantal zakt van 40 naar 12, een klant krijgt een andere accountmanager. Het pakket onthoudt de nieuwe waarde en de oude is weg, of zit hooguit ergens in een logboek dat je niet makkelijk kunt uitlezen.
Dat merk je pas als iemand een vraag over het verleden stelt. Hoe groot was de pijplijn eind vorig kwartaal? Hoeveel stond er eind juni open aan debiteuren? Welke omzet hoorde vorig jaar bij een accountmanager, voordat zijn klanten werden verdeeld? Als je op die momenten niets hebt vastgelegd, is het antwoord vaak een reconstructie of een gok.
Een gewone verversing in Power BI lost dat niet op. Die vervangt de gegevens door de stand van dat moment. Daarom hoort historie thuis in een eigen datalaag. Of je die nu al nodig hebt, lees je in datawarehouse voor het mkb: wanneer wel en wanneer niet. Dit artikel gaat over de vraag hoe je historie vastlegt als je er een hebt.
Welke gegevens hebben historie nodig, en welke niet?
Niet alles hoeft dezelfde behandeling. Het helpt om je gegevens in drie soorten te verdelen.
- Gebeurtenissen. Facturen, orders, betalingen, geboekte uren. Elk record heeft een datum en blijft bestaan. Hier zit de historie al in de bron. Je haalt ze gewoon op, inclusief correcties en creditnota's.
- Standen. Voorraad, openstaande facturen, de waarde van je pijplijn, het aantal actieve contracten. Een stand is een optelsom op één moment en wordt continu overschreven. Hiervoor heb je momentopnames nodig.
- Eigenschappen. De accountmanager, het segment of de regio van een klant, de categorie van een product, de fase van een kans. Die veranderen af en toe, en dan wil je weten wat de waarde was op een bepaalde datum. Hiervoor houd je een wijzigingslog bij.
Een eenvoudige toets per gegeven: wil ik later kunnen zien hoe dit er op een bepaalde datum uitzag? Zo ja, en bewaart het pakket dat niet zelf, dan moet je het vastleggen. Zo nee, dan laat je het bij de huidige stand.
Hoe werken momentopnames (snapshots)?
Een momentopname is precies wat het woord zegt: op een vast moment kopieer je de stand naar een eigen tabel, met een extra kolom voor de peildatum. De volgende keer komt er een nieuwe set regels bij met de nieuwe peildatum. Je overschrijft niets.
Daarmee kun je achteraf elke stand terugzien en ontwikkelingen tonen: de pijplijn per week, de voorraad per maand, het verloop van openstaande facturen.
Drie keuzes bepalen hoe je het inricht:
- Hoe vaak? Dagelijks is voor de meeste standen een veilige keuze. Kijk je alleen naar maandcijfers, dan kan een momentopname op de laatste dag van de maand genoeg zijn. Nadeel: mist die ene run, dan heb je een gat van een hele maand.
- Welke kolommen? Leg alleen vast wat je nodig hebt: de sleutel, de waarden en de eigenschappen waarop je wilt filteren. Niet elke omschrijving en notitie.
- Welk tijdstip? Kies een vast moment, bijvoorbeeld 's nachts, en gebruik de Nederlandse datum als peildatum. Veel API's geven tijden in UTC, en dan valt een run net na middernacht ineens op de vorige dag.
Opslag is zelden het probleem. Een momentopname van 500 open kansen per dag levert ruim 180.000 regels per jaar op. Voor een database is dat klein.
Hoe houd je wijzigingen in klant- en productgegevens bij?
Voor eigenschappen werkt een momentopname ook, maar je bewaart dan elke dag dezelfde waarde opnieuw terwijl er bijna nooit iets verandert. Netter is een wijzigingslog: je legt alleen een nieuwe regel vast als er iets is gewijzigd.
Per klant (of product, of medewerker) bewaar je dan meerdere regels, elk met:
- een geldig-vanaf-datum,
- een geldig-tot-datum, die leeg blijft bij de huidige regel,
- een kenmerk dat aangeeft welke regel de huidige is.
Verandert de accountmanager van een klant, dan sluit je de oude regel af en maak je een nieuwe aan. In vakjargon heet dit een slowly changing dimension type 2. De variant waarbij je gewoon overschrijft, heet type 1.
Je hoeft niet voor elke kolom historie bij te houden. Kies per kolom: de accountmanager, het segment en de regio wel, het telefoonnummer en het e-mailadres niet. Dat houdt de tabel overzichtelijk en voorkomt dat een getypte correctie in een adres als echte wijziging meetelt.
In een rapport koppel je een factuur dan aan de klantregel die geldig was op de factuurdatum. Zo blijft de omzet van vorig jaar bij de accountmanager van vorig jaar staan, ook als de klant inmiddels is overgedragen.
Stappenplan: historie opbouwen in zes stappen
- Schrijf de vragen op. Welke vragen over het verleden worden nu gesteld en niet beantwoord? Bijvoorbeeld "hoe ontwikkelt onze pijplijn zich per kwartaal?" of "wat was de omzet per accountmanager vorig jaar?"
- Bepaal per gegeven de soort. Gebeurtenis, stand of eigenschap. Alleen de laatste twee hebben extra werk nodig.
- Kies frequentie en kolommen. Per stand: hoe vaak een momentopname. Per eigenschap: welke kolommen je in het wijzigingslog opneemt.
- Bouw het in je pipeline. De momentopname en het bijwerken van het wijzigingslog worden vaste stappen na het ophalen van de gegevens. Hoe zo'n pipeline in elkaar zit, lees je in wat is een datapipeline (ETL), en waarmee je hem bouwt in ETL-tools voor het mkb.
- Bewaak de runs. Een gemiste nacht is een gat dat je niet meer kunt dichten. Zorg voor een melding als een run mislukt en een controle op het aantal regels per peildatum. Gebruik je Make.com, lees dan ook Make.com foutafhandeling.
- Leg vast wat je bewaart. Een korte beschrijving per tabel: wat erin staat, sinds wanneer, hoe vaak en wie een melding krijgt.
Begin liever vandaag met twee standen dan over een half jaar met tien. Elke week die je wacht, is een week historie die je niet meer krijgt.
Een voorbeeld: voorraad, debiteuren en accountmanagers
Een fictief, maar herkenbaar voorbeeld. Een technische groothandel met 25 medewerkers werkt met een boekhoudpakket, een CRM en een voorraadsysteem. De directie heeft drie vragen die niemand goed kan beantwoorden: hoe ontwikkelt de voorraadwaarde zich door het jaar, loopt de stand aan openstaande facturen op, en hoeveel omzet hoort bij welke accountmanager nu er klanten zijn verschoven.
De opzet in de bestaande centrale database:
- Voorraad. Elke nacht een momentopname per artikel: aantal, kostprijs en voorraadwaarde, met de peildatum erbij.
- Debiteuren. Elke nacht een momentopname van de openstaande facturen per klant, met bedrag en vervaldatum. Daarmee is ook de ouderdom op elke peildatum te berekenen.
- Klanten. Een wijzigingslog op accountmanager en segment. Adres en contactgegevens worden gewoon overschreven.
- Facturen. Die bewaart de boekhouding al, ze worden zoals altijd opgehaald.
Na drie maanden toont Power BI de voorraadwaarde per week, de stand aan openstaande facturen per maandeinde en de omzet per accountmanager zoals die op het moment van factureren was. Werkt de groothandel met Cirqll als CRM, dan staat in Cirqll-data in een eigen database hoe je ook de historie van je pijplijn bewaart.
Waar gaat het mis met historie in een datawarehouse?
- Standen optellen over de tijd. De voorraad van maandag plus die van dinsdag is geen voorraad. In een rapport neem je per periode de laatste stand of een gemiddelde, nooit de som over alle peildatums.
- Te laat beginnen. Pas aan historie denken als de directie om een jaarvergelijking vraagt, betekent dat je die vergelijking pas een jaar later kunt maken.
- Gaten door gemiste runs. Zonder bewaking merk je pas weken later dat er een week ontbreekt.
- Verwijderde records. Wordt een artikel of kans in de bron verwijderd, dan moet je pipeline dat herkennen. Anders blijft het in je momentopnames als stand gewoon doorlopen, of verdwijnt het juist zonder spoor.
- Wijzigingen in de bron. Hernoemt het pakket een veld of verandert de betekenis van een status, dan wil je dat zien voordat je historie twee betekenissen door elkaar haalt.
Hulp bij historie in je datawarehouse
Het inrichten van momentopnames, wijzigingslogs en de bewaking eromheen is precies wat wij onder data engineering verstaan. Welke pakketten we al kunnen ontsluiten, zie je bij onze koppelingen, en voor de rapporten die de ontwikkeling zichtbaar maken kun je kijken bij dashboarding. Hoe zo'n traject in fases verloopt, lees je bij onze werkwijze. Nog geen centrale database? Begin dan bij een database voor het mkb.
