Wat is een Data Mesh Architectuur?
De term Data Mesh is voor het eerst gebruikt door Zhamak Dehghani in 2019. Een data mesh is een decentrale data architectuur, waarin data georganiseerd is per specifiek business domein. Decentraal wil zeggen dat verschillende afdeling binnen een bedrijf verantwoordelijk zijn voor de data van een specifiek business domein. Deze afdelingen zijn zowel eigenaar van de data, alsmede verantwoordelijk voor de verwerking, datakwaliteit en de toegang tot de data. Hierin wijkt een data mesh architectuur af van andere data architecturen, zoals een Data Warehouse en een Data Lake, omdat deze architecturen uit gaan van een centrale data opslag en verwerking.
Waarom kan een Data Mesh nodig zijn?
Veel bedrijven hebben de afgelopen decennia gewerkt aan een centrale Data Warehouse architectuur. Het doel van deze keuze was om tot één versie van de waarheid te komen. Nu wordt dit doel niet altijd bereikt, ondanks het feit dat de data centraal geregistreerd wordt. Vaak heeft dat dan organisatorische oorzaken. Als niet duidelijk is wie de eigenaar is van data, of als allerlei afdelingen los van elkaar allerlei data laten toevoegen of wijzigen, kunnen er alsnog allerlei versies van dezelfde data in het Data Warehouse terechtkomen. Bovendien kan het centrale team dan makkelijk een bottlenek worden, omdat ze de grote hoeveelheid verzoeken niet meer aankunnen.
Waneer heeft een Data Mesh geen zin?
Een Data Mesh is een specifieke oplossing voor specifieke problemen. Niet elk bedrijf heeft baat bij een dergelijke oplossing.