Wat is een Data Mesh Architectuur?
De term Data Mesh is voor het eerst gebruikt door Zhamak Dehghani in 2019. Een data mesh is een decentrale data architectuur, waarin data georganiseerd is per specifiek business domein. Decentraal wil zeggen dat verschillende afdeling binnen een bedrijf verantwoordelijk zijn voor de data van een specifiek business domein. Deze afdelingen zijn zowel eigenaar van de data, alsmede verantwoordelijk voor de verwerking, datakwaliteit en de toegang tot de data. Hierin wijkt een data mesh architectuur af van andere data architecturen, zoals een Data Warehouse en een Data Lake, omdat deze architecturen uit gaan van een centrale data opslag en verwerking.
Waarom kan een Data Mesh nodig zijn?
Veel bedrijven hebben de afgelopen decennia gewerkt aan een centrale Data Warehouse architectuur. Het doel van deze keuze was om tot één versie van de waarheid te komen. Nu wordt dit doel niet altijd bereikt, ondanks het feit dat de data centraal geregistreerd wordt. Vaak heeft dat dan organisatorische oorzaken. Als niet duidelijk is wie de eigenaar is van data, of als allerlei afdelingen los van elkaar allerlei data laten toevoegen of wijzigen, kunnen er alsnog allerlei versies van dezelfde data in het Data Warehouse terechtkomen. Bovendien kan het centrale team dan makkelijk een bottlenek worden, omdat ze de grote hoeveelheid verzoeken niet meer aankunnen.
Waneer heeft een Data Mesh geen zin?
Een Data Mesh is een specifieke oplossing voor specifieke problemen. Niet elk bedrijf heeft baat bij een dergelijke oplossing. Een centrale aanpak heeft een aantal voordelen bij het creëren van één versie van de waarheid; het managen van afhankelijkheden tussen verschillende data projecten is éénvoudiger, de kennis over verschillende databronnen kan centraal worden opgebouwd, het naleven van ontwikkelstandaarden vindt eerder plaats binnen een centraal aangestuurde afdeling, dan binnen verschillende onafhankelijke afdelingen. Kortom, binnen kleine tot middelgrote bedrijven is een centrale architectuur wellicht de meest voor de hand liggende.
Organisatie vs Techniek
Een Data Mesh is in eerste instantie een organisatorisch concept. Het start bij het opzetten van decentrale data teams en het definiëren van verantwoordelijkheden. Vervolgens moeten processen worden ingericht waarmee data producten ontwikkeld en beheerd worden. De organisatie structuur van een Data Mesh, stelt vervolgens weer eisen aan de technische architectuur. Deze zal uiteindelijk de kenmerken hebben van een zo genoemde Data Fabric, welke de Data Mesh architectuur ondersteunt.