Data-driven disaster

Een data-driven disaster is een ernstig probleem dat wordt veroorzaakt door een of meer ineffectieve data-analyseprocessen.

Volgens het Data Warehousing Institute kosten datakwaliteitsproblemen bedrijven in de Verenigde Staten meer dan 600 miljard dollar per jaar. Naast de financiële last kunnen problemen met gegevenskwaliteit en -analyse ernstige gevolgen hebben voor onder meer beveiliging, compliance, projectbeheer en human resource management (HRM).

Fouten kunnen in elk stadium in gegevensanalyses sluipen. De kwaliteit van de gegevens kan bijvoorbeeld in de eerste plaats onvoldoende zijn. Ze kunnen onvolledig, onnauwkeurig of niet actueel zijn, of geen betrouwbare indicator vormen van wat ze moeten weergeven. De gegevensanalyse en -interpretatie zijn vatbaar voor een vergelijkbaar aantal valkuilen. Er kunnen verwarrende factoren zijn en de wiskundige methode kan gebrekkig of ongeschikt zijn. Correlatie kan ten onrechte worden beschouwd als een causaal verband. Statistische significantie kan ten onrechte worden toegekend wanneer de gegevens dit niet ondersteunen. Zelfs als de gegevens en analytische processen geldig zijn, kunnen gegevens opzettelijk op een misleidende manier worden gepresenteerd om een agenda te ondersteunen.

In een bredere context zijn gebreken in gegevensgestuurde processen verantwoordelijk geweest voor echte rampen, zoals de explosie van het ruimteveer Challenger in 1986 en het neerschieten van een Iraanse Airbus door de USS Vincennes in 1988.

Nadat bedrijven te maken krijgen met een enorme toename van de hoeveelheid verzamelde gegevens - ook wel big data genoemd - neemt de trend naar data-driven decision management (DDDM) navenant toe. Problemen ontstaan wanneer onvoldoende middelen worden ingezet voor dataprocessen en te veel vertrouwen wordt gesteld in de geldigheid ervan. Om datagedreven rampen te voorkomen, is het van cruciaal belang de kwaliteit van de gegevens en de analytische processen voortdurend te onderzoeken en aandacht te besteden aan gezond verstand en zelfs intuïtie. Als gegevens iets lijken aan te geven dat niet logisch is of gewoon niet lijkt te kloppen, is het tijd om de brongegevens en de analysemethoden opnieuw te onderzoeken.