Black box AI is elk kunstmatig intelligentie systeem waarvan de inputs en operaties niet zichtbaar zijn voor de gebruiker of een andere geïnteresseerde partij. Een black box, in algemene zin, is een ondoordringbaar systeem.
Diepe leermodellering wordt typisch uitgevoerd door middel van black box ontwikkeling: Het algoritme neemt miljoenen datapunten als input en correleert specifieke datakenmerken om een output te produceren. Dat proces is grotendeels zelfgestuurd en is over het algemeen moeilijk te interpreteren voor data scientists, programmeurs en gebruikers.
Wanneer de werking van software die wordt gebruikt voor belangrijke operaties en processen binnen een organisatie niet gemakkelijk kan worden bekeken of begrepen, kunnen fouten onopgemerkt blijven totdat ze problemen veroorzaken die zo groot zijn dat het noodzakelijk wordt om onderzoek te doen en de veroorzaakte schade kan duur of zelfs onmogelijk te herstellen zijn.
Een vooroordeel kan bijvoorbeeld in algoritmen worden geïntroduceerd als een weerspiegeling van bewuste of onbewuste vooroordelen van de kant van de ontwikkelaars, of het kan erin sluipen door onopgemerkte fouten. In elk geval zullen de resultaten van een bevooroordeeld algoritme scheefgetrokken zijn, mogelijk op een manier die beledigend is voor de mensen die erdoor worden beïnvloed. Vooringenomenheid in een algoritme kan voortkomen uit trainingsgegevens wanneer details over de dataset niet worden herkend. In één situatie gebruikte AI in een rekruteringsapplicatie historische gegevens om selecties te maken voor IT-professionals. Omdat de meeste IT'ers van oudsher mannen waren, vertoonde het algoritme echter een vooroordeel ten aanzien van mannelijke sollicitanten.
Als een dergelijke situatie ontstaat door black box AI, kan deze lang genoeg aanhouden om de organisatie reputatieschade te berokkenen en mogelijk juridische stappen te ondernemen wegens discriminatie. Om dergelijke schade te voorkomen, is het belangrijk dat AI-ontwikkelaars transparantie inbouwen in hun algoritmes en dat organisaties zich ertoe verplichten verantwoording af te leggen over de effecten van hun algoritmes.