Black-Box-Modelle, wie insbesondere tiefe künstliche neuronale Netze, sind für Menschen nicht nachvollziehbar. Auch die Programmierer können nicht nachvollziehen, wie genau ihre KI zu den Ergebnissen gelangt. Der Ergebnisse sind aber – sofern die Rahmenbedingungen stimmen – richtig bzw. halten einer Kontrolle stand. Die erklärbare KI sucht nach Möglichkeiten, die versteckte Logik oder die einzelnen Ausgaben besser nachvollziehbar oder erklärbar zu machen (aus: Maschinelles Lernen/Fraunhofer 2018).