Nicht immer stützt sich KI auf die von den Programmierern gewünschten Fakten. Wissenschaftler des Fraunhofer Heinrich-Hertz-Instituts in Berlin haben eine KI Applikation unter die Lupe genommen, die auf Fotos Züge erkennen sollte. Sie konnten beweisen, dass sich das Programm hauptsächlich an Gleisen und an der Bahnsteigkante orientierte, die Züge selbst waren für das neuronale Netz sekundär. Die Software würde also womöglich selbst dann einen Zug erkennen, wenn auf einem einsamen Perron eine Taube sitzen würde. Auch ein neuronales Netz, das Fotos von Pferden erkennen sollte, sorgte für Überraschungen: Statt auf die Form von Pferden stützte sich die KI auf die Copyright-Angabe. In beiden Fällen war es dem Netz möglich, viele Fotos richtig zu kategorisieren – und dann plötzlich und ganz unerwartet spektakulär zu scheitern. Was bei Zügen und Pferden einen gewissen Unterhaltungsfaktor hat, kann im medizinischen Bereich schwerwiegende Folgen haben. «Deswegen ist es für uns wichtig, nachzuvollziehen, wie die eingesetzte KI arbeitet», erklärt Michael Baeriswyl, Leiter Data, Analytics & AI bei Swisscom. Um dem nachzugehen, ist Swisscom eine Partnerschaft mit der ETH Zürich eingegangen. Ab 2019 untersuchen Wissenschaftler während drei Jahren die bei Swisscom verwendeten intelligenten Systeme, wie beispielsweise E-Mail-Triage oder Chatbots.