L’AI non si basa sempre sui fatti desiderati dai programmatori. I ricercatori dell’Istituto Fraunhofer Heinrich Hertz di Berlino hanno analizzato un’applicazione AI in grado di riconoscere i treni nelle foto. E sono riusciti a dimostrare che il programma guardava soprattutto ai binari e al marciapiede della stazione, mentre i treni in sé erano secondari per la rete neuronale. Il software, quindi, potrebbe vedere un treno anche in una foto in cui compare un piccione appollaiato su un binario della stazione. Anche una rete neuronale che riconosce le foto di cavalli ha riservato sorprese: anziché la forma di un cavallo, l’AI cercava il marchio del copyright. In entrambi i casi la rete era in grado di classificare correttamente molte foto, per poi fallire inaspettatamente e clamorosamente subito dopo. Quando si tratta di treni e cavalli, questo fenomeno ci può apparire quasi divertente; in medicina, però, può avere conseguenze anche gravi. «Per questo è importante per noi capire come lavora l’AI che usiamo», spiega Michael Baeriswyl, responsabile Data, Analytics & AI di Swisscom. Per riuscirci, Swisscom ha lanciato una partnership con l’ETH di Zurigo. I ricercatori hanno analizzato per tre anni i sistemi intelligenti adottati da Swisscom, come ad esempio i chatbot o lo smistamento delle e-mail.