L’IA ne s’appuie pas toujours sur les faits souhaités par les programmeurs. Des scientifiques de l’Institut Fraunhofer Heinrich-Hertz à Berlin ont étudié de près une application IA devant reconnaître les trains sur des photos. Ils ont pu prouver que le programme s’orientait principalement sur les voies et le bord des quais, alors que les trains eux-mêmes étaient secondaires pour le réseau neuronal. Il est donc probable que le logiciel détecterait un train même si un simple pigeon était posé sur une plateforme isolée. Un réseau neuronal devant identifier des photos de chevaux a lui aussi suscité des surprises: au lieu de s’appuyer sur la forme des chevaux, l’IA s’est fiée aux informations de droit d’auteur. Dans les deux cas, le réseau est parvenu à classer correctement de nombreuses photos, puis soudainement et sans prévenir il a échoué de manière spectaculaire. Ce qui peut être assez cocasse avec des trains ou des chevaux peut avoir de lourdes conséquences dans le domaine médical. «Il est donc important pour nous de bien comprendre comment fonctionne l’IA», déclare Michael Baeriswyl, responsable Data, Analytics & AI chez Swisscom. Swisscom a conclu un partenariat avec l’EPF Zurich pour étudier la question. Sur une période de trois ans, les scientifiques examineront les systèmes intelligents utilisés chez Swisscom, comme le triage des e-mails ou les chatbots.