KI-Systeme werden immer leistungsfähiger. Doch eine Frage wird damit umso wichtiger: Können wir ihren Ergebnissen vertrauen? Genau daran forscht Alexander Jung. Als Associate Professor of Machine Learning an der Aalto University und als nebenberuflich Lehrender am IMC Krems seit 2025, beschäftigt er sich mit vertrauenswürdiger künstlicher Intelligenz.
Story
Wie können wir Künstlicher Intelligenz vertrauen?
Wenn KI nachvollziehbar werden muss
Wie können Systeme aus Daten lernen, die an unterschiedlichen Orten gespeichert sind? Wann können wir ihren Vorhersagen vertrauen? Und wie können Entscheidungen von KI so erklärt werden, dass Menschen sie verstehen und auf dieser Grundlage handeln können?
Diese Fragen stehen im Zentrum der Arbeit von Alexander Jung. An der Aalto University in Finnland forscht und lehrt er zu vertrauenswürdigem maschinellen Lernen, verteilter Optimierung sowie KI-Ethik und Recht. Dabei verbindet er mathematische Grundlagen mit konkreten Herausforderungen beim Einsatz Künstlicher Intelligenz.
Ein besonderer Schwerpunkt liegt für ihn auf erklärbarer KI. Alexander Jung beschäftigt sich damit, wie KI verständlich vermittelt werden kann und was Organisationen über ihren verantwortungsvollen Einsatz wissen müssen. Auch die Vorbereitung von Organisationen auf die Anforderungen der EU-KI-Verordnung gehört zu den Themen seiner Vorträge und Seminare.
Komplexe Technologie verständlich machen
Forschung und Lehre gehören für Alexander Jung eng zusammen. Er ist Autor der Bücher Machine Learning: The Basics (Springer, 2022), Federated Learning: From Theory to Practice (Springer, 2026) und entwickelt Lehrmaterialien mit dem Ziel, zentrale Konzepte des maschinellen Lernens verständlich zu machen, ohne sie auf Schlagworte zu reduzieren.
Seine Expertise ist auch außerhalb der universitären Forschung gefragt. Er war unter anderem Principal AI Scientist bei Silo AI und Berater für KI-Startups im Gesundheitsbereich.
Internationale Expertise und top Know-How für unsere Studierenden
Seit September 2025 lehrt der gebürtige Niederösterreicher im Bachelor-Studiengang Unternehmensführung und Digitales Management sowie im Master-Studiengang Engineering Responsible AI Systems. Damit bringt er seine Erfahrung aus internationaler Forschung und angewandter Künstlicher Intelligenz direkt in die Lehrveranstaltungen ein.
Seine Verbindung von Forschung, Anwendung und Vermittlung ist dabei besonders spannend: Denn je stärker KI Teil unseres beruflichen und gesellschaftlichen Alltags wird, desto wichtiger wird nicht nur technologisches Wissen. Entscheidend ist auch zu verstehen, wie KI zu ihren Ergebnissen kommt und wo ihre Grenzen liegen.
Nachgefragt bei Alexander Jung
KI-Systeme liefern heute beeindruckende Ergebnisse. Aber wann ist ein KI-System aus wissenschaftlicher Sicht tatsächlich vertrauenswürdig und woran können wir erkennen, dass wir uns auf seine Ergebnisse verlassen können?
Stell dir vor, du hast eine Freundin, die behauptet, sie könne das Wetter vorhersagen. Würdest du ihr glauben? Wahrscheinlich erst, wenn du ein paar Dinge geprüft hast. Erstens: Hat sie schon oft richtig gelegen, und zwar nicht nur an Tagen, die ihr vertraut sind, sondern auch bei ungewöhnlichem Wetter? Zweitens: Kann sie dir erklären, warum sie morgen Regen erwartet, zum Beispiel wegen der dunklen Wolken im Westen? Und drittens: Sagt sie ehrlich „Ich weiß es nicht", wenn sie sich nicht sicher ist?
Genau diese drei Dinge verlangen wir auch von einem KI-System. Es muss auf Daten getestet worden sein, die es noch nie gesehen hat, und dabei zuverlässig funktionieren. Es muss seine Vorhersagen so begründen können, dass ein Mensch sie nachvollziehen kann. Und es muss wissen, wann es unsicher ist. Ein System, das immer selbstbewusst antwortet, aber nie zugibt, dass es rät, ist wie ein Freund, der nie „keine Ahnung" sagt. Dem sollte man gerade in wichtigen Fragen nicht blind vertrauen.
Vertrauen entsteht also nicht durch beeindruckende Antworten, sondern durch Überprüfbarkeit. Das ist in der Wissenschaft nicht anders als im Alltag. Je häufiger KI Entscheidungen vorbereitet oder beeinflusst, desto wichtiger wird Nachvollziehbarkeit.
Wo liegen derzeit die größten Herausforderungen dabei, KI wirklich erklärbar zu machen?
Die größte Herausforderung ist, dass „erklärbar" immer von der Person abhängt, die die Erklärung bekommt. Eine Ärztin, ein Richter, eine Kundin einer Bank und eine Softwareentwicklerin brauchen völlig unterschiedliche Erklärungen für dieselbe Entscheidung. Technisch können wir heute oft zeigen, welche Eingabedaten ein Ergebnis am stärksten beeinflusst haben. Aber eine Liste von Zahlen ist noch keine Erklärung. Eine gute Erklärung muss zum Vorwissen der Empfängerin passen, und das lässt sich nicht nachträglich auf ein fertiges System aufsetzen.
Die zweite Herausforderung sind die Modelle selbst. Moderne Sprachmodelle haben Milliarden von Parametern. Niemand kann im Detail nachvollziehen, was einzelne Parameter bedeuten. Wir behelfen uns mit vereinfachten Erklärungen, und diese Vereinfachungen können selbst irreführend sein. Eine plausible Erklärung ist nicht automatisch eine richtige Erklärung.
Und drittens gibt es ein organisatorisches Problem: Erklärbarkeit kostet Aufwand und bringt in der Entwicklung erst einmal keinen sichtbaren Nutzen. Die der EU verlangt sie nun für viele Anwendungen, und das ist aus meiner Sicht richtig. Aber Organisationen müssen erst lernen, Erklärbarkeit von Anfang an einzuplanen, statt sie am Ende als Pflichtübung anzuhängen.
Welche Kompetenzen sollten Studierende heute entwickeln, damit sie KI nicht nur anwenden, sondern ihre Ergebnisse auch kritisch beurteilen und verantwortungsvoll damit umgehen können?
Zunächst ein solides Grundverständnis davon, wie maschinelles Lernen funktioniert. Man muss keine neuronalen Netze programmieren können, aber man sollte verstehen, dass eine KI nichts anderes tut, als Muster in Daten zu finden. Daraus folgt sofort die wichtigste Frage, die man an jedes KI-System stellen sollte: Mit welchen Daten wurde es trainiert, und ähnelt meine Situation diesen Daten? Ein solides Grundverständnis umfasst auch die Fähigkeit, Ergebnisse zu überprüfen. Ich rate meinen Studierenden, KI-Antworten grundsätzlich als Vorschlag zu behandeln, nicht als Fakten. Wer ein Ergebnis nicht selbst beurteilen kann, sollte es nicht ungeprüft weitergeben. Das gilt für eine Umsatzprognose genauso wie für einen juristischen Text. Und schließlich ein Bewusstsein für Verantwortung. KI trifft keine Entscheidungen, Menschen tun das. Wer in einem Unternehmen ein KI-System einsetzt, trägt die Verantwortung für die Folgen, und die EU-KI-Verordnung macht diese Verantwortung nun auch rechtlich greifbar. Studierende, die sowohl die technischen Grundlagen als auch diesen rechtlichen und ethischen Rahmen verstehen, sind in den kommenden Jahren in jeder Branche gefragt. Genau diese Verbindung versuche ich in meinen Lehrveranstaltungen am IMC Krems zu vermitteln.