KI – meist maschinelles Lernen (ML) – wird immer häufiger als Werkzeug für verschiedene Sicherheitsanwendungen eingesetzt, welche Daten analysieren, clustern oder attributieren müssen. Dabei ist die IT-Sicherheit der eingesetzten Algorithmen oft begrenzt. For­schungsergebnisse der letzten Jahre zeigen Schwächen trainierter neuronaler Netze, wie etwa mangelnde Robustheit gegenüber gezielten Angriffen. Auch Risiken für die Privatsphäre werden im Zusammenhang mit maschinellem Lernen gesehen, wie etwa mögliche Schwachstellen von trainierten neuronalen Netzen sowie die Deanonymisierung in komplexen Datensätzen mit Hilfe von maschinellem Lernen.

Dies führt zu einem Mangel an Vertrauen und Akzeptanz in der Öffentlichkeit: ML wird als Risiko und Bedrohung wahrgenommen, als ein Mechanismus, der große Teile des Alltagslebens unkontrollierbar überwachen kann. Unter diesen Umständen wird es zu einer Herausforderung, das Potenzial von ML für Si­cher­heits­lö­sun­gen und andere sensible Anwendungen zu nutzen.

In der IT-Sicherheit ist der Einsatz von ML bereits heute in mehreren Bereichen etabliert. Die SPAM-Erkennung ist ein bekanntes Beispiel, bei dem Support-Vektor-Maschinen (SVM) versuchen, erwünschte von unerwünschten E-Mails zu unterscheiden. Die Autorenzuordnung kombiniert natural language forensics mit maschinellem Lernen. Deep Learning hilft, illegale Bilder zu identifizieren und Malware-Erkennung sowie Intrusion-Detection-Systeme zu verbessern.

ML-Algorithmen und trainierte neuronale Netze sind heutzutage Ziel von Cyber-Angriffen: Verschiedene Angriffsarten versuchen, ML-basierte Entscheidungen zu beeinflussen bzw. in die Irre zu führen. Um dieses Herzstück von ML zu schützen, sind IT-Sicherheits-Maßnahmen erforderlich.

ML wird gleichzeitig zu einem Werkzeug von Angreifern. Deshalb müssen IT-Sicherheitsmaßnahmen in der Lage sein, Angriffe abwehren zu können, die sich schneller an komplexe Sicherheitsmaßnahmen anpassen können – ähnlich wie Intrusion-Detection-Systeme darauf abzielen, komplexe Angriffe mit Hilfe von ML zu identifizieren.

Sogenannte feindliches maschinelles Lernen (adversarial ML) wird in der IT-Sicherheit häufiger werden. Immer dann, wenn eine Sicherheitsherausforderung sowohl mit einem relativ einfachen Konzept beschrieben und gleichzeitig mittels ML angegangen werden kann, wird die andere Seite, sei es Verteidiger oder Angreifer, feindliches maschinelles Lernen nutzen, um Schwachstellen in der Strategie des Gegenübers effizient zu identifizieren und spezialisierte Angriffe oder Abwehrmaßnahmen dagegen einzusetzen.

SenPAI behandelt das Thema IT-Sicherheit und ML aus zwei Perspektiven: Zunächst geht es um die Verbesserung der Sicherheit von Algorithmen und Systemen, die auf ML basieren. Dabei geht es nicht um Standard-Systemsicherheit, die für alle IT-Systeme gilt, sondern der Schwerpunkt liegt auf Sicherheits­heraus­forderungen, die besonders bzw. ausschließlich für ML relevant sind. Der Begriff "Sicherheit" ist hier in einem weiten Sinne zu verstehen, da auch Fragen wie der Verlust von Privatsphäre oder die Transparenz von Entscheidungen behandelt werden.

Die zweite Perspektive ist anwendungszentriert. Da das Nationale Zentrum für angewandte Cyber­sicher­heits­forschung ATHENE angewandte Si­cher­heits­lö­sun­gen fokussiert, zielt SenPAI darauf ab, neue Sicherheitsanwendungen auf ML-Basis zu entwickeln und zu evaluieren. Diese Anwendungen können und sollen auch die in den technologiezentrierten Forschungsprojekten entwickelten Sicherheitsmechanismen nutzen sowie deren Nutzbarkeit und Leistungsfähigkeit beurteilen. Die Projekte, die sich auf Anwendungen konzentrieren, könnten neue Fragestellungen für die technologiezentrierten Projekte aufwerfen.

Diese Projekte könnten auch im Bereich Big Data angesiedelt sein, da sie mit großen, komplexen Datenbeständen arbeiten und zum Ziel haben, daraus auf effiziente Weise sicherheitsrelevante Informationen abzuleiten.

Aus den technologiezentrierten Projekten sollen hauptsächlich Forschungspublikationen und Doktorarbeiten hervorgehen. Ferner werden auch Werkzeuge entwickelt und implementiert. Die anwendungszentrierten Projekte konzentrieren sich darauf, Demonstratoren zu erstellen und diese mit Öffentlichkeit, Behörden sowie Industrie zu diskutieren.

In den letzten Jahren hat KI ein rasantes Wachstum hinsichtlich Leistung und Anwendungsbereichen erfahren. Es gibt jedoch immer noch viele Herausforderungen, die noch nicht durch erschöpfende Lösungen angegangen wurden. Innerhalb von SenPAI sind die folgenden Aspekte von KI und Sicherheit potenzielle Forschungsziele: