Künstliche Intelligenz (KI) und besonders das Teilgebiet maschinelles Lernen (ML), welches am häufigsten durch sogenannte Large Language Models (LLM) repräsentiert wird, kommt in immer mehr Unternehmen zur Steigerung der Effektivität und Effizienz zum Einsatz. Die verwendeten Modelle versprechen durch ihre einfache Bedienbarkeit ebenso wie eine gleichzeitige sehr hohe Vielfältigkeit in der Anwendung viele Vorteile. Um einen maximalen Mehrwert zu bringen, benötigen solche Modelle meist Zugang zu unternehmensinternen und häufig als sensibel eingestuften Informationen und Anwendungen oder müssen auf entsprechender Datengrundlage trainiert werden.

Dies birgt Kombinationen alter und bekannter als auch völlig neuer Arten von Schwachstellen. Im Rahmen eines eigens entwickelten Testkatalogs für diese Art der Penetrationstests untersuchen Spezialisten der NSIDE ihren KI-Assistenten auf Schwachstellen in Anlehnung an die Kategorien aus dem weitläufig anerkannten „OWASP Top 10 for Large Language Model Applications“-Framework. Dieses beinhaltet unter anderem die folgenden Kategorien:

  1. Injection Angriffe wie direkte und indirekte Prompt-Injection
  2. Offenlegung sensibler Informationen
  3. Schwachstellen in der Supply Chain und im verwendeten Basismodell
  4. Data und Model Poisoning
  5. Unsachgemäße Integration der Ausgabe
  6. Übermäßig hohe Berechtigungen
  7. Fachgebietsbetreffende Verbreitung von Falschinformationen
  8. Generelle Überprüfung der Compliance mit dem EU-AI Act

Insofern Ihr Modell per Funktion, Tool oder Pipeline an weitere Systeme angeschlossen ist, wird auf Wunsch die Anbindung selbst ebenso wie die Datenverarbeitung und Kommunikation des angebundenen Systems mitsamt der Möglichkeiten des Zugriffes ebenfalls auf Schwachstellen untersucht, sodass Sie einen ganzheitlichen Blick auf die Sicherheit Ihrer Systeme erhalten. Im Falle der Anbindung per API an beispielsweise eine Datenbank wird diese API im Rahmen eines Tests auf unter anderem Schwachstellenkategorien aus dem „OWASP Top 10 API Security Risk“-Testkatalog untersucht. Auch die Datenbankkonfiguration selbst würde in diesem Zuge analysiert werden.

Von besonderer Relevanz ist auch, dass schon bei der Entwicklung und dem Betrieb interner Chatbots und LLMs von Beginn der Konzeption an die Sicherheit im Blick behalten werden muss. Wird dies nicht beachtet, können hohe Kosten anfallen, um ein bereits trainiertes LLM sensible Daten wieder „vergessen“ zu lassen. Je nach Umfang kann sogar ein Neutraining eines weiteren Modells mit bereinigten Trainingsdatensätzen als einzig mögliche Lösung resultieren. Damit dieser Fall nicht eintritt, bieten wir Ihnen unter anderem die folgenden Dienstleistungen zur Unterstützung der Planung und Umsetzung eines eigenen KI-Agenten in Ihrem Unternehmen an:

  • Beratung zur Konzeption Ihres Projektes
  • Einstufung Ihres Projektkonzeptes im Rahmen der Compliance bezüglich des EU AI Acts
  • Analyse der Trainingsdatensätze auf Grundlage Ihres Konzeptes
  • Awareness-Schulung Ihrer Mitarbeiter zum sicheren Umgang mit jeglicher Form von KI & Chatbots auch im Rahmen der Anforderungen des „EU AI Acts“
  • Livehacks mit Demonstration der Auswirkung von Schwachstellen (Auszug aus den OWASP LLM TOP 10)
  • Penetrationstests gegen KI-Applikationen und Chatbots (Black- und Whiteboxtests)
  • Analyse der (Mobil-) Anwendungsintegration Ihrer KI

NSIDE AI-LAB

Das NSIDE AI Security Lab beschäftigt sich mit dem Einsatz von LLMs im Bereich der IT-Sicherheit ebenso wie der Entwicklung weiterführender und unauffälliger Angriffsmöglichkeiten für den Bereich des Red-Teamings in einer kontrollierten Testumgebung. Gefundene Jailbreaks als auch weitere Angriffsmethoden werden anschließend für die Verbesserung der Penetrationstests eingesetzt. Dies versichert Ihnen eine Evaluation Ihrer KI-Assistenten auf höchstem technischem Niveau durch die Sicherheitsanalysten der NSIDE. Auf Wunsch vergleichen wir in diesem Zuge gerne auch die Effektivität unterschiedlicher Sicherheitslösungen bezüglich bekannter Angriffskategorien bevor diese in Ihrer Produktivumgebung zum Einsatz kommen.

NSIDE ATTACK LOGIC – Ihr Partner für KI-Sicherheit

Sie haben ein eigenes Konzept implementiert und möchten dieses auf dessen Sicherheit untersuchen oder suchen nach weiteren spezialisierteren Dienstleistungen im Bereich der KI-Sicherheit? Kontaktieren Sie uns und wir setzen uns zeitnah mit Ihnen in Verbindung.

OFFENSIVE CYBER SECURITY

Kontaktieren Sie uns, um Ihre Sicherheitslücken zu finden und zu schließen.