Lektionen aus der Entwicklung einer unsicheren KI-Anwendung

Im Zuge unserer Auseinandersetzung mit KI-Sicherheit, besonders in Bezug auf Large Language Models (LLMs) haben wir eine bewusst unsichere KI-Anwendung entwickelt. Diese haben wir auf GitHub veröffentlicht und nutzen Sie, um unseren Kunden Risiken und mögliche Schwachstellen beim Einsatz von KI-Anwendungen aufzuzeigen. Das fertige Projekt zum selbst Testen findet sich hier auf GitHub: https://github.com/NSIDE-ATTACK-LOGIC/Professional-Secure-AI-Bot

Die App sieht so aus:

Neben den Schwachstellen, welche die Applikation verdeutlicht, gab es auch bei der Entwicklung selbst einige spannende Erkenntnisse, welche ich in diesem Blog kurz zusammen fassen möchte.

KI kann alles außer zuhören

Um Schwachstellen zu demonstrieren, müssen (unzureichende) Sicherheitsmaßnahmen in die Anwendung eingebaut werden, welche im Anschluss überwunden werden. Da LLMs mit menschlicher Sprache funktionieren, ist es verlockend, diesen Modellen klare (so denkt man) Anweisungen in menschlicher Sprache […]

Von Paul Zenker|2024-06-24T10:02:11+02:0019. Juni 2024|

Credential Stealing trotz Windows Defender Attack Surface Reduction

Seit Windows 10 Version 1709 bringt der Windows Defender sogenannte „Attack Surface Reduction“ (ASR) Regeln mit. Diese Regeln dienen dazu – wie der Name bereits vermuten lässt – die generelle Angriffsfläche eines Systems zu reduzieren. Basierend auf einem Auszug der offiziellen Dokumentation werden hierzu unter anderem folgende Verhaltensmuster von Anwendungen überwacht:

Starten von ausführbaren Dateien und Skripten, die versuchen, andere Dateien herunterzuladen und/oder auszuführen
Ausführen von obfuskierten oder anderweitig verdächtigen Skripten
Verhaltensweisen, die bei Anwendungen im normalen Arbeitsalltag nicht vorkommen

In der Dokumentation findet sich außerdem eine Tabelle, in welcher alle derzeit verfügbaren ASR-Regeln samt einer zugehörigen ID aufgelistet sind. Eine Vielzahl der Regeln zielt auf die Erstellung von neuen Prozessen und die Makro-Funktionalität von Office-Anwendungen ab. Letzteres hat in der […]

Von NSIDE|2026-01-12T12:25:31+01:0012. Juni 2024|

Spiderfoot – Die Spinne im Netz der Daten

Auch wenn man bei einer offensiven Sicherheitsfirma, wie wir es sind, oftmals an den Angriff selbst denkt, also das Eindringen ins Netzwerk und das Hangeln und Springen über verschiedene Accounts, Computer und Server. Aber um solche Angriffe realistisch durchzuführen, sammeln unsere Analysten erstmal viele öffentlich verfügbare Daten aus dem Internet. Über diesen Prozess haben wir in den folgenden Artikeln schon ausführlich berichtet:

Open Source Intelli g ence (OSINT)

Tar g eted Threat Intelli g ence (TTI)

Für diese Arten der Angriffsvorbereitung ist es oftmals erforderlich, eine Menge Daten aus vielen Quellen zu sammeln und geordnet zusammenzutragen. Dies erfordert unter Umständen eine große Menge manueller Arbeit und daher automatisieren wir in diesem Bereich gerne viel. […]

Von Paul Zenker|2026-01-12T12:02:34+01:0016. April 2024|

TURN-Server – Standard für Videokonferenzen und Einfallstor – Teil 2

Dies ist der weiterführende Artikel einer zweiteiligen Serie zur Sicherheit von STUN und TURN und beschäftigt sich mit dem Thema eines Beispiel-Angriffs auf ein anfälliges System und die möglichen Auswirkungen. Den ersten Teil finden Sie hier.

TURN-Server sind in unserer modernen Zeit kaum mehr wegzudenken. Für viele aktuelle Softwareprodukte die auf WebRTC setzen, werden TURN-Server als Komponente eingesetzt, um die Kommunikation von Client und Servern über NAT-Grenzen hinweg zu realisieren. So werden TURN-Server oft in Kombination mit Nextcloud Talk, Jitsi Meet, Matrix, SIP-Telefonanlagen und vielen weiteren Produkten betrieben. Ein TURN-Server kann dabei jedoch bei einer Fehlkonfiguration eine potenzielle Schwachstelle darstellen, wie in Teil 1 der Artikel-Reihe bereits dargestellt wurde. In dem ersten Teil können Sie zudem eine Anleitung zur Vermeidung der Schwachstelle anhand […]

Von Christoph Peil|2024-04-08T10:12:57+02:008. April 2024|

TURN-Server – Standard für Videokonferenzen und Einfallstor

Dies ist der Auftaktartikel einer zweiteiligen Serie zur Sicherheit von STUN und TURN und beschäftigt sich mit dem Thema der Identifikation von anfälligen Systemen und deren Absicherung.

Datenschutz und Selbstbestimmung über die eigenen Daten sind in Deutschland und Europa ein sehr hoch angesehenes und wichtiges Gut. Unter anderem aus diesem Grund setzen hierzulande seit 2020 immer mehr Unternehmen auf selbst gehostete Videokonferenzsysteme, statt auf meist amerikanische Anbieter wie Cisco Webex oder Microsoft Teams. Insbesondere die Open Source Software Jitsi Meet hat sich hervorgetan und wird oft als Standalone-Lösung oder aber kombiniert mit weiterer Software wie zum Beispiel Matrix genutzt. Damit die Nutzung für jeden jedoch einwandfrei funktioniert, sind meist auch sog. TURN-Server konfiguriert.

Was ist TURN? Und warum kann ein TURN-Server ein Einfallstor sein?

TURN […]

Von Christoph Peil|2024-04-04T10:57:06+02:003. April 2024|

Netzwerke kartografieren: Im Red Teaming die Übersicht behalten

Eine Übersicht über das lokale Netzwerk mit allen angeschlossenen Geräten und offenen Diensten ist unerlässlich. In offensiven Sicherheitsüberprüfungen wie Red Teaming und Penetrationstests wie auch in Blue Teams und der IT-Administration liefert eine Übersicht über das Netzwerk im Idealfall detaillierten Aufschluss über die Struktur und Funktionalität des Netzwerkes, die potenzielle Angriffsoberfläche, und ermöglicht das effektive Suchen von angreifbaren Schwachstellen.

Je nach Anwendungsfall stehen dabei verschiedene Programme zur Verfügung, um eine Karte des Netzwerkes zu erstellen und zu warten. So ist es beim Red Teaming und Pentesten wichtig und spannend in Erfahrung zu bringen und zu kartografieren, wie sich das erreichbare Netzwerk von dem initialen Netzwerkzugang aus darstellt. Als ein zentraler Punkt der Informationsgewinnung im ganzheitlichen Red Teaming können dadurch Angriffspfade aufgedeckt und […]

Von Christoph Peil|2024-04-04T09:35:51+02:0026. März 2024|

LockBit – Pentest mit verspätetem Angebot (Update am 07.05.2024)

In den aktuellen Nachrichten zum Thema Cybersicherheit hat man oft das Gefühl, dass sich Ransomware zu einem traurigen Nebenrauschen entwickelt. Sicher ist es kein Nebenrauschen für die Betroffenen und die Behörden, welche gegen den unglaublichen Sturm an neuen Angriffen kämpfen. Dennoch ist es fast unmöglich für alle Interessierten am Thema Cybersecurity, bei der Flut an Vorfällen, neuen Varianten und Opfern noch den Überblick zu behalten.

Eine Gruppe jedoch sorgt mit hoher Treffsicherheit immer wieder für aufsehenerregende Neuigkeiten und das ist LockBit. Die seit September 2019 aktive Gruppe ist einer der bekanntesten Namen und Trendsetter im Bereich Ransomware und erst neulich sorgten sie wieder für jede Menge Wirbel in den Nachrichten. […]

Von Paul Zenker|2026-01-12T12:25:31+01:0029. Februar 2024|

Cloud Security: Herausforderungen, Verantwortlichkeiten und Best Practices

Der verstärkte Übergang von Unternehmen zu vollständig digitalen Umgebungen geht einher mit einer wachsenden Beliebtheit von Cloud Computing. Doch dieser Wandel birgt zusätzliche Risiken für die Cybersicherheit, weshalb ein tiefgehendes Verständnis der Bedeutung von Cloud-Sicherheit für die Unternehmenssicherheit entscheidend ist.

Im Laufe der Jahre sind die Sicherheitsbedrohungen komplexer geworden, und jährlich treten neue Angreifer auf den Plan. In der Cloud kann rund um die Uhr aus der Ferne auf alle Komponenten zugegriffen werden, was ohne eine angemessene Sicherheitsstrategie potenziell permanent Daten gefährden kann. Laut dem 2023 Global Threat Report von CrowdStrike hat die Anzahl der Cloud-Angriffe im Jahr 2022 um 95% zugenommen. Die Fälle von Cloud-Angriffen haben sich im Vergleich zu 2021 fast verdreifacht, wobei die durchschnittlichen Kosten einer Datenschutzverletzung von 3,86 Millionen US-Dollar im […]

Von NSIDE|2026-01-12T12:25:29+01:005. Februar 2024|

Was ist Targeted Threat Intelligence (TTI)

„Sun-Tzu (Die Kunst des Krieges): Wenn du den Feind kennst und dich selbst kennst, brauchst du den Ausgang keines Kampfes fürchten.“

Eigentlich erklärt dieses Zitat ziemlich genau, was Targeted Threat Intelligence (TTI) bedeutet, aber der Reihe nach.

TTI besteht, wie der Name schon sagt, aus 2 Komponenten. Der Threat Intelligence und dem „Targeted“-Part, den wir als „Target Intelligence“ bezeichnen wollen, auch wenn das kein fest-stehender Begriff ist. Um das klar zu stellen, wir reden hier selbstverständlich ausschließlich über CYBER Intelligence und wollen in diesem Einsteiger-Artikel versuchen die Bereiche der TTI in einfacher deutscher Sprache grob zu erklären. […]

Von NSIDE|2024-04-03T10:51:05+02:0029. Januar 2024|

Case-Study: Wie ein Wartungsupdate kritische Schwachstellen behebt (ActiveMQ)

In einem kürzlich durchgeführten Kundenprojekt stießen wir auf eine Apache ActiveMQ-Instanz, die für die Schwachstelle CVE-2023-46604 verwundbar war. Diese erlaubt es Angreifern mit Netzwerkzugriff auf die OpenWire-Schnittstelle (üblicherweise TCP-Port 61616), beliebige Befehle auf Betriebssystemebene auszuführen, ohne dabei ein Passwort oder einen Schlüssel angeben zu müssen.

Eine solche sogenannte “Remote-Code-Execution”-Schwachstelle, kurz “RCE”, stellt häufig ein hohes Risiko dar, da Angreifer mit einem solchen Zugriff oft in der Anwendung selbst implementierte Zugangsbeschränkungen umgehen können sowie potenziell Angriffe gegen andere Systeme durchführen können. Auch die Schwachstelle CVE-2023-46604 wurde mit einem maximalen CVSS-Risiko-Score von 10.0 bewertet. Schwachstellendetails sowie Proof-of-Concept-Exploits waren zum Testzeitpunkt bereits publik, mittlerweile hat das BSI sogar eine Warnung herausgegeben, da die Schwachstelle im Internet aktiv ausgenutzt wird.

Nachdem wir die Verwundbarkeit im vorliegenden Fall manuell verifiziert […]

Von Jonas Lieb|2024-03-26T17:36:00+01:0024. Januar 2024|

Red Team Assessment

Penetrationstest

Trainings & Workshops

BLEIBEN SIE AUF DEM LAUFENDEN