Content Agnostic Malware Detection in Networks
Paketinhaltsunabhängige Schadsoftwareerkennung in Netzwerken
von Florian Tegeler
Datum der mündl. Prüfung:2012-05-08
Erschienen:2012-07-04
Betreuer:Prof. Dr. Xiaoming Fu
Gutachter:Prof. Dr. Xiaoming Fu
Gutachter:Prof. Dr. Christopher Kruegel
Dateien
Name:tegeler.pdf
Size:1.46Mb
Format:PDF
Zusammenfassung
Englisch
Bots are the root cause of many security problems on the Internet - they send spam, steal information from infected machines, and perform distributed denial of service attacks. Given their security impact, it is not surprising that a large number of techniques have been proposed that aim to detect and mitigate bots, both network-based and host-based approaches. Detecting bots at the network-level has a number of advantages over host based solutions, as it allows for the efficient analysis of a large number of hosts without the need for any end point installation. Currently, network-based botnet detection techniques often target the command and control traffic between the bots and their botmaster. Moreover, a significant majority of these techniques are based on the analysis of packet payloads. The proposed approaches range from simple pattern matching against signatures to structural analysis of command and control communication. Unfortunately, deep packet inspection is rendered increasingly ineffective as malware authors start to use obfuscated or encrypted command and control connections. This thesis presents BotFinder, a novel system that can detect individual, malware-infected hosts in a network, based solely on the statistical patterns of the network traffic they generate, without relying on content analysis. BotFinder uses machine learning techniques to identify the key features of command and control communications, based on observing traffic that bots produce in a controlled environment. Using these features, BotFinder creates models that can be deployed at edge routers to identify infected hosts. The system was trained on several different bot families and evaluated on real-worldtraffic datasets - most notably, the NetFlow information of a large ISP that contains more than 25 billion flows, which correspond to approximately half a Petabyte of network traffic. The results show that BotFinder achieves high detection rates with very low false positives.
Keywords: Security; Malware Detection; NetFlow Analysis; BotFinder; Bots
Weitere Sprachen
Bots sind verantwortlich für viele Sicherheitsprobleme im Internet - sie versenden Spam, stehlen Informationen von infizierten Rechnern und führen verteilte Denial-of-Service-Attacken aus. In Anbetracht ihrer Sicherheitsauswirkungen ist es nicht verwunderlich, dass eine große Anzahl von Techniken zur Boterkennung und Einflussminderung vorgeschlagen wurden. Hierzu zählen sowohl Netzwerk- als auch Endhost-basierte Ansätze.
Bots auf dem Netzwerk-Level zu erkennen ist vorteilhaft gegenüber Host-basierten Lösungen, da hierdurch die effiziente Analyse vieler Hosts ohne die Notwendigkeit von Endhost-Installationen ermöglicht wird. Derzeitige Netzwerk-basierte Botnet-Nachweisverfahren zielen darauf ab, den Command-and-Control-Traffic zwischen den Bots und ihrem Botmaster auszunutzen. Die deutliche Mehrheit dieser Verfahren basiert hierbei auf der Analyse von Paketnutzlasten, wobei die vorgeschlagenen Ansätze von der einfachen signaturbasierten Mustererkennung bis hin zur strukturellen Analyse von Command-and-Control-Traffic reichen. Leider wird die verwendete Inspektion der Paketnutzlasten zunehmend wirkungslos, da Schadsoftware-Autoren begonnen haben, die Kommunikation zu verschleiern oder zu verschlüsseln.
Diese Arbeit stellt BotFinder vor - ein neuartiges System, das individuelle Schadsoftware-infizierte Rechner in einem Netzwerk erkennen kann und ausschließlich auf den statistischen Mustern ihres Netzwerkverkehrs arbeitet ohne Paketinhalte zu analysieren. BotFinder nutzt Techniken des maschinellen Lernens um die wesentlichen Merkmale von Command-and-Control-Kommunikation zu abzuleiten. Das Lernen erfolgt dabei auf vorab beobachtetem Netzwerkverkehr des Bots innerhalb einer kontrollierten Umgebung. Als Ergebnis erzeugt BotFinder Modelle, die auf Edge-Routern zur Identifikation infizierter Hosts im Netzwerk eingesetzt werden können. Das System wurde auf verschiedenen Bot-Familien trainiert und die Erkennungsrate für Bots auf realem Netzwerkverkehr getestet. Erwähnenswert ist hierbei insbesondere die Analyse auf den NetFlow-Daten eines großen Internet-Service-Providers, die mehr als 25 Milliarden Verbindungen enthalten, was circa einem halben Petabyte Netzwerknutzlast entspricht. Die Ergebnisse zeigen, dass BotFinder hohe Erkennungsraten bei gleichzeitig sehr niedriger Fehlerrate erreicht.
Schlagwörter: Sicherheit; Schadsoftware Erkennung; NetFlow Analyse; BotFinder; Bots