![\"How](\"https:\/\/media.kasperskydaily.com\/wp-content\/uploads\/sites\/96\/2016\/11\/06134234\/machine-learning-featured-1-1024x672.jpg\")
<\/a><\/p>\nBei Technologie geht es um Schnelligkeit und Konsistenz, und nicht um Tricks. Und maschinelles Lernen basiert auf Technologie, wodurch es einfach zu erkl\u00e4ren ist. Also, gehen wir ans Werk: Wir werden ein wahres Problem durch einen funktionierenden Algorithmus l\u00f6sen \u2013 einen Algorithmus, der auf maschinellem Lernen basiert. Das Konzept ist recht einfach und liefert wahre, wertvolle Einblicke.<\/p>\n
Problem: Einen bedeutungsvollen Text von Kauderwelsch zu unterscheiden<\/strong><\/h3>\nMenschlicher Text (in diesem Fall, Text von Terry Pratchett) k\u00f6nnte so aussehen:<\/p>\n
Give a man a fire and he's warm for the day. But set fire to him and he's warm for the rest of his life (Gib einem Mann Feuer, und er hat es einen Tag lang warm. Steck ihn in Brand, und er hat es warm f\u00fcr den Rest seines Lebens)<\/code>
\nIt is well known that a vital ingredient of success is not knowing that what you're attempting can't be done (Eine wichtige Zutat f\u00fcr Erfolg ist, nicht zu wissen, dass das, was man tun, unm\u00f6glich ist)<\/code>
\nThe trouble with having an open mind, of course, is that people will insist on coming along and trying to put things in it (Das Problem mit einem offenen Geist ist, nat\u00fcrlich, dass Leute darauf bestehen werden, anzukommen und zu versuchen, Dinge hineinzustecken)<\/code><\/p>\nKauderwelsch sieht so aus:<\/p>\n
DFgdgfkljhdfnmn vdfkjdfk kdfjkswjhwiuerwp2ijnsd,mfns sdlfkls wkjgwl<\/code>
\nreoigh dfjdkjfhgdjbgk nretSRGsgkjdxfhgkdjfg gkfdgkoi<\/code>
\ndfgldfkjgreiut rtyuiokjhg cvbnrtyu<\/code><\/p>\nUnsere Aufgabe ist es, Algorithmen f\u00fcr maschinelles Lernen zu entwickeln.<\/strong><\/p>\nObwohl es f\u00fcr Menschen belanglos ist, ist diese Aufgabe eine echte Herausforderung. Es ist nicht einfach, den Unterschied darzulegen. Hier benutzen wir maschinelles Lernen: Wir f\u00fcttern den Algorithmus mit ein paar Beispielen und lassen ihn \u201elernen\u201c, verl\u00e4sslich auf die Frage \u201eIst es eine menschliche Sprache oder Kauderwelsch?\u201c zu antworten. Genau das passiert jedes Mal, wenn ein reales Antivirusprogramm eine Datei analysiert.<\/p>\n
Da wir den Bereich der IT-Sicherheit abdecken und die Hauptaufgabe einer Antivirussoftware das Aufsp\u00fcren von sch\u00e4dlichem Code in einer riesigen Menge von sauberen Daten ist, bezeichnen wir bedeutungsvollen Text als \u201esauber\u201c und Kauderwelsch als \u201esch\u00e4dlich\u201c.<\/p>\n
L\u00f6sung: Verwendung eines Algorithmus<\/strong><\/h3>\nUnser Algorithmus wird die Frequenz von einem bestimmten Buchstaben, auf den ein anderer bestimmter Buchstabe folgt, berechnen, und die m\u00f6glichen Buchstabenpaare analysieren. So k\u00f6nnte z. B. f\u00fcr unseren ersten Satz \u201eGive a man a fire and he\u2019s warm for the day. But set fire to him and he\u2019s warm for the rest of his life\u201c, von dem wir wissen, dass er sauber ist, die Frequenz von bestimmten Buchstabenpaaren wie folgt aussehen:<\/p>\n
Bu \u2014 1
\nGi \u2014 1
\nan \u2014 3
\nar \u2014 2
\nay \u2014 1
\nda \u2014 1
\nes \u2014 1
\net \u2014 1
\nfe \u2014 1
\nfi \u2014 2
\nfo \u2014 2
\nhe \u2014 4
\nhi \u2014 2
\nif \u2014 1
\nim \u2014 1<\/p>\n
Um es einfach zu halten, ignorieren wir Satz- und Leerzeichen. Also folgt in einem Satz auf \u201ea\u201c dreimal \u201en\u201c, auf \u201ef\u201c zweimal \u201ei\u201c und auf \u201ei\u201c einmal \u201ey\u201c.<\/p>\n
An diesem Punkt verstehen wir, dass ein Satz nicht ausreicht, damit unser Model lernt: Wir m\u00fcssen einen l\u00e4ngeren Text analysieren. Also z\u00e4hlen wir die Buchstabenpaare in der englischen Ausgabe von \u201eVom Winde verweht\u201c von Margaret Mitchell \u2014 oder die ersten 20 % des Buches. Hier haben wir ein paar von ihnen:<\/p>\n
he \u2014 11460
\nth \u2014 9260
\ner \u2014 7089
\nin \u2014 6515
\nan \u2014 6214
\nnd \u2014 4746
\nre \u2014 4203
\nou \u2014 4176
\nwa \u2014 2166
\nsh \u2014 2161
\nea \u2014 2146
\nnt \u2014 2144
\nwc \u2014 1<\/p>\n
Wie Sie sehe k\u00f6nnen, ist die Wahrscheinlichkeit der Kombination \u201ehe\u201c doppelt so hoch wie die von \u201ean\u201c. Und \u201ewc\u201c kommt nur einmal vor (in\u00a0newcomer<\/em>).<\/p>\nAlso haben wir ein Modell f\u00fcr sauberen Text, aber wir wenden wir es an? Zun\u00e4chst definieren wir, um die Wahrscheinlichkeit daf\u00fcr, ob eine Zeile sauber oder sch\u00e4dlich ist, festzulegen, die \u201eAuthentizit\u00e4t\u201c. Wir definieren die Frequenz jedes Buchstabenpaars mithilfe eines Modells (durch Abw\u00e4gung, wie realistisch die Buchstabenkombination ist) und dann multiplizieren wir diese Zahl:<\/p>\n
F(Gi) * F(iv) * F(ve) * F(e ) * F( a) * F(a ) * F( m) * F(ma) * F(an) * F(n ) * \u2026<\/code>
\n6 * 364 * 2339 * 13606 * 8751 * 1947 * 2665 * 1149 * 6214 * 5043 * \u2026<\/code><\/p>\nDurch Bestimmung des letzten Authentizit\u00e4tswerts k\u00f6nnen wir auch die Anzahl der Zeichen in einer Zeile betrachten: Je l\u00e4nger die Zeile ist, desto mehr Zahlen werden multipliziert. Damit dieser Wert f\u00fcr kurze und lange Zeilen gleicherma\u00dfen geeignet ist, wenden wir ein wenig mathematische Magie an (wir ziehen die Wurzel des Werts \u201efragliche Zeilenl\u00e4nge minus eins\u201c vom Ergebnis).<\/p>\n
Wie funktioniert maschinelles Lernen? Wir erkl\u00e4ren es in unserem Blog<\/p>Tweet<\/a><\/blockquote>\nVerwendung des Modells<\/h3>\n
Jetzt k\u00f6nnen wir ein paar Schl\u00fcsse ziehen: Je h\u00f6her die berechnete Zahl ist, desto besser passt die fragliche Zeile zu unserem Modell \u2014 und folglich: desto gr\u00f6\u00dfer ist die \u00c4hnlichkeit daf\u00fcr, dass er von einem Menschen geschrieben wurde. Wenn der Text eine h\u00f6here Zahl ergibt, nennen wir sie \u201esauber\u201c.<\/p>\n
Wenn die fragliche Zeile eine verd\u00e4chtig lange Anzahl von ungew\u00f6hnlichen Kombinationen enth\u00e4lt (wie\u00a0wx<\/em>,\u00a0zg<\/em>,\u00a0yq<\/em>, usw.), ist sie wahrscheinlich sch\u00e4dlich.<\/p>\nF\u00fcr die Zeile, die wir f\u00fcr die Analyse verwenden, messen wir die Wahrscheinlichkeit (\u201eAuthentizit\u00e4t\u201c) in Punkten:<\/p>\n
Give a man a fire and he's warm for the day. But set fire to him and he's warm for the rest of his life<\/code>\u00a0\u2014 1984 Punkte\u00a0<\/code>
\nIt is well known that a vital ingredient of success is not knowing that what you're attempting can't be done<\/code>\u00a0\u2014 1601 Punkte\u00a0<\/code>
\nThe trouble with having an open mind, of course, is that people will insist on coming along and trying to put things in it<\/code>\u00a0\u2014 2460\u00a0Punkte<\/code>
\nDFgdgfkljhdfnmn vdfkjdfk kdfjkswjhwiuerwp2ijnsd,mfns sdlfkls wkjgwl \u2014 16\u00a0Punkte<\/code>
\nreoigh dfjdkjfhgdjbgk nretSRGsgkjdxfhgkdjfg gkfdgkoi \u2014 9\u00a0Punkte<\/code>
\ndfgldfkjgreiut rtyuiokjhg cvbnrtyu \u2014 43\u00a0Punkte<\/code><\/p>\nWie Sie sehen k\u00f6nnen, erhalten saubere<\/em> Zeilen \u00fcber 1.000 Punkte und\u00a0sch\u00e4dliche<\/em>\u00a0erreichen nicht einmal 100 Punkte. Es scheint, als wenn unser Algorithmus wie erwartet funktioniert.<\/p>\nUm hohe und niedrige Punkte in einen Kontext zu bringen, ist es am besten, diese Aufgabe einer Maschine zu \u00fcbertragen, und sie lernen zu lassen. Daf\u00fcr legen wir mehrere reale, saubere Zeilen vor und berechnen ihre Authentizit\u00e4t und \u00fcbermitteln dann ein paar sch\u00e4dliche Zeilen und wiederholen den Prozess. Dann berechnen wir die Basis f\u00fcr die Evaluation. In unserem Fall sind dies 500 Punkte.<\/p>\n
Im wahren Leben<\/h3>\n
Lassen Sie uns das zusammenfassen, was wir soeben durchgef\u00fchrt haben.<\/p>\n
1. Wir definierten die Eigenschaften von sauberen Zeilen (d. h. Zeichenpaare).<\/strong><\/b><\/p>\nIm wahren Leben definieren Analysten, wenn sie ein Antivirus-Programm entwickeln, die Eingeschalten von Dateien und anderen Objekten. \u00dcbrigens sind ihre Beitr\u00e4ge wichtig: Es ist noch immer die Aufgabe eines Menschen, die in der Analyse zu bewertenden Eigenschaften festzulegen, und das Fachwissen und die Erfahrung des Forschers beeinflusst direkt die Qualit\u00e4t der Eigenschaften. Wer bestimmt z. B., dass Zweierpaare und nicht Dreiergruppen analysiert werden m\u00fcssen? Solche hypothetischen Annahmen werden ebenfalls in Antivirus-Laboratorien bestimmt. Ich sollte hier erw\u00e4hnen, dass wir bei Kaspersky Lab maschinelles Lernen verwenden, um die besten und erg\u00e4nzensten Eigenschaften auszuw\u00e4hlen.<\/p>\n
2. Wir verwendeten die definierten Indikatoren, um ein mathematisches Modell zu erstellen, das wir mit einigen Beispielen lernen lie\u00dfen.<\/strong><\/b><\/p>\nNat\u00fcrlich sind die Modelle in Wahrheit etwas komplexer. Die besten Ergebnisse kommen von einem Entscheidungsbaum, der mit der Technik\u00a0Gradient Boosting<\/a>\u00a0erstellt wurde, aber da wir nach Perfektion streben, k\u00f6nnen wir nicht einfach rumsitzen und das Beste, das es heute gibt, akzeptieren.<\/p>\n3. Wir verwendeten ein einfaches mathematisches Modell, um die Authentizit\u00e4tsbewertung zu berechnen.<\/strong><\/b><\/p>\nUm ehrlich zu sein, machen wir in Wahrheit genau das Gegenteil: Wir berechnen die \u201esch\u00e4dliche\u201c Bewertung. Das klingt vielleicht nach keinem gro\u00dfen Unterschied, aber stellen Sie sich vor, wie unecht eine Zeile in einer anderen Sprache oder einem anderen Alphabet in unserem Modell wirken w\u00fcrde. Aber f\u00fcr einen Antivirus ist es inakzeptabel, beim \u00dcberpr\u00fcfen von neuen Dateiklassen falsche Antworten anzubieten, weil er sie bisher noch nicht kennt.<\/p>\n
Was ist die Alternative zu maschinellem Lernen?<\/h3>\n
Vor ca. 20 Jahren, als es noch weniger Malware gab, konnte \u201eKauderwelsch\u201c einfach durch Signaturen erkannt werden (Unterscheidungsfragmente). Im obigen Beispiel k\u00f6nnte die Signatur wie folgt aussehen:<\/p>\n
DFgdgfkljhdfnmn vdfkjdfk kdfjkswjhwiuerwp2ij<\/b>nsd,mfns sdlfkls wkjgwl<\/code>
\nreoigh dfjdkjfhgdjbgk nretSRGsgkjdxfhg<\/b>kdjfg gkfdgkoi<\/code><\/p>\nEin Antivirusprogramm, das die Datei scannt und\u00a0erwp2ij<\/strong>\u00a0findet, w\u00fcrde feststellen: \u201eAha, das ist Kauderwelsch #17.\u201c Wenn es\u00a0gkjdxfhg<\/strong> findet, w\u00fcrde es Kauderwelsch #139 erkennen.<\/p>\nDann, vor etwa 15 Jahren, als die Anzahl von Malware-Beispielen deutlich gestiegen war, stand \u201egenetische\u201c Erkennung im Mittepunkt. Ein Virusanalyst legte die Regeln fest, die, wenn sie auf sinnvollen Text angewandt wurden, ungef\u00e4hr wie folgt aussahen:<\/p>\n
1. Die L\u00e4nge eines Worts sollte zwischen 1 und 20 Zeichen betragen.<\/p>\n
2. Gro\u00dfbuchstaben und Zahlen stehen selten in der Mitte eines Wortes.<\/p>\n
3. Vokale werden relativ gleichm\u00e4\u00dfig mit Konsonanten gemischt.<\/p>\n
Usw. Sollte eine Zeile mit einer dieser Regeln nicht \u00fcbereinstimmen, wird sie als sch\u00e4dlich erkannt.<\/p>\n
Im Wesentlichen funktioniert das Prinzip genau so, aber in diesem Fall wurden Regeln, die Analysten selbst geschrieben hatten, durch ein mathematisches Modell ersetzt.<\/p>\n
Und dann, vor etwa 10 Jahren, als die Anzahl von Malware ein zuvor unvorstellbares Niveau \u00fcberstieg, fanden auf maschinellem Lernen basierte Algorithmen langsam ihren Weg in Antivirus-Programme. Zun\u00e4chst \u00fcbertraf ihre Komplexit\u00e4t die zuvor erw\u00e4hnten Beispiele nicht all zu sehr. Aber dann suchten wir aktiv nach Spezialisten und erweiterten unser Fachwissen. Dadurch bieten unsere Antivirusprogramme eine Erfassung auf\u00a0h\u00f6chstem Niveau<\/a>.<\/p>\nHeute w\u00fcrde kein Antivirus ohne maschinelles Lernen funktionieren. Wenn man Erfassungsmethoden vergleicht, w\u00fcrde maschinelles Lernen an moderne Techniken, wie Verhaltensanalyse, ankn\u00fcpfen. Jedoch verwendet Verhaltensanalyse maschinelles Lernen! Insgesamt ist maschinelles Lernen f\u00fcr einen effektiven Schutz essentiell. Punkt.<\/p>\n
Nachteile<\/h3>\n
Maschinelles Lernen hat so viele Vorteile \u2013 handelt es sich um ein Allheilmittel? Nun, nicht wirklich. Die Methode funktioniert effektiv, wenn der zuvor erw\u00e4hnte Algorithmus in einer Cloud oder einer Art Infrastruktur funktioniert, der von der Analyse vieler sauberer<\/em> und sch\u00e4dlicher<\/em> Objekte lernt.<\/p>\nEs hilft auch, ein Expertenteam zu haben, das den Lernprozess \u00fcberwacht und jedes Mal eingreift, wenn es einen Unterschied zu seiner Erfahrung feststellt.<\/p>\n
In diesem Fall werden Nachteile reduziert \u2013 bis hin zu einem: eine ben\u00f6tigte kostspielige Infrastruktur und ein hochbezahltes Expertenteam.<\/p>\n
Wenn jemand Kosten drastisch reduzieren m\u00f6chte und nur das mathematische Modell allein auf der Produktseite benutzen m\u00f6chte, k\u00f6nnte das schiefgehen.<\/p>\n
1. Falsch positiv.<\/strong><\/b><\/p>\nBei einer auf maschinellem Lernen basierter Erfassung geht es immer darum, einen Optimalpunkt zwischen den Niveaus der erfassten Objekte und das Level falschpositiver Ergebnisse zu finden. Sollten wir die Erfassung erweitern, k\u00f6nnte es eventuell mehr falschpositive Ergebnisse geben. Bei maschinellem Lernen k\u00f6nnten sie da in Erscheinung treten, wo man es sich niemals vorstellen oder voraussagen k\u00f6nnte. So w\u00fcrde die saubere Zeile \u201eVisit Reykjavik\u201c als sch\u00e4dlich erfasst werden und in unserer Authentizit\u00e4tsbewertung nur 101 Punkte erhalten. Deshalb ist es f\u00fcr ein Antiviruslabor so wichtig, saubere Dateien aufzuzeichnen, um das Lernen und Testen des Modells zu erm\u00f6glichen.<\/p>\n
2. Umgehung des Modells.<\/strong><\/b><\/p>\nEin Krimineller k\u00f6nnte sich solch ein Produkt vornehmen und sehen, wie es funktioniert. Kriminelle sind Menschen, was sie kreativer (wenn nicht sogar kl\u00fcger) als Maschinen macht, und sie k\u00f6nnen sich anpassen. So gilt die folgende Zeile als sauber, obwohl der erste Teil (f\u00fcr das menschliche Auge) deutlich sch\u00e4dlich ist: \u201edgfkljhdfnmnvdfkHere\u2019s a whole bunch of good text thrown in to mislead the machine.\u201c Ganz egal wie intelligent der Algorithmus ist, ein intelligenter Mensch kann einen Weg finden, um ihn zu umgehen. Deshalb ben\u00f6tigt ein Antiviruslabor eine erstklassige Infrastruktur, um direkt auf neue Bedrohungen reagieren zu k\u00f6nnen.<\/p>\n
\n![\"How](\"https:\/\/media.kasperskydaily.com\/wp-content\/uploads\/sites\/96\/2016\/11\/06134234\/gibberish-EN.gif\")
<\/a>Hier ist ein Beispiel dazu, wie das zuvor erw\u00e4hnte mathematische Modell \u00fcberlistet werden kann: Die Worte scheinen authentisch, aber tats\u00e4chlich ist es Kauderwelsch. Quelle<\/a><\/p><\/div>\n<\/div>\n3. Modellaktualisierung.<\/strong><\/b><\/p>\nBeim zuvor erw\u00e4hnten Algorithmus erkl\u00e4rten wir, dass ein Modell, das von englischen Texten lernt, nicht f\u00fcr Texte in anderen Sprachen funktionieren w\u00fcrde. Vor diesem Hintergrund sind sch\u00e4dliche Dateien (sofern sie von Menschen erstellt wurden, die \u00fcber bisherige Grenzen hinausdenken k\u00f6nnen) wie ein sich stets entwickelndes Alphabet. Die Bedrohungslandschaft ist sehr unbest\u00e4ndig. \u00dcber jahrelange Forschungen hat Kaspersky Lab einen ausgewogenen Ansatz entwickelt: Wir aktualisieren unsere Modelle Schritt f\u00fcr Schritt direkt in unseren Antivirus-Datenbanken. Dadurch k\u00f6nnen wir zus\u00e4tzliches Lernen oder sogar eine komplette \u00c4nderung des Lernblickwinkels f\u00fcr ein Modell bereitstellen, ohne die \u00fcblichen Operationen zu unterbrechen.<\/p>\n
Fazit<\/h3>\n
Give a man a fire and he's warm for the day. But set fire to him and he's warm for the rest of his life (Gib einem Mann Feuer, und er hat es einen Tag lang warm. Steck ihn in Brand, und er hat es warm f\u00fcr den Rest seines Lebens)<\/code>
\nIt is well known that a vital ingredient of success is not knowing that what you're attempting can't be done (Eine wichtige Zutat f\u00fcr Erfolg ist, nicht zu wissen, dass das, was man tun, unm\u00f6glich ist)<\/code>
\nThe trouble with having an open mind, of course, is that people will insist on coming along and trying to put things in it (Das Problem mit einem offenen Geist ist, nat\u00fcrlich, dass Leute darauf bestehen werden, anzukommen und zu versuchen, Dinge hineinzustecken)<\/code><\/p>\nKauderwelsch sieht so aus:<\/p>\n
DFgdgfkljhdfnmn vdfkjdfk kdfjkswjhwiuerwp2ijnsd,mfns sdlfkls wkjgwl<\/code>
\nreoigh dfjdkjfhgdjbgk nretSRGsgkjdxfhgkdjfg gkfdgkoi<\/code>
\ndfgldfkjgreiut rtyuiokjhg cvbnrtyu<\/code><\/p>\nUnsere Aufgabe ist es, Algorithmen f\u00fcr maschinelles Lernen zu entwickeln.<\/strong><\/p>\nObwohl es f\u00fcr Menschen belanglos ist, ist diese Aufgabe eine echte Herausforderung. Es ist nicht einfach, den Unterschied darzulegen. Hier benutzen wir maschinelles Lernen: Wir f\u00fcttern den Algorithmus mit ein paar Beispielen und lassen ihn \u201elernen\u201c, verl\u00e4sslich auf die Frage \u201eIst es eine menschliche Sprache oder Kauderwelsch?\u201c zu antworten. Genau das passiert jedes Mal, wenn ein reales Antivirusprogramm eine Datei analysiert.<\/p>\n
Da wir den Bereich der IT-Sicherheit abdecken und die Hauptaufgabe einer Antivirussoftware das Aufsp\u00fcren von sch\u00e4dlichem Code in einer riesigen Menge von sauberen Daten ist, bezeichnen wir bedeutungsvollen Text als \u201esauber\u201c und Kauderwelsch als \u201esch\u00e4dlich\u201c.<\/p>\n
L\u00f6sung: Verwendung eines Algorithmus<\/strong><\/h3>\nUnser Algorithmus wird die Frequenz von einem bestimmten Buchstaben, auf den ein anderer bestimmter Buchstabe folgt, berechnen, und die m\u00f6glichen Buchstabenpaare analysieren. So k\u00f6nnte z. B. f\u00fcr unseren ersten Satz \u201eGive a man a fire and he\u2019s warm for the day. But set fire to him and he\u2019s warm for the rest of his life\u201c, von dem wir wissen, dass er sauber ist, die Frequenz von bestimmten Buchstabenpaaren wie folgt aussehen:<\/p>\n
Bu \u2014 1
\nGi \u2014 1
\nan \u2014 3
\nar \u2014 2
\nay \u2014 1
\nda \u2014 1
\nes \u2014 1
\net \u2014 1
\nfe \u2014 1
\nfi \u2014 2
\nfo \u2014 2
\nhe \u2014 4
\nhi \u2014 2
\nif \u2014 1
\nim \u2014 1<\/p>\n
Um es einfach zu halten, ignorieren wir Satz- und Leerzeichen. Also folgt in einem Satz auf \u201ea\u201c dreimal \u201en\u201c, auf \u201ef\u201c zweimal \u201ei\u201c und auf \u201ei\u201c einmal \u201ey\u201c.<\/p>\n
An diesem Punkt verstehen wir, dass ein Satz nicht ausreicht, damit unser Model lernt: Wir m\u00fcssen einen l\u00e4ngeren Text analysieren. Also z\u00e4hlen wir die Buchstabenpaare in der englischen Ausgabe von \u201eVom Winde verweht\u201c von Margaret Mitchell \u2014 oder die ersten 20 % des Buches. Hier haben wir ein paar von ihnen:<\/p>\n
he \u2014 11460
\nth \u2014 9260
\ner \u2014 7089
\nin \u2014 6515
\nan \u2014 6214
\nnd \u2014 4746
\nre \u2014 4203
\nou \u2014 4176
\nwa \u2014 2166
\nsh \u2014 2161
\nea \u2014 2146
\nnt \u2014 2144
\nwc \u2014 1<\/p>\n
Wie Sie sehe k\u00f6nnen, ist die Wahrscheinlichkeit der Kombination \u201ehe\u201c doppelt so hoch wie die von \u201ean\u201c. Und \u201ewc\u201c kommt nur einmal vor (in\u00a0newcomer<\/em>).<\/p>\nAlso haben wir ein Modell f\u00fcr sauberen Text, aber wir wenden wir es an? Zun\u00e4chst definieren wir, um die Wahrscheinlichkeit daf\u00fcr, ob eine Zeile sauber oder sch\u00e4dlich ist, festzulegen, die \u201eAuthentizit\u00e4t\u201c. Wir definieren die Frequenz jedes Buchstabenpaars mithilfe eines Modells (durch Abw\u00e4gung, wie realistisch die Buchstabenkombination ist) und dann multiplizieren wir diese Zahl:<\/p>\n
F(Gi) * F(iv) * F(ve) * F(e ) * F( a) * F(a ) * F( m) * F(ma) * F(an) * F(n ) * \u2026<\/code>
\n6 * 364 * 2339 * 13606 * 8751 * 1947 * 2665 * 1149 * 6214 * 5043 * \u2026<\/code><\/p>\nDurch Bestimmung des letzten Authentizit\u00e4tswerts k\u00f6nnen wir auch die Anzahl der Zeichen in einer Zeile betrachten: Je l\u00e4nger die Zeile ist, desto mehr Zahlen werden multipliziert. Damit dieser Wert f\u00fcr kurze und lange Zeilen gleicherma\u00dfen geeignet ist, wenden wir ein wenig mathematische Magie an (wir ziehen die Wurzel des Werts \u201efragliche Zeilenl\u00e4nge minus eins\u201c vom Ergebnis).<\/p>\n
Wie funktioniert maschinelles Lernen? Wir erkl\u00e4ren es in unserem Blog<\/p>Tweet<\/a><\/blockquote>\nVerwendung des Modells<\/h3>\n
Jetzt k\u00f6nnen wir ein paar Schl\u00fcsse ziehen: Je h\u00f6her die berechnete Zahl ist, desto besser passt die fragliche Zeile zu unserem Modell \u2014 und folglich: desto gr\u00f6\u00dfer ist die \u00c4hnlichkeit daf\u00fcr, dass er von einem Menschen geschrieben wurde. Wenn der Text eine h\u00f6here Zahl ergibt, nennen wir sie \u201esauber\u201c.<\/p>\n
Wenn die fragliche Zeile eine verd\u00e4chtig lange Anzahl von ungew\u00f6hnlichen Kombinationen enth\u00e4lt (wie\u00a0wx<\/em>,\u00a0zg<\/em>,\u00a0yq<\/em>, usw.), ist sie wahrscheinlich sch\u00e4dlich.<\/p>\nF\u00fcr die Zeile, die wir f\u00fcr die Analyse verwenden, messen wir die Wahrscheinlichkeit (\u201eAuthentizit\u00e4t\u201c) in Punkten:<\/p>\n
Give a man a fire and he's warm for the day. But set fire to him and he's warm for the rest of his life<\/code>\u00a0\u2014 1984 Punkte\u00a0<\/code>
\nIt is well known that a vital ingredient of success is not knowing that what you're attempting can't be done<\/code>\u00a0\u2014 1601 Punkte\u00a0<\/code>
\nThe trouble with having an open mind, of course, is that people will insist on coming along and trying to put things in it<\/code>\u00a0\u2014 2460\u00a0Punkte<\/code>
\nDFgdgfkljhdfnmn vdfkjdfk kdfjkswjhwiuerwp2ijnsd,mfns sdlfkls wkjgwl \u2014 16\u00a0Punkte<\/code>
\nreoigh dfjdkjfhgdjbgk nretSRGsgkjdxfhgkdjfg gkfdgkoi \u2014 9\u00a0Punkte<\/code>
\ndfgldfkjgreiut rtyuiokjhg cvbnrtyu \u2014 43\u00a0Punkte<\/code><\/p>\nWie Sie sehen k\u00f6nnen, erhalten saubere<\/em> Zeilen \u00fcber 1.000 Punkte und\u00a0sch\u00e4dliche<\/em>\u00a0erreichen nicht einmal 100 Punkte. Es scheint, als wenn unser Algorithmus wie erwartet funktioniert.<\/p>\nUm hohe und niedrige Punkte in einen Kontext zu bringen, ist es am besten, diese Aufgabe einer Maschine zu \u00fcbertragen, und sie lernen zu lassen. Daf\u00fcr legen wir mehrere reale, saubere Zeilen vor und berechnen ihre Authentizit\u00e4t und \u00fcbermitteln dann ein paar sch\u00e4dliche Zeilen und wiederholen den Prozess. Dann berechnen wir die Basis f\u00fcr die Evaluation. In unserem Fall sind dies 500 Punkte.<\/p>\n
Im wahren Leben<\/h3>\n
Lassen Sie uns das zusammenfassen, was wir soeben durchgef\u00fchrt haben.<\/p>\n
1. Wir definierten die Eigenschaften von sauberen Zeilen (d. h. Zeichenpaare).<\/strong><\/b><\/p>\nIm wahren Leben definieren Analysten, wenn sie ein Antivirus-Programm entwickeln, die Eingeschalten von Dateien und anderen Objekten. \u00dcbrigens sind ihre Beitr\u00e4ge wichtig: Es ist noch immer die Aufgabe eines Menschen, die in der Analyse zu bewertenden Eigenschaften festzulegen, und das Fachwissen und die Erfahrung des Forschers beeinflusst direkt die Qualit\u00e4t der Eigenschaften. Wer bestimmt z. B., dass Zweierpaare und nicht Dreiergruppen analysiert werden m\u00fcssen? Solche hypothetischen Annahmen werden ebenfalls in Antivirus-Laboratorien bestimmt. Ich sollte hier erw\u00e4hnen, dass wir bei Kaspersky Lab maschinelles Lernen verwenden, um die besten und erg\u00e4nzensten Eigenschaften auszuw\u00e4hlen.<\/p>\n
2. Wir verwendeten die definierten Indikatoren, um ein mathematisches Modell zu erstellen, das wir mit einigen Beispielen lernen lie\u00dfen.<\/strong><\/b><\/p>\nNat\u00fcrlich sind die Modelle in Wahrheit etwas komplexer. Die besten Ergebnisse kommen von einem Entscheidungsbaum, der mit der Technik\u00a0Gradient Boosting<\/a>\u00a0erstellt wurde, aber da wir nach Perfektion streben, k\u00f6nnen wir nicht einfach rumsitzen und das Beste, das es heute gibt, akzeptieren.<\/p>\n3. Wir verwendeten ein einfaches mathematisches Modell, um die Authentizit\u00e4tsbewertung zu berechnen.<\/strong><\/b><\/p>\nUm ehrlich zu sein, machen wir in Wahrheit genau das Gegenteil: Wir berechnen die \u201esch\u00e4dliche\u201c Bewertung. Das klingt vielleicht nach keinem gro\u00dfen Unterschied, aber stellen Sie sich vor, wie unecht eine Zeile in einer anderen Sprache oder einem anderen Alphabet in unserem Modell wirken w\u00fcrde. Aber f\u00fcr einen Antivirus ist es inakzeptabel, beim \u00dcberpr\u00fcfen von neuen Dateiklassen falsche Antworten anzubieten, weil er sie bisher noch nicht kennt.<\/p>\n
Was ist die Alternative zu maschinellem Lernen?<\/h3>\n
Vor ca. 20 Jahren, als es noch weniger Malware gab, konnte \u201eKauderwelsch\u201c einfach durch Signaturen erkannt werden (Unterscheidungsfragmente). Im obigen Beispiel k\u00f6nnte die Signatur wie folgt aussehen:<\/p>\n
DFgdgfkljhdfnmn vdfkjdfk kdfjkswjhwiuerwp2ij<\/b>nsd,mfns sdlfkls wkjgwl<\/code>
\nreoigh dfjdkjfhgdjbgk nretSRGsgkjdxfhg<\/b>kdjfg gkfdgkoi<\/code><\/p>\nEin Antivirusprogramm, das die Datei scannt und\u00a0erwp2ij<\/strong>\u00a0findet, w\u00fcrde feststellen: \u201eAha, das ist Kauderwelsch #17.\u201c Wenn es\u00a0gkjdxfhg<\/strong> findet, w\u00fcrde es Kauderwelsch #139 erkennen.<\/p>\nDann, vor etwa 15 Jahren, als die Anzahl von Malware-Beispielen deutlich gestiegen war, stand \u201egenetische\u201c Erkennung im Mittepunkt. Ein Virusanalyst legte die Regeln fest, die, wenn sie auf sinnvollen Text angewandt wurden, ungef\u00e4hr wie folgt aussahen:<\/p>\n
1. Die L\u00e4nge eines Worts sollte zwischen 1 und 20 Zeichen betragen.<\/p>\n
2. Gro\u00dfbuchstaben und Zahlen stehen selten in der Mitte eines Wortes.<\/p>\n
3. Vokale werden relativ gleichm\u00e4\u00dfig mit Konsonanten gemischt.<\/p>\n
Usw. Sollte eine Zeile mit einer dieser Regeln nicht \u00fcbereinstimmen, wird sie als sch\u00e4dlich erkannt.<\/p>\n
Im Wesentlichen funktioniert das Prinzip genau so, aber in diesem Fall wurden Regeln, die Analysten selbst geschrieben hatten, durch ein mathematisches Modell ersetzt.<\/p>\n
Und dann, vor etwa 10 Jahren, als die Anzahl von Malware ein zuvor unvorstellbares Niveau \u00fcberstieg, fanden auf maschinellem Lernen basierte Algorithmen langsam ihren Weg in Antivirus-Programme. Zun\u00e4chst \u00fcbertraf ihre Komplexit\u00e4t die zuvor erw\u00e4hnten Beispiele nicht all zu sehr. Aber dann suchten wir aktiv nach Spezialisten und erweiterten unser Fachwissen. Dadurch bieten unsere Antivirusprogramme eine Erfassung auf\u00a0h\u00f6chstem Niveau<\/a>.<\/p>\nHeute w\u00fcrde kein Antivirus ohne maschinelles Lernen funktionieren. Wenn man Erfassungsmethoden vergleicht, w\u00fcrde maschinelles Lernen an moderne Techniken, wie Verhaltensanalyse, ankn\u00fcpfen. Jedoch verwendet Verhaltensanalyse maschinelles Lernen! Insgesamt ist maschinelles Lernen f\u00fcr einen effektiven Schutz essentiell. Punkt.<\/p>\n
Nachteile<\/h3>\n
Maschinelles Lernen hat so viele Vorteile \u2013 handelt es sich um ein Allheilmittel? Nun, nicht wirklich. Die Methode funktioniert effektiv, wenn der zuvor erw\u00e4hnte Algorithmus in einer Cloud oder einer Art Infrastruktur funktioniert, der von der Analyse vieler sauberer<\/em> und sch\u00e4dlicher<\/em> Objekte lernt.<\/p>\nEs hilft auch, ein Expertenteam zu haben, das den Lernprozess \u00fcberwacht und jedes Mal eingreift, wenn es einen Unterschied zu seiner Erfahrung feststellt.<\/p>\n
In diesem Fall werden Nachteile reduziert \u2013 bis hin zu einem: eine ben\u00f6tigte kostspielige Infrastruktur und ein hochbezahltes Expertenteam.<\/p>\n
Wenn jemand Kosten drastisch reduzieren m\u00f6chte und nur das mathematische Modell allein auf der Produktseite benutzen m\u00f6chte, k\u00f6nnte das schiefgehen.<\/p>\n
1. Falsch positiv.<\/strong><\/b><\/p>\nBei einer auf maschinellem Lernen basierter Erfassung geht es immer darum, einen Optimalpunkt zwischen den Niveaus der erfassten Objekte und das Level falschpositiver Ergebnisse zu finden. Sollten wir die Erfassung erweitern, k\u00f6nnte es eventuell mehr falschpositive Ergebnisse geben. Bei maschinellem Lernen k\u00f6nnten sie da in Erscheinung treten, wo man es sich niemals vorstellen oder voraussagen k\u00f6nnte. So w\u00fcrde die saubere Zeile \u201eVisit Reykjavik\u201c als sch\u00e4dlich erfasst werden und in unserer Authentizit\u00e4tsbewertung nur 101 Punkte erhalten. Deshalb ist es f\u00fcr ein Antiviruslabor so wichtig, saubere Dateien aufzuzeichnen, um das Lernen und Testen des Modells zu erm\u00f6glichen.<\/p>\n
2. Umgehung des Modells.<\/strong><\/b><\/p>\nEin Krimineller k\u00f6nnte sich solch ein Produkt vornehmen und sehen, wie es funktioniert. Kriminelle sind Menschen, was sie kreativer (wenn nicht sogar kl\u00fcger) als Maschinen macht, und sie k\u00f6nnen sich anpassen. So gilt die folgende Zeile als sauber, obwohl der erste Teil (f\u00fcr das menschliche Auge) deutlich sch\u00e4dlich ist: \u201edgfkljhdfnmnvdfkHere\u2019s a whole bunch of good text thrown in to mislead the machine.\u201c Ganz egal wie intelligent der Algorithmus ist, ein intelligenter Mensch kann einen Weg finden, um ihn zu umgehen. Deshalb ben\u00f6tigt ein Antiviruslabor eine erstklassige Infrastruktur, um direkt auf neue Bedrohungen reagieren zu k\u00f6nnen.<\/p>\n
\n<\/a>Hier ist ein Beispiel dazu, wie das zuvor erw\u00e4hnte mathematische Modell \u00fcberlistet werden kann: Die Worte scheinen authentisch, aber tats\u00e4chlich ist es Kauderwelsch. Quelle<\/a><\/p><\/div>\n<\/div>\n3. Modellaktualisierung.<\/strong><\/b><\/p>\nBeim zuvor erw\u00e4hnten Algorithmus erkl\u00e4rten wir, dass ein Modell, das von englischen Texten lernt, nicht f\u00fcr Texte in anderen Sprachen funktionieren w\u00fcrde. Vor diesem Hintergrund sind sch\u00e4dliche Dateien (sofern sie von Menschen erstellt wurden, die \u00fcber bisherige Grenzen hinausdenken k\u00f6nnen) wie ein sich stets entwickelndes Alphabet. Die Bedrohungslandschaft ist sehr unbest\u00e4ndig. \u00dcber jahrelange Forschungen hat Kaspersky Lab einen ausgewogenen Ansatz entwickelt: Wir aktualisieren unsere Modelle Schritt f\u00fcr Schritt direkt in unseren Antivirus-Datenbanken. Dadurch k\u00f6nnen wir zus\u00e4tzliches Lernen oder sogar eine komplette \u00c4nderung des Lernblickwinkels f\u00fcr ein Modell bereitstellen, ohne die \u00fcblichen Operationen zu unterbrechen.<\/p>\n
Fazit<\/h3>\n