{"id":30951,"date":"2024-02-29T18:00:48","date_gmt":"2024-02-29T16:00:48","guid":{"rendered":"https:\/\/www.kaspersky.de\/blog\/?p=30951"},"modified":"2024-02-29T18:00:48","modified_gmt":"2024-02-29T16:00:48","slug":"how-to-use-ai-locally-and-securely","status":"publish","type":"post","link":"https:\/\/www.kaspersky.de\/blog\/how-to-use-ai-locally-and-securely\/30951\/","title":{"rendered":"So installierst und verwendest du einen KI-Assistenten auf deinem Computer"},"content":{"rendered":"

Viele Menschen experimentieren bereits mit generativen neuronalen Netzwerken und setzen sie regelm\u00e4\u00dfig ein, auch am Arbeitsplatz. So werden beispielsweise ChatGPT und \u00e4hnliche Tools von fast 60 % der Amerikaner<\/a> regelm\u00e4\u00dfig verwendet (und dies nicht immer mit Genehmigung des Arbeitgebers). Allerdings werden alle Daten, die bei diesen Vorg\u00e4ngen verarbeitet werden (sowohl Benutzereingaben als auch Musterantworten), auf den Servern von OpenAI, Google und anderen Anbietern gespeichert. F\u00fcr Aufgaben, bei denen ein solcher Informationsleck inakzeptabel ist, musst du dennoch nicht vollst\u00e4ndig auf KI verzichten \u2013 du musst lediglich ein wenig M\u00fche (und m\u00f6glicherweise Geld) investieren, um das neuronale Netzwerk lokal auf deinem eigenen Computer \u2013 sogar auf einem Laptop \u2013 zu betreiben.<\/p>\n

Cloud-Bedrohungen<\/h2>\n

Die beliebtesten KI-Assistenten laufen in der Cloud-Infrastruktur gro\u00dfer Unternehmen. Das ist effizient und schnell, aber deine vom Modell verarbeiteten Daten k\u00f6nnen sowohl f\u00fcr den KI-Dienstleister als auch f\u00fcr v\u00f6llig unabh\u00e4ngige Parteien zug\u00e4nglich sein, wie es letztes Jahr bei ChatGPT der Fall war<\/a>.<\/p>\n

Je nachdem, wof\u00fcr diese KI-Assistenten verwendet werden, stellen solche Vorf\u00e4lle unterschiedliche Bedrohungsstufen dar. Wenn du niedliche Illustrationen f\u00fcr M\u00e4rchen erstellst, die du geschrieben haben, oder ChatGPT bittest, einen Reiseplan f\u00fcr deine bevorstehende Wochenend-St\u00e4dtereise zu erstellen, ist es unwahrscheinlich, dass ein Leck zu ernsthaften Sch\u00e4den f\u00fchrt. Wenn deine Unterhaltung mit einem Chatbot jedoch vertrauliche Informationen wie pers\u00f6nliche Daten, Passw\u00f6rter oder Bankkartennummern enth\u00e4lt, ist es nicht akzeptabel, dass diese Daten in der Cloud landen. Zum Gl\u00fcck l\u00e4sst sich dies relativ einfach verhindern, indem die Daten vorab gefiltert werden \u2013 dazu haben wir einen separaten Beitrag<\/a> geschrieben.<\/p>\n

In F\u00e4llen, in denen entweder die gesamte Korrespondenz vertraulich ist (z. B. medizinische oder finanzielle Informationen) oder die Zuverl\u00e4ssigkeit der Vorfilterung fraglich ist (du musst gro\u00dfe Datenmengen verarbeiten, die niemand in der Vorschau anzeigen und filtern kann), gibt es nur eine L\u00f6sung: Die Verarbeitung aus der Cloud auf einen lokalen Computer verschieben. Nat\u00fcrlich ist es unwahrscheinlich, dass es dir gelingen wird, deine eigene Version von ChatGPT oder Midjourney offline auszuf\u00fchren, aber andere lokal arbeitende neuronale Netzwerke bieten eine vergleichbare Qualit\u00e4t bei geringerer Rechenlast.<\/p>\n

Welche Hardware wird f\u00fcr den Betrieb eines neuronalen Netzwerks ben\u00f6tigt?<\/h2>\n

Du hast wahrscheinlich geh\u00f6rt, dass die Arbeit mit neuronalen Netzwerken superstarke Grafikkarten erfordert, aber in der Praxis ist dies nicht immer der Fall. Verschiedene KI-Modelle k\u00f6nnen je nach Spezifizierung Computerkomponenten wie Arbeitsspeicher, Grafikspeicher, Laufwerk und CPU einiges abverlangen (hier ist nicht nur die Verarbeitungsgeschwindigkeit wichtig, sondern auch die Unterst\u00fctzung des Prozessors f\u00fcr bestimmte Vektorbefehle). Die M\u00f6glichkeit, das Modell zu laden, h\u00e4ngt von der Gr\u00f6\u00dfe des Arbeitsspeichers ab, und die Gr\u00f6\u00dfe des \u201eKontextfensters\u201c \u2013 d. h. des Speichers der vorherigen Konversation \u2013 h\u00e4ngt von der Gr\u00f6\u00dfe des Grafikspeichers ab. Bei einer schwachen Grafikkarte und CPU erfolgt die Generierung in der Regel sehr langsam (ein bis zwei W\u00f6rter pro Sekunde bei Textmodellen), sodass ein Computer mit so einer Minimalkonfiguration nur geeignet ist, um sich mit einem bestimmten Modell vertraut zu machen und seine grunds\u00e4tzliche Eignung zu bewerten. F\u00fcr einen vollwertigen allt\u00e4glichen Gebrauch musst du den Arbeitsspeicher erweitern, die Grafikkarte aufr\u00fcsten oder ein schnelleres KI-Modell w\u00e4hlen.<\/p>\n

Als Ausgangspunkt kannst du Computer verwenden, die 2017 als relativ leistungsstark galten und mindestens mit einem Core i7-Prozessor mit Unterst\u00fctzung f\u00fcr AVX2-Anweisungen, 16 GB Arbeitsspeicher und einer Grafikkarte mit mindestens 4 GB Speicher ausgestattet sind. F\u00fcr Mac-Enthusiasten gen\u00fcgen Modelle, die mit dem Apple M1-Chip oder h\u00f6her ausgestattet sind. Die Speicheranforderungen sind dieselben.<\/p>\n

Bei der Auswahl eines KI-Modells solltest du dich zun\u00e4chst mit den Systemanforderungen vertraut machen. Eine Suchanfrage wie \u201eModellname<\/em> Anforderungen\u201c hilft dir einzusch\u00e4tzen, ob es sich angesichts der verf\u00fcgbaren Hardware lohnt, dieses Modell herunterzuladen. Es gibt ausf\u00fchrliche Studien \u00fcber die Auswirkungen von Speichergr\u00f6\u00dfe, CPU und GPU auf die Leistung verschiedener Modelle, zum Beispiel diese<\/a>.<\/p>\n

Eine gute Nachricht f\u00fcr jene, die keinen Zugriff auf leistungsstarke Hardware haben: Es gibt vereinfachte KI-Modelle, die selbst auf alter Hardware praktische Aufgaben ausf\u00fchren k\u00f6nnen. Sogar wenn deine Grafikkarte sehr einfach und schwach ist, besteht die M\u00f6glichkeit, Modelle und Startumgebungen nur mit der CPU auszuf\u00fchren. Je nach Aufgaben k\u00f6nnen diese sogar recht gut funktionieren.<\/p>\n

\"GPU-Durchsatztests\"<\/a>

Beispiele daf\u00fcr, wie verschiedene Computer-Builds mit g\u00e4ngigen Sprachmodellen funktionieren<\/p><\/div>\n

\u00a0<\/p>\n

Die Wahl eines KI-Modells und die Magie der Quantisierung<\/h2>\n

Heutzutage ist eine Vielzahl von Sprachmodellen verf\u00fcgbar, aber viele von ihnen haben nur begrenzte praktische Anwendungen. Es gibt jedoch einfach zu bedienende und \u00f6ffentlich verf\u00fcgbare KI-Tools, die sich f\u00fcr bestimmte Aufgaben gut eignen, sei es Textgenerierung (z. B. Mistral 7B) oder Erstellung von Code-Schnipseln (z. B. Code Llama 13B). Schr\u00e4nke daher die Auswahl auf einige geeignete Modelle ein und vergewissere dich anschlie\u00dfend, dass dein Computer \u00fcber die erforderlichen Ressourcen verf\u00fcgt, um sie auszuf\u00fchren.<\/p>\n

In jedem neuronalen Netzwerk ist der Gro\u00dfteil der Ged\u00e4chtnisbelastung auf Gewichtungen zur\u00fcckzuf\u00fchren \u2013 numerische Koeffizienten, die die Funktion jedes Neurons im Netzwerk beschreiben. Beim Training des Modells werden die Gewichtungen zun\u00e4chst berechnet und als hochgenaue Bruchzahlen gespeichert. Es stellte sich jedoch heraus, dass das Runden der Gewichtungen im trainierten Modell es erm\u00f6glicht, das KI-Tool auf normalen Computern auszuf\u00fchren, wobei die Leistung nur geringf\u00fcgig verringert wird. Dieser Rundungsvorgang wird als Quantisierung bezeichnet, und damit kann die Gr\u00f6\u00dfe des Modells erheblich reduziert werden \u2013 statt 16 Bit kann jede Gewichtung 8, 4 oder sogar 2 Bit verwenden.<\/p>\n

Laut aktuellen Forschungsergebnissen<\/a> kann ein gr\u00f6\u00dferes Modell mit mehr Parametern und Quantisierung manchmal bessere Ergebnisse liefern als ein Modell mit pr\u00e4ziser Gewichtsspeicherung, aber weniger Parametern.<\/p>\n

Mit diesem Wissen ausgestattet kannst du nun die unz\u00e4hligen Open-Source-Sprachmodellen erkunden, n\u00e4mlich die Top-Liste der Open-Source-LLM<\/a>. In dieser Liste sind die KI-Tools nach verschiedenen Metriken f\u00fcr die Generierungsqualit\u00e4t sortiert, und Filter erleichtern es, zu gro\u00dfe, zu kleine oder zu genaue Modelle auszuschlie\u00dfen.<\/p>\n

\"Nach<\/a>

Nach Filtersatz sortierte Liste der Sprachmodelle<\/p><\/div>\n

\u00a0<\/p>\n

Nachdem du die Beschreibung des Modells gelesen und dich vergewissert hast, dass das Modell voraussichtlich deinen Anforderungen entspricht, kannst du dessen Leistung in der Cloud mithilfe der Dienste Hugging Face<\/a> oder Google Colab<\/a> testen. Auf diese Weise kannst du vermeiden, Modelle herunterzuladen, die zu unbefriedigenden Ergebnissen f\u00fchren, und sparst so Zeit. Wenn du mit dem ersten Test des Modells zufrieden bist, ist es an der Zeit zu sehen, wie es lokal funktioniert!<\/p>\n

Erforderliche Software<\/h2>\n

Die meisten Open-Source-Modelle sind auf Hugging Face<\/a> ver\u00f6ffentlicht, aber es reicht nicht aus, sie einfach auf deinen Computer herunterzuladen. Um sie auszuf\u00fchren, musst du eine spezielle Software wie LLaMA.cpp<\/a> oder \u2013 noch einfacher \u2013 ihren \u201eWrapper\u201c LM Studio<\/a> installieren. Letzterer erm\u00f6glicht es dir, das gew\u00fcnschte Modell direkt aus dem Programm auszuw\u00e4hlen, es herunterzuladen und in einem Dialogfeld auszuf\u00fchren.<\/p>\n

Eine weitere \u201esofort einsatzbereite\u201c M\u00f6glichkeit, einen Chatbot lokal zu nutzen, ist GPT4All<\/a>. Hier ist die Auswahl auf etwa ein Dutzend Sprachmodelle beschr\u00e4nkt, aber die meisten von ihnen laufen sogar auf einem Computer mit nur 8 GB Arbeitsspeicher und einer einfachen Grafikkarte.<\/p>\n

Wenn die Generierung zu langsam ist, ben\u00f6tigst du m\u00f6glicherweise ein Modell mit gr\u00f6berer Quantisierung (2 statt 4 Bit). Wenn die Generierung unterbrochen wird oder Ausf\u00fchrungsfehler auftreten, liegt das Problem h\u00e4ufig an unzureichendem Speicher \u2013 es lohnt sich, nach einem Modell mit weniger Parametern oder mit einer gr\u00f6beren Quantisierung zu suchen.<\/p>\n

Viele Modelle auf Hugging Face wurden bereits mit unterschiedlichen Genauigkeitsgraden quantisiert. Wenn das gew\u00fcnschte Modell jedoch noch nicht mit der gew\u00fcnschten Genauigkeit quantisiert wurde, kannst du das mithilfe von GPTQ<\/a> selbst tun.<\/p>\n

Diese Woche wurde ein weiteres vielversprechendes Tool f\u00fcr die \u00f6ffentliche Beta-Phase freigegeben: Chat With RTX<\/a> von NVIDIA. Der Hersteller der gefragtesten KI-Chips hat einen lokalen Chatbot auf den Markt gebracht, der in der Lage ist, den Inhalt von YouTube-Videos zusammenzufassen, Dokumentens\u00e4tze zu verarbeiten und vieles mehr \u2013 vorausgesetzt, der Benutzer verf\u00fcgt \u00fcber einen Windows-PC mit 16 GB Arbeitsspeicher und einer NVIDIA RTX-Grafikkarte der 30er- oder 40er-Serie mit mindestens 8\u00a0GB Grafikspeicher. Der Chatbot basiert auf den Modellen Mistral und Llama 2 von Hugging Face<\/a>. Nat\u00fcrlich k\u00f6nnen leistungsstarke Grafikkarten die Generierungsleistung verbessern, aber nach dem Feedback der ersten Tester<\/a> ist die vorhandene Beta-Version ziemlich umst\u00e4ndlich (ca. 40 GB) und schwierig zu installieren. Chat With RTX von NVIDIA k\u00f6nnte sich jedoch in Zukunft zu einem sehr n\u00fctzlichen lokalen KI-Assistenten entwickeln.<\/p>\n

<\/a>

Der Code f\u00fcr das Spiel \u201eSnake\u201c, geschrieben vom quantisierten Sprachmodell TheBloke\/CodeLlama-7B-Instruct-GGUF<\/p><\/div>\n

\u00a0<\/p>\n

Die oben aufgef\u00fchrten Programme f\u00fchren alle Berechnungen lokal aus, senden keine Daten an Server und k\u00f6nnen offline ausgef\u00fchrt werden, damit du vertrauliche Informationen sicher mit ihnen teilen kannst. Um sich jedoch vollst\u00e4ndig vor Datenlecks zu sch\u00fctzen, musst du nicht nur die Sicherheit des Sprachmodells, sondern auch die deines Computers gew\u00e4hrleisten \u2013 und genau hier setzt unsere umfassende Sicherheitsl\u00f6sung<\/a>\u00a0an. Wie in unabh\u00e4ngigen Tests<\/a> best\u00e4tigt wurde, schont Kaspersky Premium<\/a>\u00a0die Systemressourcen deines Computers \u2013 ein wichtiger Vorteil bei der Arbeit mit lokalen KI-Modellen.<\/p>\n

\u00a0<\/p>\n\n","protected":false},"excerpt":{"rendered":"

Nutze alle Vorteile von ChatGPT, Copilot und Midjourney lokal \u2013 ohne dass deine Daten ins Internet gelangen.<\/p>\n","protected":false},"author":2722,"featured_media":30955,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[10],"tags":[2249,4028,1520,1518,2360,1653],"class_list":{"0":"post-30951","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-tips","8":"tag-chatbots","9":"tag-chatgpt","10":"tag-ki","11":"tag-kunstliche-intelligenz","12":"tag-maschinelles-lernen","13":"tag-security"},"hreflang":[{"hreflang":"de","url":"https:\/\/www.kaspersky.de\/blog\/how-to-use-ai-locally-and-securely\/30951\/"},{"hreflang":"en-in","url":"https:\/\/www.kaspersky.co.in\/blog\/how-to-use-ai-locally-and-securely\/27077\/"},{"hreflang":"en-ae","url":"https:\/\/me-en.kaspersky.com\/blog\/how-to-use-ai-locally-and-securely\/22387\/"},{"hreflang":"ar","url":"https:\/\/me.kaspersky.com\/blog\/how-to-use-ai-locally-and-securely\/11436\/"},{"hreflang":"en-us","url":"https:\/\/usa.kaspersky.com\/blog\/how-to-use-ai-locally-and-securely\/29744\/"},{"hreflang":"en-gb","url":"https:\/\/www.kaspersky.co.uk\/blog\/how-to-use-ai-locally-and-securely\/27253\/"},{"hreflang":"es-mx","url":"https:\/\/latam.kaspersky.com\/blog\/how-to-use-ai-locally-and-securely\/27042\/"},{"hreflang":"es","url":"https:\/\/www.kaspersky.es\/blog\/how-to-use-ai-locally-and-securely\/29662\/"},{"hreflang":"it","url":"https:\/\/www.kaspersky.it\/blog\/how-to-use-ai-locally-and-securely\/28540\/"},{"hreflang":"ru","url":"https:\/\/www.kaspersky.ru\/blog\/how-to-use-ai-locally-and-securely\/36986\/"},{"hreflang":"tr","url":"https:\/\/www.kaspersky.com.tr\/blog\/how-to-use-ai-locally-and-securely\/12058\/"},{"hreflang":"x-default","url":"https:\/\/www.kaspersky.com\/blog\/how-to-use-ai-locally-and-securely\/50576\/"},{"hreflang":"fr","url":"https:\/\/www.kaspersky.fr\/blog\/how-to-use-ai-locally-and-securely\/21543\/"},{"hreflang":"pt-br","url":"https:\/\/www.kaspersky.com.br\/blog\/how-to-use-ai-locally-and-securely\/22254\/"},{"hreflang":"ja","url":"https:\/\/blog.kaspersky.co.jp\/how-to-use-ai-locally-and-securely\/35896\/"},{"hreflang":"nl","url":"https:\/\/www.kaspersky.nl\/blog\/how-to-use-ai-locally-and-securely\/29029\/"},{"hreflang":"ru-kz","url":"https:\/\/blog.kaspersky.kz\/how-to-use-ai-locally-and-securely\/27452\/"},{"hreflang":"en-au","url":"https:\/\/www.kaspersky.com.au\/blog\/how-to-use-ai-locally-and-securely\/33259\/"},{"hreflang":"en-za","url":"https:\/\/www.kaspersky.co.za\/blog\/how-to-use-ai-locally-and-securely\/32882\/"}],"acf":[],"banners":"","maintag":{"url":"https:\/\/www.kaspersky.de\/blog\/tag\/ki\/","name":"KI"},"_links":{"self":[{"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/posts\/30951","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/users\/2722"}],"replies":[{"embeddable":true,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/comments?post=30951"}],"version-history":[{"count":3,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/posts\/30951\/revisions"}],"predecessor-version":[{"id":30958,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/posts\/30951\/revisions\/30958"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/media\/30955"}],"wp:attachment":[{"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/media?parent=30951"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/categories?post=30951"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/tags?post=30951"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}