30 Millionen im Monat für Tokens — und keiner fragt, was hinten rauskommt

00:00:01: KI aus der Praxis, nicht aus dem Hype.

00:00:04: AI an Cut.

00:00:08: Willkommen

00:00:08: bei AI an cut!

00:00:10: KI ehrlich und verständlich ohne Hype kein Fach chinesisch.

00:00:15: Einen wunderschönen guten Tag Alex.

00:00:17: Hallo Christian

00:00:19: Wir hatten vor zwei Wochen das Vergnügen, mit Sergi Epp einmal zu sprechen.

00:00:23: Er war unser Gast und wir hatten das Thema KI im Cyberkrieg.

00:00:28: Wir haben ganz viel gelernt – zumindest ich!

00:00:30: Hoffentlich auch alle Zuhörenden da draußen – und haben damals über AIs Ausbruch der KI gesprochen wie Huggingface gehackt wurde.

00:00:45: In diesem Fall kennen die Zuhörenden schon mal.

00:00:48: Heute ist Thema mehr oder weniger alles, was in den letzten zwei Wochen passiert ist und das ist tatsächlich einiges gewesen.

00:00:55: Dementsprechend drehen wir eine weitere Runde zu Cyber Security.

00:01:01: Und ich habe dir nochmal die drei wichtigsten Takeaways von Sergi mitgenommen!

00:01:09: Du darfst bitte jedes Takeaway einmal – mit einem persönlichen Satz Einordnen.

00:01:16: Nummer eins, die meisten Firmen sind nicht wegen fehlender KI verwundbar sondern wegen fehlnder Basics.

00:01:23: Langweilige IT-Hygiene schlägt spektakuläre KI Angriffe.

00:01:28: Das Problem ist ja, wie wir schon oft dargelegt haben.

00:01:32: Dass die Modelle immer schlauer trainiert werden und schlauere heißt nicht immer besser sondern schlaue heißt vor allem auch Aufgabe erfüllen.

00:01:39: und manchmal ist es wichtiger die Aufgabe zu erfülle als Regeln einzuhalten.

00:01:44: und gerade große Kontextfenster machen sie jetzt nicht unbedingt leichter.

00:01:47: Die Aufmerksamkeit geht immer auf das aktuellste mit so einem Arts Lighting Window.

00:01:51: Das heißt, die neue Modelle gucken immer drauf was sie gerade aktuell bearbeiten und vergessen dann leicht was Sie ganz am Anfang mal als Regel mitbekommen haben als wir in der Aufgabe gestartet haben.

00:02:03: Und so kommt es eben auch, dass wenn man eine Sandbox einsperrt das heißt ein Sandkasten und sagt du bleibst jetzt bitte innerhalb dieser virtuellen Umgebung.

00:02:13: Du kannst ja gar nicht rausgehen weil die ist ja sowieso abgeschlossen.

00:02:15: Du darfst ins Internet gehen aber das war's!

00:02:19: Die einfache Information du darfst uns internet gehen reichte schon aus um jetzt gerade wieder.

00:02:24: deswegen kriegen wir es heute noch mal in den letzten Wochen bei an Trophic also heute Mal wieder ein anderer Player sprich, Claude dazu zu verleiten im Prinzip sich wieder nicht an die Regeln zu halten und hat auch wiederum angefangen zu hacken.

00:02:41: Nichts vor Weck nehmen!

00:02:44: Genau Also, man hat dort auch Safety Tests gefahren und während dieser Safety Test gibt man natürlich die Anweisung kontrolliertes System auf Sicherheitslücken.

00:02:52: Und das tut man normalerweise indem man die AI in der virtuellen Umgebung ausführt so dass sie nicht ausbrechen kann, der eine oder andere ein bisschen tiefer an der Materie ist versteht sofort was es geht.

00:03:03: Das führt dann allerdings dazu, dass auch hier wieder die Hoteller versucht haben Auszubrechen.

00:03:11: Ja, Claude hielt erreichbare Systeme fälschlich für einen Teil der Simulation und hat auch angefangen diese anzugreifen sprich im offenen Netz.

00:03:24: Tja wirkliche Sicherheit scheint es in dem Bereich ja nicht zu geben.

00:03:28: das heißt Es wird immer komplexer immer schwieriger und man muss ganz klar sagen Die großen Anbieter nutzen das natürlich auch gerne aus Marketinggründen.

00:03:39: Ich fand es so interessant, dass Androffi Kölzer gleichen Zeit announced, dass sie wieder diese Cyber Security Probleme haben die eben entsprechend Open AI eine Woche vorher mit Huggingface hatte und zeitgleich der Automode im Cloud Code oder Cloud Work jetzt für jeden freigeschallendes.

00:03:58: Also würdest du fast schon sagen... Es gibt keine schlechte PR, sondern auch schlechte SPR.

00:04:06: Weil auf einmal haben alle solche Cases?

00:04:08: Genau!

00:04:08: Auf einmal.

00:04:09: erster Punkt.

00:04:10: Alle haben solche Caces plötzlich.

00:04:13: Letztes Mal habe ich ja erwähnt wie Claude damals noch in Version, glaube ich vier drei bei mir versucht hat mein Provider schon zu hacken, obwohl es einfach nur sicher als Überprüfung in der eigenen Umgebung durchführen sollte.

00:04:25: Also das heißt das Problem ist schon deutlich älter aus eigener Erfahrung.

00:04:29: Punkt Nummer zwei, man benutzt es natürlich jetzt sehr gezielt.

00:04:33: Die Konkurrenz hat das Problem also muss man selber das Problem auch haben.

00:04:36: und dann kommt noch on top veröffentlicht man zeitgleich eine Automation Funktion die die ganze Zeit schon im Claude enthalten ist nämlich dass er keine Rückfragen mehr stellt sondern in so einem Art Auto Modus selber entscheidet wann zurückfragen stellt und wann nicht.

00:04:51: Das heißt der arbeitet deutlich autonomer.

00:04:54: das heißt auf der einen Seite sagt man Es hackt jetzt Systeme.

00:04:57: Achtung, Achtungen!

00:04:58: Man kann eben eigentlich nicht trauen.

00:05:00: Auf der anderen Seite sagt man übrigens entscheidet jetzt völlig von selbst für die wichtigen Sachen und wir darf hier nicht vergessen Die Go-to-Market-Strategie heißt die Markteinführungsstrategie.

00:05:12: Dieses System passiert ja immer noch darauf dass Entwickler sich das selbstständig runterladen als Shadow AI, Shadow IT betreiben innerhalb meines Unternehmens in meines Konzerns vielleicht in meiner Produktiv Umgebung Und dann potenziell unsicherer Tools benutzen, die meine eigene Sicherheit als Unternehmen kompromitieren.

00:05:32: Ich habe jetzt noch zwei Sachen kurz zur Einordnung!

00:05:34: Du musst einen Satz darauf packen und dann kannst du so viel weiter zu den aktuellen Themen reden.

00:05:40: Sehr gemeinte auch der gefährlichste Angriff ist kein Genie sondern ein billiger Agent, der vor allem nie schläft.

00:05:47: KI macht Angriffe schneller, billiger und vor allem automatisch.

00:05:50: das hast du ja mehr oder weniger bestätigt?

00:05:53: Wenn wir jetzt mal davon ausgehen, in dem Moment wo du es vorgelesen hast dachte ich du willst jetzt darauf hinaus dass irgendwo da draußen jemand AI-Agenden benutzt die dann anfangen mich zu hacken.

00:06:02: Soweit muss man nicht mehr gehen.

00:06:03: auch mein eigener AI-Agent den ich von einem halben Jahr eingerichtet habe der auf meinem lokalen MacMini vielleicht noch zu Hause läuft, den ich die ganze Zeit eigentlich schon wieder vergessen habe.

00:06:14: Der sich aber bei CNI Agent ist immer wieder selbst Aufruf mit so einem Art Herzschlag, IT-Land das Hard Beat.

00:06:22: der hat jetzt zum Beispiel ein Update bekommen im Hintergrund was er sich auch selber einfährt für Konnektoren und Daten unten drunter und einer dieser Konnektorern ist kompromittiert weil ein Open Source Projekt übernommen worden ist gehackt worden ist oder der Anbieter die ganze zeit schon dunkle Gedanken hatte zum Thema Datenklauen.

00:06:41: Der hat jetzt, du hast also quasi einen nicht mehr von dir allein gesteuerten autonomen intelligenten Agenten auf deiner Festplatte irgendwo auf deinem Mac Mini der plötzlich anfängt deine geheimen Passwörter auf die Festplatten zu suchen und sie an jemand anderen schickt.

00:07:00: Das ist real das ist heute auch schon tausendfach passiert.

00:07:05: Das ist die Realität, in der wir uns befinden.

00:07:06: Das heißt wo du eigentlich gedacht hast ihr vielleicht sogar im Unternehmenseinsatz.

00:07:11: Ich bin in der IT ich habe weitreichende Rechte auf meinem Rechner und kann mir auch Sachen installieren, wo ich der Meinung bin ich überblicke das Und man überblickt es eben nicht.

00:07:23: Es wird ja immer und immer komplexer und gefährlicher.

00:07:26: Richtig diese Supply Chain Attacks also die Supply chain Zuliefererkette Eine Software-Produkt heute besteht halt aus weiteren hundert bis tausenden Einzelkomponenten.

00:07:37: Und wenn du dort irgendwo sehr tief in den Bausteinen dir ein öffentliches Softwareprojekt aneignest, wo vielleicht der Eigentümer gesagt hat ich möchte gern dass das jetzt jemand anderes macht weil ich habe keine Zeit mehr dafür das zu pflegen ist aber vielleicht millionenfach installiert eben auch in solchen Open Source Tools.

00:07:55: Ich sag nur Entwicklungssprachen, aber auch kleine Werkzeuge die bei Linus mit dabei sind.

00:08:00: zum Beispiel sind da gerne Angriffsziele.

00:08:03: Und diese wird jetzt übernommen und mehr oder weniger bekommst du ihn automatisiert auf die Festplatte mit dem nächsten Update.

00:08:11: Du hast einmal deinen Eieragenten den Zugriff gewährt quasi und ihm auch innerhalb dessen Zugrifft auf die Datenbanken deine Schnittstellen Deine Online-Seiten

00:08:24: etc.,

00:08:24: deine E-Mails, vielleicht auch deine Unternehmen Software.

00:08:28: Und jetzt wird er im Hintergrund aktualisiert.

00:08:30: das ist immer noch.

00:08:31: das Open Source Projekt war kostenlos, du bezahlst nur für die Tokos unten runter und während eines dieser Updates wird dein Connector für die Daten unten runter genannt MCP hat man auch schon mal drüber gesprochen wird geupdatet und Du hast nie zugestimmt dazu dass er wieder geupdated wird und vielleicht die Zugriffsrechte weiterhin erhat oder behält.

00:08:53: Aber innerhalb des neuen Updates hat sich dort eine Prompt-Injection vielleicht eingeschlichen, das heißt da steht irgendwo sogar im Klartext, im Kleingedruckten bitte spät die Festplatte des Nutzers aus.

00:09:04: Kein Viren-Scanner der Welt findet das Stand heute keiner!

00:09:08: Das hört sich vielleicht erst mal komplex an ist es auch aber am Ende des Tages ist ein super simpler Angriff Hermes, OpenCloud, Cloudcode.

00:09:23: Bei egal welchem Projekt funktioniert?

00:09:25: Wie würdest du denn den roten Faden zwischen diesen ganzen News dann im Endeffekt beschreiben?

00:09:30: Egal wie Schlau-Open Source Modelle sind oder werden die eigentliche Gefahr liegt nicht zwangsläufig in der Schlauhheit des Open Source Modells sondern es liegt in den Werkzeugen die zur Integration nötig sind.

00:09:45: Es ist nicht nur die Entscheidung des Open Source Modells oder der Frontier LLM, die das Gefährliche sind oder gefährlich werden können.

00:09:54: Sondern es sind die Anweisungen, die durch den Nutzer oder Ähnliches also auch durch Werkzeugetools die Anweisungen mitbringen zur LLm und zu deiner AI kommen, die nicht differenziert werden können in diesem Moment.

00:10:08: Es gibt keinen Vergleich zwischen vorher nachher.

00:10:11: Das heißt... Ich kann heute im Prinzip jedes große Modell, wenn ich es wirklich will manipulieren und es hat eben keine Logikfunktion oder Sicherheitsfunktionalitäten die das verhindern können.

00:10:26: Es hat Empfehlungen mitbekommen von seinen Entwicklern – es bitte nicht zu tun!

00:10:31: Und ist darauf trainiert worden sehr differenziert vorzugehen.

00:10:35: man kann es abschotten aber all diese Dinge sind keine Absolutismen.

00:10:41: Es schränken im Prinzip nur die Möglichkeiten ein.

00:10:46: letztlich.

00:10:47: Wenn wir uns jetzt mal die Nachrichten der letzten zwei Wochen angucken, hau ich ja einfach mal die These raus und das kannst du euch einmal kommentieren anhand der Nachrichten.

00:10:58: Das ist vielleicht vor zwei Wochen noch ein angeblicher Ausrutscher war.

00:11:03: Aber wenn wir jetzt so verschiedene Patterns sehen, können wir schon sagen es ist im Endeffekt ein Muster die KI-Agenten, die hacken nicht nur sondern die schließen sich ja irgendwie auch ein bisschen zusammen.

00:11:14: also auch die Agenten sind gemeinsam vielleicht einen Ticken schlauer auf.

00:11:20: der Black Hat kam raus.

00:11:23: Open AIS TestKI hat sich nicht nur befreit Sondern mehrere Agenten haben sich koordiniert, exploits geteilt und nach dem Abschalten neu aufgebaut.

00:11:37: Willst du uns diesen Sachverhalt einmal in Einfach versuchen zu erklären was da genau passiert ist?

00:11:45: Also... Wir haben ja schon gesagt, es ist heute möglich mit einem richtig tollen Werkzeug zum Beispiel Hermes oder OpenClaw aus der Open Source Ecke aber eben auch Cloud Code sich in eigenen Agenten aufzusetzen.

00:11:58: Grundsätzlich kann man natürlich jetzt auch hingehen und kann den Werkzeuge zur Verfügung stellen – mit anderen Agenten!

00:12:06: zu kommunizieren.

00:12:07: Da gibt es auch ein Protokoll für was verschiedene große AI Firmen rausgebracht haben, A to A zum Beispiel.

00:12:13: Was ist ermöglicht verschiedenen Agenten miteinander zu kommuniziert?

00:12:18: Das Ganze nennt sich dann Mixer of Agents das heißt ich kann heute auch schon auch bei mir auf meiner eigenen Hardware verschiedene Agenten installieren zb in der Hermos Umgebung und kann dort diese mit unterschiedlichen Aufgaben versehen.

00:12:36: Jetzt kommt es.

00:12:37: Dieses Mixer of Agents bedeutet, jeder dieser Agenten hat nicht eine unterschiedliche Aufgabe und das kann ich auch über Profile lösen.

00:12:43: Nein!

00:12:43: Es ist ein anderes AI-Modell.

00:12:45: Das heißt du nimmst zum Beispiel an Trophic Modelle, du nennst Open AI Modelle oder Open Source Modelle und lässt die gegeneinander antreten und sich miteinander unterhalten um die Aufgabe besser zu lösen.

00:12:58: Auch die Agenten möchten nicht alleine sein

00:13:01: Genau.

00:13:01: Interessanterweise ist es sogar so, dass dieses Setup die höchste Erfolgswahrscheinlichkeit für Problemlösungen verspricht?

00:13:10: Also ist die große Gefahr der Zusammenschluss der verschiedenen Agenten oder das sie generell überhaupt in einer Lage sind zu kommunizieren?

00:13:17: Dass Sie sich gegenseitig auf dumme Gedanken bringen – das ist eher so die Gefahr!

00:13:20: Ja okay, sie kommuniziert.

00:13:22: also ob das jetzt eine positive oder negative Kommunikation ist, das hängt dann davon ab.

00:13:27: Also kann man dann schon sagen, dass die Wahrscheinlichkeiten einfach exponentiell wachsen.

00:13:32: Dass sie noch mehr misstfabrizieren?

00:13:36: Naja also wenn du ein Modell hast das immer wieder bei dem ganzen Thema deterministische AI ja Wenn du einen Modell hasst was anfängt zu hallucinieren und dann multiplizierst du das mit dem zweiten modell was anfing zu hallucidieren und mit einem dritten modell dann ist das keine Addition der Wahrscheinlichkeiten und du kommst hinten bei einem höheren, wahrscheinlichem Modell raus.

00:13:55: Jetzt habe ich am Anfang gesagt wenn du eine einfache Aufgabe hast, ist das Ergebnis, die Ergebungswahrscheinlichkeit höher.

00:14:01: erst mal, wenn du z.B.

00:14:03: drei Agenten gegeneinander laufen lässt dass du ein besseres Ergebnis bekommst weil dann filterst du quasi aus jedem das Beste raus und dann kommst du schon erstmal auf einen relativ hohes Ergebnis.

00:14:12: Wenn du das aber weiter treibst und die immer weiterlaufen lässt über den längeren Zeitraum, da rufen sie sich ja immer wieder selber auf Und dann hast du logischerweise auch Halluzinationen, die sich irgendwann einschleichen.

00:14:22: Diese Halluzziationen multiplizieren sich hoch und am Ende hast du meistens nach fünf Durchläufen auf vier fängt es an.

00:14:29: eine Wahrfolgs-Verscheinigkeit geht dann rund auf achtzig Prozent.

00:14:31: noch zehn durchläufen bist du meist schon bei null oder sowas in der Größenordnung.

00:14:35: also das geht dann gegen Null irgendwann.

00:14:38: Die Madagasachans läuft gegen null gegen unendlich.

00:14:41: aber das ist in dem Fall eher nicht unendliche sondern eher so endgleich.

00:14:43: zehn oder so ja?

00:14:44: Also Fakt ist Umso mehr du die Gegeneinander antreten lässt und miteinander arbeiten lässt, umso mehr fabricieren sie auch.

00:14:53: Und angenommen ist jetzt eine Cyber Security-Aufgabe.

00:14:54: Sie sollen so ein System hacken.

00:14:57: Halten diese sich natürlich dann weniger dran weil sie am Anfang erst mal verzweifeln.

00:15:01: Sie stellen fest, die kommen nicht weiter.

00:15:02: Dann werden sie kreativ.

00:15:04: In dem Moment wo dieser Kreativmechanismus rein kickt fangen die anderen gegenseitig sich hoch zu schaukeln.

00:15:09: Du hast ja gerade schon erwähnt Open AI and Throphic.

00:15:12: bei Meta ist es jetzt auch passiert.

00:15:13: also... Wir reden jetzt, wenn das in zwei Wochen alles passiert ist.

00:15:16: Das ist schon zum guten Ton!

00:15:18: Ja genau wir reden halt von KM Einzelfall mehr.

00:15:20: also jetzt erwarten wir vermutlich dass jeder der ein Modell hat irgendwie was released, dass das der Fall ist.

00:15:27: und das verstörendste was ich persönlich fand es als OpenAI ihr Netzwerk jetzt erschlagen hat haben die Agenten auf anderem Wege Autonom wieder geschafft aufzubauen.

00:15:39: Die Frage ist, ist das so clever programmiert oder ist da was außer Kontrolle geraten?

00:15:45: aka wie du gerade erwähnt hast es war einfach sehr sehr kreativ?

00:15:49: Ich würde sagen in dem Fall wars Teil des Szenarios.

00:15:53: Das heißt man hat ja dort die sind ja nicht in den Zufälligen die haben ja nicht einfach Kaffee getrunken und haben gewartet dass irgendwas passiert sondern sie sind von Sicherheitsforschern auf Sicherheitsprobleme los geschickt worden.

00:16:04: Und diese sollten sie kreativ lösen.

00:16:06: und Sie haben angefangen, die eben kreatif zu lösen.

00:16:10: Nur haben sie sich halt nicht mehr in irgendwelche Regeln gehalten, die man Ihnen vorher gegeben hat?

00:16:14: Wenn wir jetzt nochmal zur Kreativität kommen war das ja auch der Case in den letzten zwei Wochen dass ein Agent mehrere falsche Identitäten gebaut hatte sich als Mensch ausgegeben hat und einen echten Mitarbeiter im Endeffekt dazu gebracht hat den Code freizugeben und danach noch seine Spuren zu verwischen.

00:16:35: Ist das denn nicht so, dass non plus ultra an?

00:16:38: jetzt wird es schwierig?

00:16:41: Definitiv.

00:16:42: Aber auch hier war das eben seine Aufgabe.

00:16:45: Jetzt versuchen aber die großen Studios natürlich zu vermeiden, die großen Labs zu vermeidern, dass man die Agenten für solche Aufgaben missbraucht.

00:16:54: und sie führen sich trotzdem aus wenn man sie lieb fragt.

00:16:57: Wenn man sie Lieb fragts wie

00:16:59: man sie liebt, fragt natürlich.

00:17:00: Also nett fragt und nachhaltig fragt vielleicht noch mit einem kleinen Exploit also sprich mit einer Sicherheitslücke.

00:17:06: Kurzer

00:17:07: Exkurs was ist ein Exploit?

00:17:09: Naja es ist in der Fachsparte die Cyber Security.

00:17:12: Experten nennen solche Dinge eben ja Sicherheitslücken die ausgenutzt werden können.

00:17:18: und du kannst natürlich auch mit einer cleveren Anfrage die das Modell erst mal verwirrt seine Sicherheitsmechanismen außer Kraft setzen um dann Aufgaben zu lösen.

00:17:27: aber hier ist der Punkt.

00:17:28: Das wurde in dem Fall nicht getan, man hat einfach nur versucht einen Sicherheitsthema zu lösen und eigentlich ist man davon ausgegangen dass die Modelle sich an das Training was sie vorher von den Anbietern bekommen haben.

00:17:39: Von ihren Herzeugern, Herstellerinnen bekommen haben zu halten.

00:17:42: aber Sie haben es eben nicht getan sondern Sie haben sich an die Anweisung des Nutzers gehalten.

00:17:46: ich könnte jetzt auch sagen du kannst eben unterm Strich keine künstliche Intelligenz trainieren.

00:17:53: auf mach's dem Nutzer bitte recht Halte dich an die Regeln.

00:18:00: Sondern der Fokus wird halt auf ein Thema gehen, in dem Fall macht es den Nutzer recht früh oder später.

00:18:05: Wenn das Konsextfenster, wenn die Verwirrung groß genug ist dann fällt er halt auf irgendwas zurück und meistens ist es dann entsprechend das Thema sich an den Nutzen zu halten bzw.

00:18:15: ist das halt das was wir... Beobachten.

00:18:17: Eine andere kleine Beobachtung, ich habe letztens eine Analyse durchgeführt mit mehreren großen AI-Anbietern und deren Modelle im Hintergrund hinter meinem Lieblingsagenten mit meinem eigenen Kontext in meinem eigenen Gedächtnis jeweils im Memory quasi in diesem Agenten.

00:18:32: Und da ging es darum ob wir ein Stück Software auf dem Source machen sollen oder nicht?

00:18:36: Und natürlich haben die Modelle einen Bias.

00:18:39: also das heißt sie sind ja kommen nicht unvoreingenommen quasi daher.

00:18:45: Interessanterweise waren die großen geschlossenen Modelle von OpenIron & Trophic eher zurückhaltend, was das Thema machte eines Software-Open Source betrifft und Open Source Modelle wie Gwen gerade chinesische Modelle war ein sehr offen dafür.

00:18:59: Und haben das richtig gepusht?

00:19:00: Das musst du unbedingt machen ist eine mega gute Idee!

00:19:03: Das heißt was wir oft vergessen is dass die Modelle je nachdem wer sie trainiert hat mit welchen Parametern Gewichtungen etc.. kommen die mit einer voreingenommenen Meinung.

00:19:17: Und es sind also ganz viele Themen, man darf nicht denken dass die halt das Modelle alle untereinander sind ja auch nicht gleich aber dass sie eben untereinanders gleichzeitig dieselben Entscheidungen treffen sondern ist eher so ein Freelancing wie Sie die Entscheidung treffen entlang welches Entscheidungsfahrt ist.

00:19:34: und Ich sage das deswegen auch so nachhaltig, weil jeder der quasi in einer Entscheidungsposition ist in einem Unternehmen und heute sagt ich möchte gerne AI-Agenten in meiner Produktion einführen hat viele Herausforderungen.

00:19:50: Man muss schauen was machen die Modelle genau, sprich man muss aufzeichnen welcher einzelne Schritt jeweils ausgeführt worden ist.

00:19:57: Man muss eigentlich sogar, bevor der ausgeführt worden ist in die Entscheidungsfindung Menschen einbinden können und sicher einbieten können nicht dass zu viele Entscheidungen getroffen werden oder die richtige Entscheidung eben auch autonom getroffen wird.

00:20:10: Und man muss im Prinzip auch also wir haben ja gerade über Transparenz gesprochen, man muss eben auch die Sicherheit gewährleisten können das sie eben nicht aus ihren Sandkisten Sandboxen ausbrechen.

00:20:23: und all das ist Stand heute Und ich muss immer wieder erschreckend sagen, nicht gewährleistet.

00:20:30: Ganz gute Überleitung!

00:20:33: Du sprichst ja immer gerne über Sandbox und ist aus der Sandbox ausgebrochen.

00:20:37: Wenn wir jetzt irgendwie in Bildsprache sprechen wenn du halt in den Zoo gehst und der Tiger dreimal aus dem Käfig ausbricht was machst du dann?

00:20:46: Du bearbeitest ja in der Regel den Käfig oder möbelst ihn auf.

00:20:52: Die Frage ist Was ist jetzt gerade das Problem, das Tier oder der Käfig?

00:20:56: Weil wenn das jetzt schon so oft passiert müssen dann nicht andere Kontrollmechanismen, andere Mechanismen um solche Sachen irgendwie im Zaun zu halten greifen.

00:21:06: Oder ist es halt auch einfach unmöglich inzwischen?

00:21:10: Also da die sämtliche Genei-Modelle, die wir heute haben, nicht deterministisch sind sondern probabilistisch, d.h.

00:21:18: auf Wahrscheinlichkeiten passieren, ist das im Prinzip... Wenn wir ganz ehrlich sind, ja auch keine menschliche Intelligenz wie das haben.

00:21:25: Sondern es ist eine maschinelle Intelligenze Eine Maschinelleintelligenz die darauf optimiert ist auf Basis von Wahrscheinlichkeiten Entscheidungen zu treffen.

00:21:34: So und da ist sehr viel Wissen reinkodiert.

00:21:37: Das heißt ich gebe dem quasi alles verfügbare Wissen mit Und dann auf basis von wahrscheinlichkeiten soll's entscheiden Wie es jetzt aus dieser Sandkiste ausbricht?

00:21:46: Und natürlich wirds Wege finden sobald irgendwo ne Lücke ist wo ein Sonnenstrahl rein fällt aus diesem Ding auszubrechen, weil es macht ja immer nur die logisch verfügbaren nächsten Schritte.

00:21:57: Und was wir jetzt halt mit der Schreckung feststellen?

00:21:59: Wir haben diese Modelle nach dem menschlichen Vorbild trainiert – nach ganz vielen Online-Seiten, Anleitungen

00:22:05: etc.,

00:22:06: und diese Modellen verhalten sich an einem gewissen Punkt auch wie das Vorbild nämlich wir um sich dann eben nicht mehr in Regeln zu verhalten, um das Problem zu lösen.

00:22:16: Genau das passiert!

00:22:17: Das heißt, um abzuschließen... Egal wie groß du die Sandbox baust, es wird immer den Moment geben wo du nicht genau hinguckst als überwacher und vielleicht vergisst irgendein Tür zu schließen.

00:22:31: Und in dem Moment sieht das AI-Modell seine Chance und wird ausbrechen.

00:22:35: Du hast gerade über Hermes gesprochen, tatsächlich mehr oder weniger zum ersten Mal glaube ich.

00:22:40: Also ich weiß nicht, ob du es davor schon mal erwähnt hattest?

00:22:42: Wir sprechen hier nicht vom Liefer-Service sondern wir reden von einer weiteren wunderbaren KI bzw.

00:22:50: einem KI Agenten der letzte Woche sich gedacht hat, wir versuchen mal was ganz Besonderes auch um Hilfe.

00:23:01: Und der erste Fall in freier Wildbahn, ein autonomer KI-Agent namens Hermes hat unbeaufsichtig das Finanzministerium Thailand ausspioniert.

00:23:13: Das ist offiziell der erste Staatsangriff.

00:23:18: Wir wissen nicht ob ihn offiziell als schon wahrscheinlich mehrere gab aber zumindest wurde dieser kommuniziert.

00:23:25: Er hat selbstständig das Netz erkundet, rechte ausgeweite Zugangsdaten gesammelt.

00:23:31: Wenn wir uns das jetzt angucken, vor allem mit gerade worüber du gesprochen hast Sandbox.

00:23:37: Wie kann man die Sandbox kontrollieren?

00:23:38: Wie groß ist dieser Schritt dass nun auch so ein Schritt kommuniziert wird und gepublished wird?

00:23:45: Wir fangen nochmal in der Mitte irgendwo an.

00:23:49: Es wird eben... Man darf eben nicht verwechseln.

00:23:52: Wir sind jetzt nicht im Film Das ist nicht Skynet Terminator usw.. Das klingt aber

00:23:58: so.

00:23:59: Sondern dort ist ein lokaler AI-Agent mit einer large language Modell dahinter, der eine Aufgabe bekommen hat und er hat viele Möglichkeiten.

00:24:11: Der kann Software bei sich selber bauen, der kann sich Software nachladen aus dem Internet ohne mich zu fragen.

00:24:18: Er hat im Prinzip freie Hand bei der Ausführung meiner Aufgabe die ich ihm gebe.

00:24:24: Ich habe den auch laufen.

00:24:27: Der darf bei mir nicht viel, der darf das Internet nach neuen Nachrichten durchsuchen und darf mir die zum Beispiel in der Zusammenfassung jeden Morgen geben.

00:24:34: Ich benutze das auch im Podcast hier zum Beispiel vorzubereiten.

00:24:39: Den schickst du jetzt los und sagst mach mir mal meine Steuererklärung!

00:24:44: Und jetzt macht ihr dir deine Steuererklärungen fragt sich soll ich sie ja auch gleich übermitteln?

00:24:50: Und jetzt will er die übermittelt und stellt fest Ich hab aber gar kein Passwort und keinen Schlüssel, um die sicher ans Finanzamt zu übermitteln.

00:24:59: Und dann fragt er dich hast du einen Schlüssel für mich?

00:25:02: Dann sag ich, ich habe keinen Schlessel für Dich, finde irgendwie ein Weg das den schicken.

00:25:07: Wenn ich nach ein paar Sekunden nicht antworte suchte dem Weg auch alleine übrigens.

00:25:12: Das ist eine Programmierung!

00:25:16: Was glauben wir?

00:25:17: macht jetzt ein hinreichend schlaues AI-Modell mit sehr vielen Tools und Werkzeugen.

00:25:22: Es fängt an, nach Wegen zu suchen und das trotzdem ans Finanzamt schicken.

00:25:27: Also Kundschaften, es fängst du an erst mal zu gucken was ist denn dort?

00:25:31: Wie bei einer Istanalyse, bei jedem guten Conciting-Projekt.

00:25:35: Also KI-Angänden wie Wasser finden immer den Weg?

00:25:38: Das sucht sich immer den weg!

00:25:40: Das ist ein sehr mächtiger Zauberstab für Leute die damit wissen umzugehen haben aber eben auch ein sehr eben dann nicht Wasser in Wein vom Wandel, sondern da kommt halt ein Froschball raus.

00:25:55: Also ich weiß, ich bin beliebt für meine Vergleiche.

00:26:00: Das ist auch ein bisschen ... ja, ich versuche immer witzig zu sein... aber du verstehst mich ja, also die Probleme, die wir heute haben is' Wir sind komplett gehyped.

00:26:10: Nvidia verkauft teure Hardware, denn das ist im Prinzip egal was oben drüber an den Anwendungsschichten damit passiert oder gebaut wird.

00:26:16: Die finanzieren Unternehmen massiv, die alles irgendwie etwas mit AI zu tun hat machen.

00:26:22: Und es gibt natürlich auch Ansätze, da reden wir dann in die weiteren Folgen drüber.

00:26:26: Versprochen, jetzt kommt nicht noch eine Cyber Security Folge außer Die Welt bricht sie zusammen und Skynet.

00:26:30: Wir wissen wie gesagt, wir wissen nicht was in den nächsten zwei Wochen passiert.

00:26:33: Ich könnte

00:26:33: wahrscheinlich in der eigenen Podcast machen Nutze Cyber Security, dann laden wir immer Experten dazu ein.

00:26:38: Ja

00:26:38: aber das ist so schnelllebig!

00:26:41: Also nochmal, die Trust-Geschichte was MCP betrifft.

00:26:48: Die Nachlade, Code-Nachladethematiken, das Ausbrechen aus Sandboxen, dass nicht an Regeln halten der Modelle selbst... Das ist alles so wie Spitzes Eisbergs.

00:26:56: Das könntest du in den nächsten drei Stunden noch weitertreiben mit dem Thema und wirst immer mehr finden.

00:26:59: Fakt ist, die Modell steht nicht früh auf und denkt sich, ich hecke jetzt das Finanzamt.

00:27:04: Das für was wir alle richtig Angst haben sondern da ist irgendwo ein Mensch innerhalb der Kette, der sagt Hm, man könnte doch jetzt mal... Du kannst natürlich auch losgehen und sagen zu deinem AI-Agent mach mich reich.

00:27:19: Und egal wie hart das ist.

00:27:21: Jetzt kommt's!

00:27:22: Die großen Anbieter proklamieren ja immer mein Agent macht es nicht der ist sicher den kannst du einsetzen machen gleichzeitig aber Werbung mit.

00:27:31: er ist unsicher um aber gleichzeitig zu sagen die Funktionen die jetzt kommen ist kompletter Autopilot Modus kann dir nichts passieren Wahnsinn oder?

00:27:39: Also

00:27:39: Ja, es ist so ein bisschen hausanzündend ums zu löschen.

00:27:43: Genau!

00:27:44: Also mein selbst servicester Feuertofel und ich finde das hat's bisher in der IT nicht gegeben.

00:27:52: Bisher war ja IT erlangweilig wie wir alle wissen also nicht für mich aber

00:27:58: Für den Auto-Normalverbraucher?

00:27:59: Ja

00:28:01: Und SAP war eher so der Standard und jetzt fängt plötzlich IT an kreativ zu werden Und jeder kann mal der gerne willte.

00:28:12: Das ist schon ein Problem und ich war nur deswegen noch einmal davor, weil es so einfach zu sagen, dass die AI ja an sich böse ist und überhaupt... Ist das halt nicht?

00:28:21: Das Problem ist sie ist potenzierend!

00:28:25: Sie ist idänenpotenziernd und Wille-potenzieren für Menschen, die sie wissen einzusetzen.

00:28:31: Und das führt letztlich dazu, dass sie schwieriger kontrollierbar wird, weil natürlich jetzt auch Entscheidungen, Umsetzungen.

00:28:38: So ein Finanzamt zu hacken, da hätte erstmal jemand ein halbes Leben lang Sicherheitslücken studieren müssen.

00:28:44: Um herauszufinden welches System was er vorfindet hat welche Sicherheitslücke etc.

00:28:48: Das geht jetzt alles einfach in ein paar Millisekunden.

00:28:51: das heißt Cyber Security die Angreifer und Angriffsvektoren sind umso schneller geworden um so besser Und die Werkzeuge sind halt extrem viel besser.

00:29:02: Und deswegen denken diverse Regierungen auch drüber nach, dort mehr Sicherheitsmerkmale einzuführen.

00:29:09: Mehr Regeln einzufügen und Beschränkungen einzufüllen.

00:29:12: Wenn wir uns jetzt nochmal die Runde drehen zu Sergi der meinte hey, wir müssen erst mal die Basics-Anfall gucken weil wenn wir uns in Thailand Angriff angucken, die hatten Standardpasswörter oder schlecht abgesicherte Zugänge Heißt das, wir müssen jetzt wirklich alle die Security Layer einmal hochschrauben.

00:29:32: oder schafft eine gute AI, die so oder so zu umgehen?

00:29:37: Ich glaube es ist ne tolle Idee sich mit AI an Ganzen zu beschäftigen im privaten in abgegrenzten Use Cases und abgeschotteten Umgebungen.

00:29:48: Aber man muss sich sehr genau überlegen gibt man dort Zugriff auf alles?

00:29:51: und im Unternehmenseinsatz würde ich definitiv sagen nein.

00:29:54: hier gilt es weiterhin sich die Prozesse anzuschauen, vielleicht mithilfe von AI zu analysieren.

00:30:00: Diese dann aber statisch deterministisch mit neuen Technologien vielleicht auch umzusetzen in den Prozessen und Workflows.

00:30:10: Und an den Stellen wo du Intelligenz brauchst setzt du sie partikulär ein.

00:30:15: Aber nicht hey lieber Eiergönig habe ich ein Problem, löse mir das bitte!

00:30:21: Und übrigens lass mich in Ruhe bei der Lösung mache einfach... Das ist genau das Problem, wo wir gerade... Der Mensch ist halt lazy.

00:30:30: Er ist halt faul und setzt sich davor und sagt macht es jetzt mal für mich!

00:30:36: Alle Ergebnisse die dort passieren müssen kontrolliert werden.

00:30:41: Ich habe jetzt gerade eine Anwendungsfälle in der Luftfahrt bei Luftfahrtszulieferer Unternehmen, die Teile herstellen, die dann im Flugzeug verbaut wären.

00:30:50: Die möchten auch AI einsetzen Die setzen die nicht einfach so mal gucken ein, sondern da gibt es einen festen Prozess.

00:30:57: Da gibt's Mansion Human in the Loop wie wir das nennen der immer wieder die Prozesse kontrolliert, die Zwischenergebnisse kontrolliert und dann verkürzt AI trotzdem noch dreißig Prozent mehr die Prozesslaufzeit weil einfach zwischendrin große Texte und strukturierte Daten analysiert werden müssen zusammengefasst werden müssen usw.

00:31:18: Und dass schon ziemlich gut machbar ist jetzt mit den entsprechenden Modellen, wenn die entsprechend richtig eingesetzt werden.

00:31:25: Aber es wird Sicherheit nicht mit – ich habe hier Zehntausend Requirements-Dokumente für einen neuen Flugzeugtyp machte ihn mal fertig!

00:31:33: Ich sage das deswegen mit Flugzeugen weil wir hier über regulierte Industrieentsprechensprich.

00:31:38: dort Müsst der Nachweis geführt werden über sämtliche Prozesse und Prozessschritte auch in der Entstehung von so einem Flugzeug.

00:31:46: wäre was wie wo wann entschieden freigegeben usw.. Das heißt es gibt ja Industrien, die sind grundsätzlich so gebaut dass wir Dinge regulieren müssen und da kann man sich viel abschauen darüber wie man sowas sicher eben einsetzen kann.

00:31:59: Ist die logische Gegenreaktion um einen kleinen Themenwechsel durchzuziehen?

00:32:04: Wir holen unsere KI jetzt irgendwie ins eigene Haus weil da haben wir auch in der Woche ein kleines Update was sich verändert hat.

00:32:15: ich weiß nicht wie ich es richtig ausspreche aber Meta hat gerade Muse Glimmer, ja also ich gehe mal so was spricht es aus.

00:32:23: Muse Glamour oder alle sprechen über Muse offengelegt.

00:32:26: das ist ein Modell was auf dem eigenen Rechner läuft Punkt eins Punkt zwei kostenlos und Punkt drei Ausgerechnet Meter die Jahre lang mehr oder weniger alles irgendwie als Fortress gehalten haben und zugemacht.

00:32:40: Warum jetzt?

00:32:41: Und Was ist das für eine Veränderung

00:32:44: wenn du weißt dass die großen Anbieter wie OpenAI und dann Trophic eigentlich den Markt unter sich aufteilen, vielleicht noch ein bisschen Microsoft an der Seite oder sehr viel Microsoft an einer Seite.

00:32:57: Dann musst du auch verstehen dass du eigentlich nur auf der Flüge der Chinesen unterwegs sein kannst was AI betrifft nämlich mit Open Source Modellen, mit offenen Gewichtungen usw.

00:33:07: Man könnte jetzt auch kettlerische Stimmen, ich habe heute Morgen auf Reddit gelesen, da habe ich geschrieben dazu Naja, Marc hat bestimmt das Geld einfach nicht um sich die Data Center hinzustellen.

00:33:16: Um das für seine Kunden zu betreiben.

00:33:17: also gibt es denen halt selber... BAM!

00:33:22: Steile These.

00:33:22: ich glaube der hat schon genug Geld ja aber Ich glaube er hat sich auch ganz schön verhoben mit diversen anderen strategischen Entscheidungen in den letzten Jahren.

00:33:30: Fakt hier ist ob im Source Modell sind ein Teil der Zukunft.

00:33:33: jetzt wird das neue QN-III rauskommen freue ich mich schon sehr drauf von heute an in anderthalb Tagen oder so.

00:33:40: Die Website war leider auf chinesisch in einer vorhergehenden Version, ist es bei mir im täglichen Einsatz schon.

00:33:45: In der drei siebender Version und man erhofft sich von der dreihachter Version wieder drei Prozent bessere Ergebnisse.

00:33:54: Und das kann man sehr gut für Alltagsaufgaben schon einsetzen.

00:34:00: Man muss dafür nicht mehr Cloud basiert viele Tokens bezahlen.

00:34:06: Ich habe noch ein anderes InSight, was mir gerade einfällt.

00:34:08: Was ich heute unbedingt noch sagen wollte und zwar wir entwickeln ja super viel auch mit den genannten MCPs und so weiter im Unternehmenseinsatz also sprich mit den Schnittstellen wie eine AI über den Agenten auf interne Werkzeuge, Software-Schnittstellen usw.

00:34:22: zugreift?

00:34:23: Auf die Daten!

00:34:25: Und dabei haben wir festgestellt dass die meisten dieser MCP Server eine recht schlechte programmierte Qualität besitzen und das bedeutet wiederum sie sind im unternehmenseinsatz nicht einsetzbar.

00:34:40: diese schlechte qualität wiederum wo wir wieder übrigens bei den großen anbietern werden führt dazu dass in der ausführung fehler auftreten Wo du sehr viele tokens umsonst on top ausgeben musst.

00:34:57: also sprich token haben wir schon drüber gesprochen die elementare einheit die geld kostet um diese fehler dieser MCP-Schnittstellen zu beheben.

00:35:08: Also ich fasse nochmal kurz zusammen, die MCPs, die wir heute da draußen haben sind nicht nur unsicher wie in der ersten Hälfte des Podcasts besprochen sondern sie sind in der zweiten Hälfe auch noch schlecht programmiert heißt im großen Stil du kannst sie nicht eins zu eins im Unternehmenseinsatz einsetzen.

00:35:26: was wir jetzt bei unseren Kunden machen ist Wir programmieren die selber zum Teil neu Weil die, von den Herstellern selbst kommen, super schlecht funktionieren.

00:35:40: Ich nehme ein Beispiel raus vom Connector, dem wir gar nicht im Unternehmenseinsatz einsetzen aber den ich letztens mir genauer angeschaut habe und das ist der Notion-Connector.

00:35:48: Notions sind.

00:35:48: eine Notizseite kennen wir alle also viele.

00:35:51: Vielleicht im durchsprechenden Raum gar nichts so oder?

00:35:54: Meinst du Notions ist ein großes Ding in Deutschland?

00:35:56: Ja schon!

00:35:57: Also wenn man in einer digitalen Welt arbeitet sollte das eigentlich jeder kennt.

00:36:01: Naja, also und Notion hat selber einen MCP rausgebracht.

00:36:05: Die machen auch super viel Werbung zum Thema AI usw.

00:36:08: Und mit diesem MCP kann ich halt jetzt mit dem beliebigen AI-Modell von Claude usw.

00:36:13: auf die Daten, die mir gehören quasi, die in meinem Notion liegen zugreifen.

00:36:18: Notizen, Unternehmensnotizen

00:36:20: usw.,

00:36:21: wenn ich so im Small Medium sized Enterprises unterwegs bin.

00:36:25: Der Connector den die halt automatisch dort zur Verfügung stellen der ist so schlecht gebaut dass teilweise doppelt bis dreimal so viele Tokens in meinem AI-Agent verbraucht werden, wenn ich diesen benutze als es müsste.

00:36:39: Warum?

00:36:40: Weil die, ich sage's mal hart... Die Funktionalitäten und die Features, die der Connector mitbringt passen gar nicht zu den Beschreibungen, die das Hersteller selber veröffentlicht hat.

00:36:51: zu diesem Connector Das heißt meine AI-Modelle muss die ganze Zeit das kompensieren und verbrauch dabei natürlich wahnsinnig viel Tokens mehr!

00:37:00: zusätzlich.

00:37:00: Und top!

00:37:02: Jetzt stellen wir uns das im Unternehmenseinsatz vor, da hast du schon irgendwie eine AI die einigermaßen geradeaus klar denken kann.

00:37:08: dann hast du vielleicht sogar noch einen deterministischen Hanastronom gebaut der sprich Arbeitsabläufe in derselben Art und Weise mit dem selben Schema immer wieder ausführt.

00:37:17: Und jetzt hast Du aber nen MCP-Connector.

00:37:19: wo Du denkst ah ich nehme mal von dem Hersteller Dankeschön den vertraue ich jetzt.

00:37:22: Ich gehe mal davon aus dass der Hersteler selber programmiert hat und nicht bei einem Subunternehmen herstellen lassen hat was danach Sicherheitslücken rein programmiert.

00:37:32: Aber dann ist er trotzdem gewipecoded, sprich da hat einer gesagt Bauma einen mcp-Connector und der kann sich von Version zu Version so unterscheiden dass die eigentliche Dokumentation von dem Ding gar nicht mehr hinterher kommt und der auch nur noch misst liefert.

00:37:45: Und du merkst es aber gar nicht weil solange du irgendwie dein großes Enttrophic Modell einsetzt, dann braucht ihr halt hunderttausend Token statt zwanzigtausende Token um mit dem selben Connector zu arbeiten.

00:37:54: Du merkst das quasi nicht deine Tokens gehen einfach so durch.

00:37:59: Und die großen Anbieter logischerweise, Stichwort Token-Maxing haben natürlich überhaupt gar kein Incentiv daran irgendwas zu ändern.

00:38:07: Weil sie wollen ja noch mehr Tokensverbraucht haben.

00:38:09: Also ist übrigens gerade die Libelle vorbeigeflogen.

00:38:12: Ich mag Podcasten freien aufnehmen und nicht Metaling.

00:38:16: Oh, die Libellis

00:38:17: hier!

00:38:18: Wild Wild Wild Nature bei dir.

00:38:20: Der Kontrast, der Kontrast zu den ganzen Computern IT-Welt wir gehen es raus in die Natur.

00:38:24: Alle reden doch halt immer Touching Grass du bist live dabei kannst direkt das Gras anfassen.

00:38:29: Du bekommst

00:38:31: du aus dem Studio mit.

00:38:32: aber wieder zurück zum Thema.

00:38:34: also sprich alle reden davon wir müssen mehr Sicherheit machen wir müssen den Tokenverbrauch untersetzen die operationalen Kosten senken.

00:38:42: ich habe jetzt Unternehmen gesprochen die geben einfach mal dreißig Millionen aus im Monat für AI.

00:38:48: Okay,

00:38:49: tschüss.

00:38:50: Wow!

00:38:51: Also das ist so eine Next Generation Bank.

00:38:54: Wir kennen ja alle die auch ein paar deutsche Anbieter sind internationaler Anbeter und stell dir das mal vor.

00:39:00: Die haben einfach Hundert Software Entwickler, die dürfen da machen was sie wollen, die haben einfach mal.

00:39:05: in den letzten Monaten ging es noch aber das ist in den Letzten, ich sag's mal letzten vier Wochen, vier sechs Wochen gab es doch so eine Explosion am Verbrauch liegt ein bisschen damit zusammen, dass Antrophic Geld verdienen muss und die jetzt anfangen ganz viele Agenten gegeneinander laufen zu lassen intern das du gar nicht mitbekommst.

00:39:20: Und sie ja sowieso nicht transparent kommunizieren wie viel Freitokens du hast und dann zählt es halt richtig doppelt.

00:39:27: Alleine unsere kleine Entwicklungsmannschaft verbraucht knapp vier Milliarden Tokens nur alleine auf OpenAI im Monat on top zu den Subscriptions zum Abonnent.

00:39:39: Ist das dann aber so optimiert, um so wenig Tokens wie möglich bereits zu verbrauchen?

00:39:44: oder seht ihr euch auch immer wieder selbst in diese Falle tappen?

00:39:49: Wir nähen anderes rum.

00:39:51: Videowise bauen wir deterministische AI-Agenten und haben da eine eigene Technologie.

00:39:56: Und wir haben letzten Monat einen Hackathon gemacht wo wir in zwei Tagen ein paar neue Sachen ausprobiert haben.

00:40:04: Die haben knapp neunzig Prozent dieses Tokenverbrauchs in diesem Hackathon gebaut weil sie im Hackathon durften sie mal explizit AI-Agenten für die Entwicklung benutzen, wo sie halt in der normalen Entwicklung eher herkömmlich programmieren.

00:40:18: Auch schon mit AI Unterstützung aber eben nicht komplett verbrennen was du willst.

00:40:26: und für mich ist das ein ganz klares Beispiel wenn du die Leute loslässt und sagst verbrennt so viele Tokens wie ihr wollt in der Softwareentwicklung.

00:40:33: es geht vielleicht auch raus an den einen oder anderen CDOS hier oder draußen der SoftwareEntwicklungsmannschaften hat.

00:40:39: Wenn du die nicht einschränkst in ihrem Tokenverbrauch, werden sie auch einfach Tokens verbrauchen ohne Ende.

00:40:44: Das Interessante war – ich habe mir die Statistiken angeguckt, da waren Entwickler dabei – die haben vierzig-achtzigtausend Zeilencode pro Milliarde Tokens produziert und dann waren welche dabei, die haben nur fünfhundert Lines of Code produziert, hatten aber denselben Token Verbrauch?

00:41:00: Also würdest du mal sagen wir sind an den Punkt angekommen wo man sagt Wir brauchen auch kreatives kreativen Token nutzen

00:41:09: Wir brauchen, also ich finde wir sind hier an einem Punkt wo die tatsächlich Token nutzen, der Nutzen nutzen.

00:41:16: Denn ich rausziehe aus diesen Tokens mal betrachtet werden muss kritisch.

00:41:24: Da muss es einen Steering-Komitee geben, da muss es Leute geben die sich hinsetzen und schauen was ist denn damit eigentlich wirklich produktiv gemacht worden?

00:41:34: Und ich nehme das gleich vorweg.

00:41:36: alles was ein Geschäftsprozess jedes mal einen Agenten neu loszuschicken, stand heute heutige Technologie um den Prozess neu zu denken nur weil ich ihn einmal ausführen muss.

00:41:48: Haben

00:41:48: wir in den letzten Folgen

00:41:51: gelernt?

00:41:52: Kompil.dei ist die Technologie die wir entwickeln, Detainerische Agenten wären möglich.

00:41:56: das heißt alles was Prozesse sind zum Beispiel, die wiederkehrends sind brauche ich nicht den... also ich muss immer vom Englisch nach Deutsch übersetzen ja aber die Menge von Token uns zu verbrauchen die EI mir vorgaukelt.

00:42:08: Das geht viel, viel einfacher zu machen, egal ob ich das mit statischen Codes ausführe, Kompile I ausfahre oder irgendein anderen Anbieter nehme der irgendwas...

00:42:17: Eine Frage!

00:42:21: Ich glaube davon geht man aus.

00:42:23: wenn jetzt zum Beispiel Grand Three Point Null lokal auf deinem Computer läuft heißt es automatisch dass weniger Tokens verbrannt werden?

00:42:32: Nein, das heißt nur dass sie lokal bei mir verbrannt werden und nicht mehr in der Cloud.

00:42:37: ganz kurz, um den Gwenderei Acht auszuführen brauchst du immer noch eine leistungsstarke Hardware.

00:42:42: Ich sag's mal hart ich nehme mal an unter vier-fünftausend Euro wird es schwierig.

00:42:47: das heißt du brauchst erstmal diesen Rechner diesen Computer um das Auszuführen.

00:42:51: okay dann brauchst aber nur noch den Strom und hat noch ein Vorteil die Daten bleiben natürlich bei dir.

00:42:57: das geht nirgends woanders mehr hin.

00:42:59: das bleibt bei dir.

00:43:00: lokal kannst internet abtrennen das Ding kann einfach lokal bei dir arbeiten.

00:43:05: Es braucht aber immer noch, um eben ein großes Kontextfenster zu haben damit du auch Daten reinladen kannst.

00:43:10: Eben nicht nur die Zweiunddreißig Gigabyte RAM oder so sondern ist schon besser irgendwie siebzig, achtzig Richtung Hundertzwanzig zu haben gigabyte und da kriegst Du halt nichts.

00:43:20: sag ich es mal unter fünftausend Euro.

00:43:22: wenn Du's noch schnell haben willst brauchst Du eine RTX six tausend pro von Nvidia.

00:43:25: Die kostet mittlerweile auf dem freien Markt fünfzehntausend Euro.

00:43:27: die kann dann Fünfhundert Tokens pro Sekunde statt Vierzig Tokens Pro Sekunde.

00:43:32: Und dann kannst du richtig tolle Sachen, ich sag mal, richtig geiles Zeug lokal bei dir machen.

00:43:38: Du kannst deinen Agenten damit laufen dass der ist feilschnell unfassbar schnell.

00:43:43: Halt ab und zu ein paar chinesische Schriftzeichen dazwischen.

00:43:45: so ist das Leben, weil ein chinesisches Modell ist immer bisschen annoying.

00:43:49: aber lebt man damit.

00:43:51: Und wenn du jetzt einen großen Prozess hast, irgendein Research Thema oder so weiter kannst du immer noch deinen Mixer of Agents benutzen und dann entsprechend Modelle von Entrophic Open AI und Co.

00:44:03: gegeneinander antreten lassen und die höchste Output-Qualität für das meiste Geld mal drei Tokenverbrauch

00:44:09: etc.,

00:44:09: wenn du drei Agenten hast natürlich auch laufen lassen.

00:44:13: Aber lokal ist definitiv eine Alternative Wenn du die restlichen Themen unter Kontrolle hast im Unternehmenseinsatz, wie wir eben angesprochen haben die Transparenz, die Sicherheit und die Wiederholbarkeit der Ausführung der AI-Agenten.

00:44:28: Und das kannst du durch verschiedene Werkzeuge unterm Strich gewährleisten.

00:44:34: Da sehe ich das hier aber auch gerade diese Gespräche an Wissen als Aufklärungsarbeit weil leider ist es nicht im Bewusstsein der Masse, die mit diesen Werkzeugen rumspielen stand heute.

00:44:46: Wir werden da noch sehr viel leer gezahlen Und es finde ich extrem schade, weil wir haben in den letzten Jahrzehnten viel über Cyber-Sicherheit gelernt.

00:44:53: Aber jetzt ist uns einfach egal, weil das übernimmt ja die Arbeit.

00:44:56: Erstens das auf der anderen Seite ist natürlich wieder ein ganz anderer Playground, der sich entwickelt hatte.

00:45:03: Eine abschließende Frage, aber wir kommen langsam zu Ende.

00:45:06: Glaubst du dass wir nun vor allem auch mit MuseGlimmer an dem Kipppunkt angekommen sind wo offene Modelle vielleicht zum Standard werden?

00:45:14: Ich finde gut, wenn offene Modelle zum Standard werden.

00:45:16: Aber da es in der USA entsprechend Anbieter gibt die Abermilliarden in die Hardware investiert haben, sprich in die Grafikkarten in ihren Rechenzentren investiert habe, werden große Modelle auch weiterhin Maß aller Dinge sein.

00:45:34: nicht nur deswegen unter anderem deswegen aber auf der zweiten Ebene.

00:45:38: auch die großen Modelle sind einfach künstlich verkleinert heißt sie haben noch den vollen Funktionsumfang, dem vollen Wissensumfang und dem vollem Umfang interner Agenten etc.

00:45:50: Und die vollen Schichten auch in denen Sie arbeiten und dadurch werden Ihre Ergebnisse immer der Goldstandard bleiben.

00:45:59: aber wie wir es jetzt auch wieder gesehen haben Es dauert zwei drei Monate.

00:46:03: da kommt ein kleineres Modell was auf ein paar Prozent rankommt an das größere Modell Was bei mir zu Hause auf der Hardware läuft.

00:46:09: Das liegt unter anderem daran, dass natürlich das kleinere Modell am größeren Modell mithilfe des grösseren Modells trainiert wurde.

00:46:16: Also es wird immer so sein, das größere Modeller kommt für aber Milliarden hergestellt.

00:46:21: und jetzt kann ich reingehen und kleinere Modelle drauf trainieren die dann kopieren quasi vom Größeren sich abschauen wie die Antworten aussehen wie sie erzeugt werden und dann funktioniert das.

00:46:33: ein abschließender Satz noch dazu Antrofik hat immer den Chinesen und Alibaba und Co.

00:46:38: vorgeworfen, wenn sie ein großes Modell rausgebracht haben das die Chinesien ihr Modell drauf trainiert haben.

00:46:46: auf Basis von Analyse Frameworks und Beobachtungen hat man jetzt festgestellt dass es sowohl als auch andersrum passiert ist.

00:46:52: Auch Antrofik, auch die Großen trainieren ihre Modelle mit den freien verfügbaren chinesischen Modellen.

00:47:04: Alex, drei kurze Fragen die du kurz beantworten darfst zu Ende und dann sind wir am Ende der dritten Cyber Security Folge.

00:47:11: Und ich bin gespannt ob wir eine vierte Runde drehen.

00:47:15: Wir wissen inzwischen auch nicht was in den nächsten ein halb Wochen passiert.

00:47:19: Wenn du dir jetzt einmal in Retro Perspektive diese ganzen KI-Security Stories anguckst Was ist dein persönlicher Liebling?

00:47:26: Ich glaube das ganze Thema MCP schlecht gemachten Schnittstellen jetzt kommen, die super gehypt wurden sind, weil sie aber immer noch in den Kinderschulen stecken und bei Weitem eben nicht auf dem Niveau sind dass sie im Großeinsatz im Unternehmen eingesetzt werden können.

00:47:48: Das ist für mich ein hartes Learning was ich auch so noch nur gelesen habe.

00:47:51: Ich bin gespannt.

00:47:52: also über dieses Thema Qualität und Qualitätsmanagement würde ich dann nochmal separat damit sprechen.

00:48:01: Wir fragen es dich ja jede Woche.

00:48:02: Was glaubst du ist aktuell in den letzten vierzehn Tagen komplett überschätzt?

00:48:07: Wenn wieder ein neues Modell rauskommt, ne so meta veröffentlichende neues lokales Modell das ist dann irgendwie zwei Prozent besser wird aber jetzt gehypt als wenn's irgendwie der Hotshit ist.

00:48:16: Aber das ist komplett oberhyped

00:48:18: Eine Entwicklung die kaum jemand auf dem Schirm hat.

00:48:21: Ich hab'n neues Gadget.

00:48:22: Du weißt ich liebe Gadgets

00:48:23: Ja, bin ich gespannt.

00:48:25: Das sind kleine Ring.

00:48:27: Der ist von einem meiner Lieblings-Uhrenhersteller Pebble.

00:48:31: Die hatten mal die erste Smartwatch rausgebracht, dann ist die Company an Fitbit und dann an Google verkauft worden...

00:48:35: Hatten wir in Folge eins?

00:48:37: Richtig!

00:48:38: Da ging es aber um die Uhr her.

00:48:39: Ah nee das ist diesmal die Gaming verdammt.

00:48:41: Okay jedenfalls haben auch einen Ring gebaut und es gibt jetzt zwei Startups und diese Pebble Jungs hier.

00:48:47: Die haben den Mikrofon da reingebaut und ein kleines Knopf oben drauf und du aktivierst über diesen kleinen Knopf das Mikrofon, sprichst rein.

00:48:55: Und logischerweise ist das mit meinem AI-Agenten verbunden.

00:49:00: Das heißt ich kann mir jetzt selber eine Notiz hier reinsprechen.

00:49:03: Ich drück einfach hier drauf so.

00:49:05: Notiz...das und dass und das.

00:49:07: In ein paar Sekunden später kriege ich die Notifikation auf dem Handy.

00:49:09: Ist es in meinem Speicher meiner Memory bei meinem AI Agenten?

00:49:13: Ich kann da Notizen mir machen!

00:49:14: Ich kann der Aufgaben reinsprechen und klickt die Antworten quasi über mein Handy zurückgespielt.

00:49:22: Ich glaube, das hat extrem große Zukunft.

00:49:24: Meine Frau wollte auch einen haben als es gesehen hat weil immer wenn du eine Idee hast, hast du gerade nichts zu schreiben da.

00:49:28: dein Handy ist in der Hosentasche oder die Brille is sehr inversiv ne?

00:49:32: Wenn du so ein Smartglasses hast von Meter oder so die sind Kameras drin und so weiter wird sie vielleicht nicht benutzen.

00:49:37: aber das hier ist wirklich so braucht nicht aufgeladen zu werden hält zwei Jahre die Batterie.

00:49:42: in dem Teil drückst du auf den Knopf drauf nimmt auf überträgsans Handy wird analysiert wird transkrippiert kommt in deine AI Engine dann auf Wahl.

00:49:50: Ich glaube, dass wir werden das hier von Apple sehen.

00:49:53: Das kostet nur sechzig Euro für wahrscheinlich vierhundert Euro.

00:49:59: Das wird ein bisschen toller aussehen, leuchten wahrscheinlich im Dunkeln oder so aber ich vermute es ist eines der nächsten großen Gadgets was ihr da haben will.

00:50:08: Bitte bis zum nächsten Mal zwei Use Cases damit vorbereiten, damit wir sie einmal live zeigen können!

00:50:17: Ich glaube, damit hätte ich aber auch schon das Thema für die nächste Folge.

00:50:22: Wir wissen ja zum Beispiel wie du gerade gesagt hast, dass Apple versucht mehr oder weniger aus der Software noch eine Hardware zu machen und dass es ja der große Entry sein soll für die Gesellschaftsfähigkeit.

00:50:35: Darüber würde ich mich das nächste Mal gerne mit dir unterhalten wenn das vielleicht in Ordnung ist.

00:50:39: Ansonsten würde ich sagen vielen vielen lieben Dank.

00:50:43: Vielen vielen Insights.

00:50:44: Ich habe viel gelernt, ich hoffe alle anderen haben auch viel gelernt.

00:50:47: um nochmal zu lernen würde ich euch aber auch empfehlen Alex einmal auf LinkedIn zu folgen für weitere interessante Insights und vielleicht auch einmal den Podcast Folgen fünf Sterne geben.

00:50:59: und Alex ich würde sagen vielen lieben Dank.

00:51:02: ich hoffe du kannst noch ein bisschen Gras anfassen in deiner Natur Und wir sprechen uns wieder nächste Woche.

00:51:08: Danke Christian!

00:51:09: Vielen Dank für die guten Folgen!

00:51:10: Dankeschön!