Was ChatGPT sich heimlich merkt

00:00:02: KI aus der Praxis, nicht aus dem Hype.

00:00:04: AI an Cut.

00:00:08: Einen wunderschönen guten Tag lieber Alex!

00:00:11: Eine weitere Woche eine weitere Folge AI on Cut.

00:00:15: Ich glaube wir finden langsam unseren Flow und neue Woche neues Glück.

00:00:20: die AI Welt hat sich mal wieder ordentlich gedreht.

00:00:26: Wir haben jetzt über AI Grundkenntnisse gesprochen.

00:00:30: Wir haben über Tokens und Chips schon gesprochen, wie sich das alles entwickelt hat und haben uns jetzt aber natürlich diese Woche mal die neuesten News angeguckt, die wahrscheinlich jeden Morgen in dein Postfach so oder so reinflattern.

00:00:45: Apple verklagt OpenAI.

00:00:48: Das ist auch ganz interessant.

00:00:50: Google, Microsoft, Salesforce und Co bauen einen gemeinsamen KI-Standard.

00:00:56: Ist das quasi schon der erste Betriebsrat der KI-Unternehmen?

00:01:02: Offen gegen OpenAI und Anthrophic – nicht mehr Hand in Hand!

00:01:06: Und Microsoft-Chef Nendella Warndt, wer KI nutzt, zahlt zweimal mit Geld und seinem wertvollsten Wissen.

00:01:15: Alex, wenn der Microsoft-CEO gefühlt schon vor KI in Anführungszeichen warnt oder zur Vorsicht mahnt ist das Panikmache oder berechtigt?

00:01:27: Wir reden jetzt mittlerweile seit mehreren Folgen davon dass man seine Daten in die USA verliert.

00:01:34: Das wäre ja noch das eine verschmerzbar.

00:01:36: vielleicht weniger wichtig.

00:01:39: Zugriff durch US Behörden okay Aber wenn halt AI Frontierlabs mit deinen Daten ihre Modelle trainieren, heißt das das Modell kennt nicht nur deine Daten sondern die das Wissen aus deinem Daten in seinem eigenen Wissen zum Datenbestand.

00:01:54: Und wenn Microsoft im Personal Union hat ja davor warned machen sie natürlich auf der einen Seite erstmal Werbung für Ereignis Offering Microsoft.

00:02:05: Ich glaube, das war es mit diesen Empowering people and companies or enterprises.

00:02:09: Das heißt Microsoft hat sich jetzt im Ziel gesetzt Unternehmen zu enablen und denen weiterzuhelfen.

00:02:15: Und deswegen sagen sie natürlich eure Daten sind bei uns sicher.

00:02:22: Kommt zu uns wenn ihr ein Modell nutzt den kann man schon grundsätzlich vertrauen.

00:02:27: also die sind nicht sicher Grundsätzlich vorerst behörden aber erst mal grundsächlich sicher.

00:02:30: Also sicherer oder sagen wir so Microsoft wird sicherlich Das würde ihr komplettes Geschäftsmodell im Prinzip kaputt machen, auf meinen Unternehmensdaten neue Modelle trainieren.

00:02:43: Zumindest nicht ohne dass ich vorher dazuzugestimmt habe.

00:02:46: Man darf ja nie vergessen sobald jemand ein Modell trainiert, trainiert das auch diesen Daten und das Modell kann dann diese Daten auch wiedergeben.

00:02:54: Fun Fact ChatGPT am Anfang?

00:02:57: Da konntest du doch solche GPTs ausstellen.

00:03:00: Ja genau.

00:03:01: Und wenn du, da gab es ein paar öffentliche GPTs.

00:03:04: Das Leute gesagt haben hier auf LinkedIn oder gucken wir euch einen GPT zu, weil sich nicht rechtswissenschaftliches Thema X ist.

00:03:10: Ein bestimmtes

00:03:10: Thema gebaut ja?

00:03:11: Ja M&A weiß ich nicht, WISC-Analyse irgendwas und da haben die meistens irgendwie SlideDex oder PDFs dahinter geladen und du konntest das Modell lieb bitten und es hat dir den original PDF wieder ausgegeben.

00:03:22: Schön!

00:03:23: Also einmal zurück zur Wikipedia.

00:03:26: Genau Weil da haben die Leute ganz schlau, die haben das ihre ganze Wissen reingepackt.

00:03:30: Die ihren ganzen Vorträgen, die sie jahrzehntelang gemacht haben und du kannst dann das GPT einfach fragen und deswegen haben sich das dann gleich wieder eingestellt.

00:03:38: Wenn wir das jetzt uns einmal so angucken Dann kann ja quasi jeder KI-Anbieter im Endeffekt zum Konkurrenten deines eigenen Geschäftes werden wenn er alle Daten einmal abgreift.

00:03:47: Ist das was wovor wir Angst haben sollten?

00:03:50: Die Studios gehen soweit.

00:03:52: Da gab es eine interessante artisch Dokumentation dazu dass sie halt Bücher einkaufen, diese nicht verbrennen.

00:04:00: Aber aufschneiden, zerstören und danach verbrenn, um sie einzulesen mit großem Skandal.

00:04:08: Das hast du letztes Mal schon erzählt genau?

00:04:10: Genau!

00:04:12: Ich meine wer so weit geht kann sich auch vorstellen können sich alles vorstellen.

00:04:17: Und jetzt kennt man einfach mal Sachen.

00:04:18: also macht ihr mit dir selbst ein Test.

00:04:20: in der Zukunft ladet jetzt mal irgendwas total abstruselt erfundenes hoch macht das zwei, drei Mal damit es auch ordentlich knallt.

00:04:28: Und in einem halben Jahr machst du einfach mal einen neuen Account bei deinen Lieblingsanbieter da wo du's vorher mal hochgeladen hast und dann haben wir ja die neuen Modelle, wählst du das neueste Modell aus und fragst mal einen Satz aus deinem PDF was du damals hochgelaten hast oder exakt diese Information die im Prinzip nur du so reingeschrieben haben könntest.

00:04:45: Das geht jetzt nicht mit persönlichen Namen aber einfach mal irgendein Sachverhalt irgendwas was du jetzt erfunden hast ein erfundenes Wort und schau dann mal.

00:04:52: muss aber neuer Account sein?

00:04:53: weissens ist ja klar, dass es von dir ist.

00:04:56: Und schau dann mal ob die Engine dieses Wort kennt.

00:04:59: hat für mich in zwei von drei Fällen funktioniert?

00:05:01: Ich wollte gerade fragen, ob du das schon einmal gemacht hast.

00:05:03: Natürlich

00:05:04: habe ich das ausprobiert, sonst hätte ich nicht vorgeschlagen.

00:05:07: Das ist eine ganz gute Hausaufgabe für alle da draußen, die diesmal ausprobieren möchten und zu gucken was ist der Outcome?

00:05:14: also wieder ein weiteres Szenario von Shit In, Shit Out.

00:05:19: Aber das ist halt wirklich gar keine Kontrollinstanz oder Filterinstanz gibt für sowas, sondern dass das wirklich Monate später noch im Gedächtnis der Anbieter hängt.

00:05:32: Für immer!

00:05:35: Da gibt es auch interessantes... IBM hat das glaube ich letztens angemerkt, da gab's einen Case.

00:05:44: Du fragst heute ein großes Frontier-Modell, gib mir doch bitte mal über einen Use Case der Anwendung von AI.

00:05:54: Also unser Hauptthema Anwendungen von AI in Unternehmenskontext und es gibt ja Use Cases und Beispiele die nachgewiesener Weise aus der Vergangenheit frei erfunden sind und waren.

00:06:06: Das heißt sie hat irgendjemand als Fake News in die Welt gebracht Und natürlich lernen diese Engines alles was irgendwie verfügbar ist und über mehrere Etationen von Lernvorgängen hat sich das als gesetztes Wissen eingeschlichen.

00:06:21: Jetzt kann ich sagen, es ist immer noch eine Halluzination.

00:06:25: Gibt

00:06:25: es so etwas wie eine Art Qualitätsmanagement ab einem gewissen Punkt?

00:06:29: Wie wir das machen, da musst du ja jeder mögliche erdenkliche Information dreimal prüfen ist die Valide bevor sich reinlädst.

00:06:36: Es ist so der europäische Ansatz.

00:06:37: von den europäischen Modellen sage ich jetzt mal und dass hat auch alle einfach glaube ich versucht zu sagen was hier bei uns drin ist.

00:06:44: es alles geprüft und das ER-Modell hat garantiert recht.

00:06:47: aber du bist natürlich irgendwo zwischen Halluzinationen und der Text selbst war frei erfunden.

00:06:54: Werden wir eher an den Punkt kommen, dass die Ergebnisse hundertprozentig treffsicher sind oder dass wir von der anderen Seite mit Qualitätsmenschwende vielleicht irgendwann doch noch gegenarbeiten müssen.

00:07:03: Ich glaube von keines der beiden von dir vorgeschlagene Lösungswege wird man das... Schade!

00:07:09: Was glaubst du?

00:07:09: was wird passieren?

00:07:10: Als nächstes gibt es erstmal natürlich die Work-Modelle, sprich das Modell lernt anhand seiner eigenen Simulation zum Gebung, die sich auch erzeugt.

00:07:19: und das heißt wo ich heute sage hier ist die echte Umgebung Hier ist dein echtes Buch.

00:07:25: Lernen anhand dieses Buches zum Beispiel, sagst du halt das Buch selbst in dem ich es mein Use Case erzeugt, dass dir das Buch selber und lern dann das Buch oder prüfe deine Ergebnisse anhand der Simulationsumgebung die du eben selber schaffst.

00:07:40: Die Ergebnisse dessen sind noch durchwachsen.

00:07:41: also sie können auch nicht mit den aktuellen Modellen mithalten, die jetzt auf reiner generativer AI basieren.

00:07:48: Dann hätten wir noch die halte ich sehr viel davon.

00:07:50: Rekursivenmodelle gibt's auch in Europa ein paar spannende... Das ist

00:07:52: ein rekursives Modell

00:07:55: Das lernt quasi selbst.

00:07:56: Alex, ein rekursives Modell!

00:07:59: Du hast gerade gesagt es bringt sich Sachen selbst bei?

00:08:02: Na ja also ist natürlich ganz korrekt.

00:08:04: der schlaue Leser wird höher auf.

00:08:06: natürlich Sachen okay.

00:08:08: Also das ruft sich im Prinzip immer wieder selbst auf um komplexe Aufgaben Schritt für Schritt zu lösen.

00:08:14: also sprich anstatt irgendwie in einem Rutsch eine Antwort zu geben, zerlegt seine Probleme erstmal in Teilaufgaben über Prüfzwischenstände für feiner Ergebnisse im Gedanke schleifen und so weiter und sofort.

00:08:25: Also quasi dieses typische Matroschka-Effekt ja Informationen in kleinere Häppchen aufteilen und die dann entsprechend lösen.

00:08:34: Am Ende wird das Ganze wieder eine Gesamtlösung zusammengeführt und da gibt es natürlich dann wiederum selbst verbesserende Systeme Tiny Recrossive Models.

00:08:46: Das geht dann in verschiedene Richtungen weiter.

00:08:48: AI-Modell heutzutage ist nicht mehr eine Art und Weise wie man das bauen kann, sondern es gibt viele verschiedene Ansätze und auch Entwicklungszweige und Richtungen, in denen sich das Ganze entwickelt.

00:08:57: Und das Schöne bei denen ist was ich gerade gesagt habe die brauchen halt deutlich weniger Token um selber Aufgaben zu erlösen.

00:09:03: Ein ähnliches mit dem wir uns auch beschäftigen.

00:09:06: Ding ding ding!

00:09:07: Das ist das was ja alle hören wollen grade?

00:09:09: Genau.

00:09:09: und wenn dann Apple erst noch die Blase platzen lässt richtig geiler lokale Hardware rausbringt.

00:09:16: Demnächst, die zwar so viel kostet wie ein voll ausgestellter VW Golf aber entsprechende Fähigkeiten mitbringt dann musst du dir halt auch die Frage stellen brauche ich denn die große Cloud-Lösung noch oder nehme einfach ein Open Source mit der Laschina?

00:09:29: Aber hey das war ja nicht deine ursprüngliche Frage!

00:09:32: Das klingt aber so, als ob dir irgendetwas schon zugezwitschert worden ist.

00:09:36: Woran baut Apple denn da gerade?

00:09:38: Na ja bisher klar die bauen immer neue Chips, dem M-Sex kommt es im Nächsten, den M-sieben Ultra habe ich gesehen, hab' ich gelesen in einem Rumor dass man da auf extrem große Speicherbandbreite setzt was sicherlich in Richtung twenty sieben und zwanzig irgendwann dann vielleicht sogar schon in einem M seven Studio oder so wie richtig einschlagen dürfte, aber wie gesagt das ist dann garantiert preislich in der größten Ordnung von MVW Golf.

00:10:06: Ich denke auch dass die Speicherpreise die ja schon völlig durch die Decke gegangen sind also jeder Gamer zu Hause der sich einen neuen Gaming PC zusammenstellen möchte wird feststellen dass diese Kiste plötzlich fünftausend Euro plus kostet und da wird es relativ wenig.

00:10:23: Also dieses ganze alte Gaming-Ding funktioniert halt nicht mehr, wo du sagst, ich will mal jedes Jahr einen neuen Gameplay zählen.

00:10:27: Da kann das neueste schnellste tollste Bild darstellen.

00:10:29: Diese Sache ist glaube ich auch ein bisschen vorbei weil die Technik halt so absolut teuer geworden ist durch die Speicherbausteine, die so teuer gewonnen sind da alle in die Datacenter fließen.

00:10:39: Und genau deswegen wird halt eben auch, deswegen kostet so ein Laptop auf dem ich hier unterwegs bin.

00:10:42: Plötzlich irgendwie das Doppelte weil er irgendwie viel Speicher hat.

00:10:46: und genauso ist es auch bei den natürlich umso mehr wenn dann solche High End ja schon fast Server-artigen Workstations von Apple rauskommen.

00:10:55: die werden uns dann auch neue Möglichkeiten geben.

00:10:58: super gut lokale Software schnell ausführen also lokaler Modelle schnell Ausführen wird uns unabhängiger machen Und für Unternehmen sicherlich zum Teil ein guter Deal.

00:11:12: Wenn wir uns jetzt aber einmal angucken OpenAI baut auch schon die eigenen Chips mit Broadcom, Google Amazon Microsoft Meter – auch alle im Endeffekt!

00:11:23: Warum bauen denn im Endefekt alle jetzt ihre eigene Hardware um Unabhängiger von Nvidia und Co.

00:11:30: zu werden?

00:11:31: oder hat das noch andere Gründe?

00:11:33: Absurde Preispolitik von Nvidia, erster Punkt Die machen halt so.

00:11:37: Nachfrage getriebene Preise, das heißt selbst die die Original Herstellerpreise schwanken nach der Nachfrage.

00:11:44: Das ist schon hart weil die verkaufen natürlich viel über Partner also sprich Implementierungspartner die die Mainboards und die Grafikkarten zum Beispiel selber herstellen Und die können die Preise festhalten wie eine Nachfrage ist.

00:11:56: Die einfach die hohe Nachfrage gepaart mit einer super geringen Verfügbarkeit lässt den Preis da explodieren und es schon seit Jahren so.

00:12:02: Das hatten die hat entweder schon mal gespielt das Spiel als Als die ganzen Kryptografikarten verkauft haben und die Kaffeekarten schon mal ausverkauft waren, dann war es wegen Krypto die Kaffee-Kartenpreise plötzlich dreiviermal so hoch wie sie eigentlich sein dürfen.

00:12:15: Und das Spiel spielen Sie jetzt nochmal mit Faktor zehn einfach.

00:12:19: Nvidia ist einfach ein Weltmeister im Geld verdient.

00:12:21: Die machen das wirklich.

00:12:22: Da werden auch einfach Mal in Treibern Dinge limitiert.

00:12:26: Dafür gibt's Google einfach mal... Ich könnte mir jetzt glauben oder nicht?

00:12:30: ja aber Die sind einfach Weltmeister im künstlichen Limitieren von Hardware Capabilities.

00:12:36: Und demzufolge bewegt sich natürlich der ganze Markt in diese Richtung.

00:12:43: und zusammenfassend kann man sagen, Natürlich ist es überschlau von anderen Herstellern jetzt auch AI Chips zu bauen die übrigens auch immer besser werden.

00:12:49: Die sind längst nicht da wo Nvidia gerade ist aber zum Teil eben auch Apple zu einem absurd geringeren Stromverbrauch die gute Leistung liefern Und diese gute Leistung ist natürlich Gold wert.

00:13:03: Du kannst vielleicht nicht die Leistungen erwarten, die du bei einem Server-Great System von Nvidia hast was quasi unbegrenzt skaliert.

00:13:10: also sprich du fügst mehr Hardware hinzu, konnektierst sie über Netzwerk und die werden einfach immer schneller.

00:13:17: das wird nicht langsamer wenn du zwei Kisten hinzufügst sondern im besten Fall ist es sogar vielleicht Faktor, zwei Komma fünf schneller sogar wenn du zwei Kisten oder mehr Kisten dann plötzlich hast.

00:13:27: Also was ich damit sagen will ich wenigstens nicht sagen exponentiell schneller.

00:13:29: aber wenn du mehr Kiste von NVIDIA zusammenschraubst wirst du schon deutlich schneller weil die Speicherbrandbeide sich erhöht und mit höher Beiden die Optimierungsmöglichkeiten und dann entsprechend auch der Token pro Sekunde durchsetzt sondern entsprechend nochmal hoch geht.

00:13:42: Was heißt die ganze Preispolitik wird dann absehbar sich komplett einmal verändern weil es einfach ganz andere Marktaufstellung geben wird?

00:13:51: Es ist

00:13:51: im Prinzip auch die einzige Antwort darauf, warum NVIDIA auch Desktop und Laptop-CPUs jetzt neuerdings baut.

00:13:57: Und sich mit MediaTek zusammengetan hat, um eigene ja früher Intel Insight dann Apple mit den M-Chips und so.

00:14:05: Noch NVIDia jetzt auch, die wollen halt eben entsprechend eine Antwort geben falls das sich durchsetzen sollte.

00:14:10: dass sie da nicht mit lernen hätten, da stehen wir doch schon weise.

00:14:13: Glauben wir, dass auch Apples schafft den Markt irgendwann zu dominieren und Nvidia zu überholen?

00:14:20: Ich glaube nicht, dass Apple das jemals wollte oder sich Apple diese Art von Zielen setzt um ehrlich zu sein.

00:14:24: Wir hätten alle Möglichkeiten dazu tun.

00:14:26: die haben so viel Cash und so viel Geld um Dinge zu tun.

00:14:29: aber Apple ist leider eben auch Weltmaster darin Dinge sehr spät rauszubringen wenn der ganze restliche Markt eigentlich schon weiter ist.

00:14:36: Das haben sie einmal versucht mit der Apple Vision Pro quasi eine Brille herauszubringt und dann noch ein bisschen in Unternehmensanwendung zu positionieren.

00:14:42: deswegen erwähn ich es hier Bevor der Markt irgendwie unterwegs war, aber da gab es halt auch schon fünf Jahre MetaQuest und Co.

00:14:48: VR-Brillen und Virtual Realitybrillen die dir ins Gesicht setzt.

00:14:52: Trotzdem waren sie noch zu früh.

00:14:53: Schade!

00:14:54: Ich mag das!

00:14:59: Wir haben's letzte Mal am Ende der Folge gemacht.

00:15:00: ich hau einmal ganz kurz zwischen drin rein weil du hast bei den Punkten immer relativ viel zu sagen.

00:15:06: Dein Hott ist das AI Produkt der Woche und warum?

00:15:10: Ich finde, was jeder brauchen sollte auf jedem Mac habe ich sogar bei meiner Frau installiert ist SuperWhisper.

00:15:16: Finde ich mega gut!

00:15:17: Was ist Superwhisper?

00:15:18: Superwhisk is quasi der Tastatur-Satz mit Spracherkennung endlich ordentlich, endlich richtig und richtig geil.

00:15:27: Ist ein Tool kannst du einfach runterladen für einen Mac.

00:15:29: Ich glaube es gibt nicht für Windows wo Du einfach reinsprichst und der super sauber lokal auf Deinem Rechner sogar wenn Du willst erkennt was Du reingesprochen hast.

00:15:40: Also nicht nur so ein bisschen, sondern auch in jeder Sprache irgendwie und so weiter.

00:15:43: Läuft ein Nvidia lokales Spracherkennungsmodell dahinter?

00:15:47: Und jede Eingabe in meinem AI-Agent, jede E-Mail oder irgendwas wenn ich da quasi für mich separat irgendwo bin, spreche ich eigentlich nur noch rein und du kannst das mit einem Tastaturbefehl.

00:16:00: also drückst einfach auf der Tastature.

00:16:01: Ich drücke zweimal die Optionstaste auf dem Mac und dann kommt zum kleines Fenster.

00:16:07: Ich sage was ich haben will und live.

00:16:08: währenddessen Stehen die Worte da, die ich gerade gesagt habe.

00:16:12: Also ist es wie so eine klassische Diktierfunktion in sehr advanced?

00:16:17: Es ist die Diktieversion... Diktiersoftware-Diktationssoftware des einzigsten Jahrhunderts.

00:16:27: Das Endgame quasi.

00:16:29: Der Killer der Diktierenfunktionen.

00:16:33: Schreibst du noch selbst Tipps zu selbst E-Mails?

00:16:35: Selten!

00:16:36: selten.

00:16:37: Also du kannst das damit wirklich gut live, du sprichst einfach rein und während des Wortes gesagt hast, steht es schon da, dass unter einer Sekunde so... Währenddessen wir jetzt hier so reden ganze Zeit.

00:16:47: In verschiedene

00:16:48: Sprachen?

00:16:48: In verschiedenen Sprachen!

00:16:49: Und jetzt wird's noch besser.

00:16:51: Du kannst auch noch eine Schleife machen dann wartest ein paar sekunden länger auf bis es dann dasteht.

00:16:55: aber du kannst doch eine Schleife machen und je nach App auch unterschiedliche Kontext festlegen und den AI-Modellen nochmal drüber laufen lassen um das zu verbessern was du gerade gesagt hast.

00:17:05: Total wild

00:17:06: oder?!

00:17:08: Also, ich benutze das hauptsächlich um meinem AI Agent zu sagen was ich jetzt von ihm will.

00:17:13: Weißt du?

00:17:13: So!

00:17:15: Und es funktioniert aber eben super gut auch in E-Mails und Chats im WhatsApp.

00:17:22: Frage Ich stelle mir jetzt gerade vor weil wir möchten natürlich auch irgendwie zwischen einem Unternehmen uns unterhalten.

00:17:28: Jetzt haben wir natürlich... Du sitzt jetzt gerade irgendwie Zuhause.

00:17:31: Stell mal vor Wir haben jetzt zehn Leute.

00:17:33: Ich bin im Großraumbüro und alle fangen jetzt nur noch an mit ihrem Computer zu reden.

00:17:43: Glauben wir, dass so die Zukunft des Arbeitens aussehen wird?

00:17:46: Das

00:17:46: ersitzt ja mittlerweile die Hälfte im Homeoffice, Punkt eins.

00:17:49: Im Moment!

00:17:50: Ja das kann sein als ich es immer wieder veränder.

00:17:52: Man weiß es nicht.

00:17:54: Punkt zwei machen auch Videotecos im Großraumbüro also mit entsprechender Hardware vorausgesetzt hier Mikro usw.. sehe ich da gar kein Problem.

00:18:04: Außerdem ist da eine gute Hintergrundrauschenderdrückung drin, das heißt auch da ist die Mikrofone mittlerweile soweit ich kann selbst in einem fahrenden ICE oder so mit Hintergrundgeräuschen... Vorausgesetzt!

00:18:16: So hast du Internet in Deutschland?

00:18:18: Nein, nein, es ist was anderes.

00:18:19: Das ist genau der Punkt den du... Aber es

00:18:21: lokal

00:18:21: läuft?!

00:18:21: ... wie man sieht Es läuft lokal.

00:18:24: Ich habe jetzt natürlich ein Hardware im High-End Bereich aber es läuft auch auf einem normalen MacBook oder Macbook R Gut.

00:18:33: Okay, ich glaube das ist dann der große Twist!

00:18:36: Es funktioniert trotzdem ohne Internet.

00:18:38: Das ist halt schon sehr hilfreich.

00:18:41: Ja genau.

00:18:43: Ist da somit auch die Antwort auf die Frage der Hottesten AI Company für diese Woche?

00:18:49: Oder ist es noch was anderes über

00:18:51: dir... Ich finde gerade Das, was natürlich China generell in der Breite liefert an Open Source AI ist supergut.

00:19:06: Und auch was so generell als Asien kommt, auch Südkorea und – ich würde schon sagen Nordkoreaa aber den Spaß muss ich jetzt zum Schluss Nordkorean schälen oder?

00:19:16: Das

00:19:17: gibt's weiflich!

00:19:18: Mit den Sanktionen wird es wahrscheinlich ein bisschen schwierig für die.

00:19:23: Insgesamt kommt da echt viel gutes Zeug und wir haben es jetzt immer schon gesagt, dass quasi die Token-Nutzung auf Open Router – kann man das ein bisschen ablesen – sich Richtung China verlegt.

00:19:34: Und das ist natürlich eine weitere Indikator Richtung unseres Bubblemonitors wo wir sagen, wir müssen darauf achten, dass die Blase nicht schlecht doch platzt wenn die Geschäftsmodelle der großen AI companies in den USA aufgrund von geopolitischen Restriktion oder eben auch stärker werdenden chinesischen Modellen nicht ganz aufgehen Weil die Token-Nutzung dann halt vielleicht auch auf das billige, aber gute China Modell fließt.

00:19:56: Dann ist es natürlich nicht gut für die zu erwartenden Gewinne an den zukünftig Börsennotierten Unternehmen.

00:20:04: Das heißt, es ist immer gut sich anzuschauen was kommt aus China und die neuen Kimi-Modelle.

00:20:11: Gwenn kommt jetzt in der drei Achter Version habe ich gelesen, ist noch nicht verfügbar, aber kommt jetzt auch bald... Da freue ich mich auch wieder mit meinen lokalen Hardware, dann kriegt die auch wieder ein neues Modell und wird besser.

00:20:21: Das ist ja immer so drei Monate gefühlt in der Qualität hinter den öffentlichen Modellen.

00:20:26: Wir haben auch glaube ich in dem früheren Podcast schon gesagt warum das so ist?

00:20:29: Das heißt im Endeffekt wir hoffen einfach dass es nicht das Bite der KI-Modelle wird genau wie beim Auto in der Automobilbranche.

00:20:38: Hast du hoteste News, die diese Woche kaum jemand auf dem Schirm hat, die nicht nur acht fünfzehn sind.

00:20:46: Ich nenne die G-Knus.

00:20:47: Also das ganze Thema Rekursive Modelle ist super spannend und die niedrig werdenden Tokenverbräuche sind da auch super spannend.

00:20:57: Generell sollte man sich darauf mal einen Reminder Demo Tracker einrichten, also so ein Google Alert.

00:21:06: Du kannst da auch deinen Claude morgens los schicken auf mir, kannst du so scheduled Runs machen in Claude?

00:21:11: Dann kannst du sagen, scanne mir jeden Morgen die EINUs!

00:21:14: Allerdings würde ich da wahrscheinlich eher GROCK für benutzen, weil das Zugriff auf Twitter-Daten hat.

00:21:18: und dann sind die News dahinter meist noch ein bisschen besser.

00:21:20: Wichtig!

00:21:21: Also würdest du wirklich sagen dass ihr Ein-News vermutlich bei sehr viel aus den USA kommt?

00:21:28: Mehr auf

00:21:30: ex

00:21:31: ehemals Twitter geteilt werden?

00:21:33: Ja, Twitter ist

00:21:34: halt die alte Generation.

00:21:35: Du sagst noch Twitter.

00:21:36: Ich auch.

00:21:37: Ich

00:21:37: habe mein Account seit im Jahr zwei Tausend Sechs.

00:21:39: Ich muss hier kurz flexen an der Stelle.

00:21:42: Das heißt, du ziehst dir ganz viel Informationen immer noch auf X.

00:21:47: Das würde ich jetzt nicht so öffentlich wiedergegeben, aber wo die Informationen halt sind und du kannst sehr leicht deinen iAgent auf X integrieren und brauchst doch nicht mehr Crock zu benutzen und kriegst einen guten Zugriff auf Live- und Echtzeit Newsinformationen ohne dafür Großgeld zu bezahlen.

00:22:07: Das ist auf jeden Fall schon ein Trick, wenn man sich viele live Informationen ziehen kann!

00:22:11: und viel Lügenpresse.

00:22:13: Damit muss man dann auch leben, aber das ist auf jeden Fall noch ein Trick den man dort tun kann um sich viele News zu ziehen.

00:22:21: vielleicht wenn wir jetzt schon über angewandte AI sprechen.

00:22:29: klar gibt es Proxies um mal in AI Engine beizubringen Webseiten einfacher lesen zu können

00:22:36: Für die Person, die nicht wissen was das ist.

00:22:39: Was ist ein Proxy in dem?

00:22:41: Das ist ein Prinzipenserver der zwischen dir und deiner eigentlichen Information steht und dafür dass für dich übersetzt aggregiert zusammenfasst etc.

00:22:48: Pippo Poe Und wie so wie Google, also im Prinzip Google für deinen Bot.

00:22:55: Ich glaube das trifft es richtig gut.

00:22:56: Also das wäre der Anfindungsfall entsprechend Und da bietet sich es einfach an.

00:23:01: Das kann man natürlich machen, auch dafür gibt's Anbieter.

00:23:04: Aber man kann auch direkt die X-API benutzen ist billiger wenn man sie nicht tausendmal pro Sekunde abfragt und so.

00:23:10: Ist das schon billig?

00:23:11: Wenn

00:23:11: wir jetzt noch einmal zurück zum Kern gehen KI kostet gerade unfassbar viel.

00:23:17: Die Unternehmen werden mächtiger.

00:23:19: Was sind dann im Endeffekt die praktischen Konsequenzen, wenn uns ein Microsoft CEO sagt ihr müsst aufpassen weil jetzt halt auch mit eurem Wissen.

00:23:30: Jetzt wird es wahrscheinlich Unternehmen geben oder Leute sagen oh mein Gott ihr dürftet keine AI benutzen oder ihr müsst sie weniger nutzen.

00:23:36: das ist dann ja vermutlich auch nicht die Lösung.

00:23:39: Ja du hast vielleicht gesehen einer der großen Newshits in der letzten Woche war dass er die Companies wie Mercedes-Benz erst mal dir agentische Nutzung von agentischen System bis sie mehr auf Eis legen gerade, weil Sie hohe Tokenkosten und Rechnungen bekommen.

00:23:55: Ich würde jeden Zuhörer der da irgendwas macht in dem Bereich dringend empfehlen seine Limits zu überprüfen die er gesetzt hat, die er sich gesetzt haben.

00:24:05: In der Konsole jeweils bei Entrophic OpenAI in Azure auf AWS und Co.

00:24:11: Da diese schnell aus dem Ruder laufen können.

00:24:14: Ich war der Meinung, ich habe jetzt endlich für alle Accounts unternehmensweit die richtigen Limits eingesetzt und da stand immer noch maximale Nutzung.

00:24:24: Hunderttausend Dollar pro Monat.

00:24:27: Da hab' ich kurz einen Herzinfarkt gekriegt vor allem weil ich gesehen hab', dass dann täglich immer so Rechnungen unten drunter standen von tausend Euro wo das Team einfach per API auch an Trophic-Token ist für irgendwelche Dinge benutzt hat aber übergesehen, dass es nur ein paar Tage waren, das ist sehr schaubar Und hab dann die Limits erst mal runtergesetzt.

00:24:48: Früher war es so ein bisschen der Jambalklinge-Ton, die Kostenfalle.

00:24:54: Jetzt sind das die Tokenslimits... Ich gehe schwer davon aus dass es wahrscheinlich genug Unternehmen geben, die sich damit gar nicht richtig auseinandersetzen bzw.

00:25:05: weil sie das IT auch gar nicht aufsetzt und orchestriert, dass es halt einheitlich gesteuert wird.

00:25:11: Und dann kann auch passieren, dass du irgendein neues tolles Agenten-Tool ausprobierst und einen Skill installiert über eine Marktplatzintegration.

00:25:21: Wie auch immer das jetzt im Detail aussieht die aber aus dem Open Source Repository irgendwo kommt was kompromittiert ist durch eine Mallware Attacke oder irgendwas.

00:25:29: Sprecht Du holst dir über den AI Agent über eine weitere Integration von irgendeine sub Funktionalität Holst du dir quasi ein Vektor rein Virus rein und der Cloud zum Beispiel deinen Token.

00:25:45: Und das natürlich tödlich, die benutzen dann für free quasi deine Tokens also jemand anderes.

00:25:53: Geld ist ja nie weg, Geld ist immer erst mal woanders Es verschwindet ja nicht.

00:26:02: Deswegen passt auf eure Kies auf Das sind es nächste.

00:26:05: Ich würde auch immer empfehlen in regelmäßigen Abständen die Kies durchzurotieren zum Beispiel Und die nie einfach.

00:26:12: Laufzeit für immer.

00:26:13: Wenn du einen neuen Key anlegst in der Konsole, wo du den dir dann quasi in deine Applikation eingibst damit sie zugreifen kann auf die AI-Infrastruktur, die jeweilige, die du benutzen willst kannst du mal einstellen gültig für drei Tage vier Stunden und natürlich macht es keinen Sinn alle vier Stunden den Key zu ändern.

00:26:29: aber den auf unendlich zu setzen ist ja.

00:26:32: dann müsste ich aber würde ich aber auf jeden Fall mir gute Limits dahinter setzen Man hinterher noch sicherstellen kann, dass das eigene Team diese Schlüssel auch benutzt hat und nicht das aus Versehen.

00:26:43: jemand im team überleg mal.

00:26:46: Überleg mal du hast im team sag mal zehn Leute.

00:26:49: Zehn leute benutzten Claude Codd und coden.

00:26:52: Entwickler coden damit zeug Erstmal nicht tragisch, also die verstellen dann nämlich irgendwelche Infrastruktur wie so ein Admin oder so.

00:26:58: Also zehn Admins würde ich das Ding nicht in die Hand drücken weil die Administratoren mit den zehn Leuten hast, die mit AI einen Faktor zehn schneller irgendwelcher Einstellungen an der Infrastruktur verändern können.

00:27:06: kann es dir vorstellen, der eine macht die Tür auf und der andere auch die Tür zu?

00:27:09: da weiß du zumindest gar nicht mehr was da irgendwie passiert bei Entwicklern die für sich genommen im Bereich drinnen arbeiten ist okay vielleicht noch ja die entwickeln halt mit AI schneller.

00:27:16: Auch das muss dann hinter geprüft werden wie wir alle wissen und besprochen haben in dem letzten Podcast.

00:27:20: Ja einer der größten Anwendungsfälle für AI heute ist nun mal Softwareentwicklung.

00:27:23: Okay, jetzt stell dir vor einer dieser Software-Entwickler benutzt Cloud Code.

00:27:27: Und er hat irgendeine weitere Integration, weil der das darf und ja die Rechte dazu hat in dieses Cloud Code reingebaut von irgendeinem talentierten Softwareentwickler den auf GitHub irgendwo gefunden hat, der seinen Code da frei reingestellt.

00:27:39: Die haben es einfach rein integriert, irgende eine zusätzliche Funktionalität.

00:27:43: Aber was der gar nicht weiß, der andere, der das dort gebaut hat ist auch gevibecoded und sein Cloud Code hat irgene andere weitere Integration mit reingeladen in seinen Code!

00:27:53: Die wiederum kompromittiert ist und die absaugt.

00:27:59: Und sie kriegen das gar nicht mit, d.h.

00:28:01: du gehst dann zu Tim rüber und Tim sagt der weiß, er hat irgendwie für hunderttausend Euro Token aus diesem Monat verbrannt und der kann gar nichts dafür.

00:28:09: also er kann selber nichts dafür

00:28:11: sieht man Für den Nichtwissende kann man sich quasi wie so ein tokenkontoauszug ziehen wo du dann sagst Das wurde dafür gebraucht weil ich meine dass Thema overall Wenn du jetzt sagst solche Cases passieren, also diese KI Governance in dem Unternehmen und die Zentralisierung.

00:28:30: Also solches Szenarien vor allem finanziell Kostenkontrolle, allgemeine Kontrolle wie wichtig das überhaupt ist dass dieses Thema nicht nur bei den Entwicklern hockt sondern halt wirklich zentral gedacht wird weil jetzt kommen halt Szenare was gigantische Implikation für die ganze Organisation hat.

00:28:51: Auf heise.de ist ein aktueller Artikel, der ausgiebig beleuchtet warum wieso agentische Nutzung im Unternehmen aktuell stockt.

00:28:59: Eines der Gründe dafür und einer der Gründen dafür ist das die zentrale Verwaltung des ganzen Token-Kostenmanagement etc.

00:29:06: nur schwerlich gelöstes.

00:29:08: Die Anbieter haben natürlich auch keinen Interesse daran, dir perfekt das Tokenmanagement zu geben und Kostenmanagement so gehen weil sie wollen ihr Geld verdienen.

00:29:15: Das ist sogar soweit gevibe coded.

00:29:17: ich habe heute mit meinem CTO in der Konsole bei Antrophic reingeschaut und da ist die Maxim, wenn du da ganz unten auf Billing gehst oder auf Limits dann stehen dort zwei Zahlen.

00:29:28: Ihr kennt die deutsche und amerikanische Schriftweise mit den tausender Trendzeichen.

00:29:34: Die haben das...und dort ist an der Stelle wo eigentlich ein Punkt sein sollte, ist ein Komma.

00:29:40: Das heißt du sagst dein Limit, Tägliches Limit ist eine Tausend Dollar?

00:29:44: Und es ist aber da schatzt ein Punkt einen Komma an dieser Stelle und sieht aus wie ein Dollar!

00:29:49: Ich

00:29:49: habe das Feld aufgemacht und hab immer wieder, ich hab auch mit verschiedenen Schriftweisen versucht usw.

00:29:54: Hab mal ein Dollar eingegeben dann steht es echt in einem Dollar drin und so weiter und sofort.

00:29:58: Und die haben und dann sagt mein CTO ja du auch diese Konsole hier ist gewipecoded Qualitätsmanagement!

00:30:08: Und dass von denen?

00:30:09: Das von den Trophics selbst.

00:30:11: natürlich das Gewipecode, wenn's von der Trophic selbst kommt Die hauen jeden Tag eine neue Topfversion von Cloudcode und Cloud Desktop raus.

00:30:17: also Ja, natürlich ist das gewipecoded.

00:30:19: Anders geht es gar nicht.

00:30:21: Sonst wäre das alle vier Wochen mit einer neuen Software-Version wenn das herkömmlich getestet wird.

00:30:25: aber dann wirst du der Tester.

00:30:28: Verstehst Du?

00:30:29: Da ist überall daneben so ein kleines jetzt Meldenknöpfchen und dann kannst Du quasi hey da müsste eigentlich ein Punkt sein!

00:30:34: Das ist deren Testing.

00:30:36: Der Wahnsinn!

00:30:38: Wenn wir uns jetzt einen entscheiderm Unternehmen angucken woran erkennt er dass die Abhängigkeit immer mehr steigt abgesehen von den Kosten

00:30:49: Von den AR-Modellen?

00:30:50: Ja.

00:30:53: Also auf der einen Seite natürlich produzieren vermutlich seiner Mitarbeiter deutlich mehr Informationen, die sind nicht unbedingt besser.

00:31:03: gab es jetzt eine neue Studie dazu?

00:31:05: Die Realität sieht wohl so aus zwischen zehn und zwanzig Prozent mehr Code wird wirklich produziert von den Tokens.

00:31:15: also für was werden die Tokens benutzt?

00:31:17: zum Thema Abhängigkeiten Tatsächlich sind nur unter zwanzig Prozent der Tokens tatsächlich für neuen Content benutzt worden.

00:31:27: Vierzig Prozent der verbrauchten Tokens, oder viervierzig glaube ich waren sogar exakt, sind für das Verbessern der Ergebnisse weil im ersten Durchlauf die Ergebnisse nicht gestimmt haben und die Leute halt nochmal reingepromptet haben.

00:31:44: hey mach noch mal besser.

00:31:47: Liegt es daran, dass das Ergebnis scheiße ist oder weil der initial prompt nicht akkurat genug war?

00:31:53: Weil das ergibt.

00:31:54: Das haben sie unterschieden.

00:31:55: also es gab noch mal irgendwas.

00:31:56: um die zwanzig Prozent für den initial prompt war nicht gut und Um die viervierzig prozent war tatsächlich bug fixing bug fixinger in Qualitätssicherung.

00:32:04: Das war rein auf coding bezogen.

00:32:05: Es war jetzt nicht für aller welt's abgaben sondern rein auf software-entwicklungsabgaben bezogen Und das gibt ihr schon zu denken.

00:32:12: Jetzt gibt es auch die ersten Unternehmen wieder die wieder eingestellt haben Und du sagst dann, hey war doch keine gute Idee die Leute rauszuschmeißen.

00:32:20: Weil in der Softwareentwicklung, weil die Qualität passt nicht.

00:32:28: Das sind die einzigen Leute, die es kontrollieren und korrigieren können?

00:32:31: Das Gute ist ja bei Softwareentwirkungen das Du Code produzierst den du danach wiederum mit anderen Code testen kannst oder einen Testklassen.

00:32:38: Wenn du eine Powerpoint baust, ist halt schwierig das Negativ von der PowerPoint drauf zu halten Und zu sagen, ja hier in der Stelle passt das wohl nicht.

00:32:46: Alex!

00:32:49: Wir haben heute viel gelernt was Unternehmer oder was Unternehmen anders machen sollten?

00:32:54: Du hast glaube ich schon meine letzte Frage eigentlich mehr oder weniger beantwortet gerade aber wenn wir jetzt sagen was ist so der Trick der Woche den Leute oder Unternehmer und Unternehmerinnen umsetzen sollten?

00:33:06: da hattest du gesagt einmal die Limits checken einmal vielleicht gucken.

00:33:10: wofür werden die Tokens wirklich ausgegeben.

00:33:15: Gibt es noch was, wo du sagst das solltet ihr in den aktuellen Zeiten wirklich auf dem Schirm haben?

00:33:21: Ich glaube dass Thema Cyber Security muss ganzheitlich gedacht werden.

00:33:26: im Bereich inkludiert den Bereich AI und das heißt Nicht die Shadow-IT mehr befeuern, indem ich rechte Freigebe für Nutzer und die einfach danach machen können was sie wollen.

00:33:42: Sondern wirklich sich zu überlegen wie kann ich sicherer AI die Governance dafür erzeugen?

00:33:48: Wie kann ich ein vernünftiges Management von virtuellen Maschinen machen und virtuelle Umgebungen schaffen, gesandboxte Umgebung schaffen, abgetrennte Umgebungs schaffen, abgekoppelte Umgabungen schaffen in denen Teilaufgaben sicher gelöst werden.

00:34:05: Wie kann ich das im Bereich Cyber Security in Echtzeit überprüfbar und monitoring zum Beispiel, um dann die Transparenz herzustellen auch in Zukunft sichere Arbeiten auszulagern auf AI?

00:34:18: Das heißt... Du musst im Prinzip zwei Sachen tun dafür, generell AI heute erfolgreich einzuführen.

00:34:23: Du musst die Datenintegrationen schaffen.

00:34:25: Sprich, du brauchst das mal ein Data Layer auf den du aufsetzen kannst.

00:34:28: Das heißt, du musst deine Datenunternehmensweit erst einmal unter Kontrolle kriegen und dass was in der Digitalisierung die letzten zehn, zwanzig Jahre schief gelaufen ist, musst du leider immer noch ordentlich machen.

00:34:37: Es gibt keine Abkürzung dafür.

00:34:39: AI hilft dir ein bisschen jetzt damit aber du musst trotzdem das ordentlich.

00:34:48: Und wenn du da einfach, die sind auch übrigens optimiert für unstrukturierte Daten.

00:34:52: Das heißt wir voll Texte, für Volltexte Informationen und nicht für Datenbank Tabellen das sind strukturierte Data.

00:34:59: Wir unterscheiden zwischen unstrukturierten Daten, Volltexten und Strukturiertendaten, Tabellen alles was in Excel passt, strukturierte Daten Angenommen, du hast jetzt eine Million Tokens Context Window.

00:35:11: Die leben ja auch davon wenn du da jetzt ein Modell Fine-Tunes oder einen Eingest A-Modell daraus baust und so et cetera, dass dieses Modell von diesen vielen... Da wird ja ein Wort neben das andere gehalten und dann wie so eine Art Spinnennetz aufgebaut.

00:35:23: Dann steht man das Wort hier, es wird im ersten Wort verbunden und da gibt's so richtiges Netz, so eine Netzstruktur.

00:35:29: Wenn ich ne blöde Datenbanktabelle hab habe ich immer nur die nächste Relation die daneben steht.

00:35:34: Ich hab gar nicht die Tiefe bei strukturierten Daten.

00:35:38: was ich damit sagen will ist, du kannst jetzt nicht fünfzehn Milliarden Tabellenzeilen nehmen und eine AI Vorwerfen die ließt die ersten tausend hunderttausend vielleicht noch.

00:35:49: Die kann aber trotzdem gar nichts mit anfangen weil die Verknüpfungen nicht wie bei einem Text sind, weil das strukturelle Daten sind.

00:35:55: Das heißt wenn du nicht schon vorher wir nennen das Ontologien sprich die Meta Informationen über die Information ordentlich aufbereitet hast in einer universellen Datenzugrifflogik zur Verfügung stellst, strukturiert, vorsortiert bereinigt, konsolidiert und wirst du große Probleme haben eine erfolgreiche AI Strategie durchzuführen.

00:36:17: Und das zweite wenn du dann und top wenn du das hast brauchst du ne Data Governance Strategie und top das heißt du musst wissen wer da für welche Daten dieser entsprechend zugreifen und dann musst du das Cyber Security technisch absichern.

00:36:31: Wenn du das hasst brauchst Du On Top eben auch noch.

00:36:34: Also das musst du ganzheitlich denken, mit deiner Cyber Security Strategie und das auch integrieren um die Transparenz letztlich ja auch und die Nachvollziehbarkeit in die Tracability darzustellen.

00:36:43: Dann würde

00:36:43: ich mal sagen wir haben das Thema für die nächste Folge machen vielleicht mal einen kleinen Deep Dive ins Cyber Security Auch mit dem Hintergrund dass sogar die EZB die Banken inzwischen auch vorwarnt Dass man sich das vielleicht ein bisschen genauer angucken sollte weil die auch ein großes Risiko an der Stelle sehen.

00:37:03: Das große Thema.

00:37:06: Ich kenne einige Leute, ich habe so Lust mal jemanden anzufragen.

00:37:08: Woher haben wir mal jemand einladen in unserem Podcast?

00:37:11: Können wir ja noch machen.

00:37:13: Sie ist fast eine Steilvorlage, ne?

00:37:14: Ich gucke mal wer Zeit hat.

00:37:15: Dann gucken wir mal wer zeit hat für Cyber Security.

00:37:17: aber das können wir einmal komplett einpacken weil ich glaube es ist ultra wichtig und vor allem für viele Unternehmen die vor allem irgendwie auch im kritischen Bereich arbeiten.

00:37:26: Alex!

00:37:27: Heute ein bisschen crisper.

00:37:29: Es hat mich sehr gefreut, vielen lieben Dank für die Insights!

00:37:32: Wir sprechen uns nächste Woche gucken in welche wilde Richtung sich die AI-Welt bis dahin gedreht hat?

00:37:37: Ich danke direkt herzlich und nächste Woche heißt es dann wieder AI Uncut mit Alexander Oerling.

00:37:43: Bis

00:37:45: dann!