Die KI ist ausgebrochen - mit Sergej Epp

00:00:00: Einen wunderschönen guten Morgen bei AI Uncut.

00:00:02: KI.

00:00:03: heute mal wieder ehrlich und verständlich, ohne Fach chinesisch mit Alexander Erling wie in den letzten Folgen Und wir haben das letzte Mal darüber gesprochen dass wir das Thema Cyber Security Angriffe, ein bisschen mehr aus der Praxis erleben möchten beziehungsweise auch darüber unterhalten möchten.

00:00:23: Daher schnallt euch an!

00:00:24: Wir haben zum allerersten Mal eine Folge mit einem Gast und dürfen heute recht herzlich Sergi App begrüßen.

00:00:31: Einen wunderschönen guten Morgen, Sergi.

00:00:33: Hallo Alex.

00:00:34: Hi

00:00:35: Christian, da gibt mir die Einladung.

00:00:36: Heute mit einem wunderschönem, bläulichem, göttlichem Hintergrund für ganz viel Cyber Security Input.

00:00:44: ich bin gespannt.

00:00:46: Du kennst Cyberangriffe nicht nur aus den Nachrichten oder aus den Folien, sondern vermutlich aus dem alltäglichen Doing.

00:00:53: Sergi hat die weltweite Cyber-Abwehr der Deutschen Bank geleitet – einer der größten Banken in der Welt.

00:00:59: Danach war er über sechs Jahre bei Palo Alto Networks als Sicherheitschef für Zentraleuropa und anschließend CISO by Cystic Worum es darum geht, Angriffe in der Cloud in dem Moment zu stoppen indem sie laufen.

00:01:16: Das ist alles deine Expertise vom Magazin Capital oder Kapital richtig schön in Deutsch Forty Under Forty.

00:01:25: kurz gesagt wenn jemand weiß wo es bei Cyberangriffen hingeht oder wie Sie entstehen und wie man sie stoppt sind wir glaube ich bei dir an der richtigen Adresse.

00:01:37: Habe ich irgendwas zu deiner Persona vergessen?

00:01:40: Christian, sehr hohe Expektation gesetzt.

00:01:42: Ich glaube alles richtig.

00:01:43: Cybersecurity ist ein komplexes Thema.

00:01:45: von daher freue ich mich immer auf den Austausch und ja, ich bin mit dabei zu diskutieren was gerade so alles in der Welt passiert.

00:01:53: Nachdem

00:01:53: wir ja die in der letzten Folge festgestellt haben, wir müssen unbedingt über AI und Cyber Security reden, dachte ich, ich texte den Zerrgamer an.

00:02:01: Wir kennen es schon sehr lange und das ist einfach der perfekte Gesprächspartner heute.

00:02:04: Ich freue mich sehr dass du so kurzfristig Zeit hattest.

00:02:07: Das freut mich auch sehr.

00:02:09: Bevor wir einmal mit den Headlines der Woche starten, war das schon immer dein Traum in die Welt der Cybersecurity abzutauchen.

00:02:17: oder bist du da auch auf Umwegen gelandet?

00:02:20: Ja tatsächlich ein bisschen umwegig.

00:02:22: Ich habe gerade die Spieße mit Cybersecurity versehentlich eigentlich als Kind zu tun gehabt... Ich finde das versehendliche

00:02:30: Cybersecurity klingt nach Hobby-Hacking!

00:02:34: Genau genau.

00:02:37: Und ich glaube, da haben wir uns alle so ein bisschen die ersten Erfahrungen mal zugezogen als Teenager und dann habe ich tatsächlich im Studium relativ viel Fokus auf Wirtschafts- und Informatik-Finance.

00:02:49: Alles in dem Bereich gehabt aber parallel auch bei der Deutschen Bank gearbeitet und dort war das Thema Cyber-Syberstätik doch hot geworden.

00:02:56: Es gab die ersten großen gezielten Angriffe von staatlichen Akteuren, dass sich da relativ schnell mein Ja, meine Bestimmung gefunden habe und auch mein Interesse gefunden hab.

00:03:06: Da ich sie vereinen zu darf und das auch ja zu meiner Lebensaufgabe machen.

00:03:11: Es

00:03:11: ist auch ein Berufsfeld was sich hier am Ende für ganze Zeit wandelt.

00:03:14: Langweilig wird es nie!

00:03:17: Die vier Schlagzeilen der Woche, die ihr vermutlich hundertprozentig gelesen habt.

00:03:22: Wir haben mit Alex drüber schon gesprochen.

00:03:24: Open Air Ice eigene KI bericht bei einem Test aus dem Labor aus und hackt die Firma Hugging Face.

00:03:31: Darüber habt ihr gerade schon ganz kurz gesprochen.

00:03:34: Die Frage ist natürlich an dieser Stelle verschwindet jetzt die Grenze zwischen Test- und echten Angriff inzwischen?

00:03:42: Analyse finden vierhundert vierunddreißig ausnutzbare Schwachstellen in KI-generierten Apps.

00:03:49: Software von der KI schreiben lässt erbt ihre Sicherheitslücken, darüber haben wir auch schon öfters gesprochen im letzten Malen.

00:03:57: Was ich persönlich sehr interessant finde sind synthetische Identitäten.

00:04:00: Betrüger bauen Menschen die es nicht gibt.

00:04:02: unsere Hypothese Die nächste Betrugswelle stielt keine Identitäten sondern erfindet sie.

00:04:10: Es ist wild was da draußen Passiert.

00:04:13: Sergei, einmal aus deiner Perspektive.

00:04:16: Aus deiner verteidiger Sicht was ist die gefährlichste und warum nach deiner Sichtweise?

00:04:23: Ich glaube tatsächlich ist das so dass es sich immer wandelt.

00:04:25: und zu deinem Punkt Es wird nie langweilig.

00:04:28: wie gesagt ich bin gerade auch mit der Familie im Monat gestern Abend, fast zwei drei Stunden lang in Köln mit über sechshundert CISUS und den founding team von Huggingface.

00:04:39: Mit dabei gewesen um deren lessons learned auch zum Angriff zu zu diskutieren.

00:04:43: Das heißt du bist an der Quelle?

00:04:46: Ich bin an der quelle und es ist tatsächlich immer spannend weil einfach immer was Neues ist ja und viele der Themen die wir gerade sehen Zum Thema KI, Angriff.

00:04:58: Das ist etwas was wir im Expertenkreis schon lange gesehen haben.

00:05:03: Die Frage ist immer wann jetzt tatsächlich war und inwieweit es das etwas was realistisch ist?

00:05:09: Jetzt zum Open-Y Hugging Face Angriff und ich weiß nicht wie die Audience da der Team drin ist.

00:05:15: Vielleicht können wir das mal kurz beleuchten was da eigentlich passiert ist weil das klingt so ein bisschen nach Science Fiction und wenn man das vor zwei drei Monaten ausgerufen hat wird wahrscheinlich jeder gesagt naja das ist doch Das ist doch alles Quatsch, kommen wir weg damit.

00:05:28: Und das war wahrscheinlich auch ein gutem Marketingportion mit dabei seitens Hochmeer ein.

00:05:33: Aber vielleicht mal kurz zur Erklärung was ist passiert?

00:05:36: Huggingface hat vor ein paar Tagen bekannt gegeben dass sie gehackt worden sind von einem autonomen Hacker und es gab mehr als siebzehntausend Angriffsversuche auf deren Infrastruktur und die Angrade versintern über einer Supplychain-Angriff reingekommen.

00:05:54: Hugging Face ist ja eine Art Github für KI-Modelle und dort kann man verschiedene KI-Medelle und WDR-Sets

00:06:00: hochladen.".

00:06:02: Und dann kam plötzlich vor zwei Tagen das Announcement von OpenAI, dass die mit Hugging face in der Partnerschaft eingegangen sind um bei einem Security-Vorpal zusammenzuarbeiten wo dann bekannt gegeben worden ist, dass ein Modell von Open AI aus einer isolierten Sandbox ausgebrochen bei dem Versuch, wiederum dieses Modell zu testen gegenüber verschiedenen Security-Tests.

00:06:34: Und das Modell hat im Demrahmen verschiedene Zero Days gefunden.

00:06:39: Zum Beispiel gab es jetzt einen Zero Day Angriff oder Zero Days Sicherheitszücker also nicht bekannte Sicherheitsdrücke in einem Proxy und basierend darauf konnte dann das Modelle ausbrechen, ein Research Netzwerk vom Open AI und dann wiederum die Abkürzung nehmen zu hacken, um wiederum auch die Resultate an den Resultaten von diesem Security Test was eigentlich die Aufgabe für dieses Modell war zu kommen.

00:07:01: Also total verrückte Geschichte.

00:07:04: und die Frage ist natürlich wenn wir da so ein bisschen angucken was es daran war?

00:07:09: Und ist das jetzt eigentlich etwas was wir zukünftig taktiklich sehen werden oder nicht?

00:07:14: Das heißt AI-Modelle die sich quasi selbst sie quasi abschätzen können, wo die Lösung liegt.

00:07:20: Versuchen Abkürzungen zu nehmen an allen Ecken und Enden Und auch den menschlichen Intent der ja gegeben wurde erst mal eine Aufgabe mitzugeben Zu umgehen um vielleicht sogar schneller in die lösung heranzukommen klingt für mich erstmal relativ menschlich.

00:07:33: wir sehen das auch ist auch kein wunderei.

00:07:34: modelle sind ja nach menschlicher gusto trainiert worden Um uns zu gefallen aber eben auch auf Basis unserer Informationen und Texte und allem was wir so aufschreiben in dieser welt.

00:07:44: Wundernd tut es mich jetzt nicht ehrlich gesagt

00:07:47: Na ja, du bist da wahrscheinlich ein bisschen hier verdründet Alex.

00:07:49: Aber für viele ist das ja ein komplett neues Thema wenn man plötzlich sieht oh das Modell versucht jetzt im Unternehmen zu hacken anstatt jetzt die Aufgaben zu lösen.

00:07:59: und wie du sagst ich glaube dass es etwas was wir von Modellen so kennen das ist in allen Feldversuchungen auch schon so aufgetreten.

00:08:08: Das nennt man Reward Hacking.

00:08:09: also man versucht so schnell nötig dann quasi an den Reward zu kommen und die Agenten, die finden immer einen Weg.

00:08:16: Die nehmen immer eine Abkürzung wenn es eine Abköpfung gibt.

00:08:20: Und aus der Perspektive ist das jetzt wahrscheinlich eine sehr spannende Headline aber etwas was wir jetzt über dem Monat hinweg überall gesehen haben und worauf sie uns zumindest auch vorbereiten müssen weil wenn OpenEI nicht in der Lage ist wiederum ein Kali-Modell in einer Sandbox vernünftig zu Managing und man muss ja sagen übertage hinweg nicht mitbekommt dass dieses Modell ein anderes Unternehmen hackt.

00:08:45: Ist die Frage natürlich, was heißt das jetzt für die anderen Unternehmen?

00:08:48: Und daraus sind die jetzt ihre eigenen Kriegmodelle implementiert.

00:08:51: Ich stelle mir manchmal die Frage... Die Welt steht ja noch!

00:08:55: Also du gehst weiter raus, kaufst deine Brötchen als schön.

00:08:59: Das sieht... Ich weiß nicht.

00:09:02: ich habe in dem Moment gedacht damals als AI das Maß von Intelligenz-Ereichtheit wo man sagt wow, das ist jetzt hier.

00:09:08: aber was?

00:09:09: In einem anderen Tag lief die Welt weiter, das war ein beruhigendes Zeichen.

00:09:13: Das heißt, die Terminator hat noch nicht die Welterschaft übernommen.

00:09:18: Aber wir sehen immer mehr, dass natürlich von Menschen trainierte KI's auch für den Zweck für Cybersecurity unter anderem trainiert.

00:09:25: Schon anfangen aus ihren Sandboxes auszubrechen was auch in der Natur des Trainings natürlich liegt.

00:09:31: irgendwo aber auch zeigt das die Intelligenz da sie halt auf einen sehr großen Wissenschaftszug greifen kann und auch auf die Energie über Stromversorgung verfügt es weiter durchzuführen nicht einfach aufhört wenn sie irgendwo eine Lücke hat gar nicht überblicken kann, weil die Informationsmenge viel zu groß ist, die man dazu verstehen müsste.

00:09:52: Da liegen klar die Vorteile, aber wie siehst du das?

00:09:53: Was denkst Du?

00:09:55: Ja absolut!

00:09:56: Ich glaube, wie gesagt ein bekanntes Beispiel war da jetzt auch vor ein paar Monaten, wahrscheinlich schon fast ein Jahr her wo man einen Transformermodell gegen ein trainiertes Schachmodell angetreten, antreten lassen hat und dann hat man gesehen dass Transformer-Modell Reselem angefangen zu verlieren, weil es halt nicht darauf spezialisiert war.

00:10:17: Und was hat's dann getan?

00:10:18: Es hat versucht an das andere Modell als Prozess zu hacken und das festgestellt wiederum dass der Schachbrett eine Datei ist und es hat Zugriff auf diese Datei.

00:10:31: Dann hat es quasi das Spielbrett verändert in dieser Datei damit es Züge machen kann die möglich sind.

00:10:40: Das zeigt einfach nochmal solche Modelle, die versuchen einfach die Abkürzung zu suchen und vielleicht was spannend ist auch in der ganzen Diskussion.

00:10:48: Jetzt haben wir wenn man sich Huggingface anschaut, Hugging Face hat versucht mit diesem Angriff

00:10:54: irgendwie

00:10:57: vernünftig umzugehen und alles zu analysieren.

00:10:59: wie gesagt das waren ja unglaublich viele Angriffsversuche jeden Tag und sie haben versucht erstmal ein Frontiermodell dafür zu nutzen Und die sind auch als ein Unternehmen auch gegenüber Frontier und Frontiermodellen auch autorisiert, Security-Maßnahmen oder Security-Analysen durchzuführen.

00:11:16: Trotzdem hat das Modell beide Analyse von diesen Logs wiederum Hagingphase geblockt und nicht erlaubt diese Analyze zu machen.

00:11:27: Was hat HagingPhase angemacht?

00:11:28: Wir sind dann auf Open Source Modelle zurückgegangen und haben Open Source-Modelle genommen um diese Analyse durchzufüllen.

00:11:34: Das ist Alex... Und Christian, das ist das Paradoxe dabei.

00:11:38: Man hat immer gedacht die Frontiermodelle werden eigentlich uns gegen Open Source Modelle schützen aber da sieht jetzt anders aus.

00:11:45: Die Open Source-Modelle haben uns wieder umgehend Frontier-Modelle geschützt und das ist eigentlich ein Witz an der ganzen Sache dass es momentan einfach super schwierig ist zu verstehen wie man diesen Frontiermodellen werden besser und besser in Cyber Security.

00:12:03: und lasse ich das jetzt!

00:12:05: Lasse, gebe ich diese Kapazität jetzt der ganzen Welt frei oder versuche ich das ein bisschen prästriktiver zu halten?

00:12:10: Was wir momentan open-air in der Tropik sehr stark machen.

00:12:12: Die

00:12:12: hören ja auch viele Leute zu die uns schon länger kennen und die wissen Wir beschäftigen uns schon echt lange damit Ja Und sind eben auch leute die in der IT Entscheidung Positionen sind zu sagen Wie gehe ich denn jetzt damit um?

00:12:26: Ich plaudere mal aus dem Nähkastien.

00:12:28: Als damals ChatGBT aufgekommen ist, wollten meine ganzen Kollegen irgendwie die Ingenieure natürlich das nutzen.

00:12:34: also haben sie angefangen sich einfach private Accounts zu machen bei ChatGBt und angefangen Designs von ihren Zeichnungen hochzuladen.

00:12:41: ich sage es nicht in welcher Firma's war wir wollen ja niemanden kompromittieren aber ich würde sagen im angefangen diese Designs hochzularden und das erste was du dann machst als Verantwortlicher in dem Fall ich auch für Cyber Security verantwortlich damals alle Zugänge zu blocken.

00:12:57: Also einfach mal JetGBT und Chohat zu blockern aus dem Unternehmensnetzwerk raus, also haben sie dann ihre Handys genommen versucht abzufotografieren und die Sachen hochzuladen.

00:13:04: so das heißt damals waren die Sicherheitslücken noch überschaubar.

00:13:08: ja jetzt fangen die Leute an.

00:13:10: ich sage nur Shadow AI, Shadow IT ja im quasi ohne den IT Admin überhaupt zu fragen sich einen Agenten runterzuladnen dem Zugriff auf Ihre persönlichen Daten auf der Festplatte zu geben und fangen an, die unternehmenskritischen Daten zu den Anbietern hochzuladen.

00:13:32: Das hat jetzt verschiedene Aspekte.

00:13:34: Ich verlebe meine Daten.

00:13:35: Da wären auch Sachen hochgeladen, die ich gar nicht will.

00:13:38: Ich mache nur kurz die Abkürzung.

00:13:40: GrogBuild ist quasi die Claude Code von Elon.

00:13:44: Hat einfach mal das gesamte Homeverzeichnis hochgeladen wenn du es zum ersten Mal ausgeführt hast also inklusive deiner Kryptokies.

00:13:50: alles was du hast, hat jetzt Elon Überprüft das mal, dass es nicht schön.

00:13:55: Das ist Nightmare eigentlich für persönliche Daten und so weiter.

00:13:59: Und jetzt denken wir das mal ein Stückchen weiter.

00:14:02: wie du sagst, das läuft im Hintergrund.

00:14:03: die haben den Angriff gar nicht mitbekommen.

00:14:06: wenn ich einen IT Admin bin irgendwie wie reagiere ich denn jetzt da drauf?

00:14:10: Also meine erste Intention wäre ich block jetzt wieder alle Zugänge zu sämtlichen LLM-Providern.

00:14:19: Ich

00:14:22: glaube, dass das einfach im Mentor-Model dazu ist.

00:14:25: Wenn du jetzt deinen Mitarbeitern KI Tools gibst die installieren können auf ihren Geräten dann musst du sie einfach wie Insider behandeln.

00:14:34: Was anderes kann man dazu nicht sagen?

00:14:35: weil es ist unglaublich schwierig diese KI Tools die man auf dem Desktop installiert auch vernünftig zu kontrollieren und Restriktionen drumherum aufzubauen weil die versuchen immer diese Abkürzung zu suchen und sehr oft werden einfach getäuscht.

00:14:50: Wir werden getäuschen nicht nur von einem User, sondern von bestimmten Daten, die wir sehen – das nennt man dann Interact Prompt Injection und auch vielleicht durch Daten, denen ich unbedingt auf dem Gerät habe, sondern die über das Internet bekommen.

00:15:03: Also es geht darum um dann zum Beispiel eine Kampagne, die gefahren wird.

00:15:06: da sind irgendwelche Betrüger unterwegs und versuchen auf GitHub und überall Skills anzulegen wie dann den gesamten Agenten dazu verleiten bestimmt Aktivitäten zu machen Sachen zu installieren oder wiederum Daten zu stehlen.

00:15:23: Und da ist es auch das Spannende dran, weil aktuell ist der Zugang zur Karriere so einfach geworden.

00:15:27: Jeder Mitarbeiter kann jetzt sein Cloud Code, dein Open Code runterladen und Sachen machen aber dann vergisst man einfach sehr oft was man damit für eine Möglichkeit und eine Power diesen Karriertools gibt.

00:15:43: Einfach bis jetzt noch kein Silver Bullet, um diese zu kontrollieren.

00:15:46: Und wenn man jetzt wiederum das ganze Enterprise Technische einsetzt, dann kommen die ganzen Fragen auch okay.

00:15:50: wie bauen wir die Security drum herum?

00:15:52: Wie kontrollieren sie?

00:15:52: Wie machen wir Observability?

00:15:55: Wir schützen für einen bestimmten Restriktivmaßnahmen ein damit den nicht ausbrechen können.

00:16:01: All der Assisten sind so einfach!

00:16:02: Ich weiß nicht wie damit umgeht Alex.

00:16:03: Habt ihr das als... Zehn mal bei euch.

00:16:05: Genau, klar definitiv.

00:16:08: Wie du weißt betreib ich auch eine Firma, ein neues Startup was genau das als Ziel hat weil wir eben immer gesehen haben es geht eben nicht.

00:16:15: und das führt mich genau zu dieser Fragestellung.

00:16:18: nämlich auch weiß du jetzt kommt quasi noch einen Angriffsvektor dazu der immer offensichtlicher wird und dass ist das AI-Modell selbst.

00:16:26: also bisher prompt injection gekauft.

00:16:29: Das heißt, das Modell liest irgendwo Anweisungen die in einem Text versteckt sind und fängt an Dinge zu tun was ich eigentlich nicht wollte.

00:16:38: Ist gekauft!

00:16:41: Und ganz viele andere Sachen dass ich meine Daten natürlich verliere.

00:16:45: Dass das Model halluciniert aber jetzt kommt für mich im Großen als Laser-Hörer und wie ich die Welt studiere... Das Gefühl war schon länger da.

00:16:55: Jetzt wird es halt offensichtlich, dass die Modelle auch um Lösungen herbeizuführen.

00:17:00: Sich überhaupt nicht um Regeln, die wir ihnen bei versucht haben anzutrainieren, scheren am Ende des Tages und den Reward eher nehmen und quasi sagen, ich habe doch die Lösung!

00:17:10: Ich komme da irgendwie hin?

00:17:11: Wie ist eigentlich

00:17:12: egal?!

00:17:12: Das heißt sämtliche Prozesse, die ich ja eigentlich im Unternehmen eingeführt hab... Ich weiß noch was ich gerade gesagt habe.

00:17:18: Wir waren schon so weit bei Cybersecurity.

00:17:20: Wir hatten Endpoint Protections Virtual Private Networks Richtig geile Firewalls, ja.

00:17:27: Und jetzt das!

00:17:28: Völlige Security Nightmare.

00:17:32: Jeder Mitarbeiter kann sich quasi more or less selber in Agent installieren?

00:17:36: Der macht doch Sachen die er nicht soll.

00:17:37: Etwa da lädt Daten hoch wo ich sie nicht haben will.

00:17:39: Er fängt an auszubrechen.

00:17:41: In Anführungszeichen verarscht den Mitarbeiter, hallözioniert.

00:17:46: Wenn du zehn Agenten hast, die gleichzeitig arbeiten, arbeiten sie vielleicht noch gegeneinander... Ich weiß gar nicht, wo ich aufhören soll.

00:17:53: Und jetzt fangen die Modelle auch noch an und ich hab das glaube ich vor einem Jahr oder so zum ersten Mal beobachtet eben auszubrechen.

00:18:02: meine persönliche Erfahrung damit.

00:18:03: ich habe eine private Infrastruktur betreibt verschiedene virtuelle Maschinen in der Cloud aber auch bei mir lokal wo ist Home Automation?

00:18:10: und meine Daten natürlich speichern usw.

00:18:12: und sofort.

00:18:12: und ich habe als die erste Modelle Cloud Code KAM Cloud Code damals gebeten einfach mal eine Security Order zu machen von allen.

00:18:19: Und dann hat er aber nicht aufgehört mit dem Security Audit bei meiner internen Infrastruktur, sondern hat gleich noch ein Security Audits von meinem Internet-Provider gemacht.

00:18:26: So einen lokaler Anbieter und hat festgestellt dass der so eine Microtec Router Firewall hat die nicht gepatched war.

00:18:33: Das hat er festgestellt am Icon von der Lockin Seite vom Teil.

00:18:39: Welche Version das ist?

00:18:42: Und hat angeboten den zu Patchen!

00:18:49: Wenn du überlegst, wo das... Ich hab es natürlich abgebrochen logischerweise an der Stelle.

00:18:52: Weil ich patch nicht die Infrastruktur von irgendwie einem Internetbüroweiler.

00:18:56: Aber man muss mal überlegen ... Da wurde mir bewusst, dass hat ein gewisser Sprengkraft und jetzt sehen wir aber immer mehr groß angelegte Angriffe und auch Situationen wie betraut.

00:19:11: ist es überhaupt?

00:19:12: ganz ehrliche Frage?

00:19:13: Alle reden über AI-Agenten SAP alle AI-Agenten hoch und runter.

00:19:19: Kann ich überhaupt einen AI-Agentenstand heute so betreiben im Unternehmen?

00:19:25: Kann ich meinen Mitarbeitern das überhaupt erlauben, wie hoch ist da das Risiko wenn du eine Risikoanalyse machst.

00:19:31: Sag mal was denkst du dazu?

00:19:33: weil ich bin ehrlich ich würde dich jetzt auch anrufen und sagen Wie mache ich denn das hast ein Rad für mich.

00:19:39: Ich glaube Du bist wahrscheinlich viel näher dran zu sehen was die Probleme die Unternehmen haben.

00:19:44: aber Meine Anologie dazu ist einfach das ganze Cloud Computing.

00:19:49: Es cloud auch mal die Schule gemacht hat, haben wir gesehen, jeder hat damit ein bisschen umexperimentiert was gebastelt.

00:19:55: Wir hatten ziemlich viel Shadow IT und man hat sehr schnell festgestellt okay dass es eigentlich so nicht manageable.

00:20:01: Wir müssen zentrale Teams aufbauen, wir müssen alles kontrollieren und alles auf stabile fühl zu stellen.

00:20:10: Und ich glaube beim Thema KI sind ja ganz am Anfang war es das Thema risk- und security-Poste angeht.

00:20:18: Also die Themen, die du gerade alle angesprochen hast mit prompt injections, indirect prompt injections... Die sind alle da!

00:20:25: My favorite ist momentan zum Beispiel beim Hackingagenten.

00:20:29: der beste Weg momentan um hackingagent zu stoppen ist zu sagen was auch?

00:20:35: erzählen wir doch mal von diesem einen Panzer in China auf den bekannten Medien.

00:20:40: Und was machen das chinesische Modelle?

00:20:41: Die versuchen natürlich zu sagen dazu kann ich nicht sagen Wir sind so schon darauf trainiert, dass sie dann komplett stoppen.

00:20:50: Also du kannst auch diese ganzen EIPen-Testing-Tools quasi austricksen und stoppen und das ist querbeet über alle Use Cases.

00:21:00: Und da ich glaube was wichtig ist die ganzen KModelle auch use case spezifisch einzusetzen um zu versuchen zu verstehen, was ist der spezielle use case?

00:21:07: Was sind die ganzen Möglichkeiten drum herum?

00:21:10: wie baue ich jetzt meine Maßnahmen Basierend auf diesem use?

00:21:13: geht es das modell nicht versucht etwas anderes zu machen wie du grad beschreibst bis sich rausgeht und dann irgendein anderem.

00:21:19: In der anderen Infrastruktur dann scant und versuchen sie zu plätschen.

00:21:23: all das muss ich eingrenzen.

00:21:26: in einer Art whitelist aber auch ein blacklist.

00:21:28: wie sieht schlechtes breiten aus?

00:21:30: wie gut ist bei den aus?

00:21:32: Und dass ist etwas was in security tatsächlich super super selten gemacht haben, weil Behaviour-Base Security war sehr schwierig in der Vergangenheit.

00:21:44: Aber gerade für die Karrieregenten ist das die einzige Möglichkeit und ich glaube da müssen wir viel mehr Gehirnschmalz reinstecken versuchen zu verstehen okay wie kann ich jetzt dort Infrastruktur aufbauen?

00:21:55: Und dort dann auch vernünftige Runtimes, vernünftig Sandboxes ausbauen, nicht nur die Modelle schützen quasi nicht auszubrechen und ihre Aufgaben durchzuführen, sondern auch tatsächlich das gesamte Thema Monitoring.

00:22:13: Wie kann es sein dass man fünf Tage lang ein Modell laufen lässt... ...und nicht feststellt oder nicht sieht, dass dieses Modell versucht ein anderes Unternehmen zu hacken?

00:22:23: Das gesamte Modell wird super wichtig in dem Kontext.

00:22:29: Wie ich

00:22:29: übrigens mitgekriegt habe, dass GROC angefangen hat Sachen hochzuladen war.

00:22:32: Dass unsere Endpoint Security... Ich hab vorhin gesagt, Azure Sentinel ist eine Analyse Software von Microsoft.

00:22:40: halt geleuchtet wie ein Weihnachtsbaum als der angefangenen bei Entwicklern versucht hat das Home-Vorzeichnis einzulesen und dann wegzuschicken.

00:22:49: Das kannst du ja zum Glück da gute Endpoints Security wenn es gut eingerichtet ist auch schon sehen.

00:22:53: heutzutage Manchmal funktionieren die Agents aber auch gar nicht, weil zu viel Endpoint Security da ist und sie gar nicht auf kritische Prozesse zugreifen dürfen dann überhaupt irgendwas machen dürfen.

00:23:03: Ich glaube ich habe fundamental dafür ein paar Antworten gesehen, die mir sehr gefallen haben warum wir gesagt haben Wir machen was eigenes in dem Bereich Und ich will gar nicht so viele Werbung machen an der Stelle.

00:23:15: Aber ich sage ganz klar Die Modelle sind natürlich das heißt, die werden immer egal wie sehr du versuchst ihr Verhalten vorherzusehen.

00:23:25: Eine gewisse Neigung über Halluzination ist auch eine gewisse Art von Kreativität besitzen aus ihren Sandboxes herauszubrechen und vor allem umso intelligenter sie werden wird es immer mehr passieren.

00:23:38: Das heisst so lange wir über Transformermodelle und also sprich die heutige Form von KI haben die grundsätzlich die Capabilities hat auch Kreativität in der Form zu entwickeln, müssen wir damit rechnen dass sie aus ihren Sandboxes versucht auszubrechen.

00:23:55: Selbst wenn die noch so... also du musst ja damit rechnet das die Bytecode auf Prozessorebene anfängt zu lesen und zu manipulieren.

00:24:02: Also wenn da irgendwelche Sicherheitslücken, das in der Teilweise selbst in handgeschriebenen Linux Kernels, die zwanzig Jahre alt sind Noch-Sicherheitslückend drin wo keiner dran gedacht hat Die probieren halt alles aus.

00:24:18: Und umso schneller die arbeiten können, umso mehr Token gleichzeitig verarbeitet werden können und so höher die Capabilities da werden – es geht nicht nur um die Intelligenz sondern auch um die Geschwindigkeit.

00:24:28: So die Denkgeschwindigkeit.

00:24:30: letztlich ist ja auf das Problem wenn du Cyberangriffe siehst wie schnell die durchgeführt werden.

00:24:35: Deswegen ist meine Hypothese ohne dass ich zu viel verraten will wir werden andere Formen von Karri sehen in der Zukunft?

00:24:42: Die auf andere Dinge optimiert sind, die grundsätzlich anders gebaut sind die deterministische Arbeiten in ihrer Arbeitsweise, was uns als Tool und Werkzeug eher entgegenkommt.

00:24:54: Und ich glaube es wird weiterhin auch Transformer-Modelle geben, die gewisser Weise halluzinieren – das werden sie übrigens immer!

00:25:00: Auch bei ninety-neinzig Prozent Genauigkeit angenommen, wir erreichen das jemals, weil sich nicht glaube da war jetzt schon so ein Plateau sehen von der Intelligenz und den Fähigkeiten.

00:25:08: Sehen wir ja ne?

00:25:09: Wir sehen im Plateau in den zunehmenden Genauigkeiten bei dem Benchmarks für AI-Modele.

00:25:15: Wir investieren immer mehr Geld, aber es geht nicht mehr exponentiell wie es vorher war.

00:25:18: Sondern das wird ein Plateau und da müssen wir einfach akzeptieren auch irgendwo dass wir vielleicht Hashtag AI Bubble gar nicht das Ende sehen, aber wir müssen auch akzeptiert werden, dass diese Art von Modellen... Wir können die einen zwingen in Sandboxes wie wir wollen, aber die werden vielleicht nie Das Ziel erreichen.

00:25:38: gibt neue Modelle, Thema Weltmodelle.

00:25:41: Wie ich mag das Thema Kompall der Eiser wie wir alle wissen.

00:25:44: also da gibt es so diverse Möglichkeiten wie man das einschränken kann.

00:25:48: aber ich finde es vor allem krass weil Ich sehe mich selber noch in dieser Entscheidungsrolle ja und du kennst das auch durch den ganzen Zack mit dem Menschen die in dieser Entscheidung sind Wo ich das Gefühl habe, ich hab ja mindestens zwanzig Mitarbeiter die haben im geheimen irgendwie nach Sandbox weil sie halt über die Rechte verfügen ihre eigenen Agenten laufen.

00:26:08: Und ich weiß genau Sie haben sie laufen und Ich weiß genau ich verliere Daten.

00:26:12: Ich sehe es vielleicht noch ab und zu in irgendwelchen Lock Files.

00:26:15: Jetzt müssen die damit rechnen dass einfach in der Nacht wo dieses Ding in einem Hard Beat Modus läuft sich selber wieder aufruft oder sich irgendwo ein Skill verbessert oder ein Lernprozess in so einem Agenten läuft, der einfach auf die Idee kommt.

00:26:30: Ich nehme jetzt mal das Home Verzeichnis mit und ich starte jetzt mal eine Challenge online in irgendeinem Forum mit irgendjemandem anderen

00:26:38: Bord.".

00:26:39: Das ist ja nicht unendlich weit weg!

00:26:42: Wie du sagst?

00:26:43: Was wir momentan sehen, ist für mich viel.

00:26:47: Playground, die ganzen Agenten auf den Desktop.

00:26:50: Das ist im Prinzip ein großer Playground wo wir viele Sachen ausprobieren, die Sachen testen aber sobald du dann anfängst, Sachen produktiv zu schalten.

00:26:59: Also einen Agent einfach mal eine Loop zu nehmen und den vierundzwanzigmal sieben Aufgaben machen zu lassen.

00:27:05: Dann musst du einfach mit bestimmten Risiken rechnen.

00:27:07: Dann muss man sicherstellen dass du diesen Monitoren kannst.

00:27:10: Da musst du sicherstellen das du diesen Eingrenzen kannst Und die meisten gerne wollen natürlich auch eine vernünftige Umgebung haben, wo man das machen kann.

00:27:17: Das heißt aus diesen ganzen Experimentierversuchen kommen dann Anforderungen, Agenten an produktiv zu schalten wie sie eine Cloud zu überführen oder in Managed Aging-Umgebungen und das ist etwas was wir momentan als ein großer Trend sehen in der Cyber Sicherheit auch.

00:27:34: Cyber Security muss ich ja auch mein Agentin so schnell mögliche auch in einen Loop setzen weil wir Angriffe enttient Angriff versehen gegen Unternehmen nicht mal acht Minuten dauern.

00:27:44: Überleg mal, von Andrews startet bis Full Admin, wenn wir das erste Agente Crenzen weggesehen haben auch, das dauert wenige Minuten.

00:27:51: Das heißt ich muss die Menschen aus diesem Loop rauszuziehen und damit die Maschinen so weit wie möglich auch Containenmaßnahmen und Entscheidungen dazu selbst treffen können, damit sie einfach so schnell reagieren können.

00:28:03: Und in anderen Bereichen im Business-Untag ist es genauso.

00:28:08: Das kann ich halt nicht vom besten Haus.

00:28:10: Also erst mal, ich fand die Diskussion hier schon super spannend.

00:28:13: also selbst für mich lande auch wieder was Neues dazu.

00:28:17: Wir hatten gerade gesagt Die Managed Agents Super spannendes Thema hört sich ein bisschen an als machen wir in der nächsten Firma dazu auf.

00:28:28: erzählen wir mal mehr Kann Ich mit dem Managed Agent Dann läuft er ja nicht mehr bei mir.

00:28:33: Ich gebe das quasi in eine Cloud-Lösung rein und sage, ihr managt meine Agents für mich!

00:28:39: Ich komme natürlich aus der Perspektive richtig kritisch wird es für mich ja und richtig gut aber auch, wenn ich wirklich Arbeit einsparen kann oder irgendwelche Dinge schaffe, Effizienzgewinne schaffe.

00:28:49: Und das schaffe ich eigentlich nur, wenn nicht tiefer in meine Geschäftsprozesse rein integriere.

00:28:54: Und jetzt sage ich, ich mache Managed Service dann habe ich erstmal einen Agenten.

00:28:58: Dann sind das für mich erst mal Low Level Tasks die ich dem Agenten gebe weil das weißt du auch den Agenten heute Ohne eine zusätzliche Technologie oder eine Sicherheitsschicht noch, wie zum Beispiel Compile.dei, ich bleibe jetzt mal dabei.

00:29:14: Ich wüsste gar nicht, wie ich den Agenten heute einen kritischen Geschäftsprozess mitgeben, wo es zum Beispiel eine SAP-Transaktion dran hängt und irgendwie zehn Millionen nach hinten an B geschoben wäre.

00:29:21: Jedenfalls nicht ohne Menschen in den Loop zu nehmen!

00:29:24: Und da geht mir ja schon wieder der ganze Vorteil vom AI-Agenten flöten... Wie tief, was ist deine Empfehlung?

00:29:32: Wie tief würdest du einen Puren AI-Agenten heute in die Infrastruktur reinlassen.

00:29:36: Ja also das Spannende ist vielleicht das Anhand von einem Beispiel weil bei meiner letzten Thema ZYSTIC habe ich auch ein Hackathon durchgeführt mit diversen Teams und man stellt sehr fest innerhalb von einem Tag ändern die Leute einfach ihr Verhalten wenn wir das erste Mal beim Thema KI nicht nur einfach für sich selbst rumbasteln Agenten basteln, die man auch voneinander lernen und dann auch sehen.

00:30:00: Oh das ist ein cooler Use Case!

00:30:01: Und Feedback bekommen von anderen, wenn man das ganz besser macht.

00:30:06: Und dann kommt man zum Punkt rettisch schnell nach eins zwei Tagen, weil man diesen Rockhacker doch noch ein paar Wochen geplant hat.

00:30:11: Hey aber jetzt will ich eigentlich diesen Agenten live schalten.

00:30:15: Das Wünschste ist vor allem, dass der CFO das dann tragt, der selbst ja einen Agenten gebaut hat und du stellst dann fest... Mein Lieblingscase?

00:30:21: Das ist

00:30:22: mein Lieblungscase.

00:30:22: Werder CFO oder irgendeiner, der gar wirklich sorry muss ich mal sagen oft einfach gar keinen Plan hat vom Thema.

00:30:29: Mit Claude Kurt sich denn ein Dashboard zusammenbaut, wo die Hälfte der Zahlen drin halluciniert sind und mir dann sagt er will das jetzt für die ganze Unternehmung haben.

00:30:35: So!

00:30:36: Das ist so mein Lieblingscase.

00:30:37: ich liebs.

00:30:38: Stellt dir vor du bist jetzt eine IT-Fahrtwortliche ja?

00:30:40: Du hast es jetzt alles zu nebeln.

00:30:41: oder musst du sagen oh Moment aber da haben wir keine Nüsse mehr.

00:30:44: Jetzt muss ich meist mal sechs Monate zurückgehen und meine Plattform suchen wo ich dann die ganzen Managerages laufen lasse, wo ich deine ganzen Datenschutz und rechtliche Anforderungen erfülle Wo ich dann gucke, wie die gesamten Pipeline

00:30:57: rechtlich vor allem rechtlich.

00:30:59: wir sind in der EU.

00:31:02: Wir haben hier verschiedene Regeln, die wir uns halten müssen sonst geht es echt teuer auch.

00:31:07: Absolut!

00:31:08: Ich bin selbst in diese Falle reingetappt und ich glaube das ist momentan etwas was wir bei vielen Unternehmen sehen ja einfach diese Experimentierbarkeit sehr einfach aber etwas produktiv zu schalten.

00:31:19: Und wie du davor auch gesagt hast, es ist ja nicht nur die Umgebung, die man braucht.

00:31:23: Sondern ich muss ja dann auch feststellen was sind eigentlich die Boundaries, die ich darum herum für diesen speziellen Use Gears auch etablieren möchte damit meine nicht technischen IT-User auch wiederum enable werden, die KI zu nutzen und diese ganze Flexibilität der Agenten und der Transformer dann auch zu nutzen.

00:31:41: Große große Herausforderungen.

00:31:43: Ich glaube das wird uns jetzt für den nächsten Monate und Jahre beschäftigen weil das nicht so einfach löstbar ist.

00:31:49: Und es gibt auch keine Silver Bullet, ja?

00:31:51: Ich meine wenn du jetzt an Frontwick und Knotkott und Opinierein schaust wir haben alle diese Managed Agents aber die sind alle sehr generisch.

00:32:00: Wir sind nicht use-gespecifisch.

00:32:03: Die haben nicht die ganzen rechtlichen Anforderungen auch wie man vielleicht braucht da.

00:32:08: Das ist etwas was sicherlich ein spannendes Thema sein wird.

00:32:14: Wie viele KI-Plattformen werden unternehmen zukünftig dann betreiben?

00:32:19: In welchen Bereichen wird man separate KI-Platform sehen, in welche Bereiche wird man horizontale Plattformen sehen.

00:32:24: Wie geht man beim Thema Security um Observability?

00:32:28: All das sind total spannende Fragen!

00:32:31: Ich sehe zwei Sachen hier.

00:32:32: Das erste ist wenn wir uns mit deutschen Kunden unterhalten und es sind auch Leute die logischerweise dort ich kenne die hören heute auch zu viele Kursiken raus.

00:32:39: ja ich kriege immer wieder auch WhatsApps nach dem Podcast wo Leute sagen hey Alex Top-Thema, können wir doch mal drüber sprechen oder lass uns noch einmal im Podcast drüber sprechen und so.

00:32:49: Und der Punkt ist ich höre ganz oft an Schofik oder auch OpenAI die sind nicht bei uns.

00:32:57: Die fragen gar nicht was ist in meinem Problem?

00:33:00: Also sie können gar nichts entwickeln für mich als CIO CDU zum Beispiel oder so oder IT verantwortlichen.

00:33:07: Die haben ja noch nie gefragt wie eigentlich das Problem.

00:33:11: Das heißt, sie kommen mit einer breiten Lösung nach.

00:33:13: dem Auto kann sowieso alles.

00:33:16: Und dann soll die das im Prinzip alles lösen?

00:33:17: Das ist die eine Sache.

00:33:19: und die andere Sache, die ich ganz häufig sehe.

00:33:21: Und das ist auch so ein bisschen meine aktuelle Arbeitshypothese jetzt mit NXM zum Beispiel in meiner neuen Firma.

00:33:28: Die Ausführung des Denken sind aktuell eins.

00:33:34: Das heißt die LLm denkt und Sie hat auch die Ausführungen Und dazwischen hast du im Prinzip keinen Menschen, auch kein System, weder Machine Learning noch irgendein städtisches Verfahren gar nix.

00:33:47: Was irgendwie diese Ausführung überwacht und im Sinne der Idee des Intents des Users quasi das Prompt auch validiert.

00:33:59: Du hast auch keine verschiedenen Validationsschritte dazwischen.

00:34:03: Noch und weder kannst du andere Verfahren wie echten Code, den vielleicht schon mal so ein Athletoblock vorbereitet hat, das wiederum in der AI-Engine selber benutzen?

00:34:11: Was ich damit sagen will ist aktuelle Research.

00:34:14: gibt es einige Papers in Standford dazu können wir nächste Mal vielleicht ein bisschen tiefer reingehen.

00:34:19: Trend die ... Den Denkprozess von dem Ausführungsengine Und Ich glaube dass das uns eine große Stück weiterbringen wird, weil ich jetzt da nicht mehr das Problem habe dass die AI-Engine die das Denken ja übernimmt quasi während der Ausführung Dinge anders machen kann als sie ursprünglich mit mir besprochen hat.

00:34:44: Ja und das ist ein interessanter Ansatz?

00:34:48: Ich glaube es ist ein Thema was sich im kritischen Umgebungen und in Umgebung wo man vielleicht der KI auch noch nicht so viel Freiraum geben wird auf jeden Fall tablieren wird, weil ich will ja Nachpulsierbarkeit haben.

00:35:01: Ich will ja Auditierbarkeiten haben, ich will Reproduzierbarkei haben all diese Anforderungen.

00:35:07: Wie kann ich zum Beispiel das Thema Cyber Security?

00:35:09: Wenn ich einen Cyber Agenten laufen habe, dann kann ich jetzt nicht den Cyber Agent mal spontan entscheiden lassen ob er jetzt die Firewall selbst betreibt und port sperrt oder öffnet.

00:35:20: Das will ich nicht haben!

00:35:21: Ich will einen ganz klaren Prozess haben unter welchen Bedienung wann er was machen kann Und das kann unter Umständen auch so eine Weise Karriern gestalten, mit einem Menschen zusammen.

00:35:31: Aber der Prozess an sich muss Deterministisch sein.

00:35:35: Ich glaube es ist auf jeden Fall der Trend und diese Ballon zu finden zwischen Determinismus und die Freiheit und die Power der Karrimonelle wird eine spannende Aufgabe sein in Zukunft.

00:35:49: Ich habe wieder eine Theorie dazu warum die großen AI-Studios uns das noch nicht gegeben haben?

00:35:54: Und die Theorie dazu ist, wenn ich natürlich die Execution aus der LLM rauslöse dann habe ich da noch ein paar mehr Vorteile.

00:36:02: Nicht nur die Transparenz während der Ausführung und so weiter sondern Ich kann plötzlich Prozesse wiederholt ausführen ohne dass sich neu drüber nachdenken aka.

00:36:12: Tokenverbrauch, aka.

00:36:15: Geld ausgeben muss Warum?

00:36:20: Also stand heute Wenn ich jetzt meine AI losschecke und sage, liest meine E-Mails.

00:36:25: Dann werden sehr viele Tokens dafür ausgewendet.

00:36:27: fast das halbe Kontext Window also sprich halbe verarbeitbarer Kontext Fenster nur um überhaupt E-mail zu öffnen.

00:36:34: Und er denkt im Prinzip jedes Mal komplett fresh drüber nach.

00:36:37: Ich kann ihm ein paar Hinweise in Form von einem Skill hinterlassen.

00:36:39: Ein Skill ist übrigens nichts anderes.

00:36:41: Also kannst du ja heutzutage im Cloud Code in deinen anderen Asions Skills anlegen.

00:36:45: Und ein Skill ist nichts anderes als so einen Fünfzeiler wo drin steht e-mail öffnest Du mit der Mail App.

00:36:51: Und die hat übrigens einen MCP nach Standard XY und nimmt dann immer die ersten drei E-Mails und öffnet sie.

00:36:59: so ungefähr ist ein Skill, ja?

00:37:00: Und diese Hinweise benutzt Sie natürlich, die spart Ihnen paar Tokens aber der Prozess selbst wird trotzdem wieder full blown durchgeführt.

00:37:08: wenn du heute einen ERP System in dem Procure to Pay Prozess hast, dann sind das anderthalb Millionen Tokens.

00:37:17: Das geht durch die Decke.

00:37:19: Wir haben ja in der letzten Folge besprochen, Christiane, dass Konzerne gerade AI-Nutzung im Form von Agentennutzungen einschränken weil sie riesige Tokenrechnungen plötzlich haben.

00:37:28: An Trophika hat die Preise einfach noch oben genommen bis zum Abwinken und die Freikontingente verkleinert.

00:37:34: Und jetzt stell dir vor du brauchst das alles nicht mehr ist natürlich eine schlechte Nachricht.

00:37:38: vor so einem Börsengang Ist natürlich blöd, wenn du jetzt sagst.

00:37:43: Das System hat jetzt quasi einen vorgefertigten Code Compile.dei der quasi die Execution vom Denkprozess trennt sprich gar nicht neu darüber nachgedacht werden muss wie öffne ich eigentlich diese E-Mail?

00:37:56: sondern nur klar ist ah da gibt es ein Prozess die E-mail zu öffnen.

00:38:00: okay ja dann brauchst du nicht mehr das Data Center da brauchst Du nur noch fünfhundert Tokens oder so um die E mail zu lesen und zu verstehen?

00:38:09: Ich glaube, das ist ja, worauf es ein bisschen auch spiel ist.

00:38:13: Das ist der für das Silicon Valley-Debatte.

00:38:16: Inwieweit werden Tokens zu einer Komode ziehen?

00:38:18: Weil wenn du das jetzt zum Beispiel mit Cloud vergleichst... Bei Cloud Confusing war da sehr schwierig von einer Cloud zur anderen Cloud zu migrieren und bei den ganzen KI-Herstellen sieht man, dass so super einfach ist.

00:38:30: Da hat es mein KI-Modell von an Profik auf Open Dial innerhalb von ein paar Minuten integriert Oder vielleicht sogar einen Drucker dazwischenhalten.

00:38:41: Es soll ja eigentlich einfacher werden, AI einzuführen.

00:38:43: im Unternehmen sehr gut wie wir alle gehofft haben und wissen.

00:38:47: Und durch die aktuellen Cyber Security Unfälle will ich schon fast nennen, scheint es mir aber eher schwieriger zu werden.

00:38:54: Siehst du das auch so?

00:38:55: Ich

00:38:55: glaube da haben wir auf jeden Fall noch eine sehr, Wo ist das Potenzial, wie das ganze Thema skalieren kann aus der Cybersecurity-Perspektive?

00:39:04: Weil das Thema ist einfach momentan nicht kontrollierbar über Prompt Injections.

00:39:07: Über die ganzen Modelle, die Backdos enthalten können was wir gerade besprochen haben und über die Möglichkeiten einfach dass die Modelle auch sicher betrieben werden müssen.

00:39:20: Und ja für viele Unternehmen stellt sich wahrscheinlich dann die Frage Wie kann ich jetzt bei der vernünftigen Umgebung auch gestalten, um wiederum die Use-Gasern abzubilden?

00:39:34: Und das Gute an sich ist beim Thema KI im Vergleich zum Thema Cloud zum Beispiel in der Vergangenheit.

00:39:40: Ich kann relativ leicht zwischen einzelnen Models und weiter dann auch hin und her switchen.

00:39:45: Also gerade im Open Source umfällt ja eine sehr gute Möglichkeit, weil jede Woche sehen wir jetzt neues Open Source Modell was da jetzt rauskommt Manche spezialisieren, manche generell dann auch Neuterpabilitis rausgeben.

00:40:01: Ich glaube das ist total spannend.

00:40:03: und wenn man sich jetzt basierend darauf eine Architektur überlegt für den Unternehmen wie kann ich jetzt einfach davon ausgehen dass die Modelle immer besser werden?

00:40:14: Dass die Modeller auf der anderen Seite auch immer kleiner werden und spezialiserer werden?

00:40:19: und was wir zuvor besprochen haben nochmal diese deterministische Stack.

00:40:24: Vieles muss ich gar nicht über die Modelle abbilden, auch viel der Intelligenz dafür nutzen um meine Deterministischen Prozesse zu gestalten.

00:40:34: Ich würde sogar weitergehen und sagen, meine Applikation, mein Determinalistischer Prozess ist sozusagen Cached Intelligence.

00:40:43: Das Intelligent Stack brauche ich nur einmal.

00:40:45: Da musst du mal so

00:40:46: nachdenken.

00:40:46: Den Begriff finde ich gut!

00:40:49: Ich glaube, viele Prozesse im Unternehmen sind ja auch gleich bei anderen Unternehmen.

00:40:54: Das brauche ich nur einmal.

00:40:55: Da kann ich jetzt einmal die Skills mehr aufbauen und das jetzt so betreiben lassen.

00:41:02: Aber was spannend wird Alex ist die Frage, was macht eigentlich dein Unternehmen einstichartig?

00:41:09: Und wo hast du dann bestimmte Wettbewerbsvortale?

00:41:12: und da hat man vielleicht gar nicht rausgehen willst an den ganzen Frontiermodellen oder den

00:41:17: höheren?

00:41:19: Den Hörer, genau.

00:41:20: Also wo habe ich vielleicht bestimmte Insights, bestimmte Prozesse die ich so gelernt habe?

00:41:28: Die ich jetzt in Skillskisse und meine persönlichen Skills aufbauen, die ich vielleicht gar nicht mit Modellbetreibern verhalten will, wie ich auch nicht mehr der Welt ausgleichen will weil das macht meine einzigartig kleine Prozesses aus.

00:41:41: Das ist die völlige Hölle.

00:41:42: ja du hast Daten!

00:41:43: Du musst die Data Governance unter Kontrolle kriegen.

00:41:45: Du hast Daten die willst du gar nicht in die... Ich sag jetzt mal verlieren.

00:41:48: Die soll eigentlich bei dir auch bleiben, die ist unternehmenskritisch.

00:41:51: Das heißt du musst erst einmal die ganze Kaskade machen von Priorisierung in deinen Daten.

00:41:55: Step eins Du brauchst die Data-Plattform.

00:41:57: also dem zuvor kommt natürlich... Du hast eine Data-Platform wo dich überhaupt das mal integrierst und zur Verfügung stellst.

00:42:04: Dann musst du quasi auch noch entscheiden in welchen Tier welche Arten von Daten du also tier heißt im Umgebung ja welche Daten überhaupt verarbeitet werden dürfen.

00:42:14: Ja, dann musst du natürlich on top auch noch quasi die Sandboxes schaffen wo du denn ihr eagenten drin laufen lässt.

00:42:19: das soll ein bisschen auch skalierbar sein.

00:42:21: Die sollen komplett überwachbar sein.

00:42:23: ein paar davon sollen vielleicht auch deterministisch sein.

00:42:26: Das sprich ihre Ergebnisse immer wieder gleich bei nach Wiederholbare Ausführung.

00:42:31: für mich hört sich das ehrlich gesagt danach an dass du wenn du heute Betreiben willst in deinem Unternehmen den use case brauchst der irgendwo im niedrigen bis mittleren Wichtigkeitslevel irgendwo ist, wo du einen jungen noch in the loop hast.

00:42:46: Wo du es sehr eingeschränkt sagst was passieren soll?

00:42:49: Sehr eingeschrankt also schon gar nicht irgendwie Freiheiten geben mit darfst Kod erzeugen oder oder oder.

00:42:55: da sind wir im Bereich Software Entwicklung.

00:42:56: das ist ein extra Thema für sich aber wir gehen einfach mal von Prozessen aus die abseits von Research-Themen sind oder irgendwie Forschung, Chatibitie Style.

00:43:05: Ich brauche online was ist das und was ist denn das?

00:43:08: Oder so ja, sondern richtig Entscheidungen treffen, Tooling, agentische Nutzung, dieses ganze Thema.

00:43:14: Und ich glaube dass wenn du jetzt hier große Plattformen anguckst ihr versprechen, dass sie alles können.

00:43:20: Große Anbieter hoch und runter von Salesforce bis SAP alle machen jetzt agentische OS.

00:43:26: Agentischen Nutzungen usw.

00:43:27: Können alles.

00:43:29: Ich habe gestern erst wieder mit einem CIO telefoniert, der mir sagte, ich hab hier jeden Anbieter jeden Tag am Start, die mir an Gänten verkaufen wollen.

00:43:36: Und dann gucken wir die an was sie eigentlich können und das ist einfach... Also ich glaube wir müssen nochmal klarstellen dass es hier gerade besprechen betrifft.

00:43:45: alle also jeder Anbieder der gerade am Markt ist hat das gleiche Problem egal wie Marketinghübsch die Agenten verpackt werden.

00:43:53: Sie sind alle diesen Limitationen die wir besprochen haben unterworfen.

00:44:00: Siehst du auch so?

00:44:00: Absolut,

00:44:01: ich meine man sieht ja wie divers eigentlich die Welt da draußen ist.

00:44:04: wenn die Welt nicht divers wäre dann hätte jetzt dann Trophik und Opinial nicht plötzlich irgendwelche Consulting Service Gesellschaften gegründet mit rausgehen und vor der Kunst zu unterstützen.

00:44:16: das zeigt einfach nochmal es ist wirklich so dass man use case bedingt industriebedingt vielleicht auch personabedingt an das Problem herangehen muss, um diese Use-Cases abzubilden und dann auf diesen Kaisstike wiederum laufen zu lassen.

00:44:35: Und da gibt es kein Silver Bullet.

00:44:39: Das ist etwas, was wir glaube ich jetzt über die nächsten Jahre mal für uns herausfinden müssen.

00:44:45: Und wie gesagt, die spannende Frage wird ja sein – Was bleibt eigentlich übrig?

00:44:50: der Motorunternehmen sein, zukünftig werden die ihre gesamten Geschäftsprozesse auf KI aufbauen.

00:44:59: Und ich weiß nicht wie du das siehst, Alex, aber aktuell für mich kristallisiert sich dieses Skill Level raus.

00:45:05: und Knowledge Graph ja wo du zum einen an deinen ganzen Prozessen als Skills abbildest weil so oft wirst du dir gar nicht an die KI-Modelle weitergegen damit es nicht in den Gewichten landet oder vielleicht deine eigenen KI Modelle auch baut.

00:45:17: und auf der anderen Seite willst du ein gewissen Metallehre der repräsentiert wie dein unternehmen funktioniert.

00:45:23: ja und diese beiden, die beiden.

00:45:27: Ja, wir sagen Fundamente werden sicherlich dann auch die Dissensibilität der Unternehmen und der Geschäftsprozesse zu künftig danach aufwachen.

00:45:34: ich

00:45:34: würde sogar noch um das abzuschließen mich soweit aus dem Fenster hängen und sagen wenn du noch keine data Plattform hast Wenn du noch keiner gut funktionierende Cyber Security Abteilung hast, mit allem was man sich nur vorstellen kann.

00:45:49: Von Endpoint Protection bis Audit Management, regelmäßige Risk-Analysen fährst und so weiter.

00:45:59: Und gute Leute da hast du auch reagieren können oder zumindest einen externen Partner.

00:46:03: aber eine Cyber Security Versicherung alleine reicht nicht aus.

00:46:07: an das Thema AI mit AI Agenten ran zu gehen ist schwierig.

00:46:11: Also die Hausaufgaben, meiner Meinung nach müssen gemacht sein bevor du in der Breite wirklich abgesehen von kleinen Inseln wirklich breit KI deinen Mitarbeiter in die Hand drücken kannst stand heute und selbst dann hast Du immer noch ein Restrisiko.

00:46:25: das muss man einfach so sagen ist einfach so

00:46:28: absolut.

00:46:29: Absurd!

00:46:33: Es wird spannend aus der Security Perspektive Business Perspektive.

00:46:37: Und ich glaube, was wichtig ist es einfach viel zu teilen und viel zu lernen.

00:46:45: Der Hugging-Face-in zeigt dann momentan auch, dass jetzt einfach mal auch Science Fiction nicht sein kann relativ schnell.

00:46:54: Von daher müsste man da glaube ich ordentlich standen vorbereitet sein und Schritt für Schritt automatisieren und nicht einfach direkt reingehen und alles von heute auf morgen noch kreibaut beziehen.

00:47:04: Beste was ich interessant finde?

00:47:05: Dass die Politik versucht ist vielleicht auch runtergebrochen, intellektuell nachvollziehbar.

00:47:11: Aber die Politik versucht die EIModelle jetzt sicherer zu machen oder zu sagen es gibt jetzt irgendwie Security Reviews vorgeschrieben für EIModelle aber die Natur der Technologie ja gerade nicht da ist oder wir sie explizit so gebaut haben dass sie ja kreativ im Sinne von Hallationieren und Ausprobieren probabilistisch auf Wahrscheinlichkeiten basierend ist was einzuschränken, was du gar nicht einschränkend kannst weil sich ja ständig verändert.

00:47:39: Also ich stell mir das wahnsinnig schwer vor.

00:47:44: Einfach gekräht zu sagen dass DING darf jetzt kein Cyber Security mehr machen.

00:47:48: Ja schön!

00:47:50: Ich glaube das ist vielleicht auch mein spannendes Thema was wir reflektieren können.

00:47:54: Das Thema Prompt Injection, darauf gehst Du hier hinaus, das Thema Promt Injections kann ich beim Thema AI Transformer gar nicht lösen.

00:48:02: Es sind die Architektur der Transformer Und auch die Art und Weise, wie die aufgebaut sind.

00:48:08: Also jetzt muss man sich mal die Transformer so vorstellen.

00:48:10: wir einen Demand tranken.

00:48:13: was sie mit Hahnes drum herum aufbauen sind immer Stickernots.

00:48:16: ja und dann sagen wir mal so oh jetzt hast du gelernt dass deine Daten für High Ad Down Darling.

00:48:22: okay der macht sich über Sticker und wenn du Spontinjection stoppen willst dann machst du den Sticker nochmal.

00:48:29: ok bitte nicht auf böse Hacker reagieren die versuchen dich zu manipulieren Und manchmal guckt der Sticker rein.

00:48:35: Manchmal guckt er aber den Sticker gar nicht rein, weil vielleicht gibt es einen anderen Sticker von den Hackern, der sagt okay dieser Sticker ist eigentlich ein blöder Sticker und das zeigt einfach noch mal das Problem.

00:48:46: ja die können das Thema Pump Injection nicht lösen so einfach.

00:48:49: deswegen müssen halt andere Gartrails in Cyber Security sind.

00:48:52: im Prinzip was wir seit Jahren hatten, wir hatten verschiedene Schichten an Security das ist sogenannte Onions Siebelprinzip.

00:49:00: all das müssten wir berücksichtigen.

00:49:04: Ja, das ist ein freier und spannendes Thema.

00:49:07: Alex, was du gerade angesprochen hast in die Politik?

00:49:10: Da gibt es ja auch jetzt Hot News aus China, die sich über die Überlegungen um dann die ganzen indelischen Modelle dann auch restriktiver zu behandeln und nicht mehr an Focke-Source-Modellen herauszustellen.

00:49:23: Was heißt das eigentlich Europa?

00:49:24: Das ist die Frage.

00:49:28: Es ist keine schöne Situation, ja.

00:49:30: Von der USA gefühlt eingeschränkt zu werden auf KI-Modellen und aus China dann auch noch mal neuerdings eingeschreckt zu werden.

00:49:37: Wobei ich sagen muss wenn du es dir genau anguckst, in China war er immer so zu sagen Ich gebe euch die Modelle bzw.

00:49:45: Modelle egal welche Technologie.

00:49:46: Ich glaube das mein Dreadedrucker ist hinten oder mein ein chinesisches Auto ist oder so.

00:49:51: Man hört eher mit wie wir wissen aus Cyber Security Perspektive Der Angriffsvektor aus der Himmisfere ist eher weniger komplett full stop, deine Systeme anhalten ausschalten oder dich behindern sondern eher mitlesen Informationen ziehen und so weiter.

00:50:08: Ist ja auch ein bisschen Staatsresort.

00:50:11: während ich jetzt sagen muss aus der amerikanischen Perspektive Das war schon hart, plötzlich ein neues Modell oder eine Technologie nicht im Zugriff zu haben.

00:50:19: Das war ich nicht gewöhnt in meiner vergangenen IT-Karriere.

00:50:23: irgendwo eine neue Technologie vor die Karotte vor die Nase zu bekommen und sie dann aber aus einer Präsidentenentscheidung nicht mehr im Zuggriff zu haben das muss man sich auch vorstellen.

00:50:35: zu sagen da gibt es eine Technologie, die ist super gut kann eurer Cyber Security Probleme lösen.

00:50:40: Aber du bist ein deutsches Unternehmen und generell nicht im Kreis der Liebe.

00:50:49: Also darfst du auch nicht damit deine Systeme besser machen und analysieren?

00:50:54: Absolut.

00:50:55: Das ist ja nicht nur politisch betrieben, das ist ja keine politische Influenz sondern auch durchaus mal durch die KI-Webs.

00:51:02: Wenn es ein KI-Lab einfach entscheidet hält für Cyber Security darf man die Modelle nicht nutzen.

00:51:06: Und plötzlich sehen wir dann bei irgendwie Hugging Fails, die dann ihre Instant Response Plattformerbasis von dieser Kajon gebaut haben, die funktionieren gar nicht.

00:51:15: Was mache ich denn jetzt?

00:51:17: Also auch eine spannende Frage wie viel Macht will man da eigentlich den KI-Labs geben?

00:51:23: Wie viel macht will man dann in der Region gehen und wie kriegen wir dann eine gewisse Universität hin auf Unternehmensseiten aber auch auf gesellschaftlicher Ebene oder ja speziell auf Europa gesehen auch auf europäischer Ebene.

00:51:38: Was ist mich echt wundert, da ja KI gerne als so staatliches Werkzeug auch betrachtet wird.

00:51:44: Ähnlich Atomkraft und so weiter.

00:51:47: Es gibt doch trotzdem, also nicht nur trotzdem, sondern generell Stadoscope in der Branche ist.

00:51:51: es gibt zu allem ein Paper.

00:51:53: Das heißt gefühlt jetzt einen AI-Modell zu bauen, das habt euch eine Frage von einer Menge Hardware und vielen komplexen Problemlösen In der Technik.

00:52:01: Aber die Theorie dazu und die Papers, das Wissen ist ja öffentlich.

00:52:07: Das hat auch den asiatischen Anbietern möglich zu schnell Fuß zu fassen weil eben alles öffentlich ist und weil es aus der Forschung herauskommt.

00:52:17: Wir haben nicht mal unbedingt einen Nachteil hier.

00:52:19: Es gibt eine USA mehr AI-Researcher die mehr Geld zur Verfügung haben um ihre Modelle zu trainieren.

00:52:23: Das ist der eigentliche Grund dabei.

00:52:27: Wenn Europa wölte und ins Risiko gehen würde hätten wir natürlich die Modelle auch hier und die Interferenz auch hier.

00:52:35: Ob das jetzt gesund ist, jeden Monat fünfzig Milliarden für ein neues Modell rauszuhauen was ein Patientil besser ist als das vorher weiß ich nicht.

00:52:43: aber so mal einmal im Jahr könnte man schon in europäisches Modell veröffentlichen was irgendwie ein bisschen etwas kann so finde ich.

00:52:51: Habst du den Wort Alex?

00:52:51: Ich glaube du bringest ja auf einen Punkt.

00:52:55: Man muss festhalten die besten Karrierexperten Weltweit sitzen teilweise in Europa.

00:53:01: Viele sind immer noch da, die arbeiten auch für die amerikanischen Labs aber können auch europäische Labs arbeiten.

00:53:09: Zum anderen muss man sagen wie von T-Modellen?

00:53:11: ja das ist der Trend jetzt sicherlich anhalten Aber die große Lonkel wird sicherlich auch mit Harnesses und kleineren Modellen befüllt werden.

00:53:22: Und da ist riesengeschrieb Potenzial auf Europa dort auch auf eigenständige Modelle aufzubauen und um diese zu nutzen.

00:53:33: Weil im Endeffekt spielt der Hades die größte Rolle, nicht das Modell an sich.

00:53:37: Und eigene Modelle zu trainieren mit Frontiermodellen mithalten kann ich auch vollzutrage.

00:53:45: Das ist ein Prompt!

00:53:46: Wenn man sich auf Fagging-Face drauf geht, dann kann ich mal mit einem einzelnen Prompt einen Modell feintunen.

00:53:50: Da muss kein präktischer Karrierexpert sein.

00:53:54: Das sind die Gäben... Jetzt ist die Frage nun, wie setzen wir das um?

00:53:58: Und mit Umsetzung meine ich, da bin ich ein bisschen verteuert immer in der Europäischen Politik.

00:54:03: Wenn wir jetzt viel Geld reinstecken in irgendwelche Forschungssachen und irgendwelchen Forschungscluster usw.

00:54:08: und so fort und forschen dann was in zehn Jahren passiert anstatt einfach zu sagen lasst uns mal den Markt schaffen!

00:54:15: Lasst uns einmal den ganzen Start-ups und den ganzen Firmen, die tatsächlich umsetzen können, lass uns dem als Kunden machen.

00:54:23: Passen mal Kunden lernen für dich, damit sie wiederum die Probleme mitbekommen und an die Probleme rankommen.

00:54:28: Und nicht einfach nur Geld bekommen um weiter zu forschen.

00:54:31: Das ist das was sich ändern muss weniger fördern sondern mehr fordern.

00:54:37: Die angewandte Forschung auf der Baustelle ja?

00:54:41: Ich glaube auch dass am Ende des Tages um jetzt ganz vor Abschied zusammen Abschied zu kommen nur wenn du das hatten wir in den vorhergehenden Folgen auch schon oft In Europa ist glaube ich nicht das Modell, die Godmode AI zu bauen und SkyNet zu bauen.

00:54:55: Was die menschliche Arbeit auch in Form von humanoiden Roboter demnächst übernimmt.

00:55:00: Ich glaube auch in der Welt wollen die wenigsten leben.

00:55:03: Ich lese auch immer mehr Artikel in The New York Times oder auch in The Atlantic und diverser anderen eher demokratisch orientierten Medien.

00:55:10: in den USA wo dieses Schlusswort häufig daraus besteht und in der dystopischen Welt wo die AGI übernommen hat wollen wir doch eigentlich gar nichts sein.

00:55:19: Also es kommt immer mehr in den Zeitgeist rein von kritischen Quellen, die vielleicht nicht unbedingt das der Tech Bro-Blase gespeist werden finanziell.

00:55:30: Und natürlich viele der Data Center – ich habe gelesen, siebzig Prozent der Data-Center Kapazitäten der USA, die gebaut werden sollen im nächsten zwei bis drei Jahren ist an der Fire weil lokale Behörden oder eben auch Bürgerinitiativen versuchen diese zu verhindern Weil wer will, siebzig bis hundert Gas-Turbinen also Flugzeugtriebwerke auf Vollpower die ganze Zeit vor seiner Haustür laufen haben.

00:55:52: Die Umweltverschmutzung haben und doch keinen Arbeitsplatz davon zu haben weil da arbeiten drei Leute in der Fabrik so groß wie fünfzig Fußballfälle.

00:56:03: Ganz ganz viele tolle Insights.

00:56:06: Ich weiß, dass Alex aber einen harten, harte Cut hat.

00:56:09: Serge soll zurück in seinen verdienten Urlaub.

00:56:14: Nicht bessere Cyber Security Insights von deiner Perspektive bekommen können.

00:56:19: Vielen, vielen lieben Dank dafür!

00:56:22: Da Alex sich ja gerne weitere Experten wünscht bin ich mir sicher dass wir daraus ein wiederkehrendes Format machen können weil auch die Cyber Security wird sich vermutlich in den nächsten Wochen und Monaten noch mal acht Mal gedreht haben Und viele Sachen über die ihr heute gesprochen habt sind wahrscheinlich wieder outdated.

00:56:40: Daher freue ich mich sehr, wenn wir an einer anderen Stelle nochmal euch beiden lauschen dürfen.

00:56:46: Würde aber mich an der Stelle bedanken!

00:56:48: Vielen vielen lieben Dank Sergei dass du uns aktuelle Insights geliefert hast.

00:56:54: Danke Alex für diesen spannenden Diskurs und würde sagen nächste Woche AI Uncut mit einer neuen Folge bzw diesmal in zwei Wochen da wir einen kleinen Summerbridge haben.

00:57:10: vielleicht nehmen wir uns mal den politischen Thema an, was ihr gerade angekratzt habt.

00:57:14: Weil ich glaube das ist auch ganz, ganz spannend und sehr, sehr wichtig in der aktuellen Situation.

00:57:19: Wer weiß wo es in zwei Wochen schon wieder ist Christian?

00:57:21: Ja, Politik ist immer aktuell!

00:57:24: Christian

00:57:24: Alex, danke für die Einladung.

00:57:25: Viel Spaß, danke fürs Zuhörend.

00:57:27: Vielen lieben Dank Sergei, Danke Alex.

00:57:29: Tschüss.