Google Jeff Dean: Der Architekt der modernen KI und der Google-Computing-Infrastruktur

Wenn wir über die Geschichte des Internets sprechen, konzentrieren wir uns meist auf die Gründer, doch das eigentliche Herzstück des modernen Webs wurde von Google-Gründer Jeff Dean geschaffen. Um seinen Einfluss zu verstehen, muss man sich ansehen, wie wir suchen, übersetzen und heute mit Künstlicher Intelligenz interagieren.

Ich hatte immer das Gefühl, dass Jeff, während andere von den Möglichkeiten des Internets träumten, die physikalischen Grundlagen erforschte, um es für Milliarden von Menschen nutzbar zu machen. Von seinen Anfängen, als er Googles Crawling-Systeme neu programmierte, bis zu seiner heutigen Rolle als Leiter von Google DeepMind ist seine Karriere ein Paradebeispiel für den Aufbau der Infrastruktur, die die Existenz großer Sprachmodelle wie Gemini überhaupt erst ermöglicht.

Wer ist Jeff Dean? Ein Überblick über Googles Chef-Wissenschaftler

Betrachtet man die Funktionsweise des Internets heute, so findet man Jeff Deans Einfluss in den grundlegenden Strukturen. Er ist nicht einfach nur ein Manager, sondern im Grunde der „Ingenieur der Ingenieure“, der Google geholfen hat, sich von einem Garagenprojekt zu einem globalen Unternehmen zu entwickeln.

Ich erinnere mich an die „Jeff Dean Fakten“-Memes aus meiner Anfangszeit, in denen es um Witze über ihn ging, etwa darüber, dass er den Schwanz an einen Binärbaum anheften könne oder seine Tastatur nur zwei Tasten (0 und 1) habe. So lustig das auch ist, die Realität ist weitaus beeindruckender. Er kam 1999 als 20. Mitarbeiter ins Unternehmen und entwickelte die Systeme für Suchindexierung, Crawling-Infrastruktur und die Bearbeitung von Suchanfragen. Falls Sie sich jemals gefragt haben, wie eine Suchmaschine Millionen von Ergebnissen in 0.2 Sekunden liefert, liegt die Antwort meist in einem System, an dessen Entwicklung Jeff mitgewirkt hat.

Aktuelle Rolle und Führungsposition bei Google DeepMind

Jeff ist derzeit Chief Scientist bei Google und fungiert in dieser Funktion als Bindeglied zwischen theoretischer Forschung und praktischer Entwicklung. Er gibt die Richtung für die ambitioniertesten Projekte des Unternehmens vor und konzentriert sich dabei insbesondere darauf, wie Künstliche Intelligenz große, reale Probleme lösen kann.

Übergang von Google Brain zum Chef-Wissenschaftler

2023 vollzog Google einen bedeutenden Schritt mit der Fusion seiner beiden führenden KI-Einheiten Google Brain (die Jeff mitbegründet hatte) und DeepMind. Zuvor leitete Jeff das Brain-Team und leistete Pionierarbeit bei der Entwicklung von TensorFlow und großen Sprachmodellen wie PaLM. Ich habe diesen Übergang aufmerksam verfolgt, da er einen grundlegenden Wandel in der Branche einleitete. Jeff wechselte von der Leitung eines einzelnen Teams zu einer umfassenderen Führungsrolle und stellte so sicher, dass die Forschungsergebnisse aus den Laboren auch tatsächlich in Produkte wie Gemini und Android einfließen.

Leitung der einheitlichen KI-Forschungsabteilung

Jeff arbeitet nun mit Demis Hassabis zusammen, um die zentrale Google DeepMind-Einheit zu leiten. Seine Aufgabe ist es, sicherzustellen, dass die Weltklasseforscher nicht isoliert arbeiten. Wenn ich mir beispielsweise die Integration von Gemini in die Suche ansehe, erkenne ich Jeffs Einfluss darauf, dass die verteilten Systeme die enorme Rechenleistung bewältigen können, die für maschinelles Lernen in diesem Umfang erforderlich ist. Er sorgt dafür, dass Durchbrüche bei neuronalen Netzen tatsächlich so effizient sind, dass sie auf Tausenden von TPUs (Tensor Processing Units) ausgeführt werden können, ohne das gesamte System zum Absturz zu bringen.

Bildungshintergrund und frühe akademische Einflüsse

Jeff ist nicht einfach eines Tages aufgewacht und hat plötzlich gewusst, wie man verteilte Speichersysteme baut. Sein akademischer Werdegang war stark darauf ausgerichtet, wie Computer „denken“ und wie man sie dazu bringen kann, dies schneller zu tun.

Bachelorstudium an der Universität von Minnesota

Jeff hat an der University of Minnesota einen Bachelor in Informatik und Wirtschaftswissenschaften erworben. Ich finde es interessant, dass er neben Informatik auch Wirtschaftswissenschaften studiert hat; das hat ihm wahrscheinlich geholfen, die für Dinge wie AdSense notwendige Effizienz und Ressourcenverteilung zu verstehen. Während dieser Zeit arbeitete er auch für die Weltgesundheitsorganisation und entwickelte Software zur Überwachung des Globalen Programms zur Bekämpfung von AIDS. Das ist ein hervorragendes Beispiel dafür, wie er Daten nutzte, um große Probleme zu lösen, noch bevor das Internet allgemein bekannt war.

Doktorarbeit im Bereich Compileroptimierung an der Universität von Washington

In seiner Doktorarbeit wurde es dann richtig technisch. An der University of Washington konzentrierte sich Jeff bei seiner Promotion auf Compileroptimierung. Für Nicht-Entwickler: Ein Compiler ist im Grunde ein Übersetzer, der menschlichen Code in Maschinenbefehle umwandelt. Jeffs Forschung zielte darauf ab, diesen Prozess zu beschleunigen und effizienter zu gestalten. Als ich mich mit Systemarchitektur beschäftigte, wurde mir klar, dass diese frühe Fokussierung auf Effizienz genau der Grund dafür war, dass er später MapReduce und BigTable entwickeln konnte. Er weiß, wie man die maximale Leistung aus einem Prozessor herausholt.

Die Grundlage schaffen: Jeff Deans Anfänge bei Google

Wenn von der „Geheimzutat“ von Google die Rede ist, wird üblicherweise Folgendes erwähnt: Page Rank Algorithmus. Aber als Ingenieur betrachte ich die Infrastruktur. Jeff Dean hat die Leitungen gebaut, die es ermöglichten, dass diese Informationen Millionen von Menschen gleichzeitig erreichten. In den Anfängen war Google nicht die perfektionierte Maschine, die wir heute kennen; es war ein ehrgeiziges Start-up, das darum kämpfte, nicht unter seinem eigenen Gewicht zusammenzubrechen.

Eintritt bei Google als Mitarbeiter Nummer 30

Jeff kam Mitte 1999 zu Google. Damals steckte das Unternehmen noch in den Kinderschuhen des hart umkämpften Suchmaschinenmarktes. Mich hat es immer fasziniert, dass er nicht von Anfang an dabei war, sein Einfluss aber so unmittelbar war, dass er untrennbar mit der technischen DNA des Unternehmens verbunden wurde. Er schrieb nicht einfach nur Code, sondern entwarf die Architektur, die ein riesiges verteiltes System mit Petabytes an Daten ermöglichen sollte.

Die Lösung des „schweren Systemausfalls“ von 1999

Kurz nach seinem Start geriet Google in eine Krise. Der Index war praktisch defekt, und die Suchmaschine konnte ihre Ergebnisse nicht mehr aktualisieren. Ich kenne solche Situationen, in denen alle mit anpacken müssen, wenn eine Website ausfällt, aber hier handelte es sich um ein globales Problem. Jeff und sein langjähriger Mitarbeiter Sanjay Ghemawat machten sich an die Arbeit und überarbeiteten das Indexierungssystem. Sie behoben nicht nur die Fehler, sondern veränderten grundlegend die Art und Weise, wie die Daten gespeichert und abgerufen wurden. Dadurch konnte der Betrieb während einer kritischen Wachstumsphase aufrechterhalten werden.

Gestaltung der ersten fünf Generationen der Google-Suchindexierung

In den folgenden Jahren leitete Jeff die Entwicklung mehrerer Generationen des Suchindexierungssystems. Jede Version musste um ein Vielfaches leistungsfähiger sein als die vorherige. Er entwickelte Google von einem einfachen Crawler zu einer hochentwickelten Crawling-Infrastruktur weiter, die der rasant wachsenden Komplexität des Webs gewachsen war. Ich habe einmal gelesen, dass er maßgeblich an der Umstellung des Systems auf BigTable beteiligt war, was eine enorme Skalierbarkeit ermöglichte. Deshalb werden Ihnen bei einer heutigen Suche nicht Daten vom letzten Monat angezeigt, sondern oft Daten von vor wenigen Sekunden.

Die Architektur von Google Ads (AdSense)

Neben der reinen Informationsbeschaffung musste Google auch Wege finden, um im Geschäft zu bleiben. Hier erwies sich Jeffs Arbeit an AdSense als bahnbrechend (auch wenn ich diesen Ausdruck ungern verwende, lässt er sich nicht anders beschreiben). Er wandte sein Systemwissen auf die Welt der digitalen Werbung an und schuf eine Plattform, die Anzeigen genauso schnell wie Suchergebnisse ausliefern konnte.

Skalierung der anfänglichen Werbeauslieferungssysteme

Die Herausforderung bei Werbung besteht nicht nur darin, ein Banner anzuzeigen, sondern dies milliardenfach täglich zu tun, ohne die Nutzererfahrung zu beeinträchtigen. Jeff war maßgeblich am Aufbau des Backends beteiligt, das die Abfrageverarbeitung für das Werbenetzwerk übernahm. Ich habe bereits an Werbeimplementierungen gearbeitet, bei denen selbst eine Verzögerung von 500 ms die Conversion-Rate stark reduziert. Jeffs Arbeit sorgte dafür, dass die Anzeigen nahezu sofort geladen wurden. Er konzentrierte sich auf Latenz und Durchsatz und stellte sicher, dass die Hardware – oft günstige Standardserver – die Last problemlos bewältigen konnte.

Verbesserung der Relevanz durch Inhaltsanalysealgorithmen

Anfangs waren Anzeigen ziemlich unzuverlässig. Jeff arbeitete an den Algorithmen, die den Text einer Webseite analysierten, um deren Inhalt zu bestimmen. Dies war eine frühe Form der Informationswiedergewinnung und der Verarbeitung natürlicher Sprache. Wenn ich beispielsweise einen Blog über Mountainbiken las, sorgten Jeffs Systeme dafür, dass mir Anzeigen für Helme und nicht für Katzenfutter angezeigt wurden. Durch die Verbesserung dieser Relevanz machte er die Anzeigen nützlicher für die Nutzer und deutlich profitabler für Google.

Revolutionäre verteilte Systeme und Dateninfrastruktur

Anfang der 2000er-Jahre stand Google vor einem Problem, das zuvor noch niemand wirklich gelöst hatte: Wie verarbeitet man Datenmengen, die nicht auf einen einzelnen Rechner passen? Oder selbst nicht auf hundert? Jeff Dean löste dieses Problem nicht nur für Google; er verfasste im Grunde die Anleitung für die gesamte Technologiebranche zum Aufbau stabiler verteilter Systeme.

MapReduce: Die Transformation der Verarbeitung großer Datenmengen

Vor MapReduce musste man, um große Datensätze zu verarbeiten, umständlichen, individuell angepassten Code schreiben, um die Datenverteilung und Hardwareausfälle zu bewältigen. Es war ein Albtraum. Jeff und Sanjay Ghemawat entwickelten eine Methode, dies zu vereinfachen, indem sie die Aufgaben in zwei Schritte unterteilten: „Mapping“ (Daten sortieren) und „Reducing“ (Daten kombinieren).

Der Durchbruch im Cluster-Computing von 2004

Als sie 2004 die MapReduce-Veröffentlichung herausbrachten, veränderte das alles. Ich habe mit Ingenieuren gesprochen, die sich an diesen Moment erinnern: Es war, als hätte endlich jemand erklärt, wie man einen riesigen Cluster aus günstigen Computern wie einen einzigen, zuverlässigen Supercomputer nutzt. Er übernahm all die „langweiligen“ Aufgaben wie das Wiederholen fehlgeschlagener Operationen und das Verschieben von Daten, sodass sich die Programmierer auf die eigentliche Logik konzentrieren konnten. Bei Google ermöglichte dies, den gesamten Suchindex viel schneller als je zuvor neu zu generieren.

Auswirkungen auf Open-Source-Ökosysteme wie Hadoop

Und hier wird es für uns alle interessant. Google hat seinen internen Code für MapReduce zwar nicht als Open Source veröffentlicht, aber die Veröffentlichung war so detailliert, dass sie die Entwicklung von Hadoop inspirierte. Wer jemals im Bereich „Big Data“ gearbeitet hat, nutzte das Ökosystem, das Jeffs Forschung begründete. Sie demokratisierte Hochleistungsrechnen und ermöglichte es selbst kleinen Startups, Petabytes an Daten nach demselben Prinzip zu verarbeiten, mit dem Google den Suchmaschinenmarkt dominierte.

BigTable und Spanner: Das Rückgrat globaler Datenbanken

Wenn MapReduce die Art und Weise wäre, wie Google verarbeitet Daten, BigTable und Spanner waren die Art und Weise, wie sie gelagert Ich erkläre Big Table oft als eine riesige, verteilte Tabellenkalkulation, die auf Tausenden von Servern liegt. Sie wurde so konzipiert, dass sie „sparsam“ und „verteilt“ ist, also alles speichern kann – von winzigen URLs bis hin zu riesigen Satellitenbildern für Google Earth.

Implementierung eines verteilten Speichers für Milliarden von Anfragen

Die eigentliche Herausforderung bei einer globalen Datenbank ist die Geschwindigkeit. Wenn ich in New York und du in London bist, erwarten wir beide, dass Google unsere Einstellungen sofort erkennt. Bigtable bot die nötige Skalierbarkeit, hatte aber eine Schwäche: Die Datenkonsistenz weltweit war in Echtzeit nicht optimal. Deshalb entwickelten Jeff und sein Team Spanner, die erste Datenbank, die global skaliert und gleichzeitig die Daten perfekt synchronisiert.

Lösung des Konsistenzproblems mit Spanners TrueTime

Das ist einer dieser Momente, in denen man im Technologiebereich von einem „verrückten Wissenschaftler“ getrieben wird. Um Spanner zum Laufen zu bringen, nutzte Jeff etwas namens Echtzeittechnologie. Tatsächlich sind in jedem Google-Rechenzentrum Atomuhren und GPS-Empfänger verbaut. Da diese Uhren so präzise sind, weiß das System genau, wann eine Transaktion stattgefunden hat, selbst wenn die Server Tausende von Kilometern voneinander entfernt sind. Dadurch wurde das Problem der „Inkonsistenz“ gelöst und sichergestellt, dass ich nicht an einem anderen Ort ausgesperrt werde, wenn ich mein Passwort an einer Stelle ändere, weil es zu einer Synchronisierungsverzögerung kommt.

Level DB und Protocol Buffers

Obwohl Big Table ein riesiges System ist, erkannte Jeff auch den Bedarf an kleineren, effizienteren Tools. Er war Mitentwickler von Level DB, einer schnellen Bibliothek zur Speicherung von Schlüssel-Wert-Paaren. Wenn Sie Google Chrome verwenden, nutzen Sie Level DB bereits – es bildet die Grundlage für die „Indexed DB“, die Websites zur Datenspeicherung in Ihrem Browser verwenden.

Open-Source-Beiträge zur Datenspeicherung und Serialisierung

Jeff leitete auch die Entwicklung von Protocol Buffers (Protobufs). Zuvor nutzten Systeme häufig XML für die Kommunikation untereinander, was langsam und ressourcenintensiv ist. Ich habe Protobufs in mehreren Projekten eingesetzt, und sie sind deutlich schneller und kompakter. Es ist eine sprachneutrale Methode, Daten so zu packen, dass sie schnell über ein Netzwerk übertragen werden können. Es ist eine dieser „unsichtbaren“ Technologien, die das moderne Web so schnell erscheinen lassen.

Der Aufstieg von Google Brain und das Zeitalter des Deep Learning

Um 2011 war die Tech-Welt neuronalen Netzen gegenüber noch etwas skeptisch. Die meisten Forscher hielten sie für zu unhandlich und schwer zu trainieren. Jeff Dean sah das anders. Er erkannte, dass man durch die Kombination dieser vom Gehirn inspirierten Modelle mit Googles enormer Rechenleistung Probleme lösen könnte, die zuvor als „unlösbar“ galten. Diese Ahnung führte zur Entwicklung von Google Brain.

Gründung des Google Brain Project im Jahr 2011

Google Brain entstand nicht in einem Hightech-Labor, sondern als ambitioniertes Projekt innerhalb der geheimnisvollen Google-X-Abteilung. Jeff tat sich mit Experten zusammen, die Systemkenntnisse und KI-Theorie vereinten. Ich habe diesen Schritt immer bewundert, denn es ging nicht nur um Mathematik, sondern darum, ein System zu entwickeln, das mathematische Berechnungen im Internetmaßstab tatsächlich durchführen konnte.

Zusammenarbeit mit Andrew Ng und Greg Corrado

Das Projekt war eine Zusammenarbeit zwischen Jeff, dem Stanford-Professor Andrew Ng und dem Google-Forscher Greg Corrado. Andrew Ng brachte die Vision für Deep Learning ein, während Jeff das nötige Infrastruktur-Know-how für die Umsetzung lieferte. Sie entwickelten ein System namens DistBelief, den Vorläufer von TensorFlow. Es war darauf ausgelegt, ein einzelnes neuronales Netzwerk auf Tausende von CPU-Kernen zu verteilen – damals eine revolutionäre Idee.

Frühe Meilensteine ​​bei der Skalierung neuronaler Netze

Der wohl berühmteste Aha-Moment kam 2012 mit der „Katzenstudie“. Dabei wurden 16,000 Computerprozessoren miteinander verbunden, um 10 Millionen zufällig ausgewählte YouTube-Videos anzusehen. Ohne dass ein Mensch dem System erklärte, was eine Katze ist, begann ein bestimmtes Neuron im Netzwerk jedes Mal zu feuern, wenn es ein Katzenbild sah.

Ich erinnere mich, davon gehört zu haben und fand es etwas albern, so viel Energie nur für die Suche nach Katzen aufzuwenden? Aber es ging nicht um die Katze, sondern um das Modell. gelernt ein eigenständiges Konzept. Dies bewies, dass Deep Learning lediglich mehr Daten und mehr Rechenleistung benötigte, um intelligent zu werden.

TensorFlow: Open-Source-Künstliche Intelligenz

Nachdem Google Brain die Funktionsfähigkeit dieser Modelle bewiesen hatte, benötigten sie eine bessere Methode, um diese zu erstellen. Im Jahr 2015 ersetzten sie Dist Belief durch Tensorfluss Und dann, in einem überraschenden Schritt, verschenkte er es kostenlos an die ganze Welt.

Förderung der weltweiten Einführung von ML-Frameworks

Mit der Veröffentlichung von TensorFlow als Open Source haben Jeff und sein Team im Grunde den Standard für die gesamte Branche gesetzt. Ich habe es in Dutzenden von Projekten eingesetzt, und obwohl der Einstieg anfangs etwas knifflig war, hat es unsere Denkweise über Programmierung grundlegend verändert. Es hat „KI“ von einem Spezialgebiet für Doktoranden zu etwas gemacht, das auch normale Softwareentwickler umsetzen können. Es hat eine gemeinsame Sprache geschaffen, über die Forscher und Entwickler ihre Arbeit austauschen können.

Ermöglichung von Forschungs-zu-Produktions-Pipelines

Die wahre Stärke von TensorFlow liegt darin, dass es nicht nur für Experimente gedacht ist. Es wurde mit Blick auf den Produktiveinsatz entwickelt. Das bedeutet, dass man ein Modell auf einem riesigen Cluster trainieren und es anschließend auf einem Android-Smartphone oder in einem Webbrowser bereitstellen kann. Für Unternehmer ist das ein enormer Vorteil, denn es beschleunigt den Übergang von der vielversprechenden Idee zum marktreifen Produkt erheblich.

TPUs (Tensor Processing Units): Kundenspezifische KI-Hardware

Als die Modelle immer größer wurden, stieß selbst Googles riesige CPU-Flotte an ihre Grenzen. Jeff erkannte, dass sie, um im Bereich KI weiterhin erfolgreich zu sein, nicht einfach auf Standardchips zurückgreifen konnten. Sie mussten ihre eigenen entwickeln.

Physik optimieren: Der Bedarf an spezialisiertem Silizium

Er trieb die Entwicklung der Tensor Processing Unit (TPU) maßgeblich voran. Während eine CPU wie ein Schweizer Taschenmesser ist (sie kann alles, aber nichts wirklich gut), ist eine TPU wie ein Hochleistungsmixer, der nur für eine Aufgabe entwickelt wurde: die Matrixmultiplikation. Da neuronale Netze im Grunde Millionen von mathematischen Gleichungen mit Matrizen sind, war diese Spezialisierung ein genialer Schachzug.

Erzielung einer 30- bis 80-fachen Effizienzsteigerung gegenüber herkömmlichen CPUs

Die Ergebnisse waren überwältigend. Die ersten TPUs waren etwa 15- bis 30-mal schneller als die damals verwendeten CPUs und GPUs. Noch wichtiger war ihre 30- bis 80-mal höhere Energieeffizienz. Ich sage oft, dass ohne TPUs Dienste wie Google Translate oder die Spracherkennung von Gboard entweder deutlich langsamer oder viel zu ressourcenintensiv wären. Jeff hat nicht nur bessere Software entwickelt, sondern die Hardware, die weltweit für KI eingesetzt wird, grundlegend verändert.

Führend in der Zukunft der generativen KI und Gemini

In den letzten Jahren hat sich der Fokus im KI-Wettlauf von „Können wir das?“ zu „Wie schnell können wir das skalieren?“ verlagert. Jeff Dean steht im Zentrum dieser Entwicklung. Viele kennen ihn für die Infrastruktur, die das moderne Web ermöglicht hat, doch heute sorgt er dafür, dass Google nicht nur an der Ära der generativen KI teilnimmt, sondern sie aktiv mitgestaltet.

Die Geburt von Gemini: Die Verschmelzung von Brain und DeepMind

Anfang 2023 vollzog Google eine massive interne Umstrukturierung, indem Google Brain und DeepMind zu einer einzigen Einheit fusioniert wurden. Ich fand den Namen „Gemini“ (Gemini) sehr passend; Jeff selbst hatte ihn vorgeschlagen, da er für das Zusammenkommen von Zwillingen steht. Es war ein strategischer Schritt, um interne Konkurrenz zu beenden und Googles gesamte Elite auf ein Ziel zu fokussieren: die Entwicklung des leistungsfähigsten Teams. Large Language Models (LLMs) weltweit. Diese Fusion war das letzte fehlende Puzzleteil für tiefgreifende KI-Integration in der SucheDadurch kann Google über die einfache Keyword-Übereinstimmung hinausgehen und generative Modelle verwenden, um die wahre Absicht eines Nutzers zu verstehen.

Mitverantwortlich für die Entwicklung multimodaler Modelle

Jeffs Rolle als Chief Scientist bedeutet, dass er nicht nur zusehen kann; er ist technischer Leiter der Gemini-Familie. Was Gemini von früheren Modellen unterscheidet, ist seine von Grund auf multimodale Architektur. Ich habe mit Modellen gearbeitet, bei denen man eine separate Bildverarbeitungskomponente anschließen musste, aber Jeffs Vision war eine einzige, einheitliche Architektur, die Text, Code, Bilder, Audio und Video gleichzeitig nativ versteht.

Wettbewerbspositionierung gegenüber OpenAI und GPT-4

Die Tech-Welt liebt Rivalitäten, und der Kampf zwischen Gemini und GPT-4 ist derzeit der Schwergewichtskampf schlechthin. Jeffs Strategie besteht darin, Googles einzigartige Stärken auszunutzen: enorme Rechenleistung und vertikale Integration. Durch die Verwendung von Googles eigenen TPUs kann Gemini deutlich mehr Daten effizienter verarbeiten als Konkurrenten, die auf Standardhardware setzen. Mir ist aufgefallen, dass Google Gemini als die „wissenschaftliche“ und „integrierte“ Lösung positioniert – die Technologie, die alles antreibt, vom Android-Smartphone bis hin zur komplexen Wirkstoffforschung.

Die Transformator-Architektur und darüber hinaus

Man vergisst leicht, dass die Technologie, die fast jeder modernen KI zugrunde liegt – die Transformer-Architektur –, aus der Google-Forschungsabteilung stammt, als Jeff diese leitete.

Die Leitung des Durchbruchs „Aufmerksamkeit ist alles, was du brauchst“ im Jahr 2017.

Obwohl Jeff nicht zu den Hauptautoren der berühmten Studie „Attention Is All You Need“ gehörte, schuf er die Rahmenbedingungen, die deren Veröffentlichung ermöglichten. Er stellte die Ressourcen und die „Infrastruktur-zuerst“-Kultur bereit, die es Forschern erlaubte, mit dem Aufmerksamkeitsmechanismus zu experimentieren. Ich sage oft, dass der Transformer die wichtigste Erfindung in der Informatik des letzten Jahrzehnts ist; er ersetzte ältere, langsamere Methoden durch etwas, das parallel trainiert werden konnte – genau die Art von Effizienz, nach der Jeff sein ganzes Berufsleben lang gestrebt hat.

Fortschritte bei der Zero-Shot-Übersetzung und NLP

Eine der faszinierendsten Entwicklungen dieser Ära war die Zero-Shot-Übersetzung. Ich erinnere mich noch gut daran, wie begeistert ich war, als Google verkündete, dass ihre Modelle zwischen zwei Sprachen (wie Koreanisch und Japanisch) übersetzen konnten, selbst wenn sie nie zuvor ein direktes Beispiel dieser beiden Sprachen zusammen gesehen hatten. Indem sie eine gemeinsame „interne Sprache“ oder „Interlingua“ fanden, bewiesen Jeffs Teams, dass neuronale Netze ein tieferes Verständnis menschlicher Kommunikation entwickelten und nicht nur Muster auswendig lernten.

Philosophie, Ethik und die „Google-Fakten über Jeff Dean“

Abseits des Codes und der riesigen Rechenzentren ist Jeff Dean zu einer Art Kultfigur in der Tech-Community geworden. Es kommt selten vor, dass ein Softwareentwickler einen solchen Bekanntheitsgrad erreicht, dass Witze im Stil von Chuck Norris über ihn gemacht werden, aber Jeffs Einfluss auf die Unternehmenskultur von Google ist so tiefgreifend, dass er Legendenstatus erreicht hat.

Die Legende von Jeff Dean: Einblick in die Ingenieurskultur von Google

Wer sich im Silicon Valley oder in Ingenieursforen aufhält, stößt unweigerlich auf die „Kultur von Jeff“. Sie vereint höchste technische Kompetenz mit einer überraschend zugänglichen und kooperativen Art. Ich war schon immer der Meinung, dass die erfolgreichsten Unternehmen nicht nur auf Talent basieren, sondern auch auf einer gemeinsamen Sprache der Exzellenz. Und bei Google wurde diese Sprache maßgeblich von Jeff geprägt.

Der Ursprung der augenzwinkernden „Jeff Dean Fakten“

Die „Jeff Dean Fakten“ entstanden um 2007 als interner Google-Scherz. Es handelt sich um kurze, absurde Behauptungen über seine Programmierfähigkeiten. Mein Favorit ist wahrscheinlich: „Jeff Deans Tastatur hat eine ‚Warte‘-Taste, aber er benutzt sie nie.“ Oder, „Die Lichtgeschwindigkeit im Vakuum betrug früher etwa 35 Meilen pro Stunde. Dann verbrachte Jeff Dean ein Wochenende damit, die Physik zu optimieren.“ Auch wenn es sich um Scherze handelt, entspringen sie doch echtem Respekt vor seiner Fähigkeit, scheinbar unlösbare Fehler an einem einzigen Nachmittag zu beheben. Dadurch setzt er einen Standard, den andere Ingenieure im Unternehmen anstreben.

Gemeinsame Entwicklung: Die berühmte Kaffeemaschinenkultur

Obwohl Jeff Senior Fellow und Chief Scientist ist, ist er für seine unglaubliche Zugänglichkeit bekannt. Es gibt eine berühmte Anekdote darüber, wie viel Arbeit in den kleinen Google-Küchen erledigt wird. Jeff glaubt fest an den „Kaffeemaschinen-Effekt“: Ein Ingenieur aus dem Suchteam und ein Ingenieur aus dem Android-Team treffen sich, holen sich einen Latte und lösen gemeinsam ein abteilungsübergreifendes Problem. Ich habe versucht, dies in kleineren Teams nachzubilden; es geht darum, Silos aufzubrechen, damit Wissen über verteilte Systeme jemandem helfen kann, der im Bereich Maschinelles Lernen arbeitet.

Ethische KI und soziale Verantwortung

Da sich KI von einem Forschungsprojekt zu einem Werkzeug entwickelt hat, das Milliarden von Leben beeinflusst, konzentriert sich Jeff verstärkt darauf, wie wir diese Macht verantwortungsvoll einsetzen. Er setzt sich vehement dafür ein, dass Künstliche Intelligenz nicht nur bessere Werbung ermöglicht, sondern der Menschheit tatsächlich hilft.

Anwendung von maschinellem Lernen im Gesundheitswesen und beim Klimawandel

Ich finde seine Arbeit im Gesundheitswesen besonders praxisnah. Jeff hat Projekte geleitet, die neuronale Netze nutzen, um diabetische Retinopathie anhand von Augenscans zu erkennen und den Krankheitsverlauf von Patienten in Krankenhäusern vorherzusagen. Im Bereich Klimawandel hat er sich für den Einsatz von KI zur Optimierung des Energieverbrauchs der Google-Rechenzentren eingesetzt, die enorme Mengen an Energie verbrauchen. Durch den Einsatz von Reinforcement Learning konnte der Kühlenergiebedarf der Zentren um 40 % gesenkt werden. Dies ist ein praktisches Beispiel dafür, wie man mit den Werkzeugen großer Technologiekonzerne globale Probleme lösen kann.

Grundsätze für Fairness und Transparenz in der KI-Entwicklung

Jeff war maßgeblich an der Ausarbeitung der KI-Prinzipien von Google beteiligt. Diese Regeln besagen, dass Google keine KI für Waffen oder Überwachungszwecke entwickeln wird, die Menschenrechte verletzen. Er spricht oft von der Notwendigkeit der „Interpretierbarkeit“, also sicherzustellen, dass wir sie verstehen. warum Ein Modell wie Gemini oder PaLM hat eine bestimmte Entscheidung getroffen. Meiner Erfahrung nach ist Transparenz der schwierigste Aspekt von KI, aber Jeffs Fokus auf Federated Learning (bei dem die Daten auf dem Gerät statt in der Cloud gespeichert werden) zeigt, dass er Datenschutz und Ethik ernst nimmt.

Auszeichnungen, Anerkennung und philanthropisches Vermächtnis

Jeff Deans Einfluss ist zwar am deutlichsten im Code sichtbar, der auf Googles Servern läuft, doch die Informatikgemeinschaft würdigt seine Leistungen schon seit Jahrzehnten offiziell. Neben den technischen Erfolgen hat er sich auch darauf konzentriert, seinen Erfolg durch bedeutende philanthropische Projekte zu nutzen, um anderen den Weg zu ebnen.

Hauptfach mit Auszeichnung in Informatik

Es gibt kaum eine bedeutende Auszeichnung in der Computerwelt, die Jeff nicht gewonnen hat. Das sind nicht einfach nur „Teilnahmeurkunden“, sondern sie sind Ausdruck der Anerkennung der Branche, dass die Grundlagen des modernen Internets maßgeblich von ihm geschaffen wurden.

ACM-Preis für Informatik und die IEEE-von-Neumann-Medaille

2012 erhielten Jeff und sein langjähriger Programmierpartner Sanjay Ghemawat den ACM Prize in Computing (ehemals ACM-Infosys Foundation Award). Ausgezeichnet wurden sie für ihre Arbeit an MapReduce und BigTable, die die Verarbeitung großer Datenmengen grundlegend verändert haben. 2021 wurde ihm die IEEE John von Neumann Medal verliehen. Diese hohe Auszeichnung würdigt herausragende Leistungen in der Informatik und verwandten Wissenschaften und Technologien. Ein Blick auf die Liste der bisherigen Preisträger zeigt, dass sie die Pioniere der modernen Welt geprägt haben.

Wahl in die Nationale Akademie der Ingenieurwissenschaften

Bereits 2009 wurde Jeff in die National Academy of Engineering gewählt. Für einen Ingenieur ist dies eine der höchsten beruflichen Auszeichnungen. Sie würdigte seine Arbeit im Bereich verteilter Systeme und die herausragende Skalierbarkeit der von ihm entworfenen Infrastruktur. Ich fand es immer beeindruckend, dass ihm diese Anerkennung so früh zuteilwurde, lange bevor „KI“ in aller Munde war.

Die Hopper-Dean-Stiftung

Jeff und seine Frau Heidi Hopper haben durch die Hopper-Dean-Stiftung, die sie 2011 gründeten, ebenfalls einen enormen Einfluss ausgeübt. Ich bewundere ihre Zielgerichtetheit beim Spenden – sie geben nicht einfach Geld für allgemeine Zwecke aus, sondern konzentrieren sich auf spezifische Bereiche, in denen sie einen systemischen Unterschied bewirken können.

Förderung von Diversität in der MINT-Bildung

Ein Großteil ihrer Spenden fließt in die Förderung von Diversität in den MINT-Fächern. Sie haben Programme finanziert, die mehr Frauen und unterrepräsentierte Gruppen für die Informatik begeistern sollen. Ich habe einige dieser Programme, wie die „Berkeley CS Scholars“, selbst gesehen, und die Ergebnisse sind beeindruckend. Es geht um mehr als nur ein Stipendium; es geht darum, Mentoring und ein starkes Netzwerk zu bieten, das Studierende auch in schwierigen Phasen im Studium hält.

Bedeutende Fördergelder an das MIT und die UC Berkeley

Die Stiftung hat Millionenbeträge an einige der weltweit führenden technischen Universitäten vergeben. 2016 erhielt die UC Berkeley und das MIT jeweils eine Million Dollar (und später weitere Millionen an Universitäten wie Stanford, Carnegie Mellon und die University of Washington), um gezielt Initiativen zur Förderung der Diversität in ihren Informatik-Fachbereichen zu unterstützen. Es geht ihr nicht nur um die Finanzierung der nächsten Generation von Ingenieuren; sie will sicherstellen, dass diese Generation die Vielfalt der Welt, für die sie arbeitet, auch tatsächlich widerspiegelt.

Erfahrener Content Writer mit 15 Jahren Erfahrung in der Erstellung ansprechender, SEO-optimierter Inhalte für verschiedene Branchen. Er verfasst überzeugende Artikel, Blogbeiträge, Webtexte und Marketingmaterialien, die den Traffic steigern und die Markensichtbarkeit verbessern.