Chamath: Zwei Begriffe, auf die Sie im Bereich KI achten sollten, sind Prefill und Decode „Es gibt zwei Begriffe, von denen ich denke, dass Sie in den nächsten Jahren viel darüber hören werden.“ „Der erste Begriff ist Prefill, und der nächste ist Decode.“ „Was Prefill und Decode sind, sind zwei sehr unterschiedliche Arten, wie Modelle denken und wie ein Modell den Prozess durchläuft, um eine Frage zu beantworten, die Sie ihm stellen.“ „Und wenn Sie einen Prompt an die KI senden, passiert Folgendes: Das Modell verarbeitet ihn. Dies wird als Lesephase oder Prefill bezeichnet.“ „Es liest Ihren gesamten Prompt auf einmal. Und dann macht es eine Menge Mathematik, berechnet all diese Beziehungen zwischen all den Wörtern und speichert sie im temporären Speicher.“ „Das Problem ist, dass dies wirklich rechenintensiv ist. Es erfordert massive brute force. Und Nvidia GPUs sind hier unschlagbar.“ „Und ihre Architektur ist für massive parallele Verarbeitung ausgelegt, was sie wirklich erstaunlich macht, um diese langen Prompts zu verarbeiten.“ „Das Problem wird also immer größer, Nvidia dominiert einfach komplett.“ „Aber die nächste Phase, diese kritische Phase, die Decode-Phase, ist die Schreibphase, richtig?“ „Das Modell beginnt, eine Antwort zu generieren, Sie stellen ihm eine Frage und seine Antwort, ein Token nach dem anderen.“ „Und um das nächste Token, das nächste Wort auszuwählen, muss es auf alles zurückblicken, was es bereits gesagt hat, damit es nicht halluziniert.“ „Das Problem ist, dass dies unglaublich speicherbandbreitenbeschränkt ist.“ „Und in unserer Architektur haben wir vor langer Zeit diese Designentscheidungen von Anfang an getroffen.“ „Und was wir getan haben, war, einen sehr anderen architektonischen Ansatz zu wählen, wir haben eine sehr konservative Prozesstechnologie gewählt. Wir haben die Grenzen der Physik nicht überschritten.“ „Und wir haben viel von dem verwendet, was man SRAM nennt. Also Speicher auf dem Chip, damit wir dieses Decode-Ding genauso gut oder besser machen können als alle anderen.“ „Und jetzt, wenn Sie diese beiden Dinge zusammenbringen, denke ich, dass es eine enorme Beschleunigung in der Fähigkeit schaffen wird, dass diese gesamte Infrastrukturebene viel günstiger und viel wertvoller wird, was ich dann vermute, dass es viel mehr Entwickler anziehen wird, Sie werden viel mehr Anwendungen sehen, Milliarden und Milliarden von mehr Menschen, die es nutzen.“

Ich habe die Daten analysiert. Wieder. Ich habe eine Karte erstellt. Wieder. Das Bild ist jetzt noch REINER. Bundesstaaten ohne Wählerausweisanforderungen sind 16-mal wahrscheinlicher, Sozialleistungen für illegale Einwanderer anzubieten als Bundesstaaten, die einen Ausweis verlangen (67 % vs. 4 %, p<0.0001). Die Demokraten importieren und bezahlen Illegale für Stimmen. Details👇