In den letzten zwei Jahren konzentrierten sich fast alle Diskussionen über KI auf die Rechenleistung: nicht genügend GPUs, unzureichende Rechenkapazität und unterdimensionierte Cluster.Es fühlt sich an, als würde die Anhäufung von mehr Rechenleistung jedes Problem lösen.
Aber dieser Bericht betont immer wieder einen entscheidenden Punkt:
Was die KI wirklich verlangsamt, ist nie die Unfähigkeit zu rechnen, sondern die Unfähigkeit, Daten effizient zu verschieben.
Eine Statistik macht das Problem glasklar:
Das Lesen von Daten aus dem DRAM verbraucht hundertmal mehr Energie als aus dem SRAM.Mittlerweile vergrößert sich der Leistungsunterschied zwischen Prozessoren und Speicher jedes Jahr um fast 50 %.
Ein Großteil der Rechenleistung, die wir hektisch aufbauen, wartet einfach auf Daten.
In diesem Moment wurde mir etwas Auffälliges klar:
Möglicherweise haben wir die ganze Zeit über nach dem falschen Engpass für KI gesucht.
Wenn das Problem nicht in der Berechnung selbst liegt, sondern in der Trennung von Rechenleistung und Speicher,
Dann ist die eigentliche Antwort möglicherweise nicht stärkere GPUs.
Es ist zu lassen Der Speicher selbst ist an der Datenverarbeitung beteiligt.
Das ist die wahre Geschichte, die dieser Bericht erzählen möchte.
Kernbotschaft des Berichts
Der eigentliche Engpass der KI-Rechenleistung ist die Verlagerung von der Berechnung in den Speicher, und die Lösung besteht darin, die Berechnung in den Speicher zu verlagern.
Das eigentliche Problem: Die KI-Effizienz wird durch die Datenbewegung begrenzt
KI-Berechnungen basieren stark auf massiven MAC-Operationen (Multiply-Accumulate) und sind äußerst datenintensiv.
Allerdings hat die klassische von Neumann-Architektur einen fatalen Fehler:
- Die Leistungslücke zwischen Prozessoren und DRAM wird immer größer (ca. 50 % pro Jahr).
- Die Energiekosten für den Speicherzugriff sind weitaus höher als die Berechnung selbst (DRAM-Leseenergie ≈ 100-mal so viel wie die von SRAM)
Fazit: KI versäumt es nicht, zu rechnen – sie versäumt es, Daten kostengünstig und schnell genug zu übertragen.
Kernwiderspruch: Der von-Neumann-Engpass
Die Trennung von Rechenleistung und Speicher erzwingt einen ständigen Datentransfer, was zwei kritische Probleme verursacht:
- Hohe Latenz
- Explodierender Energieverbrauch
Genau das nennt der Bericht von Neumann-Engpass.
Wichtigster Trend: Speicher wird zum neuen Rechenzentrum
Es zeichnet sich ein klarer Branchentrend ab:
Chips entwickeln sich auf zwei Arten:
- Der On-Chip-Speicher (SRAM) wird ständig erweitert
- Die Speicherbandbreite nimmt ständig zu
Mittlerweile hat sich eine revolutionäre Richtung herauskristallisiert:
In-Memory-Computing (IMC).
Seine Kernidee:
Führen Sie logische Operationen, arithmetische Berechnungen und Matrixmultiplikationen (den Kern der KI) direkt im Speicher durch.
Grundlegender Wandel:
Speicher = Speicher → Speicher = Compute Engine
Technische Wege: Von SRAM zu Emerging Memories
Der Bericht skizziert mehrere Umsetzungswege:
1. SRAM / eDRAM (traditioneller Weg)
Compute-in-Cache, neuronaler Cache
Vorteile: ausgereift, hohe Geschwindigkeit
Grenzen: große Fläche, begrenzte Skalierbarkeit
2. Emerging Memory (Mainstream-Richtung)
Einschließlich:
MRAM, PCM, ReRAM, FeRAM
Gemeinsames Ziel: Speicherarrays in Matrix-Multiplikations-Akkumulations-Engines umwandeln
mit In-Place-Computing und analogem Computing (z. B. Stromsummierung für Vektormultiplikation).
Essenz: Speicherarray = KI-Beschleuniger
Es bleiben jedoch echte Herausforderungen:
Präzision und Rauschen, Gerätevariation, Gewichtsdrift (insbesondere bei ReRAM) und Aufbewahrungsprobleme.
Der Weg ist machbar, aber technisch äußerst anspruchsvoll.
Systemlösung: Hardware-Algorithmus-Co-Optimierung
Der Bericht betont, dass Hardware allein nicht ausreicht – auch Algorithmen müssen weiterentwickelt werden.
- Modellkomprimierung: Beschneiden, Sparsity, Zerlegung mit niedrigem Rang
- Niedrigpräzises Rechnen: binäre neuronale Festkommanetze
- Hardwarebewusstes Training: STE, Bit-Slice-Sparsity
Wichtigste Schlussfolgerung: Die Optimierung der KI-Effizienz erfordert ein gemeinsames Design von Architektur, Geräten und Algorithmen.
Abschließendes Fazit
- On-Chip-Speicher ist zur Kernressource von KI-Systemen geworden
- Aufkommende Speicher machen die Speicher-Rechen-Integration zur Mainstream-Richtung
- KI-Chips der nächsten Generation erfordern ein schichtübergreifendes Co-Design von Geräten bis hin zu Algorithmen
Zusammenfassung
Der Engpass der KI verlagert sich von „nicht genügend Rechenleistung“ zu „nicht in der Lage, Daten schnell genug zu übertragen“.
Die Lösung für Chips der nächsten Generation sind nicht stärkere GPUs, sondern Speicher, der selbstständig rechnen kann.