„Unsere Skalierungsvorhersagen aus unserer Arbeit sind eingetreten. Mit dem xLSTM 7B Modell präsentieren wir das beste Large Language Model (LLM), das auf rekurrenten neuronalen Netzen (RNNs) basiert. Es ist das energieeffizienteste Modell in der Welt der Large Language Models mit einer schnellen Inferenz“, erklärt Hochreiter. Er lehrt an der JKU Linz und ist Chief Scientist bei NXAI.

„Wir freuen uns, dass viele Menschen die Vorteile unserer Architektur in ihre Produkte integrieren und eigene Anwendungen auf Basis des xLSTM 7B Modells entwickeln können. Besonders KI-Anwendungen im Edge- und Embedded-Bereich profitieren enorm von der hohen Effizienz und Geschwindigkeit unseres Modells. Jeder Forscher weltweit kann das xLSTM 7B Modell für seine Arbeit nutzen. Es ist ein Modell aus Europa für die Welt“, erklärt Hochreiter.

xLSTM ist mehr als ein LLM

Seit der Erstveröffentlichung der xLSTM-Architektur im Frühjahr dieses Jahres haben bereits viele Entwickler Lösungen auf Basis dieses Ansatzes vorgestellt. xLSTM ist vor allem im industriellen Bereich sehr gefragt. „Ich sehe großes Potenzial für xLSTM in der Robotik, weil es in der Inferenz deutlich schneller und speichereffizienter ist“, erklärt Hochreiter.

Vor wenigen Tagen empfahl ein Forschungspapier ein Large Recurrent Action Model (LRAM) für die Robotik, das auf xLSTM basiert. Branchenexperten berichten außerdem, dass die Architektur dank ihres längeren und variablen Speichers auch in Mobilitäts-Anwendungen Einsatz findet. Ähnliches gilt für die Medizintechnik und Life Science-Applikationen. “Darüber hinaus wird xLSTM bereits für Zeitreihenprognosen genutzt und zeigt bei Langzeitprognosen eine überlegene Leistung im Vergleich zu anderen Verfahren“, berichtet Hochreiter. xLSTM ist aus Sicht der Entwickler mehr als nur ein LLM.

Der Hintergrund: Im Gegensatz zur Transformer-Technologie steigen die xLSTM-Berechnungen nur linear mit der Textlänge und brauchen im laufenden Betrieb weniger Rechenleistung. Das ist ein großer Vorteil, da komplexe Aufgaben viel mehr Text sowohl zur Aufgabenbeschreibung als auch zur Lösung brauchen.