Was ist XLSTM?

Hochreiter spricht von einer Alternativarchitektur für sogenannte Large Language Models. Momentan nutzen diese LLMs sogenannte Transformer-Architekturen, die sehr brachial und rechenintensiv sind. XLSTM ist ein autoregressiver Ansatz, kann abstrahieren und Hochreiter will es in Europa halten. „XLSTM ist schneller, wir brauchen weniger Speicher und XLSTM hat eine lineare Runtime.“ Dazu kommt: XLSTM kann das nächste Wort immer besser vorhersagen. Das bedeutet eine Vereinfachung im Coding und in der Logik. Darüber hinaus verfügt die Technik aus Linz über einen Speicher-Part und einen semantischen Part. Dank dieser Kombination kann XLSTM bessere Schlussfolgerungen aufstellen, erklärt Hochreiter im Gespräch.

Wie ist der Stand?

Das Unternehmen Pierer investierte mehrere Millionen Euro und das Unternehmen NXAI wurde gegründet. Das Besondere daran: Pierer geht ein Risiko ein. Es gibt erste Ergebnisse, die positiv stimmen, aber kein Produkt. Selten sind Unternehmen in Europa so mutig.

Wann kommt das Paper?

Die AI-Community mahnt bei jeder Veröffentlichung zu XLSTM ein Paper an. Es wird ein Paper geben, aber der Fokus von Hochreiter liegt momentan auf einem Produkt.

Open Source oder Patent?

Die Frage ist auch noch offen. Das Ziel von Hochreiter ist es, XLSTM für die europäische Industrie zu entwickeln. Mit seiner Erfindung LSTM wurden vor allem die Firmen im Silicon Valley reich. Das soll sich nicht wiederholen.

Wann kommen Ergebnisse?

Im Moment rechnen über 1000 GPUs auf der ganzen Welt XLSTM. Im Fokus stehen kleine und mittlere Datensätze. Im März soll es die Ergebnisse geben. Im Juni stehen die großen Datensätze an. Hochreiter und sein Team wollen alle bekannten Modelle schlagen – in allen Kategorien.

Für wen ist das interessant?

Der Fokus von NXAI liegt auf der Industrie. Einige deutsche Industrieunternehmen vereinbaren schon Termine in Linz. Der Vorgänger, der LSTM-Algorithmus wird mittlerweile in vielen AI-Anwendungen auch in der Industrie genutzt. Er zählt zu den meistzitierten Algorithmen der Informatik. Über 100.000 Zitationen werden Mitte Februar geknackt werden.