Im Sommer letzten Jahres präsentierte Hochreiter auf Einladung des Industrial AI Podcasts und der Hannover Messe 25 Industrie-Vertretern in einem Hotel in Zug am Arlberg seine XLSTM-Idee. Die Gruppe war angetan, sind doch die bekannten LLM-Modelle für die Industrie zu langsam, zu rechenintensiv. Einen Blankoscheck wollte damals aber keiner der Teilnehmer ausstellen. Über 100 Mio. Euro rief Hochreiter im Stüberl auf. Aber auch ein Pierer-Vertreter war Teil der Runde. Der Konzern scoutet weltweit nach Innovationen für ihre Produkte aber auch für die Produktion. Dieses Mal wurden sie wohl in der Heimat, an der Roten Wand, fündig.

XLSTM soll die europäische Alternative zur Transformer-Architektur, die die Large Language Models wie ChatGPT so mächtig machen, werden. Der LSTM-Algorithmus ist heute in der Industrie weit verbreitet – viele kleine, aber auch große Industrieunternehmen nutzen den Algorithmus, um ihre Produktion zu optimieren. „XLSTM wird noch mächtiger werden“, prophezeien Insider, die schon einen Blick auf die Architektur werfen konnten. Die Community wartet auf das erste Paper – es wird kommen, aber der Fokus in Linz liegt momentan auf einem Produkt und einem Patentverfahren. XLSTM ist LSTM plus exponentielles Gating, das durch Vektorisierung verbessert wird, raunen manche Beobachter. XLSTM ist ein autoregressiver Ansatz, kann abstrahieren und Hochreiter will es in Europa halten. „XLSTM ist schneller, wir brauchen weniger Speicher und hat eine lineare Runtime.“ Dazu kommt: XLSTM kann das nächste Wort immer besser vorhersagen. Das bedeutet eine Vereinfachung im Coding und in der Logik. Darüber hinaus verfügt die Technik aus Linz über einen Speicher-Part und einen semantischen Part. Dank dieser Kombination kann XLSTM bessere Schlussfolgerungen aufstellen, erklärt Hochreiter im Gespräch.

Wie sie skalieren wollen, wann es Details gibt und die Vorgeschichte gibt es im Industrial AI Podcast.