HANNOVER MESSE 2019, 01. - 05. April
wechseln zu:
Machine Learning

Ein Microsoft-Tool verwandelt Zeichnungen in HTML-Codes

Über den Sketch2Code können Entwickler handschriftliche Skizzen in Codes für Webprojekte umwandeln. Dabei kommt künstliche Intelligenz zum Einsatz.

11.09.2018
HMI-ID08-085rf_Microsoft_01
Ein Microsoft-Tool verwandelt Zeichnungen in HTML-Codes (Foto: Microsoft)

Die von Microsoft eingerichtete Website Sketch2Code erzeugt aus Skizzen einen HTML-Code, etwa für das Design eines Onlineshops oder für die verschiedenen Optionen einer Payment-Seite. Die Software akzeptiert auch Fotos von Smartphone-Kameras, die sich direkt hochladen lassen. Technische Basis für das Verfahren bilden die Cognitive Services von Microsoft, eine Sammlung von Schnittstellen für die Bildanalyse oder Spracherkennung. Sie wurden für den neuen Einsatzzweck speziell auf die Erkennung von HTML-Elementen in Handzeichnungen trainiert. Ein zusätzliches Texterkennungssystem wandelt eventuell vorhandene handschriftliche Eingaben in den Skizzen in passende Beschriftungen um.

Microsoft hat für das Training von Sketch2Code offenbar mehrere Millionen Zeichnungen eingesetzt. Das System erkennt Elemente wie Bilder oder Listen sehr zuverlässig. Zudem wird die Erkennungsgenauigkeit anhand der Skizzen, die von den Anwendern hochgeladen werden, ständig weiter verbessert.

Sketch2Code lässt sich auch für eigene Skizzenanalysen verwenden, ein entsprechendes Repository mit dem Code der Software steht auf GitHub bereit. Weitere Details zu dem System veröffentlichte Microsoft in einem Blogbeitrag und in seinem AI Lab .