Die von Microsoft eingerichtete Website Sketch2Code erzeugt aus Skizzen einen HTML-Code, etwa für das Design eines Onlineshops oder für die verschiedenen Optionen einer Payment-Seite. Die Software akzeptiert auch Fotos von Smartphone-Kameras, die sich direkt hochladen lassen. Technische Basis für das Verfahren bilden die Cognitive Services von Microsoft, eine Sammlung von Schnittstellen für die Bildanalyse oder Spracherkennung. Sie wurden für den neuen Einsatzzweck speziell auf die Erkennung von HTML-Elementen in Handzeichnungen trainiert. Ein zusätzliches Texterkennungssystem wandelt eventuell vorhandene handschriftliche Eingaben in den Skizzen in passende Beschriftungen um.

Microsoft hat für das Training von Sketch2Code offenbar mehrere Millionen Zeichnungen eingesetzt. Das System erkennt Elemente wie Bilder oder Listen sehr zuverlässig. Zudem wird die Erkennungsgenauigkeit anhand der Skizzen, die von den Anwendern hochgeladen werden, ständig weiter verbessert.

Sketch2Code lässt sich auch für eigene Skizzenanalysen verwenden, ein entsprechendes Repository mit dem Code der Software steht auf GitHub bereit. Weitere Details zu dem System veröffentlichte Microsoft in einem Blogbeitrag und in seinem AI Lab .