Die Wissenschaftler der National Academy of Sciences zogen für ihre Untersuchung zwei Quellen heran. Zunächst werteten sie öffentlich zugängliche Zensusdaten von einer Handvoll amerikanischer Städte und ihrer Bezirke aus. In einem zweiten Schritt griffen sie auf die rund 50 Millionen Fotos von Google Street View aus rund 200 US-Metropolen zurück. Die Hypothese war, dass sich anhand der Automodelle in den Straßen eines Bezirks Rückschlüsse auf das Wahlverhalten, das Einkommen und das Einkaufsverhalten der Bewohner ziehen lassen.

Für die Auswertung der Bilder verwendeten die Forscher das Deep-Learning-Modell eines Convolutional Neural Networks ( CNN ). Um das System zu trainieren, setzten die Wissenschaftler eine Datenbank mit einer Million Aufnahmen von Autos verschiedener Marken und Jahrgänge ein, die von einem Team aus mehreren hundert Helfern identifiziert und klassifiziert wurden. Für die anschließende Analyse der Google-Street-View-Fotos benötigte das KI-System etwa zwei Wochen, die Einordnung der gefundenen Autos in eine von 2657 Kategorien dauerte im Durchschnitt 0,2 Sekunden. Die Treffsicherheit bei zwei- und viertürigen Fahrzeugen lag bei 95 %. Vans erkannte das System mit einer Sicherheit von 83 %, bei Minibussen kam es auf 91 %. Bei Geländefahrzeugen und SUVs betrug die Erkennungsrate 86 %, bei Pick-up-Trucks lag die Software in 82 % der Fälle richtig.

Aus dem Vergleich mit den Zensusdaten ergab sich schließlich, dass in einer Gegend, in der vorwiegend Limousinen auf den Straßen zu sehen sind, die Bewohner mit einer Wahrscheinlichkeit von 88 % die amerikanischen Demokraten wählen. Bestimmen hingegen Pick-up-Trucks das Straßenbild, liegt die Wahlpräferenz mit 82-prozentiger Wahrscheinlichkeit bei den Republikanern. Anhand der Automobilmarken konnten die Forscher zudem die ethnischen Gruppen bestimmen, die ein Viertel bevölkern. Anhand weiterer Korrelationen ließen sich auch das Einkommen und die Ausbildung recht verlässlich zuordnen.