Quelle: popsci.com

Viele beschäftigen die Features von Projekt Natal. Was kann es? Welche Spiele wird es geben? Erkennt es mein Gesicht wirklich so 1a wie in der Preview? Doch eine mindestens genauso spannende Frage: wie funktioniert die Kiste eigentlich?

Es soll ein einzigartiges Spielerlebnis werden. Die Kameras in Natal werden Körper und ihre Bewegungen 30 mal in der Sekunde verfolgen und die Daten ins Spiel übertragen. Um dies hinzukriegen musste Microsoft dem Geräte beibringen zu verstehen was es sieht.

Damit Natal lernen konnte, wie Menschen sich bewegen, wie man Körperteile erkennt und erfasst, brauchte es Input. Viel Input. Microsoft hat mittels unzähliger Aufnahmen und Motion-Capturing Sessions dem System Input an Bewegungen, verschiedenen Körpern und Daten gegeben. Zu diesem Zwecke hat Microsoft Mitarbeiter in die ganze Welt geschickt und viele unterschiedliche Menschen aufgenommen, um die Daten zu Hause dann verwenden zu können. Doch Aufnahmen von Bewegungen und Körpern allein reichen einem System nicht. Programmierer mussten in die Rohdaten und jedes Körperteil in jedem Frame identifizieren und labeln.

Hier kam die Rechenleistung der riesigen Serverfarmen von Microsoft zum Einsatz, die dem Programm somit langsam beibrachten menschliche Körper zu erkennen und dessen Bewegungen nachzuvollziehen. Diese erlernte Erkenntniss landete dann schließlich in der Software des Project Natal Prototypen, der zur Zeit seine Runden auf Messen und Veranstaltungen macht, um zu demonstrieren was es gelernt hat.

So versteht und arbeitet Natal – Schritt für Schritt:

Schritt 1:
Im ersten Step erkennt die Software eine grobe Form des Körpers und deren Entfernung zur Kamera.  Also eine einfache “Hülle” des Körpers mit nur wenigen Fixpunkten um mit dem “Scannen” anzufangen und das zu erkennende Objekt auf einen bestimmten Raum zu beschränken.

Schritt 2:
Nun versucht das “Gehirn” von Natal die verschiedenen Körperteile zu erkennen. Dies geschieht auf Basis des oben beschriebenen Lernprozesses. Natal vergleicht deinen Körper also mit den vielen verschiedenen erlernten Bildern und errät sozusagen wo deine Schulter, dein Kopf oder dein linkes Kniegelenk zu finden sind.

Schritt 3:
Im nächsten Step erstellt das System ein Skelett und legt zu diesem Zwecke alle möglichen Skelette auf Basis von Schritt 2 übereinander um das passende zu finden. Dieses Skelett kennt ihr sicher aus Making-Of’s von aufwändigen Hollywood-Produktionen. Oft steht ein blau gekleideter Mann in einer Greenbox und macht komische Bewegungen. Auf dem Monitor sieht man dann ein dünnes Skelett das seine Bewegungen repräsentiert.

Schritt 4:
Im vierten Schritt hat die Software genug Informationen um einen einfachen 3D-Avatar zu erstellen, der zwar noch etwas wie eine Puppe aussieht, aber in Größe und Form dem Körper entspricht der vor der Kamera steht.

Schritt 5:
Diese vier Schritte werden nun 30 mal in der Sekunde ausgeführt und Natal lässt dich nicht mehr aus den Augen. Das Programm generiert alle möglichen Skelette die passen könnten und überträgt das wohl am passendsten ins Spiel.

Alles in Allem eine spannende Geschichte und ich kann mir durchaus vorstellen, dass diese Technik nicht nur in Games zum Einsatz kommt. Welche viele verschiedenen Einsatzbereiche es aber für Projekt Natal geben wird lässt sich nur erahnen.