Intelligente Überwachung

Gesichtserkennung auf kurzer Distanz

Roboter wie das Modell Prompt sind in der Lage, Personen auf kurze Distanzen wie auf der Straße und in Parks zu erfassen. Der Onboard-Supercomputer ermöglicht gleichzeitig die Personenerkennung auf den Bildern der sechs Roboterkameras. Sie sind so positioniert, dass sie Gesichter in allen Richtungen erkennen, egal, wohin sich die Menschenmenge bewegt.

Die Roboter besitzen die durchschnittliche Größe eines Menschen. Ihre Videokameras befinden sich somit auf Gesichtshöhe beobachteter Personen. Aus dieser Kameraposition heraus lassen sich Bilder anfertigen, die optimal zur Erkennung geeignet sind. Der Onboard-Supercomputer fotografiert die Gesichter von vorne. Indem nur die Gesichtsfotos übermittelt werden, ist der WLAN-Datenverkehr geringer und lastet die cloudbasierten Gesichtserkennungsserver gleichzeitig weniger stark aus.

Gesichtserfassung und Personenverfolgung

Das Robotermodell Picard besitzt neben den sechs 360-Grad-Panoramakameras auch eine PTZ-Kamera. Gesteuert von einem eigenen Onboard-Supercomputer ermöglicht die PTZ-Kamera den Rundumscan der Roboterumgebung. Sobald eine Person erfasst wird, setzt die Verfolgung der Kamera in einer voreingestellte Zeit oder bis ein Foto des Gesichts von vorne gemacht werden kann, ein.

Der eigene Onboard-Supercomputer stellt die Personen- bzw. Gesichtserkennung sicher. Dabei wird jeder Frame des Videostreams von der PTZ-Kamera berücksichtigt. Die hohe Bildverarbeitungsrate der Kamera ermöglicht eine 360-Grad-Umdrehung der PTZ-Kamera in unter zwei Minuten. In diesem Modus in der Picard in der Lage, Personen auf eine Entfernung von bis zu 100 m zu erkennen.

Beide Robotermodelle führen die Personensuche in einer cloudbasierten Datenbank durch. So kann eine ganze Robotergruppe einen einzigen Server verwenden. Zudem stellt jeder Roboter aktiv Anfragen und fällt nach deren Beantwortung unabhängig eine Entscheidungen über das Melden einer Warnung.

Der Roboter behandelt eine Personensichtung durch die Roboterkamera als ein alarmierendes Ereignis, das die Aufmerksamkeit eines Operators erfordert. Die intelligente Videoanalyse dient dazu, Personen auf den Bildern der Videoüberwachungskameras zu erfassen.

Dafür wurde eine Software entwickelt, die Deep Learning in rekurrenten neuronalen Netzen einsetzt. Derartige neuronale Netze sind in der Praxis ausreichend leistungsfähig. Sogar bei schwierigen Lichtbedingungen während der Patrouille kann ein neuronales Netz, das an einer Vielzahl von Beispielen gelernt hat, Personen von den meisten Dingen in der Umgebung des Roboters unterscheiden.

Lernfähige neuronale Netze besitzen mithilfe von Algorithmen zum Reinforcement Learning die sichere Fähigkeit, andere Objekte wie etwa Autos zu erfassen.

Supercomputer mit neuronalen Netzen

Der Roboter verfügt über ein Videoüberwachungssystem mit einem eigenen T9-Supercomputer, der mit einem Jetson TX2 Prozessormodul arbeitet. Das hochleistungsfähige Jetson TX2 von NVIDIA kann sechs High-Definition-Videostreams bei vergleichsweise geringem Stromverbrauch simultan verarbeiten. Gerade der Stromverbrauch stellt bei autonomen, mobilen Robotern eine kritische Größe dar, da sie ihren Strom über ihre eingebauten aufladbaren Batterien beziehen. Durch einen geringeren Stromverbrauch des Videoüberwachungssystem kann ein Roboter länger ohne erneutes Aufladen arbeiten. Der Stromverbrauch eines Supercomputers auf Grundlage des Jetson TX2 liegt lediglich bei 15 W. Somit ist er bestens für den Einsatz bei der autonomen Langzeit-Überwachung mobiler Roboter geeignet.

Die Prozessorarchitektur arbeitet mit lernfähigen neuronalen Netzen. So wird die für die Personenerfassung in Videostreams notwendige hohe Leistungsfähigkeit gewährleistet.

Sicheres Erkennen von Personen und Objekten

Der eingebettete Supercomputer ist sowohl für die Personenerfassung wie auch für die Erfassung von sicherheitsrelevanten Objekten die optimale Antwort. So werden etwa Baumaterialien mithilfe von Kleinlastwagen oftmals gestohlen. Ein neuronales Netz, dass ein Fahrzeug in bedrohlicher Nähe zu einer geschützten Einrichtung erkennt, kann zur Warnung vor dieser potenziell gefährlichen Situation eingesetzt werden.

Durch gezieltes Training kann das neuronale Netz einen bestimmten Fahrzeugtyp erkennen. Dieses neuronale Netz wird dann der Software auf dem Onboard-Computer des intelligenten Überwachungssystems des Roboters hinzugefügt. Für diesen Weg ist kein Upgrade der Hardware erforderlich. Mit der Entwicklung von neuer Infrastruktur-Software wird zudem die schnelle Erweiterung der verfügbaren Funktionen von Sicherheitsrobotern sichergestellt.

Ein einzelner eingebetteter Computer ist in der Lage, die Personenerfassung auf den Bildern der 360-Grad-Kameras zu ermöglichen. Der Erfassungsbereich hängt dabei von mehreren Faktoren ab wie der Größe einer Person im Bild, der Erkennung der vollen Person, der jeweiligen Beleuchtung, Irritationen im Hintergrund oder auch durch Gegenstände, die die Person verdecken können. Im Allgemeinen kann man bei unseren Robotermodellen von einem Erfassungsbereich von 40 - 50 Metern ausgehen. Die Bilder der einzelnen Kameras werden mit einer Geschwindigkeit von mehreren Frames pro Sekunde analysiert, sodass ein zuverlässiger Betrieb des Systems gewährleistet ist.

Für einen weiteren Erfassungsbereich zur Lokalisierung potenzieller Bedrohungen etwa beim Patrouillieren entlang von Zäunen, kann eine PTZ-Kamera eingesetzt werden. Diese PTZ-Kamera erfasst Personen sogar auf eine Entfernung von etwa 200 Metern. Sie arbeitet im Scanbetrieb und vollführt eine 360-Grad-Überwachung durch eine gleichförmige Drehung um die eigene vertikale Achse. Das Bild der PTZ-Kamera wird durch einen zusätzlichen, eigens dafür bestimmten Jetson TX2 Supercomputer verarbeitet. Der Supercomputer analysiert den HD-Videostream mit 25 Frames pro Sekunde. Der Scanbetrieb wird ausgesetzt, wenn ein bestimmtes Objekt mit der PTZ-Kamera verfolgt wird.

T9 Entwicklungs-Kit

Entwicklung intelligenter Videoüberwachungs- und Videoanalysesysteme

Eingebetteter T9-Computer

PROMPT Entwicklungs-Kit

Entwicklung intelligenter Videoanalysesysteme für den S5.2 PROMPT Roboter

Eingebetteter T9-Computer + System mit 6 Kameras und 360-Grad-Sichtfeld

PICARD Entwicklungs-Kit

Entwicklung intelligenter Videoanalysesysteme für den S5.2 PICARD Roboter

2 Stk. eingebettete T9-Computer + System mit 6 Kameras und 360-Grad-Sichtfeld + PTZ-IP-Kamera

Während die Roboterpatrouille auf den zu schützenden Arealen sammeln die Roboter Daten zu den Orten mit häufiger potenzieller Bedrohung. Sie werden verarbeitet und über lange Phasen analysiert. Aus den Ergebnissen wird eine Karte über den Bedrohungsgrad erstellt, bei der auch externen Faktoren wie Tageszeit, Wetter und verschiedenen anderen Informationsquellen des Big Data einbezogen werden. Die Verarbeitung dient dazu, Bedrohungen vorherzusehen und die Roboterpatrouillen zu potenziell gefährlichen Zeiten zu optimieren. Während der Datenverarbeitung können auch KI-Funktionen eingesetzt werden, um die patrouillierenden Roboter automatisch auf die potenziell gefährdeten Bereiche zu fokussieren. Darüber hinaus können wir anhand der gesammelten Big Data während des Robotereinsatzes die Patrouillenrouten neu zuweisen und den Zeitplan der Roboter anpassen.