Owli-AI Startseite Owli-AI
Menü

Owli-AI Forschung

An Electronic Guide Dog for the Blind based on Artificial Neural Networks

(2021) - Paper

S. Lopatin; F. v. Zabiensky; M. Kreutzer; K. Rinn; D. Bienhaus

Technische Hochschule Mittelhessen, University of Applied Sciences, Institute of Technology and Computer Science, Giessen, Germany

Abbildung

Funktionsschema des Electronic Guide Dog mit Kameraeingang, CNN-Segmentierung und abgeleiteten Navigationsinformationen.
Fig. 1 Funktionales Schema des Electronic Guide Dog.

Abstract

Das Paper präsentiert eine Machbarkeitsstudie für ein elektronisches Assistenzsystem, das blinde und sehbeeinträchtigte Menschen bei Orientierung und Navigation im öffentlichen Raum unterstützen soll. Der Kernansatz ist die optische Erkennung von begehbaren Gehwegflächen mit semantischer Segmentierung durch ein von Grund auf trainiertes neuronales Netz. In der praktischen Umsetzung wird ein NVIDIA Jetson Nano als mobile Recheneinheit für On-Device-Inferenz eingesetzt. Aus der erkannten Gehwegstruktur werden Navigationshinweise abgeleitet, die als Sprachausgabe an die nutzende Person ausgegeben werden. Damit untersucht die Arbeit die technische Umsetzbarkeit eines tragbaren Electronic Guide Dog auf Basis von Computer Vision und CNN.

Keywords

  • electronic travel aid
  • blind sidewalk detection
  • portable ETA system
  • electronic travel aid technology
  • computer vision
  • convolutional neural network

Download

PDF herunterladen Zurück

Abbildungen

  1. Funktionsschema des Electronic Guide Dog mit Kameraeingang, CNN-Segmentierung und abgeleiteten Navigationsinformationen.
    Fig. 1 Funktionales Schema des Electronic Guide Dog.
  2. Systemarchitektur mit ROS2-Nodes für Kamera, CNN-Segmentierung, Umgebungsanalyse und Audioausgabe.
    Fig. 2 Systemarchitektur mit datenflussbasierter Verarbeitung.
  3. Streudiagramm zum Vergleich von Inferenzgeschwindigkeit und mIoU verschiedener Segmentierungsarchitekturen.
    Fig. 3 Vergleich von Geschwindigkeit und Präzision.
  4. Beispielhafte Segmentierungsergebnisse für Gehwegflächen aus dem Testdatensatz.
    Fig. 4 Vergleichsergebnis eines Testsamples für DeepLabV3 und BiSeNetV2.
  5. Visualisierung der Parameter zur Berechnung der Abweichung vom optimalen Gehwegpfad.
    Fig. 5 Parameter zur Abweichungsberechnung vom optimalen Pfad.
  6. Fotos des experimentellen Prototyps mit Brustgurtkamera, Recheneinheit und Kopfhoerern.
    Fig. 6 Experimenteller Prototyp im Feldtest-Setup.
  7. Segmentierungsbeispiele aus Feldtests mit markierter begehbarer Gehwegflaeche.
    Fig. 7 Segmentierungsbeispiele aus dem Feldtest.