Sichtsystemgestütztes Andocken von Flugzeugen |
Machine-Vision-Based Guidance for Docking Aircraft |
|---|
V. Gengenbach, K. H. Schäfer, H.-H. Nagel, Kl. Fleischer, H. Leuck, F. L. Muth, A. Bachem, W. Enkelmann, F. Heimes, M. Tonko
Erschienen in: IITB Mitteilungen 1998, Fraunhofer-Institut für Informations- und Datenverarbeitung (IITB), 1998, S. 31-35.
| Zusammenfassung | Abstract |
| 1. Einleitung | |
| 2. Aufgabenstellung | |
| 3. Konzeption und Realisierung | |
| 4. Ergebnisse | |
| 5. Erfahrungen, Bewertung und Ausblick | |
| Danksagung | |
| Literatur | |
| Abbildung 1, 2, 3, 4, 5, 6 |
| Zusammenfassung | Abstract |
|---|---|
|
Das Betreten und Verlassen von Linienflugzeugen über Teleskopbrücken bietet den Fluggästen Vorteile, erfordert auf der anderen Seite aber das präzise Erreichen einer Andockposition durch den Piloten, der deswegen auf die genaue und praktisch verzugsfreie Anzeige der noch verbleibenden Differenz zwischen Ist- und Soll-Position angewiesen ist. Der Beitrag behandelt die Randbedingungen, die bei Konzeption und Realisierung eines vollautomatischen Detektions-, Verfolgungs- und Vermessungssystems für andockende Linienflugzeuge zu berücksichtigen sind. Die auf der Grundlage einer modellgestützten Bildfolgenauswertung realisierte Lösung wird inzwischen im Routinebetrieb auf Flughäfen eingesetzt. Sie stellt nach Kenntnis der Autoren das weltweit erste Beispiel für die Nutzung einer modellgestützten Bildfolgenauswertung in einem kommerziell vertriebenen Anwendungssystem dar. |
Entering and leaving an aircraft via covered telescope gangways offers significant advantages to airline passengers. It necessitates, however, that the pilot manoeuvres his aircraft quickly to a precisely defined stopping position. In order to enable the pilot to handle this task, he needs support in the form of precise and timely estimates of the difference between the current and the desired aircraft position. We describe the design and implementation of an automatic aircraft detection-, tracking- and measuring-system based on automatic evaluation of high dynamic range video image sequences. The system, which in the meantime is already in regular use by various airports, constitutes - to our knowledge - the first worldwide example of model-based image sequence evaluation in a commercial application. |
In größeren Seehäfen wird ein einlaufendes Schiff von einem Hafenlotsen erwartet, der es rasch und sicher an den vorbestimmten Andockplatz manövriert. Entsprechend stellte sich bei wachsendem Luftverkehr und damit zunehmend größer werdenden Flughäfen ebenfalls die Notwendigkeit ein, ankommende Flugzeuge an der Landebahn durch Flughafenlotsen in Autos mit aufmontiertem "Follow Me"-Lichtzeichen erwarten und zu der dem Flug zugeordneten Andockposition geleiten zu lassen. Dort unterstützt ein Einweiser den Piloten durch Hand- oder Lichtzeichen beim präzisen Ansteuern der vorgeschriebenen Halteposition.
Das Bestreben der Fluglinien, ihren Passagieren lange Wartezeiten zwischen Anschlußflügen zu ersparen und insbesondere Geschäftsreisenden durch "Tagesrandverbindungen" Eintagesreisen zu ermöglichen, resultierte in einer Ballung von Start- und Landungsterminen zu bestimmten Tageszeiten. Die sich daraus ergebenden Nachfragespitzen für Flughafenlotsen veranlaßten die Leitungen von größeren Flughäfen, die Rollwege durch geeignete Markierung und Feuerung so zu kennzeichnen, daß die Piloten ihren Weg von der Landebahn bis in die Umgebung der eigentlichen Andockposition normalerweise ohne fremde Hilfe finden können.
Da in vielen Fällen die Aufgaben des Flughafenlotsen und des Einweisers von derselben Person wahrgenommen werden, liegt der Gedanke nahe, den Piloten durch automatische Hilfen sogar bis zur vorgeschriebenen Andockposition zu führen. Solange die Passagiere ein Flugzeug über Treppen verließen, die nach dem Abschalten der Triebwerke an das auf dem Flugvorfeld stehende Flugzeug herangerollt wurden, konnte man sich auch größere Toleranzen beim Erreichen der Halteposition leisten. Dies änderte sich jedoch mit der Einführung von Teleskopbrücken, die den unmittelbaren Übergang der Passagiere zwischen Flugzeug und Empfangshalle erlauben. Um die Manövrierfähigkeiten solcher Teleskopbrücken sowie die zu deren Positionierung benötigte Zeit - und damit die Konstruktions- und Betriebskosten - beschränken zu können, muß man von Piloten fordern, daß sie ihre vieltonnenschweren Maschinen zügig und genau bis auf Bruchteile von Prozenten der Spannweite bzw. der Flugzeuglänge an die vorgeschriebene Andockposition manövrieren.
Solche Forderungen sind nur zu erfüllen, wenn der Pilot während des Andockvorganges laufend präzise und praktisch verzögerungsfrei über Betrag und Richtung einer noch verbleibenden Differenz zwischen Ist- und Sollposition unterrichtet wird. Auf Grund jahrelanger Erfahrungen mit verschiedenen Ansätzen zur automatischen Vermessung und Anzeige der aktuellen Flugzeugposition während eines Andockvorganges entschloß sich die Daimler-Benz Aerospace AG (DASA) Verkehrsleittechnik (jetzt Honeywell Airport Systems GmbH), eine Lösung für diese Aufgabe völlig neu auf der Basis einer modellgestützten Bildfolgenauswertung zu konzipieren und in einer prototypischen Anlage zu realisieren.
Die Zufahrt zu jeder Andockposition wird für den Piloten durch eine helle Markierungslinie angezeigt, der sogenannten "Einroll-Leitlinie". Auf dieser Einroll-Leitlinie ist für jeden zu erwartenden Flugzeugtyp eine Zielposition markiert, an der das Bugrad einer andockenden Maschine stehen soll. Abweichungen zwischen der Ausrichtung einer noch rollenden Maschine und der Orientierung der Einroll-Leitlinie sowie zwischen der aktuellen und der geforderten Bugradposition werden dem Piloten über eine Tafel mit rechnergesteuerter Leuchtschrift laufend angezeigt.
Das zu entwickelnde Andocksystem soll ein ankommendes Flugzeug möglichst vor Beginn der eigentlichen Einroll-Leitlinie erfassen sowie die Ausrichtung und den Abstand der Maschine vom Haltepunkt periodisch in Zeitabständen vermessen, die klein gegen die Reaktionszeiten von Piloten sind, d. h. ca. 5 - 10 mal pro Sekunde. Erfassung und Vermessung haben mit hoher Zuverlässigkeit und Genauigkeit tags und nachts unter allen Witterungsbedingungen zu erfolgen, bei denen die Flughafenleitung noch Landungen zuläßt. Dabei soll sich der Einsatzbereich von kleinen Zubringermaschinen mit einer Kapazität von 40 - 70 Passagieren bis zu Großraumflugzeugen für den Interkontinentalverkehr mit etwa der zehnfachen Sitzplatzkapazität und den entsprechenden Abmessungen erstrecken.
Da ein solches Andock-Führungssystem auch für Flughäfen mit 50 bis 100 oder noch mehr Andockpositionen erschwinglich bleiben muß, ergeben sich Kostenobergrenzen für ein einzelnes Gesamtsystem, das Signalerfassung und -auswertung, Anzeigetafel, Bedienungsgeräte und Installation umfaßt. Dies führt auf einschneidende Kostenobergrenzen für die eigentliche Signalerfassung und -auswertung. Als Konsequenz kamen Spezialprozessoren für die Signalauswertung nicht in Frage. Vielmehr sollte die gesamte Signalauswertung mit leistungsfähigen Standardrechnern erfolgen.
Angesichts der großen Unterschiede zwischen den zu vermessenden Flugzeugtypen sowie der dabei zu berücksichtigenden Randbedingungen (u. a. Witterungseinflüsse, Genauigkeit, Zuverlässigkeit) empfiehlt es sich einerseits, möglichst viel Wissen beispielsweise in Form von Flugzeugmodellen sowie über Geometrie und Beleuchtung der Andockposition in den Vermessungsprozeß einzubringen. Andererseits sollten die Messungen in einem großen Gesichtsfeld mit hoher örtlicher und zeitlicher Abtastrate erfolgen, wobei gleichzeitig mit großen Variationen der Signalamplituden zu rechnen ist. Diese Forderungen führen dazu, eine Spezialkamera einzusetzen, deren Lage und Orientierung relativ zur Einroll-Leitlinie genau zu kalibrieren sind. Die bisher angeführten Überlegungen erlauben es bereits, die Grobstruktur des realisierten Lösungsansatzes selbst einem Außenstehenden verständlich zu machen.
Eine Spezialkamera wird in der Nähe der Anzeigetafel oberhalb der Einroll-Leitlinie so angebracht, daß sich das Flughafenvorfeld im Bereich vor Beginn der eigentlichen Einroll-Leitlinie bis zur Andockposition erfassen läßt. Die von dieser Kamera erfaßten Signale sind so aufzubereiten, daß sie ohne wesentliche Störungen über größere Distanzen bis zum Auswertungsrechner übermittelt werden können, der sie trotz der anfallenden hohen Datenrate in seinen Arbeitsspeicher zu übernehmen hat.
Über ein Bediengerät gibt das Bodenpersonal Flugzeugtyp und erwartete Ankunftszeit ein. Der Auswertungsprozeß muß zunächst das Erscheinen der erwarteten Maschine in seinem Gesichtsfeld detektieren und dann deren ungefähre Position und Orientierung auf dem Flugvorfeld schätzen. Mit diesen Schätzwerten ist ein modellgestützter Verfolgungsprozeß zu starten, der ein approximatives Oberflächenmodell des eingegebenen Flugzeugtyps mit der geschätzten Lage und Orientierung im Raum ansetzt. Das so initialisierte Flugzeugmodell wird unter Nutzung der Kamerakalibrierung in die Bildebene projiziert. Anschließend werden (selbst-)verdeckte Modell-Flächen und -Linien sowie die außerhalb des durch die Kamera erfaßten Gesichtsfeldes liegenden Teile des Modells eliminiert. Die verbleibenden Flächen und Linien werden dann nach Maßgabe einer speziellen Abstandsmetrik mit Kantenelementen verglichen, die aus den Kamerasignalen der laufenden Aufnahme extrahiert worden sind. Aus den - über die sichtbaren Teile des Modells akkumulierten - Unterschieden zwischen Datenkantenelementen und Modellsegmenten werden in einem hochoptimierten Suchprozeß Korrekturen zu den vor Beginn des Vergleiches angesetzten Lage- und Orientierungsparametern bestimmt. Die nach Abschluß des Suchprozesses akzeptierten aktualisierten Lage- und Orientierungsschätzwerte werden mit einem Zeitstempel versehen und an die Steuerlogik der Anzeigetafel übermittelt, die daraus die für den Piloten sichtbaren Hinweise bestimmt und anzeigt.
Diese - aus Platzgründen notwendigerweise grobe - Skizze läßt deutlich werden, daß nicht ein einzelnes Verfahren oder Gerät, sondern ein ganzes System zu entwickeln war. Dieser Entwicklungsprozeß läßt sich untergliedern
Zu Beginn stand die Entwicklung einer vorläufigen Signalerfassung im Vordergrund, mit deren Hilfe eine hinreichend repräsentative Lernstichprobe von Andockvorgängen zusammengetragen und archiviert werden mußte. Dies erforderte eine automatische Detektion von Flugzeugen, die in das Gesichtsfeld einer Vorversion der später einzusetzenden HDRC® (High Dynamic Range Camera) [5] Kamera eintraten, wobei eine hohe Detektionsrate unter allen Witterungsbedingungen selbst auf Kosten einer beträchtlichen Falschalarmrate angestrebt wurde. Pro automatisch detektiertem Flugzeug wurden Bildfolgen von ca. 1200 bis 2000 Aufnahmen Umfang digitisiert, zwischengespeichert und zum IITB übermittelt. Die Messkampagnen an verschiedenen Flughäfen konnten unter Nutzung von ISDN-Verbindungen sowohl vom Auftraggeber als auch vom IITB aus zentral überwacht werden. Am IITB wurden aus den zunächst zwischengespeicherten Bildfolgen anschließend die brauchbaren Bildfolgen aussortiert, auf die unmittelbar interessierenden Teilfolgen gekürzt und nebst Zusatzangaben über die Aufnahmezeitpunkte sowie gegebenenfalls weiteren Kommentaren in einer Datenbank abgelegt.
Parallel hierzu wurde eine Programm-Komponente zur Eingabe von Flugzeugmodellen aus Plänen und anderen - durch den Auftraggeber zur Verfügung gestellten - Angaben entwickelt, die anschließend in einem weiteren Teilprozeß zur Erstellung von systeminternen Flugzeugmodellen diente.
Ebenfalls parallel zu den bisher erwähnten Teilprozessen wurden weitere Teilprozesse vorangetrieben. Vor allem ist hierbei die Entwicklung des eigentlichen Initialisierungs- und Verfolgungs-Algorithmus zu nennen, der begleitet wurde von einer separat ablaufenden, durch einen weiteren Mitarbeiter vorgenommenen laufenden Erprobung und Dokumentation der bereits zur Verfügung stehenden Zwischenversionen des eigentlichen Auswertungs-Algorithmus mit Hilfe der zwischenzeitlich akkumulierten Lern- und Teststichprobe. Die Trennung von Entwicklung und Erprobung in Verbindung mit einer engen Zusammenarbeit der daran jeweils beteiligten Mitarbeiter hat sich als außerordentlich wertvoll und zeitsparend erwiesen.
Neben diesen beiden Teilprozessen wurde noch die Konstruktion und Erprobung einer Kalibrierhilfe betrieben, die im späteren Betrieb den Aufwand zur Kalibrierung einer Kamera nach Installation oder Reparatur minimieren sollte. Separat davon erfolgte die Konzeption, Realisierung und Erprobung der Kommunikationsschnittstelle zwischen Bildfolgenauswertungsrechner und Steuergerät für die Anzeigetafel.
Abbildung 1 zeigt eine Aufnahme zu Beginn einer Bildfolge, die den Andockvorgang eines mittelgroßen Flugzeuges vom Typ Boeing B757-200 erfaßte, wobei dieser Aufnahme die Projektion des Flugzeugmodelles in der initial geschätzten Lage und Orientierung auf dem Flugvorfeld überlagert worden ist. Die entsprechende Überlagerung desselben Flugzeugmodelles zeigt Abbildung 2 für eine Aufnahme nach dem Anhalten dieses Flugzeuges in der vorgeschriebenen Andockposition. Die für diesen Andockvorgang durch Bildfolgenauswertung geschätzte Trajektorie ist in Abbildung 3, auf die Flugvorfeldebene projiziert, wiedergegeben.
Abb. 1: Aufnahme zu Beginn einer Bildfolge, die den Andockvorgang eines mittelgroßen Flugzeuges vom Typ Boeing B757-200 erfaßt. Man erkennt an dieser Darstellung, daß auch der von einem Flugzeug geworfene Schatten mitmodelliert worden ist und durch den Anpaßprozeß berücksichtigt wird.
Abb. 2: Die entsprechende Überlagerung desselben Flugzeugmodelles für eine Aufnahme nach dem Anhalten dieses Flugzeuges in der vorgeschriebenen Andockposition.
Abb. 3: Die für diesen Andockvorgang durch Bildfolgenauswertung geschätzte Trajektorie nach Projektion auf die Flugvorfeldebene. Neben der Trajektorie sind ausgeählte Bildnummern angegeben, aus denen sich der zeitliche Verlauf der Bugradposition während des Andockvorganges entnehmen läßt. Man beachte, daß die verbleibende laterale Differenz zwischen der tatsächlichen und der Sollposition zum Haltepunkt vergleichbar ist mit der Reifenbreite.
Um die zu bewältigende Problematik zu verdeutlichen, zeigt Abbildung 4 die Modellüberlagerung in der vorgeschriebenen Stopposition für eine kleinere Zubringermaschine und Abbildung 5 entsprechend für eine Boeing 747-200. Sorgfältiges Nachmessen der tatsächlichen Bugradposition bei ausgewählten Andockvorgängen ergab, daß die automatische Bildfolgenauswertung normalerweise zu einem Positionsschätzwert führt, der etwa um die Ausdehnung der Bugradanordnung um die tatsächliche Position streut. Abbildung 6 illustriert einen Andockvorgang bei Dunkelheit und mittlerem Nebel und zeigt, wie wertvoll der Einsatz einer HDRC¨-Kamera unter solchen Bedingungen ist.
Abb. 4: Modellüberlagerung in der vorgeschriebenen Stopposition für eine kleinere Zubringermaschine vom Typ Fokker 100.
Abb. 5: Modellüberlagerung in der vorgeschriebenen Stopposition für eine Boeing B747-200. Man beachte, daß diese Maschine in der endgültigen Andockposition - im Gegensatz zu dem in Abbildung 4 illustrierten Fall - nur noch teilweise sichtbar ist.
Abb. 6: Andockvorgang bei Dunkelheit und mittlerem Nebel. Daraus wird ersichtlich, wie wertvoll der Einsatz einer HDRC®-Kamera unter solchen Bedingungen ist.
Von der ersten Kontaktaufnahme zwischen dem späteren Auftraggeber und dem IITB bis zur Inbetriebnahme des ersten Dutzend einsatzfähiger Systeme durch einen deutschen Flughafen dauerte es knapp zwei Jahre. Unseres Erachtens trugen verschiedene Umstände zu diesem - für ein anwendungsorientierte Forschung erforderndes Vorhaben ungewöhnlich kurzen - Projektverlauf bei. Ausschlaggebend war einerseits der feste Wille des Auftraggebers, das grundsätzlich angestrebte Ziel auch bei unvermeidlichen Rückschlägen nicht aufzugeben. Verbunden damit war die Bereitschaft, die nach gemeinsamer Planung für erforderlich erachteten Mittel zügig bereitzustellen, so daß auf Seiten des Auftragnehmers die Planungssicherheit über die gesamte Projektlaufzeit gewahrt blieb und man sich auf die Lösung der Sachfragen konzentrieren konnte. Die fundierte Absicherung des Projektes auf Ebene der Geschäftsleitung des Auftraggebers verband sich in ungewöhnlich glücklicher Weise mit der immer wieder deutlich werdenden Kompetenz und dem mitreißenden Engagement der projektführenden Mitarbeiter bei Auftraggeber wie Auftragnehmer.
Beigetragen hat sicherlich auch, daß Grundlagen der modellgestützten Bildfolgenauswertung am Institut für Algorithmen und Kognitive Systeme der Fakultät für Informatik an der Universität Karlsruhe (TH) (nach über zehnjährigen Vorarbeiten des Forschungsgruppenleiters an der Universität Hamburg) in der Zeit seit Anfang der Achtziger Jahre in Karlsruhe in Ruhe abgeklärt werden konnten - siehe [1-3]. Damit standen umfangreiche Erfahrungen über die Tragfähigkeit verschiedener methodischer Vorgehensweisen zur Verfügung - auch bei den aus dieser Schule hervorgegangenen Projektmitarbeitern, was die Zusammenarbeit und sogar die Integration neuer Mitarbeiter wesentlich erleichterte. Durch die Grundlagenforschung an der Universität waren Lösungsmöglichkeiten für die in der Anfrage des späteren Auftraggebers vor zwei Jahren formulierten Aufgabenstellung zumindest ansatzweise überschaubar geworden. Der konsequente Einsatz moderner Projektführungsmethoden - siehe dazu z. B. [4] - wurde einerseits durch den engen zeitlichen Rahmen für die Erarbeitung der Lösung praktisch unumgänglich, stellte andererseits für alle beteiligten Mitarbeiter auch eine wertvolle Erfahrung und Weiterbildung während ihrer Tätigkeit dar. Bei der Realisierung der geplanten Geräte- und Programmentwicklungen orientierten wir uns zunehmend am "Vorgehens-Modell (V-Modell)", mit dem andere Abteilungen des IITB bereits - u. a. im Rahmen öffentlicher Aufträge - positive Erfahrungen gesammelt hatten. Dadurch konnte die Basis für ein systematisches Qualitätsmanagement im IITB erweitert werden. Diese Voraussetzung ermöglichten die Konzentration auf eine rasche weitere Klärung offener Fragen durch anwendungsorientierte Forschung am IITB, die nahtlos in die Entwicklung einer einsatzfähigen Problemlösung überging. Unseres Wissens stellt der hier besprochene Anwendungsfall den weltweit ersten kommerziell genutzten Einsatz einer modellgestützten Bildfolgenauswertung dar.
Unser besonderer Dank gilt Herrn Ing. (grad.) R. Mohrdieck, Projektleiter auf Seiten des Auftraggebers DASA (jetzt Honeywell Airport Systems GmbH), für seine profunde Erfahrung und sein unermüdliches Engagement bei der Planung und Realisierung dieses Projektes. Wir danken den Herren Dr.-Ing. H.-A. Kuhr und Dr. R. Zimmermann (Dornier) für Vermittlung der Kontakte zwischen DASA und dem Bereich Kognitive Systeme des Instituts für Algorithmen und Kognitive Systeme der Universität Karlsruhe sowie des IITB. Dr. M. Haag und Dipl.-Inf. (FH) H. Herzog erbrachten wertvolle Beiträge während der Vorlaufphase zur Abklärung des Lastenheftes für den endgültigen Auftrag. Die nachhaltige Unterstützung dieses Projektes während der unvermeidlichen Höhen und Tiefen durch Herrn Dipl.-Ing. H. Christiansen, DASA (jetzt Honeywell Airport Systems GmbH), haben wir ebenso zu schätzen gelernt wie das ermutigende Verständnis der Probleme, die sich bei der Transformation eines wissenschaftlichen Forschungsansatzes in eine technische Lösung unweigerlich einstellen, und seine Absicherung des gemeinsam gesuchten Weges bei der Geschäftsleitung des Auftraggebers, durch Herrn Dr. B. Sträter, DASA.
Es ist insbesondere H.-H. Nagel ein Anliegen, der Deutschen Forschungsgemeinschaft und ihren Gutachtern für das Verständnis sowie die Förderung zahlreicher Grundlagenforschungs-Projekte zu danken, ohne die sich die hier beschriebene Lösung nicht hätte konzipieren und realisieren lassen.