Wie sicher sind Roboter?

Ganz einfach gesagt: technische Geräte müssen so designed sein, dass von Ihnen kein Schaden ausgehen kann. Konkreter geht es hier um die Sicherheit, die wichtig wird, wenn wir teil-automatisierte, automatisierte oder autonome Roboter bzw. Fahrzeuge einsetzen, also wenn sie uns Arbeit abnehmen. Es geht um mobile Gefährten, die selbstbestimmt etwas tun. Wenn wir es z. B. auf unseren Ernteroboter beziehen, geht es darum, dass man die Ernte von Erdbeeren oder von anderen Früchten sicher gestaltet.

Nein, sie betrifft prinzipiell jedes technische Produkt. Auch nicht-automatisierte oder gar autonome Systeme. Die Fragen sind also nicht neu. Es ist ein Thema, das so alt ist wie die Technik. Die Fragen stellten sich, z.B. schon die Pioniere im Bereich der Raketenwissenschaft. Damals hat man angefangen in Richtung Redundanz und Ausfallsicherheit zu denken. Die Frage stellt sich also bei Weitem nicht erst bei der Verwendung von KI.

Die Herausforderung ist immer, Systeme so zu designen, dass keine Gefahr von ihnen ausgeht. Speziell im automatisierten Betrieb dieser Systeme. Bleiben wir als Beispiel bei unserem Pflückroboter: Er muss so sicher sein, dass er nicht einen Finger eines Arbeiters oder Besuchers einer Plantage mit der Schere abschneidet, anstatt der Erdbeere. Dabei spielt es keine Rolle, ob dieses Fehlverhalten wegen eines Komponenten-Ausfalls, oder einer fehlerhaften Funktion (z.B. Erkennung der Beere) auftritt.

Egal, was ein Roboter tut, ob er mit seinem Arm etwas greift, einsortiert oder schneidet – das Ganze ist mit Kräften und mit spitzen Gegenständen verbunden, weswegen Gefahr von ihm bzw. seiner Funktion ausgeht. Und diese Gefahr muss gemanagt und in Schach gehalten werden.

Im Grunde all diese Punkte. Wir müssen für jeden Punkt Sicherheitsmaßnahmen einführen, sodass insgesamt ein gewisses Sicherheitslevel erreicht wird. Ein System gehört gesamtheitlich betrachtet, um eine Abschätzung machen zu können.

Im Fall des IAV Pflückroboters müssen wir beachten, wie er mechanisch konzipiert ist, damit wir z. B. konstruktiv die Länge oder Streckung der Arme limitieren können, sodass der Roboter nicht so weit ausschlagen kann, dass er einen Menschen treffen könnte.

Was die Umgebung betrifft, ließe sich ein Käfig drumherum bauen oder am Gerät selbst ein Notknopf verbauen, der gezogen werden kann, wenn der Roboter in die falsche Richtung läuft und, um etwas überspitzt ein drastisches Bild zu nehmen, auf eine offene Fußgängerzone zurollt.

Hinsichtlich Code können wir Software so designen, dass sie sich selbst überwacht, z.B. mit mehrfach redundanten Software-Komponenten, die leicht unterschiedlich entwickelt sind, nicht dieselben Fehler machen würden, und sich untereinander „abgleichen“. Damit können wir mehr Sicherheit gewährleisten.

In bestimmten Szenarien operieren diese Systeme an der Seite von Menschen. Das ist auch möglich, wenn es die Sicherheit zulässt. Grundsätzlich muss man sich anfangs überlegen, wie Technik, Software und System beschaffen sind. Dann kann ich entscheiden, was zu tun ist. Kann ich ihn gefahrlos losschicken und in Kauf nehmen, dass mein Arbeiter parallel herumlaufen oder muss ich den Raum um den Roboter sicher absperren?

In der Fabrikation wird z. B. beim Karosseriebau oft ein Käfig um einen Roboter gebaut, der Teile montiert.

Mobile Roboter bräuchten einen viel größeren Käfig. Das könnte ein ganzes Lager oder ein ganzes Gewächshaus, das abgesperrt ist. Noch sicherer wäre dieser abgesperrte Raum, wenn ich einen Automatismus einbaue, der den Strom abstellt, wenn die Tür aufgeht.

Prinzipiell ja, Roboter lassen sich technisch so aufrüsten, dass sie Menschen oder auch andere Gegenstände, die sie beschädigen könnten, erkennen. Aber die Ausstattung des Roboters mit dieser Fähigkeit ist auch immer eine Frage des Geldes. Das geht z.B. mit Kameras, Radar, Lidar oder Wärmesensoren. Letztere würden uns dann z.B. als ein Objekt mit 37,8 Grad, also als Mensch erkennen.

Es kommt immer darauf an, worauf ein Roboter entwickelt ist. Wenn er Hindernisse nicht erkennen kann (z.B., weil er nicht mit entsprechender Sensorik ausgestattet ist), fährt er sie um. Dann entsteht ein Sachschaden. Das wird eher akzeptiert, als wenn ein Roboter in eine Gruppe Menschen fahren würde. Das wird ganz anders bewertet.

Es klingt zynisch, aber letztlich ist es immer ein Abwägen nach Wahrscheinlichkeiten. Und es ist eine Frage der gesellschaftlichen Akzeptanz. Pro 10⁹ Flugstunden darf ein Flugzeug abstürzen. Auch wenn das abends in den Nachrichten kommt, würden viele von uns trotzdem am nächsten Tag in den Flieger steigen, da es eben sehr selten passiert und diese Häufigkeit bei den Menschen akzeptiert wird.

Es gibt Normen für die Produktsicherheit und Normen für die Robotik. Im Grunde steht da keine eindeutige Handlungsanweisung drin, es ist immer eine Abwägung und Interpretation, wie man damit umgeht. Normen sind so angelegt, dass sie eben nicht für jeden konkreten Roboter und jeden Fall ein Kochrezept liefern. Sie sind sehr abstrakt, gelten aber für alles. Die Detail-Interpretation und Umsetzung liegen dann in der Regel beim entwickelnden/einsetzenden Betrieb und den zulassenden Behörden. Ein Produkt muss sicher sein, Punkt.

Das ist eine Frage der Konstellation. Da ist die Norm nicht spezifisch. Es geht meist darum, wer anwendet, wer den Auftrag hat, zu schulen, wer die Sicherheitskonzepte entwickelt und umsetzt und wer den Betrieb überwacht.

Wenn der Hersteller empfiehlt, das System einzuzäunen und Warnschilder aufzustellen, wird ein höheres Gefährdungsrisiko durch das Gerät selbst akzeptiert, weil ein gefährliches Verhalten des Geräts weniger überraschend ist als ohne Zaun.

In komplizierten Fällen entscheiden am Ende Gerichte, wer die Schuld im Schadensfall trägt.

In unserem Kulturumfeld wird die Produktsicherheit sehr großgeschrieben. Sie hat, gerade in der technischen Entwicklung, einen hohen Stellenwert. Es gibt detaillierte und strenge Regelungen, Überwachungen und Umsetzungen von Sicherheitsmaßnahmen. Bei Zügen wird z. B. sehr auf Sicherheit geachtet, sodass sehr selten etwas passiert. Der Unfall bei Enschede war eine sehr seltene Ausnahme.

Hier passiert ebenfalls sehr selten etwas Sicherheitskritisches. Zumindest, wenn sich alle involvierten Teilnehmer an die Vorgaben halten. In vielen Fällen ist auch nicht die Technik das Problem, sondern sehr häufig auch einfach menschliches Versagen zurückzuführen.

Hochsensibel. Wir überlegen uns ganz genau, welche Norm gültig ist, welches technische Sicherheitsfeature wir einbringen müssen usw.

Neben Überlegungen bzgl. der zu entwickelnden Technik, überlegen wir uns für Produkte auch die darüber hinaus nötigen Nutzungs-Vorschriften und Sensibilisierungen bzw. Schulungen für Anwender.

Grundsätzlich meine ich es aber völlig ernst, wenn ich sage: Die Sicherheit muss immer erfüllt sein, selbst wenn die Flexibilität eingeschränkt wird oder der Business Case dadurch nicht realisierbar ist.

Es gibt Vorschriften, mit welchen Werkzeugen, Sprachen und Vorgehensweisen entwickelt wird. Redundanz und Testen sind dabei enorm wichtig.

Ganz klares Ja! Auch bei Innovationen müssen Normen berücksichtigt werden. Oft sind sie sogar die Keimzelle für neue Ideen, da sie teilweise dazu zwingen, kreativ zu sein. Eine neue Lösung zu finden. Dabei arbeiten erst einmal mit einem Prototyp in einer abgesicherten oder virtuellen Umgebung. Dann sehen wir schnell, was sich umsetzen lässt und was nicht, was sich u.U. gefährlich verhält, und wo weitere Analysen und Maßnahmen nötig sind, um am Ende ein sicheres, funktionsfähiges Produkt zu entwickeln.

Kontaktieren Sie unseren Experten, wenn Sie mehr über Produktsicherheit erfahren möchten:

Dr.-Ing. Alexander Joos
Senior Vice President (SVP) – Digital Solutions Powertrain, TD-X | Future Powertrain

alexander.joos@iav.de
linkedin.com/in/dr-alexander-joos-91b64712