GLESI: Demonstrator-App - Bilderkennung mittels KI

Wenn wir einkaufen gehen, entscheiden wir meistens direkt im Lebensmittelgeschäft, ob wir regionale, saisonale und umweltfreundliche Produkte kaufen. Und das ist nicht immer leicht, denn nicht jedes Produkt ist verpackt und durch eine Zertifizierung oder ein Siegel gekennzeichnet. Wie also erfahre ich einfach und schnell von möglichst jedem Produkt, ob es nachhaltig und ökologisch empfehlenswert ist? Ein Griff zum Handy, Foto gemacht und schon bekomme ich eine Antwort – so zumindest könnte ein Szenario aussehen.

Nachhaltigkeit ist für Frank Dehnhard eine Herzensangelegenheit. Mit seinem Lübecker Unternehmen GLESI plant er deshalb die Erstellung einer App, die Supermarktkunden in ihrer Kaufentscheidung beraten soll. Dabei sollen dem Nutzer zusätzliche Informationen zu Supermarktprodukten anzeigt werden, die nicht auf der Verpackung oder Regalbeschriftung verzeichnet sind. Dafür müssen die Produkte schnell und zuverlässig identifiziert werden, was bei der Fülle an Supermarktprodukten eine große Herausforderung ist. Ein möglicher Lösungsansatz ist die Nutzung von Künstlicher Intelligenz mittels Bilderkennung.

Im Rahmen des Projektes wurde eine Android-App als Demonstrator entwickelt, in der die mit der Handykamera aufgenommenen Bilder der Supermarktprodukte erkannt werden. Der Nutzer der App hat die Möglichkeit, zwischen den erkannten Objekten auf dem Bild das für ihn relevante Lebensmittel auszuwählen, um alle Informationen zur Nachhaltigkeit angezeigt zu bekommen. Doch was macht man, wenn man weder Trainingsdaten noch eine entsprechende IT-Infrastruktur zur Verfügung hat? KI-Spezialist Philip Bende setzte als Grundlage für die Objekterkennung der unterschiedliche Obst- und Gemüseprodukte auf Google Vision AI. Google stellt Bilderkennungsverfahren als API zur Verfügung, die von Softwareentwicklern genutzt und in eigene Anwendungen eingebunden werden können.

Dabei müssen folgende Aufgaben betrachtet und gelöst werden:

1. Klassifizierung: Ein Bild von einem Produkt wird einer oder mehreren Kategorien zugeordnet, beispielsweise Ost oder Gemüse.
2. Objekterkennung: Hier werden die unterschiedlichen Objekte auf einem Bild „gefunden“ und klassifiziert.

„In unserem konkreten Anwendungsfall wollten wir nicht nur erkennen, was auf dem Bild ist, sondern, auch wo welches Objekt auf dem Bild ist“, so der KI-Experte Philipp Bende. „Die Nutzer fotografieren in der Regel ein Regal mit Produkten und wir müssen sicherstellen, dass die KI alle Objekte erkennt.“

Das "Erkennen" von Objekten kann durch ein neuronales Netz erfolgen. Solch ein neuronales Netz „lernt“ beispielsweise anhand von Trainingsbildern die Gemeinsamkeiten und Unterschiede von Objektklassen, z.B. "Was unterscheidet Bilder von Äpfeln von Bildern mit Birnen?". Das "Training" eines neuronalen Netzes von Null an ist sehr rechenintensiv und erfordert eine Vielzahl von Trainingsbildern von jeder Objektklasse. Alternativ dazu kann man ein bereits vortrainiertes Netz für den eigenen Anwendungsfall anpassen, wodurch deutlich weniger Trainingsdaten und Rechenleistung notwendig sind, oder ein fertig trainiertes Netz "Out of the Box" verwenden. Da für dieses Projekt keine Trainingsdaten und nur geringe Rechenkapazitäten zur Verfügung standen, wurden Google-Vision-AI Services für die Objekterkennung auf den Bildern eingebunden.

Die Services laufen auf Google-Servern. Das heißt, dass die vom Anwender aufgenommenen Bilder hochgeladen werden und entsprechend Antworten zurückkommen müssen - bei hochauflösenden Bildern und einer schlechten Verbindung eine echte Herausforderung. Dementsprechend hat das Team mit Bildern mit einer niedrigen Auflösung gearbeitet, wodurch die Erkennungsgenauigkeit litt.

Dann kommen Sie jederzeit gern auf uns zu.