Sommersemester 2027 – befristet auf 3–6 Monate

Unsere 3D-Kameras der Visionary-Familie werden über GigE Vision/GenICam an den Rechner der Anwender angebunden. Kunden integrieren die Kameras mithilfe unseres SDKs in C/C++ und Python. Der Weg von der Inbetriebnahme bis zum ersten Bild und der Auswahl geeigneter Parameter ist für viele Kunden jedoch aufwendig.

Wir haben einen MCP-Server (Model Context Protocol) entwickelt, über den sich die Kameras mithilfe von KI-Assistenten wie GitHub Copilot in natürlicher Sprache bedienen lassen. Dazu gehören die Gerätesuche und Verbindung, das Setzen von Parametern, die Aufnahme von Bildern und Punktwolken sowie das Auslesen von Diagnosedaten. Ein integrierter Simulator ermöglicht die Nutzung des MCP-Servers auch ohne reale Kamera. Der MCP-Server soll als Open-Source-Lösung für unsere Kunden veröffentlicht werden.

Doch in welchen Situationen hilft diese Art der Interaktion tatsächlich, und wo liegen ihre Grenzen? Im Rahmen dieser Arbeit untersuchen Sie den Nutzen verschiedener KI-gestützter Ansätze für typische Kundenanwendungen und leiten daraus konkrete Empfehlungen ab.

IHRE AUFGABEN:

• Sie arbeiten sich in GigE Vision/GenICam, unser SDK und das Model Context Protocol ein.
• Sie entwickeln einen reproduzierbaren Benchmark mit typischen Integrationsaufgaben, beispielsweise:

  • Kameras in Betrieb nehmen

  • Netzwerkprobleme beheben

  • Geeignete Parameter für eine Messaufgabe ermitteln

  • Punktwolken aufnehmen

  • Eigene Anwendungen entwickeln

• Sie führen den Benchmark sowohl im Simulator als auch mit realen Kameras durch.
• Sie vergleichen verschiedene Arbeitsweisen systematisch:

  • Klassische Entwicklung mit API und Dokumentation

  • KI-Assistent ohne zusätzliche Werkzeuge

  • KI-Assistent mit hinterlegtem Domänenwissen (Skill)

  • KI-Assistent mit Gerätezugriff über MCP

  • Kombination aus Skill und MCP

• Dabei bewerten Sie beispielsweise Erfolgsquote, Zeit bis zum ersten Bild, Anzahl der Iterationen, fehlerhafte oder halluzinierte Parameter, Kosten und Qualität des generierten Codes.
• Optional führen Sie eine kleine Nutzerstudie mit Entwicklerinnen und Entwicklern durch, die typische Kundensituationen bearbeiten.
• Sie entwickeln den MCP-Server auf Basis Ihrer Ergebnisse weiter. Mögliche Ansätze sind:
  • Überführung der Exploration in produktiven Code durch den Export einer Sitzung als lauffähiges SDK-Programm
  • Übertragung des Ansatzes auf weitere GigE-Vision-Geräte anhand ihrer GenICam-Beschreibungen
• Sie analysieren die Möglichkeiten und Anforderungen einer Veröffentlichung des SDKs auf GitHub. Dabei betrachten Sie den Nutzen für Kunden und SICK, vergleichen Lösungen anderer Hersteller und bewerten Aspekte wie Distribution, Versionierung und Sicherheit, beispielsweise im Hinblick auf Prompt Injection und Berechtigungen:
• Sie dokumentieren und präsentieren Ihre Ergebnisse und leiten daraus konkrete Handlungsempfehlungen ab.

IHR PROFIL:

• Studium der Informatik, Technischen Informatik, Elektrotechnik oder eines vergleichbaren Fachs
• Sehr gute Python-Kenntnisse; Kenntnisse in C/C++ von Vorteil
• Interesse an großen Sprachmodellen (LLMs) und KI-Agenten
• Erfahrung im Design empirischer Experimente von Vorteil
• Grundkenntnisse in Netzwerktechnik; Kenntnisse in Bildverarbeitung oder 3D-Datenverarbeitung von Vorteil
• Selbstständige und strukturierte Arbeitsweise
• Gute Deutsch- oder Englischkenntnisse; die Arbeit kann auf Englisch verfasst werden