Lokale AI‑Verarbeitung direkt auf dem Gerät: Was steckt hinter der Technologie ​​On-Device-AI?

Künstliche Intelligenz ist in Unternehmen längst fester Bestandteil des Arbeitsalltags. Von Chatbots und virtuellen Assistenten bis hin zu automatisierten Analysen – AI wird heute in der Praxis vor allem zur Steigerung der Produktivität eingesetzt. Mit On‑Device‑AI kündigt sich eine neue technologische Entwicklung an: AI‑Modelle laufen direkt auf dem Gerät statt in der Cloud.

Das verändert nicht nur technische Prozesse, sondern auch, wie Unternehmen Datenschutz, Energieeffizienz und mobile Arbeit gestalten. On‑Device‑AI kann beispielsweise neue Möglichkeiten bieten, wo klassische Cloud‑Modelle an ihre Grenzen stoßen – etwa bei der Verarbeitung sensibler Daten. Denn: Die lokale Berechnung auf dem Endgerät sorgt unter anderem dafür, dass Informationen auf dem Smartphone, Tablet oder Laptop bleiben. Dies reduziert Risiken bei der Datenübertragung und verkürzt Reaktionszeiten.

Dass dieser Trend sich fest etablieren könnte, spiegelt sich auch auf dem Markt wider: Unternehmen wie Arm Holding weiten ihr AI-Lizenzierungsprogramm aus, um ihren Marktanteil im Bereich On-Device-AI zu stärken. Auch andere Unternehmen sind Teil des Trends und zeigen, wie sich diese Technologie bereits heute praktisch einsetzen lässt.

Ein Trend mit nachhaltiger Wirkung?

Ein Beispiel für ein Unternehmen, das auf On Device AI setzt, ist Google. Wie t3n berichtet, führt das On-Device-AI-Modell „Gemini Nano“ generative AI‑Funktionen direkt auf Android‑Smartphones aus –​​ ohne zwingende Cloud-Anbindung für die Kernverarbeitung. Mit der Pixel 10 Serie zeigt Google, wohin die Reise gehen kann: Mit der Kombination aus Android, dem Tensor G5‑Chip und dem Titan M2‑Sicherheitschip werden Sprache, Text und Bilder lokal verarbeitet. Das Ergebnis sind laut Hersteller schnelle, kontextsensitive Reaktionen bei voller Datenhoheit.

Die Merkmale von On-Device-AI im Vergleich zu cloud-basierten Technologien

• Datenschutz: Da die Daten direkt auf dem Gerät bleiben und verarbeitet werden, müssen sie nicht an externe Server oder Clouds übertragen werden. Das reduziert Angriffsflächen, minimiert das Risiko von Datenmissbrauch oder -verlust und bewahrt die Privatsphäre der Nutzer. Sensible Informationen wie Fotos, Sprachaufnahmen oder Gesundheitsdaten bleiben lokal, was den Schutz und die Kontrolle der Daten erheblich erhöht.

• Geschwindigkeit: On-Device-AI ermöglicht eine sofortige, lokale Verarbeitung von Informationen. So entstehen keine Verzögerungen durch Datenübertragung ins Internet, was eine Reaktion nahezu in Echtzeit und folglich eine beschleunigte Kommunikation sowie erhöhte Effizienz ermöglicht. Anwendungen wie Sprachassistenten, Gesichtserkennung oder Kameraautomatik reagieren dadurch zügiger und flüssiger, was auch zu effizienteren Serviceprozessen führen kann.

• Energieverbrauch: Moderne Geräte verwenden spezialisierte Hardware wie neuronale Verarbeitungseinheiten (NPUs), die AI-Berechnungen effizient ausführen. Dadurch wird der Energieverbrauch niedrig gehalten, was insbesondere bei mobilen Geräten die Batterielaufzeit verlängert und den ökologischen Fußabdruck reduziert. Zudem sorgt die Unabhängigkeit zur Cloud für einen geringeren Energieverbrauch.

• Leistung: Bei klar umrissenen Aufgaben (z. B. Kamera-Features, Offline-Transkription) können On-Device-Modelle mit einer hohen Performance punkten. Zu berücksichtigen ist allerdings, dass die Modelle aus Effizienzgründen kleiner und damit weniger leistungsfähig als große Cloud-Modelle (z. B. Gemini Nano vs. Gemini Ultra) sind. Für sehr komplexe Analysen, umfangreiche Wissensabfragen oder lange Kontextfenster bleibt die Cloud deshalb im Vorteil. Ein hybrider Ansatz kombiniert beides – je nach Use Case.

• Hardware: Leistungsfähige On-Device-AI setzt spezialisierte Beschleuniger wie NPUs ein – diese fehlen häufig in älteren oder günstigeren Geräten. Dadurch können eine Reihe unterschiedlicher AI-Funktionen lokal ausgeführt werden. Laut Google gilt hier beispielsweise die Google-Pixel-Reihe mit stark integrierter NPU-Unterstützung als Vorreiter. Updates: Lokale AI-Modelle werden über App- oder Systemupdates verteilt – sodass sich die Updates besser kontrollieren lassen. Jedoch entsteht dadurch auch ein höherer Pflegeaufwand als zentral betreute Cloud-Modelle. Pixel liefert regelmäßige Aktualisierungen über „Pixel Drops“ und „Gemini Drops“.

Nach Angaben von Google erfüllt Gemini Nano als „AI-Motor“ gemeinsam mit der Android Plattform zentrale Unternehmensanforderungen an Transparenz, Sicherheit und Energieeffizienz. Die Technologie folgt definierten Governance‑Prinzipien, so der Hersteller weiter, die nachvollziehbare Entscheidungen fördern und ressourcenschonendes Arbeiten unterstützen sollen.

Die Technologie in der praktischen Unternehmensanwendung

Mobile Dokumentationen anlegen, Meetings zusammenfassen oder Übersetzungen in Echtzeit anfertigen: Es gibt verschiedene Anwendungsbeispiele im beruflichen Alltag für On-Device-AI. Mitarbeiter, die beispielsweise auf Dienstreise sind und ein Taxi nehmen, können ihr Smartphone und eine AI-unterstütze Dolmetscher-App nutzen, um mit dem Fahrer zu sprechen und so zum gewünschten Ort zu gelangen. Die App kann in Echtzeit übersetzen und mittels Künstlicher Intelligenz das Gesagte beispielsweise vom Deutschen in die gewünschte Sprache übersetzen – ohne Internetverbindung. Die AI ist lokal auf dem Gerät installiert und verfügt dort über alle notwendigen Daten. Solche Szenarien lassen sich auf den Pixel Geräten mit Gemini Nano realisieren.

Ein anderes Beispiel für On-Device-AI ist die Funktion​​ „Magic Cue“ auf den Pixel-10-Geräten* – ei​​n smarter Assistent, der kontextbezogen relevante Informationen wie Terminvorschläge aus Kalendern oder passende Informationen aus anderen Quellen ​​bereitstellt. So können flüssige, produktive Arbeitsabläufe entstehen, bei denen vertrauliche Daten das Unternehmen nicht verlassen. Der Dienst kann zudem etwa beim Beantworten von Textnachrichten unterstützen: Fragt ein Kontakt in einer Nachricht nach einer bestimmten Information, schlägt „Magic Cue“ diese als Antwort ​​vor.

So arbeitet die Hardware des G5 Chip mit der neuesten Version von Gemini Nano, dem AI-Modell, laut Hersteller optimal zusammen. Das Ergebnis seien schnelle Reaktionen und mehr Datenschutz. Magic Cue lässt sich jederzeit ein- und ausschalten und die Zugriffsrechte für Apps können individuell gesteuert werden.

Ausblick: Zukunftsfähige Mobilität mit CANCOM

On‑Device‑AI steht noch am Anfang. Der aktuelle Trend zeigt, dass die Technologie zunehmend ein Bestandteil mobiler Arbeit sein wird. Es zeichnet sich jedoch auch ab, dass die Zukunft weder zwingend nur Cloud noch nur On-Device sein wird, sondern hybrid. CANCOM unterstützt gemeinsam mit Google Unternehmen bei der Einführung von Google Pixel – von der sicheren Verwaltung über die Integration in bestehende IT-Landschaften bis hin zur praktischen Anwendung im Arbeitsalltag.

Weitere Informationen rund um Google Pixel und den Services von CANCOM erfahren Sie auf unserer Themenseite.

 

* Noch nicht in Deutschland verfügbar