Zum Hauptinhalt springen

Inferenz

2025


LLMs auf dem Smartphone inferieren

Vor einigen Tagen habe ich PocketPal auf meinem Smartphone installiert – einen datenschutzfreundlichen KI-Assistenten für die Hosentasche. Die App ermöglicht es, kleine Sprachmodelle direkt auf dem Smartphone auszuführen. Alles bloß Spielerei oder ein erster Schritt in eine neue Ära der KI-Nutzung, die Privatsphäre und Offline-Funktionalität in den Vordergrund stellt?
Mastodon