„AI Kit“: Der Raspberry Pi 5 wird zum KI-PC (2024)

Auch vor den Einplatinencomputern macht der „KI“-Hype nicht halt. Nach dem Radxa Rock 5B erhält der Raspberry Pi ebenfalls eine Möglichkeit, um sich speziell auf „Künstliche Intelligenz“ zu optimieren. Was kann das erste offizielle „KI“ Zubehör und welche möglichen Anwendungsfälle lassen sich abdecken? Dieser Beitrag wirft einen Blick darauf.

Zu CPU und GPU gesellt sich die („KI“) NPU: Warum so viele Prozessoren?

Computer bestehen aus mehreren Prozessoren. Am bekanntesten dürfte die CPU (central processing unit) sein. Dabei handelt es sich um die zentrale Recheneinheit: Sie lädt Daten aus dem Speicher, führt damit Operationen durch und schreibt sie wieder in einen (anderen) Speicher. Dadurch betreibt die CPU primär das Betriebssystem mit allen Anwendungsprogrammen – beispielsweise GNU/Linux oder MS Windows mit einem Browser. Unter allen Prozessoren sind CPUs die wichtigsten und können verschiedenste Aufgaben erledigen.

Das bietet zwar Flexibilität. Wie so oft lassen sich universelle Werkzeuge jedoch nur begrenzt für spezielle Anwendungsfälle optimieren. Daher gibt es bereits seit langem GPUs, die sich auf grafische Berechnungen fokussieren (graphics processing unit). Sie können stark parallelisierte Aufgaben deutlich effizienter ausführen und sind CPUs hierbei deutlich überlegen. Für maschinelles Lernen („KI“) werden sie daher von Anfang an bevorzugt eingesetzt. Allerdings wurden sie nicht gezielt dafür entwickelt und haben Schwächen. Sie eignen sich von den beiden vorhandenen Prozessoren lediglich am besten.

Eine NPU (Neural Processing Unit) hat sich dagegen auf die Anforderungen von maschinellem Lernen spezialisiert. Das sind Berechnungen, die beispielsweise für Inferenzaufgaben eingesetzt werden. Dabei soll die „KI“ ihr „gelerntes“ Wissen auf neue Daten übertragen. Einer meiner Lehrer hat das Transferwissen genannt und in Klausuren großzügig ausgelegt. Durch Optimierungen auf solche Anwendungsfälle können derartige „KI“ Aufgaben schneller sowie effizienter ausgeführt werden. Außerdem entlasten sie die anderen Prozessoren – ähnlich wie beispielsweise die Hardwarebeschleunigung beim Streams von Videos die Last von CPU auf GPU verlagert. Zum einen funktioniert dies meist besser. Zum anderen ist die CPU dafür für andere Aufgaben verfügbar, etwa Hintergrundprogramme. Das ist besonders wichtig, wenn es auf Effizienz ankommt.

NPUs gibt es nicht erst seit ChatGPT

Während ChatGPT sicherlich ein sichtbarer Meilenstein war und dadurch die breite Masse auf „KI“ aufmerksam gemacht hat, ist das Thema an sich alles andere als neu. PyTorch, eine der verbreitetsten Bibliotheken für maschinelles Lernen, erschien bereits 2016. Der Gedanke von KI zusammen mit kleineren Fortschritten ist noch viel älter. Man könnte meinen, dass NPUs vor ein paar Monaten erfunden wurden – als Reaktion auf ChatGPT. Auch das ist jedoch falsch: 2017 brachte Huawei das erste Smartphone mit im SoC integriertem NPU auf den Markt. Apple folgte im gleichen Jahr mit dem iPhone 8 und iPhone X.¹ Qualcom stellte 2018 mit dem Snapdragon 855 einen vergleichbaren SoC vor.² Bereits seit Jahren hat die große Mehrheit von euch ein „KI Smartphone“ in der Hosentasche – wahrscheinlich oft, ohne sich dem bewusst zu sein.

Neu ist lediglich, dass seit ChatGPT ein großer Hype daraus geworden ist. Und NPUs langsam aber sicher auch ihren Weg in PCs/Notebooks finden. Zur Verwirrung tragen die PR-Abteilungen der Konzerne bei: Um ausgefallener zu klingen, versehen sie ihre NPUs mit eigenen Bezeichnungen. Apple nennt sie „Neural Engine“. Google hat ihre NPUs noch spezifischer für TensorFlow entwickelt und vermarktet sie daher als Tensor TPU (Processing Unit).³Neu ist lediglich, dass seit ChatGPT ein großer Hype daraus geworden ist. Und NPUs langsam aber sicher auch ihren Weg in PCs/Notebooks finden. Zur Verwirrung tragen die PR-Abteilungen der Konzerne bei: Um ausgefallener zu klingen, versehen sie ihre NPUs mit eigenen Bezeichnungen. Apple nennt sie „Neural Engine“. Google hat ihre NPUs noch spezifischer für TensorFlow entwickelt und vermarktet sie daher als Tensor TPU (Processing Unit).

Was kann man damit in der Praxis anfangen?

Das Verbessern oder Verändern von Bildern bzw. Videos ist ein recht alltägliches Szenario. Hierbei kann es sich um die Kamera-App des Handys handeln, die das Bild in Echtzeit versucht zu verbessern. Oder die Entfernung/Ersetzung des Hintergrundes.⁴ In einer Videokonferenz entsteht dabei besonders viel Last, da das Video dauerhaft und in Echtzeit analysiert sowie verändert wird. Ist die Hardware dafür zu langsam, würde es zu störenden Rucklern kommen. Außerdem möchte natürlich niemand, dass sich der Akku des Handys oder Notebooks bei so einer Videokonferenz in Rekordzeit leert.

Einplatinencomputer wie der Raspberry Pi können davon profitieren, wenn sie für solche Aufgaben als Desktop-PC zum Einsatz kommen. Denkbar sind zudem Projekte, bei denen etwa Kameras in Echtzeit analysiert werden sollen: Bewegt sich im Garten nur die zu Besuch gekommene Katze des Nachbars? Oder ein Mensch, der möglicherweise etwas im Schilde führt? In letzterem Falle könnte der Bewohner benachrichtigt werden – ohne seine Zeit durch Fehlalarme von Tieren zu verschwenden.

Das neue „AI Kit“ für den Raspberry Pi 5

Der Raspberry Pi setzt seit jeher auf ältere Smartphone-Prozessoren. Es war daher abzusehen, dass NPUs irgendwann ihren Weg hier hin finden werden. Dank der schnellen PCIe-Schnittstelle des Raspberry Pi 5 muss dafür allerdings nicht auf das Nachfolgemodell gewartet werden: Zusammen mit Halio wurde das „AI Kit“ veröffentlicht. Damit kann eine NPU per HAT nachgerüstet werden. Sie ist nicht in den HAT integriert, sondern der HAT liefert dafür nur den nötigen Anschluss sowie Montagemöglichkeit. Das Hailo-8L AI wird dort rein gesteckt, es entspricht dem M.2 2242 Formatfaktor.

Er soll eine Leistung von 13 TOPS (Tera-Operationen pro Sekunde) liefern, bei einer maximalen Leistungsaufnahme von 2,3 Watt. Deutlich weniger, als etwa Coral von Google – dort werden nur 8 TOPS bei einer Leistungsaufnahme von 4 Watt geboten.⁵ Das offizielle „AI Kit“ ist etwas schneller, als die aktuelle NPU von Intel und Apple (beide 11 TOPS).⁶ Ein alleiniger Vergleich der NPUs ist allerdings schwierig, weil beide zusätzlich eine stärkere CPU & GPU besitzen. Darauf kann Alternativ zurückgegriffen werden – insbesondere, nachdem der Vorsprung mit 2 TOPS relativ überschaubar ist. Es liefert allerdings den Eindruck, dass sich dieses Modul auf dem Stand der Technik befindet. Das ist erwähnenswert, weil zumindest der Raspberry Pi selbst aus Kostengründen auf SoCs zurück greift, die bereits mehrere Jahre auf dem Markt und dementsprechend relativ langsam sind.

Praktisch möglich ist damit etwa die Erkennung von Gesichtern, wie folgendes Beispiel aus der Dokumentation⁷ zeigt:

Eben so kann mithilfe von maschinellem Lernen in Echtzeit analysiert werden, welche Objekte auf dem Bild der Kamera zu sehen sind. In einem kurzen Video wird das anhand von fahrenden Autos auf einer Autobahn demonstriert.⁸ Weitere Beispiele liefert die Dokumentation.⁹

Betont wird, dass dies nur mögliche Beispiele sind. Man kann damit auch andere ML-Aufgaben ausführen – etwa die Analyse von bereits vorhandenem Videomaterial.

Die Stärken des Raspberry Pi Ökosystems

Auch hier dürfte der größte Vorteil an der Software sowie dem zuverlässigen Ökosystem des Raspberry Pi liegen. Die Dokumentation ist bereits verfügbar und beschreibt diverse Anwendungsfälle mit Beispielen.¹⁰ Die Schritt-für-Schritt-Anleitung ist zwar in Englisch gehalten. Sie hat das Potenzial, insbesondere Einsteiger den Weg in die Welt von ML zu ebnen, denen der händische Weg zu komplex ist. Sämtliche Software befindet sich in einem einzigen Paket, welches zudem in den offiziellen Raspberry Pi OS Paketquellen enthalten ist.¹¹

Auch hier dürfte der größte Vorteil an der Software sowie dem zuverlässigen Ökosystem des Raspberry Pi liegen. Die Dokumentation ist bereits verfügbar und beschreibt diverse Anwendungsfälle mit Beispielen.¹⁰ Die Schritt-für-Schritt-Anleitung ist zwar in Englisch gehalten. Sie hat das Potenzial, insbesondere Einsteiger den Weg in die Welt von ML zu ebnen, denen der händische Weg zu komplex ist. Sämtliche Software befindet sich in einem einzigen Paket, welches zudem in den offiziellen Raspberry Pi OS Paketquellen enthalten ist. Bereits seit längerem besitzt der Raspberry Pi ein offizielles Kamera-Modul, das unterstützt wird. Auch dazu existiert eine umfangreiche Dokumentation.¹³

Man kann sich also komplett aus einer Hand eindecken, ohne sich Gedanken über die Kompatibilität zu machen. Selbst die Modelle muss man sich nicht zwingend selbst suchen: Im „Model Zoo“ stellt Halio einige Vortrainierte bereit, beispielsweise zur Klassifizierung oder Objekterkennung.¹⁴ Interessierte können das „AI Kit“ für 70 US Dollar erwerben.¹⁵ Dies entspricht etwa 80 Euro.¹⁶

Fazit: „KI“ ist beim Raspberry Pi angekommen

Bisher hat sich der Raspberry Pi aus dem aktuellen Hype-Thema offiziell weitgehendst heraus gehalten. Das ändert sich nun: Das erste Zubehör rüstet in Kooperation mit Halio eine NPU nach, sodass hierfür nicht auf den Raspberry Pi 6 gewartet werden muss. Und das scheint erst der Anfang zu sein. Noch 2024 soll eine neue Kamera mit integriertem KI-Beschleuniger erscheinen.¹⁷ Dadurch ließe sich mindestens ein Teil der Rechenarbeit darauf verlagern.

Quellen

1. https://www.mediamarkt.de/de/content/it-informatik/ki/npu-ratgeber ↩︎
2. https://www.computerbase.de/2018-12/qualcomm-snapdragon-855-features/2/ ↩︎
3. https://coral.ai/products/m2-accelerator-dual-edgetpu/ ↩︎
4. https://support.microsoft.com/de-de/office/%C3%A4ndern-ihres-hintergrunds-in-microsoft-teams-besprechungen-f77a2381-443a-499d-825e-509a140f4780 ↩︎
5. https://www.golem.de/news/raspberry-pi-ai-kit-raspberry-pi-5-bekommt-offizielle-ki-erweiterung-2406-185737.html ↩︎
6. https://www.heise.de/news/Raspberry-Pi-5-als-KI-Computer-fuer-Videobildanalyse-und-mehr-9748577.html?view= ↩︎
7. https://www.raspberrypi.com/documentation/computers/camera_software.html#face_detect_cv-stage ↩︎
8. https://www.youtube.com/watch?v=-huMW13Fp7U ↩︎
9. https://github.com/hailo-ai/hailo-rpi5-examples/blob/main/README.md#configure-environment ↩︎
10. https://www.raspberrypi.com/documentation/accessories/ai-kit.html ↩︎
11. https://github.com/hailo-ai/hailo-rpi5-examples/blob/main/doc/install-raspberry-pi5.md ↩︎
12. https://www.raspberrypi.com/documentation/accessories/ai-kit.html ↩︎
13. https://www.raspberrypi.com/documentation/computers/camera_software.html ↩︎
14. https://github.com/hailo-ai/hailo_model_zoo ↩︎
15. https://www.raspberrypi.com/news/raspberry-pi-ai-kit-available-now-at-70/ ↩︎
16. https://www.heise.de/news/Raspberry-Pi-5-als-KI-Computer-fuer-Videobildanalyse-und-mehr-9748577.html ↩︎
17. https://www.heise.de/news/Raspberry-Pi-15-6-Zoll-Display-und-KI-Kamera-geplant-9680097.html ↩︎