Groot nieuws in de wereld van edge AI-computing: Raspberry Pi heeft een nieuwe AI-Kit geïntroduceerd. Deze Raspberry Pi AI-Kit bestaat uit de M.2 HAT+ en de Hailo-8L AI-versneller. Deze nieuwe combinatie brengt serieuze AI-kracht naar de Raspberry Pi 5, waardoor ontwikkelaars en ingenieurs indrukwekkende inferentieprestaties kunnen benutten.


Waarom aan de rand werken met edge computing?

Edge computing verwerkt gegevens lokaal op apparaten. Het vertrouwt niet op cloudgebaseerde servers. Dit vermindert de latency aanzienlijk. Het zorgt voor snellere reactietijden en verbetert de betrouwbaarheid.Dit is cruciaal voor toepassingen die realtime besluitvorming vereisen. Denk aan robotica, autonome voertuigen en slimme huishoudelijke apparaten. Door gegevens direct aan de rand en ‘on device’ te beheren, kan men de prestaties verbeteren. Daarnaast verminderen de bandbreedtekosten en de latency. Bovendien wordt de gegevensbeveiliging versterkt.

Het probleem is dat hardware aan de rand meestal niet de kracht heeft van de serverfarms in de cloud. De nieuwe Raspberry Pi AI-kit is bedoeld om dit probleem aan te pakken. De integratie van de Hailo-8L met Raspberry Pi’s M.2 HAT+ maakt nu een verschuiving naar efficiëntere en responsievere AI-gedreven oplossingen mogelijk.

Het Raspberry Pi AI Kit bevat de Raspberry Pi M.2 HAT+ met een al gemonteerde Hailo-8L-versnellingskaart.

In een recent gesprek dat ik had met Eben Upton, medeoprichter van Raspberry Pi, benadrukte hij het groeiende belang van edge computing. Hij zei: “Naarmate meer apparaten intelligent worden, neemt de vraag naar lokale AI-verwerking toe. Ons doel met deze nieuwe AI-kit is om high-performance computing toegankelijker te maken voor ontwikkelaars die aan de rand werken.”

“Naarmate meer apparaten intelligent worden, neemt de vraag naar lokale AI-verwerking toe. Ons doel met deze nieuwe AI-kit is om high-performance computing toegankelijker te maken voor ontwikkelaars die aan de rand werken.” - Eben Upton

De Hailo-8L Chip: Een game-changer voor edge AI-computing

Wat maakt de Hailo-8L zo bijzonder? Om te beginnen is deze AI-versneller een krachtpatser. Hij is perfect voor realtime AI-taken. Dit betekent dat je projecten in robotica, computervisie, slimme huishoudelijke apparaten en industriële automatisering kunt aanpakken. En dat zonder dat het apparaat overbelast raakt. De M.2 HAT+ maakt het heel eenvoudig om deze kracht te benutten. Dit door het rekenvermogen van de Raspberry Pi 5 te gebruiken.
 

De Hailo-8L-versnellingskaart komt op een M.2 M-key 2242-voetafdrukprintplaat.

De Hailo-8L AI-versneller is ontworpen om datacenterprestaties te leveren aan edge-apparaten. Hij biedt tot 13 TOPS (Tera-Operations Per Second). Dit maakt het ideaal voor instapproducten die lokale AI-capaciteit vereisen. Wat de Hailo-8L onderscheidt, is de superieure oppervlakte- en energie-efficiëntie. Dit maakt het zeer concurrerend vergeleken met andere oplossingen in zijn categorie. Bovendien biedt het voordelen die veel andere systemen niet hebben.

Het biedt verwerking met lage latency en hoge efficiëntie. Dit aankan complexe pipelines met meerdere realtime streams en gelijktijdige verwerking van verschillende modellen en AI-taken. Deze versneller is ook compatibel met de uitgebreide software suite van Hailo. Dit zorgt voor naadloze upgrades naar hogere AI-capaciteiten in de toekomst.

De Hailo-8L AI-versneller bevat een uitgebreide software suite. Dit omvat Hailo-apparaatstuurprogramma’s, HailoRT en HailoTappas. Deze kunnen eenvoudig geïnstalleerd worden via de apt package manager. Dit zorgt voor een naadloze installatie en werking.

AI-versnellingsondersteuning is volledig geïntegreerd in de camerasoftwarestack van Raspberry Pi. Dit omvat ondersteuning voor libcamera, rpicam-apps en picamera2. Dit maakt geavanceerde beeldverwerking en AI-toepassingen direct mogelijk op de Raspberry Pi 5.

De M.2 HAT+ wordt via een 30 mm lintkabel aangesloten op de PCIe-poort van de Raspberry Pi 5.

Belangrijkste kenmerken en voordelen van de AI-Kit met Hailo-8L AI-versneller:

  • Hoge efficiëntie: De Hailo-8L draait om high-performance AI-verwerking met minimaal stroomverbruik. Dit is cruciaal voor edge-apparaten, waar je prestaties en energie-efficiëntie in balans moet houden.
  • Real-time AI-verwerking: Met zijn 13 TOPS kan de Hailo-8L complexe taken zoals objectdetectie, beeldclassificatie en spraakherkenning in real-time verwerken. Toepassingen kunnen hiermee responsiever en slimmer worden.
  • Naadloze integratie: De kit wordt voorgemonteerd geleverd met de Hailo-8L. Plug hem gewoon in je Raspberry Pi 5, en je bent klaar om te gaan. Geen gedoe.
  • Robuuste softwareondersteuning: Volledig geïntegreerd in de Raspberry Pi OS-omgeving, kun je eenvoudig de softwarepakketten van Hailo installeren via de apt package manager. Dit omvat apparaatstuurprogramma's en neurale netwerkbibliotheken, zodat je direct aan de slag kunt met je AI-projecten.

Deze opstelling combineert de betaalbaarheid en veelzijdigheid van Raspberry Pi met de geavanceerde AI-mogelijkheden van de Hailo-8L. Het resultaat? Je kunt geavanceerde AI-modellen direct aan ‘the edge’ draaien. Hierdoor verminderen vertraging en bandbreedte in vergelijking met cloud-gebaseerde oplossingen.

De Hailo-8L ondersteunt populaire AI-frameworks zoals TensorFlow, TensorFlow Lite, Keras, PyTorch en ONNX. Hij is compatibel met ARM-hostarchitecturen. Dit maakt het ideaal voor het implementeren van geavanceerde AI-modellen op de Raspberry Pi 5. Het opent een geheel nieuw gebied van mogelijkheden voor wat we kunnen bereiken met onze Raspberry Pi-opstellingen.

Upton legde de beslissing om samen te werken met Hailo in ons gesprek als volgt uit: “Wat we indrukwekkend vonden aan Hailo was de hoge prestaties en efficiëntie. De Hailo-8L levert 13 TOPS, aanzienlijk meer dan eerdere oplossingen. Dit, gecombineerd met de uitstekende tools voor modelconversie, maakte het een natuurlijke keuze voor onze edge AI-ambities.”

Ontwikkeling en uitdagingen bij edge AI-computing

Gevraagd of hij voorzag dat de M.2 HAT zou worden gebruikt voor AI-versnellers naast NVMe SSD’s, zei Upton: “Toen we de Raspberry Pi 5 lanceerden, dachten we aanvankelijk dat de meeste toepassingen voor de M.2 HAT aan opslag gerelateerd zouden zijn. We realiseerden ons echter snel dat er aanzienlijke interesse was in AI-versnellers, netwerkkaarten en grafische oplossingen.”

Bij het samenstellen van een geavanceerde combinatie zoals deze zijn onvermijdelijke obstakels te verwachten. Upton hierover: “Een uitdaging die we vlak voor de lancering tegenkwamen, was het optimaliseren van de thermiek. Aanvankelijk hadden we geen thermisch pad tussen de versneller en de basisplaat, maar we voegden deze toe in de uiteindelijke versie om de warmteafvoer te verbeteren.” Ondanks deze obstakels bleek de samenwerking tussen Raspberry Pi en Hailo vruchtbaar. Ze benutten de sterke punten van elk bedrijf om een robuust en efficiënt product te leveren.

Upton noemde ook de moeilijkheid van het toepassen van AI-versnelling vanwege de snel veranderende architecturen van modellen: “Een van de uitdagingen die we momenteel hebben met GenAI is dat het eigenlijk heel moeilijk is om versnelling toe te passen. Dingen moeten zich stabiliseren voordat je een versneller kunt ontwerpen die betekenisvol capabeler is dan een CPU of GPU zonder flexibiliteit op te offeren.”

Inschrijven
Schrijf u in voor tag alert e-mails over Raspberry Pi!

Toepassingen en ideale gebruiksscenario's voor de Raspberry Pi AI-Kit

Upton deelde zijn enthousiasme over de toekomst van AI op het Raspberry Pi-platform: “We gaan enkele geweldige toepassingen zien in industriële robotica en slimme huishoudelijke apparaten. Het potentieel is enorm, en deze AI-kit zal helpen dat potentieel voor onze gebruikers te ontsluiten.” Hij benadrukte ook de populariteit van camera’s als accessoires voor de Raspberry Pi: “Camera’s zijn een ongelooflijk populair accessoire voor Raspberry Pi, en het kunnen toepassen van meer intelligentie op die cameratoepassingen is een grote stap. Deze AI-versneller is perfect voor taken zoals objectdetectie en beeldclassificatie.”

De Hailo-8L is geoptimaliseerd voor visiegerelateerde taken. Hierdoor is het ideaal voor toepassingen zoals bewaking, geautomatiseerde kwaliteitsinspectie in de productie en beeldvorming in de gezondheidszorg. “Een van de uitdagingen met GenAI op dit moment zijn de snel veranderende architecturen van modellen. De Hailo-8L is echter ontworpen om stabielere, visiegerelateerde taken efficiënt af te handelen.”

Het succes van de samenwerking tussen Raspberry Pi en Hailo

Raspberry Pi draait om het toegankelijk en betaalbaar maken van high-performance computing. Hailo daarentegen, is gespecialiseerd in AI-processors die datacenterprestaties naar edge-apparaten brengen. Deze samenwerking benadrukt wat mogelijk is wanneer je baanbrekende hardware-innovatie combineert met AI-versnelling.

Upton reflecteerde ook op de educatieve impact van hun producten: “Ons doel is altijd geweest om programmeerbare hardware in de handen van kinderen te leggen en te zien wat er gebeurt. Het gaat om het koesteren van nieuwsgierigheid en het mogelijk maken van de volgende generatie ingenieurs en ontwikkelaars.”

Voor degenen onder ons die altijd op zoek zijn naar nieuwe grenzen met AI aan de rand, is de nieuwe Raspberry Pi AI-kit een game-changer. Het opent een geheel nieuw domein van mogelijkheden voor wat we kunnen bereiken met onze Raspberry Pi-opstellingen.
 

Conclusie

De Raspberry Pi AI-kit met M.2 HAT+ en de Hailo-8L AI-versneller voor Raspberry Pi 5 vormen samen een krachtige en betaalbare combinatie voor edge AI-computing. Door deze technologieën te integreren, kunnen ontwikkelaars profiteren van hoge prestaties en efficiëntie direct aan de rand van het netwerk. Deze samenwerking tussen Raspberry Pi en Hailo illustreert de potentie van edge computing en biedt een solide basis voor toekomstige innovaties in AI en machine learning. Bovendien maakt de betaalbaarheid van de Raspberry Pi AI-kit het toegankelijker voor een breed scala aan gebruikers, van hobbyisten tot professionele ontwikkelaars.