Modellen in serie: AI-prestaties optimaliseren op embedded apparaten

In ons interview met Sergi Mansilla van Edge Impulse op embedded world 2025 kregen we een update over machine learning aan de rand. Zoals we op elke beurs hebben gezien, wordt de technologie snel volwassen. Door modellen in serie te schakelen voeren ML-algoritmen in de eerste fase een pre-filtering uit voordat modellen worden uitgevoerd die meer stroom verbruiken. We bespraken ook de voordelen van de overname door Qualcomm voor de Edge Impulse community.

Er gebeurt veel in de wereld van edge AI, waarbij ingebedde processors krachtiger worden en cloudalgoritmen worden aangepast voor uitvoering op deze processors. In een gesprek met Sergi Mansilla van Edge Impulse is het duidelijk dat de industrie deze verandering aangrijpt ten gunste van embedded systemen.

Door cascadering van machine-learningmodellen kunnen algoritmen met een laag stroomverbruik een voorlopige beoordeling van gegevens maken. Als er kernattributen aanwezig zijn, kan een tweede algoritme, zoals een groot taalmodel, aanvullende, meer energievretende verwerking uitvoeren. VLM's, of vision taalmodellen, vinden steeds vaker hun weg naar edge systemen, waardoor natuurlijke taalalgoritmen objecten kunnen detecteren of een scène kunnen beschrijven.

Tijdens het interview kwamen ook de voordelen van Qualcomm's overname van Edge Impulse voor de community en de toegang tot nieuwe hardware die het ontwikkelaars biedt aan bod.