Wat is tinyML?

Een subcategorie van kunstmatige intelligentie, machine learning (ML) heeft toepassingen in een breed scala van gebieden, waaronder atmosferische wetenschap en computer vision. Zoals Matthew Stewart, promovendus bij Harvard, uitlegt, is tinyML een opkomende discipline voor het ontwikkelen van "snelle en energiezuinige implementaties van algoritmen voor machine learning die kunnen worden toegepast op resource-constrained microcontrollers".

Tiny Machine Learning in Science

C. J. Abate: Laten we beginnen met je achtergrond. Wanneer ben je voor het eerst geïnteresseerd geraakt in machine learning? Ben je op dit gebied terechtgekomen vanwege een achtergrond in programmeren of hardware ontwikkeling?

Matthew Stewart: Voor mijn bachelor diploma heb ik werktuigbouwkunde gestudeerd, dit gaf me wat ervaring in programmeren en mechatronica. Ik maakte echter pas kennis met machine learning toen ik aan de Harvard University begon. Mijn interesse in machine learning werd gewekt door het volgen van de introductiecursus voor datawetenschappen aan Harvard tijdens het eerste jaar van mijn doctoraatswerk, toen ik het enorme potentieel van machine learning inzag, zowel in het algemeen als specifiek voor atmosferisch onderzoek.

Abate: Wat leidde je naar de Harvard Universiteit?

Stewart: Nou, het voor de hand liggende antwoord is dat Harvard een van de top onderzoeksinstellingen in de wereld is en dat studeren hier het doel is van vele gepassioneerde en hardwerkende studenten. Ik werd ook aangetrokken door de onderzoeksinteresses van mijn supervisor, die het tropisch Amazone regenwoud bestudeert met behulp van drones. Tijdens mijn studie werktuigbouwkunde raakte ik geïnteresseerd in milieukunde, omdat het me steeds duidelijker werd dat de meeste van de bepalende technische problemen van de moderne tijd milieuproblemen zullen zijn, namelijk klimaatverandering, energiezekerheid en duurzaamheid. Het werken met drones in het Amazone regenwoud leek mij ideaal gezien mijn interesses en technische achtergrond en was de belangrijkste stimulans om naar Harvard te komen.

Abate: Hoe houd je jezelf als milieuwetenschapper op de hoogte van embedded systems en programmeren? Het moet moeilijk zijn om op de hoogte te blijven van alle nieuwe ontwikkelingen op AI-gebied, maar ook van innovaties op het gebied van sensortechnologie, embedded systems, enzovoort. Hoe blijf je op de hoogte van deze verschillende onderwerpen?

Stewart: Dit is een zeer reëel probleem voor veel afgestudeerde studenten en academici als gevolg van de gestage en snelle vooruitgang op deze gebieden. Persoonlijk gebruik ik verschillende middelen om relatief up-to-date te blijven. Ten eerste kan Twitter een goede bron zijn om nieuw onderzoek van andere academici in het veld te ontdekken. Ook maak ik deel uit van verschillende Slack-kanalen waarin collega's periodiek nieuws en onderzoeksartikelen over gerelateerde onderwerpen delen. Ik bekijk ook regelmatig nieuwsartikelen die in relevante tijdschriften zijn gepubliceerd om te zoeken naar iets dat bijzonder opvalt en de moeite waard is om in meer detail te lezen. Gelukkig is het meeste gepubliceerde werk weinig relevant voor mijn eigen onderzoek en zijn bredere trends vaak het onderwerp van seminargesprekken die worden gegeven door verschillende afdelingen en belangengroepen binnen de universiteit.

Tiny Machine Learning als Proto-Engineering Discipline

Abate: Hoewel ik tinyML heb aangeroerd tijdens een interview met Daniel Situnayake een paar maanden geleden, blijft het een nieuw onderwerp voor veel van de ingenieurs in Elektor’s wereldwijde gemeenschap. Hoe definieer jij tinyML? Is het in principe een benadering voor het uitvoeren van machine learning applicaties op edge microcontrollers?

Stewart: Ja, dat is in wezen het doel. TinyML is geen specifieke technologie of reeks van principes, het is meer een proto-engineering discipline waarbij sprake is van synergie van de gebieden van computerarchitectuur, performance-engineering en machine learning. Het voornaamste doel is het ontwikkelen van snelle en energiezuinige implementaties van algoritmen voor machine learning die kunnen worden toegepast op resource-constrained microcontrollers. Dit kan ook de ontwikkeling inhouden van op maat gemaakte hardware voor specifieke taken, de ontwikkeling van nieuwe algoritmen die specifiek zijn ontworpen voor eenvoudige toepassingen, of nieuwe tools om algoritmen over te dragen of hun prestaties te optimaliseren voor een breed scala aan hardware-architecturen. Er is een simpele richtlijn voorgesteld die verwijst naar tinyML als de toepassing van machine learning draait op microcontrollers met minder dan 1 MB random access memory en een stroomverbruik van minder dan 1 mW, maar dit is geenszins een rigoureuze of uitputtende definitie.

Abate: En voor alle duidelijkheid: we hebben het niet over apparaten zoals de NVIDIA Jetson en Raspberry Pi. De focus ligt op veel eenvoudigere apparaten (d.w.z. minder dan 1 mW en kilobytes in plaats van megabytes), toch?

Stewart: Juist. Apparaten als de Raspberry Pi en NVIDIA Jetson zijn niet de focus van tinyML, noch zijn er technologieën gerelateerd aan toepassingen zoals zelfrijdende auto's, die vaak toegang hebben tot aanzienlijke computer systemen. Het sleutelwoord is "resource-constrained", wat bijna suggereert dat we een zero-sum game spelen. In tinyML moeten we weloverwogen beslissingen nemen over hoe we de prestaties van ons algoritme het best kunnen optimaliseren in termen van applicatie- en hardware-specifieke beperkingen.

In sommige toepassingen kan het bijvoorbeeld noodzakelijk zijn om zowel een snelle inferentie als een hoge nauwkeurigheid te hebben. Om de inferentiesnelheid te verbeteren, zouden we 8-bits rekenkunde kunnen gebruiken in plaats van floating-point rekenkunde, maar dit zal een impact hebben op de nauwkeurigheid van ons algoritme, en zal ook invloed hebben op het geheugen en de processors die nodig zijn voor het algoritme. Dit voorbeeld helpt te benadrukken waarom ik tinyML zie als een proto-engineering discipline, aangezien we meer gaan nadenken over functionele eisen waaraan moet worden voldaan, maar die vaak in directe concurrentie staan en die in evenwicht moeten zijn.

Abate: Kun je een paar praktijkvoorbeelden geven?

Stewart: Eigenlijk zijn er al enkele vrij wijdverspreide voorbeelden van tinyML in smartphones. Een belangrijk voorbeeld is keyword spotting, waarbij woorden als "Hey Siri" en "Hey Google" worden gedetecteerd. Als smartphones de CPU gebruiken om de microfoon continu te controleren en deze woorden te detecteren, dan zou de batterij van je telefoon maar een paar uur meegaan. In plaats daarvan controleert een simpele DSP processor voortdurend op deze woorden en, in het geval dat iemand het sleutelwoord zegt, dan wordt de CPU gewekt, controleert of het gezegd is door een bekende spreker, en wacht dan op extra spraakinvoer.

Een ander voorbeeld bestaat in smartphones die helpen om te detecteren wanneer een gebruiker zijn telefoon opneemt. De gegevens van de ingebouwde traagheids-sensor en de gyroscoop worden continu bewaakt, en wanneer een gebruiker zijn telefoon opneemt, informeert de combinatie van signalen het apparaat hierover en wekt vervolgens de CPU.

Een ander nuttig voorbeeld is persoonsdetectie, waarbij een microcontroller die is aangesloten op een camera de aanwezigheid van een persoon kan detecteren. Dit kan worden aangepast om bijvoorbeeld te detecteren of een gebruiker een masker draagt, wat vooral nuttig is tijdens de huidige pandemie. Anomaliedetectie zal waarschijnlijk een belangrijke use-case worden in de industrie, waar signalen van zware machines continu kunnen worden bewaakt om afwijkingen op te sporen voor de voorspelling van onderhoud.

ML in Research

Abate: In 2019 publiceerde u een fascinerend artikel, "The Machine Learning Crisis in Scientific Research", waarin u de vraag aan de orde stelde of machine learning bijdraagt aan een "reproduceerbaarheidscrisis" in de wetenschap. Als een wetenschapper bijvoorbeeld een "slecht begrepen" ML-algoritme gebruikt in een experiment, kan dit betekenen dat andere wetenschappers de oorspronkelijke onderzoeksresultaten niet kunnen reproduceren. Zelfs niet-wetenschappers kunnen daar het probleem zien. Ik neem aan dat het debat - machinaal leren versus traditionele statistieken - het afgelopen jaar alleen maar is geïntensiveerd. Hoe denk je daar nu over?

Stewart: Ik denk dat dit nog steeds een belangrijk onderwerp is in de academische wereld. Mijn artikel over dit onderwerp was een reactie op de reproduceerbaarheidscrisis die voor het eerst aan het licht kwam door de controverse over het werk dat Amy Cuddy, een voormalig hoogleraar aan de Harvard Business School, heeft verricht op het gebied van de machtsposities. Andrew Gelman schreef een invloedrijk artikel over het ontkrachten van slechte onderzoekspraktijken op het gebied van de psychologie, waarbij oneerlijke data-analyses werden uitgevoerd met behulp van technieken als p-hacking, post-hoc rationalisatie en cherry picking van gegevens om statistisch significante resultaten te produceren. Dit leidde tot een reeks experimenten die tot doel hadden enkele belangrijke resultaten in de psychologische literatuur te reproduceren, waarvan vele niet reproduceerbaar waren. Dit legde een fout in het onderzoeksproces bloot, waarbij reproduceerbaarheidsstudies vaak niet werden gefinancierd omdat ze werden gezien als onnodig en als een verspilling van middelen. Sindsdien is gebleken dat de reproduceerbaarheidscrisis ook invloed heeft gehad op andere gebieden, waaronder de literatuur en de economie.

Uiteraard leidt deze corruptie van de integriteit van het onderzoeksproces tot zorgen over het gebruik van grote datasets en machine learning. Gezien het grote aantal variabelen in een dataset is het uiteindelijk onvermijdelijk dat enkele statistisch significante resultaten aanwezig zullen zijn. Dit suggereert dat valse correlaties gemakkelijker te vinden zullen zijn, maar alleen geldig zullen zijn als het experiment is ontworpen om deze hypothese specifiek te testen, niet een veelvoud aan hypothesen tegelijkertijd. Dus, big data maakt het makkelijker om te "bedriegen" met data, maar hoe zit het met machine learning? Het gebruik van machine learning maakt het gemakkelijker om het bedrog te "verbergen". De verminderde interpreteerbaarheid, het genuanceerde gedrag van veel machineleeralgoritmen en het gebrek aan machinaal leeronderwijs in veel onderzoeksgemeenschappen zal het moeilijker maken om deze kwesties in gepubliceerd onderzoek aan het licht te brengen. Gelukkig is de oplossing voor dit probleem vrij eenvoudig - financier reproduceerbaarheidsstudies en onderwijs aan onderzoekers over het juiste ontwerp van experimenten en het gebruik van machine learning voor onderzoeksdoeleinden.

Abate: Je hebt een interessant punt gemaakt in je artikel: "Een van de andere problemen van machinale leeralgoritmen is dat het algoritme een voorspelling moet doen. Het algoritme kan niet zeggen: "Ik heb niets gevonden." Het klinkt alsof er momenten zijn dat machine learning niet de juiste keuze is.

Stewart: Hoewel ik het ermee eens ben dat machine learning niet geschikt is voor sommige taken, denk ik niet dat het om deze reden is. Bijvoorbeeld, een van de problemen die wordt aangedragen door taken die als binaire classificatieproblemen worden genoemd, is dat ze in feite niet als beste als zodanig kunnen worden samengevat, wat resulteert in een valse tweedeling. In sommige omstandigheden kan het geschikter zijn dat gegevens die dicht bij een beslissingsgrens liggen, meer in detail worden beoordeeld door een mens in plaats van het algoritme een definitieve beslissing te laten nemen. Dit type besluitvorming wordt soms human-in-the-loop-besluitvorming genoemd en zou het meest nuttig zijn in omstandigheden waarin de beslissing die wordt genomen belangrijke gevolgen heeft, zoals beslissingen met betrekking tot het aanbieden van een lening of de vraag of iemand kanker heeft.

Innovatie met tinyML

Abate: In welke sectoren ziet u de grootste kansen voor innovatie met tinyML?

Stewart: In het algemeen denk ik dat veel mensen die op dit gebied werken, anticiperen op de komst van tinyML in de een of andere vorm om een nieuwe industriële revolutie op gang te brengen. Om deze reden hebben sommigen besloten om deze nieuwe industriefase "Industry 4.0" te noemen. Elke branche die met grote aantallen IoT-apparaten werkt, zal grote voordelen zien in het gebruik van tinyML vanwege het lagere stroomverbruik en de lagere netwerkbelasting die met tinyML gepaard gaan.

Meer in het bijzonder zijn er bepaalde industrieën die waarschijnlijk meer voordeel zullen halen uit de nieuwe mogelijkheden van tinyML als ze op de juiste manier worden gebruikt. De landbouw is een goed voorbeeld. Het gebruik van tinyML in de landbouw kan intelligente detectiemogelijkheden bieden zonder dat er een aansluiting op het elektriciteitsnet nodig is, wat kan helpen om te bepalen wanneer bepaalde gewassen geoogst moeten worden of dat er extra kunstmest of water nodig is.

Een ander goed voorbeeld is de zware industrie, waar eerder op werd gezinspeeld, waarbij het uitvoeren van voorspellend onderhoud met behulp van anomaliedetectie kan leiden tot kostenbesparingen en een verhoging van de efficiëntie. Voorspellende problemen in grote machines zijn waarschijnlijk minder duur en leiden tot een kleiner productiviteitsverlies dan de gevolgen van een catastrofaal falen.

Abate: Hoe zit het met bedrijven die geïnteresseerd zijn in het ontwikkelen van energie-efficiënte computeroplossingen?

Stewart: Apple en ARM zijn op dit moment waarschijnlijk de grootste bedrijven die zich bezighouden met energiezuinig computergebruik. De ontwikkeling van krachtige en energiezuinige architecturen is in de smartphone-industrie van cruciaal belang geweest voor het verbeteren van de levensduur van de batterij en het bieden van meer functionaliteit en snelheid. In de afgelopen jaren hebben we gezien dat mobiele architecturen aanzienlijk zijn verbeterd in termen van prestaties en energie-efficiëntie, terwijl meer traditionele architecturen van rivalen als Intel relatief gezien zijn gestagneerd. Bijgevolg concurreren mobiele architecturen nu met die van meer traditionele architecturen, maar hebben ze een aantal extra voordelen, waaronder een hoge energie-efficiëntie. Dit kwam onlangs naar voren met de aankondiging van Apple voor de nieuwe M1-chip op basis van ARM, die opschept dat hij de "langste batterijduur ooit in een Mac" zal bieden. Deze stap van Apple wordt door sommigen gezien als een keerpunt in de computerindustrie dat de komende jaren in de hele gemeenschap een domino-effect zal hebben.

Een blik vooruit

Abate: Vertel ons over uw werk met drones en chemische monitoringsystemen. Welke rol speelt tinyML in uw onderzoek?

Stewart: Werk met behulp van tinyML voor verschillende microdroneapplicaties is al gepubliceerd. De focus hiervan ligt op het creëren van lichtgewicht drones die in staat zijn om op een intelligente manier door een omgeving te navigeren met behulp van embedded reinforcement learning methoden. Dit kan in de toekomst zeer nuttig zijn, bijvoorbeeld voor het opsporen van gaslekken of het opsporen van vervuilende emissiebronnen, zowel voor binnen- als buitentoepassingen.

Voor chemische monitoringsystemen in het algemeen kan tinyML de mogelijkheid bieden om op afstand gelegen sensornetwerken te creëren die zijn losgekoppeld van het elektriciteitsnet, evenals een intelligenter gebruik van chemische sensorinformatie. In plaats van continu gegevens naar een cloudserver te sturen, kan het systeem bijvoorbeeld zo worden ontworpen dat het zich alleen richt op afwijkende gegevens. Dit zou de belasting van het communicatienetwerk verminderen en ook het stroomverbruik dat gepaard gaat met het uitvoeren van continue monitoring. Deze aspecten zullen de komende jaren steeds belangrijker worden, aangezien het aantal ingezette IoT-apparaten exponentieel blijft toenemen.

Abate: Uw artikelen en onderzoek zullen waarschijnlijk veel leden van onze community inspireren om tinyML van dichterbij te bekijken. Beveelt u - naast een boek als Pete Warden en Daniel Situnayake's TinyML – enige bronnen aan voor professionele ingenieurs en serieuze elektronica-enthousiastelingen die geïnteresseerd zijn in het leren over het onderwerp?

Stewart: Helaas is een van de nadelen van geavanceerde technologie dat er vaak maar een handvol middelen beschikbaar zijn. Dit gezegd zijnde, beginnen we een gestage release te zien van peer-reviewed literatuur over het onderwerp tinyML (hoewel vaak onder een andere naam). Een aanzienlijk deel van deze literatuur wordt gepubliceerd op de preprint server arXiv in de categorie van de hardware-architectuur [4], maar ik vermoed dat we binnenkort verschillende tijdschriften zullen zien die zich richten op het onderwerp dat dit zal vervangen. Een andere bron is het TinyML Research Symposium (https://www.tinyml.org/researchsymposium2021/) dat door de TinyML Foundation wordt gehost, gepland voor maart 2021, waar we waarschijnlijk enkele nieuwe en spannende ontwikkelingen voor het vakgebied zullen zien.