Chips die gebruikmaken van combinaties van eentjes en nulletjes: dat principe heeft ons op het vlak van digitalisering al heel ver gebracht. Maar met die technologie beginnen we ondertussen wel tegen grenzen aan te lopen. Er is dringend behoefte aan snellere en energiezuinigere chips. En dat vraagt om een grensverleggende benadering. Dus welkom in de wereld van neuroAI: een opkomend onderzoeksgebied op het snijvlak van AI en neurowetenschappen.
De uit België afkomstige dr. Charlotte Frenkel, werkzaam bij de TU Delft, is een van de voorlopers op het vlak van neuromorphic computing. In 2023 werd er dan ook een AiNed Fellowship grant aan haar toegekend. In dit interview vragen we haar hoe kennis over de werking van het brein helpt bij het ontwikkelen van nieuwe chips en krachtigere, efficiëntere AI-systemen.
Voor NeuroAI-wetenschappers zoals Frenkel is neuromorphic computing een van de heilige gralen. Om ons uit te leggen wat die term precies inhoudt, wil ze eerst aangeven wat het probleem is met bestaande computers. “Het huidige computermodel is gebaseerd op de scheiding van verwerking en geheugen. Dit model is voor veel toepassingen enorm succesvol en schaalbaar, maar het heeft ook nadelen. Zo hebben de huidige computers bijvoorbeeld het grootste deel van hun energie nodig om gegevens uit het geheugen te halen. Ook op het vlak van latency levert dat een knelpunt op. Om aan de behoeften van nieuwe AI-toepassingen te voldoen, hebben we een nieuw computermodel nodig waarbij het geheugen zich dicht bij de verwerking bevindt, zodat gegevens snel en efficiënt toegankelijk zijn. En dat is precies wat hersenen doen!”
Om de efficiëntie en reactietijd van computersystemen te verbeteren, bestuderen onderzoekers hoe het menselijk brein werkt en in hoeverre ze die biologische principes kunnen vertalen naar geïntegreerde circuits. Bij neuromorphic computing gaat het er in de kern om dat computers de organiserende principes van het brein proberen na te bootsen. In de hersenen zie je dat neuronen en synapsen de gegevensverwerking en het geheugen op een effectieve manier samenbrengen, wat tot aanzienlijke energiebesparingen leidt. “Op dat vlak zijn al zeer interessante ontwikkelingen”, benadrukt Frenkel. “Het is bijvoorbeeld mogelijk om silicium transistors zo te laten werken dat hun elektronenstroom precies lijkt op die van ionen in de neuronen van de hersenen. Deze analoge neuromorphic computers werken wezenlijk anders dan digitale computers die alleen met enen en nullen werken.”
Belangrijke kanttekening bij die ontwikkeling: analoge computers zijn weliswaar erg energiezuinig, maar ze zijn minder nauwkeurig dan digitale computers. De kunst is nu om het beste van de twee werelden te combineren. En dat is precies waar het onderzoeksproject van Frenkel aan de TU Delft zich op richt. Dankzij de toekenning van de AiNed Fellowship grant heeft ze nu de beschikking over een team van vier promovendi en een postdoctoraal onderzoeker om haar te helpen met het beantwoorden van deze uitdagende onderzoeksvragen. Daarbij maken ze niet alleen gebruik van de nieuwste inzichten in machine learning en elektrotechniek, maar verdiepen ze zich ook in de neurowetenschap. “We lezen regelmatig neurowetenschappelijke artikelen om erachter te komen wat de magie is achter de werking van het brein. Hoe rekent en leert het menselijk brein? En wat gebeurt er op het kruispunt van de analoge en digitale wereld? Dat is een heel ander onderwerp dan elektrotechniek, het vakgebied waar ik voor ben opgeleid. Maar de inzichten die we dankzij de neurowetenschappen verkrijgen, sluiten perfect aan bij wat we op het vlak van computer-hardware en AI-algoritmen nodig hebben om verder te komen. We zien een duidelijke synergie. Ons project heet dan ook SynergAI.”
“Normaal gesproken kan het na het aanvragen van een grote beurs wel een jaar duren voordat de uiteindelijke beslissing wordt genomen”, vervolgt Frenkel. "Maar de beslissing voor de AiNed Fellowship grant was binnen twee maanden rond. Dat is een groot voordeel, want in dit vakgebied zijn de ontwikkelingen zo dynamisch dat je snel achteropraakt."
Waar de interesse van Frenkels in neuromorphic computing vandaan komt? “Dat onderwerp kwam ter sprake in 2015, aan het einde van het onderzoeksproject van mijn masteropleiding. Ik vroeg me destijds af wat er qua hardware nodig is om tot snellere algoritmen voor machine learning te komen. Vervolgens stuitte ik op het vakgebied neuromorphic computing, waarin onderzoekers nog een stap verder gaan en proberen de werking van het menselijk brein met siliciumtransistors na te bootsen. ‘Dat wil ik ook!’, dacht ik toen meteen.”
De vier jaar erna stond de PhD-studie van Frenkel volledig in het teken van neuromorphic computing. Ze ontving hiervoor in België een individuele beurs van het Nationaal Fonds voor Wetenschappelijk Onderzoek, wat haar volledige onderzoekvrijheid gaf. Samen met haar adviseur koos ze voor een aanpak die afweek van de bestaande ontwerpprincipes: zo richtte ze zich op het ontwerpen van minuscule digitale neuromorphic circuits die op een efficiënte manier de kernmechanismen van de hersenen reproduceerden. Na afronding van haar PhD in 2020 ging ze werken bij het Institute of Neuroinformatics, een gerenommeerde Zwitserse onderzoeksorganisatie die wereldwijd wordt beschouwd als één van de voorlopers als het gaat om het ontwerpen van analoge neuromorphic circuits die kunnen worden ingezet voor neuromorphic computers. Dat instituut maakt deel uit van zowel de Universiteit van Zürich als ETH Zürich.
In Zwitserland, realiseerde ze zich dat noch een digitale noch een analoge benadering alleen voldoende zou zijn om krachtigere, efficiëntere, robuustere en beter schaalbare AI-systemen te ontwikkelen. “Je hebt zowel de robuustheid en precisie van digitale benaderingen nodig, als het energie-efficiënte voordeel van analoge benaderingen. Een veelgebruikte aanpak op dit gebied is al om de neuronale dynamica in het analoge domein te berekenen en de communicatie in het digitale domein. Maar dat is nog steeds een erg grove verdeling van analoge en digitale benaderingen. Ik wil verder gaan dan dat.”
Op de vraag of neuromorphic computing meer kan opleveren dan ‘alleen’ energie-efficiëntie, knikt Frenkel bevestigend. “Het probleem met de huidige AI is dat het nog steeds enorme hoeveelheden data nodig heeft, in tegenstelling tot je hersenen die maar een paar voorbeelden nodig hebben om een nieuwe, complexe taak op te pakken. Dus ook als het om data-efficiëntie gaat, kan meer begrip over hersenen ons verder helpen.” Ze heeft ook een goed voorbeeld: AI gebruiken om prothesen aan te sturen. “Er is nog teveel data nodig om een slimme prothese precies te laten doen wat een patiënt wil. Voordat een prothese dat kan, moet de patiënt een bepaalde beweging heel vaak herhalen.
Maar we kijken nu of een prothese ook de gewenste bewegingen kan leren op basis van heel weinig voorbeelden. Om ervoor te zorgen dat de prothese zich snel kan aanpassen aan de patiënt, moet alle verwerking ook lokaal in de prothese plaatsvinden. Het delen van gegevens met de cloud is namelijk geen optie. Dat is te traag, leidt tot privacyproblemen en kan onbetrouwbaar zijn - stel je voor dat de patiënt zich op een plaats bevindt met een slechte netwerkverbinding. Als de verwerking in de prothese moet plaatsvinden, moet deze ook weinig stroom verbruiken zodat er geen zware batterijen nodig zijn. Dit is een perfecte casus om de behoefte aan zowel data-efficiëntie als energie-efficiëntie te illustreren en hoe neuromorphic computing dat mogelijk maakt.”
Naast adaptieve protheses richten Frenkel en haar team zich ook op de neuromorphic computing-principes die nodig zijn voor kleine snelle drones die gebruikt worden voor zoek- en reddingsoperaties. “Stel dat je te maken hebt met een rampplek waar de situatie snel in kaart moet worden gebracht,” noemt ze als voorbeeld. “Deze drones hebben maar een kleine accu. Dat betekent dat ze op basis van weinig informatie en een korte vliegtijd een goede inschatting moeten kunnen maken van de ernst van een situatie.”
Kortom: uitdagingen genoeg om deze nieuwe ontwikkelingen voor in te zetten. Frenkel verwacht dat zij en haar team binnen een periode van twee jaar, te weten in 2026, een eerste hardware prototype zullen realiseren, om vervolgens binnen vier jaar een grootschalig gemengd analoog-digitaal neuromorf systeem te creëren. Het draait allemaal om multidisciplinair onderzoek, en in het bijzonder om het ontwikkelen van AI-algoritmen met behulp van inzichten uit de neurowetenschappen en het vertalen van die principes naar silicium. Dit alles om bij te dragen aan energie-efficiëntere, compactere en krachtigere computers, die vervolgens ook efficiëntere AI-systemen mogelijk zullen maken. Aangezien het onderzoek in Nederland plaatsvindt, helpt het de Nederlandse kennisinstellingen ook om meer AI-talent aan te trekken en ecosystemen te creëren waarin toptalenten de ruimte krijgen om gezamenlijk geavanceerde AI-toepassingen te bedenken en te ontwikkelen.
Wilt u meer weten over Charlotte Frenkel en haar onderzoeksprojecten? Bezoek dan deze website en de website van de TU Delft.
Over de AiNed Fellowship grants
Het inzetten van uitzonderlijk AI-talent is van belang om de nationale kennis- en opleidingsbasis op het gebied van AI te verstevigen en daarmee het nationale ecosysteem te versterken. De AiNed Fellowship grants helpen Nederlandse academische kennisinstituten om AI-talenten aan te trekken die in de regel kunnen kiezen tussen diverse met elkaar concurrerende aanstellingen. Dit programma is gericht op uitzonderlijke AI-talenten die kunnen worden ingezet in een AI-vakgebied, uiteenlopend van technologie tot de sociale wetenschappen en de geesteswetenschappen.