15/05/2024
Door Ad Spijkers
Onderzoekers van de TU Delft hebben een drone ontwikkeld die autonoom kan vliegen met behulp van neuromorfe beeldbewerking. De beeldbewerking en besturing zijn gebaseerd op de werking van dierenhersenen. Deze gebruiken minder energie dan de huidige diepe neurale netwerken die op GPU’s (grafische chips) draaien. Neuromorfe processoren zijn daarom geschikt voor kleine drones omdat geen zware en grote hardware en batterijen voor nodig zijn.
Tijdens de vlucht verwerkt het diepe neurale netwerk van de drone op neuromorfe technologie data tot 64 keer sneller. Ook verbruikt het neurale netwerk drie keer minder energie dan bij gebruik van een GPU. Verdere ontwikkelingen van deze technologie kunnen de sprong mogelijk maken voor drones om net zo klein, wendbaar en slim te worden als vliegende insecten of vogels.
Leren van dierenhersenen
Kunstmatige intelligentie heeft een groot potentieel om robots te voorzien van de intelligentie die nodig is voor praktische toepassingen. De huidige AI is echter afhankelijk van diepe neurale netwerken waarvoor aanzienlijke rekenkracht nodig is. Vooral voor kleine robots zoals drones is dit een probleem, omdat zij maar weinig sensoren en rekenkracht kunnen dragen.
Dierenhersenen verwerken informatie op een heel andere manier. Biologische neuronen verwerken informatie asynchroon en communiceren voornamelijk via elektrische pulsen ('spikes'). Omdat het versturen van dergelijke spikes energie kost, minimaliseren de hersenen het spiken, wat leidt tot spaarzame verwerking. Hierdoor geïnspireerd ontwikkelen wetenschappers en technologiebedrijven neuromorfe processoren. Deze nieuwe processoren maken het mogelijk om spikende neurale netwerken te draaien die naar verwachting veel sneller en energie-efficiënter zijn.
Neurale netwerken
De berekeningen uitgevoerd door spikende neurale netwerken zijn veel eenvoudiger dan die in standaard diepe neurale netwerken. Terwijl digitale spikende neuronen alleen hele getallen hoeven op te tellen, moeten standaard neuronen kommagetallen vermenigvuldigen en optellen. Dit maakt spikende neurale netwerken sneller en zuiniger met energie.
De energie-efficiëntie wordt verder verhoogd als neuromorfe processoren worden gebruikt in combinatie met neuromorfe sensoren, zoals neuromorfe camera's. Dergelijke camera's maken geen beelden op een vast tijdsinterval. In plaats daarvan zendt elk pixel alleen een signaal uit wanneer het helderder of donkerder wordt.
De voordelen van dergelijke camera's zijn dat ze beweging veel sneller kunnen waarnemen, zuiniger zijn met energie en goed functioneren in zowel donkere als heldere omgevingen. Bovendien kunnen de signalen van neuromorfe camera's rechtstreeks worden gevoed aan spikende neurale netwerken op neuromorfe processoren. Samen kunnen deze technologieën de ontwikkeling van autonome robots, vooral kleine, wendbare robots zoals vliegende drones, mogelijk maken.
Neuromorfe beeldbewerking
De onderzoekers van de TU Delft hebben een drone ontwikkeld waarbij een spikend neuraal netwerk de signalen van een neuromorfe camera omzet tot stuurcommando’s voor de drone. Ze implementeerden dit netwerk op een neuromorfe processor, de 'Loihi' neuromorfe onderzoekchip van Intel, aan boord van een drone. Dankzij het netwerk kan de drone zijn eigen beweging waarnemen en in alle richtingen besturen.
De onderzoekers stonden voor veel uitdagingen. De moeilijkste was om te bedenken hoe ze een snel en goed leerproces konden maken voor het spikende neurale netwerk. Uiteindelijk hebben ze een netwerk ontworpen dat bestaat uit twee modules. De eerste module leert om beweging visueel waar te nemen vanuit de signalen van een bewegende neuromorfe camera. Dit doet het zelfstandig, op een zelf-gestuurde manier, puur gebaseerd op de gegevens van de camera. Dit is vergelijkbaar met hoe ook dieren zelfstandig leren de wereld waar te nemen.
De tweede module leert om de geschatte beweging te koppelen aan besturingscommando's, in een simulator. Dit gebeurde via kunstmatige evolutie in simulatie, waarbij netwerken die beter waren in het besturen van de drone, een hogere kans hadden om 'nakomelingen' te produceren.
Evolutie
Over de generaties van de kunstmatige evolutie, werden de spikende neurale netwerken steeds beter in besturing. Uiteindelijk konden ze een gesimuleerde drone in elke richting en met verschillende snelheden vliegen. De onderzoekers hebben beide modules getraind en een manier ontwikkeld waarmee ze die konden samenvoegen. Het samengevoegde netwerk werkte onmiddellijk goed op de echte robot.
Met zijn neuromorfe beeldbewerking en besturing kan de drone met verschillende snelheden vliegen onder variërende lichtomstandigheden, van donker tot helder. Het toestel kan zelfs vliegen met flikkerende lichten, waardoor de pixels in de neuromorfe camera grote aantallen signalen naar het netwerk sturen die niet gerelateerd zijn aan beweging – iets waar het netwerk niet op getraind is.
Het netwerk draait gemiddeld tussen de 274 en 1600 keer per seconde. Hetzelfde netwerk op een kleine ingebedde GPU draait gemiddeld slechts 25 keer per seconde. Als het netwerk draait, verbruikt Intel's Loihi neuromorfe onderzoekchip 1,007 W, waarvan 1 W het 'rust'vermogen is dat de processor besteedt alleen al bij het aanzetten van de chip. Het draaien van het netwerk zelf kost slechts 7 mW. Bij het draaien van hetzelfde netwerk verbruikt de ingebedde GPU 3 W, waarvan 1 W rustvermogen en 2 W voor het draaien van het netwerk. De neuromorfe aanpak resulteert dus in AI die sneller en efficiënter draait, waardoor het op veel kleinere autonome robots kan worden ingezet.
Toekomstige toepassingen
Volgens de onderzoekers zal neuromorfe AI alle autonome robots intelligenter maken. Maar het is een absolute game-changer voor kleine autonome robots. De Faculteit Luchtvaart- en Ruimtevaarttechniek van de TU Delft werkt aan kleine autonome drones die gebruikt kunnen worden voor toepassingen variërend van het bewaken van gewassen in kassen tot het bijhouden van voorraden in magazijnen.
Kleine drones zijn veilig en kunnen navigeren in nauwe ruimtes zoals tussen rijen tomatenplanten. Bovendien kunnen ze goedkoop zijn, zodat ze in zwermen kunnen worden ingezet. Dit is nuttig om snel een gebied te verkennen, bijvoorbeeld voor het redden van mensen of snel lokaliseren van een gaslek. Het onderzoek is een grote stap in deze richting. Maar de realisatie van deze toepassingen zal afhangen van verdere verkleining van de neuromorfe hardware en uitbreiding van de mogelijkheden naar complexere taken zoals navigatie.
Foto: TU Delft