ChatGPT, een AI-taalmodel, heeft wereldwijd veel aandacht gekregen vanwege zijn vermogen om gepolijste essays, e-mails en code te genereren als reactie op eenvoudige vragen. Er is echter een onderzoeksteam van MIT dat werkt aan het ontwikkelen van machine learning-programma’s die ChatGPT’s capaciteiten kunnen overtreffen. De technologie die ze hebben ontwikkeld maakt gebruik van licht om berekeningen uit te voeren. Dit kan resulteren in computers die krachtiger zijn en minder energie verbruiken dan de meest geavanceerde supercomputers van dit moment die worden gebruikt voor het aansturen van machine learning-modellen.
Opto-electronic Neural Networks (ONNs)
Omdat traditionele computerhardware moeite heeft met de exponentiële groei van diepe neurale netwerken (DNN’s), overwegen onderzoekers om over te schakelen naar ONN’s als mogelijke oplossing. ONN’s hebben voordelen zoals hoge kloksnelheden, parallelle verwerking en minimale gegevensverlies, waardoor ze goed passen bij complexe DNN-taken. Maar ONN’s hebben ook uitdagingen, zoals een lage berekeningsdichtheid, elektro-optische conversie-efficiëntie en vertraging veroorzaakt door een gebrek aan inline-niet-lineariteit.
MIT’s Groundbreaking Experiments
Het MIT-onderzoeksteam heeft een innovatief systeem ontwikkeld dat gebruik maakt van lichtgebaseerde berekeningen. Dit systeem maakt gebruik van honderden laserdetails op micron-schaal om beweging van licht in plaats van elektronen te gebruiken voor berekeningen. De resultaten zijn indrukwekkend: het systeem heeft meer dan 100 keer betere energie-efficiëntie dan de huidige state-of-the-art digitale computers voor machine learning, en het is 25 keer krachtiger qua berekeningsdichtheid. Wat veelbelovender is, is het potentieel voor aanzienlijke toekomstige verbeteringen. Dit opent de weg voor grootschalige opto-elektronische processors die in staat zijn om machine-learning taken te versnellen in datacenters en gedecentraliseerde edge-apparaten, zoals mobiele telefoons.
Verbeteringen in de wetenschap van gegevens en de architectuur van computers.
De snel groeiende complexiteit van diepe neurale netwerken vraagt om vernieuwende oplossingen in computerarchitectuur, omdat traditionele digitale technologieën niet meer voldoen. Er zijn veelbelovende alternatieven, zoals ONNs, maar er zijn nog enkele uitdagingen die moeten worden aangepakt. Onderzoekers hebben experimenteel bewezen dat een ruimtelijk-temporeel-multiplex ONN-systeem een effectieve oplossing kan bieden voor deze uitdagingen. Ze hebben gebruik gemaakt van neuroncodering met micrometer-schaal arrays van verticaal-cavitatie oppervlakte-emitterende lasers (VCSELs) om een uitstekende elektro-optische conversie te bereiken en problemen van lage berekeningsdichtheid en kanaaloverspraak aan te pakken.
Ontwerpen die klein lijken, maar een grote impact hebben:
De onderzoekers van MIT hebben een nieuw ontwerp ontwikkeld dat verschillende uitdagingen in ONNs tegelijkertijd aanpakt. De architectuur gebruikt VCSEL-array technologie en is gebaseerd op moderne LiDAR-afstandsbediening en laserprinten. Dit ontwerp kan mogelijk verbeteringen opleveren tot wel twee keer betere prestaties in de nabije toekomst. De opto-elektronische processor biedt ook nieuwe mogelijkheden om machine learning efficiënter te maken via gecentraliseerde en gedistribueerde infrastructuren.Dit betekent dat nu taken die voorheen alleen op grote datacenters werden uitgevoerd, nu mogelijk zijn op kleinere apparaten zoals mobiele telefoons. Dit opent nieuwe mogelijkheden voor machine learning in diverse domeinen.
Machine learning processes revolutionized
Opto-elektronische neurale netwerken hebben meer potentieel dan alleen het verbeteren van taalmodellen zoals ChatGPT. Ze kunnen de machine learning-processen drastisch veranderen op zowel datacenters als edge-apparaten. Dit kan de weg vrijmaken voor een nieuw tijdperk van AI-toepassingen die voorheen onmogelijk waren met traditionele rekenmethoden. Deze doorbraak verbetert niet alleen de mogelijkheden van machine learning-modellen, maar biedt ook mogelijkheden voor vooruitgang in verschillende vakgebieden, zoals gezondheidszorg, financiën, autonome systemen en slimme apparaten.
De ontwikkeling van opto-elektronische neurale netwerken is een belangrijke mijlpaal in de ontwikkeling van machine learning. Het onderzoek van MIT en het bewijs van lichtgebaseerde berekeningen laten zien dat er een weg is naar computers die krachtiger zijn en minder energie verbruiken. In de toekomst zullen we aanzienlijke verbeteringen zien in machine-learning taken voor verschillende infrastructuur. Hierdoor zullen we vooruitgang boeken die voorheen onmogelijk leek. Dit wordt mogelijk gemaakt door de expertise op het gebied en de drang naar innovatie die AI blijven verbeteren. We zullen dan een nieuw tijdperk inluiden van slimmere, efficiëntere en capabelere machine learning-toepassingen.