Новый алгоритм обучения должен значительно расширить возможности применения ИИ

Ученые-компьютерщики из Грацского технологического университета Роберт Легенштейн и Вольфганг Маасс, работая над энергоэффективными системами искусственного интеллекта, вдохновляются функционированием человеческого мозга.

Высокая энергоемкость обучения искусственных нейронных сетей является одним из самых больших препятствий для широкого использования искусственного интеллекта (ИИ), особенно в мобильных приложениях. Один из подходов к решению этой проблемы можно почерпнуть из знаний о человеческом мозге. Хотя он обладает вычислительной мощностью суперкомпьютера, ему требуется всего 20 Вт, что составляет лишь миллионную часть энергии суперкомпьютера. Одной из причин этого является эффективная передача информации между нейронами головного мозга. Нейроны посылают короткие электрические импульсы (спайки) другим нейронам—но, чтобы сэкономить энергию, так часто, как это необходимо.

E-prop – метод событийной обработки информации

Рабочая группа, возглавляемая Маасом и Легенштейном, приняла этот принцип при разработке нового алгоритма машинного обучения - e-prop (сокращение от e-propagation).

Они используют спайки в своей модели для связи между нейронами в искусственной нейронной сети.

Спайки становятся активными только тогда, когда они необходимы для обработки информации в сети. Обучение представляет собой особую проблему для таких менее активных сетей, поскольку требуется больше времени, чтобы определить, какие нейронные соединения улучшают производительность сети.

Существующие методы достигали слишком малого успеха в обучении или требовали огромного объема памяти.

E-prop теперь решает эту проблему с помощью децентрализованного метода, скопированного из мозга, в котором каждый нейрон документирует, когда его соединения использовались в так называемой электронной трассировке (e-trace).

 Подробности были опубликованы в научном журнале Nature Communications .

Онлайн вместо оффлайна

С помощью многих методов машинного обучения, используемых в настоящее время, все сетевые операции хранятся централизованно и автономно, чтобы отслеживать каждые несколько шагов: как соединения использовались во время вычислений.

Однако для этого требуется постоянная передача данных между памятью и процессорами—одна из главных причин чрезмерного энергопотребления современных реализаций ИИ. Е-prop, с другой стороны, работает полностью онлайн и не требует отдельной памяти даже в реальной работе—таким образом, обучение становится гораздо более энергоэффективным.

Движущая сила для нейроморфного оборудования

Маасс и Легенштейн надеются, что e-prop будет стимулировать разработку нового поколения мобильных обучающих вычислительных систем, которые больше не нуждаются в программировании, а учатся в соответствии с моделью человеческого мозга и таким образом адаптируются к постоянно меняющимся требованиям.

Цель состоит в том, чтобы эти вычислительные системы больше не учились энергоемко исключительно через облако, а эффективно интегрировали большую часть способности к обучению в мобильные аппаратные компоненты и таким образом экономили энергию.

Первые шаги по внедрению e-prop в приложение уже сделаны.

Например, команда TU Graz работает вместе с исследовательской группой Advanced Processor Technologies Research Group (APT) Манчестерского университета в проекте Human Brain по интеграции e-prop в разработанную там нейроморфную Спинакерную систему.

В то же время TU Graz работает с исследователями из производителя полупроводников Intel, чтобы интегрировать алгоритм в следующую версию нейроморфного чипа Intel Loihi.

Эта исследовательская работа основана на областях знаний "человек и биотехнология" и "информация, коммуникация и вычислительная техника", двух из пяти областей знаний TU Graz.