Открыт новый алгоритм, с помощью которого можно ускорить обучение ИИ в 20 раз и увеличить качество обучения на 10%

Его создали ученые из лаборатории Tinkoff Research, метод получил название SAC-RND.

SAC-RND способствует тому, что повысится безопасность беспилотных автомобилей, упростятся логистические цепочки, ускорятся доставка и работа складов, оптимизируются процессы горения на энергетических объектах и сократятся выбросы вредных веществ в окружающую среду.

Кроме того, с его появлением ученые становятся на несколько шагов ближе к разработке универсального робота, который сможет в одиночку выполнять любые задачи.

Для этого исследователи из Tinkoff Research сделали эквивалентными глубины сетей и обнаружили, что при таковых настройках методу RND удается различать данные. После метод оптимизировали. Роботы смогли находить эффективные решения за счет применения механизма слияния, основанного на модуляции сигналов и их линейном отображении. Ранее работы на тему RND не подвергали сигналы дополнительной обработке.

Как известно, обучить искусственный интеллект (ИИ) можно с помощью немалых вычислительных мощностей, финансовых затрат и времени. Если суметь оптимизировать этот процесс, то можно будет повысить скорость развития областей, в которых применяются ИИ-агенты.

Сейчас обучение ИИ происходит посредством подкрепления (RL), который позволяет роботам постигать метод проб и ошибок, адаптироваться в различных, в том числе, непростых ситуациях, ориентироваться, подстраиваться и менять поведение в процессе. При этом всегда считалось, что обучить офлайн искусственный интеллект с RL невозможно при применении случайных нейросетей (RND). Именно на изучение недостатков и неточностей в проведенных ранее экспериментах, а также выводов, и была направлена работа ученых из Tinkoff Research.

Так, при применении RND участвуют две нейросети: случайная и основная, которая в свою очередь пытается предсказать поведение первой. Причем у них есть одно главное свойство – глубина или количество слоев, из которых состоит нейросеть. Основная сеть не может иметь меньше слоев, чем случайная. В результате ученые из Tinkoff Research выяснили, что ранее случайная сеть имела 4 слоя, а основная – два.

Именно из-за того, что применялись неправильные глубины нейросетей, и появилось ошибочное мнение, что метод RND не умеет классифицировать данные и отличать действия, которые были в датасете, от тех, которых там не происходило. Они исправили глубину сетей и количество слоев. В результате RND может различать данные.

Потом провели оптимизацию метода, благодаря чему искусственный интеллект смог приходить к эффективным решениям.

Метод SAC-RND протестировали на робототехнических симуляторах. В результате он показал лучшие достижения при меньшем объеме используемых ресурсов и времени. Эти данные мировое научное сообщество признало и представило на Международной конференции по машинному обучению (ICML), которая прошла в 40-й раз в Гонолулу, Гавайи.

Напомним, Tinkoff Research проводит научные исследования внутри компании, а не на базе некоммерческой организации и исследует самые перспективные области искусственного интеллекта.