Достижения в области ИИ появляются постоянно, но они, как правило, ограничиваются одной областью: например, классный новый метод создания синтетической речи не является также способом распознавания выражений на человеческих лицах. Исследователи Meta (AKA Facebook) работают над чем-то более универсальным: ИИ, способный самостоятельно учиться, будь то устные, письменные или визуальные материалы.
Традиционный способ научить модель ИИ правильно интерпретировать что-либо — дать ему много-много (например, миллионы) помеченных примеров. Изображение кошки с помеченной кошачьей частью, разговор с говорящими и расшифрованные слова и т.д. Но этот подход затрачивает огромное количество ресурсов.
В настоящее время некоторые из наиболее многообещающих систем искусственного интеллекта — это так называемые самоконтролируемые: модели, которые могут работать с большими объемами неразмеченных данных, таких как книги или видео взаимодействующих людей, и строить собственное структурированное понимание правил системы. Например, прочитав тысячу книг, он выучит взаимное расположение слов и идей в грамматической структуре, причем никто не скажет ему, что такое объекты, артикли или запятые — он получил это, сделав выводы из множества примеров.
Интуитивно это больше похоже на то, как люди учатся, что частично нравится исследователям. Но модели по-прежнему имеют тенденцию быть одномодальными, и вся работа, которую вы проделываете, чтобы настроить полуконтролируемую систему обучения распознаванию речи, вообще не применима к анализу изображений — они просто слишком разные. Вот тут-то и появляется последнее исследование Facebook/Meta с броским названием data2vec.
Идея data2vec заключалась в том, чтобы создать структуру ИИ, которая обучалась бы более абстрактным образом, а это означает, что, начиная с нуля, вы могли бы давать ему книги для чтения, изображения для сканирования или речь для озвучивания, и после небольшого обучения он научиться любой из этих вещей. Это похоже на начало с одного семени, но в зависимости от того, какую «растительную» пищу вы ему дадите, оно вырастает в нарцисс, анютины глазки или тюльпан.
В общем, какие бы идеи обучения у Мета не было, подробного промера они не приводят. Хотя суть всем более чем ясна, но, похоже только Мета знает, как её реализовать.