Надеюсь, что
ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект не
сделает нас полностью бесполезными:
соучредитель NEAR о
развитии искусственного интеллекта• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
Надеюсь, что ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект не сделает нас полностью бесполезными: соучредитель NEAR о
развитии искусственного интеллекта• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
incrypted.com 4 ч
Еще в 2017 году команда NEAR ставила перед собой задачу создать общий
искусственный интеллект• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект (artificial general intelligence; AGI), но
впоследствии — из-за существующих тогда технических ограничений и отсутствия
ресурсов — сместила фокус в сторону проектирования блокчейн-платформы• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн.
Однако разработчики окончательно так и не отказались от этой идеи. В 2024 году
команда вновь совершила разворот и запустила исследовательскую лабораторию
NEAR AI• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект, которая ставит перед собой аналогичные цели.
Редакция Incrypted пообщалась с идейным вдохновителем этой инициативы —
соучредителем NEAR Александром Скидановым. Мы поговорили о роли блокчейна• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн в
развитии децентрализованного ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект, трудностях, с которыми сталкиваются
разработчики, и рисках, связанных с появлением сильного искусственного
интеллекта• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект.
Насколько я понимаю, вы именно тот человек, который «топит» в NEAR за
ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект-составляющую.
Да. Я начал говорить об этом еще в 2021 году. Тогда меня особо никто не
слушал. С 2021 года я уже делал какие-то проекты. В прошлом году я запустил
компанию, которая была полностью сфокусирована на ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект-исследованиях. Сейчас
наконец-то NEAR нашел ресурсы, чтобы работать над искусственным интеллектом• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект.
Эта компания сейчас вошла в NEAR и сейчас называется NEAR AI• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект.
С чем связан разворот, который сделал NEAR? Вы развивали блокчейн-платформу• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн и
сейчас решили работать над искусственным интеллектом• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект. Насколько я понимаю,
цель NEAR AI• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект — создать общий ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект.
Это была наша с Ильей [Полосухиным] мечта и, я думаю, многих других людей
этого поколения. Потому что чувствуется, что AGI уже недалеко.
Когда мы начинали NEAR AI• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект в 2017 году, задача была написать AGI. Но потом мы
сделали разворот в сторону блокчейна• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн.
Потому что пока мы работали над AGI в 2017 году, основная проблема была
все-таки с аннотацией данных. Еще мы заметили, что просто даже платить людям
через PayPal в разных странах было очень сложно. И мы начали строить блокчейн• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн.
Тогда, фактически, из блокчейнов был Ethereum• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Ethereum, биткоин• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Bitcoin и IOTA, и не было
возможности легко осуществлять оплату через подобные сети. Мы с Ильей, оба
будучи достаточно техническими людьми, подумали, что эта проблема явно
решаемая, если достаточно много умных, системных людей займется ею. Так
появился NEAR.
Тем не менее, как я сказал, я еще с 2021 года топил и строил какие-то
интересные ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект-проекты внутри NEAR. У нас уже есть огромная платформа для
аннотации данных. Сейчас у NEAR в целом такое видение — мы хотим, чтобы люди
владели собственными деньгами и собственными данными и контролировали их.
ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект сейчас будет развиваться очень быстро. Но фактически на данный момент у нас
опять та же траектория: когда маленькое количество компаний — OpenAI• Объект организация » Организации по алфавиту » Организации на Op » OpenAI,
Anthropic, может быть, Google• Объект организация » Организации по алфавиту » Организации на Go » Google (компания) — будут полностью контролировать все. Как это
было, например, с поисковиками• Коммуникации » Интернет-коммуникации » Поисковая система.
Чем больше данных получают такие компании, тем больше они могут улучшать свои
продукты, и тем сложнее каким-то внешним участникам их догнать.
Опять получается «огороженный сад».
Да. И одним из больших направлений работы NEAR всегда было, что мы называем
Open Web. Но построить его не получится, если сейчас ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект-сегмент «захватят»
Google• Объект организация » Организации по алфавиту » Организации на Go » Google (компания) и Anthropic, потому что утверждается, что ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект будет достаточно большой
частью интернета. Все к этому идет, потому что даже просто взаимодействовать с
приложениями мы будем по-новому.
Я сегодня показывал демо — его будет сложно описать в тексте, но идея в том,
что мы постепенно двигаемся в мир, в котором фронтенд приложения может в
моменте подстроиться прямо под потребности пользователя. То есть ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект очень
сильно может изменить наше взаимодействие с интернетом, приложениями и
инфраструктурой.
И если ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект полностью контролируется компаниями, то Open Web просто не
произойдет. Поэтому нам нужно уже сейчас думать, что мы можем сделать.
Как мы можем убедиться, что базовые модели в будущем продолжат существовать в
формате открытого кода• Информационные технологии » Информатика » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение и при этом соревноваться с моделями больших компаний.
Как мы можем убедиться, что у нас в принципе есть инфраструктура для
развертывания приложений, в которой данные никуда не утекают.
Сейчас мы находимся в таком уникальном моменте, когда все последние прорывы в
области ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект более менее известны. То есть самое последнее, что OpenAI• Объект организация » Организации по алфавиту » Организации на Op » OpenAI делала —
это их Q-sharp или Strawberry — мы не знаем, что это, да. Но вот то, как
именно была натренирована GPT• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Высокие технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Телекоммуникации и связь » Радио » Радиосвязь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT
• Телекоммуникации и связь » Телефонная связь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT-4, более или менее известно. Информация о
большинстве ноу-хау утекла, либо они вообще создавались в открытую.
Но я думаю, очень вероятно, что в следующий год или два будут какие-то
прорывы, которые произойдут внутри OpenAI• Объект организация » Организации по алфавиту » Организации на Op » OpenAI или внутри Google• Объект организация » Организации по алфавиту » Организации на Go » Google (компания). И они не будут
доступны за их пределами.
И как мы можем сделать так у людей, которые хотят заниматься исследованиями в
области ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект, но не хотят идти в OpenAI• Объект организация » Организации по алфавиту » Организации на Op » OpenAI, есть доступ к необходимым ресурсам? Что
мы можем поставить в противовес всем этим исследованиям, которые происходят за
закрытыми дверями? Эти направления очень важны для того, чтобы прорыв
произошел. Поэтому мы запустили лабораторию NEAR AI• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект.
И какое место блокчейн• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн NEAR занимает в этом видении? Это будет уровень
доступности данных или уровень инсентивизации ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект-агентов — какие функции он
должен выполнять?
Для разных аспектов разные. Например, аннотация данных — она сегодня полностью
происходит в контексте блокчейна• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн NEAR. То есть все платежи участникам, которые
занимается разметкой, происходят в блокчейне• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн, как и верификация.
Для тех, кто не разбирается — что такое аннотация данных?
Допустим, вы хотите применить ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект в каком-то контексте. Сегодня отдельные
модели очень хорошо справляются с задачами, которые часто встречаются в
интернете. Например, почему модели так хорошо пишут код? Потому что есть
GitHub и там огромное количество этого самого кода. Но если у вас есть
какая-то задача, которая редко встречается в интернете, модель может
галлюцинировать, хуже справляться.
Потому что сам датасет меньше.
Да. Потому что в том огромном датасете, на котором она тренировалась, это
конкретное подмножество, которое вам релевантно, существенно меньше. И вы
приходите к людям, которые разбираются в этой теме, и говорите: «Ребята,
создайте набор данных, который будет близок к тому приложению, которые мы
хотим сделать».
Обычно этим занимаются специальные компании. Вы объясняете, что вы хотите, они
находят людей, которые могут создать для вас данные. И все работает достаточно
хорошо ровно до того момента, как вы хотите создать большой объем данных —
подход перестает работать.
Почему? Потому что в конечном итоге все равно люди в первую очередь хотят
заработать денег и только потом уже — создать для вас хороший набор данных. И
они всегда будут находить способы сделать минимальное количество работы, чтобы
получить свои деньги.
При незначительном объеме данных вы можете держать определенный штат людей,
которые будут эту работу проверять. Но с ростом масштаба это становится все
сложнее и сложнее.
И вот то, чем я занимался три года назад, это разрабатывал такую платформу,
где люди будут верифицировать работу друг у друга таким образом, чтобы
качество данных не падало• Экономика » Финансы » Платежные средства » Платежные системы интернета » Криптовалюта » Bitcoin.
Блокчейн• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн абсолютно естественным образом применим здесь. И в принципе я считаю
эту задачу сейчас полностью решенной. Мы еще не открыл и платформу для внешних
пользователей, но уже разметили сами огромное количество данных, которые мы
спонсировали для наших исследований. И мы, скорее всего, откроем ее либо в
этом году, либо в начале следующего. Она полностью построена поверх NEAR.
Что вы думаете о том, что происходит в области децентрализованного ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект?
Мне кажется, где вообще в целом блокчейн• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн увидит наибольшее применение, помимо,
разумеется, DeFi и финансовых операций, это, во-первых, [цифровая]
идентичность. Сейчас все происходит централизовано. В моем браузере фактически
есть хардкод — кому я должен доверять. Эта система не рабочая в долгосрочной
перспективе.
Блокчейн• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн полностью решает проблему доверия. Если ты знаешь имя моего аккаунта,
это знание гарантирует тебе возможность проверять мои подписи. Потому что
блокчейн• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн всегда будет хранить самый свежий ключ.
Во-вторых, контроль каких-то вещей, которые происходят вне сети. Например, Sia
— отличный пример того, как все происходит полностью офчейн, но определенные
метки записываются в блокчейн• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн. То же самое будет происходить в сетях
монетизации данных — все происходит офчейн, а в основной сети проверяется, что
данные были верно переданы и так далее.
В конечном итоге почти все проекты, которые сейчас существуют на стыке Web3 и
искусственного интеллекта• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект именно так блокчейн• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн и используют. Что-то происходит
вне сети, а в децентрализованный реестр записывают информацию, чтобы люди
знали, что данные используют таким-то образом, что инсентивизация доходит до
тех пользователей, до которых она должна дойти.
Вы говорили, что не верите в компании, которые строят продукты категории
AI• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект-first. Что означает последнее? Допустим, OpenAI• Объект организация » Организации по алфавиту » Организации на Op » OpenAI относится к таким
компаниям?
Да. Конечно, OpenAI• Объект организация » Организации по алфавиту » Организации на Op » OpenAI и Anthropic уже далеко позади оставили тот путь, который
проекту нужно пройти, чтобы люди вокруг были уверены, что он добьется успеха.
Но вот другой пример: если посмотреть на последнюю группу участников Y
Combinator и убрать там фильтр AI• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект — останутся буквально единицы компаний.
Потому что каждый стартап сейчас говорит: «Мы ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект для чего-то».
Проблема в том, что ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект — это лишь инструмент. Компании пытаются поставить его
во главе своего продукта — это приводит к тому, что появляется масса проектов,
которые ничем не отличаются друг от друга. Они используют одинаковые модели,
никакой разницы между ними нет. Поэтому большинство из них не имеет никакого
шанса выжить. Выиграет не тот, кто лучше всех построит, а тот, у кого есть
уникальный юзкейс для продукта.
В основном компании используют уже существующие модели, а не разрабатывают
собственные. Верно?
Разрабатывать собственные модели очень опасно, потому что это очень дорого. И,
конечно, той экспертизы, которая есть внутри OpenAI• Объект организация » Организации по алфавиту » Организации на Op » OpenAI или Anthropiс, у них тоже
нет. То есть разработать свою модель с нуля, я думаю, абсолютно гиблое дело
сегодня для большинства компаний. Просто потому, что у них нет ресурсов.
Может ли это изменить блокчейн• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн? Возможно, децентрализованное обучение моделей?
Это очень интересный вопрос. Я не думаю, что блокчейн• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн в изоляции мог бы
помочь. Но если не найдем способ объединить ресурсы для обучения моделей, если
не найдем способ делать исследования в области искусственного интеллекта• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект,
используя какую-то распределенную систему• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Вычислительная техника » Компьютер » Распределенные Системы
• Высокие технологии » Информационные технологии и телекоммуникации » Вычислительная техника » Компьютер » Распределенные Системы грантов, у нас не получится
построить будущее, в котором OpenAI• Объект организация » Организации по алфавиту » Организации на Op » OpenAI и Anthropic не контролируют самые лучшие
модели.
Создание и обучение моделей уровня GPT• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Высокие технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Телекоммуникации и связь » Радио » Радиосвязь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT
• Телекоммуникации и связь » Телефонная связь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT-4 требует огромных вычислительных
мощностей — кластеры с тысячами процессоров, таких как H100. И если одна
компания контролирует такой кластер, исчезновение этой компании приводит к
тому, что мы теряем доступ к ресурсам. Мы вынуждены строить новый кластер — а
это стоит огромных денег.
Есть шанс, что Meta продолжит публиковать модели. Если бы не они, мы были бы в
гораздо более худшем положении. Но мы не можем строить ориентированное на open
source• Информационные технологии » Информатика » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение будущее вокруг вполне себе закрытой компании.
В краткосрочной перспективе — какой наиболее вероятный сценарий, как может
развиваться попытка блокчейн• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн
• Высокие технологии » Информационные технологии и телекоммуникации » Базы данных » Публичная база транзакций » Блокчейн-сообщества построить модель уровня GPT• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Высокие технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Телекоммуникации и связь » Радио » Радиосвязь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT
• Телекоммуникации и связь » Телефонная связь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT-5 или даже
GPT• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Высокие технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Телекоммуникации и связь » Радио » Радиосвязь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT
• Телекоммуникации и связь » Телефонная связь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT-4? Это чтобы какая-то сущность построила большой кластер, который
комьюнити совместно оплачивает. Получается модель, контролируемая этим
сообществом и оно же делит доход от ее использования.
Но в долгосрочной перспективе, я думаю, что такой подход также является
опасным. Если упомянутая сущность исчезает, кластер тоже исчезает. Чтобы
продолжить обучать модель, нам нужно время для построения нового кластера. И
последний должен быть все больше и больше.
То есть сегодня 30 000 процессоров уже трудно объединить. Но если мы хотим
двигаться дальше, нам нужно больше ресурсов. Необходимо, чтобы люди нашли
способ тренировать модель в системах с большой задержкой.
Ну а потом достаточно просто впустить ресурсу от людей. У кого дешевое
электричество, у кого простаивают GPU. Если мы найдем способ тренировать
модели подобным образом, это полностью решит проблему.
И уже появляются интересные статьи от DeepMind и других лабораторий, которые
описывают, как тренировать модели с высокой задержкой.
Что означает высокая задержка в контексте обучения ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект?
Сегодня нам требуется быстрый обмен данными между процессорами. Например, все
кластеры OpenAI• Объект организация » Организации по алфавиту » Организации на Op » OpenAI используют InfiniBand, а Amazon используют EFA [elastic fabric
adapter].
То есть речь идет о быстром обмене информации между GPU?
Да. Потому что как вообще тренируются модели сегодня? Вы берете модель и
шардируете ее между устройствами. Есть три направления шардирования —
параллелизация [model parallelism], пайплайнинг и репликация.
Параллелизация и пайплайнинг сводятся к тому, что модель тренируется совместно
несколькими GPU. То есть одну модель распределяют на несколько устройств. И
обычно внутри машины — а там, допустим, 8 GPU — вы используете параллелизацию,
а между машинами — используете пайплайнинг. Но в конечном итоге оба этих
метода позволяют модель «разрезать» — как шардинг в базах данных.
Но обычно чем больше вы режете, тем хуже это работает. Обычно для модели
делают до восьми шардов внутри GPU и, допустим, максимум может быть 40 таких
машин. Получается 320 GPU. А вам нужно 30 000.
Вот этот оставшийся фактор, оставшийся множитель — это будет репликация. Когда
вы одну и ту же модель много, много раз реплицируете. Создаете условно 100
копий этой модели.
Но репликация негативно влияет на обучение. Поэтому вы не используете большие
коэффициенты.
В рамках параллелизации вам нужно очень быстрое соединение. Поэтому его делают
только между GPU в одной машине. Пайплайнинг — желательно иметь очень быстрое
соединение.
Репликация менее требовательна, поскольку каждая копия независима. Но потом вы
хотите все градиенты совместить — это все еще должно работать сравнительно
быстро. Потому что прямой или обратный переходы занимают секунды, а вот
градиенты — вся модель — это гигабайты данных.
Даже если у вас 200 млрд параметров — это вам нужно гигабайт передать. Если
задержка высокая, и у вас даже гигабитное соединение — это восемь секунд
получается.
То есть мы делаем прямой или обратный переходы за две секунды, а потом тратим
восемь, чтобы градиенты соединить. Это не работает.
И все идеи крутятся вокруг одного и того же — давайте использовать более
старый градиент. То есть мы реально будем тратить восемь секунда на
соединение, но в этом время продолжим делать переходы.
Будет ли такой подход работать? Постепенно — да. Есть надежда на то, что уже
через год это все будет полностью решенной проблемой. А может быть и нет.
Но в мире, где эта проблема решена, мы должны быть готовы собрать ресурсы
вместе, построить систему, где люди могут совместно предоставлять GPU, начать
тренировку большой модели. Нам нужно понимать, как будет происходить
регистрация, как эта модель может быть монетизирована.
В основу такого децентрализованного ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект ляжет не какой-то отдельный проект, а
группа протоколов? То есть, условный Akash будет предоставлять мощности для
обучения, а какой-то другой проект — уровень инсентивизации и так далее.
Я вполне себе могу представить ситуацию, когда какой-то проект в одиночку
может построить что-то большое. Сложно так говорить, но мы точно будем
пытаться.
В конечном итоге, мне кажется, для нас как для сообщество важно, чтобы
существовал путь к децентрализованной тренировке конкурентных моделей, которые
будут всегда на передовой.
Ходят слухи, что скоро выйдет GPT• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Высокие технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Телекоммуникации и связь » Радио » Радиосвязь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT
• Телекоммуникации и связь » Телефонная связь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT-5. А наша передовая модель [с открытым
исходным кодом• Информационные технологии » Информатика » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение
• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение
• Высокие технологии » Информационные технологии и телекоммуникации » Программирование » Программное обеспечение » Свободное программное обеспечение » Открытое программное обеспечение] – 405B абсолютно не способна соревноваться с GPT• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Высокие технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Телекоммуникации и связь » Радио » Радиосвязь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT
• Телекоммуникации и связь » Телефонная связь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT-4.
Получается, выходит GPT• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Высокие технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Телекоммуникации и связь » Радио » Радиосвязь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT
• Телекоммуникации и связь » Телефонная связь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT-5 и мы отстаем уже на два поколения.
Можно ли говорить о том, что централизованные модели обладают определенным
сетевым эффектом? Чем больше пользователей, тем больше данных, тем быстрее они
развиваются и тем сложнее их догнать.
Да, однозначно.
Если в целом говорить об ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект, как вы относитесь к опасениям людей касательно
самого факта появления сильного или даже общего искусственного интеллекта• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект?
Я в целом очень пессимистичен. Я думаю, что сценариев, в которых все это
заканчивается хорошо, меньше, чем противоположных.
Но сценарий, где все заканчивается хорошо, — они очень приятные. Конечно,
когда мы смотрим вокруг, понятно, что глобально средний человек — он скорее
несчастлив. Он не может достичь своего потенциала, потому что вынужден каждый
день водить Uber, чтобы свести концы с концами. Он не может стремиться к своим
мечтам.
Искусственный интеллект• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект, потенциально, позволит создать мир, в котором гораздо
больше людей смогут достигнуть своей мечты, как утверждается. Я не могу с
уверенностью говорить так ли это или нет, но утверждается, что количество
рутины будет уменьшаться, а количество ресурсов в мире — нет. Соответственно,
у среднего человека будет гораздо больше возможностей.
Вам не кажется, что в любом случае, при любом сценарии это все ведет к миру,
где человек уже ничего не решает, где все решает ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект?
Высокий шанс.
Есть лично моя надежда — я не очень верю, что так произойдет, но шанс не
нулевой, что в ближайшей перспективе, в ближайшие несколько десятилетий ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
опять достигнет какого-то потолка, который мы не сможем пробить.
Думаю, что в конечном итоге, в очень долгосрочной перспективе, если
человечество не вымрет по какой-то причине и продолжит развивать ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект, рано или
поздно искусственный интеллект• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект станет недостижим для нас. Мы станем не
релевантными.
Но я надеюсь, что есть шансы на достижения какого-то потолка, при котором ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
уберет большую часть рутины, значительно улучшит наши жизни. Но при этом либо
еще не осознает себя, либо, даже если осознает, не сделает нас полностью
бесполезными.
Это было бы просто превосходным развитием событий. Но для этого нам нужно
попасть в такую узкую зону, что все выглядит маловероятным. Скорее может
начаться сингулярность.
Я могу сказать, что с точки зрения рядового пользователя, который применяет
ChatGPT• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Высокие технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Телекоммуникации и связь » Радио » Радиосвязь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT
• Телекоммуникации и связь » Телефонная связь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT для решения каких-то рядовых задач, то, что происходит сейчас,
выглядит даже немного страшно. То, насколько хорошо ИИ• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Искусственный интеллект
• Информационные технологии » Искусственный интеллект
• Высокие технологии » Информационные технологии и телекоммуникации » Искусственный интеллект справляется с
отдельными задачами, вызывает одновременно и восторг и ужас.
Да. Но в защиту того, что нам, возможно, еще не конец, хочу привести следующий
пример. В 2017 году, когда мы начали работать над NEAR, мы были примерно в
таком же моменте — в период с 2015 по 2017 год невероятные прорывы происходили
постоянно, каждый месяц. И казалось, что это уже невозможно остановить.
Но с 2017 года — вплоть до выхода ChatGPT• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Высокие технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Телекоммуникации и связь » Радио » Радиосвязь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT
• Телекоммуникации и связь » Телефонная связь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT — наблюдалось очень сильное
замедление. Даже если говорить о GPT• Информационные технологии » Информационно-коммуникационные технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Высокие технологии » Информационные технологии и телекоммуникации » Интернет-технологии » Чат » ChatGPT
• Телекоммуникации и связь » Радио » Радиосвязь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT
• Телекоммуникации и связь » Телефонная связь » Сотовая связь » Сотовые телефоны » Программное обеспечение мобильных телефонов » Мобильное приложение » Чат » ChatGPT-3, модель вышла в 2019 году, но она была
очень неудобной, порог входа был очень высоким. Большинство людей даже не
знало, что она существует. А потом появился удобный интерфейс и люди осознали,
что у них с 2019 года был доступ к технологии.
Существующие модели забрали терабайты данных, которые мы как человечество
создали за все время своего существования. Все эти прорывы, которые
происходили за последние пару лет, происходили благодаря тому, что мы все
лучше «выжимали» полезную информацию из этих данных. И они могут нас до
определенного момента довести, безусловно. А дальше нам потребуются новые
датасеты. А сгенерировать новый терабайт данных не так легко.
То есть есть высокий шанс, что мы дойдем до потолка того, что модель может
получить из существующего интернета. И дальше уже встает вопрос — кто может
строить модели, которые более эффективно извлекают данные? Кто может
генерировать данные для обучения? Возможно, мы способны генерировать чистые
данные — а их нужно значительно меньше — в необходимых объемах?
Есть шанс, что мы упремся в потолок данных. А есть вероятность, что на самом
деле интернет уже содержит в себе все необходимое — просто сейчас мы не умеем
эту информацию достаточно эффективно извлекать. И постепенно мы просто придем
к тому, что какая-то модель обработает всю эту информацию и познает себя.
incrypted.com
