XAI Илона Маска выпустил свой Грок большая языковая модель в «открытом исходном коде» на этих выходных. Миллиардер явно надеется противопоставить свою компанию конкуренту OpenAI, который, несмотря на свое название, не отличается широтой взглядов. Но действительно ли выпуск кода чего-то вроде Grok способствует развитию сообщества разработчиков ИИ? Да и нет.

Grok — это чат-бот, обученный xAI выполнять ту же смутно определенную роль, что и ChatGPT или Claude: вы спрашиваете, он отвечает. Однако этому LLM был придан дерзкий тон и дополнительный доступ к данным Twitter, чтобы отличить его от других.

Как всегда, эти системы практически невозможно оценить, но общее мнение, похоже, таково, что они конкурентоспособны с моделями среднего размера последнего поколения, такими как GPT-3.5. (Решите ли вы, что это впечатляет, учитывая короткие сроки разработки, или разочаровывает, учитывая бюджет и шумиху вокруг xAI, полностью зависит от вас.)

Тем не менее, Grok — это современная, функциональная компания LLM значительного размера и возможностей, и чем больше доступа сообщество разработчиков имеет к внутренностям таких вещей, тем лучше. Проблема заключается в том, чтобы определить слово «открытость» таким образом, чтобы оно не просто позволяло компании (или миллиардеру) претендовать на высокие моральные принципы.

Это не первый случай, когда термины «открытый» и «открытый исходный код» подвергаются сомнению или злоупотреблениям в мире ИИ. И мы говорим не только о технической проблеме, например, о выборе пользовательской лицензии, которая не так открыта, как другая (Grok — это Apache 2.0, если вам интересно).

Во-первых, модели искусственного интеллекта отличаются от другого программного обеспечения тем, что они делаются «с открытым исходным кодом».

Если вы создаете, например, текстовый процессор, сделать его открытым исходным кодом относительно просто: вы публикуете весь свой код публично и позволяете сообществу предлагать улучшения или создавать свою собственную версию. Ценность открытого исходного кода как концепции отчасти заключается в том, что каждый аспект приложения является оригинальным или принадлежит его первоначальному создателю. Эта прозрачность и уважение к правильному атрибуции являются не просто побочным продуктом, но занимают центральное место в самой концепции открытости.

ЧИТАТЬ   Король Чарльз не хочет «одиозной» присяги на верность при коронации

С ИИ это, возможно, вообще невозможно, потому что способ создания моделей машинного обучения включает в себя в значительной степени непознаваемый процесс, посредством которого огромное количество обучающих данных превращается в сложное статистическое представление, которым ни один человек по-настоящему не управляет или даже не понимает. . Этот процесс нельзя проверять, проверять и улучшать так же, как традиционный код. Поэтому, хотя в каком-то смысле он по-прежнему имеет огромную ценность, его никогда нельзя по-настоящему открыть. (Сообщество по стандартизации даже не имеет определили, каким будет открытие в этом контексте, но активно обсуждать это.)

Это не помешало разработчикам и компаниям ИИ разрабатывать и заявлять о своих моделях как «открытых» — термин, который в этом контексте потерял большую часть своего значения. Некоторые называют свою модель «открытой», если есть публичный интерфейс или API. Некоторые называют это «открытым», если публикуют статью, описывающую процесс разработки.

Возможно, самая близкая модель ИИ к «открытому исходному коду» — это когда ее разработчики публикуют свои масса, то есть точные атрибуты бесчисленных узлов нейронных сетей, которые выполняют векторные математические операции в точном порядке для завершения модели, инициированной вводом пользователя. Но даже модели с «открытым взвешиванием», такие как LLaMa-2, исключают другие важные данные, такие как набор данных и процесс обучения, которые потребуются для их воссоздания с нуля. (Некоторые проекты, конечно, идут дальше.)

И все это без упоминания того факта, что для создания или воспроизведения этих моделей требуются миллионы долларов вычислительных и инженерных ресурсов, что фактически ограничивает число тех, кто может создавать и воспроизводить их, компаниями со значительными ресурсами.

Так где же в этом спектре находится версия xAI Грока?

ЧИТАТЬ   Тинькофф Банк начал выпуск карт Union Pay — их не везде будут принимать

Модель с открытым весом готова к использованию кем угодно. загружать, использовать, изменять, уточнять или перерабатывать. Это хорошо! Похоже, что это одна из самых больших моделей, к которым каждый может свободно получить доступ таким образом, с точки зрения параметров — 314 миллиардов — что дает любознательным инженерам много возможностей для работы, если они хотят проверить, как она работает после различных модификаций.

Однако размер модели имеет серьезные недостатки. Чтобы использовать его в таком виде, вам понадобятся сотни гигабайт высокоскоростной оперативной памяти. Если у вас еще нет, скажем, дюжины Nvidia H100 в шестизначной установке для вывода искусственного интеллекта, не трудитесь нажимать на эту ссылку для скачивания.

И хотя Grok, возможно, конкурирует с некоторыми другими современными моделями, он также намного больше их, а это означает, что для достижения той же цели ему требуется больше ресурсов. По-прежнему существует иерархия размеров, эффективности и других параметров, и это по-прежнему ценно, но это больше зависит от сырья, чем от конечного продукта. Также неясно, является ли это последней и лучшей версией Grok, подобно явно оптимизированной версии, к которой некоторые имеют доступ через X.

В целом, обнародовать эти данные — это хорошо, но это не так меняет правила игры, как некоторые надеялись.

Также трудно не задаться вопросом, почему Маск это делает. Действительно ли его молодая компания по искусственному интеллекту занимается разработкой открытого исходного кода? Или это просто грязь в глазах OpenAI, с которой Маск сейчас ведет битву на уровне миллиардера?

Если они действительно посвятят себя разработке с открытым исходным кодом, это будет первый из многих, и, надеюсь, они учтут отзывы сообщества, опубликуют другую важную информацию, охарактеризуют процесс обучения данных и дополнительно объяснят свой подход. Если это не так, а это делается только для того, чтобы Маск мог указать на это в онлайн-аргументах, это все равно ценно, но это не то, на что кто-то в мире искусственного интеллекта рассчитан. следующие несколько месяцев играю с ним. модель.

ЧИТАТЬ   Западные страны не знают, как убедить солдат оставаться в армии - Politico

Source

От admin