|
AMD, Arm, Intel, Meta, Microsoft, NVIDIA и Qualcomm стандартизируют форматы данных узкой точности нового поколения для ИИ
17, октябрь 2023 — Для реализации всего потенциала глубокого обучения нового поколения требуется высокоэффективная инфраструктура искусственного интеллекта. Чтобы вычислительная платформа была масштабируемой и экономически эффективной, необходима оптимизация каждого уровня стека ИИ, от алгоритмов до аппаратного обеспечения. Достижения в области форматов данных искусственного интеллекта с узкой точностью и связанных с ними оптимизированных алгоритмов сыграли решающую роль в этом пути, позволив отрасли перейти от традиционной 32-битной точности с плавающей запятой к нынешней точности только 8 бит (т.е. OCP FP8 ) . Более узкие форматы позволяют кремнию выполнять более эффективные вычисления искусственного интеллекта за такт, что ускоряет обучение модели и время вывода. Модели искусственного интеллекта занимают меньше места, а это значит, что им требуется меньше выборок данных из памяти, и они могут работать с более высокой производительностью и эффективностью. Кроме того, меньшее количество передач битов снижает скорость передачи данных по межсоединению, что может повысить производительность приложений или сократить сетевые расходы. Объединение ключевых лидеров отрасли для установления стандартовРанее в этом году AMD, Arm, Intel, Meta, Microsoft, NVIDIA и Qualcomm Technologies, Inc. сформировали Альянс микромасштабируемых форматов (MX, Microscaling Formats ) с целью создания и стандартизации 6- и 4-битных типов данных следующего поколения для ИИ. обучение и выводы. Ключевая технология, обеспечивающая работу суб-8-битных форматов, называемая микромасштабированием, основана на многолетнем опыте освоения космоса и исследований. MX повышает надежность и простоту использования существующих 8-битных форматов, таких как FP8 и INT8, тем самым снижая барьер для более широкого внедрения обучения и вывода однозначных битов. Первоначальная спецификация MX представляет четыре конкретных формата данных с плавающей запятой и целочисленных форматов (MXFP8, MXFP6, MXFP4 и MXINT8), которые совместимы с текущими стеками искусственного интеллекта, поддерживают гибкость реализации как на аппаратном, так и на программном обеспечении, а также обеспечивают мелкозернистое микромасштабирование на всех этапах. аппаратный уровень. Обширные исследования показывают, что форматы MX можно легко использовать во многих разнообразных реальных случаях, таких как большие языковые модели, компьютерное зрение и рекомендательные системы. Технология MX также обеспечивает предварительное обучение LLM с точностью до 6 и 4 бит без каких-либо изменений в традиционных рецептах обучения. Демократизация возможностей искусственного интеллекта В развивающемся мире ИИ открытые стандарты имеют решающее значение для содействия инновациям, сотрудничеству и широкому внедрению. Эти стандарты предлагают объединяющую структуру, которая обеспечивает согласованность цепочек инструментов, разработку моделей и совместимость во всей экосистеме ИИ. Это еще больше дает разработчикам и организациям возможность использовать весь потенциал ИИ, одновременно уменьшая фрагментацию и технологические ограничения, которые в противном случае могли бы замедлить прогресс. В этом духе MX Alliance выпустил спецификацию Microscaling Formats (MX) v1.0 в открытом, безлицензионном формате через Open Compute Project Foundation (OCP), чтобы обеспечить и стимулировать широкое внедрение в отрасли и обеспечить основу для потенциального будущего. узкоформатные инновации. Кроме того, были опубликованы технический документ и библиотеки эмуляции , в которых представлена подробная информация о подходе к науке о данных и избраны результаты MX в действии. Такая инклюзивность не только ускоряет темпы развития ИИ, но и способствует открытости, подотчетности и ответственной разработке приложений ИИ. « AMD рада быть одним из основателей MX Alliance и внесла ключевой вклад в разработку спецификации OCP MX v1.0. Это отраслевое сотрудничество по стандартизации форматов данных MX обеспечивает открытый и устойчивый подход к постоянным инновациям в области ИИ, одновременно предоставляя возможности ИИ. Пришло время экосистемы подготовиться к использованию форматов данных MX в будущем аппаратном и программном обеспечении. AMD стремится продвигать открытую экосистему искусственного интеллекта и рада поделиться результатами наших исследований по форматам данных MX с более широким сообществом искусственного интеллекта» .
« Как отрасль, у нас есть уникальная возможность сотрудничать и реализовывать преимущества технологии искусственного интеллекта, которая позволит создавать новые варианты использования от облака до периферийных устройств и конечных точек. Это требует приверженности стандартизации обучения и вывода ИИ, чтобы разработчики могли сосредоточиться на инновациях там, где это действительно важно, и выпуск спецификации OCP MX — важная веха на этом пути » .
« Спецификация OCP MX является результатом довольно широкого межотраслевого сотрудничества и представляет собой важный шаг вперед в унификации и стандартизации появляющихся суб8-битных форматов данных для приложений искусственного интеллекта. Портируемость и функциональная совместимость моделей искусственного интеллекта, обеспечиваемые этим, должны сделать разработчиков искусственного интеллекта очень интересными. Приложения искусственного интеллекта должны иметь более высокий уровень производительности и энергоэффективности при уменьшении потребности в памяти » .
« Чтобы идти в ногу с растущими требованиями искусственного интеллекта, инновации должны происходить на каждом уровне стека. Усилия OCP MX — это значительный шаг вперед в обеспечении большей масштабируемости и эффективности для самых сложных рабочих нагрузок обучения и вывода. MX основан на многолетнем опыте. Внутренняя работа и теперь совместная работа с нашими уважаемыми партнерами превратились в открытый стандарт, который принесет пользу всей экосистеме искусственного интеллекта и отрасли » .
« Форматы MX с широким спектром поддержки суб8-бит обеспечивают эффективные решения для обучения и вывода, которые можно применять к моделям ИИ в различных областях: от рекомендательных моделей со строгими требованиями к точности до новейших больших языковых моделей, чувствительных к задержкам. Мы считаем, что обмен этими форматами MX с OCP и более широким сообществом ML приведет к большему количеству инноваций в моделировании ИИ » .
« Спецификация OCP MX — это значительный шаг на пути к ускорению рабочих нагрузок по обучению искусственного интеллекта и выводам с помощью суб8-битных форматов данных. Эти форматы ускоряют работу приложений за счет уменьшения объема памяти и нагрузки на полосу пропускания, а также позволяют внедрять инновации в реализации математических операций. Спецификация открытого формата обеспечивает совместимость платформ, принося пользу всей отрасли » .
« Новая спецификация OCP MX поможет ускорить переход к более дешевым и маломощным серверным формам вывода ИИ. Мы увлечены демократизацией ИИ посредством менее затратного вывода и рады присоединиться к этим усилиям» .
Open Compute Project (OCP) — это совместное сообщество операторов гипермасштабных центров обработки данных, поставщиков телекоммуникационных услуг, колокейшн-провайдеров и корпоративных ИТ-пользователей, работающих с экосистемой поставщиков продуктов и решений для разработки открытых инноваций, которые можно развертывать от облака до периферии. Фонд OCP отвечает за развитие и обслуживание сообщества OCP, чтобы соответствовать рынку и формировать будущее, предлагая всем инновации, основанные на гипермасштабировании. Выход на рынок достигается путем устранения сложных рыночных препятствий с помощью открытых спецификаций, проектов и программ для развивающихся рынков, которые демонстрируют признанное OCP ИТ-оборудование и передовой опыт работы с центрами обработки данных. Формирование будущего включает в себя инвестиции в стратегические инициативы и программы, которые готовят ИТ-экосистему к крупным технологическим изменениям, таким как искусственный интеллект и машинное обучение, оптика, передовые методы охлаждения, компонуемая память и кремний. Открытые инновации, разработанные сообществом OCP, призваны принести пользу всем и оптимизированы с точки зрения воздействия, эффективности, масштаба и устойчивости. Подробную информацию можно найти на сайте: www.opencompute.org . |
| ||||||||
