[Китай, Шэньчжэнь, 14 июля 2023 г.] Сегодня компания Huawei представила свое новое решение для хранения данных на базе искусственного интеллекта, подходящее для эпохи крупномасштабных моделей, предоставляющее оптимальные решения для хранения данных для базового обучения моделей, обучения отраслевых моделей и вывода в сегментированных сценариях, таким образом раскрывая новые возможности ИИ.
При разработке и внедрении крупномасштабных модельных приложений предприятия сталкиваются с четырьмя основными проблемами:
Во-первых, время, необходимое для подготовки данных, велико, источники данных разбросаны, а агрегирование происходит медленно: предварительная обработка сотен терабайт данных занимает около 10 дней. Во-вторых, для мультимодальных больших моделей с большими наборами текстовых и графических данных текущая скорость загрузки больших небольших файлов составляет менее 100 МБ/с, что приводит к низкой эффективности загрузки обучающего набора. В-третьих, частая корректировка параметров больших моделей, а также нестабильность обучающих платформ приводят к перерывам в обучении примерно каждые 2 дня, что приводит к необходимости возобновления обучения механизмом Checkpoint, при этом восстановление занимает более суток. Наконец, высокие пороги реализации для больших моделей, сложная настройка системы, проблемы с планированием ресурсов и загрузка ресурсов графического процессора часто ниже 40%.
Huawei соответствует тенденции развития искусственного интеллекта в эпоху крупномасштабных моделей, предлагая решения, адаптированные для разных отраслей и сценариев. Компания представляет систему хранения данных Deep Learning Data Lake OceanStor A310 и суперконвергентное устройство FusionCube A3000 для обучения/вывода. OceanStor A310 Deep Learning Data Lake Storage предназначен как для базовых сценариев, так и для сценариев озера данных больших моделей отраслевого уровня, обеспечивая комплексное управление данными искусственного интеллекта, начиная от агрегирования данных, предварительной обработки до обучения моделей и приложений для вывода. OceanStor A310, размещенный в одной стойке высотой 5U, поддерживает лучшую в отрасли пропускную способность 400 ГБ/с и до 12 миллионов операций ввода-вывода в секунду, а также линейную масштабируемость до 4096 узлов, что обеспечивает бесперебойную связь между протоколами. Глобальная файловая система (GFS) облегчает интеллектуальное объединение данных между регионами, оптимизируя процессы агрегирования данных. Вычисления, расположенные рядом с хранилищем, реализуют предварительную обработку данных, сокращая перемещение данных и повышая эффективность предварительной обработки на 30%.
Суперконвергентное устройство FusionCube A3000 для обучения/вывода, разработанное для сценариев обучения/вывода крупных моделей промышленного уровня, обслуживает приложения, включающие модели с миллиардами параметров. Он объединяет высокопроизводительные узлы хранения OceanStor A300, узлы обучения/вывода, коммутационное оборудование, программное обеспечение платформы искусственного интеллекта, а также программное обеспечение для управления и эксплуатации, предоставляя крупным партнерам по моделям возможность развертывания по принципу «включай и работай» для комплексной доставки. Готов к использованию, его можно развернуть в течение 2 часов. Узлы обучения/вывода и хранения могут быть независимо и горизонтально расширены в соответствии с различными требованиями масштаба модели. Между тем, FusionCube A3000 использует высокопроизводительные контейнеры, позволяющие выполнять несколько задач по обучению моделей и выводам для совместного использования графических процессоров, увеличивая использование ресурсов с 40% до более чем 70%. FusionCube A3000 поддерживает две гибкие бизнес-модели: универсальное решение Huawei Ascend и комплексное решение стороннего партнера с открытым программным обеспечением для вычислений, сетей и платформы искусственного интеллекта.
Президент линейки продуктов для хранения данных Huawei Чжоу Юэфэн заявил: «В эпоху крупномасштабных моделей данные определяют высоту интеллекта искусственного интеллекта. Хранилище данных, являясь носителем данных, становится ключевой базовой инфраструктурой для крупномасштабных моделей ИИ. Huawei Data Storage продолжит внедрять инновации, предлагая разнообразные решения и продукты для эпохи больших моделей искусственного интеллекта, сотрудничая с партнерами для расширения возможностей искусственного интеллекта в широком спектре отраслей».
Время публикации: 01 августа 2023 г.
