Компания WEKA объявила о выпуске своей платформы NeuralMesh AI Data Platform — ориентированной на корпоративный сектор, модульной инфраструктуры, предназначенной для развертывания ИИ-приложений на производстве. Созданная на основе эталонной архитектуры NVIDIA AI Data Platform, NeuralMesh AIDP предоставляет интегрированный стек, обеспечивающий доставку готовых к использованию в ИИ данных в производственные среды, с акцентом на ускорение развертывания крупномасштабных ИИ-приложений.
Платформа призвана решить давнюю проблему внедрения ИИ в корпоративной среде. Хотя многие организации завершают пилотные проекты, масштабирование этих внедрений в производство часто выявляет ограничения в инфраструктуре данных, стабильности производительности и сложности эксплуатации. NeuralMesh разработана для решения этой проблемы путем предоставления унифицированной платформы данных, оптимизированной как для экспериментов на ранних этапах, так и для рабочих нагрузок производственного масштаба.
Архитектура и дизайн
NeuralMesh основана на более чем десятилетнем опыте разработки решений для хранения данных, изначально предназначенных для ИИ, и включает в себя более 170 патентов. Платформа разработана для эффективного масштабирования в средах эксабайтного класса при сохранении производительности и отказоустойчивости. WEKA позиционирует NeuralMesh как адаптивную систему, которая улучшается с увеличением количества развертываний, особенно в распределенных средах ИИ, где со временем возрастают объемы доступа к данным и параллелизм.
В основе платформы лежит технология Augmented Memory Grid от WEKA, которая расширяет память графического процессора за счет вынесения и сохранения контекста вывода. Эта архитектура обеспечивает более эффективное использование ресурсов графического процессора за счет сокращения избыточных вычислений и поддержания контекста между сессиями. В задачах вывода компания сообщает о до 6,5 раз большем количестве токенов на один графический процессор по сравнению с традиционными подходами к хранению, что отражает повышение эффективности обработки больших контекстных окон и параллельных рабочих нагрузок.
Интеграция с инфраструктурой искусственного интеллекта NVIDIA.
NeuralMesh AIDP совместима с платформой NVIDIA AI Data Platform, обеспечивая тесную интеграцию с графическими процессорами, сетевыми технологиями и технологиями обработки данных. Платформа разработана для поддержки непрерывных конвейеров обработки данных и постоянного контекста вывода, что имеет решающее значение для производственных систем искусственного интеллекта. NVIDIA подчеркивает важность постоянного контекстного слоя для поддержания стабильности и производительности по мере масштабирования рабочих нагрузок вывода.
Решение доступно в виде предварительно интегрированной платформы, включающей проверенные конфигурации с графическими процессорами NVIDIA RTX 6000 PRO и RTX 4500 PRO Server Edition, а также интеграцию с экосистемой таких поставщиков, как Red Hat, Spectro Cloud и Supermicro. Такая модель развертывания в виде готового решения снижает сложность развертывания и ускоряет вывод продукта на рынок.
Внедрение ИИ на фабриках
WEKA позиционирует NeuralMesh AIDP как инфраструктуру для фабрик искусственного интеллекта, в которых сбор, обработка и вывод данных осуществляются в виде непрерывных, взаимосвязанных рабочих процессов. Эти среды требуют не только большой емкости хранилища. Они зависят от постоянного перемещения данных, сохранения контекста и предсказуемой производительности под нагрузкой.
NeuralMesh разработан для удовлетворения этих требований, обеспечивая непрерывный цикл передачи данных между хранилищем и вычислительными ресурсами. Это позволяет организациям поддерживать высокую степень использования графических процессоров, одновременно поддерживая динамические многоэтапные конвейеры искусственного интеллекта, включающие обучение, тонкую настройку и вывод результатов.
Предварительно созданные рабочие нагрузки для ИИ
Платформа включает в себя предварительно настроенные конвейеры для целого ряда приложений ИИ, позволяя организациям развертывать распространенные рабочие нагрузки без обширной интеграции. К ним относятся семантический поиск, поиск и суммирование видео, рабочие процессы AlphaFold для разработки лекарств, а также сценарии использования агентного поиска с дополненной реальностью.
В производственных средах NeuralMesh применяется в различных секторах. В здравоохранении и медико-биологических науках он поддерживает крупномасштабные рабочие процессы анализа данных, такие как идентификация групп пациентов и обработка наборов данных криоэлектронной микроскопии. В сфере финансовых услуг он позволяет анализировать рыночные сигналы и обеспечивать безопасный доступ к институциональным знаниям. Внедрение в государственном секторе сосредоточено на контекстном обнаружении угроз и автоматизированном синтезе доказательств. В робототехнике и физическом искусственном интеллекте платформа сокращает время между сбором данных и переобучением модели, повышая скорость отклика системы и циклы развертывания.
Источник www.storagereview.com
