HGX PowerEdge XE9680 представляет собой самую универсальную на сегодняшний день платформу инфраструктуры искусственного интеллекта от Dell. Она сочетает в себе вычислительный узел форм-фактора PowerEdge R760 высотой 2U с вместительным отсеком для графических процессоров высотой 4U. Эта конструкция форм-фактора 6U отличается от решений Supermicro и ASUS, конструкционно не обладая самым выгодным дизайном с точки зрения обслуживания установленного выше 2U узла, так как требуется выдвижение всего сервера, что при полном подключении коннекторов может вызывать некоторые неудобства, одна Dell предпочтительней чем другие производители ввиду более быстрых сроков поставки и управления системой.
В основе XE9680 лежат два процессора Intel Xeon Scalable, предлагающие на выбор процессоры 5-го поколения с до 64 ядрами на каждый или 4-го поколения с до 56 ядрами. Объем оперативной памяти значителен: до 4 ТБ памяти DDR5 в 32 слотах DIMM, работающей со скоростью до 5600 МТ/с с новейшими процессорами.
Главное отличие XE9680 заключается в возможностях графического процессора. Платформа поддерживает восемь мощных графических процессоров. Доступные конфигурации включают NVIDIA HGX H200 (141 ГБ) и H100 (80 ГБ), AMD Instinct MI300X (192 ГБ) и Intel Gaudi3 (128 ГБ). Недавно представленный вариант XE9680L поддерживает графические процессоры NVIDIA следующего поколения B200 и прямое жидкостное охлаждение, расширяя границы плотности и производительности.
Конфигурации хранения данных также отличаются гибкостью, предлагая 8 2,5-дюймовых NVMe/SAS/SATA-накопителей или 16 NVMe-накопителей E3.S. Система может быть оснащена RAID-картой Dell H965i NVMe PERC, что упрощает избыточность хранения данных, особенно важную для больших кэшей типа "ключ-значение" при выполнении задач вывода.
Система питания спроектирована для максимальной надежности. Шесть блоков питания общей мощностью 19200 Вт сконфигурированы в отказоустойчивой резервной схеме 3+3. При отказе двух или более блоков питания система переходит в отказоустойчивый резервный режим вместо выключения. В этом режиме активируется функция ограничения мощности графического процессора, снижая тактовую частоту до одной четверти, что приводит к снижению производительности графического процессора примерно до одной пятой от типичной.
Возможности расширения весьма обширны: до 10 полноразмерных слотов PCIe Gen5 x16 половинной длины, два из которых поддерживают карты большей мощности, превышающей 75 Вт. Такое обилие разъемов PCIe позволяет создавать различные сетевые конфигурации, включая DPU и SmartNIC, что крайне важно для построения современной инфраструктуры искусственного интеллекта.
Полные технические характеристики:
| Спецификация | Подробности |
|---|---|
| Процессор | До двух процессоров Intel® Xeon® Scalable 5-го поколения (64 ядра на ЦП) До двух процессоров Intel® Xeon® Scalable 4-го поколения (56 ядер на ЦП) |
| Параметры графического процессора | XE9680: – NVIDIA HGX H200 (141 ГБ) SXM5 700 Вт – NVIDIA HGX H100 (80 ГБ) SXM5 700 Вт – AMD Instinct MI300X (192 ГБ) OAM 750 Вт – Intel Gaudi3 (128 ГБ) OAM 900 Вт |
| Память | 32 слота DIMM, 5600 МТ/с (5-е поколение), 4800 МТ/с (4-е поколение) |
| Хранилище | Фронтальные отсеки для накопителей: 8x 2,5″ NVMe/SAS/SATA (макс. 122,88 ТБ) 16x E3.S NVMe (макс. 122,88 ТБ) |
| Контроллеры хранения данных | Внутренние контроллеры: PERC H965i (не поддерживается Intel Gaudi3) Внутренняя загрузка: Оптимизированная подсистема хранения данных (NVMe BOSS-N1): HWRAID 1, 2 x M.2 SSD |
| Слоты PCIe | Слоты PCIe: до 10 слотов PCIe Gen5 x16 (8 слотов с Intel Gaudi3) |
| Сеть | 1x OCP 3.0 (опционально) 2x 1GbE LOM |
| Источники питания | 3200 Вт Титан (277 В переменного тока) 2800 Вт Титан (200-240 В переменного тока) |
| Размеры | Высота: 10,36″ (263,20 мм) Ширина: 18,97″ (482,00 мм) Глубина: 39,71″ (1008,77 мм) с безелем |
| Масса | До 251,44 фунтов (114,05 кг) |
| Форм-фактор | 6U стоечный сервер |
| Управление | Встроенные решения / На сервере: iDRAC9 iDRAC Direct iDRAC RESTful API с Redfish iDRAC Service Module Консоли: плагин CloudIQ для PowerEdge OpenManage Enterprise плагин OpenManage Power Manager плагин OpenManage Service плагин OpenManage Update Manager Инструменты: Dell System Update Dell Repository Manager Enterprise Catalogs iDRAC RESTful API с Redfish IPMI RACADM CLIOpenManage Интеграции: BMC Truesight Интеграция OpenManage с ServiceNow |
| Безопасность | Криптографически подписанная прошивка; Шифрование данных в состоянии покоя (SED с локальным или внешним управлением ключами); Безопасная загрузка; Защищенная проверка компонентов (проверка целостности оборудования); Безопасное стирание данных; Кремниевый корень доверия; Блокировка системы (требуется iDRAC9 Enterprise или Datacenter). |
| Охлаждение | Воздушное охлаждение |
Разработка и проектирование Dell PowerEdge XE9680
PowerEdge XE9680 — это внушительное устройство, высота которого с установленной рамкой составляет 10,36 дюйма (263,20 мм), ширина — 18,97 дюйма (482,00 мм), а глубина — 39,71 дюйма (1008,77 мм). В полностью загруженном состоянии его вес составляет 251,44 фунта (114,05 кг). Вес будет зависеть от выбранной видеокарты: модель NVIDIA H100/H200 весит 238 фунтов, а модель AMD MI300X — 251 фунт.
Это был первый сервер, для правильной установки которого в нашу тестовую среду потребовалось тщательное обдумывание. Учитывая вес сервера и количество людей, необходимых для установки оборудования в стойку, есть некоторый запас прочности, но в какой-то момент одному или двум людям уже будет недостаточно. По - этому стоит обязательно воспользоваться подъемным столом, для легкой установки сервера в шкаф, также стоить обратить внимание на допустимые требования по нагрузке в инструкции к серверному шкафу, чтобы шкаф не развалился!
| Вес шасси | Описание |
|---|---|
| 40 фунтов – 70 фунтов | Рекомендуется поднимать груз вдвоём. |
| 70 фунтов – 120 фунтов | Рекомендуется поднимать груз втроём. |
| ≥ 121 фунт | Требуется подъемник для серверов. |
Несмотря на свою сложность и рекомендации Dell по привлечению квалифицированных специалистов по обслуживанию, сервер XE9680 отличается удивительно удобными элементами обслуживания. Панели сервера содержат подробные инструкции по обслуживанию и четкую графику, что делает процедуры обслуживания на удивление доступными для опытных ИТ-специалистов. Эти визуальные руководства оказались бесценными во время нашей практической работы с системой, позволив нам уверенно обслуживать различные компоненты. Также для обслуживания стоит обязательно воспользоваться подъемным столом.
После открытия крышки PowerEdge XE9680, если не считать многочисленных силовых кабелей от небольшой подстанции сверху, он очень похож на PowerEdge R760. Наш экземпляр был оснащен двумя процессорами Intel Xeon Platinum 8468, каждый с 48 ядрами и частотой 2,1 ГГц. Каждый процессор имеет 80 линий PCIe, которые проходят через множество коммутаторов PCIe в этом устройстве для поддержки графических процессоров, сетевых карт и другого оборудования, установленного в XE9680.
Одной из наиболее впечатляющих инженерных особенностей является конструкция платы переключения PCIe (PSB). Эти платы обеспечивают подключение до 10 дополнительных полноразмерных карт PCIe половинной длины (две из которых могут потреблять более 75 Вт энергии) и интегрируются непосредственно с материнской платой графического процессора. Такая прямая интеграция позволяет использовать технологию GPU-direct, благодаря чему твердотельные накопители и сетевые карты могут напрямую взаимодействовать с графическими процессорами, минуя центральный процессор и уменьшая задержку для ресурсоемких задач искусственного интеллекта, требующих операций ввода-вывода.
Каждый слот расширения поддерживает полнофункциональный интерфейс PCIe Gen5 x16, включая два нижних слота слева и справа от него. В то время как восемь верхних слотов соединены через собственную плату PSB, два нижних слота подключаются напрямую к базовой плате PCIe (PBB). Эти два слота также поддерживают карты расширения с высоким энергопотреблением. Кроме того, следует отметить, что расположение слотов PCIe немного различается в зависимости от типа графического процессора, выбранного для PowerEdge XE9680. Модели с процессорами AMD не поддерживают SmartNIC/DPU, а у моделей с процессорами Intel Gaudi3 два слота заблокированы из-за проблем с воздушным потоком.
Охлаждение — еще одна область, где инженерный опыт Dell проявляется во всей красе. В системе используется до 16 высокопроизводительных вентиляторов класса «золото» — шесть в центральной части и десять сзади. PowerEdge XE9680 поддерживает широкий спектр сценариев установки, при этом температура окружающей среды варьируется от 10 до 35°C (30°C с графическими процессорами Intel Gaudi3). На полной мощности сервер обеспечивает впечатляющий поток воздуха в 1200 CFM в горячий коридор.
Эта надежная система охлаждения справляется даже с самыми высокими тепловыми нагрузками, включая графические процессоры AMD MI300X, Intel Gaudi3 или NVIDIA H100, поддерживая при этом оптимальные рабочие температуры. PowerEdge XE9680 издает довольно много шума под нагрузкой. Dell предоставляет полную спецификацию акустических характеристик XE9680 в различных условиях, но можно с уверенностью сказать, что под нагрузкой это будет шумная платформа.
Управление
Возможности управления XE9680 основаны на проверенной в корпоративной среде технологии Dell iDRAC9, которая обеспечивает комплексное управление жизненным циклом сервера и мониторинг. Эта версия iDRAC включает в себя ряд функций, оптимизированных для ИИ, в том числе подробную телеметрию графического процессора, анализ энергопотребления и расширенный мониторинг температуры, разработанный для высоконагруженных задач ИИ.
Система управления платформы особенно примечательна для развертывания инфраструктуры ИИ. Благодаря RESTful API iDRAC9 с поддержкой Redfish организации могут программно отслеживать и управлять использованием графических процессоров, пропускной способностью памяти и температурными условиями — критически важными показателями для поддержания оптимальной производительности обучения и вывода ИИ. Интеграция системы с OpenManage Enterprise позволяет управлять несколькими XE9680 в масштабах всего парка устройств через единую консоль, что крайне важно для крупномасштабных кластеров ИИ.
Безопасность и соответствие нормативным требованиям являются основополагающими элементами архитектуры управления. Платформа реализует механизм «кремниевого корня доверия» и проверку безопасности компонентов, обеспечивая целостность оборудования от загрузки до начала работы. Эти функции особенно ценны при выполнении ответственных задач искусственного интеллекта или работе с собственными весовыми коэффициентами моделей.
Функция прогнозирования отказов, работающая на основе интеграции с CloudIQ, использует машинное обучение для прогнозирования потенциальных проблем с оборудованием до того, как они повлияют на рабочие нагрузки. Этот проактивный подход особенно важен для длительных задач обучения ИИ, где неожиданные простои могут привести к потере вычислительных ресурсов на несколько дней. В сочетании с сервисом Dell ProSupport Plus эта функция прогнозирования запускает автоматическое создание заявок и отправку запчастей, что часто приводит к профилактическому обслуживанию до того, как система начнет деградировать.
Для организаций, которым необходима интеграция с существующими инструментами управления, XE9680 поддерживает различные системы управления благодаря интеграции с OpenManage, включая ServiceNow и BMC TrueSight, что позволяет беспрепятственно интегрировать устройство в устоявшиеся рабочие процессы управления ИТ-услугами.
Интерфейс iDRAC9 обеспечивает детальный мониторинг критически важных компонентов в режиме реального времени через интуитивно понятную панель управления. Мониторинг графического процессора отображает исчерпывающие показатели, включая температуру, энергопотребление и коэффициенты использования всех восьми ускорителей, что крайне важно для оптимизации распределения рабочей нагрузки ИИ.
Интерфейс мониторинга хранилища обеспечивает мгновенный доступ к информации о состоянии дисков, температуре и показателях производительности всего массива NVMe, что особенно ценно при управлении кэшами для высокопроизводительных вычислений и обучающими наборами данных.
Память, хранение и масштабируемость
Восемь графических процессоров AMD MI300X, установленных в Dell PowerEdge XE9680, представляют собой значительный скачок в объеме памяти графических процессоров, предлагая 192 ГБ памяти HBM3 на каждую карту по сравнению со 141 ГБ у NVIDIA H200. Это увеличение объема памяти на 36% — не просто цифра в технических характеристиках, а критически важный показатель для развертывания больших языковых моделей.
Этот огромный объем памяти в сочетании с пропускной способностью памяти MI300X в 5,3 ТБ/с позволяет организациям запускать несколько экземпляров небольших моделей или распределять более крупные модели между графическими процессорами, сохраняя при этом высокую пропускную способность и низкую задержку.
Для сравнения, модель Meta Llama 3.1 405B, для которой в BF16 требуется более 1 ТБ видеопамяти, может быть без проблем распределена по одному серверу XE9680 с графическими процессорами MI300X без квантования и с полной длиной контекста 128 КБ. Это исключает потенциальную потерю качества, связанную с методами квантования, и позволяет обрабатывать больше токенов в секунду по сравнению с распределением модели по двум серверам.
Для максимального увеличения объема хранилища мы использовали накопители Solidigm объемом 61,44 ТБ в качестве сложного дополнения к памяти, заполнив пробел между высокоскоростной памятью графического процессора и традиционными накопителями. SSD-накопители отлично подходят для хранения пар «ключ-значение» во время инференции, эффективно расширяя емкость памяти графического процессора для генерации длинных контекстов. Их огромная емкость и производительность NVMe делают их идеальными для быстрого доступа к весам модели, обеспечивая эффективное переключение моделей и «теплый» запуск.
В таких приложениях, как развернутая ниже система Metrum AI, твердотельные накопители выполняют двойную функцию, являясь хранилищем для векторных баз данных, обеспечивая производительность, необходимую для поиска сходства в реальном времени, и одновременно сохраняя емкость для обширного хранения встраиваний.
Ценность этих высокопроизводительных накопителей распространяется не только на процессы инференции, но и на процессы обучения. Они обеспечивают идеальное локальное хранилище для постановки в очередь обучающих пакетов, снижая сетевую нагрузку за счет размещения данных ближе к вычислительным ресурсам. Во время обучения эти накопители отлично справляются с локальным хранением контрольных точек модели, что имеет решающее значение для поддержания прогресса обучения и обеспечения быстрого восстановления. Эта стратегия локального хранения также помогает оптимизировать использование сети за счет уменьшения непосредственного сетевого трафика после обработки каждого слоя и пакета.
Хотя объем в 61,44 ТБ, распределенный по восьми отсекам в XE9680, звучит многообещающе, в будущем ожидается значительное увеличение емкости. Благодаря недавно анонсированному накопителю Solidigm объемом 122,88 ТБ , плотность хранения данных в XE может быть удвоена, достигнув почти петабайта, что позволит оптимизировать обучение и увеличить срок службы кэшей для вывода результатов.
Metrum AI Healthcare Assistant – революция в уходе за пациентами
В сфере здравоохранения постоянно возникает проблема управления трудоемкой документацией и ведением медицинской документации, что часто отвлекает от непосредственного ухода за пациентами. Система Healthcare Assistant от Metrum AI, развернутая на серверах Dell PowerEdge XE9680 с ускорителями AMD, демонстрирует, как передовая инфраструктура искусственного интеллекта может трансформировать рабочие процессы в здравоохранении, повышая эффективность и улучшая результаты лечения пациентов.
В качестве основной языковой модели система использует Llama 3.1 70B Instruct, известную своей способностью понимать медицинский контекст. Это позволяет ей легко обрабатывать сложные данные о пациентах. Эта языковая модель сочетается с моделью встраивания gte-v1.5 и базой данных Milvus Vector DB, обеспечивая надежную основу для обработки естественного языка и понимания контекста, необходимых для работы с медицинскими данными.
В состав Healthcare Assistant от Metrum AI также входит мультимодальный подход, включающий HistoGPT для анализа гистопатологических изображений и Whisper от OpenAI для транскрипции врачебных записей в режиме реального времени. Вместе эти модели оптимизируют клинические рабочие процессы, позволяя врачам говорить естественно, в то время как система в режиме реального времени транскрибирует, классифицирует и интегрирует информацию в медицинские карты пациентов.
Metrum AI понимает, что, несмотря на относительно небольшой объем данных отдельных пациентов, совокупные потребности в хранении данных в больницах с высокой нагрузкой могут достигать сотен терабайт. Dell PowerEdge XE9680 решает эту проблему благодаря встроенному локальному NVMe-хранилищу. Наша конфигурация предлагает восемь отсеков для 2,5-дюймовых NVMe-накопителей U.2, работающих на скорости PCIe Gen4. Хотя мы тестировали XE9680 с твердотельными накопителями Soldigim D5-P5336 QLC объемом 61,44 ТБ , эта емкость может быть увеличена еще больше. Компания Soldigim недавно выпустила новые модели D5-P5336 QLC объемом 122,88 ТБ , которые удваивают емкость их и без того огромных твердотельных накопителей, сохраняя при этом ту же производительность.
Компания Metrum предоставила оценки того, как данные пациентов изменяются со временем в различных сценариях. Если перевести это в общую емкость хранилища, можно увидеть, сколько дополнительных пациентов может обслуживать устройство, используя твердотельные накопители максимальной емкости. Сопоставив предполагаемый объем данных на одного пациента с полезной емкостью каждого SSD (57 ТБ для SSD на 61 ТБ и 114 ТБ для SSD на 122 ТБ), мы видим, что использование SSD с высокой плотностью значительно увеличивает объем данных, которые можно хранить на сервере в течение года.
| Общая годовая смета расходов на одного пациента | Примечания | Предполагаемый объем хранения | Количество пациентов на 61 ТБ SSD | Количество пациентов на 122 ТБ SSD |
|---|---|---|---|---|
| Расширенные требования к хранению данных (изображения/варианты DICOM, аугментации, обработанные копии, аудиозаписи, подробные записи) | Включает в себя несколько копий изображений, расшифровки аудиозаписей и записи. | ~8,4 ГБ | 6786 | 13,571 |
| Сценарий интенсивного хранения данных (насыщенная обработка, частые обращения) | Частые визиты, высокие требования к обработке изображений. | ~10,5 ГБ | 5428 | 10,857 |
Хотя первоначальные оценки на 1 год кажутся довольно завышенными, важно отметить, что данные о пациентах не статичны. Будут собираться новые данные и назначаться новые визиты, что увеличит потребность в хранении данных. Именно здесь хранение данных играет значительную роль в сфере медицинской визуализации. Дополнительная емкость хранилища напрямую влияет на то, сколько пациентов может эффективно обслуживать данное решение.
| Примерный 10-летний срок хранения на одного пациента | Примечания | Предполагаемый объем хранения | Количество пациентов на 61 ТБ SSD | Количество пациентов на 122 ТБ SSD |
|---|---|---|---|---|
| Расширенный сценарий (несколько копий, подробные записи, аудио, дополнения) | Расширенная документация, частое получение изображений и обработка данных. | ~84 ГБ | 679 | 1357 |
| Интенсивный сценарий (интенсивная обработка, исчерпывающая история) | Максимальные потребности в обработке и хранении в течение 10 лет. | ~105 ГБ | 543 | 1086 |
Сервер Dell PowerEdge XE9680, оснащенный ускорителями AMD MI300X и интегрированный с Metrum AI Healthcare Assistant, представляет собой масштабируемое и эффективное решение для медицинских учреждений. Автоматизируя трудоемкие задачи и обеспечивая быстрый доступ к важной информации, эта система позволяет врачам больше сосредоточиться на уходе за пациентами, справляясь с растущими потребностями. Благодаря бесшовной интеграции компонентов ИИ в различных областях, включая распознавание языка, изображений и голоса, Healthcare Assistant представляет собой значительный шаг вперед в разработке решений для здравоохранения на основе ИИ, снижая административную нагрузку и улучшая общие результаты лечения пациентов.
Вывод
В постоянно меняющемся мире корпоративного ИИ Dell PowerEdge XE9680 устанавливает новый стандарт, демонстрируя, как специализированное оборудование может произвести революцию в различных отраслях. Внедрение Metrum AI Healthcare Assistant демонстрирует одну из бесчисленных возможностей — представьте себе финансовые учреждения, запускающие сложные модели анализа рисков в режиме реального времени, или исследовательские лаборатории, обрабатывающие огромные массивы данных для разработки лекарств, — и все это на базе этой замечательной системы.
Сервер XE9680 предлагает исключительную универсальность в выборе графических процессоров, от NVIDIA H100 до AMD MI300X и Intel Gaudi3. Эта гибкость в сочетании с большим объемом памяти, вариантами хранения данных и инновационными системами охлаждения делает его не просто сервером для ИИ — это полноценная корпоративная вычислительная платформа, способная обрабатывать самые ресурсоемкие задачи в различных приложениях, будь то центр обработки данных или медицинский кабинет.
С точки зрения хранения данных, сервер имеет всего восемь отсеков для NVMe-накопителей, но благодаря Solidigm мы можем использовать их SSD-накопители объемом 61,44 ТБ, чтобы разместить в системе почти полпетабайта рабочего пространства для медицинского ассистента, о котором мы говорили выше. Если этого недостаточно, Solidigm только что объявила об удвоении емкости D5-P5336 до 122,88 ТБ, что означает, что в такие системы можно разместить примерно петабайт флэш-памяти рядом с ускорителем, что позволит эффективно выполнять задачи искусственного интеллекта.
Где купить?
Сервер доступен к поставке в Республике Беларусь у компании ООО "Проект Сервер" однако стоимость требует еженедельного уточнения ввиду роста стоимости чипов памяти, стандартные сроки поставки такой системы составляют от 2-х до 6-ти месяцев, для уточнения текущих цен можно оставить заявку на электронную почту
sales@server-pro.by или по номерам +375 33 354 77 57 и +375292883223 (telegram - viber).
Источник storagereview
