Видеокарты NVIDIA H100
Видеокарта NVIDIA H100 Tensor Core обеспечивает высочайшую производительность, масштабируемость и безопасность для ЦОД.
При этом видеокарты отличаются относительно низким энергопотреблением, что делает их экономически эффективными в использовании.
|
· Система коммутации NVIDIA NVLink позволяет подключить до 256 графических процессоров H100 для ускорения экзафлопсных рабочих нагрузок. · Модуль Transformer Engine для решения языковых моделей с триллионом параметров ускоряет большие языковые модели (LLM) в 30 раз! На сегодняшний день, это лучший в отрасли диалоговый искусственный интеллект. · Программный пакет NVIDIA AI Enterprise упрощает внедрение искусственного интеллекта и обеспечивает высочайшую производительность. Это гарантирует организациям доступ к платформам и инструментам искусственного интеллекта, необходимым для создания рабочих процессов искусственного интеллекта с ускорением H100. |
Обучение искусственного интеллекта
|
Видеокарты H100 оснащены: · Тензорные ядра четвертого поколения и трансформаторный движок с точностью FP8 обеспечивают в 4 раза более быстрое обучение ИИ (сравнение с предыдущим поколением) для моделей GPT-3 (175B)· Комбинация NVLink четвертого поколения обеспечивает скорость соединения между графическими процессорами 900 гигабайт в секунду (ГБ/с) · Сеть NDR Quantum-2 InfiniBand ускоряет связь каждого графического процессора между узлами · PCIe Gen5 · Программное обеспечение NVIDIA Magnum IO обеспечивает эффективную масштабируемость от небольших систем до унифицированных кластеров графических процессоров |
 |
Выводы глубокого обучения в реальном времени
|
Усовершенствования H100, ускоряющие логический вывод до 30 раз при минимальной задержке: Тензорные ядра четвертого поколения ускоряют все виды точности, включая FP64, TF32, FP32, FP16, INT8, а теперь и FP8, сокращая использование памяти и повышая производительность, сохраняя точность для LLM. |
|
Экзафлопсные высокопроизводительные вычисления
|
Платформа NVIDIA для ЦОДов постоянно увеличивает производительность. А новые возможности искусственного интеллекта H100 усиливают возможности HPC+AI, ускоряя время открытия для ученых, работающих над решением мировых проблем. H100 обеспечивает 60 терафлопс вычислений FP64 для высокопроизводительных вычислений. Приложения HPC, объединенные с ИИ, могут использовать точность TF32 H100 для достижения пропускной способности в один петафлопс для операций умножения матриц одинарной точности без изменений кода. Графический процессор H100 оснащен новыми инструкциями DPX для обеспечения в 7 раз более высокой производительности в сравнении с A100 и в 40 раз более быстрой по сравнению с центральными процессорами при использовании алгоритмов динамического программирования (например Смит-Уотерман для выравнивания последовательностей ДНК и белков для прогнозирования их структуры). |
До 7 раз более высокая производительность для приложений HPC |
|
Ускоренный анализ данных
|
Ускоренные серверы с H100 обеспечивают вычислительную мощность, а также пропускную способность памяти 3 терабайта в секунду (ТБ/с) на каждый графический процессор и масштабируемость с помощью NVLink и NVSwitch для решения задач анализа данных с высокой производительностью и масштабируемостью для поддержки огромных наборов данных. В сочетании с NVIDIA Quantum-2 InfiniBand, программным обеспечением Magnum IO, Spark 3.0 с графическим ускорением и NVIDIA RAPIDS платформа NVIDIA для центров обработки данных обладает уникальной способностью ускорять эти огромные рабочие нагрузки с более высокой производительностью и эффективностью. |
Использование на предприятии
|
ИТ-менеджеры стремятся максимизировать использование вычислительных ресурсов в ЦОДах. Динамическая реконфигурация вычислительных ресурсов используется для получения ресурсов нужного размера для используемых рабочих нагрузок. H100 с MIG позволяет стандартизировать свою инфраструктуру с графическим ускорением, сохраняя гибкость в предоставлении ресурсов графического процессора. Так, разработчикам будет безопасно предоставляться нужный объем ускоренных вычислений, при этом будет оптимизировано использование всех ресурсов графического процессора. |
|
Встроенные конфиденциальные вычисления
|
Традиционные решения для конфиденциальных вычислений основаны на ЦП, что слишком ограничено для ресурсоемких вычислительных задач, таких как искусственный интеллект, в больших масштабах. NVIDIA Confidential Computing — это встроенная функция безопасности архитектуры NVIDIA Hopper, которая сделала H100 первым в мире ускорителем с такими возможностями. Благодаря NVIDIA Blackwell возможность экспоненциального повышения производительности при одновременной защите конфиденциальности и целостности используемых данных и приложений дает возможность получить ценную информацию о данных, как никогда раньше. Теперь клиенты могут использовать аппаратную доверенную среду выполнения (TEE), которая наиболее эффективно защищает и изолирует всю рабочую нагрузку. |
Высочайшая производительность для крупномасштабных систем искусственного интеллекта и высокопроизводительных вычислений
| Графический процессор Hopper Tensor Core станет основой архитектуры CPU+GPU NVIDIA Grace Hopper, специально созданной для ускоренных вычислений в терабайтном масштабе и обеспечивающей в 10 раз более высокую производительность на крупных моделях искусственного интеллекта и высокопроизводительных вычислений. Процессор NVIDIA Grace использует гибкость архитектуры Arm® для создания архитектуры процессора и сервера, изначально разработанной для ускоренных вычислений. Графический процессор Hopper соединен с процессором Grace с помощью сверхбыстрого межкристального соединения NVIDIA, обеспечивая пропускную способность 900 ГБ/с, что в 7 раз быстрее, чем PCIe Gen5. Этот инновационный дизайн обеспечит до 30 раз более высокую совокупную пропускную способность системной памяти для графического процессора по сравнению с самыми быстрыми современными серверами и до 10 раз более высокую производительность для приложений, обрабатывающих терабайты данных. |
|
Характеристики продукта
|
Form Factor |
H100 SXM |
H100 PCIe |
H100 NVL1 |
|
|
FP64 |
34 teraFLOPS |
26 teraFLOPS |
68 teraFLOPs |
|
|
FP64 Tensor Core |
67 teraFLOPS |
51 teraFLOPS |
134 teraFLOPs |
|
|
FP32 |
67 teraFLOPS |
51 teraFLOPS |
134 teraFLOPs |
|
|
TF32 Tensor Core |
989 teraFLOPS2 |
756 teraFLOPS2 |
1,979 teraFLOPs2 |
|
|
BFLOAT16 Tensor Core |
1,979 teraFLOPS2 |
1,513 teraFLOPS2 |
3,958 teraFLOPs2 |
|
|
FP16 Tensor Core |
1,979 teraFLOPS2 |
1,513 teraFLOPS2 |
3,958 teraFLOPs2 |
|
|
FP8 Tensor Core |
3,958 teraFLOPS2 |
3,026 teraFLOPS2 |
7,916 teraFLOPs2 |
|
|
INT8 Tensor Core |
3,958 TOPS2 |
3,026 TOPS2 |
7,916 TOPS2 |
|
|
GPU memory / Память графического процессора |
80GB |
80GB |
188GB |
|
|
GPU memory bandwidth / Пропускная способность памяти графического процессора |
3.35TB/s |
2TB/s |
7.8TB/s3 |
|
|
Декодеры |
7 NVDEC |
7 NVDEC |
14 NVDEC |
|
|
Максимальная расчетная тепловая мощность (TDP) |
Up to 700W (настраиваемая) |
300-350W (настраиваемая) |
2x 350-400W |
|
|
Multi-Instance GPUs |
Up to 7 MIGS @ 10GB each |
Up to 14 MIGS @ 12GB each |
||
|
Form factor |
SXM |
PCIe |
2x PCIe |
|
|
Interconnect |
NVLink: 900GB/s |
NVLink: 600GB/s |
NVLink: 600GB/s |
|
|
Server options |
NVIDIA HGX H100 Partner and NVIDIA-Certified Systems™ with 4 or 8 GPUs NVIDIA DGX H100 with 8 GPUs |
Partner and |
Partner and |
|
|
NVIDIA AI для предприятий |
Добавляется |
Включено |
Включено |
|
Bouz Group предлагает к поставке Видеокарты NVIDIA H100. Вы можете купить графические процессоры с доставкой по России по самым выгодным ценам, технические специалисты Bouz Group помогут с подбором необходимого оборудования.
