最强AI芯片H200又升级

最新信息

最强AI芯片H200又升级
2023-11-14 21:29:00
K图 300609_0
  当地时间11月13日,英伟达宣布推出NVIDIA HGX H200。与当前市场上正炙手可热、供不应求的A100相比,H200的容量几乎是其两倍,带宽增加了2.4倍。H200将于2024年第二季度开始向全球系统制造商和云服务提供商供货。
  此前市场预计H200产品将在2024年发布,本次发布H200从节奏上明显超预期。与此同时,英伟达芯片短缺的影响进一步向算力产业链传导。
  11月14日汇纳科技发布关于拟对部分算力服务业务收费价格上调的公告引发市场关注。公告表示,受算力资源紧张影响,公司拟将内嵌英伟达A100芯片的高性能算力服务器算力服务收费同步上调100%。
  H200如何做到性能翻倍?
  与H100相比,H200对于700亿参数的大语言模型Llama 2,推理速度几乎翻了一番。预计在未来的软件更新中,H200的性能将得到进一步提升。
  据介绍,H200基于NVIDIA Hopper架构,配备具有高级内存的NVIDIA H200 Tensor Core GPU,可处理生成式AI和高性能计算工作负载的大量数据。
  H200是首款提供HBM3e的GPU,HBM3e速度更快、内存更大,可为生成式AI和大语言模型加速,同时推动HPC工作负载的科学计算。借助HBM3e,H200以每秒4.8TB的速度提供141GB的内存。
  H200可以部署在各种类型的数据中心中,包括本地、云、混合云和边缘。英伟达的全球合作伙伴服务器制造商生态系统,包括华擎机架、华硕、戴尔科技、Eviden、技嘉、惠普企业、Ingrasys、联想、云达科技、Supermicro、纬创和Wiwynn等都可以使用H200更新其现有系统。
  英伟达加速计算总经理兼副总裁伊恩·巴克(Ian Buck)表示:“要利用生成式AI和高性能计算HPC来创建智能,需要利用大容量、超高速的GPU内存来快速处理大量数据。英伟达H200将为业界领先的端到端AI超级计算平台进一步加速,以解决一些世界上最重要的挑战。”
  英伟达芯片短缺向下游传导影响
  在“百模大战”和AI大模型应用方兴未艾的背景下,算力短缺和供不应求是国内大模型厂商面临的共同挑战。英伟达主流算力芯片A100、H100、A800、H800等价格一路飙涨,被视为“硬通货”,甚至能用于抵押贷款。
  10月17日,美国政府进一步收紧对尖端人工智能芯片的出口管制,严格限制英伟达和其他芯片制造商向中国销售高性能半导体。根据新规,上述英伟达芯片均受到限制。英伟达芯片短缺的影响正向产业链传导。
  11月14日汇纳科技发布关于拟对部分算力服务业务收费价格上调的公告。
  公告称11月14日,公司接到合作方四川并济科技有限公司通知,由于内嵌英伟达A100芯片的高性能算力服务器算力需求大幅增加,相关高性能运算设备持续涨价,算力资源持续紧张,四川并济科技有限公司决定对其A100算力服务收费拟上调100%。鉴于此,自即日起,汇纳科技股份有限公司拟将所受托运营的内嵌英伟达A100芯片的高性能算力服务器算力服务收费同步上调100%。
  近日,英伟达被曝将向中国市场推出三款“定制”AI芯片,以应对最新限售令。三款芯片基于H100进行改良,规格分别为HGX H20、L20 PCle、L2 PCle,适用于云端训练、云端推理和边缘推理。业内预计英伟达最早于11月16日正式公布;送样时间预计为2023年11月到12月,量产时间预计为2023年12月到2024年1月。
(文章来源:上海证券报)
免责申明: 本站部分内容转载自国内知名媒体,如有侵权请联系客服删除。

最强AI芯片H200又升级

sitemap.xml sitemap2.xml sitemap3.xml sitemap4.xml