狠狠社

作家 | 香草

裁剪 | 李水青

智东西9月5日报谈，本日，腾讯云在腾讯大家数字生态大会上发布AI Infra（AI基础方法）品牌“腾讯云智算”，将旗下高性能诡计HCC、星脉相聚、AIGC云存储等单项居品才略整合，提供集算存网一体的高性能智算底座。

腾讯云智算咫尺已办事了90%的国内大模子头部用户，包括百川智能、智谱AI等。据腾讯公司副总裁、云与聪惠产业行状群COO兼腾讯云总裁邱跃鹏先容，腾讯云的集群千卡单日故障数是行业水平的1/3，数据读写后果是业界10倍，千卡集群通讯期间是业界一半。

在大会之前，智东西与少数媒体对话了腾讯云副总裁、云诡计资深时期大家沙开波，潜入疏导了智算产业的市集趋势、时期难点等。

谈及AI对云诡计的影响，沙开波觉得恒久来看，生成式AI的发展是具有笃定性的，大模子对智算产业来说是一块很大的增量，将来一定会有一个比较大的爆发节点。

之是以选用在这时诞生腾讯云智算的品牌，也与客户需求有很大的关联。另一方面，大模子诡计、推理等场景对云基础方法建议高条目，腾讯云四肢惩处决策提供方需要不停打磨居品才略，从而更好地复古这一类客户的业务需求。

一、集算存网一体，从开采上架到启动覆按仅1天

全体来看，腾讯云智算是一个集算、存、网于一体的高性能智算底座，整合了腾讯云高性能诡计HCC、高性能相聚IHN星脉、高性能云存储、加快框架、容器、向量数据库、智算套件等居品，提供性能卓绝、多芯兼容、机动部署的智算居品才略。

互联网企业、大模子厂商、土产货智算IDC、金融企业等是腾讯云智算现阶段的主要客户，具体到场景中除了公有云，还有独有云、专有云的一些应用，其中大模子厂商是最主要的客户之一。

腾讯云智算在覆按启动时效上大幅普及，从开采到位到启动覆按，相较业界平均的30天期间减轻到仅1天。

在集群健硕性方面，腾讯云智算千卡单日故障卡数0.08，唯有业界的1/6；数据读写后果上，Checkpoint团员写入的峰值性达到业界10倍以上，1分钟就能完成万卡Checkpoint读写；相聚交换后果方面，通过办事器、相聚端、交换机和通讯库的全体自研优化，千卡集群的通讯期间占比为6%，是业界平均期间占比12%的一半。

▲腾讯云智算覆按后果

跟着市面上的大模子参数不停增长，从百亿、千亿，逐步扩张到万亿，模子覆按对底层算力集群的条目也不停普及。腾讯云是怎么破解集群升级难点的？

沙开波谈谈，大限制诡计集群的打造亦然腾讯云智算居品矩阵最念念惩处的问题。其中狠狠社，HCC高性能诡计居品是专诚用于高性能、健硕、大限制诡计集群的构建，而怎么将GPU等算力高效愚弄起来，则用到星脉相聚来提供卡之间的高效互联，模子覆按过程中的Checkpoints高效读写对应的是高性能存储居品。

基于这些居品全体构建的诡计存储相聚全栈惩处决策，才调匡助客户罢了大限制集群的高效愚弄。

二、4天训完万亿参数模子，相聚故障5分钟惩处

具体来看腾讯云智算的居品矩阵，包括高性能诡计、相聚、存储居品，加快框架、向量数据库以及智算套件等。

▲腾讯云智算惩处决策

腾讯云HCC高性能诡计集群发布于客岁4月，是行业最早发布的面向大模子覆按、推理的算力集群。

HCC底层继承腾讯云自研星星海办事器，不错提供3.2T的超高互联带宽，算力性能比上一代普及3倍。万亿参数的混元NLP大模子覆按，最快4天就能覆按完成。在健硕性方面，HCC千卡单日故障卡数为0.08，无中断覆按时长达到300小时，是业界平均市集50小时的6倍。

腾讯云星脉相聚是其自研的高性能诡计相聚IHN，复古超10万卡大限制组网、多型号异构GPU接入，相聚通讯后果比上一代普及60%，大模子覆按后果普及20%。

星脉相聚具备高效的故障处理才略，在万卡集群下，相聚故障可罢了1分钟发现，3分钟定位，5分钟惩处。

据沙开波先容，这是因为星脉相聚通过一些流量和拓扑的自动感知，进行流量替换中心的调遣，从而普及扫数相聚的婉曲，并在发现故障的时候迅速定位到是哪个链路出的问题，对链路进行调遣、特殊处理，让扫数覆按不错不中断约略少中断。

腾讯云的AIGC云存储惩处决策包括CFS Turbo、对象存储COS、数据加快器GooseFS以及数据处理CI等，针对AI大模子数据相聚清洗、覆按、推理、数据智理全经过，提供全面高效的云存储复古，可将大模子的数据清洗和覆按后果普及一倍。

三、千卡集群每年降本2000万，助力传统企业AI转型

咫尺，腾讯云智算不错机动地复古公有云、独有云以及散播式云的输出，成为了国内90%头部大模子厂商的选用，也匡助一多数IDC厂商罢了了AIDC转型。

沙开波解读了腾讯云智算具体的落地案例，公有云的一些大模子的客户在使用其好意思满的智算惩处决策后，一个千卡集群每年的老本比较昔时传统的花式不错镌汰2000万。

举例某社区电商的企业，在指摘分析、图像分类等OCR、CV业务上应用腾讯云智算惩处决策，在客岁下半年从外洋的芯片更换成了腾讯云公有云上的国产芯片。在主要业务绸缪不变的前提下，只用了21天就完成了替换，其中两周左右用来适配模子，一周左右改进推理框架，对不同芯片的适配相等高效机动。

▲腾讯云智算客户价值

在独有云的落地上，腾讯云智算主要的客户是传统的IDC公司，它们原来具有机房、硬件、相聚上风，然而短缺云、软件惩处决策。

具体案例是，某传统IDC企业通过与腾讯云智算谐和，组建新一代具备AI Infra基础才略的智算平台，并通过田户、计费管制等才略，为结尾用户提供一站式自主用云办事，罢了到AIDC的转型。该客户还赢得了本年的信得过云大会用户最好实行奖。

四、谈智算产业五大趋势，保握兼容、通达、公私一体

纵不雅扫数智算产业，正处于快速发展的阶段，从产业限制、应用场景到时期立异齐在不停拓展。沙开波与咱们共享了腾讯云对将来趋势的观点，主要有五个层面。

最初是大模子的限制仍在握续增多，这对AI Infra条目也越来越高，需要更大的算力集群，如安在更大集群下确保健硕性、应用性不错赋闲条目是主要命题。

其次是多芯的才略。多芯一方面起原于供给端的挑战，需要AI Infra居品去适配多样芯片的才略，比如金融等行业的一些央国企会有国产化诉求，需要云厂商去兼容、适配国产化的芯片。

第三是咫尺全体AI应用，处于一个快速发展的阶段，在应用落地层面仍处于前期，将来可能会越来越快。从这个角度看，将来的推理比重可能也会逐步增多。

第四是AI场景变得越来越平庸，许多行业还在探索的阶段。从腾讯云智算和许多客户的疏导中，不错看出他们在这方面齐有很强的诉求，将来战胜会有一些立异的业务应用落地。

临了是对数据安全的需求锐利。对许多国内企业来说，用于覆按推理的业务数据，只可在我方的机房内部完成，这对居品才略的部署建议比较多诉求。

谈及腾讯云智算的全体策略标的，沙开波称腾讯云从ChatGPT出现后就一直在打磨居品，在原来的通用诡计、云上去演进，让原有的云基础方法能愈加赋闲大模子时期对覆按、推理场景的诉求。

这次发布腾讯云智算品牌，主要还是出于把昔时一系列的责任组合起来，造成一个全体惩处决策对外提供，向行业传递更准确、更好意思满的信息。

相较其他友商，腾讯云智算品牌的主要策略是全体的兼容性、通达性，以及公私一体。

结语：生成式AI股东智算产业速即发展

凭借集算存网一体的高性能智算底座，腾讯云智算整合了多项上风居品，展现了在智算界限的时期才略和后劲。

跟着生成式AI的握续发展狠狠社，智算产业也许会乘着这股大模子的风“升起”。腾讯云智算以其兼容性、通达性以及公私一体的策略，不仅机动地复古公有云、独有云以及散播式云的输出，同期也成为了国内多量大模子厂商的选用，匡助一多数IDC厂商罢了向AIDC的转型。