神秘顾客 研究专家!

赛优市场店员积累了丰富的神秘顾客经验,严谨,务实,公平,客观.真实的数据支持!

24小时咨询热线:13760686746

你的位置:上海4S店神秘顾客公司 > 神秘顾客教程 > 在本年 ChatGPT 大火之前神秘顾客暗访

在本年 ChatGPT 大火之前神秘顾客暗访

时间:2024-01-17 09:13:56 点击:81 次

 

作家:郭想

剪辑:陈彩娴

 

东说念主工智能的快速发展催生了智算中心这个倡导。自 2023 年下半年起,中国智能预计中心的斥地速率显着擢升。

 

据不完竣统计,咫尺已有越过30个城市投身于智算中心的斥地或谋略之中。

 

一方面,跟着生成式东说念主工智能的赶快跳动和对大模子需求的急剧延迟,处理和分析海量数据所需的苍劲算力变得至关重要。

 

另一方面,阛阓在追求范畴效应的流程中,出现了盲目超前的斥地和大宗囤积时事,导致对需求的经管不够雅致,运营流程阑珊透明度和监管,从而激发了智算中心的空转致使停机问题。这不仅未能充分运用斥地人命周期的潜在价值,还形成了资源和资金的奢华。

 

 

 

履行上,空转率在算力行业并非鲜见,它是一个重要的筹商,岂论东说念主工智能需求量大小,齐需神志。即便在咱们的宽泛生存中,家用 PC 也存在空转率问题。然则,大模子的爆炸式增长使得这一问题变得尤为症结,只是由于咫尺行业仍处于一卡难求的供不应求时期,它的伏击性尚不显赫。

 

大模子加码,算力行业迎来新的机遇,在这波上涨之下,关于总共这个词算力的部署,咱们也需要一些不一样的冷想考。

 

驱动一座 AI 智算中心需要若干钱?

 

AI 智算中心的竖立并非由大模子班师催生。事实上,在本年 ChatGPT 大火之前,国内还是有几家大型厂商接踵竖立了大型的 AI 预计装配,如商汤的 AI 大装配、阿里的飞天智算、百度的 AI 大底座等等。

 

大模子前夕,这些智算中心的用途主若是微型深度学习模子的试验与推理,而大模子爆发后,万卡范畴、GPU 渐为算力集群中枢的特征成为新一代智算中心的挑战。东说念主们将大模子的起步阶段譬如为“淘金期”,以为淘金波涛下的淘金者不一定能成效淘到金、但卖铲子的东说念主一定稳赚不赔。于是,为大模子时期建立智算中心成为本年中国科技圈的另一番火热时事。

 

这一想路没过失,但现实长期比守望复杂。一个少为东说念主知的数据是,在大模子爆火之前,一些智算中心一度有价无市,如果莫得模子在机器上跑,一天的闲置老本就高达十几万。换言之,大模子的爆火“救”了一部分智算中心。而上流的空转老本背后,正是一座 AI 智算中心上流的驱动老本。

 

以万卡范畴的智算中心为例。据 AI 科技批驳与研究行业东说念主士了解后约略估算,运营一座能用于大模子试验与推理的万卡范畴智算中心需要每年插足高达 10 亿东说念主民币。

 

与传统的数据中心比较,智能中心的斥地对能耗和基础症结的要求更高。以算力行业常见的 42U 就业器机柜为例,传统数据中心大致聚部署 20 至 30 台 CPU 就业器,而在调换空间内,若换成 GPU 就业器,则需要议论多方面成分。

 

多位行业东说念主士向 AI 科技批驳默示,供电、制冷和承重等多方面的约束成分共同决定了机柜内不错搁置的机器数目。行业形成的共鸣是,大多数智算中心的一个机柜通常最多能放两台 GPU 就业器,越过四台的情况下就需要进行极端的电力阅兵。圭臬机柜一般最多能容纳两台 8 卡的 GPU 就业器。

                         

据 AI 科技批驳了解,在条目允许的情况下,大部分智算中心部署的齐是市面上热捧的 DGX A100 就业器。DGX A100 就业器在发布时的售价为 19.9 万好意思元,折合东说念主民币约为 140 万元。咫尺,其阛阓价钱已攀升至约 170 万元。这一价钱涵盖了里面配备的两个高性能 AMD 64 核霄龙处理器以及八个先进的 A100 GPU。然则,这只是是硬件老本的一部分。

 

 

购买并安装一台 DGX A100就业器,加上存储扩充、部分备件以及调试等用度,总老本将达到 170 万元。部分就业器还具备存储扩展智商,这将进一步提高总价。按照市面上就业器的平均四年折旧期预计,每年的折旧老本约为 42.5 万元。

 

DGX A100 就业器的最大系统功耗为 6500W,其外形尺寸为 6U。议论到 42U 的圭臬机柜设立,通常一个机柜最多不错容纳两台 GPU 就业器。若越过四台就业器,则需要进行极端的电力阅兵。圭臬机柜一般能够承载两台 8 卡的 GPU 就业器。

 

因此,单个机柜可容纳两台 DGX A100 就业器,对应的总功耗为 13KW。假定斥地全年络续驱动(每天 24 小时,每年 365 天),则每年的耗电量为 13KW * 24小时/天 * 365天/年 = 113.880KW。

 

以每度电0.54元(1度=1千瓦时,kWh)的价钱预计,每年的电费为:113.880KW * 0.54元/kWh = 99,440元,接近每年10万元。

 

在旧例的互联网数据中心(IDC)中,电力消耗主要起首于 IT 斥地、冷却系统、电源系统以及照明系统等。尽管不同类型的 IDC 中心电力消耗比例可能存在差异,但通常情况下,IT斥地是最大的电力消耗源,约占总耗电量的50%至60%。其次为冷却系统,其电力消耗占比在 30% 至 40% 之间。电源系统和照明系统等其他症结的耗电量相对较小。

 

基于这些数据,咱们不错约略估算出,一台全负荷驱动的就业器每年的电费大致为20万元。议论到电费通常占IDC中心运营老本的约 50%,那么该就业器一年的驱动老本可能大致是电费的两倍控制,估算为 40 万元。

 

要而论之,运营一台 DGX A100 就业器,一年的老本包括约 42.5 万元的折旧费和约 40 万元的驱动电费,合计约为 82.5 万元。

 

不错联想,一台老本如斯上流的就业器如果不可得到满打满载的运用,那么所形成的奢华不可小觑。

 

以一个领有万卡的厂商为例,8 卡一台就业器,相对应厂商会领有 1250 台就业器,约略以每台 80 万的老原来预计,一年齐需要 1250*80 万也等于 10 亿的老本。

X65Cr14是一种广泛应用于不锈钢制品生产的材料,下面我们将对其进行全面介绍,包括其参数数据和详细的知识内容。

 

在斟酌大模子智算中心的斥地价值时,东说念主们常民风举诸如高速公路、大型发电厂等基础症结的例子来辩证——天然高速公路的斥地老本高,但当在路上跑的车辆越多,老本均派下来就越低廉。在这么的逻辑上,容易被冷漠的问题是:

 

大模子时期刚起步,大模子的原生应用还远远莫得爆发,阛阓需求存在虚空。如果高速公路建成了、但每年跑在公路上的汽车唯稀有百辆,均派老本由谁来承担?

 

浮华之下,暗礁实在

 

大模子仍然在发展,但 2023 年行将畴前,算力中心空转率成为一个需要神志的问题。

 

一位算力从业者在参不雅某市的一个大型智算中心时发现,天然占了一个山头写着“**中心”,但履行上每年固定插足3000万,但机房内唯有不到100个有机架式就业器,许多就业器齐是空转。而据 AI 科技批驳了解,该时事不是孤例。

 

迎靠近宏大的算力需求时,智算相应的基础症结斥地老本会不可幸免地加多。另一方面,关于阛阓履行需求把捏不够精确也会形成智算中心斥地后,就业器上架率却够不上守望状况。

 

沙利文的数据知道,2022 年中国数据中心的上架率大致为 58%,这意味着在数据中心中,大致有 58% 的就业器被摆放到机柜上并插足使用,神秘顾客暗访而剩下的 42% 的机柜可能是空的,即尚未被就业器占用。

 

神秘顾客公司_赛优市场调研

形成算力中心空转的原因主要有两块,一块是时刻上的不熟悉,另一块则是阛阓需求的领略偏差。

 

时刻上,岂论是英伟达的预计卡照旧国内某些品牌的芯片,在经久间驱动流程中,齐可能会出现故障,如倏得掉卡等问题。一位云预计行业的专科东说念主士告诉AI科技批驳,他在最近的一次会议上得知,某国产驰名 AI 芯片在试验30天后可能会完竣报废。

 

此外,由于芯片的更新换代周期性,芯片制造商不竭推出新址品,几年后,新一代就业器将成为阛阓主流,导致部分就业器不得不被遗弃或闲置。

 

国内大型智算中心厂商默示,算力资源的运用率的确会出现岑岭和低谷,在需求郁勃的时候,运用率可能达到 80% 到 90%,空转率在那些时候会相对较低,大致在 10% 到 20% 之间波动。在尖峰时刻,预计资源可能会被充分运用,空转率才会镌汰。

 

而从应用端而言,据 AI 科技批驳了解,现如今底层模子端的需求主若是用于试验,但大模子发展于今,真的的杀手级 AI 原生应用却迟迟未见踪迹,当前中国的大模子原生应用数目远远莫得达到专家预期。

 

数据知道,为止10月份,国内还是发布了238个大模子,相较于6月份的79个,在四个月内增长三倍,但相较于海外的几十个基础大模子和上千个AI原生应用来看,国内AI原生应用数目却很少。基于现存基座大模子推出的 AI 原生应用并莫得大面积爆发,也等于说DGX 就业器基本照旧用于基座模子的试验,还莫得用于履行的推理端。

 

这就好比咱们在前文说起的高速公路斥地,建成了,前期虽有200多车辆来平摊老本,但是一朝试验需求下落,后续莫得原生应用,如斯上流的老本便成为了实打实的奢华。

 

在如今应用侧还莫得完竣起来的情况下,智算中心空转老本,仍是一个显赫问题。

 

以某AI公司发表的财报为例,2023 年上半年期内销售老本大幅增长近63%,达到78亿4千万东说念主民币;其中占比达82%的硬件老本及分包就业费同比增长54%,另外两块老本——AI数据中心(AIDC)运营和折旧摊销老本也离别暴增75%、562%,但该公司AI营收却微,上半年生成式AI研究收入仅约为2.91亿元。

 

 

 而AI 原生应用爆发后的后果,以 ChatGPT 为例,在 ChatGPT(GPT3.5和GPT4)下每个单词概况消耗1.12个token,官方计费圭臬为 $0.002 / 1k tokens,在英语中“一个 token 通常对应大致 4 个字符”,而1个汉字大致是2~2.5个token。1000 tokens概况是750单词。那也等于说,概况2好意思元不错问100万个token,止境于750000个单词。宽泛咱们使用基本问明晰1个问题就要消耗100~200个token,以ChatGPT的1亿月活用户的来算,算下来一个月至少得花200万好意思元。若月活用户络续增多或者当用户范畴进一步扩大,调用API带来的运算和效益会愈加宏大。

 

一个AI 应用尚且能赢得如斯大的收入,而当行业不再唯有200个基座大模子,而是几百上千个AI应用出当前,大齐的算力老本未必也就有法可解了。

 

是以,唯有当更多切实有用的大模子应用场景得以发掘,或是症结时刻收场首要冲破时,这些闲置的资源才可能被重新激活。

 

算力的悖论要如何破解?

 

当大模子上涨兴起时,东说念主们时常将其譬如为电力。业内也有相等的多的模式来优化算力资源的调遣。一滑业东说念主士告诉 AI 科技批驳,一些厂商正在研发GPU就业,收受肖似service的架构。尽管收场形态互异,但寰球的场所是一致的:但愿能够按照客户履行的使用量来预计用度,就像使用水电一样——按用量计费。

 

算力池化是一种作念法,池化顾名想义,等于把这些智算中心、财富中心里面的这些 AI 芯片、 AI 加快器,池化罢了之后,然后,通过集聚为需要预计资源的表层应用提供就业。这意味着应用不错凭证需要索要资源,使用时即时获取,用完后归还到资源池中。

 

而另一方面,智算中心的高效运营自身就离不开时刻层面其余 IT 智商的擢升。

 

行业东说念主士告诉AI科技批驳,关于一个专科的智算中心而言,冗余和备用决策是至关重要的,以便在某个组件或资源出现故障时,其他资源不错自动吸收,从而收场无缝切换,减少就业中断的期间。另一方面,数据中心的运营还相等依赖于东说念主员的时刻智商。数据中心不仅需要提供预计资源,还需要提供时刻复古和专科就业。

 

而纵不雅总共这个词行业,在大模子时刻的席卷之下,当前对算力资源的雅致化经管仍显得相对滞后。尽管紧跟行业趋势、积极布局大模子政策关于企业来说循规蹈矩,但就如同在一架全速遨游的飞机上,必须时刻警觉并密切神志那些可能遁入风险的症结部件一样,关于算力基础症结的神志与优化相通至关重要。前瞻性地谋略三步之遥,深度想考一步之内,方能在翻新竞赛中率先半步。

 

履行上,咫尺行业还是果断到AI应用的开发与冲破是下一步东说念主工智能从表面层面步入扩充规模,并形成其价值滚动的症结节点。此前,百度李彦宏就曾点出,在基础模子之上,要有屡见不鲜致使数以百万计的 AI 原生应用,这个大模子的价值才智被体现出来。

 

而从根柢上讲,要管忠良算中心资源运用率不高的骨子性问题,症结也在于如何积极指挥并鼓励大模子应用的庸碌普及与深度整合,确保预计症结能够精确匹配真实天下的需求,收场高效、有序的驱动状况。通过大模子应用的全面着花,不仅不错有用运用现存智算中心的苍劲算力,还能进一步鼓励东说念主工智能时刻与实体经济的深度和会,开释更大的翻新活力与价值后劲。

 

从这一层面而言,如今面对智算中心潜在的空转问题所带来的冷想考,并非仅是对既有领略的轻便颠覆,更可能是关乎首要风险预警的“灰犀牛”时事。

 

雷峰网 雷峰网 雷峰网神秘顾客暗访

服务热线: 13760686746
官方网站:www.saiyoums.com
工作时间:周一至周六(09:00-20:00)
联系我们:020-83344575
QQ:53191221
邮箱:53191221@qq.com
地址:广州市越秀区大德路308号1003室
关注公众号

Powered by 上海4S店神秘顾客公司 RSS地图 HTML地图

Copyright 站群系统 © 2013-2022 粤ICP备09006501号

在线客服系统