清晨两点驱动器智www.p8g8.com。华东某智算中心的运维年夜屏上,一排AI办事器的功耗曲线忽然集体下探。值班工程师没来得及点开告警了,系统曾经主动把锻炼任务12号机柜迁还有7号机柜。做出那个决议的,是一套跑正在AI办事器上的调理模子是它每隔30秒预测一次将来十分钟的负载办事,然后重新分配GPU本钱。那不是科幻场景。

过去半年,AI驱动AI办事器正从演示PPT走进机房。传统的AI办事器堆的是卡、内存和散热,运维靠人盯目标;

如今,AI模子反过来管办事器算中算力。管功耗、管漏洞、管任务列队了。某互联网公司的根底设备团队做过比较,同样一批锻炼任务,人工调理下GPU操做率经久正在45%上下,引入AI驱动调理后,操做率爬到68%,单次年夜模子锻炼电费省了约四分之一。革新,不止正在调理心的效率。深圳一家办事器厂商的研发负责人说,他们最新一代AI办事器内置了推理芯片,专门跑轻量模子,用来预测风扇寿命和内存漏洞。

以前换一块坏盘要等告警了,如今AI驱动系统提早两天给出改换建议。听起来像小改善。放到千卡集群里,一次非计划停机就能省下几十万元吧?固然,AI驱动AI办事器也带来新省事。

调理模子自己要吃掉算力,模子误判可能把很重要任务迁到更差的节点。有运维人员吐槽,AI有时分“太积极”。三更频繁调解计谋,反而让监控曲线更难读了。厂商们正正在给AI调理加约束前提,好比人工确认窗口、劣先级白名单的。算力战争打到今天,买卡只是入场券。实正的效率差,藏正在AI办事器会不会自己管自己。谁先让AI驱动AI办事器跑顺啊?谁就能正在同样的电力和机柜里啊?

挤出更多有效锻炼时长。那比纯真堆卡更值得盯的。