201. ChatGPT的代价(1 / 2)
“我个人可能会觉得,目前的计算能力还有不小限制。因为我的思路是想要从车身环绕的摄像头中,直接重构出三维空间的上帝视角图像,并为其中的每一个体积元素(3d版本的像素)去标注是否在空间中被占据。”
“想要做到这一系列事情,我的计算资源实在远远不够。”孟繁岐面对黄仁勋,理由自然永远是算力不够,哭穷才能要到资源:“与此同时,我又有太多的想法可以做,因此自动驾驶方面我确实不够积极。”
孟繁岐不急,可黄仁勋很急!
阿尔法围棋虽然登上了自然封面,但它对英伟达的帮助是很小的。
这个软件算法很厉害,但没有那么多硬件上的需求,不可能说十几亿人每人买两张显卡去跑人工智能围棋程序。
反观自动驾驶,那可是20亿车辆的潜在市场,每年都有上亿辆新车生产出来。
但凡新生产的车辆中,有一成左右购买英伟达售价最便宜,仅百来美元的tegra芯片,这里面的流水就已经超过十个亿美金了。
车企这部分的成长空间非常之大,是一条很长远的道路,想想以后万一要是抢占了大几成的车载芯片份额,黄仁勋馋得口水都快流下来了。
“缺少算力,我们可以合作嘛!”黄仁勋直接顺手拿起旁边的泰坦Z:“我优先供应一大批给谷歌大脑,但前提是你要做出自动驾驶方面的重大突破。”
跟马斯克说算力不够,那只能两个人一起挠头。
跟黄仁勋说算力不够,你小子是在看不起谁呢!
看到我手里这硕大的核弹了没有?有需求,你说话!
对于泰坦Z,孟繁岐肯定还是十分心动的。
毕竟他想搞chatGpt不可能是一步登天的事情,他需要尽快搞定训练平台,分布式训练方法和一些前置技术的发展。
深度学习平台杰夫等人已经在推动,前置的软件技术也不复杂,孟繁岐在年初对搜索引擎的更新里,就已经有不少算子的实现了。
最麻烦的还是分布式方法,和大批量的先进硬件设备在限制孟繁岐的发挥。
今天来看,硬件设备这方面,似乎今天可以有很大的进展了。
有了这批泰坦Z设备,在按照约定研发自动驾驶技术之余,也得先出几个版本的迷你chatGpt,让各大公司尝到一点语言大模型的甜头。
这样一来,复现chatGpt的环境才能够成熟起来。
若是想要处理比较大型的语言模型,14年老黄刚刚发布的这款12G显存泰坦Z,是非常必要的硬件设备,短期内基本上没有特别好的替代品。
因为显存这个属性还是相当珍贵的,要知道2020年底发售的Gtx3080显卡,显存也才12Gb。甚至22年底的4080显卡,也只分12G和16G两个版本。
从产品的时间线上对比一下,就可以很明显地感觉到14年这款泰坦Z的可怕之处,12Gb的显存基本上可以说是前无古人,令人倍感震惊。
不到两年前,12年的旗舰显卡Gtx680,显存仅仅只有可怜的2Gb。
后来世人们都知道chatGpt的威力,但很少有人仔细算过这笔账:先不提数据的事情,只说想要训练这个改变了世界的模型,到底需要多少的算力和设备。
英伟达的市值突破万亿,背后的原因是chatGpt引发的AI算力军备竞赛。
而制造这起军备竞赛的openAI本身,其实一直都很缺乏算力,openAI因为无法负担chatGpt的训练算力,而选择与金主爸爸微软合作。
这也是为什么他们曾经一度因为用户的需求量太大而停止提供服务,还是硬件设备不够。
微软为他们耗费了好几亿美元,组建了超过万张A100显卡的超级算力平台。
每一张A100都拥有80G的显存,也就意味着openAI当初为了得到chatGpt这个模型,准备了大约百万Gb大小的显存。
这么换算下来,怎么也得十万张泰坦Z才能够达成相同的显存效果。
十万张泰坦Z,这下可是真真正正的核弹了。
并且这还只是显存与微软保持了一致,由于设备的年代差异,泰坦Z运算的速度还得比A100再慢上不少。
别的什么乱七八糟的都先不提,按泰坦Z的定价算,光是买这些显卡就得整整三个亿美金。
这笔钱孟繁岐现在肯定是掏不起的,就算他掏得起,老黄也掏不出那么多泰坦Z来。