165. 底裤都给你看光（1 / 2）

已经成名的孟繁岐，如今在研发技术又或者是写作论文的时候，是否具备理论解释已经不在考虑的范围当中。

在这个比较特殊的领域，算法的实际效果和应用范围才是他关注的重点。

虽然学界接受这一现象可能还需要一定的时间。

但这已经不是孟繁岐关心的事情了，在人工智能技术上面，他一直都是实践派。

结构重参数化虽然在数学上反直觉，但实际的效果确实相当惊艳。

它的主要提升来自两方面，一当然是分支合并带来的提升，原本复杂的支路在推理的时候被合并了起来，节约了计算量。

二却是来自一般人想不到的性能提升。

结构的重参数化，既然可以合并复杂分支，那为什么不在训练的时候，把分支设计得更加复杂一点呢？

反正最后都可以合并起来。

遵循这个思路，重参数化还允许相同的最终结构，通过复杂训练的方式获得更高的性能。

作为最终的结果，重参数化在轻量级网络上，大概取得了1.8倍左右的速度提升。

这个数字看起来没有先前8-9倍那么夸张，但这是在已经优化的高速网络上取得的结果。

在已经优化得很好的结果之上，继续优化的难度当然是更大的，同样是一秒钟的速度提升，后面的那一秒含金量当然不可与前面的同日而语。

就像是百米长跑，原本只能30秒跑完，提升一秒没什么大不了的。

可若是你能跑到10秒左右，再快一秒那可就不得了了，博尔特看了都得给你跪下。

博尔特跪不跪下不知道，马斯克确实是差点跪下了。

他上次与孟繁岐的沟通，一定程度上算是鸡同鸭讲。

从相当程度上，他只是在单纯客观地分析一个现实情况，那就是目前的模型计算量，对特斯拉来说很难负担。

后来特斯拉初版的自动驾驶还是使用了传感器，就是因为计算量负担不起，马斯克也不得不向现实低头。

如果要说他原本的计划，其实是打算从硬件方面解决这个问题的，没有指望孟繁岐能够继续优化。

面对已经比较夸张的提升，马斯克怎么也想不到，还能有什么手段可以继续简化模型的结构。

可偏偏孟繁岐就做到了，而且一共也没用到多久的时间。

不仅精简了计算量，甚至还删掉了网络的分支，现在连内存容量也给他省了下来。

“我我不得不说，我被你的技术实力所折服，这让我太惊讶了。”视频当中，马斯克罕见地露出了笑容，言语之间稍微有一些口吃。

私底下，他是个没那么外向的人，说话的时候，如果有强烈的情绪，经常会有些口吃反复的现象。

“我原本只是在进行分析，确认当前的主要难点到底在哪里，完全没有想过你把它当成了一个任务，并且完成得这么好。”

“我还以为那是来自钢铁侠的高要求呢。”孟繁岐听到这里最开始两眼一黑，敢情自己自作多情了。

但早些继续推动网络的轻量化倒也不是坏事，一方面能加速人工智能技术落地，另一方面也会转移大家的视线，使得业界专注于小模型，而不大会发现大模型的威力。

“并且，如果你想要打造纯视觉自动驾驶系统，优化得再好的小模型也只是门槛中的门槛罢了，距离成型还差很远。”