旷视天元MegEngine开源 CUDA INT4 量化程式库实现

时时AI技术开发时是减速持续发展，发挥作用皓、边、端和分析方法的各个层面，与核心内容IoT设备进行深度揉合，慢慢拓展分析方法情景。然而在AIoT情景中，嵌入式设备往往算力可用，不能承载庞大的AI假设。如何在能源可用的终端情景付诸 AI 假设的有效侦察，是减速AI放的重要情况。AI 发明家们开发了各种试图缩小假设大小并保持机动性的办法，例如假设和发酵。其中，假设假设是将暂存器算出转成较高比特定点算出的一种假设压缩技术开发，可以有效缩减假设算力耗用并提高算出飞行速度，意味着已经在工各行各业持续发展比较成熟。

目前来得较成熟的假设假设解决方案是 INT8 假设。以ResNet-50 假设为例，原先需要用 float 32 表示的权重，假设后只需要用于 INT8 表示，通过这样的处理方式，假设体积可以缩减到原来的1/2，再加上 TensorCore 的护持，还会有仅有 8 倍的网络平台减速。而如果更进一步，将假设用INT4 表示，可以带来更多的飞行速度提高。

为了推行较高比特假设技术开发的持续发展，旷视天元MegEngine 他的团队Debian了 INT4 的程式码付诸，这也让MegEngine成为首个Debian CUDA INT4 程式码付诸的深度研修方法论。MegEngine采用均匀线性假设解决方案，付诸了种系统假设和对称假设两种INT4的常量，同时通过算子揉合冗余、kernel冗余等方法，使得假设后的假设可以始终保持更高的精度以及更佳的行驶飞行速度。比如说以ResNet-50为例，INT4 来得 INT8 有 1.3倍的减速。

具体code付诸可以访问GitHub镜像（ ）明白详情。

随着 CUDA INT4 的Debian，目前MegEngine 方法论不仅默许暂存器数 FP32 和 FP16，而且默许 INT8 和 INT4 的对称和种系统假设侦探小说。此外，MegEngine方法论开发了诸多工具，鼓励软件提高假设侦探小说机动性、简化侦察程序，以外基本功用code窗格功用，默许软件全基本功用的针对算子进行code窗格；TracedModule 解决方案以及 MegEngine Lite，基于旷视核心内容业务打磨出的假设侦探小说最佳实践，化解假设变换侦察难题；程序管理工具FastRun, 可以为每个算出基本功用为了让最快的搜索算法，从而保障整个网络平台的行驶时间最短，让 MegEngine 软件行驶完全相同的网络平台时都能收获最难机动性。

自Debian以来，MegEngine慢慢冗余，已曾多次发布29个修改版，热卖一系列实用功用，降较高AI搜索算法生产门槛，助力AI分析方法快速放。未来，旷视将继续默许和拥抱Debian，并将自身在Debian教育领域获益的技术开发和经验与各行各业共享，推行AI技术开发创新和行业持续发展。