(魏德龄/文)科幻小说《三体》中降维打击的案例总是让人难以忘怀,球场之上当一个球员送出精妙的传球,也常被人们誉为“开启上帝视角”,维度上领先往往可以带来巨大的优势。
11月16日的骁龙峰会上,高通产品市场高级总监徐恒在第二代骁龙8移动平台的技术介绍环节不断用“二维到三维”来对产品性能与技术的提升进行形容。而第二代骁龙8移动平台的产品发布本身就有着一个不同寻常的开篇。
不同寻常的开篇
谈及每一次移动SoC产品的发布,往往都是从CPU、GPU、AI依次开始,然而单从高通一直所坚持的“移动平台”理念,而非“处理器”的做法上看,就能看出其中不同的考量思路。本次第二代骁龙8移动平台发布过程中的开篇介绍环节更是不同寻常,先是抛出关键词“人工智能”,随即表示内置的AI引擎将开始AI加速的新时代,并开始着重介绍AI方面的性能提升,以及几乎遍及手机各个使用体验环节的AI特性。
首先,内置的AI引擎在升级的高通Hexagon处理器支持下,用户能够体验更快速的自然语言处理所带来的多语种翻译和先进的AI影像特性。Hexagon处理器实现全新架构升级,包括微切片推理,和一个更大的张量加速器带来高达4.35倍的AI性能提升。第二代骁龙8也是首个支持变革性的INT4 AI精度格式的骁龙移动平台,在持续AI推理方面能够实现60%的能效提升。
强大的AI引擎能够与ISP产生联动,使其成为首个认知ISP。简单来说,以往所谓的AI摄影都是“事后诸葛亮”,需要在拍摄完成后才能进行优化处理,用户在使用过程中也能感知到一定的等待时间。有了认知ISP的存在,就能通过实时语义分割实现照片和视频的自动增强,利用AI神经网络让摄像头在情境中感知人脸、面部特征、头发、衣服和天空等,进行独立优化,当画面还处于取景框中的时候,就能让每个细节获得定制的专业图像调优。
有趣的是,或许今年年初骁龙X70发布之时,谁也不曾想到该产品其实为第二代骁龙8进行了较为明显的剧透,这款内置在第二代骁龙8中的5G平台同样也是首款内置5G AI处理器的5G调制解调器产品,利用强大的AI特性支持突破性的5G上传和下载速度、网络覆盖、低时延和出色能效。
本次第二代骁龙8移动平台发布过程中,GPU、CPU反而成了最后介绍的环节,不过却绝不可等闲视之。其创新性的采用了1、2、2、3的架构,拥有一个主频可达3.2GHz的Cortex-X3超级内核,2个A715中核、2个A710中核、3个A510小核,性能提升35%,能效提升40%。Adreno 740 GPU支持光追,性能提升25%。甚至通过查证还能发现第二代骁龙8依旧采用了台积电4nm工艺。
不过,重中之重依旧是AI,对于能够为移动设备增添新维度的第二代骁龙8,AI已经显现出了照亮未来的耀眼光环。
增添新维度
“AI创新方法论本身在做自我的创新,将从二维走向三维。”徐恒不断从多个层面阐述着这种维度上的变化。
例如在手机中的ISP,最早的ISP,以及后来的CV-ISP都属于受信息论约束的技术,都还没有突破过二维的限制,而随着首个认知ISP的出现,从语义的角度已经突破到三维认知的水平。在此基础上,移动设备已经不仅仅纠结于画质,同样要开始向创作迈进,第二代骁龙8可实现在人与人、人与物之间自动对焦的导演模式,来助力用户进行视频创作。
对于语义理解能力的提升也开启了更大的想象空间,例如当AI能够充分理解时间轴语义后,阅读一份文字日记后,就可以具备将其根据视频素材自动生成影片的能力,普通的旧日回忆也能够通过影像得以再现。
从硬件角度上看,AI引擎中的微切片推理能力本身也是一种二维向三维的迈进,突破此前数据处理过程中的按顺序进行的二维逻辑,微切片推理则实现了在时间轴上的突破,可以在适合的时间点把所有适合的微切片进行组合,从而可以最大发挥处理器的运算能力。
由于实现了对于INT4的支持,Transformer的运行同样是在从二维方法论推进到三维方法论,原因在于其可以跨过时间的约束,不仅可以进行自然语言处理,还能进行实时转录、情感分析、实时翻译。
AI甚至还将改变很多玩家游戏中的体验,例如目前游戏中当玩家遇到所谓的“人机”时,都会明显感知到其拙劣的操作。而随着AI的引入,即便是单机游戏中的电脑AI,也能拥有更加真实的自主操作能力,进而提升玩家在游戏中的乐趣。
打开新大门
拥有全新维度的第二代骁龙8,在AI相关用例的性能表现上,相比竞争对手,也可以说是降维打击般的存在,如超分辨率、人脸检测、背景虚化、语言方面,均比竟品A/竞品B表现出几倍以上的优势。
小米在本次峰会期间就展示具备完全离线AI能力的小爱同学,依托第二代骁龙8的算力,离线实时字幕翻译功能可以非常流畅即时显示,甚至同时显示三语也依旧流畅。并且离线AI能力的实现并非降低实际的使用体验,相比在线AI模式,存储降至9%,质量保持在了91.9%的水平。
同时,离线AI能力还给予了用户更高的安全保证,由于本地即可实现强大的自然语言处理能力,音频数据也就不用上传至云端,大大保护了用户的隐私。要知道,现在不少IT从业者甚至敏感的保持着不用智能音箱时就会拔电源的习惯。
如同小米的案例,由于高通传感器中枢AI能力的存在,为了运动识别、手势检测、人体检测、超声波、智慧感知摄像头等众多用例打开了新大门。借助高通AI Stack工具的助力,移动开发者能够开发出即便在手机平台上也具有超高性能和优秀体验的下一代 AI 移动应用。并且高通AI Stack还将会提供包括 QualcommAI Studio 在内的更多特性和工具。
无论是在AI侧的大幅性能提升,还是种种技术设计上的新突破,显然第二代骁龙8移动平台已经跳出了传统的思维定式,在新的维度上为智能手机的发展开启了一扇通往未来的大门。