摄影已经成为手机最为重要的功能之一,特别是对旗舰手机而言,手机影像的能力甚至决定了这款手机最终的口碑,因此不仅各大手机厂商针对影像不断的调优,高通也在发布的第二代骁龙8移动平台上对手机影像方面进行了升级,针对手机的影像功能,高通为第二代骁龙8移动平台加入了认知ISP。
在手机影像领域,高通可谓是积累了丰厚的技术经验,也正是因此主流的影像旗舰也都是选择了高通平台。
早在2020年,骁龙865平台上搭载的Spectra 480 ISP上就支持2亿分辨率的照片,而在骁龙888平台上,高通又率先采用了三ISP的设计,从而支持手机镜头的三重并发和三重并行处理,为现在旗舰手机三摄镜头模组的设计奠定了基础。
到了骁龙8移动平台,ISP则首次实现了18 bit图像的支持,支持更出色的动态范围、色彩和清晰度,将手机的成像提升到了新的高度。此次第二代骁龙8移动平台的认知ISP则主要针对图像的后期优化进行升级,不仅仅是图片,包括视频内容也同样可以进行更好的后期优化,为用户带来了专业品质的影像新体验。
什么是认知ISP?
目前手机的成像过程简单的来说就是图像通过镜头进入CMOS传感器,然后将光学信号转为数字信号,再经过ISP加工处理后,生成图像信息,再由AI进行图像调节,最终呈现出我们所拍摄的图像信息。
而认知ISP则是通过Hexagon直连的方式,将ISP与高通Hexagon处理器进行连接,让ISP可以具备AI分析的能力,从而将优化的过程提前,这样可以让图像的优化更精细,提升手机的成像质量。
认知ISP支持实时语义分割,可以将图像从二维转为三维,最多支持8层解析,每一层都可以进行独立的优化,从而让每个细节都得到调优。以往的优化都是在平面上实现的,而在认知ISP的加持下,包括人脸、面部特征、头发、天空等图像都可以进行拆分,针对每一部分进行单独的优化,从而带来画质的全面升级。
通过对比图我们可以看到,第二代骁龙8移动平台可以将头发处理的更加柔顺,同时也不会影响到皮肤以及脸部的细节。
因为认知ISP实时语义分割不仅可以识别出人脸,还可以把五官、头发、皮肤甚至牙齿来进行分开的图像优化,而人物佩戴的眼镜、手表也可以别精准的识别,比如消除眼镜的反光,这在之前的手机上是很难实现的,而第二代骁龙8移动平台则可以做到。
认知ISP带来哪些新功能?
依托于第二代骁龙8移动平台,各大手机厂商在美颜上有了更大的发挥空间,人像拍摄效果还是非常值得期待的。
此外,得益于认知ISP,第二代骁龙8移动平台支持虚化引擎2,可以对背景进行更精细的虚化表现。
背景虚化对于绝大部分手机来说都是一件比较困难的事情,需要将前景进行精细的抠图,特别是人像的背景虚化,包括衣服边缘、头发边缘,识别起来都是十分困难的。不过依托于实时语义分割能力,就可以将前景和背景进行分层,从而实现精准的背景虚化。
第二代骁龙8移动平台的背景虚化不仅体现在静止的图片上,视频内容也可以实现实时的背景虚化能力。
认知ISP带来的另外一个功能就是导演模式,手机可以识别用户的拍摄场景,可以根据场景画面、人物变化来自动切换对焦点,让清晰与虚化之间的切换更加自然,这些操作都是由手机自行完成,拍摄视频内容会变得更加简单。
除了一些新功能的加入,认知ISP强大的性能也让第二代骁龙8移动平台实现了Pro Sight视频拍摄,Pro Sight视频模式可以捕获比常规视频更多的图像数据,提升了5倍的比特率,支持大幅提升锐度、色彩和高动态范围,为用户带来专业的视频拍摄品质。
高通正在打造完善的手机影像生态
决定手机影像能力的元素有很多,认知ISP从芯片层面为手机的影像升级奠定基础,高通也在逐渐完善手机影像的生态,比如前面提到的背景虚化就是高通与虹软联合实现的。
除了算法层面的合作,高通也与索尼联合研发了两款传感器,分别是1/1.5 英寸的索尼IMX800和1英寸的索尼IMX989,这两款传感器均支持四重曝光数字重叠HDR技术,并专项的对骁龙平台进行优化,可以更充分的发挥出第二代骁龙8移动平台的优势。
不仅如此,高通也联合三星打造了ISOCELL HP3图像传感器,也是首个面向第二代骁龙8移动平台优化的2亿图像传感器,支持专业品质照片和视频拍摄。
高通还和神经视觉技术公司 Prophesee 联合研发了全球首个基于事件的视觉传感器,能够实现亚毫秒级别时标时间,相当于每秒能捕获 10000fps 的数据,并且比标准方式少处理 10 至 1000 倍数据。同时,在这个事件驱动传感器的加持下,Spectra ISP 能够在被极端光线隐藏的情境下实现大于 120dB 的宽动态范围,而能效水平可以小于 10mW,表现出色。
第二代骁龙8移动平台还是首个集成AV1视频解码器的骁龙移动平台,支持60fps高达8K HDR的视频回放,在视频方面实现了新的突破。
第二代骁龙8移动平台可谓是极大的提升了手机影像的基础,也让各大手机厂商可以站在巨人的肩膀上,实现更高一级的影像优化,在接下来,我们也会看到手机影像方面“神仙打架”的场景,如果你在选择手机时更看重影像能力,那么推荐首先搭载第二代骁龙8的手机。