在上述所有的硬件 AI 能力之上,高通还打造了高通 AI App栈(Qualcomm AI Stack)。它能够支撑目前所有的主流 AI 框架,包括 TensorFlow、PyTorch、ONNX、Keras;它还支撑所有主流的 AI runtime,包括 DirectML、TFLite、ONNX Runtime、ExecuTorch,以及支撑不同的编译器、数学库等 AI 工具。
此外他们还推出了 Qualcomm AI studio,为开发者提供开发过程中需要用到的相关工具,其中包括支撑模型量化和压缩的高通 AI 模型增效工具包(AIMET),能够让模型运行更加高效。高通 AI App栈是当前边缘侧的业界领先解决方案。
正是基于高通 AI App栈和核心硬件 IP,高通才能跨过所有不同产品线,将应用规模化扩展到不同类型的终端,从智能手机到 PC、物联网终端、汽车等等。这无疑为其合作伙伴以及用户带来显著优势,开发一次就能覆盖高通不同芯片组解决方案的不同产品和细分领域进行部署。
总体来说,通过这份生成式 AI 的白皮书,大家能够看到高通在终端侧生成式 AI 的全链路部署、Hexagon NPU 在终端侧生成式 AI 方面展现出的领先实力及其背后丰富的技术细节。可以说,利用多种处理器进行异构计算,特别是 NPU 的表现,对于实现生成式 AI 应用最佳性能和能效至关重要,同时,终端侧 AI 正成为全行业关注的焦点,其在成本、能效、可靠性、安全性等方面的优势都可以成为云端 AI 的绝佳拍档,而高通在终端侧生成式 AI 方面已经有着多年的积累,并展现出领先的技术领导力和出色的生态系统建设成果,相信他们能够在未来持续通过产品技术和生态合作,真正赋能终端侧生成式 AI 的规模化扩展。