上海AI实验室发布新一代书生·视觉大模型

qyy8745

近日，上海人工智能实验室（上海AI实验室）联合清华大学、香港中文大学、商汤科技等机构开源新一代书生·视觉大模型（InternVL）。

据先容，新一代“书生·视觉基础”模型的视觉编码器参数量达60亿（InternVL-6B），首次提出了对比-生成融合的渐进式对齐技术，实现了在互联网级别数据上视觉大模型与语言大模型的精细对齐。InternVL-6B不仅能处理复杂图片中细微的视觉信息并完成图生文任务，还可以识别和解读复杂页面中的信息，甚至解决其中的数理问题。

上海AI实验室在视觉大模型上持续发力。2021年，上海AI实验室就发布了书生1.0，是国内首个广泛覆盖多种视觉任务的大模型，一个基模型即可全面覆盖分类、目标检测、语义分割、深度估计四大视觉核心任务；2022 年，更新发布视觉大模型InternImage，构建了以动态稀疏卷积为核心操作的视觉大模型新架构，构建了非Transformer的大模型架构新途径，在12类视觉任务中实现性能领先。