近期，科技界传来一则令人瞩目的合作消息。据科技媒体报道，苹果公司携手复旦大学，共同推出了名为StreamBridge的端侧视频大语言模型（Video-LLMs）框架，该框架专注于提升AI对直播流视频的理解能力。
在探讨直播流视频理解的需求与挑战时，我们不得不提及传统视频大语言模型的局限性。尽管它们在处理静态视频方面表现出色，但在诸如机器人技术和自动驾驶等需要实时感知的领域，却显得力不从心。这些场景要求模型能够迅速理解直播视频流的内容，并据此作出反应。
当前，模型面临的主要难题包括多轮实时理解和主动响应。多轮实时理解意味着模型在处理最新视频片段时，需要保留历史视觉和对话上下文，而主动响应则要求模型能够像人类一样主动监控视频流，并在没有明确指令的情况下及时输出反馈。
为了攻克这些难题，苹果公司与复旦大学的研究团队共同开发了StreamBridge框架。该框架通过创新的内存缓冲区和轮次衰减压缩策略，实现了长上下文交互的支持。这一特性使得模型能够更有效地处理连续的视频流信息。
StreamBridge框架还引入了一个轻量化的独立激活模型，该模型能够无缝集成到现有的视频大语言模型中，从而赋予模型主动响应的能力。研究团队还精心打造了一个名为Stream-IT的数据集，该数据集包含约60万个样本，融合了视频与文本序列，并支持多样化的指令格式。Stream-IT数据集的推出，旨在进一步提升流式视频的理解能力。
为了验证StreamBridge框架的有效性，研究团队在主流离线模型上进行了测试，包括LLaVA-OV-7B、Qwen2-VL-7B和Oryx-1.5-7B等。测试结果显示，Qwen2-VL在OVO-Bench和Streaming-Bench上的平均分分别提升至71.30和77.04，这一成绩甚至超越了GPT-4o和Gemini 1.5 Pro等专有模型。Oryx-1.5也取得了显著的进步，而LLaVA-OV的性能虽然略有下降，但经过Stream-IT数据集的微调后，所有模型的表现都得到了进一步的提升。
