英伟达近日在文档理解领域迈出了重要一步，推出了Llama Nemotron Nano VL视觉-语言模型，这一创新旨在高效且精准地应对复杂的文档级理解挑战。
Llama Nemotron Nano VL模型基于先进的Llama 3.1架构，巧妙融合了CRadioV2-H视觉编码器和Llama 3.1 8B指令微调语言模型。这一结合使得模型能够同时解析多页文档中的视觉和文本元素，支持处理长达16K的上下文，无论是图像还是文本序列，都能游刃有余。
为了实现视觉与文本的精准对齐，该模型采用了投影层和旋转位置编码技术，这一创新极大地优化了token效率，尤其适用于长篇多模态任务。无论是面对多图像输入还是复杂的文本解析，Llama Nemotron Nano VL都能展现出卓越的性能。
在模型训练过程中，英伟达采取了分阶段策略。首先，利用丰富的商业图像和视频数据集进行交错式图文预训练，为模型打下坚实基础。随后，通过多模态指令微调，进一步提升模型的交互式提示能力。最后，重新混合纯文本指令数据，以优化模型在标准语言模型基准上的表现。
训练过程中，英伟达采用了自家的Megatron-LLM框架和Energon数据加载器，依托强大的A100和H100 GPU集群完成。在OCRBench v2基准测试中，Llama Nemotron Nano VL在OCR、表格解析和图表推理等任务上展现了领先精度，尤其在结构化数据提取（如表格和键值对）及布局相关问题解答中，表现尤为突出，甚至媲美更大规模的模型。
在部署方面，Llama Nemotron Nano VL同样表现出色。其设计灵活，支持服务器和边缘推理场景，满足多样化的应用需求。英伟达还提供了4-bit量化版本（AWQ），结合TinyChat和TensorRT-LLM实现高效推理，兼容Jetson Orin等受限环境。该模型还支持Modular NIM（NVIDIA推理微服务）、ONNX和TensorRT导出，为企业应用提供了丰富的解决方案。
为了进一步降低静态图像文档处理的延迟，英伟达还引入了预计算视觉嵌入选项。这一创新使得Llama Nemotron Nano VL在处理图像文档时更加高效，为企业用户带来了实质性的便利。
