Video-LLaMA: 一種用于視頻的指令調諧視聽語言模型

(資料圖)

品玩 6 月 6 日訊，研究人員提出一種多模態框架：Video-LLaMA，，使語言模型能夠理解視頻中的視聽內容。通過跨模態訓練，解決了視頻難以理解的挑戰，包括捕捉時間變化和整合音視頻信號。研究表明 Video-LLaMA 能夠感知和理解視頻內容，并生成基于視聽信息的有意義回答。該研究為開發音視頻 AI 助手提供了潛在的原型。已提供代碼、預訓練模型和演示。