近日，国际人工智能领域权威期刊《Information Fusion》（最新影响因子14.7）连续发表了百家乐论坛 袁强强教授团队在高光谱视频目标跟踪领域的系列研究成果。百家乐论坛 博士研究生陈玉增为第一作者，袁强强教授为通讯作者。
视觉跟踪广泛应用于虚拟现实、自动驾驶和工业自动化等领域。RGB模态跟踪技术已取得显著进展，但在外观相似、光线不足和背景复杂的场景中仍有局限性。多模态跟踪结合了RGB与事件相机、热红外和深度信息，其依赖多个成像设备，难以对远距离和小尺寸目标的精确跟踪，且多模态对齐易导致图像失真。高光谱相机从同一视角捕获材料在不同波段的辐射信号，能够增强跟踪算法的鲁棒性，有望解决模态对齐和光谱信息不足的问题。然而，如何有效融合光谱、空间和时序信息是当前的关键挑战。
研究团队提出了一种融合材质属性与运动线索的高光谱视频目标跟踪模型（图1）。该模型自适应地将高光谱图像划分为互补的模态，聚合并增强多模态差异与共性特征。此外，运动感知模块可自适应判断材料与运动线索的可靠性，并在材料线索不可靠时预测目标的位置和尺度，提升了跟踪的稳健性。图2呈现了不同跟踪方法的目视比较。
图 1. 融合材质属性与运动线索的高光谱视频目标跟踪模型
图 2. 不同跟踪方法的目视比较
在上述研究的基础上，团队将相关思想进一步发展，继承提示学习范式，建模高光谱视频的光谱、空间和时序状态，设计一种联合光谱-空间-时序信息的高光谱视频目标跟踪框架（图3），在引入少量可学习参数的情况下实现了鲁棒的性能，如图4所示。为研究下游任务提供了新的可行手段。
图 3. 联合光谱-空间-时序信息的高光谱视频目标跟踪框架
图 4. 不同跟踪方法定量比较结果（a）跟踪精度比较，（b）跟踪成功率比较
该研究得到了国家自然科学基金重点项目（42230108）、面上项目（42471414、42271411）的支持。
相关研究链接：
Yuzeng Chen; Qiangqiang Yuan*; Yuqi Tang*; Yi Xiao, Jiang He; Zhenqi Liu; SENSE: Hyperspectral Video Object Tracker via Fusing Material and Motion Cues, Information Fusion, 2024, 109: 102395.
论文链接：//doi.org/10.1016/j.inffus.2024.102395
Yuzeng Chen; Qiangqiang Yuan*; Yuqi Tang; Yi Xiao; Jiang He; Te Han; Zhenqi Liu; Liangpei Zhang; SSTtrack: A Unified Hyperspectral Video Tracking Framework via Modeling Spectral-Spatial-Temporal Conditions, Information Fusion, 2025, 114: 102658.