Volume 1,Issue 9
Fall 2024
多模联动，语义贯通——大模型跨模态信息融合的创新技术路径
人类在现实社会通过视觉、听觉、触觉等多种感官获取信息，不同模态信息相互补充印证，帮助人们理解和认知世界。人工智能大模型的跨模态融合能够有效提升复杂信息理解处理能力，使得人工智能更加接近人类智能水平。此次研究综合运用文献资料法、案例分析法和对比研究法探索大模型跨模态信息融合的创新技术，提出多模数据的获取与预处理、多模联动的模型架构设计、多模联动的训练与推理机制、语义理解与分析技术、语言对齐与融合技术等技术路径，为大模型实现多模联动、语义贯通的模态信息融合提供新的思路与方向。
[1] 刘聪,朱兰芹.基于多模态交互的汽车人机交互设计研究[J].汽车电器,2022,(08):3-5.DOI:10.13273/j.cnki.qcdq.2022.08.003.
[2] 潘昱辰.基于提示优化和工具学习的大语言模型推理能力增强方法研究[D].军事科学院，2024.
[3] 缪凯博.基于多模态融合的电商数据分析系统设计与实现[D].华东师范大学，2024.
[4] 贺菁希，任吴炯，夏以柠.有图不一定有真相：AI大模型应用的多模态虚假信息问题分析[J].现代视听，2024,(08): 36-41.
[5] 姚奕，陈朝阳，杜晓明，等.多模态知识图谱构建技术及其在军事领域的应用综述[J].计算机工程与应用，2024,60(22): 18-37.
[6] 余德志.基于度量学习与粗细粒度协同的多模态文档信息抽取算法研究[D].杭州电子科技大学，2024.
[7] 刘学博，户保田，陈科海，等.大模型关键技术与未来发展方向——从ChatGPT谈起[J].中国科学基金，2023,37(05): 758-766.
[8] 李伟.电厂热工过程控制中智能PID控制器的应用探讨[J].应用能源技术,2022,(06):9-11.
[9] 杨蓓莹，王金桥.多模态大模型的发展与思考[J].财经智库，2024,9(02): 33-50+135-136.
[10] 吴蔚.人工智能多模态通用大模型数据合规技术应用风险动态规制（英文）[J].科技与法律（中英文）,2024,(02): 117-126.