2023年10月22日下午，华中科技大学计算机科学与技术专业建设50周年学术讲座于华中科技大学东一楼成功举办。受认知计算与智能处理实验室主任魏巍教授邀请，复旦大学大数据学院魏忠钰副教授开展了题为《ReForm-Eval: 一个基于样本重构的大视觉语言模型的评测基准》的学术报告。本次活动由计算机科学与技术学院主办，由计算机科学与技术学院认知计算与智能处理实验室承办。
魏巍教授热情欢迎学者魏忠钰副教授的到来，并向其介绍了华科大认知计算与智能处理实验室成立以来取得的成就以及在大模型研究方面的进展。二者在大模型目前的难点以及未来的发展方向上达成共识，双方进行了更加紧密的学术交流。
报告中，魏忠钰副教授以“基于样本重构的大视觉语言模型的评测基准”为题，介绍了目前已知多模态大模型进展和性能，包括BLIP-2，MiniGPT4，LLaVA，Lynx等。尽管上述大模型在不同多模态任务上已取较为优越的表现，但目前大模型的幻觉（object hallucination）问题仍然非常严重，在输出结果可控性方面（如基于指定的固定格式输出）、评价指标的合理性及鲁棒性方面还存在不足等。现有主流评估方案依赖人工输入构造，很难进行大范围、多角度的评测。针对上述问题，魏忠钰副教授课题组提出通过半自动化重构现有的跨视觉语言数据集的样本，构建一整套系统化评测数据集及评测方法，在两大类+八个小类的能力维度上测试上对16个开源大模型进行公开性、系统性评测，以便广大研究学者对现有多模态大模型能力有系统性评估。
此次专业建设50周年学术讲座聚焦多模态大模型等热门研究领域，促进了华中科技大学与复旦大学之间的学术交流，同时也扩宽了我校师生的视野，为广大师生提供了一个良好的学术交流和学习的平台。
报告人简介：
魏忠钰，复旦大学大数据学院副教授，智能复杂体系实验室双聘研究员，博士生导师，复旦大学数据智能与社会计算实验室(Fudan DISC)负责人，复旦大学自然语言处理 (Fudan NLP)团队成员，香港中文大学博士，美国德州大学达拉斯分校博士后。现任中国中文信息学会情感计算专委会副秘书长，社交媒体处理专委会常务委员兼秘书，青年工作委员会执委会副主任。担任多个重要国际会议包括 EMNLP、ACL 的高级领域主席和组织委员会成员。主要研究领域包括自然语言处理，社会计算和多模态智能交互技术，在国内外相关领域高水平会议及期刊发表论文 80 余篇。曾获得 2019 年度中国中文信息学会社会媒体处理新锐奖，2020 年度华为技术优秀成果奖，2021 年上海市启明星计划，2022 年中国计算机学会自然语言处理新锐学者奖，2022 年上海市青年教师教学比赛优秀奖。