CCIIP实验室2021级博士生彭道万同学（导师：魏巍）的论文“Towards Deconfounded Visual Question Answering via Dual-causal Intervention” 被第33届信息和知识管理国际会议CIKM2024 的Full Research Paper Tack作为长文全文录用。CIKM2024计划于2024年10月21日-10月25日在美国爱达荷州召开。CIKM是CCF推荐的B类国际学术会议，在信息检索和知识挖掘相关领域具有较高的学术声誉。这次会议的Full Research Paper Tack共收到1496篇有效投稿，录用347篇，录用率约23%。
论文标题: Towards Deconfounded Visual Question Answering via Dual-causal Intervention
作者: Daowan Peng, Wei Wei*
内容简介: 现有视觉问答（VQA）模型倾向于预测结果丰富但带有明显猜测倾向的答案，导致目前VQA任务的可靠性较低，该问题主要是因为现有的VQA模型在训练过程中容易记忆数据集中的模态偏差（Bias），现有主流方法已提出各种解决方案，但上述方法主要关注语言模态偏差，而忽略了其他数据类型偏差。因此，我们关注不同类型数据偏差问题，提出利用因果推理范式解决上述问题。区别于传统方法计算变量间基于统计的虚假相关性P(Y|X)，考虑利用因果推理方法挖掘变量间真实因果关系P(Y|do(X))，从而解决模态偏差问题。具体地，提出了一种双重因果干预（DCI）去偏方法以消除VQA模型受限于偏差干扰导致模型泛化性低问题。DCI模型主要包含两个重要部分，基于语言模态的后门因果干预模块和基于视觉模态的前门因果干预模块，前者利用后门干预来切断语言模态中混淆因素影响，后者利用前门干预来消除视觉模态中混淆因素影响。通过在两个极具挑战性的OOD基准数据集（VQA-VS和VQA-CE，主要评估VQA模型在不同数据类型偏差下的鲁棒性和泛化性）上实验显示，所提方法在VQA-VS基准上九个OOD指标和IID指标均显著优于当前最新去偏方法，同时在VQA-CE基准上所有指标也超越了当前最佳方法。