报告题目：零样本学习若干问题研究

报告时间：2021年11月30日下午3:00-6:00

报告地点：学院201报告厅

报告人：尤新革教授 华中科技大学

报告摘要：在基于数据进行学习的机器模型中，零样本学习（Zero-shot Learning旨在通过运用已获取知识的学习去认知未知类，从而使机器学习系统具备不断学习的能力。当前零样本学习模型大多是依托于额外的辅助信息（如，属性描述）来实现，解决的主要问题是如何准确地表示视觉和属性语义之间的交互，例如，视觉→语义（基于语义嵌入的模型）、语义→视觉（生成模型）、视觉→子空间&语义→子空间（公共子空间学习模型）。尽管上述方法在零样本学习中取得较好的进展，但如何解决零样本学习中跨数据集偏差、视觉-属性的关键公共语义表示、视觉-语义的异构特征对准等仍然是该领域的热门研究课题。报告围绕上述问题研究，介绍我们最近的一些工作进展。

1．针对零样本学习的跨数据集偏差问题，我们提出了两种视觉特征精细化学习机制：预特征精细化和后特征精细化，解决了跨数据集偏差导致特征表示不一致问题。对于预特征精细化学习，我们提出了一个基于属性指导的Transformer模型，设计了一个特征增强编码器对视觉的几何特征进行解耦以提高特征的迁移性和一个属性指导的解码器学习具有属性定位的视觉特征，实现视觉特征的精细化。在后特征精细化学习中，我们通过进一步构造视觉-语义的映射，并集成视觉特征和学习的语义特征作为最终的视觉特征表示，从而增强视觉特征表示。分别在嵌入模型和生成模型中验证所提出方法的有效性。

2．针对视觉-属性的关键公共语义如何表示问题，我们提出了一种属性语义蒸馏的学习模型，通过使用基于属性的视觉注意力模型和基于视觉的属性注意力模型进行协同学习和相互指导，解决了视觉-属性的关键公共语义特征表示，提高了机器学习模型中知识从已知类到未知类的迁移性。

3．针对视觉-语义异构特征难对准的问题，我们提出一种层次视觉-语义层次适应的学习模型，通过同时进行结构对准和分布对准，学习一个具有结构和分布一致性的公共子空间，避免现有学习模型只进行分布对准而造成视觉和语义分布在不同的子流形上的问题，有效提高了零样本学习的识别精度。

报告人简介：尤新革，博士、二级教授、博士生导师。现任国家防伪工程技术研究中心主任，入选教育部新世纪优秀人才支持计划、南京市321重点人才、深圳市高层次人才、武汉市3511等人才计划，是爱思唯尔(Elsevier) 2020中国高被引学者。先后担任国际权威刊物IEEE Trans.Cybernetics、IEEE Trans.Systems, Man, and Cybernetics: Systems编委和Neurocomputing等国际刊物客座主编，中国防伪行业协会理事、中国防伪包装与产品追溯委员会副主任委员、中国计算机学会视觉专委会、中国人工智能协会模式识别专委会等学会全国专委委员，国际电子电气工程协会高级会员。长期从事计算机视觉与机器学习、信息与信号处理、小波分析及其应用、生物特征识别与智能防伪等方面研究。近年来主持完成国家科技支撑计划、国家国际合作重点专项、国家重点研发计划、国家自然科学基金、湖北省重大科技专项等项目30余项；牵头获湖北省科技进步一等奖等省部级奖六项；在IEEE Trans. PAMI、IEEE Trans. Image Processing、NeurIPS、CVPR等国际刊物及国际会议上发表论文180余篇，Google他引5000余次。获授权发明专利40余项、国际专利一项。参与制定国家技术标准2项，行业和地方标准多项；先后担任安全、模式分析与控制论等多个国际学术会议大会主席和程序委员会主席，多次主办广东、湖北等省市防伪行业协会防伪年度高峰论坛及国内会议。主持研发多国纸币及防伪票据的多光谱图像采集、鉴伪、机读识别等多项核心技术，先后开发具有完全自主产权的银行专用多类型清分机、多国货币鉴伪仪、高清防伪票据图像采集仪、多类型证件鉴伪仪、儿童体育动作测评机器人等系列产品，填补多项国内空白，相关产品进入包括中国银行、工商银行等60余家商业银行及北京大兴机场、广州白云机场等全国二十多个机场航站楼，得到全面商用，并出口到美国、欧盟、印度等国家和地区。

申请人：邹斌

（审核：郑大彬）