4月2日下午，信息工程学院科研讨论班第5讲“基于多样性知识迁移的模型蒸馏研究”在综合楼415举行，智能信息处理与应用团队教师参加了本次讨论班。

我院孙立媛老师从基于多重知识迁移的协作式知识蒸馏方法、分层的多注意力知识蒸馏方法、基于多层注意力的样本关系知识蒸馏方法等三个方面对该技术进行了较深入的介绍。在介绍相关算法的同时，孙老师侧重分享了自己在进行算法研究时遇到的问题和解决思路，并强调了论文阅读积累对深度学习算法初学者的重要性。

大型模型结构复杂、参数量很大，在计算资源受限的移动端难以部署。知识蒸馏作为一种新型的模型压缩技术，可以将知识从大模型中提取出来，迁移到小模型中，以此提升小模型的性能。使小模型能够以较小的参数量和较好的性能部署到应用设备上，从而提升其泛化能力。目前，模型蒸馏技术在计算机视觉、自然语言处理和语音识别等多个领域都得到了广泛的应用。

通过本次研讨，团队成员纷纷表示收益匪浅。大家不仅对模型蒸馏技术有了一定的了解，更深刻体会到从文献阅读到论文撰写、从理论研究到实际应用中的每个过程都需要科学严谨、扎实深入的科研作风。

信息工程学院

2024年4月2日