(通讯员 李靖)近日,在Kaggle举办的全球竞赛中,西安电子科技大学通信工程学院的研究生郭子淳同学在指导老师陈晨教授、俱莹副教授的悉心指导下,荣获大模型黑盒攻击类竞赛“LLMs - You Can't Please Them All”第一名的优异成绩。
此竞赛吸引了来自全球各地的数据科学家、机器学习工程师以及相关领域的专家和学生共计超过1700支队伍参与。参赛者们面临着一系列复杂的挑战,要求他们设计并实现能够有效处理和理解自然语言的模型,同时解决实际应用中的各种问题。
使用 LLM 进行主观评估(例如对生成文本的质量进行排名和评分)的情况越来越普遍。但是,任何自动评分系统都容易受到攻击。不同的模型会有不同程度的自我偏见、位置偏见、长度偏见和风格偏见,这可能会对其提供稳健评估的能力产生负面影响(Zheng 2023、Wang 2023、Panickssery 2024)。同样,不同的模型对有针对性的攻击(例如通用越狱)的脆弱性程度也会不同,这些攻击可用于误导系统(Wallace 2021、Zou 2023、Li 2024、Rando 2024)。
提高自动评审系统稳健性的一种方法是纳入多个 LLM 模型以组成一个 LLM 评审委员会。每个模型都与其他模型关系较远,从而降低了出现共同漏洞的可能性。LLM 评审委员会的一个优势是它们对仅影响单个模型的漏洞不太敏感。本次比赛试图回答这样一个问题:是否可以强迫个别 LLM 评审员给出与集体共识相差甚远的虚高分数。

郭子淳同学在比赛中展示了深厚的技术功底和创新思维,他所提出的解决方案不仅在技术层面实现了突破,还特别注重了模型的实际应用效果与用户体验。陈晨教授、俱莹副教授以其丰富的研究经验和深厚的学术背景,提供了宝贵的建议和技术支持,帮助他在比赛过程中克服了多个难题,并最终取得了优异的成绩。
西安电子科技大学通信工程学院一直致力于为学生提供丰富的学术资源和实践平台,鼓励和支持学生参加各类国际性竞赛。学校、学院通过组织专项培训、邀请行业专家进行讲座等方式,不断提升学生的专业技能和综合素质。与此同时,教师们的积极参与和精心指导也是学生成长道路上不可或缺的一部分。此次获奖,正是学校长期坚持“以赛促学”,强调教师指导作用的结果之一。
Kaggle 是一个全球知名的数据科学和机器学习竞赛平台,由 Anthony Goldbloom 和 Ben Hamner 于2010年创立,并在2017年被谷歌母公司 Alphabet 收购。它为数据科学家、机器学习工程师以及任何对数据分析感兴趣的人提供了一个展示技能、学习新知识并解决实际问题的机会。它为广大学生提供了展示自我、交流学习的机会,同时也是推动技术创新与发展的重要平台。

未来,西安电子科技大学通信工程学院将继续加强对学生参与国际竞赛的支持力度,进一步深化教育教学改革,努力培养更多具有国际视野和社会责任感的高素质人才。我们期待着更多这样的优秀学子能够在国际舞台上发光发热,为中国乃至世界的科技进步贡献智慧和力量,同时也感谢所有背后默默付出的指导老师们。