点击链接入会:
https://meeting.tencent.com/dm/ZMKHLRf0XRwK
组织者:户将
Abstract: 本报告将介绍本团队近期两个工作。1. 利用大模型搭建工作流自动化设计新型的整数规划算法。一个商用求解器的整数规划算法由分支定界算法,切平面算法等诸多元素组成。良好的分支算法能够有效降低算法的搜索时间,然而针对某一类问题的分支算法设计是一个公开难题。团队近期利用软件迭代算法,自动从开源平台出发,迭代出高效整数规划算法,在多个整数规划数据集合上测试,平均提升25%左右。2. 纤维丛上的大模型求解器。大模型低秩后训练上时,两因子分解法和SVD分解都会存在冗余更新问题。即低秩矩阵乘积AB与(AR)(R^{-1}B)存在冗余解问题。团队提出一种新的去冗余更新算法,在模型下降时只考虑水平移动带来的更新变换,以提升优化效率。我们同时在一个简化的模型上,理论证明了其收敛速率,以及在LLaMA-3B的实际模型上验证了算法的优越性。
Bio: 张霄远博士,现任北京中关村学院研究员,国家优青(海外)。他于上海交通大学获得工学学士和硕士学位,后于香港城市大学取得计算机科学博士学位。他的研究兴趣包括:(1)针对百万级参数高效的梯度法求解器算法/软件/理论;(2) 大模型后训练阶段的黎曼流形优化理论,并开发针对性的高性能训练求解器;(3) 新型整数规划/SAT求解器的开发及其理论;(4) 集合学习的泛化理论。他在人工智能领域的国际顶级会议与期刊(如 NeurIPS, ICML, ICLR)上发表了十余篇学术论文,并担任 IJCAI 2025 大会“多目标优化”主题的特邀讲座(Tutorial)组织者。他曾荣获微软“编程之美”全国总冠军、香港城市大学杰出学术表现奖等荣誉。