Program
机器学习基础理论及应用研讨会
Student No.:100
Time:2017年11月9日10:00—17:00
Instructor:丘成桐,郑绍远,胡事民,纪荣嵘,吴建鑫,左旺孟,孟德宇,聂飞平,程明明,王立威,朱军  
Place:近春园西楼三层报告厅
Starting Date:2017-11-9
Ending Date:2017-11-9

主持人:郑绍远,胡事民
日期:2017年11月9日
时间:10:00—17:00
地点:清华大学近春园西楼三层报告厅

 

 清华“机器学习基础理论及应用”研讨会
 时间  2017年11月9日
 上午郑绍远教授主持
 10:00-10:15  丘成桐教授致辞
 10:15-10:45  王立威  北京大学
 10:45-11:15  朱军  清华大学
 11:15-11:45  孟德宇  西安交通大学
 11:45-12:15  聂飞平  西北工业大学
 下午胡事民教授主持
 14:00-14:30  纪荣嵘  厦门大学
 14:30-15:00  程明明  南开大学
 15:00-15:30  左旺孟  哈尔滨工业大学
 15:30-16:00  吴建鑫  南京大学
 16:00-17:00  讨论

 

10:15-10:45  王立威  北京大学
题目:Towards Understanding Deep Learning: Two Theories of Stochastic Gradient Langevin Dynamics
摘要:Deep learning has achieved great success in many applications. However, deep learning is a mystery from a learning theory point of view. In all typical deep learning tasks, the number of free parameters of the networks is at least an order of magnitude larger than the number of training data. This rules out the possibility of using any model complexity-based learning theory (VC dimension, Rademacher complexity etc.) to explain the good generalization ability of deep learning. Indeed, the best paper of ICLR 2017 “Understanding Deep Learning Requires Rethinking Generalization” conducted a series of carefully designed experiments and concluded that all previously well-known learning theories fail to explain the phenomenon of deep learning.
In this talk, I will give two theories characterizing the generalization ability of Stochastic Gradient Langevin Dynamics (SGLD), a variant of the commonly used Stochastic Gradient Decent (SGD) algorithm in deep learning. Building upon tools from stochastic differential equation and partial differential equation, I show that SGLD has strong generalization power. The theory also explains several phenomena observed in deep learning experiments.


10:45-11:15  朱军  清华大学
题目:贝叶斯深度学习:模型、算法与概率编程库
摘要:深度学习虽然在很多应用上取得显著进展,但在不确定性、不完全信息、小样本等环境下仍面临着很多挑战,贝叶斯方法具有互补的优势。该报告将介绍贝叶斯深度学习的前沿进展,介绍支持贝叶斯深度学习的珠算概率编程库,以及在小样本学习、半监督学习等方面的应用。


11:15-11:45  孟德宇  西安交通大学
题目:误差建模原理
摘要:传统机器学习主要关注于确定性信息的建模,而在复杂场景下,机器学习方法容易出现对数据噪音的鲁棒性问题,而该鲁棒性问题与误差函数的选择紧密相关。本次报告聚焦于如何针对包含复杂噪音数据进行误差建模的鲁棒机器学习原理。这一原理已经在遥感影像、CT图像与高光谱图像的相关应用中取得良好效果,并有望引导出更多有趣的机器学习相关应用与发现。


11:45-12:15  聂飞平  西北工业大学
题目:基于结构化图学习的高效聚类方法
摘要:数据聚类是机器学习和数据挖掘研究中的一个基本问题。在数十年的研究中,已经提出了很多聚类方法,而基于图的聚类方法是其中最有效的方法之一。传统的图聚类方法需要用户事先给定一个图,然后采用松弛技巧将问题转化为一个可解的问题。由于一般的图不具有结构性,因此得到的解是连续的,需要利用离散技术得到最终的聚类结果,从而使得聚类结果十分依赖于初始化。针对这些问题,我们提出了一种结构化图学习方法,通过学习一个具有结构的图,使得我们可以直接得到聚类结果,不再依赖于初始化。该新方法具有性能优越,稳定等优点,并且其中的结构化图学习思想可以应用在其他基于图的机器学习方法中,具有很大的应用价值和启发性。


14:00-14:30  纪荣嵘  厦门大学
题目:视觉搜索与识别系统中的紧凑性问题
摘要:报告将汇报厦门大学媒体分析与计算研究组(mac.xmu.edu.cn)近两年来在面向视觉应用的视觉特征紧凑表示和深度网络压缩中所做的一些工作与成果。首先将介绍2015-2017在ICCV、CVPR、AAAI、IJCAI和TIP上发表的一系列排序敏感特征哈希算法。这些算法旨在通过引入大规模无监督排序信息,学习排序敏感的哈希码,以保持原始高维特征空间中的检索信息。其次将介绍在2016年IJCAI上发表的面向人脸和视觉场景解析的深度网络模型应用,以及2017年AAAI上发表的深度模型压缩研究。

 

14:30-15:00  程明明  南开大学
题目:
Weakly Supervised Image Understanding
摘要:Sematic segmentation of nature images is a fundamental problem in computer vision. While significant research progresses have been made in the last few years, the success of most existing method highly rely on large scale accurate pixel accurate annotations. However, humans effortlessly learn robust and accurate visual cognitive modes without the requirement of huge amount of pixel accurate semantic annotation. During childhood, we learn to robustly recognize and precisely locate the object regions with limited supervision from parents and other sources. Inspired by this process, our research focus on human cognitive inspired weakly supervised image understanding, by utilizing visual attention, category independent edge detection, region clustering etc., we observed consistent performance boost in weakly supervised image upstanding.


15:00-15:30  左旺孟  哈尔滨工业大学
题目:多领域视觉学习
摘要:不同领域(如合成与真实数据、可控与不可控环境等)的视觉数据的关联和综合利用有助于更为便捷地构建高效和实用的视觉分析模型,近年来获得了越来越多的关注。报告将首先介绍多领域数据对视觉学习带来的机遇与挑战,并结合具体底层和高层视觉应用,介绍了我们在多域底层融合、跨域匹配、域间迁移与转换等方面的一些研究进展。


15:30-16:00  吴建鑫  南京大学
题目:资源受限的深度学习:以ThiNet为例
摘要:资源消耗过大(例如CPU、GPU、内存、显存、存储卡、电力等)是深度学习算法目前应用到资源受限环境中的主要障碍;然而,移动端或嵌入式设备这类资源受限的环境是深度学习主要的应用场景,因此,有必要研究资源受限情况下的深度学习方法与模型。将以我们的ThiNet方法为例介绍资源受限的深度学习,还将简要介绍南京大学机器学习与数据挖掘(LAMDA)研究所在机器学习理论与应用方面的情况。