授课教师简介

徐雷教授

上海交大致远讲席教授、2012年国家千人计划引进。

香港中文大学讲座教授、北京大学长江讲座教授、01年当选IEEE Fellow、02年当选国际模式识别学会Fellow 和欧洲科学院院士。1975年起当工人，考入哈工大77级获学士学位，82年到清华师从已故著名信息科学家常迥院士，获得硕士，博士学位。87 年入北京大学在已故著名数学家程民德院士和已故信息科学家石青云院士的指导下做博士后， 88年破格为副教授。89年至93年，在芬兰、加拿大、美国之四所大学（包括哈佛和麻省理工）为博士后、高级研究员。93年返香港任高级讲师、96年任教授、02年任讲座教授。研究领域为模式识别、 统计学习、神经网络等，发表学术期刊论文逾百篇，多个成果被广泛引用。SCI被引用量有数千次(最大单篇九百多，前十篇逾二千五), 而Google Scholar被引用量逾万次(最大单篇二千多，前十篇近六千)。94年起任多个国际学术期刊之编委，获得多个国内外奖项，曾在IEEE、国际和亚太相关领域的学会中担任数种职务。现为欧洲科学院科学委员会委员 （计算与信息科学部)。还于2014年创刊 Springer OA Journal Applied Informatics，任主编。

课程大纲

一、 智能能力、学习、和智能系统  

1)   两种智能能力

2)   规律与模型

3)   两个典型例子: 混合高斯分布和子空间分析

PCA、子空间、 因子分析、和ICA

      4）三个层次反问题: 问题求解、参数學習、模型选择

二、学习的本质特点和基本要素

     1) 学习的本质: 通过有限的样本集建立学习系统与外界的双向映射

     2) 要素一: 学习系统(学生)的结构

若干常见结构和四种组构方式

     3) 要素二: 指导方针(学习理论)

   从样本集之最佳描述到学习反映样本集背后的规律

     4）要素三: 实现过程(學習算法)

   积分与优化，理论计算复杂性

三、 基本挑战和学习理论

1)   大数定理、统计一致性、和Bias-Variance关系

2)   从大样本集理论到小样本集挑战

样本集大小、规律复杂性、系统规模之间的关系

样本最佳表示理论和最佳内部编码理论

3)   两个对策方向: 结构规范与结构简裁

结构规范：Tikhonov (简单平滑)、SVM (界限分明)、Combining and Boosting（集成复用）

结构简裁：Sparse（稀疏）与Selection（选裁）

4)   四个学习理论

误差估计(CV、AIC与VC) 、Bayes (classic、up-to-date) 、最佳编码(Kolmogorov、MDL) 、

最大和谐（BYY harmony learning）

学习理论与四种哲学思想

四、 学习之计算实现：积分与优化

1)   积分之近似计算

Taylor展开和Lapalace近似

AIC 和 BIC

2)   优化算法: 局部搜索与非局部搜索

局部梯度搜索、backpropagation, deep-learning

EM 算法与混合高斯学习、一个统一算法

SVM与凸规划算法

3)   模型选裁

两阶段法与逐步选择

学习过程中的自动选择：RPCL学习与BYY学习

4)   学习远不仅仅是优化:  搜索最优、累积优化、习得推断、适应进化

五、BYY和谐学习

1)   阴阳五行和谐系统与BYY学习系统

2)   问题求解A5与中医五行理论：以RHT检测为例

3)   BYY和谐：默契地一致与匹配之最小系统

4)   从学习梯度流看异同：最大似然、和谐学习和RPCL学习

六、統計學習理论的一个统一体系： 与现有主要方法之异同

1)   三个信息理论的统一框架

2)   三条通联现有主要方法之路

最小交叉熵、最佳信息传递、Variational Bayes，Bayes方法（MAP，BIC）

3)   BYY和谐学习的若干优点

4)   算法: 峰点邻域近似、阴阳交替学习

七、几个典型学习问题 

 1)   学习线性矩阵系统X＝AY+E（独立因子、非负矩阵、 preference矩阵、时序关系）

 2)   学习局部子空间与自动确定子空间个数维数

 3)   学习Multi-agents （局部回归、局部判别、局部活动）

 4)   学习树状高斯混合分布与隐马模型学习