一、 智能能力、学习、和智能系统  

1)   两种智能能力

2)   规律与模型

3)   两个典型例子: 混合高斯分布和子空间分析

PCA、子空间、 因子分析、和ICA

      4）三个层次反问题: 问题求解、参数學習、模型选择

二、学习的本质特点和基本要素

     1) 学习的本质: 通过有限的样本集建立学习系统与外界的双向映射

     2) 要素一: 学习系统(学生)的结构

若干常见结构和四种组构方式

     3) 要素二: 指导方针(学习理论)

   从样本集之最佳描述到学习反映样本集背后的规律

     4）要素三: 实现过程(學習算法)

   积分与优化，理论计算复杂性

三、 基本挑战和学习理论

1)   大数定理、统计一致性、和Bias-Variance关系

2)   从大样本集理论到小样本集挑战

样本集大小、规律复杂性、系统规模之间的关系

样本最佳表示理论和最佳内部编码理论

3)   两个对策方向: 结构规范与结构简裁

结构规范：Tikhonov (简单平滑)、SVM (界限分明)、Combining and Boosting（集成复用）

结构简裁：Sparse（稀疏）与Selection（选裁）

4)   四个学习理论

误差估计(CV、AIC与VC) 、Bayes (classic、up-to-date) 、最佳编码(Kolmogorov、MDL) 、

最大和谐（BYY harmony learning）

学习理论与四种哲学思想

四、 学习之计算实现：积分与优化

1)   积分之近似计算

Taylor展开和Lapalace近似

AIC 和 BIC

2)   优化算法: 局部搜索与非局部搜索

局部梯度搜索、backpropagation, deep-learning

EM 算法与混合高斯学习、一个统一算法

SVM与凸规划算法

3)   模型选裁

两阶段法与逐步选择

学习过程中的自动选择：RPCL学习与BYY学习

4)   学习远不仅仅是优化:  搜索最优、累积优化、习得推断、适应进化

五、BYY和谐学习

1)   阴阳五行和谐系统与BYY学习系统

2)   问题求解A5与中医五行理论：以RHT检测为例

3)   BYY和谐：默契地一致与匹配之最小系统

4)   从学习梯度流看异同：最大似然、和谐学习和RPCL学习

六、統計學習理论的一个统一体系： 与现有主要方法之异同

1)   三个信息理论的统一框架

2)   三条通联现有主要方法之路

最小交叉熵、最佳信息传递、Variational Bayes，Bayes方法（MAP，BIC）

3)   BYY和谐学习的若干优点

4)   算法: 峰点邻域近似、阴阳交替学习

七、几个典型学习问题 

 1)   学习线性矩阵系统X＝AY+E（独立因子、非负矩阵、 preference矩阵、时序关系）

 2)   学习局部子空间与自动确定子空间个数维数

 3)   学习Multi-agents （局部回归、局部判别、局部活动）

 4)   学习树状高斯混合分布与隐马模型学习