新智元编译
新智元327技术大会爱奇艺回播视频链接，请点击阅读原文。
PPT下载：http://www.cs.cmu.edu/~rsalakhu/talk_Eval.pdf
本讲结构：
概要
退火重要性采样（AIS）
用于无向图模型的反向 AIS Estimator
无监督学习→ 非概率模型、概率（生成）模型
Directed vs. Undirected Models
左：Helmholtz Machine / 变分自编码器
右：深度玻尔兹曼机
马尔可夫随机场
图模型：是用于表示随机变量之间依赖关系结构的强大框架。
受限玻尔兹曼机
模型选择
生成模型
一般来说，我们应该怎样选择模型？
简单重要性采样
退火重要性采样
退火重要性采样的运行
AIS 是重要性采样
具有几何平均值的RBM
Undirected Model 存在的问题
激励：RBM 抽样
运行马尔可夫链（吉布斯采样）
展开的RBM作为深度定向生成模型
Reverse AIS Estimator（RAISE）
MNIST
在 MNIST 上训练有 500 个隐藏单元的 RBM
初始分布均匀
Omniglot 数据集
在 Omniglot 上训练有 500 个隐藏单元的 RBM
MNIST 和 Omniglot 的结果
DBM（深度玻尔兹曼机）和 DBN（深度置信网络）
Decoder-Based 模型：将样本从简单分布转换为数据流
Directed vs. Undirected 模型
变分自编码器（VAE）
VAE：概率有向图模型，使用被称为编码器网络的近似推理模型。
GANs 和 GMMNs
GAN：是解码器和鉴别器网络之间的博弈训练的生成模型。
GMMN：采用最大平均差异（MMD）作为训练目标。
退火重要性采样（AIS）
AIS：通过引入一个中间分布序列来弥补先验和后验之间的差距。
两个架构，三个模型：VAE、GAN、GMMN
AIS 的验证：KDE vs. AIS
在模拟数据上的结果（KDE 使用100万样本）
MNIST 结果
VAE 得到的对数似然性比 GAN 或 GMMN 更高。
KDE 误差与模型之间的差异具有相同的数量级，不能用于可靠地比较对数似然性。
视觉上无法分辨出3个模型间的区别。
在我们的简单实验中，GAN 和 GMMN 没有过拟合。
<完>
新智元327技术大会爱奇艺回播视频链接，请点击阅读原文。