尽管贝叶斯机器学习(machinelearning,ML)和近似推断的研究范围十分宽泛,也诞生了很多著作,但本书自成体系地聚焦于现代变分法在贝叶斯神经网络(Bayesianneuralnetwork,BNN)中的具体应用。在这一领域,研究的进展速度令人难以置信,而且其中的许多算法都可以通过贝叶斯理论来解释。本书侧重于介绍较为实用的贝叶斯神经网络算法,它们要么比较容易理解,要么训练速度很快。

此外,本书还将讨论变分法在生成模型中的典型应用。阅读本书需要掌握一定的机器学习和现代神经网络(neuralnetwork,NN)的基础知识,而具备微积分、线性代数和概率论的基础知识是理解书中概念和公式推导的充分必要条件。本书尽可能地避免了矩阵推导,因为理解书中现有内容本来就很有挑战性,若额外增加难度可能会造成不必要的阅读障碍。此外,本书假设读者并不熟悉统计推断理论,因而在书中对相关概念进行了必要的解释。

目前,机器学习领域的入门教材或聚焦于现代神经网络,或侧重于通用贝叶斯方法在机器学习中的应用,但尚无系统性著作能将二者同步整合。相关文章大多是一些分散的博客文章和介绍性论文,只有尼尔(Neal)在1996年完成的博士论文对此研究相对深入,但该文献未涉及现代变分近似问题。从理论上讲,在当前条件下,即使掌握了神经网络的相关知识,要想直接理解贝叶斯神经网络也是非常困难的,因为读者只能先去学习贝叶斯方法,或者自己斟酌到底该学习什么算法,前者耗时费力,后者则易陷入选择困境。

本书致力于帮助读者实现从神经网络到贝叶斯神经网络的跨越,使其掌握相应的基础知识,并理解贝叶斯方法的理论背景。