采用概率建模和贝叶斯决策理论的统一视角，全面介绍机器学习领域的经典理论和近期发展，包括深度学习领域的一些主题以及其他进展，比如生成模型、变分推理、强化学习等，还增添了一些例如优化和线性代数方面的背景内容。全书分为基础篇和进阶篇，本书是进阶篇。

前言

我正在撰写一本异乎寻常的超长巨著，因为没有足够的时间撰写一本短小精悍的书。

——布莱斯·帕斯卡

本书是《概率机器学习（基础篇）》\[Mur22\]的进阶篇，旨在对机器学习中的各种主题进行更深入的研究。《概率机器学习（基础篇）》主要聚集于学习形如f:X→Y的函数，其中f是非线性模型（例如深度神经网络），X是可能输入的集合（通常X=RD），并且Y={1,…,C}表示分类问题的标签集，或者Y=R表示回归问题。著名的人工智能研究专家Judea Pearl将这种机器学习称为“美化曲线拟合”的一种形式（引自文献\[Har18\]）。

在本书中，我们扩展了机器学习的范围，以涵盖更具挑战性的问题。例如，我们将考虑在不同的分布下进行训练和测试；我们将考虑如何生成高维输出，例如图像、文本和图形，因此输出空间为Y=R256×256；我们还将讨论基于潜在变量模型发现数据“洞察力”的方法；并讨论如何在不确定性条件下使用概率模型进行因果推理和决策。

本书假设读者之前接触过机器学习和其他相关的数学主题（例如，概率论、统计学、线性代数、优化方法）。有关这些方面的背景知识，可以参考《概率机器学习（基础篇）》\[Mur22\]以及其他若干优秀的参考读物（例如文献\[Lin+21b；DFO20\]）。

本书提供的在线网址包含了重现本书中几乎所有图形的Python代码（主要基于JAX）。特别是，如果图题有例如“生成该图的代码为gauss_plot_2d.ipynb”的内容，那么读者可以在网址probml.github.io/notebooks#gauss_plot_2d.ipynb上找到相应的Jupyter Notebook，并轻松地重新生成相应的图形，还可以通过修改底层源代码更深入地了解其中所使用的方法。（使用Colab，读者可以访问一个免费的GPU，这对一些计算量较大的演示非常有效。）

除了在线代码外，probml.github.io/supp还包含一些额外的补充内容。若需与本书主题相关的练习题（以及相应的参考答案），可以参阅文献\[Gut22\]。

特约作者

本书是众多作者共同努力的结果。特别感谢以下撰写或共同撰写各个章节的同人：

●Alex Alemi（Google），与作者共同撰写了5.1节。

●Jeff Bilmes（华盛顿大学），撰写了6.9节。

●Peter Chang，与作者共同撰写了8.5.1节。

●Marco Cuturi（现任职于Apple公司），任职Google公司期间参与撰写工作，撰写了6.8节。

●Alexander D’Amour（Google），与Veitch共同撰写了第36章。

●Finale Doshi-Velez（哈佛大学），与Kim共同撰写了第33章。

●Roy Frostig（Google），撰写了6.2节。

●Justin Gilmer（Google），撰写了19.8节。

●Giles Harper-Donnelly，撰写了8.2.4节。

●Been Kim（Google），与Doshi-Velez共同撰写了第33章。

●Durk Kingma（Google），与Song共同撰写了第24章。

●Simon Kornblith（Google），与Poole共同撰写了第32章。

●Balaji Lakshminarayanan（Google），与Papamakarios共同撰写了第23章，与Mohamed和Rosca共同撰写了第26章。

●Lihong Li（现任职于Amazon公司），任职Google公司期间参与撰写工作，与作者共同撰写了34.4节以及第35章。

●Xinglong Li（UBC），撰写了15.2.9节、29.4.4.1节和29.8.4.1节，以及在线补充资料的31.2.3节。

●Shakir Mohamed（Deepmind），与Lakshminarayanan和Rosca共同撰写了第26章。

●George Papamakarios（Deepmind），与Lakshminarayanan共同撰写了第23章。

●Zeel Patel(印度理工学院甘地纳格尔分校），与作者共同撰写了34.7节。

●Ben Poole（Google），与Kornblith共同撰写了第32章。

●Mihaela Rosca（Deepmind/UCL），共同撰写了第26章。

●Vinayak Rao（普渡大学），撰写了第31章。

●Yang Song（斯坦福大学），与Kingma共同撰写了第24章。

●Victor Veitch（Google/芝加哥大学），与D’Amour共同撰写了第36章。

●Andrew Wilson（NYU），与作者共同撰写了第17章以及第18章。

其他贡献者

衷心感谢以下以各种其他方式提供帮助的人员：

●衷心感谢帮助创建和改进本书中图表的人员，包括Aman Atman、Vibhuti Bansal、Shobhit Belwal、Aadesh Desai、Vishal Ghoniya、Anand Hegde、Ankita Kumari Jain、Madhav Kanda、Aleyna Kara、Rohit Khoiwal、Taksh Panchal、Dhruv Patel、Prey Patel、Nitish Sharma、Hetvi Shastri、Mahmoud Soliman以及Gautam Vashishtha。特别感谢Zeel B Patel和Karm Patel，他们为提升图表质量付出了巨大努力。

●感谢2021年谷歌代码之夏（Google Summer of Code，GSOC）的参与者，包括Ming Liang Ang、Aleyna Kara、Gerardo Duran-Martin、Srikar Reddy Jilugu、Drishti Patel以及联合导师Mahmoud Soliman。

●感谢2022年谷歌代码之夏的参与者，包括Peter Chang、Giles Harper-Donnelly、Xinglong Li、Zeel B Patel、Karm Patel、Qingyao Sun，以及联合导师Nipun Batra和Scott Linderman。

●感谢许多其他贡献代码的人员（有关自动生成的列表，可以参阅https://github.com/probml/pyprobml#acknowledgements）。

●感谢参与校对本书部分内容的人员，包括阿尔托研讨会的学生们、Bill Behrman、Kay Brodersen、Peter Chang、Krzysztof Choromanski、Adrien Corenflos、Tom Dietterich、Gerardo Duran-Martin、Lehman Krunoslav、Ruiqi Gao、Amir Globerson、Giles Harper-Donnelly、Ravin Kumar、Junpeng Lao、Stephen Mandt、Norm Matloff、Simon Prince、Rif Saurous、Erik Sudderth、Donna Vakalis、Hal Varian、Chris Williams和Raymond Yeh、以及其他人员（有关列表可以参阅https://github.com/probml/pml2-book/issues?q=is:issue）。特别感谢John Fearns，他校对了本书几乎所有关于数学方面的内容；特别感谢麻省理工学院出版社的编辑，他校对并确保本书在所有正确的地方使用“牛津逗号”。