内容简介
采用概率建模和贝叶斯决策理论的统一视角,全面介绍机器学习领域的经典理论和近期发展,包括深度学习领域的一些主题以及其他进展,比如生成模型、变分推理、强化学习等,还增添了一些例如优化和线性代数方面的背景内容。全书分为基础篇和进阶篇,本书是进阶篇。
前言/序言
前言
我正在撰写一本异乎寻常的超长巨著,因为没有足够的时间撰写一本短小精悍的书。
——布莱斯·帕斯卡
本书是《概率机器学习(基础篇)》\[Mur22\]的进阶篇,旨在对机器学习中的各种主题进行更深入的研究。《概率机器学习(基础篇)》主要聚集于学习形如f:X→Y的函数,其中f是非线性模型(例如深度神经网络),X是可能输入的集合(通常X=RD),并且Y={1,…,C}表示分类问题的标签集,或者Y=R表示回归问题。著名的人工智能研究专家Judea Pearl将这种机器学习称为“美化曲线拟合”的一种形式(引自文献\[Har18\])。
在本书中,我们扩展了机器学习的范围,以涵盖更具挑战性的问题。例如,我们将考虑在不同的分布下进行训练和测试;我们将考虑如何生成高维输出,例如图像、文本和图形,因此输出空间为Y=R256×256;我们还将讨论基于潜在变量模型发现数据“洞察力”的方法;并讨论如何在不确定性条件下使用概率模型进行因果推理和决策。
本书假设读者之前接触过机器学习和其他相关的数学主题(例如,概率论、统计学、线性代数、优化方法)。有关这些方面的背景知识,可以参考《概率机器学习(基础篇)》\[Mur22\]以及其他若干优秀的参考读物(例如文献\[Lin+21b;DFO20\])。
本书提供的在线网址包含了重现本书中几乎所有图形的Python代码(主要基于JAX)。特别是,如果图题有例如“生成该图的代码为gauss_plot_2d.ipynb”的内容,那么读者可以在网址probml.github.io/notebooks#gauss_plot_2d.ipynb上找到相应的Jupyter Notebook,并轻松地重新生成相应的图形,还可以通过修改底层源代码更深入地了解其中所使用的方法。(使用Colab,读者可以访问一个免费的GPU,这对一些计算量较大的演示非常有效。)
除了在线代码外,probml.github.io/supp还包含一些额外的补充内容。若需与本书主题相关的练习题(以及相应的参考答案),可以参阅文献\[Gut22\]。
特约作者
本书是众多作者共同努力的结果。特别感谢以下撰写或共同撰写各个章节的同人:
●Alex Alemi(Google),与作者共同撰写了5.1节。
●Jeff Bilmes(华盛顿大学),撰写了6.9节。
●Peter Chang,与作者共同撰写了8.5.1节。
●Marco Cuturi(现任职于Apple公司),任职Google公司期间参与撰写工作,撰写了6.8节。
●Alexander D’Amour(Google),与Veitch共同撰写了第36章。
●Finale Doshi-Velez(哈佛大学),与Kim共同撰写了第33章。
●Roy Frostig(Google),撰写了6.2节。
●Justin Gilmer(Google),撰写了19.8节。
●Giles Harper-Donnelly,撰写了8.2.4节。
●Been Kim(Google),与Doshi-Velez共同撰写了第33章。
●Durk Kingma(Google),与Song共同撰写了第24章。
●Simon Kornblith(Google),与Poole共同撰写了第32章。
●Balaji Lakshminarayanan(Google),与Papamakarios共同撰写了第23章,与Mohamed和Rosca共同撰写了第26章。
●Lihong Li(现任职于Amazon公司),任职Google公司期间参与撰写工作,与作者共同撰写了34.4节以及第35章。
●Xinglong Li(UBC),撰写了15.2.9节、29.4.4.1节和29.8.4.1节,以及在线补充资料的31.2.3节。
●Shakir Mohamed(Deepmind),与Lakshminarayanan和Rosca共同撰写了第26章。
●George Papamakarios(Deepmind),与Lakshminarayanan共同撰写了第23章。
●Zeel Patel(印度理工学院甘地纳格尔分校),与作者共同撰写了34.7节。
●Ben Poole(Google),与Kornblith共同撰写了第32章。
●Mihaela Rosca(Deepmind/UCL),共同撰写了第26章。
●Vinayak Rao(普渡大学),撰写了第31章。
●Yang Song(斯坦福大学),与Kingma共同撰写了第24章。
●Victor Veitch(Google/芝加哥大学),与D’Amour共同撰写了第36章。
●Andrew Wilson(NYU),与作者共同撰写了第17章以及第18章。
其他贡献者
衷心感谢以下以各种其他方式提供帮助的人员:
●衷心感谢帮助创建和改进本书中图表的人员,包括Aman Atman、Vibhuti Bansal、Shobhit Belwal、Aadesh Desai、Vishal Ghoniya、Anand Hegde、Ankita Kumari Jain、Madhav Kanda、Aleyna Kara、Rohit Khoiwal、Taksh Panchal、Dhruv Patel、Prey Patel、Nitish Sharma、Hetvi Shastri、Mahmoud Soliman以及Gautam Vashishtha。特别感谢Zeel B Patel和Karm Patel,他们为提升图表质量付出了巨大努力。
●感谢2021年谷歌代码之夏(Google Summer of Code,GSOC)的参与者,包括Ming Liang Ang、Aleyna Kara、Gerardo Duran-Martin、Srikar Reddy Jilugu、Drishti Patel以及联合导师Mahmoud Soliman。
●感谢2022年谷歌代码之夏的参与者,包括Peter Chang、Giles Harper-Donnelly、Xinglong Li、Zeel B Patel、Karm Patel、Qingyao Sun,以及联合导师Nipun Batra和Scott Linderman。
●感谢许多其他贡献代码的人员(有关自动生成的列表,可以参阅https://github.com/probml/pyprobml#acknowledgements)。
●感谢参与校对本书部分内容的人员,包括阿尔托研讨会的学生们、Bill Behrman、Kay Brodersen、Peter Chang、Krzysztof Choromanski、Adrien Corenflos、Tom Dietterich、Gerardo Duran-Martin、Lehman Krunoslav、Ruiqi Gao、Amir Globerson、Giles Harper-Donnelly、Ravin Kumar、Junpeng Lao、Stephen Mandt、Norm Matloff、Simon Prince、Rif Saurous、Erik Sudderth、Donna Vakalis、Hal Varian、Chris Williams和Raymond Yeh、以及其他人员(有关列表可以参阅https://github.com/probml/pml2-book/issues?q=is:issue)。特别感谢John Fearns,他校对了本书几乎所有关于数学方面的内容;特别感谢麻省理工学院出版社的编辑,他校对并确保本书在所有正确的地方使用“牛津逗号”。




















