ML学术相关 – Blog Sketch https://blog.ziaowang.top Tue, 29 Apr 2025 08:51:50 +0000 en-US hourly 1 https://wordpress.org/?v=6.8.5 paper: 贝叶斯优化入门 https://blog.ziaowang.top/2025/03/25/paper-bayesian-optimization/ https://blog.ziaowang.top/2025/03/25/paper-bayesian-optimization/#respond Tue, 25 Mar 2025 06:33:40 +0000 http://localhost/mysite/?p=6408 这是以 “paper:” 作为标题前缀的论文速读系列。最初的动机方法是参考多份资料学习并写出一份贝叶斯优化入门笔记，结果发现了这篇 paper，尤其适合阅读来入门，于是本学习笔记就以翻译和注解这篇论文的前半部分，也是我能勉强看懂的部分为主了。

Taking the Human Out of the Loop: A Review…

]]> 这是以 “paper:” 作为标题前缀的论文速读系列。最初的动机方法是参考多份资料学习并写出一份贝叶斯优化入门笔记，结果发现了这篇 paper，尤其适合阅读来入门，于是本学习笔记就以翻译和注解这篇论文的前半部分，也是我能勉强看懂的部分为主了。

Taking the Human Out of the Loop: A Review…

]]> https://blog.ziaowang.top/2025/03/25/paper-bayesian-optimization/feed/ 0 机器怎样学习：使用概率统计的视角 https://blog.ziaowang.top/2024/06/21/ml-probabilistic-distribution-kl/ https://blog.ziaowang.top/2024/06/21/ml-probabilistic-distribution-kl/#respond Fri, 21 Jun 2024 04:25:28 +0000 http://localhost/mysite/?p=1420 视角的转换：预测取值还是预测分布

泛泛而论，机器学习就是给定一个输入 x，预测一个输出值 y，或者说，逼近目标函数 y = f(x)。回归模型接受输入 x，线性地预测一个输出 y。图像分类器将每个输入的图像分到一个类别中。

如果说上面的论述你全盘接受了的话，那么你本应该提出若干补充和质疑的。卷积神经网络的图像分类器，如果有…

]]> 视角的转换：预测取值还是预测分布

泛泛而论，机器学习就是给定一个输入 x，预测一个输出值 y，或者说，逼近目标函数 y = f(x)。回归模型接受输入 x，线性地预测一个输出 y。图像分类器将每个输入的图像分到一个类别中。

如果说上面的论述你全盘接受了的话，那么你本应该提出若干补充和质疑的。卷积神经网络的图像分类器，如果有…

]]> https://blog.ziaowang.top/2024/06/21/ml-probabilistic-distribution-kl/feed/ 0 从一维回归任务说起 https://blog.ziaowang.top/2024/05/12/regression-bias-variance-nn/ https://blog.ziaowang.top/2024/05/12/regression-bias-variance-nn/#respond Sun, 12 May 2024 06:35:35 +0000 http://localhost/mysite/?p=1099 任务的定义和评价

给定一个输入空间和输出空间，我们想要通过输入空间中的变量预测输出空间中的变量，这就是ML和统计学中的回归任务。让我们考察一个简单的例子，输入空间、输出空间均连续一维的情况，即（单变量单值的）函数 f 的拟合。

我们假设数据按照如下的规律生成：y = f(x) + err, err ~ N(0, sigma)，即背后真实的分布…

]]> 任务的定义和评价

给定一个输入空间和输出空间，我们想要通过输入空间中的变量预测输出空间中的变量，这就是ML和统计学中的回归任务。让我们考察一个简单的例子，输入空间、输出空间均连续一维的情况，即（单变量单值的）函数 f 的拟合。

我们假设数据按照如下的规律生成：y = f(x) + err, err ~ N(0, sigma)，即背后真实的分布…

]]> https://blog.ziaowang.top/2024/05/12/regression-bias-variance-nn/feed/ 0 再谈神经网络的惊人表现：两步跳跃 https://blog.ziaowang.top/2022/09/28/nn-2/ https://blog.ziaowang.top/2022/09/28/nn-2/#respond Wed, 28 Sep 2022 14:01:23 +0000 http://101.43.218.13/?p=848 我在2022年2月曾写博客谈论神经网络的惊人表现，七个月过去了，在泛读机器学习概论课程参考书（Tom Mitchell著），阅读更多文献，产生更多思考后，今天我再次探讨神经网络。本文主要探讨训练神经网络解决实际问题需要经历的“两次跳跃”。

按照机器学习讨论的惯例，我们的任务是逼近一个目标函数，这里目标函数由神经网络所定义。训练神经网络解决实际问题，一般经过如下两步：1）构造训练集，通过定义损失函数对网络参数进行优化的方式让网络在训练集上逼近目标函数；2）在测试集或实际问题上，通过网络给出预测，此预测仍然接近目标函数。…

]]> 我在2022年2月曾写博客谈论神经网络的惊人表现，七个月过去了，在泛读机器学习概论课程参考书（Tom Mitchell著），阅读更多文献，产生更多思考后，今天我再次探讨神经网络。本文主要探讨训练神经网络解决实际问题需要经历的“两次跳跃”。

按照机器学习讨论的惯例，我们的任务是逼近一个目标函数，这里目标函数由神经网络所定义。训练神经网络解决实际问题，一般经过如下两步：1）构造训练集，通过定义损失函数对网络参数进行优化的方式让网络在训练集上逼近目标函数；2）在测试集或实际问题上，通过网络给出预测，此预测仍然接近目标函数。…

]]> https://blog.ziaowang.top/2022/09/28/nn-2/feed/ 0 [仅作存档] 谈谈神经网络的惊人表现 https://blog.ziaowang.top/2022/02/16/nn-1/ https://blog.ziaowang.top/2022/02/16/nn-1/#respond Wed, 16 Feb 2022 04:37:03 +0000 http://101.43.218.13/?p=84 2016年前后，在机器翻译的任务中，诸多指标(人类评价、BLEU分数等)表明神经网络翻译(NMT)效果已经与统计翻译(SMT)不相上下，很多场景下更好。谷歌更是将自己的翻译系统由统计翻译系统替换成基于人工神经网络的翻译系统。

这并不意味着神经网络能够胜任翻译的任务了——目前的机器翻译很大程度上局限于逐句对应的翻译，不能兼顾上下句的信息。这也不代表神经网络的方法全面超越了统计学习的方法，因为前者的可解释性更差，更难以操控，其表现和出错都难以预料，也要求海量的低噪声训练数据。…

]]> 2016年前后，在机器翻译的任务中，诸多指标(人类评价、BLEU分数等)表明神经网络翻译(NMT)效果已经与统计翻译(SMT)不相上下，很多场景下更好。谷歌更是将自己的翻译系统由统计翻译系统替换成基于人工神经网络的翻译系统。

这并不意味着神经网络能够胜任翻译的任务了——目前的机器翻译很大程度上局限于逐句对应的翻译，不能兼顾上下句的信息。这也不代表神经网络的方法全面超越了统计学习的方法，因为前者的可解释性更差，更难以操控，其表现和出错都难以预料，也要求海量的低噪声训练数据。…

]]> https://blog.ziaowang.top/2022/02/16/nn-1/feed/ 0