From Experience to Understanding

我在2022年2月曾写博客谈论神经网络的惊人表现，七个月过去了，在泛读机器学习概论课程参考书（Tom Mitchell著），阅读更多文献，产生更多思考后，今天我再次探讨神经网络。本文主要探讨训练神经网络解决实际问题需要经历的“两次跳跃”。 按照机器学习讨论的惯例，我们的任务是逼近一个目标函数，这里目标函数由神经网络所定义。训练神经网络解决实际问题，一般经过如下两步：1）构造训练集，通过定义损失函数对网络参数进行优化的方式让网络在训练集上逼近目标函数；2）在测试集或实际问题上，通过网络给出预测，此预测仍然接近目标函数。…

2016年前后，在机器翻译的任务中，诸多指标(人类评价、BLEU分数等)表明神经网络翻译(NMT)效果已经与统计翻译(SMT)不相上下，很多场景下更好。谷歌更是将自己的翻译系统由统计翻译系统替换成基于人工神经网络的翻译系统。 这并不意味着神经网络能够胜任翻译的任务了——目前的机器翻译很大程度上局限于逐句对应的翻译，不能兼顾上下句的信息。这也不代表神经网络的方法全面超越了统计学习的方法，因为前者的可解释性更差，更难以操控，其表现和出错都难以预料，也要求海量的低噪声训练数据。…