Thought on The Forward-Forward Algorithm: Some Preliminary Investigations

评价

这篇论文固然新颖，但是我有几个问题。

1. eval的方式是用标签去一个一个试。首先，如果标签很多的话，这样是非常消耗时间的。其次，这显然不是人脑的工作方式，人脑的方式倒是像普通神经网络那样，在一段输入，在一段输出。
2. 文中提到了睡眠，说睡眠是生成负样本，这我不敢苟同。

想法

在我看来，人脑学会了一个模式，应当在于神经元的同步性，可以在之后的工作中加入。一个图像输入对应一组神经元的同步激活。