1. Introduction

1.1 Evolving Neural Networks

Neuroevolution is the practice of applying computational evolution methods to artificial neural networks.

是的，所谓Neuroevolution就是使用进化的方法来训练人工神经网络。

传统的训练方法需要定义一个目标函数/损失函数，然后通过计算目标函数对每一个权重的导数进行梯度下降，来更新权重并且训练神经网络。

但是，这并不是唯一的方法。比如我们可以使用random guess，随机猜测权重直到效果良好（这当然是一个stupid的方法）。

我们的Neuroevolution当然比random guess要先进，一个最简单的情况如下所示：

Imagine if we have 100 sets of random weights for a neural network, and evaluate the neural network with each set of weights to see how well it performs a certain task.After doing this, we keep only the best 20 sets of weights. Then, we populate the remaining 80 sets of weights based on the 20 that we kept. Those 20 serve as raw material, and we apply genetic operations crossover and mutation to form new sets of weights.

以上这张图片是对Neuroevolution一个例子的说明。

作者认为这种方法适用的情况是：当无法找到合适的（也就是可导的）目标函数/损失函数时，可以采用这种方法。

这是一些Neuroevolution可以实现的任务。

1.2 Extending Creative AI

在许多决策问题中，最优行为是未知的，因此无法使用反向传播。

传统的 RL 方法（如 Q-learning）类似于爬山算法，容易陷入局部最优，且在欺骗性的搜索空间中表现不佳。

Neuroevolution作为一种基于种群的搜索方法，能够同时探索搜索空间的不同区域，通过多样性避免陷入局部最优，更适合处理高维、非线性和欺骗性的问题。

(a) 爬山算法（如梯度下降和 RL）容易受限于局部极值。(b) 基于种群的搜索（神经进化）可以跨越局部极值，探索更广阔的空间。

种群搜索通过维护多样性的候选解，并通过交叉共享好的“基因”，能够发现单一搜索路径难以找到的创造性解决方案。

1.3 Improving the World

神经进化在工程、科学和社会领域具有广泛的应用前景：

1. 智能体（Intelligent Agents）：用于机器人控制、自动驾驶、游戏 NPC 等，优化复杂环境下的行为策略。
2. 决策支持（Decision Making）：在医疗（个性化治疗）、商业（营销策略）、教育等领域提供定制化的解决方案。
3. 优化其他学习系统（Meta-learning）：用于设计深度学习的架构、损失函数、激活函数等，或作为强化学习的补充，提升整体学习效率。
4. 理解生物进化：通过计算模型模拟生物演化过程，帮助理解语言、智力和复杂社会行为的起源。

1.4 Plan for the Book

本书将分五个部分深入探讨神经进化：
1. 基础：介绍进化计算和神经进化的基本原理。
2. 核心技术：探讨网络编码（直接/间接）和多样性保护机制。
3. 智能体与交互：涉及多智能体系统、人机交互进化及开放式探索。
4. 混合方法：结合深度学习、强化学习和神经形态计算。
5. 生物学视角：从生物进化中汲取灵感并反哺生物学研究。

此外，本书还提供了基于 Python (Google Colab) 的动手练习，帮助读者通过实践掌握神经进化技术。