论文摘要

持续学习(continual learning)的出现有效解决了“灾难性遗忘”问题。持续学习是一个学习系统使用之前学习和训练得到的知识去处理新的任务。持续学习是机器学习和人工智能进步的关键。持续学习的定义如下:“一个系统执行多个任务。当它执行第K+1个任务时，它使用了从之前K个任务中获得的知识去帮助执行第K+1个任务。”这样就有可能导致负前向迁移(negative forward transfer)的问题。负前向迁移指的是之前的K个任务会对系统学习第K+1个任务的性能有不利影响。

  Rusu等2016年提出的渐进神经网络(Progressive Neural Network,PNN)结合了深度网络应用到持续学习中，有效解决了灾难性遗忘的问题。这种网络结构的构成易理解，对所有之前任务的网络进行保留，并且每学习一个新任务就新建立一个同样的网络，新任务的网络层接收先前所有任务的输出，与当前任务对应网络层的输出相结合，一起输出到下一层。对于各任务的参数知识迁移过程，将各任务模型间的网络层的每一层输出之后添加一个层，用来接收先前任务的输出，并和当前的输出结合，有效保留了各任务的信息。

  Fayek等于2020年则提出了一个渐进学习的深度框架，包含课程、渐进、剪枝三个部分。其中渐进过程采用了级联运算而不是求和运算的方式来接收先前任务的输出，每个网络层后面添加级联层，用来接收先前任务的每一层的输出，这鼓励了特征的重用，级联的过程如图1所示。

Fayek等在2020年提出的渐进式学习框架中提到，在工业领域中，渐进子任务的规模大小、相关性、学习难度会存在差异，当子任务数量过多时，靠后的任务由于接收了大量的知识参数，学习训练效率会变得低下。本文将这种任务场景称之为复杂多任务，这样的场景存在这样显著的特征：子渐进任务数量会较多；子渐进任务的相关性存在明显差异。传统的渐进式学习在处理渐进任务数量较多且任务相关性存在差异的复杂多任务场景时存在明显不足：传统的惭进式学习忽略任务间相关性，没有考虑到不同任务间的相关程度对学习性能的影响，任务较多时还会导致训练过程效率低下；对存储要求高，级联所有先前任务的参数进行训练对存储和学习效率也是不小的考验。