AI音频模型Perch 2.0：从鸟鸣训练到鲸鱼声音识别的跨域突破

鸟类的啁啾声、颤音和啭鸣在空气中回响，而鲸鱼的轰鸣声、"生物弹奏声"和哨声则在水下振动。尽管声音类型和传播介质存在差异，但Google DeepMind开发的AI音频模型Perch 2.0都能对鸟鸣和鲸鱼发声进行分类。

作为一个生物声学基础模型，Perch 2.0是基于数百万鸟类和其他陆地动物（包括两栖动物、昆虫和哺乳动物）的录音进行训练的。然而，当研究人员将这个AI模型重新用于鲸鱼研究时，其出色表现令他们感到惊讶。

Google DeepMind和Google Research的科学家们在鲸鱼生物声学领域已经工作了近十年，其成果包括能够检测座头鲸叫声的算法，以及最近开发的多物种鲸鱼模型，该模型可以识别八个不同物种，并能识别其中两个物种的多种叫声。但随着Perch 2.0的发布，研究人员萌生了重新利用该模型的想法，以节省计算时间和实验努力。

Google Research的数据科学家劳伦·哈雷尔（Lauren Harrell）表示："如果Perch 2.0在我们的鲸鱼使用案例中表现良好，那就意味着我们不需要构建一个全新的鲸鱼模型，而可以直接在此基础上进行开发。"

这一理念得到了迁移学习技术的支持，该技术允许从一种任务或数据类型中获得的知识应用到另一种相关但不同的任务中。在这种情况下，Perch 2.0分类鸟鸣的能力可以延伸到分类鲸鱼叫声。从基础模型进行迁移学习意味着可以"回收所有已完成的训练，只需在最后为特定使用案例构建一个小模型"，哈雷尔说。"我们总是在发现新的叫声类型。我们总是在学习关于水下声音的新知识。海洋中有太多神秘的噪音，不能只有一个固定的模型。"

研究团队在三个包含鲸鱼声音和其他水生噪音的海洋音频数据集上评估了Perch 2.0。他们首先将每个五秒钟的音频窗口转换为频谱图，这是声音强度在频率和时间维度上的可视化表示。这些图像被输入到模型中，模型产生嵌入向量或特征集，保留数据最显著的属性，帮助确定座头鲸和虎鲸哨声之间的细微差别。

接下来，科学家们为每个数据集随机选择了少量嵌入向量（最少4个，最多32个）来训练逻辑回归分类器，这是一种预测离散结果的线性模型。去年12月在NeurIPS会议非人类动物交流AI研讨会上展示的论文详细说明了训练结果，显示分类器即使只使用少量嵌入向量也表现良好，并且随着嵌入向量数量的增加，性能得到了改善。

研究人员还将Perch 2.0与类似鸟类生物声学模型的嵌入向量、前面提到的多物种鲸鱼模型，以及在其他动物发声和珊瑚礁噪音上训练的模型进行了比较。研究结果表明，Perch 2.0是表现最佳或第二佳的模型，鸟类生物声学模型也表现良好。

那么，为什么在鸟类叫声上训练的模型在鲸类声音上也表现良好呢？哈雷尔和她的同事们提出了三重理论。

首先，他们考虑了进化上的相似性，认为鸟类和海洋哺乳动物可能进化出了相似的发声物理机制。

其次，他们考虑了规模定律，即在大量多样化数据上训练的大型模型往往在更具体的域外任务上也表现良好。

最后，分类鸟类发声可能具有挑战性，这可能迫使模型识别细粒度的声学特征，从而为相关任务的预测提供信息。"我们正在训练这个模型在声音景观中找到那些细微的特征"，哈雷尔说。"如果这些特征在某种程度上与水下声学也相似，那么它就能在动物发声中搜索那些微妙的细节。"

例如，虎鲸种群的哨声"与许多鸟类发声处在相同的频谱图范围内"，哈雷尔解释说。"但也有许多鸟类、两栖动物和哺乳动物在发出低频叫声，所以该模型实际上对许多动态变化都很敏感，这显然在水下环境中也表现良好。"

Q&A

Q1：Perch 2.0是什么？它有什么特殊能力？

A：Perch 2.0是Google DeepMind开发的AI音频模型，作为生物声学基础模型，最初基于数百万鸟类和陆地动物的录音进行训练。令人惊讶的是，它不仅能分类鸟鸣，还能有效识别和分类鲸鱼的叫声。

Q2：为什么训练鸟类声音的AI模型能识别鲸鱼叫声？

A：研究人员提出三个原因：首先是进化相似性，鸟类和海洋哺乳动物可能进化出相似的发声机制；其次是大型模型的规模效应；最后是鸟类发声分类的复杂性训练了模型识别细粒度声学特征的能力，这些特征在水下声学中也适用。

Q3：迁移学习在这项研究中起什么作用？

A：迁移学习允许将从鸟类声音分类中获得的知识应用到鲸鱼声音分类上。这意味着研究人员不需要从零开始构建新的鲸鱼模型，而是可以"回收"已有的训练成果，只需在最后添加一个小的分类器，大大节省了计算时间和实验成本。