机器学习在动物行为分析中的应用研究进展
何 泉,吴 磊,柳 珑
(1.国防科技大学文理学院,中国湖南 长沙 410073;2.湖南科技大学大数据与智能决策研究中心,中国湖南 湘潭 411201)
动物行为从宏观上反映了动物高级中枢神经功能、学习记忆能力、心理状态、运动协调性等,可用于评估动物对环境或药物的生理反应和变化,因此通常应用于毒理学、药理学、运动损伤及恢复等方面的研究。近年来,由于动物行为数据采集手段不断改善和提高,大量复杂高维的数据随之产生,这些行为数据具有更加客观、精确、完整的特点。尽管近些年来,行为自动分析技术逐渐取代了过去低效率的人工分析方式,但是大部分行为分析技术依然只关注行为的完成度,如大鼠完成直立的次数、进入中间场地的次数、走完迷宫的次数等。而多个变量之间可能已经不再适用于传统假设模型,在这样的情况下,依靠于简单计数或计时的传统分析方法显然已远远满足不了当下需求,研究人员需要依靠机器学习等更加先进的手段对数据进一步加工处理。机器学习方法提供了非常适合研究这些动物行为数据的途径,能够实现高质量、高通量的行为分析。
尽管目前机器学习应用覆盖的领域极广,但是国内外对机器学习在动物行为分析领域的研究依旧相对较少,综述性文献更是寥寥无几。本文在动物行为数据采集方式不断发展的背景下,综合阐述了机器学习在动物行为各方面研究的应用、优势及挑战等相关内容,为未来动物行为研究工作提供参考。
与微观的生理学分析不同,动物行为的发生是由多种混合因素所控制的,如大脑功能、肢体状态、昼夜节律等,它反映的是动物的整体状态。因此,定性和定量分析对动物行为的研究非常重要。科学的行为学研究需要建立通用的基准和框架等一系列标准,在这些标准之下才能获得相对客观的、可靠的、可相互交流的行为实验数据。因此,构建清晰合理的动物行为结构,对行为学领域的研究具有重要意义,也有助于研究人员开发出切实可行的动物行为识别算法。
一般而言,行为结构从大到小可分为行为谱(ethogram)、动作(movement)、姿势(pose)3 个层次[1](图1)。行为谱为一系列可重复的且可被定义的动作的组合[2]。例如:在大鼠的行为中,行为谱包括梳洗、求偶、觅食等。动作则是包含于行为谱中的一系列完整的最小分割单元,如步行、转弯、直立等。而姿势指的是某一时刻的身体形状和位置。行为谱、动作、姿势三者共同构成了动物基本行为结构,为研究人员理解动物行为和开发行为研究方法提供了基本依据。
图1 行为结构Fig.1 The behavior structure
由于行为采集手段的不断发展,选取适当的行为采集装置就能够产生大量行为数据,采集到的数据由原来的单一变为复杂、少量变为多量、间断变为连续。早期的动物行为学研究常常通过判断指定的某一行为特征达到评估行为能力的目的,这种研究方式不仅单一、易受人为主观判断的干扰,而且还有可能忽略潜在的判断指标。新的采集手段意味着必然要发展新的数据分析方法,在大数据时代,必然也要紧随时代步伐。机器学习方法凭借其优良的鲁棒性、适应性以及强大的大数据处理能力,越来越受到行为研究者的青睐。其实,机器学习方法在动物行为分析中的应用已经很常见,并有望成为未来动物行为数据处理的“主力军”。
顾名思义,机器学习就是将数据输入到计算机,通过某种算法使得计算机发现数据中隐含的规律,获取新的知识和经验,产生相适应的模型,并对其他同类数据具有预测功能。
机器学习算法的应用受到数据质量的影响。例如:障碍物遮挡、信号丢失等导致的数据缺失,系统误差、信号干扰等导致的数据错误,采集时间不够、采集条件限制所导致的数据不足等,都会对算法效果产生影响。当数据存在缺失和错误时,研究人员需要尽可能扩大有效数据量,才能在一定程度上抵御数据缺失和数据错误带来的学习失误,因此足够量的准确数据是保证机器学习算法良好运行的前提。在处理行为数据时,如何定义和提取关键特征至关重要。通常,在建立学习模型之前,研究人员需要人为观察并挑选出可能能够区分和定义行为的特征,并在训练模型的过程中注重参数的调节,这样在后续处理中才有可能“一劳永逸”,利用已训练好的模型大批量处理同类新数据。
根据是否需要对输入数据分配标签,机器学习可分为监督学习和无监督学习(表1)。以下就两者分别进行阐述。
表1 机器学习在行为数据上的应用Table 1 Application of machine learning in behavior data
2.1 监督学习
监督学习通过已有的输入数据与输出数据之间的对应关系生成一个函数,将输入映射到合适的输出。它需要在进行识别分类之前人为对输入数据添加相应标签,即在动物行为识别中,研究人员首先需要对动物行为数据进行分类并构建合适的特征。典型的监督学习方法有:支持向量机(support vector machine,SVM)、决策树(decision tree)、贝叶斯网络(Bayesian network)、神经网络(neural network,NN)等。
监督学习是目前动物行为研究中使用最多的分析方法。其中,SVM通常用于动物行为分类,其通过对动物运动中的各项特征进行划分,找到最佳分类间隔,构建行为分类模型[3]。例如:三轴加速度传感采集到的加速度数据可以用于判别动物是否处于行走、站立、躺卧状态。隐马尔可夫模型(hidden Markov model,HMM)可以对动物行为模块之间的转换进行预测和判断,构建合理的行为序列[4]。神经网络也可用于行为识别与分类。相比于传统机器学习算法,神经网络用作监督学习时,能够简化特征提取步骤。它通常由机器来自动学习并提取数据特征,但是它对数据量要求更高,小样本数据中存在的偏离值更容易使特征提取出现偏差,从而导致准确率下降[5]。同时,欠拟合和过拟合的出现也会导致神经网络的预测准确率下降。因此,研究人员在应用神经网络时需要调节多个参数以使其达到最优状态。根据笔者所调研的现有文献,神经网络目前多应用于视频采集的动物行为数据[6～8]。Stern等[6]利用卷积神经网络(convolutional neural network,CNN)对视频进行逐帧检测,以分析果蝇是否与产卵基质相接触,所得结果的错误率仅为0.072%,该研究甚至发现了数据中由于人为大意出现的标注错误。Arac等[7]利用跟随于长短时记忆神经网络(long short-term memory network,LSTM)后的GoogLeNet构成的CNN模型来监测小鼠爪子对食物颗粒的抓取,并利用相同的网络来监测小鼠在三室测试中的活动,该研究还引入迁移学习以解决大量图片需要人工标记的问题。除了视频图像外,神经网络同样可以应用于其他类型的数据,如:将神经网络引入三维标记点坐标[9],可自动学习坐标点隐藏的规律并识别分类。
2.2 无监督学习
相比于监督学习,无监督学习在动物行为识别中使用频率较低。无监督学习的目的是探寻原始资料中的潜在规则,了解资料的内部结构,它不需要人为对数据安排相应标签,这也是与监督学习的最大区别。无监督学习主要包括聚类、降维、异常值检测等。Yabumoto等[10]用主成分分析(principal component analysis,PCA)方法对酒精给药研究中绒猴位置相对应的每个坐标值进行分析,将狨猴的运动模式分为正常、醉酒(镇静与兴奋)、兴奋状态。Rezaei等[11]采用自适应高斯混合模型(adaptive Gaussian mixed model,AGMM)算法检测动物的质心,提取动物在长时间内的运动轨迹,并利用PCA法对被定位动物的三维深度数据进行分析,确定动物的姿态。无监督学习也可用于发现人眼不易察觉的新的运动模式或运动异常情况。为了探寻果蝇幼虫的神经活动与行为之间的联系,Vogelstein等[12]应用迭代去噪树算法(iterative denoising tree,IDT)确认先前已知的行为特征并发现了新的行为特征。当应用无监督学习处理数据时,因为没有“正确标签”的验证数据集,所以其错误标记率和准确性的计算是相当困难的。因此,可以利用标签平滑的方式,将原始数据与平滑后标签数据对比,从而评价无监督学习的性能[13]。
早在20世纪,科学家就为研究动物行为发明了多种采集行为的设备和方法,如红外传感器[14]、触摸屏[15]、激光多普勒测振仪[16]、加速度传感器[17]、视频记录(包括普通 2D 相机和深度相机)[3～4,18～19]、光学标记捕捉系统[20～25]等。行为采集设备的发展使获取到的行为数据量激增,并且形式更加丰富多样,机器学习无疑能为这些数据提供更加便捷、快速的处理方法。机器学习主要应用于行为分析的如下几个领域:行为识别与分类、运动状态切换及行为预测、行为结构构建、相互作用及社会关系等。但是,行为数据的分析并不只是简单应用某种单一类型的学习方式,其往往需要监督学习和无监督学习共同评价。比如:PCA降维和SVM的结合可以先对大量行为数据特征降维,随后选择贡献更大的主要特征输入到SVM中进行分类,在保证相对高的正确率的同时,减少冗余的特征,降低计算量,提高计算效率。
3.1 行为识别与分类
统计某一特定行为发生的频率以及时长是传统行为分析中较为重要的一环。比如,在大鼠旷场实验中,直立行为常被解读为探索性指标,以表征大鼠兴奋性和活动性。有研究报道,在帕金森病大鼠模型建立后,相比于假手术对照组,实验组大鼠直立行为次数明显减少,并与其大脑损伤程度呈正相关[26～27]。过去,由于受到行为采集设备和数据分析方法发展的限制,这些行为实验的结果通常由受过训练的实验人员进行分类和计数,但人工统计方式工作量大,耗时费力,且不能保证不同实验人员判断标准的一致性,而新的行为采集方式的发展和数据分析方法理论的成熟得以让行为分类及计数走向自动化。
一种最简单的行为自动分类的方式就是人为对行为直接进行定义,比如通过设置速度阈值可以定义动物的运动状态[28]。但是,依据这种方法构建的行为分类模型只能选取少量特征进行定义[29],很难调到最优值,并难以定义更加复杂的行为[30]。通过监督学习方式,人们可以训练带有标签的行为数据得到相应的行为分类模型,并对没有标签的行为数据进行分类预测。但在进行监督学习之前,研究人员不仅需要人为添加标签,往往还需要定义行为特征,如运动速度、身体倾斜角度、头部偏角等等,然后再把这些特征输入到监督学习的分类器里进行学习分类。尽管有研究直接使用原始数据,如三轴加速度传感器获得的加速度值[31],作为特征输入也能获得良好效果,但是另外一些原始数据,如相机拍摄的照片、录制的视频,往往很难直接获得良好的分类效果。此外,研究人员往往希望能够在动物行为上观测到更加易于理解的变化,比如:动物的头部是否发生左右不对称偏转、动物肢体运动的灵活性是否下降、动物的某一行为发生频率是否有所变化等,而不仅是加速度、标记点坐标变化等此类较为不直观的特征。所以,人为指定或构建具有物理学意义的特征,也便于对行为的变化有更加直观的了解。监督学习在行为学研究上已有不少应用。Wang等[3]利用监督学习方式从深度图象中提取2D和3D特征,并通过SVM训练人工标记的数据集得到一个行为多分类模型,分析结果显示,同时对2D和3D特征进行训练可以获得更高的分类精确度。Steele等[29]基于不同行为的线性组合,利用逻辑回归方法构建疾病组和对照组的二分类模型。该模型能对6周龄后的亨廷顿病转基因小鼠和感染朊病毒3.5个月后的小鼠与其各自对照组进行有效区分。Bidder等[31]利用K近邻(k-nearest neighbor,KNN)算法对8个物种的5种行为模式进行分析,结果表明其分类准确度和精确度与更复杂的方法相似,并且计算量更少。
当对相机拍摄的图像或视频进行分析时,通常需要先检测出画面中动物所在位置,以便与环境背景区分,再对检测框中的动物进行行为分类或其他操作。动物图像目标检测与分类通常应用到深度学习方法。根据所需步骤数,常见的基于深度学习的目标检测方法可以分为两大类:第一类为两步的目标检测算法,常见的包括R-CNN[32]、SPP-net[33]、Fast R-CNN[34]、Faster R-CNN[35]、RFCN[36]以及Mask R-CNN[37]等;第二类为一步目标检测算法,常见的有 OverFeat[38]、YOLO[39～40]、SSD[41～42]等。还有一些算法尝试结合两者优势,比如RON[43]等。相较于两步的目标检测算法,一步目标检测算法速度更快,但是在精度上表现不佳;而两步的目标检测算法虽然在速度上慢于一步目标检测算法,但其在小尺度目标上的检测精度要优于一步目标检测算法。例如:Thenmozhi等[44]使用SSD(single shot multibox detector)算法对山羊进行识别并分类,其异常行为预测率与YOLO算法对比高出了3%～6%。在该项研究当中,深度学习的利用大大简化了最为繁琐的特征提取环节。
机器学习算法在行为识别与分类上得到了很好的应用,但因为其在行为分类上的应用需要预先定义行为类别,且无法自动发现新的行为类别,所以当其遇到未预先定义的行为时,很可能实施错误分类。在这种情况下,研究人员可以结合无监督学习方法探索行为结构,及时发现新行为或异常行为。
3.2 运动状态切换及行为预测
动物日常行为之间的转换都具有一定的转换概率,根据动物之前以及当下的行为状态可以判断之后可能发生的行为的概率,如大鼠饮水之后进食的概率要大于躺下休息或前进行走的概率。构建动物行为时间序列模型可预测运动状态切换情况,目前较为常用的模型为HMM。
在HMM中,t时刻的状态仅依赖于t-1时刻的状态,该模型可通过前面的状态计算出后一个状态出现的概率,因此HMM可以用于估计动物在不同行为模式之间切换的概率,并达到预测行为的目的。该模型可用图2表示。
图2 隐马尔可夫模型示意图图中Dt表示在t时刻下的隐藏状态,St表示在t时刻下的可见状态,箭头代表状态的转换和输出。每个状态之间都有一定的转换概率,转换概率用P表示,如P(St/Dt)表示在Dt状态下发生St事件的概率。Fig.2 The hidden Markov modelDtrepresents the hidden state at time t,Strepresents the observation at time t.There is a certain transitional probability between each state.P represents transitional probability.For example,P(St/Dt)is the Markov transitional probability from the state Dtat time t to the state Stat time t.
Jiang等[45]利用HMM来描述小鼠行为的时序特征,他们构建了一个混合深度学习框架,这个框架由两个部分构成,首先是无监督学习层,用于编码视觉和上下文特征,随后是监督学习层,用于评估HMM的观测概率;该模型对笼内小鼠行为的识别率达到96.5%,比人眼识别的71.6%高出了20多个百分点。Michelot等[46]开发了一个名为moveHMM的程序包,用以分析动物运动数据,该程序包使研究人员能够更加直观地访问HMM框架。
3.3 行为结构构建
过去,行为模块是通过人类仔细观察识别出来的,但近年来技术的不断进步使行为的组成部分有了更全面的描述。行为结构的构建可用到机器学习算法中的无监督学习,无监督学习可用于挖掘行为的内在固有结构,探寻行为的基本单元、模块或组分并构建合理的行为结构层次,而基本行为单元的发现可以为构建复杂行为提供结构基础。因为无监督学习不需要预先为数据安排标签,所以它探寻的数据结构相对比较客观。2015年,Wiltschko等[4]提出了一种基于机器视觉和机器学习的用于评估行为模块分类以及行为间联系的新方法。该研究使用基于深度测量的三维成像系统构造小鼠三维姿势动力学在亚秒时间尺度上的结构,利用无监督学习等计算模型可有效地将小鼠行为描述为一系列可重复的、具有转移概率的行为序列模块。该研究说明,无监督学习在动物行为分析上的最大优势在于,它具有开发和发现人眼无法察觉到的新行为或异常行为及其潜在规律的潜能,并能系统揭示实验中行为的整体结构,为破译在环境、基因和神经活动影响下的行为语言描述建立了一个客观的框架,这是需要人为添加行为标签的监督学习无法做到的。
行为由各种重复的模块所构成,但不同行为并不是孤立存在的,而是具有一定的过渡性和连续性。有观点认为,大脑通过特定的序列表达更简单的行为模式化模块来构建连贯的行为。在上面提到的文献[4]中,作者利用AR-HMM算法构建不同行为模块间切换状态模型,他提出将单个行为模块称为行为“音节”,而这些音节之间的过渡部分称为行为“语法”。由此可见,在机器学习算法的帮助下,未来行为模块的构造和模块转变将更加清晰明了,可为了解大脑对行为的控制提供理论支撑。
3.4 相互作用及社会关系
在行为神经科学中,社会行为是神精病学研究和动物模型神经学测试的重要组成部分。异常的社会行为可以指示神精疾病,如亨廷顿病、阿尔茨海默病、雷特综合征等[47]。因此,研究实验动物的社会行为将有助于疾病的动物实验研究向人类的临床试验和治疗过渡。社会关系根据两只动物的相对位置及其变化大致可分为以下几类:接近、接触、追随、远离、分离等,在这基础上还可以进一步细分,如接触可分为头头相接、头尾相接、并排、背对背等[48]。另一方面,人们还可根据动物间的社会行为目的来区分行为模式,如攻击、求偶、捕食等。目前,将机器学习应用于社会行为数据分析的文献较少,现有报道大多都是根据制定的人工规则来研究社会行为。Lorbach等[47]利用期待最大化算法构建两只大鼠之间相互关系的高斯混合模型。Arac等[7]利用机器学习方法研究两只小鼠间的社会关系互动,用YOLO 3神经网络来检测小鼠的位置,计算两只小鼠身体重心的距离以及鼻尖尾部之间的距离,以确认小鼠之间鼻尖贴鼻尖、鼻尖贴身体、鼻尖贴尾部等互动情形。
除了以上所提到的几种应用外,机器学习还可以应用于轨迹追踪[46]、行为数据降维、行为变化机制研究[4]、行为与神经活动关系[49]等方面,应用范围非常广,但它需要使用者了解一定的编程知识以及算法背后的数学原理,因此对于大部分没有编程基础的生物研究者而言,其使用的门槛往往也较高。不过,现已开发的一些程序包[46]能够让动物行为研究者更方便地将机器学习应用于自己的研究当中,尽管使用的灵活度有限,但无疑也提供了一些便利。
尽管机器学习方法的发展为行为学研究带来了极大便利,但机器学习行为学应用依旧面临着许多挑战,这不仅是机器学习的本质使然,更是动物行为研究特点所决定的。
4.1 数据获取
机器学习的首要任务是获取合适的数据。但是,动物行为以及其生存环境的复杂性为数据获取带来困难。一方面,在视频录制的动物行为采集中,由于不可避免的遮挡,摄像头难以全方位捕捉到动物体态,而三轴加速度传感器等虽不受障碍物遮挡,却也很难获得动物活动全貌;另一方面,动物行为易受到人为干扰,尤其在实验过程中,不可避免地与人类接触以及实验环境条件的影响,会引起动物警觉。因此,在采集动物行为数据的时候,要尽可能避免人为干扰,同时也要进一步改良实验装置。
4.2 特征选择
特征选择是机器学习过程中很重要的一环,直接决定机器学习的效果。目前这一部分并没有太多的规律或方法可循,主要的特征选择方式还是依靠人类经验,通过人的观察找到可能有意义的指标,研究者再将这些指标输入到机器学习中进行训练。尽管如此,还是有一些方法和过程能够用于选择参考和检验所选特征的优劣度。获取特征的过程被称为特征工程,包括特征构建、特征提取、特征选择3个部分(表2)。
表2 特征工程过程及方法Table 2 The process and common methods of feature engineering
4.3 算法选择
选择合适的算法也是动物行为学研究的一个挑战。由于相关研究相对较少以及动物种类与行为的多样性和复杂性,目前各种算法之间的效果很难有一个标准来比较。对于生物研究者而言,使用机器学习需要懂一定的编程知识和算法数学原理。根据现有文献资料,笔者在图3中尽可能多地列出可能适合于行为分析的机器学习算法,以供读者参考。图中实线连接线为该分析用到的主要算法,虚线连接线为可考虑使用的算法,但这个分类并不绝对,研究者需要根据实际情况选择适合的算法,比较不同算法的效果以获得最优结果。
图3 机器学习算法在行为分析中的应用Fig.3 Application of machine learning in behavior analysis
机器学习作为近年来备受青睐的数据处理方法,与传统行为分析方法相比有着巨大的优势。机器学习算法在动物行为数据上的应用,可以提高数据分析效率和准确性,识别和预测动物行为,分析动物行为结构与社会关系。它在实验动物行为试验、生态监测、畜牧业管理等领域都有很大的应用潜力。
实验动物通常被作为研究生命原理和功能的承载者。由于生命机体的复杂性以及代谢通路的代偿作用,微观生理变化不一定能够表现在宏观上,而动物行为则是动物整体状态的表现,它从宏观上反映了动物高级中枢神经功能、学习记忆能力、心理状态、运动协调性等,可评估动物对环境或药物的身体反应和变化。传统的动物行为学通过某种特定的行为学实验评估动物的某项生理行为指标,如:水迷宫实验用于监测动物的学习和记忆能力,旷场实验用于判断大鼠的活跃度、紧张度和兴趣度等,悬尾实验用于评价大鼠抑郁状态……以往的这些传统行为实验通常不会产生大量(超出人工处理能力范围)的行为数据,而近年来传感器、数字图像、三维标记的发展对行为数据处理提出了新的要求。相较于传统的人工和软件分析,机器学习极大增强了数据分析能力,并带来一种更加灵活、客观、准确的研究手段,为未来实验动物运动异常模型的建立和评估提供了有效方法[11]。
除了实验动物学以外,机器学习在生态学研究和畜牧业管理也发挥了极大作用。在自然生态环境中,野生动物会由于觅食、迁徙、求偶、躲避捕食等活动需要而转移位置。研究者通过动物的运动特征可得知其运动状态,如在觅食时,动物会用短步缓慢移动,而在躲避攻击时会用长步快速移动。观察野生动物的活动通常可以通过附着传感器、全球定位系统(global positioning system,GPS)、卫星遥感技术等来获取动物活动信息。应用机器学习算法可以大大减轻数据分析的压力,提供合理的预测模型。机器学习算法可用于研究动物对种子的传播作用[50]、野生动物迁徙[51]、栖息地选择[52]等,有助于保护野生动植物多样性,管理栖息地,维护自然环境平衡。在畜牧业动物管理方面,机器学习算法可以识别动物情绪、预警疾病、监测饮食等,判断动物是否受到不良因素刺激,有助于农场管理人员及时排除问题,改善动物生活环境,提高动物福利,有效减少动物死亡率,降低农场损失。
综上所述,随着信息化的发展,研究者要顺应大数据潮流,结合现代化信息手段,开发动物行为采集新方法以及行为分析新算法,灵活运用机器学习算法,提高动物行为学分析的高效性和准确性。
猜你喜欢机器分类动物机器狗环球时报(2022-07-13)2022-07-13机器狗环球时报(2022-03-14)2022-03-14分类算一算数学小灵通(1-2年级)(2021年4期)2021-06-09分类讨论求坐标中学生数理化·七年级数学人教版(2019年4期)2019-05-20未来机器城电影(2018年8期)2018-09-21数据分析中的分类讨论中学生数理化·七年级数学人教版(2018年6期)2018-06-26教你一招：数的分类初中生世界·七年级(2017年9期)2017-10-13最萌动物榜小学阅读指南·低年级版(2016年12期)2017-01-05动物可笑堂科技知识动漫(2016年7期)2016-07-29