MIT又一突破!用AI过滤音源,让音乐更悦耳

时间:2021-09-10 01:18 作者:网上真人盘
本文摘要:一般利用均衡器可以将音乐中的低音部分徵出来,但是麻省理工学院的计算机科学和人工智能实验室(ComputerScienceandArtificialIntelligenceLab,CSAIL)的研究人员找到了更佳的解决方案。他们所研发的新系统PixelPlayer,需要利用人工智能来区分和过滤器声音,让音乐听得一起更加洪亮或更加圆润。

网上真人盘

一般利用均衡器可以将音乐中的低音部分徵出来,但是麻省理工学院的计算机科学和人工智能实验室(ComputerScienceandArtificialIntelligenceLab,CSAIL)的研究人员找到了更佳的解决方案。他们所研发的新系统PixelPlayer,需要利用人工智能来区分和过滤器声音,让音乐听得一起更加洪亮或更加圆润。将登录视频载入经过充份训练的PixelPlayer,系统随机需要过滤器演奏,同时辨识音源,接着计算出来图像中每个像素的音量,然后通过“空间定位”确认产生相近音波的片段。今年9月,德国慕尼黑将要举办欧洲计算机视觉会议(EuropeanConferenceonComputerVision),会议中要公开发表的一篇新的论文则详尽阐述了“像素的声音(TheSoundofPixels)”。

麻省理工学院计算机科学和人工智能实验室的博士生,同时也是这篇论文的年出版者ZhaoHang同学回应,“最差的情况就是,我们能辨识出有哪种乐器收到怎样的声音。”PixelPlayer的核心是一种基于乐器人组多模态训练的神经网络,数据集使用了Youtube上714条予以遮荫且予以标记的视频。

网上真人盘

其中,总时长为60小时的500条视频用作训练,剩下的则用作检验和测试。在训练过程中,研究人员分别根据原声音乐吉他、大提琴、单簧管、长笛和其他乐器向系统馈入了算法。

这只是PixelPlayer多重机器学习框架的一个部分。经过训练后的视频分析算法将从剪辑帧中萃取出有视觉特征,这就是系统的第二个神经网络,即音频分析网络。音频分析网络将声音拆卸分成片段,并借此萃取特征。

最后,音频制备网络将把上述两个网络输入的特定像素和声波关联一起。PixelPlayer展开几乎自监督的自学,人们需要对数据注解,而且系统目前早已能辨识20种乐器。ZhaoHang说道,较小的数据集强化了系统的辨识量,但辨识乐器子类的能力却不欠佳。

系统也可以辨识音乐元素,例如小提琴的谐波频率。研究人员指出PixelPlayer可以展开声音剪辑,或者协助机器人解读动物、车辆和其他物体所生产的环境声音。他们写出到,“我们期望我们的工作需要修筑新的研究途径,从视觉和听力信号角度构建声源分离出来”。

网上真人盘


本文关键词:MIT,又一,突破,用,过滤,音源,让,音乐,更,悦耳,网上真人盘

本文来源:网上真人盘-www.execpt.com