探索 SoundAnalysis 中内置的声音分类

探索 SoundAnalysis 中内置的声音分类

探索如何在您的 app 中使用 Sound Analysis 框架来检测和分类来自任何音频源的离散声音，包括来自麦克风的现场声音或来自视频音频文件的声音，并在声音发出的瞬间精确识别。了解内置声音分类器如何让您轻松识别 300 多种不同类型的声音，而无需自定义的受训模型。包括人声、乐器、动物和各种物品的各种声音。对于自定义模型，请参阅如何利用 Audio Feature Print 功能提取器创建具有可变声音窗口控制的较小模型，以更好地满足您 app 的用途。有关声音分类和 Sound Analysis 框架的更多信息，请观看 WWDC19 中的“在 Create ML 中训练声音分类模型”。

资源
相关视频

WWDC22
- 利用 Create ML 组件构建高级模型
WWDC21
- 探索 ShazamKit
- WWDC21 的周二
WWDC19
- 在 Create ML 中训练声音分类模型
下载

♪ ♪ 嗨欢迎来到WWDC的音频分析专题讲座我是乔恩. 黄我是音频团队的研究员今天我和我的同事凯文会介绍声音分类的改进这都是有赖于Sound Analysis框架和CreateML才能达成 2019年我们让大家能用CreateML训练声音分类模型我们展示创建声音分类模型并部署到Apple设备的过程有多简单当你使用这个框架所有的计算都经过硬件加速的优化且在本地设备上完成这能帮助维护你的用户的隐私因为音频从不会传到云端我们利用Sound Analysis框架导入叫做声音识别的辅助功能这个功能可以在从环境中听到特定声音时向用户发送通知像是警报声宠物的声音还有其他生活常见声音这只是声音分类的一种应用我们来看看还能用来做什么演示应用程序正在用Mac的内置麦克风聆听环境中的声音它将音频传送至声音分类器并在UI中显示分类的结果所以在我和你聊天的同时它检测到语音请和我一起休息一下看看会发生什么事不用拘束我们先放点音乐嘿Siri 播放Karun和Mombru的《Catch a Vibe》现在播放Karun和Mombru的《Catch a Vibe》 ♪ ♪ ♪噢♪ 注意分类器分别检测到音乐和唱歌的声音 ♪我不认识任何人♪ ♪感觉那么对味♪ ♪不认识任何人会让我♪ ♪有感觉感受到频率…♪ 现在请和我一起喝个茶 ♪感觉不错宝贝♪ ♪我们能看到♪ ♪若我们是对的♪ ♪是你微笑的样子♪ ♪屏住呼吸宝贝我们能♪ ♪有感觉感受到频率♪ ♪有感觉只有你和我♪ ♪感觉不错宝贝我们能看见♪ ♪若我们能♪ ♪我说♪ ♪那是我的一部分♪ ♪你看到的所有艺术♪ ♪你应该骄傲…♪ 这茶很好喝 ♪你是我的宝贝♪ ♪我看到你很努力…♪ ♪怎么会这样？♪ ♪怎么会这样？♪ 嘿Siri 停止播放如果你假定我为这些声音类别分别收集了一些数据并用CreateML训练了定制模型你会那样想很合理对我可以那样做但事实上刚刚用的分类器是内置的今年新推出的我们把声音分类器直接内置在Sound Analysis框架中现在比以往都更容易在你的应用程序里启用声音分类所有平台都支持
内置分类器的重点就是简化开发者体验它不需要收集和标签大量数据专门的机器学习和音频专业还有大量算力不须那些就能开发高准确度模型你花越少时间烦恼这些细节就能花更多时间让你的应用程序的用户体验更丰富只需要几行代码就能启用声音分类我会示范这个分类器可以做什么有超过300个可用的类别我们来仔细瞧一瞧我们可以分类家畜、牲畜和野生动物的声音
至于音乐它可以识别很多种乐器：键盘乐器、打击乐器弦乐器、管乐器我们可以检测不同的人类声音：团体活动呼吸声、发声
然后还有东西的声音像是车辆警报、工具、液体还有好多这些即用类别你都可以尝试我要把画面交给凯文请他介绍如何使用这个声音分类器谢谢乔恩嗨我是凯文音频团队的软件工程师我想通过我打造的小应用程序向你示范如何使用新的内置声音分类器我原本希望乔恩能示范分类器分辨牛铃的效果多好但因为牛铃不适合他的演示我想到另一个点子我的Mac上有一些我为这场专题讲座准备时收集的媒体而且我很确定我有些内含牛铃的旧片段镜头我很想给你看但我得先找到它这代表我必须找到对的文件然后我必须打开来看找到对的片段所以我要怎么做到？我会写一个简单的程序让它用内置声音分类器读取一个文件并告诉我里面是否有某个特定的声音如果它找到那个声音程序可以用分类器告诉我声音出现的时间
我可以接着用Shortcuts 现在可以在macOS使用创建一个工作流让我的程序浏览很多文件当我的程序找到声音工作流可以自动利用报告的检测时间提取含有那个声音的视频片段这很适合寻找牛铃片段
我们来看看它的实际运作
我在这里有一个充满视频的文件夹
我会选择所有文件并用Quick Actions菜单启动快捷方式
它叫我选择我想找到的声音所以我会从选项列表中选择牛铃
现在我的快捷方式正在运行稍待片刻后它很快找到我想找的声音并以访达窗口展示给我看我们看看看起来不错乔恩我们来详细检视我刚用的快捷方式
我的快捷方式开始时它会收集它能认出的所有声音并做成清单请我选一个它用我的选择造访每个我在访达中选择的文件并找找看里面有没有那个声音检测到我的声音时它会从视频提取声音发生的前后几秒并向我展示那个片段在这些步骤中有两个步骤会用到内置分类器这些是我在我的自定应用程序中实施的步骤让Shortcuts能按需使用
虽然我不会深入介绍Shortcuts 若你想了解更多请参考WWDC专题讲座标题为《Meet Shortcuts for macOS》
现在我们来看看我的应用程序的两个定制操作第一个操作报告应用程序可以识别的所有声音因为应用程序使用内置声音分类器它可以识别几百种声音这是我写来取得这些声音的函数我用新的初始值设定项创建了一个SNClassifySoundRequest 它让我能选择内置分类器有了这个请求后我可以用它来查询分类器支持的清单上的声音应用程序的第二个操作告诉Shortcuts 声音是在文件中的什么时间出现要执行这点如果有检测到声音的话我会进行声音分类并报告第一次检测到声音的时间要进行声音分类我需要准备三个东西第一我需要一个 SNClassifySoundRequest 我可以用它来配置声音分类第二我需要一个 SNAudioFileAnalyzer 它能让我将分类锁定在特定的文件第三个点需要额外注意我需要定义自己的Observer类型它会处理分类的结果先跳过Observer 这是准备前两个对象的代码
我可以用内置分类器创建SNClassifySoundRequest 然后我可以用想分类的文件的URL 创建SNAudioFileAnalyzer 如果此时我已经准备好Observer 那可以轻松开始进行声音分类但还缺少一小部分，就是定义Observer 所以我们来完成它吧我在这里用一个空的Observer开始它从NSObject继承并遵从SNResultsObserving协议我会用我想搜寻的声音标签初始化实例然后我会添加一个CMTime会员变量存储检测到声音的时间我只需要执行这个请求： didProduce result method 这个方法会在声音分类有结果时被调用所以我预期收到 SNClassificationResult的实例我可以用结果的 classificationForIdentifier 方法提取我找的标签的信息我会查询标签的置信度分数若分数超越特定的阀值我会判断声音被检测到当我注意到第一次检测到的时间我会保留声音发生的时间让我可以晚点提供给Shortcuts
这样我的Observer就完成了我有所有必需要素能够判断文件里是否有某种声音这个例子提到两个我想进一步讨论的重要主题第一我会谈检测的时间然后我会谈检测阀值
我们先讲检测的时间分类音频时信号会被切成重叠的窗口每一个窗口你都会获得一个结果告诉你检测到什么声音还有置信度你也会获得一个时间范围它会告诉你哪部分的音频被分类在我的应用程序中当我检测到声音我用结果的时间范围判断声音在什么时候出现但当窗口的时长改变时时间范围可能被影响你可以定制窗口时长根据你的用例让它更长或更短
短的窗口很适合用在短的声音像是打鼓声这是因为你可以在短的一段时间里捕获那个声音的所有重要特色短的窗口不会切掉任何重要信息用短窗口时长的优点是它让你能更准确地找到声音出现的那一刻
但短窗口时长可能不适合用在较长的声音上例如警报器可能在较长的时间内包含上升和下降的音高在一个窗口内捕获所有音高能帮助声音分类正确检测声音一般来说窗口时长应该够长才能捕获你有兴趣的声音的所有重要部分如果你想编辑窗口时长你可以设定SNClassifySoundRequest的 windowDuration属性但要注意不是所有窗口时长都支持
不同的分类器可能支持不同的窗口时长若想查看哪些窗口时长获得支持可以读SNClassifySoundRequest的 windowDurationConstraint 内置分类器支持的窗口时长在半秒到15秒之间你的应用程序采用分类器时一秒或更长的时长是很好的起始点
我们接着来谈置信度阀值我的应用程序中只要声音的置信度上升超过固定的阀值我就认定检测到了声音我将阀值设为0.5 但在为你自己的应用程序选择阀值时有几点要考虑分类器可以同时检测多种声音当这发生时你可能会注意到有好几个置信度高的标签分数
和使用CreateML训练的定制模型不同标签分数加起来并不会等于一置信度都是独立的不应该相互比较
因为置信度分数都是独立的为不同的声音设定不同的置信度阀值可能会有帮助选择阀值需要折衷较高置信度阀值能降低错误检测到声音的概率但它也会让因为不够强而错过真实检测的概率上升为你的应用程序选择阀值时你需要找到一个值能为你的用例在这些因素中找到平衡注意当你设定一个定制窗口时长置信度分数可能改变所以这也可能影响你的阀值最后一件使用内置分类器时需要注意的事就是有些声音很相似在分类器可以辨别的大量声音中有几组声音单靠音频可能很难分辨就连对人类也是若可能最好谨慎筛选你要注意哪些声音你应该尽量只找你的应用程序的使用情境中很有可能出现的声音说到这我们把画面交还给乔恩了解CreateML有什么新的关于声音分类的内容谢谢凯文那个范例很棒我很高兴你喜欢那段牛铃视频现在让我展示 CreateML有什么新的改进或是更特定地说你可以如何利用内置分类器的力量改进你的定制模型我们用一大堆数据训练内置分类器数据来自广大数量的类型所以模型里有很多关于声音分类的知识这些知识可应用于用CreateML训练你的定制模型时让我向你展示它的作用方式声音分类器可被分为两个不同的网络第一个部分是特征提取器第二部分是分类器模型特征提取器有时称为嵌入模型是这个网络的中枢它将音频波形转化成低维度空间良好训练的特征提取器将听觉上类似的声音放在空间里的附近位置
例如吉他声会聚集一起但放在远离鼓声和车声的地方
管道的第二部分是分类器模型它接受特征提取器的输出并运算分类概率分类器会受益于和好的特征提取器配对像是我们嵌入至内置分类器的这个
我们开放内置分类器的特征提取器供你使用它叫Audio Feature Print 当你在CreateML里训练你的自定模型你的模型会和Audio Feature Print配对这样你的模型能受益于内置分类器所含的所有知识和前一代特征提取器相比 Audio Feature Print 有了全方面的改进虽然这个网络更小更快与所有我们比较的对标数据集相比它的准确度都比较高就像内置分类器使用Audio Feature Print的模型支持弹性的窗口时长你可以选择长窗口时长为警报这类的声音优化或是为鼓声这类较短的声音选择短窗口时长用CreateML训练你的定制模型时 Audio Feature Print 是新的默认特征提取器
窗口时长是训练时用来生成单一特征的音频长度它的默认值是三秒但你可以依据需求调整 CreateML让你能选择半秒至15秒之间的窗口时长若想看训练定制模型更详细的范例你可以参考2019年WWDC专题讲座《Training Sound Classification Models in CreateML》它也示范如何用 Sound Analysis框架执行定制模型谢谢你参与音频分析专题讲座今天我们介绍了内置于OS的强大的新声音分类器除此之外我们升级了CreateML里的特征提取器这些会解锁新的可能我们等不及看到你会怎么把它们用在你的应用程序祝你有美好的WWDC [欢快的音乐]

func getListOfRecognizedSounds() throws -> [String] {
    let request = try SNClassifySoundRequest(classifierIdentifier: .version1)
    return request.knownClassifications
}

9:19 - Create sound classification request

let request = try SNClassifySoundRequest(classifierIdentifier: .version1)

let analyzer = try SNAudioFileAnalyzer(url: url)

var observer: SNResultsObserving // TODO

try analyzer.add(request, withObserver: observer)
analyzer.analyze()

9:52 - Implement sound classification observer

class FirstDetectionObserver: NSObject, SNResultsObserving {
    var firstDetectionTime = CMTime.invalid
    var label: String
    
    init(label: String) {
        self.label = label
    }
    
    func request(_ request: SNRequest, didProduce result: SNResult) {
        if let result = result as? SNClassificationResult,
           let classification = result.classification(forIdentifier: label),
           classification.confidence > 0.5,
           firstDetectionTime == CMTime.invalid {
                firstDetectionTime = result.timeRange.start
        }
    }
}

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。

提交你查询的内容时出现错误。请检查互联网连接，然后再试一次。

资源

相关视频

WWDC22

WWDC21

WWDC19