利用 ShazamKit 批量创建自定义目录

利用 ShazamKit 批量创建自定义目录

了解如何借助 ShazamKit，直接在设备上构建自定义目录，并支持 App 中任何音频源的精确匹配。学习如何通过新的 ShazamKit CLI 轻松生成音频签名，并批量创建目录。我们还将向您介绍如何快速更新您的 App，以便和大量音频内容进行同步，如多季电视节目或多期播客等。此外，我们还将分享有关 ShazamKit API 和 SHMediaItems 的更新，帮助您的 App 利用时间范围对音频源中的关键时刻做出准确回应。要进一步了解 ShazamKit，我们建议您先观看 WWDC21 的“探索 ShazamKit”和“使用 ShazamKit 创建自定义音频体验”。

资源
- ShazamKit
- - 高清视频
  - 标清视频
相关视频

WWDC23
- 打造出色的 ShazamKit 体验
WWDC21
- 使用 ShazamKit 创建自定义音频体验
- 探索 ShazamKit
下载

大家好我是Neil Foley ShazamKit 团队的工程师 2021 年我们推出了 ShazamKit 它可以帮助您将音频与 Shazam 庞大的录制音乐目录进行匹配我们还推出了 CustomCatalog 匹配使开发者能够匹配自己的音频并提供同步体验现在我们进行了一些重要的更新以简化使用 CustomCatalogs 的大量工作在本次会议中我将使用一些现有的 ShazamKit 概念如签名目录和媒体项目如需更深入的了解请查看 2021 Apple 全球开发者大会讨论的探索 ShazamKit 以及使用 ShazamKit 创建自定义音频体验但作为快速概览 Shazamkit 能够使你将音频转换为可匹配的特殊格式我们称之为签名签名可与包含元数据的 mediaitem 组合在一起形成参考签名参考签名可以一起存储在我们称为自定义目录的文件中现在我们都清楚了我将带你建立大量的自定义目录然后再谈论一些制作优秀目录的要诀和技巧在如今的 CustomCatalog workflow 中如果你有少量需要匹配的内容那么使用 CustomCatalogs 就是一项简单的任务你只需要遵循以下步骤即可以 ShazamKit 支持的格式录制音频
使用 SignatureGenerator 将其转换为签名
使用元数据对其进行注释然后将其存储在自定义目录中就是这样你可以提供 Shazam 的使用体验但其中一些步骤可能比较难特别是如果你不擅长音频编程的话即使对于经验丰富的开发人员来说处理采样频率和缓冲文件也会很棘手当你想使用 Shazamable 制作大量的内容例如10个季的电视节目时会怎么样呢
这个 workflow 可能会变得很漫长
而且如果你要处理的内容过多则很快就会难以处理如果你想为自己完善这一工作流程则可能需要编写代码来将音频转换为签名写更多代码以加载和关联媒体项目每修改一次内容都必须重复这项工作如果你只想匹配一些音频的话这就是一项巨大的投资然后如果你想要与 ShazamKit 同步内容则需要复杂的逻辑来确定应该在何时显示什么内容我会介绍 ShazamKit 的一些很棒的增强功能它们简化了此工作流程但首先是一个简单的演示这是 Alex 在 2021 年演示的它可以将数学测试与屏幕上的课程同步我已经用最新的 ShazamKit 功能对它进行了更新我会回放 FoodMath 的演示视频看看它是如何做到同步的
跳到 26 秒两个三个绿色的苹果我总共有几个苹果现在开始计时好了时间到让我们看看你做得怎么样跳到 56 秒今天为了更有趣些我来到商店从两个红色的苹果着手我买了两个绿色的苹果这次我总共有多少个苹果现在开始计时
好了时间到看起来效果不错有丰富的内容与视频同步当我说“现在”时菜单正好出现在正确的时间同样当内容不再相关它就会立即消失但它是如何工作的呢我们来看一看代码只有简单的循环它在会话中使用 Async Sequence 而不是之前的委托回调序列恢复至一个表示匹配非匹配或错误的枚举类型我只对匹配感兴趣所以我将循环限制在这种情况下为了搭建显示结果我将媒体项目减少到自己所需的内容
应用程序中实际上没有什么可看的只有由我们创建的 matchResult 驱动的 SwiftUI 视图没有复杂的逻辑或时间编码并且完美同步那么问题来了它是如何同步的呢 FoodMaths 的秘诀在于丰富的 CustomCatalog 它提升了用户体验我用我们构建的用于补充 ShazamKit 的简单工具创建了目录你也可以使用它在自己的应用程序中创建丰富的体验 Shazam CLI 是 macOS 13 的一部分它提供了一种同步内容的简单方法它有助于使一些与创建自定义目录相关的重复性任务自动化让我们来更新刚才展示的自定义目录现在进行下一个演示
这是一个包含 FoodMath 视频文件的文件夹这是我的终端在同一个文件夹里我将使用命令行界面通过签名命令将视频转换为签名
我只是传递视频文件作为输入并指定我们的签名输出
好这就是我们的签名
现在我想把这个签名和媒体项目结合起来以制作一个自定义目录命令行界面接受简单的逗号分隔文件用于描述我将在此处复制的媒体项目
它描述了我同步内容所需的一切
这是我指定标题的地方这是我为方程定义的自定义 json 字段标题映射到媒体项目属性有关映射的详细信息请运行带有帮助标志的自定义目录创建命令
它描述了 CSV 标题与媒体项目属性之间的关系现在我想将它们组合成一个自定义目录所以我将运行创建命令
我传入签名文件和 csv 文件它输出一个目录
好的现在我们有了目录令人兴奋的是我可以提前访问最新一期的 FoodMath 所以我想把它添加到我们的目录文件中我把文件复制到这里
这是我们新一期的媒体项目
我将运行更新命令传入视频新媒体和要更新的目录
好的我们已经更新了目录这是如何创建目录的简要概述但如果你像我一样你真的会想要编写这个脚本
FoodMath app 实际上有很多新内容我想把它们都添加到这个目录中我写了一个非常简单的脚本依次通过所有的剧集文件夹并将它们组合成一个自定义目录我现在就运行
好了我们现在有一个目录表示 FoodMath 的每个内容脚本使用显示屏命令来详细说明目录中的内容我想我们已经做好了一切 foodmath 项目已经在引用我们的新目录了让我们搭建并运行它这样我们就可以享受做一些 Math 的乐趣
跳到 30 秒我总共有多少个苹果现在开始计时好了时间到让我们看看你做得怎么样我喜欢那个家伙这一集很棒新的一集怎么样呢我们来试试
跳到 15 秒多年来我研究了墨西哥鳄梨酱真正美味的原因并写下了我最喜欢的鳄梨酱食谱它需要 4 个鳄梨你知道吗我的朋友来了所以对于两个人来说我只需要做一半我需要多少鳄梨呢现在开始计时
对你需要两个鳄梨让我们一起来做鳄梨酱吧
我们来尝尝
嗯事实证明这很棒我希望你玩得开心下次见
噢他们换了新的主持人很有趣总之我很快就创建了一个丰富的同步体验 Shazam CLI 支持一组丰富的指令我们来复习一下
你可以从任何带有音轨的媒体文件创建签名你可以通过组合签名和媒体项目来创建自定义目录可以 Display 目录的内容添加删除以及导出签名和媒体项目接下来介绍 cli 如何从 FoodMath 视频创建签名
SHSignatureGenerator 现在有一个在所有平台上都可用的方法 signatureFromAsset 使用这种方法就无需手动从媒体中提取音频缓冲区只需传递带有音轨的 AVAsset 即可将其转换为签名如果你的素材中有多个音轨它们将混合在一起以确保签名采集所有内容好现在我有了表示媒体的签名那么我是如何精确同步内容的呢我使用了 Timed MediaItem API 将时间范围附加到媒体项目可以很容易地指定它的开始和结束时间媒体项目还可以有多个时间范围以针对签名的多个部分想象一下你有一个针对一首歌副歌部分的媒体项目你可以为每个位置添加一个时间范围
只有在开始和结束时通知你指定时间范围才有用 ShazamKit 将提供与时间范围同步的匹配回调一个在开始时一个在结束时签名可以包含许多媒体项目所以此回调将只包含在该特定时间点范围内的媒体项目对于将在回调中恢复的媒体项目及其顺序有一些简单的规则我们一起来看看
超出时间范围的媒体项目将不会恢复时间范围内的 MediaItems 将被恢复最近的事件将首先出现
最后没有时间范围的媒体项目总是最后被恢复但它们将是无序的没有时间范围的媒体项目可以很好地存储应用于整个参考签名的全局信息在我的 FoodMath 示例中我使用它来存储剧集的名称当范围内没有其他媒体项目时出现
最后一点如果所有媒体项目都有时间范围而且它们都在范围之外那么 ShazamKit 将始终恢复一个带有基本匹配信息的媒体项目这样你将始终获得重要的属性例如 predictedCurrentMatch offset 和 frequencySkew 在代码中这也很简单定时媒体项目通过指定 timeRanges 媒体项目属性来创建这是一个 Swift Ranges 的数组还可以使用 timeRanges 属性将其读回对于 Objective-C 程序员来说有一个新的 SHRange 类别作为替代现在你已经了解了如何搭建它们让我们来探索一些制作出色 ShazamCatalogs 的技巧避免为一个媒体创建许多小型签名签名是与其所代表媒体的一对一映射所以对于你所有的每一段音频不管是来自歌曲还是视频都需要在整个过程中创造一个签名
签名越长 ShazamKit 匹配音频峰值的机会就越大准确度也就越高它还避免了查询签名与多个参考签名重叠的问题
使用新的定时 mediaitem API 你可以将同步内容定向到各个区间没有必要将一段音频分成多个签名我举了一个例子我们有一个媒体但有多个媒体项目但如果我们想利用 Shazamable 制作大量的内容应该怎么做呢我们该如何拆分呢在跨自定义目录拆分内容时需要进行权衡如果你为每个媒体素材创建单独的目录那么你需要知道正在播放的是哪段音频这样才能加载正确的目录如果你把它们放在一个目录中就会有更大的下载量并使用更多的内存但你可以匹配更多的音频片段我们的建议是让你创建的目录文件保持高度集中例如每首音乐或整张专辑的目录而不是艺术家的整个音乐作品集将内容分开意味着你可以决定在运行时加载什么你可以通过自定义目录添加 API 来实现这一点
尝试一下看看是否对你的用例有帮助如果你有多个听起来相同的音频素材比如一个节目总是以相同的开场音乐开始你想为每一集提供定制体验或者在另一个音轨中采样的歌曲可以考虑使用频率偏差作为区分器偏差的音频提高或降低录音中的频率当你这么做时会影响音频的声音但如果影响足够小 ShazamKit 会注意到但一般人的耳朵听不出来如果我们取一段音频从中制作一个自定义目录然后以略有偏差的频率播放 ShazamKit 仍会匹配音频并且它还会通过 frequencySkew 属性报告偏差值以下是在代码中执行此操作的步骤
在不让人的听力察觉到或 ShazamKit 无法识别的情况下音频偏差的程度是有限的
保持 5% 以下的偏差应该是安全的并提供足够的空间来区分多个偏差的录音要真正利用这一点请使用频率偏差范围只有当媒体项目处于指定的偏差范围内时才会恢复
该范围以百分比形式指定音频与原始音频的差异程度值为 0 表示音频无偏差值为 01 表示偏差 1% 你可以使用频率偏差范围属性来访问媒体项目上的属性
我将介绍在你的App中使用此功能的步骤首先创建原始录音的参考签名然后获取一个媒体项目把它的频率偏差限制在 3% 到 4% 将其放在你的自定义目录中
现在播放偏差度为 3% 到 4% 的音频你的媒体项目将被恢复播放没有偏差或偏差至范围之外的音频将不会恢复媒体项目这是频率偏差
既然你已经看到今年 ShazamKit 激动人心的更新那么你就已经准备好做出一些很棒的同步体验了所以请记住这些最佳实践首先为每个媒体素材创建一个签名你将从 ShazamKit 获得更好的准确性和更简单的创建流程使用 SHSignatureGenerators signatureFromAsset 来创建你的签名它支持多种媒体这意味着你不需要再处理低水平的音频细节
使用新的定时媒体项目 API 将同步内容定位到感兴趣的区域它结合了简单的 API 和出色的准确性最后让 shazam cli 简化你创建自定义目录的方式它的设计消除了处理大量媒体的麻烦让你专注于自己想要制作的精彩体验我希望你喜欢 ShazamKit 最新的更新我很高兴看到你把一切都变成了 Shazamable 我们讨论的所有信息和文档链接均附在了此次课程里面感谢大家的收看请欣赏 WWDC22 余下的部分

/*
See LICENSE folder for this sample’s licensing information.

Abstract:
The model that is responsible for matching against the catalog and update the SwiftUI Views.
*/

import ShazamKit
import AVFAudio

struct MatchResult {
    var title: String?
    var equation: Equation?
    var episode: Episode?
    var answerRange: ClosedRange<Int>?
    
    var hasContent: Bool {
        equation != nil || title != nil || answerRange != nil
    }
}

class Matcher: NSObject, ObservableObject, SHSessionDelegate {
    @Published var matchResult: MatchResult?
    
    private var session: SHSession!
    private let audioEngine = AVAudioEngine()
    private var matchingTask: Task<Void, Never>? = nil
    
    func match(catalog: SHCustomCatalog) throws {
        
        session = SHSession(catalog: catalog)
        session.delegate = self
        
        let audioFormat = AVAudioFormat(standardFormatWithSampleRate: audioEngine.inputNode.outputFormat(forBus: 0).sampleRate,
                                        channels: 1)
        audioEngine.inputNode.installTap(onBus: 0, bufferSize: 2048, format: audioFormat) { [weak session] buffer, audioTime in
            session?.matchStreamingBuffer(buffer, at: audioTime)
        }
        
        try AVAudioSession.sharedInstance().setCategory(.record)
        AVAudioSession.sharedInstance().requestRecordPermission { [weak self] success in
            guard success, let self = self else { return }
            
            Task.detached {
                try? self.audioEngine.start()
            }
        }
        
        Task { @MainActor in
            for await case .match(let match) in session.results {
                self.matchResult = match.matchResult
            }
        }
    }
}

extension SHMatch {

    var matchResult: MatchResult {
        mediaItems.reduce(into: MatchResult()) { result, mediaItem in
            result.title = result.title ?? mediaItem.title
            result.episode = result.episode ?? mediaItem.episode
            result.equation = result.equation ?? mediaItem.equation
            result.answerRange = result.answerRange ?? mediaItem.answerRange
        }
    }
}

13:51 - Timed Media Items

// Restrict this media item to only describe the first 5 seconds

 let mediaItem = SHMediaItem(properties: [
            .title: "Title",
            .timeRanges:[0.0..<5.0]
        ])

 let timeRanges: [Range<TimeInterval>] = mediaItem.timeRanges

16:02 - Combine Catalogs

let parentCatalog = SHCustomCatalog()

parentCatalog.add(from: URL(fileURLWithPath: "/path/to/Episode1.shazamcatalog"))
parentCatalog.add(from: URL(fileURLWithPath: "/path/to/Episode2.shazamcatalog"))
parentCatalog.add(from: URL(fileURLWithPath: "/path/to/Episode3.shazamcatalog"))

16:58 - Frequency Skew

func within(range: Range<Float>, for matchedMediaItem: SHMatchedMediaItem) -> Bool {
        
	range.contains(matchedMediaItem.frequencySkew)
}

17:21 - Frequency Skew Ranges

// Restrict this media item to only describe the first 5 seconds

 let mediaItem = SHMediaItem(properties: [
            .title: “Frequency Skewed Audio”,
            .frequencySkewRanges:[0.01..<0.02]
        ])

 let frequencySkewRanges: [Range<Float>] = mediaItem.frequencySkewRanges

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。

提交你查询的内容时出现错误。请检查互联网连接，然后再试一次。

资源

相关视频

WWDC23

WWDC21