探索 ShazamKit

在使用 ShazamKit 时，善用 app 中 Shazam 的准确音频匹配功能。学习如何利用庞大的 Shazam 目录营造各种体验，包括从您的 app 捕获的视频中快速准确地识别正在播放的歌曲，根据室内播放的音乐提供动态视觉效果，甚至与外部音频同步，带来配套的 app 体验。我们还将向您展示如何在 ShazamKit 中构建匹配任意音频源的自定义目录，一切都在设备上完成。更深入的了解详见“用 ShazamKit 创建自定义音频体验”，您将和我们一起编写代码，并学习如何构建与流视频内容完美同步的教育 app。

资源

相关视频

WWDC23

打造出色的 ShazamKit 体验

WWDC22

利用 ShazamKit 批量创建自定义目录

WWDC21

下载

嗨欢迎各位我是玛尔我在Shazam的产品团队我希望大家喜欢WWDC21 我要在这里向各位介绍ShazamKit 这是能让你将音频辨识整合到你的应用程序的框架今天我会向各位说明 ShazamKit是什么以及几个应用上的范例接着我会把时间交给我同事詹姆斯他会告诉大家Shazam目录辨识是怎么运作的并且提供一些开始使用的诀窍让我们从ShazamKit是什么开始大家可能已经很熟悉Shazam 这个于2008年发表的音频辨识应用程序也是App Store上面最早的应用程序之一这个应用程序在13年后成长很多甚至Shazam这个字还被当成动词使用它的技术赋予Siri “这是什么歌”的功能并且整合到快捷方式和控制中心里它的核心技术是音频辨识精准和几乎是实时的音频配对就算背景有噪音下也能做到辨识是通过聆听音频内不同的声学记号然后在Shazam自己的目录内容中或者在目前使用者能够自己建立的音频目录中寻找精准的配对然而不同于SoundAnalysis Shazam并不是侦测及分析话语、歌唱和嗡嗡声的声音分类器事实上 Shazam完全无法辨别出特定的声响像是在音频中的笑声或掌声很快地詹姆斯会向大家说明 Shazam的辨识过程如果大家想了解声音的侦测和分类也可以去看SoundAnalysis那段同时让我们再多谈谈ShazamKit 这个能将辨识功能带入你的应用程序的框架 ShazamKit可以分成三个组件包含Shazam目录辨识自定目录辨识和数据库管理 Shazam目录辨识让你能够在你的应用程序中加入歌曲辨识自定目录辨识则让你能更进一步在设备端和随机音频做比对这一段我们主要会把重点放在Shazam目录辨识和数据库管理不过请跟着我们的同事亚历克斯一起写程序编码他会告诉大家如何 “在你的应用程序建立使用者音频比对” 接下来要向大家说明一些你能在应用程序上利用ShazamKit的机会让我们从找到一张完美的自拍开始自拍可以很有趣当你能创造特殊的情绪和气氛就更有趣了 Shazam目录辨识能帮忙辨识出环境中播放的音乐并且找出歌曲的元数据例如歌曲名称和艺人不过你还能创造有点不同的体验或氛围让你的自拍不只是在沙发上听音乐和录音 ShazamKit应用程序界面也会传回例如类别的元数据让你能够模拟在闹区俱乐部里享受那首歌的样子 ShazamKit不只会辨识音乐在虚拟教学的环境下也很有用远距教学对老师和学生来说都是很大的挑战包括要跟上屏幕中的课程以及在应用程序之间的操作自定目录辨识能让你的教育应用程序提供他们一种更无缝接轨的体验通过语音课程内容作为某种远程摇控当视频会议在播放内容时这个框架能让学生的应用程序出现同步化的活动老师们在知道学生的应用程序即便是暂停或重复部分课程后依旧能跟上也能比较安心如果你跟我一样喜欢居家改造节目你一定会喜欢当家具一闪过屏幕就试着立刻找出来的挑战利用ShazamKit让你的展示和影片变成可以购买的还有互动性第二屏幕的扩增实境体验不论是实时或在有需求时收看观众都在收看的同时在家同步浏览模拟以及购买该型号现在让我们在真实生活中试试看你是否曾经看着你和你朋友在一起时的影片你希望知道背景播放的是哪一首歌？这里有个例子我朋友跟我想看看彼此的星期五夜晚这是他寄给我的影片我不认识任何人能让我如此放松感受那频率放松享受只有你和我使用ShazamKit 我的应用程序开始做辨识并且在Shazam的目录中找到这首歌现在我知道播放的是什么歌我可以把它存到数据库或者用它开启周末美好的播放列表接下来轮到詹姆斯告诉大家Shazam目录辨识是怎么运作的谢谢你玛尔嗨各位我是詹姆斯我是Shazam团队的程序经理今天我要跟大家说明在玛尔的影片中 ShazamKit是如何辨识音乐的当玛尔按下“辨识歌曲”按钮时发生了什么事呢？ ShazamKit将影片中的音频代表传送到Shazam的服务器在Shazam的音乐目录中找到配对并且传回关于那首歌的信息在我们的应用程序上显示出来让我们进一步看看 Shazam如何和音频配对很重要的是Shazam并不会和音频本身做配对而是会产生一个我们叫“记号”的有损音频代表并且和它做比对这种方式有两个好处首先记号的大小比起它的来源至少小了十倍这能大幅度降低通过网络传输的数据量其次记号是不可逆的意思是说不能以特定的记号来复原原始音频这对于保护我们使用者的隐私是非常重要的那么记号听起来是什么样子？让我放一首看大家能不能辨识出是什么歌没错这是比莉艾利什的《我的未来》你也可以自己用Shazam比对看看现在让我们谈谈目录目录是记号的集合当然如果少了从音频建立出来描述音频的相关元数据目录中的记号就没什么用我们把这些称为参考记号元数据则是原始音频的参照 Shazam目录是包含大量全球音乐的参考记号集合它被存放在云端空间并且由Apple组织和管理经常把最新的曲目更新上去在Shazam目录的每个记号皆是从曲子的完整音频所产生的而且有对应到那首歌元数据的参照万一你想跟自己的音频比对怎么办？在这种情况下你可以用用户目录这些是由随机音频不只是从音乐所产生的记号集合而且用户可以加入自己的元数据相对于Shazam目录存储于云端比对用户目录则是在你自己的应用程序中进行大家可以收看 “以ShazamKit 建立使用者音频体验” 的编码来了解更多当你想要搜寻目录你需要一个查询记号它代表你想搜寻的音频的一小部分在这个应用程序中它是包含音乐的一部分音频在这个图标中查询记号和代表一首音乐完整音频的参考记号做比对并且配对成功每首歌在Shazam目录中搜寻配对时都会经过相同的步骤那么回到第一张图现在我们知道我们将查询记号通过网络送出和Shazam目录做比对这个目录是参考记号和歌曲信息的集合当玛尔按下“辨识”的按钮时配对成功并且传回歌曲的信息 ShazamKit很棒的地方在于它能通过对话对象帮你完成这些对话对象的输入端可以是音频或记号结果则通过它的委托传送回去在你开始比对Shazam目录前你需要替开发者端的应用标识符开启ShazamKit应用程序服务如果是在用户目录配对这个步骤则不是必要的好让我们看看它的程序编码长什么样子首先我要建立一个对话对象它的默认初始化程序会和Shazam目录做比对接着我要设定它的委托这样一来搜寻到任何配对就会通知我如果你要以持续的音频串流做配对例如从麦克风来的音频我们建议你使用对话上的matchStreamingBuffer 因为它是针对那种情况的优化方法不过在我们这个例子中我已经取得影片中的完整音频所以我要建立一个记号产生器再把音频传过去当我准备好进行配对时我会把产生器中的记号方法叫出来将我上传的音频转化成记号接着我将产生的记号传送到对话对象的配对方法回到我们的应用程序从音频中产生记号和利用对话在Shazam目录中找到配对的歌曲之后下一步是显示歌曲的信息刚才我描述过如何用记号和元数据建立目录在Shazam目录的例子中这个元数据是歌曲的信息例如曲目的名称和艺人以及其他像是所属专辑图标的属性在ShazamKit中代表这些信息的对象叫做媒体项目对于刚刚配对成功的记号你还会收到额外的信息例如在音频中配对到的位置在哪和配对音频和原始音频之间在频率上的任何差异这叫做配对的媒体项目它是媒体项目的子集在先前的程序代码范例中我建立了对话委托当进行配对时我们可以通过它来通知我们成功配对、没有配对或错误的情形一个记号有可能会配对到很多首曲目这些会以配对的媒体项目数组呈现在我们的应用程序码中我们会采用第一个现在我们可以开始设定一些回传的属性专辑图标是靠artworkURL属性取得歌曲名称和演出者是通过名称和艺人属性添加上去的数据当歌曲在Apple音乐目录中配对成功和显示它的详细内容时应该按照Apple音乐识别指南来设置歌曲的归因在本app中我们加入能启动由媒体项目回传Apple音乐URL的按扭在你的应用程序中辨识出歌曲的使用者可能会希望将这首歌存到他们的Shazam数据库如果有安装Shazam应用程序便可以读取Shazam数据库或长按控制中心模块的音乐辨识也可以而且它会同步到装置上让我们来试试看首先我要长按控制中心模块的音乐辨识上面显示我里面已经有几首歌了接着按应用程序中“加入”的按钮把找到的音乐加入那个列表内现在我要重开数据库检查看看有没有加进去很好已经进去了而且上面出现歌曲来源的应用程序名称这里是程序代码的样子 SHMediaLibrary内建的默认实体能对应到用户Shazam数据库这是以端对端加密储存只有在授予双因素认证的设备上可以存取数据库只能接收对应到Shazam目录中歌曲的项目要写入Shazam数据库并不需要特殊权限不过我们强烈建议不要在未知会使用者的状况下将内容储存进去所有存入数据库的歌曲可归因于加入这些歌曲的app 在MediaItem 我们还开放很多属性让大家能够探索例如matchOffset 它会显示配对发生在歌曲的什么位置此外新的MusicKit框架提供了描述歌曲和它的关系的型别对象我们已经开放歌曲属性的Swift程序语言想知道更多细节各位可以查看 “在Swift程序语言中使用MusicKit”这一段现在我们认识它的全貌了我们将音频记号传送到 Shazam目录做配对使用对话来操控整个流程接着对话会将歌曲信息以配对的媒体项目的形式通过它的委托回传我们同时提供我们应用程序的用户将该歌曲加入他们的Shazam数据库这个选项现在我把时间交还给玛尔她会向大家说明一些很棒的作法交给你了玛尔谢谢你詹姆斯现在大家知道ShazamKit是什么它是如何运作以及怎么应用它各位就可以开始组建了在大家开始执行ShazamKit时请参考这些很好的作法首先如果你是要比对实时的音频像是从麦克风来的音频请使用matchStreamingBuffer 它比较容易而且能够处理很多产生大范围记号的基本逻辑接着如果你的案例需要用到麦克风当你一得到你要的结果就马上停止录音这样你能够避免消耗不必要的资源或是避免麦克风的运作时间比使用者预期得更长最后在写入用户的数据库前我们强烈建议提供使用者选择同意的选项和从一开始就说清楚这个举动我希望大家喜欢认识ShazamKit 我们等不及想要看大家创造的神奇经验和作品我们刚刚讨论的所有信息以及文件的连结都附在这一段里面相信大家可以开始了还有别忘了试试看自定目录辨识的编码谢谢各位收看希望你们也能继续享受WWDC21 [音乐]

9:11 - Matching signatures using SHSession

// Matching signatures using SHSession
let session = SHSession()
session.delegate = self

let signatureGenerator = SHSignatureGenerator()
try signatureGenerator.append(buffer, at: nil)

let signature = signatureGenerator.signature()
session.match(signature)

10:45 - Receive matches via session delegate

// Receiving matches via the session delegate
extension SongResultViewController: SHSessionDelegate {
    
    public func session(_ session: SHSession, didFind match: SHMatch) {
        
        guard let matchedMediaItem = match.mediaItems.first else {
            return
        }
        
        DispatchQueue.main.async {
            self.songView.titleLabel.text = matchedMediaItem.title
            self.songView.artistLabel.text = matchedMediaItem.artist
        }
       
    }
}

12:24 - Add to Shazam library

// Adding to a customer’s library
guard let matchedMediaItem = match.mediaItems.first else {
    return
}

SHMediaLibrary.default.add([matchedMediaItem]) { error in
    
    if error != nil {
        
        // handle the error
    }
        
}

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。