利用 Push to Talk 优化语音通信

我们将帮助为您的 App 添加对讲机通信功能，让对话变得一清二楚！了解如何为您的 Push to Talk App 添加醒目的系统 UI，一键实现快速沟通。我们将介绍 PushToTalk 框架，解释如何配置您的 App 以便其随时 (甚至在后台) 都能收发音频。为能更好地理解此讲座，我们建议您先熟悉如何在 App 后台处理音频传输。另外，对 APN 有一些基本的事先了解也会很有帮助。

资源

相关视频

Tech Talks

面向企业开发者的新功能

WWDC22

下载

♪ 柔和乐器演奏的嘻哈音乐 ♪ ♪ Kevin Ferrell：嗨我是 Kevin 是研究 PushToTalk 新框架的工程师该框架能使 iOS 上的 App 体验对讲机式的系统稍后我的同事 Trevor 会加入进来介绍如何在您的 App 中使用这个新框架增强语音交流的方法首先我来介绍一下 PushToTalk 框架并解释它如何适配您的 App 其次我们会介绍如何为 PushToTalk 配置您的 App 随后 Trevor 将详细介绍使用此框架传输和接收音频的方法最后 Trevor 将总结增强一键通用户体验的最佳实践同时如何为您的用户节省电量我先从 PushToTalk 新框架的关键功能讲起 PushToTalk 框架能使您在 iOS 上构建一类新的音频通信 App 为您的用户提供对讲机式的体验一键通 App 在需要快速沟通的领域有很多用途如医疗保健和紧急服务为了实现良好的一键通体验用户需要某种方法来快速访问音频传输功能同时还能看到谁在回应他们与此同时一键通 App 必须节能确保用户在使用 App 时能保持一整天的电量 PushToTalk 框架为您提供 API 以利用系统 UI 用户无需直接启动您的 App 就可访问系统的任何位置系统 UI 允许用户快速激活音频传输这将在后台启动您的 App 录制并将音频传输到您的服务器当您的 App 从服务器播放音频时该系统会显示说话人从而为用户增加透明度 PushToTalk 框架实现这一点的方法是通过引入新的推送通知类型当有新的音频可供播放时就会通知您的 App 您的 App 收到此通知后它就会在后台启动以便传输和播放音频 PushToTalk 框架可与现有的端到端通信方法以及后端基础设施兼容如果您已在您的 App 中实施了一键通工作流程那么应该很容易将 PushToTalk 框架集成到您现有的代码中该框架允许您的 App 使用自己的音频编码和传输程序从而在用户之间传输音频这为您的 App 处理音频传输方式提供了灵活性并能与其他平台兼容最后许多一键通 App 依赖无线蓝牙配件触发录音和传输功能您的 App 可使用 CoreBluetooth 框架持续与上述配件集成使用并且可以在 PushToTalk 中触发录音如果您正在构建您的第一个一键通 App 在开始构建代码时请牢记以上集成注意事项在开始详细介绍 PushToTalk 新框架的代码之前我们想先展示一键通在您 App 中的运行方式我和 Trevor 构建了一个演示 App 来展示 PushToTalk 的工作原理首先我将点击加入按钮连接到一键通会话我们称之为频道加入频道后我可以接收或将音频发送给频道上的其他成员 Trevor 和我们的同事加入了同一频道这样我们就可全天候交流使用麦克风按钮我可以直接从 App 传输音频而 PushToTalk 框架可允许我从系统中的任何位置访问传输功能当有激活的一键通频道时一个蓝色药丸状图标就会出现在状态栏中点击该图标可显示系统 UI 系统 UI 会显示我所加入的一键通频道的名称以及 App 提供的用于帮助用户快速识别频道的图像我可以按住通话按钮向频道传输音频然后等待系统提示音我就可以开始说话了

嘿 Trevor 您准备好展示您的 WWDC 幻灯片了吗？完毕 Trevor Sheridan：当我的设备收到 Kevin 的信息时就显示出一个包含他的名字和图像的通知公开透明地显示谁向我发送了消息一旦我启动系统 UI 我就可以快速回复 Kevin 的消息或者继续做我手头的事先不回复我不想让 Kevin 久等所以我现在就回复嘿 Kevin 再有几分钟就准备好了完毕 Kevin：PushToTalk 系统 UI 也可从锁屏界面访问用户无需解锁设备即可接收回复消息

好的一会儿见完毕我们已经讨论了 PushToTalk 的工作原理现在来介绍一下如何将框架集成到您自己的 App 中您需要对您的 Xcode 项目进行一些修改以支持 PushToTalk 框架首先您需要添加新的一键通后台模式这能让您的 App 在响应一键通事件时可以在后台运行接下来您还需为您的 App 添加一键通功能以启用框架功能需要推送通知功能才能允许 APNS 在后台唤醒您的 App 播放接收到的音频最后您的 App 必须向用户请求录音许可并在其 Info.plist 文件中包含麦克风用途字符串现在我们准备开始集成代码一键通工作流程的第一步是加入一个频道频道代表并描述了到系统的一键通会话您的 App 通过频道管理器与频道交互频道管理器是您的 App 加入频道执行发送和接收音频等操作的主要界面您加入频道后一键通系统 UI 立即启用您的 App 也会收到一个 APNS 设备令牌可在频道的整个生命周期中使用您必须先加入频道然后才能开始传输和接收音频第一步是使用类初始化器创建频道管理器该初始化器要求您提供频道管理器委托和频道恢复委托多次调用初始化器会导致相同的共享实例被返回但我们建议您在实例变量中存储频道管理器 App 在您 ApplicationDelegate 的 didFinishLaunchingWithOptions 方法中启动期间尽快初始化您的频道管理器非常重要这样可以确保快速初始化频道管理器以便恢复现有频道推送通知也会在您的 App 后台启动时发送过来现在我们准备加入一个频道当有人通过您的 App 加入频道时您必须提供一个识别频道的 UUID 和一个描述系统频道的描述符在该频道的整个生命周期中与管理器交互时使用的是相同的 UUID 描述符包括名称和图像提供独特的图像来代表频道可让您的用户在与系统交互时更易识别频道您的 App 通过在频道管理器上调用 requestJoin 方法加入频道请注意只有当您的 App 在前台运行时才可加入频道当您的 App 加入频道时频道管理器委托的 didJoinChannel 方法将被调用这个委托方法是您的指示表明您的 App 已加入频道此外该委托的 receivedEphemeralPushToken 方法也将被调用同时 APNS 推送令牌可用于将一键通通知发送到该设备此令牌只在一键通频道的生命周期内有效请注意 APNS 推送令牌长度可变但您不应将其长度硬编码到您的 App 中频道加入请求可能会失败例如在另一个频道处于激活状态时尝试加入频道若发生此类情况错误处理程序将被调用错误会指明失败原因当用户离开频道时将调用委托的 didLeaveChannel 方法您的用户可通过您的 App 以编程方式请求离开频道或者用户可以点击系统 UI 中的 “离开频道”按钮离开通道管理器委托有一个关联的 LeaveChannel 错误处理方法将被调用来应对请求离开频道失败的情况每当您的 App 被终止或在设备重启后再次启动时 PushToTalk 都支持恢复之前打开的频道为让系统实现这一点您必须提供频道描述符来更新系统这里我们可以用一个辅助方法来获取在恢复后的委托中缓存的频道描述符为保持系统响应您应尽快从该方法返回且不应执行任何长时间运行或阻塞的任务比如检索您频道描述符的网络请求在您的一键通会话的整个生命周期中您应在频道信息发生变化时为描述符提供更新您还应使用服务状态对象告知系统您的网络连接或服务器是否可用这里我们正在更新频道的描述符您可在您需要更新频道名称或图像时调用此方法在此示例中我们向系统提供更新以表明 App 与其服务器的连接处于重新连接状态这也会相应更新系统 UI 阻止用户在服务状态为正在连接或断开时传输音频重新建立连接后您应将服务状态更新为“就绪” 现在我们来看使用 PushToTalk 发送和接收音频的方法 Trevor 您准备好讲解该 API 的其余内容了吗？完毕

Trevor：准备好了发送完毕

我们已经看到了配置 PushToTalk 框架的方法现在我们来探索传输和接收音频的方法 PushToTalk 框架的核心功能是让您的用户快速传输音频用户可以从您的 App 中或从系统一键通 UI 中开始音频传输如果您的 App 可通过 CoreBluetooth 支持蓝牙配件您也可在后台开始传输响应外围设备的特性变化传输时 PushToTalk 框架会解锁设备麦克风并激活您 App 的音频会话在后台启用音频录制我们再来详细研究一下这个过程要从您的 App 中开始传输您可调用 requestBeginTransmitting 函数每当您的 App 在前台运行或对蓝牙外围设备特性的变化做出反应时都可以调用该函数若系统无法开始传输委托的 failedToBeginTransmittingInChannel 方法将被调用并说明失败原因例如若用户正在进行蜂窝呼叫他们就无法开启一键通传输要停止传输可调用频道管理器的 stopTransmitting 方法为处理尝试停止传输时的失败情况例如当用户未处于传输状态时频道管理器委托有一个关联的 failedToStopTransmittingInChannel 方法无论您是从 App 内开始传输还是用户从系统 UI 开始传输您的频道管理器委托都将收到 “已开始传输”回调传输源将传递给方法并指明传输是从系统 UI 编程 API 还是硬件按钮事件开始一旦开始传输系统将为您的 App 激活音频会话这就是可以开始录制的信号您不应开始或停止自己的音频会话传输结束时您的频道管理器委托将收到结束传输和音频会话停用事件请记住当您的传输处于激活状态时您的音频会话可能会被其他来源中断例如电话和 FaceTime 通话这需要您在 App 内进行处理 PushToTalk 框架还允许您的 App 在后台接收和播放来自其他用户的音频此过程依赖一种新的专门针对一键通 App 的 Apple 推送通知类型当您的一键通服务器有新的音频供用户接收时它应使用您在加入频道时接收到的设备推送令牌向用户发送一键通通知当您的 App 收到推送通知时必须向框架报告有源扬声器这将导致系统激活您 App 的音频会话并允许其开始播放新的一键通通知类似于 iOS 上的其他通知类型而且您必须设置某些具体属性以启用您的一键通 App 推送功能首先 APNS 推送类型必须在请求头中设置为“pushtotalk” 其次 APNS 主题头必须设置为您 App 的捆绑标识符并在末尾加上 “.voip-ptt”后缀推送负载可以包含与您 App 相关的自定义密钥比如有源扬声器的名称或会话已结束 App 应退出一键通频道的标识 “aps”属性的主体可以留空此外与其他与通信相关的推送类型一样一键通有效负载的 APNS 优先级应为 10 以便要求立即推送 APNS 到期时间应为零以阻止与未来推送不再相关的陈旧推送当您的服务器发送一键通通知时您的 App 将在后台启动传入的推送委托方法将被调用当您收到推送有效负载时您需构建一个推送结果类型指示推送通知后应该执行的操作为表明远程用户正在讲话需返回一个推送结果其中包含活跃参与者的信息包括他们的名称和可选图像这会让系统设置频道的活跃参与者表明频道处于接收模式然后系统将激活您的音频会话调用 didActivateaudioSession 委托方法您应在开始播放之前等待该方法被调用如果您的服务器决定不应再让用户加入频道它可能会在推送有效负载时表明这一点您可为其返回 leaveChannel 推送结果务必注意您应尽快从此方法中返回 PTPushResult 而非阻塞线程如果您尝试设置正在活跃的远程参与者但却没有将参与者的图像存储在本地您可返回一个只有说话者名称的 activeRemoteParticipant 然后在单独的线程上下载其图像一旦检索到图像即可在频道管理器上调用 setActiveRemoteParticipant 以更新 activeRemoteParticipant 当远程参与者说完话后您应将 activeRemoteParticipant 设置为 nil 这会向系统表明您不再在频道上接收音频且系统应该停用您的音频会话这也会更新系统一键通 UI 允许用户再次发送现在我们已经介绍了将 PushToTalk 集成到您 App 中的基本操作我们再来看优化用户体验以及保存电量的最佳操作

PushToTalk 框架提供了一个系统 UI 供用户开始传输并从系统内的任何地方离开频道此外该框架非常灵活允许您在您的 App 前台运行时使用自定义的一键通 UI PushToTalk 框架可利用共享系统资源系统上一次只能激活一个一键通 App 且一键通通信可被蜂窝电话 FaceTime 通话和 VoIP 通话取代您的 App 应妥善处理 PushToTalk 失败情况并相应做出响应如前所述 PushToTalk 框架为您激活和停用音频会话但是您仍应配置音频会话类别以便在您的 App 启动时播放和录制音频系统提供了内置音效以便在传输时提醒用户麦克风已激活还是已停用您不应自定义音效监控您的 App 并响应 AVAudioSession 通知也很重要例如会话中断路线变化和故障等同系统上的其他音频 App 一样您的一键通 App 也可能会受到这些音频会话事件的影响优化您的 App 以保存电量非常重要 PushToTalk 框架在需要时会为您的 App 提供后台运行时间比如在传输和接收音频时就会如此当用户没有使用您的 App 时它将被系统暂停以保存电量您不应自己激活或停用您的音频会话系统将适时为您处理音频会话激活程序这可确保您的音频会话在系统内有适当的优先级可在不使用时暂停您的一键通服务器应该使用新的推送通知类型提醒您的 App 有新的音频要播放或一键通会话已结束有关延长您的 App 电池续航时间的更多信息请参考 “断电：减少电池消耗”讲解视频当您的一键通 App 在后台运行且 App 没有传输或接收音频时它将被系统暂停您的 App 被暂停后任何网络连接都将断开您应考虑采用 Network.framework 和 QUIC 以减少建立 TLS 安全连接以及提高初始化连接速度所需的步骤 Network.framework 内置支持 QUIC 想了解更多信息请观看 “减少网络延迟使 App 更灵敏”的讲解以了解使用 QUIC 的方法 PushToTalk 框架能让您在 App 中构建稳固省电对讲机式的交流体验如果您已经拥有一个 App 可在 iOS 上实现对讲机式体验您可更新现有 App 以使用新的 API 如果您正在使用对讲机式的新 App 您应该立即使用 PushToTalk 框架最后您在开始测试新框架将其集成到您的 App 上时可向我们提交反馈谢谢祝您体验 WWDC 愉快完毕退出 ♪

6:52 - Creating a Channel Manager

func setupChannelManager() async throws {
    channelManager = try await PTChannelManager.channelManager(delegate: self,
                                                               restorationDelegate: self)
}

7:33 - Joining a Channel

func joinChannel(channelUUID: UUID) {
    let channelImage = UIImage(named: "ChannelIcon")
    channelDescriptor = PTChannelDescriptor(name: "Awesome Crew", image: channelImage)
  
    // Ensure that your channel descriptor and UUID are persisted to disk for later use.
    channelManager.requestJoinChannel(channelUUID: channelUUID, 
                                      descriptor: channelDescriptor)
}

8:11 - PTChannelManagerDelegate didJoinChannel

func channelManager(_ channelManager: PTChannelManager, 
                    didJoinChannel channelUUID: UUID,
                    reason: PTChannelJoinReason) {
    // Process joining the channel
    print("Joined channel with UUID: \(channelUUID)")
}

func channelManager(_ channelManager: PTChannelManager,
                    receivedEphemeralPushToken pushToken: Data) {
    // Send the variable length push token to the server
    print("Received push token")
}

8:45 - PTChannelManagerDelegate failedToJoinChannel

func channelManager(_ channelManager: PTChannelManager, 
                    failedToJoinChannel channelUUID: UUID, 
                    error: Error) {
    let error = error as NSError

    switch error.code {
    case PTChannelError.channelLimitReached.rawValue:
        print("The user has already joined a channel")
    default:
        break
    }
}

9:00 - PTChannelManagerDelegate didLeaveChannel

func channelManager(_ channelManager: PTChannelManager,
                    didLeaveChannel channelUUID: UUID,
                    reason: PTChannelLeaveReason) {
    // Process leaving the channel
    print("Left channel with UUID: \(channelUUID)")
}

9:22 - PTChannelRestorationDelegate

func channelDescriptor(restoredChannelUUID channelUUID: UUID) -> PTChannelDescriptor {
    return getCachedChannelDescriptor(channelUUID)
}

10:12 - Provide channel descriptor updates

func updateChannel(_ channelDescriptor: PTChannelDescriptor) async throws {
    try await channelManager.setChannelDescriptor(channelDescriptor, 
                                                  channelUUID: channelUUID)
}

10:20 - Provide service status updates

func reportServiceIsReconnecting() async throws {
    try await channelManager.setServiceStatus(.connecting, channelUUID: channelUUID)
}

func reportServiceIsConnected() async throws {
    try await channelManager.setServiceStatus(.ready, channelUUID: channelUUID)
}

11:48 - Start transmission from within your app

func startTransmitting() {
    channelManager.requestBeginTransmitting(channelUUID: channelUUID)
}

// PTChannelManagerDelegate

func channelManager(_ channelManager: PTChannelManager, 
                    failedToBeginTransmittingInChannel channelUUID: UUID,
                    error: Error) {
    let error = error as NSError

    switch error.code {
    case PTChannelError.callIsActive.rawValue:
        print("The system has another ongoing call that is preventing transmission.")
    default:
        break
    }
}

12:22 - Stop transmission from within your app

func stopTransmitting() {
    channelManager.stopTransmitting(channelUUID: channelUUID)
}

func channelManager(_ channelManager: PTChannelManager, 
                    failedToStopTransmittingInChannel channelUUID: UUID, 
                    error: Error) {
    let error = error as NSError

    switch error.code {
    case PTChannelError.transmissionNotFound.rawValue:
        print("The user was not in a transmitting state")
    default:
        break
    }
}

12:41 - Responding to begin transmission delegate events

func channelManager(_ channelManager: PTChannelManager,
                    channelUUID: UUID, 
                    didBeginTransmittingFrom source: PTChannelTransmitRequestSource) {
    print("Did begin transmission from: \(source)")
}

func channelManager(_ channelManager: PTChannelManager,
                    didActivate audioSession: AVAudioSession) {
    print("Did activate audio session")
    // Configure your audio session and begin recording
}

13:19 - Responding to end transmission delegate events

func channelManager(_ channelManager: PTChannelManager,
                    channelUUID: UUID, 
                    didEndTransmittingFrom source: PTChannelTransmitRequestSource) {
    print("Did end transmission from: \(source)")
}

func channelManager(_ channelManager: PTChannelManager,
                    didDeactivate audioSession: AVAudioSession) {
    print("Did deactivate audio session")
    // Stop recording and clean up resources
}

15:29 - Receiving Push to Talk Pushes

func incomingPushResult(channelManager: PTChannelManager, 
                        channelUUID: UUID, 
                        pushPayload: [String : Any]) -> PTPushResult {

    guard let activeSpeaker = pushPayload["activeSpeaker"] as? String else {
        // If no active speaker is set, the only other valid operation 
        // is to leave the channel
        return .leaveChannel
    }

    let activeSpeakerImage = getActiveSpeakerImage(activeSpeaker)    
    let participant = PTParticipant(name: activeSpeaker, image: activeSpeakerImage)
    return .activeRemoteParticipant(participant)
}

17:03 - Stop receiving audio

func stopReceivingAudio() {
    channelManager.setActiveRemoteParticipant(nil, channelUUID: channelUUID)
}

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。