相机拍摄的新功能

相机拍摄的新功能

了解如何在控制中心中与 Video Effects 交互，包括 Center Stage、Portrait 模式和 Mic 模式。我们将展示如何检测何时为您的 app 启用了这些功能，并探索采用自定义界面以便可从您的 app 控制它们的方式。了解如何启用 10 位 HDR 视频捕捉，并利用最小焦距报告功能，改进视频捕捉体验。探索针对 IOSurface 压缩和提供优异的摄像头捕捉性能的支持。为了解关于摄像头捕捉的更多信息，我们还建议观看 WWDC21 的“捕捉使用视频格式的高质量照片”。

资源
- Capture setup
- - 高清视频
  - 标清视频
相关视频

WWDC22
- 了解 iOS 相机拍摄的改进：深度、聚焦和多任务处理
- 集成连续互通相机至您的 macOS App 中
WWDC21
- 使用视频格式拍摄高质量照片
- 拍摄和处理 ProRAW 图像
WWDC20
- 使用 AVFoundation 编辑和回放 HDR 视频
WWDC16
- iOS 摄影功能改进
下载

♪低音音乐播放♪ ♪ 布拉德福特：哈啰欢迎来到《新的相机采集功能》我是相机软件团队的布拉德福特我即将介绍许多新的相机性能从最短对焦距离报告开始如何采集10-bit HDR视频最主要的内容：控制中心的视频效果接下来我会稍微离开一下新的性能介绍让你的相机应用程序能达到最佳表现的策略最后大家一定要收藏这个全新的表现秘诀 IOSurface压缩今天我要讲的性能全部都可以在AVFoundation框架找到更明确地说是有前缀AVCapture的类别先简单回顾一下最主要的对象是AVCaptureDevices 它代表相机或麦克风覆盖装置的AVCaptureDeviceInputs 让它们可以连上AVCaptureSession 那是AVCapture图形的中央控制 AVCaptureOutputs 算绘从不同方式得到的输入数据 MovieFileOutput 会录制QuickTime视频 PhotoOutput 会采集高画质的静态照片和实况照片数据输出例如VideoDataOutput 或AudioDataOutput 将来自相机或麦克风的视频或音频缓冲传送到你的应用程序中还有其他种类的数据输出例如元数据和深度对于实况相机预览有一种特殊的输出类型 AVCaptureVideoPreviewLayer 它是CALayer的子集从采集输入得到的数据流到通过AVCaptureConnections 兼容的采集输出都在这里用这些箭头表示如果你不熟悉AVFoundation相机采集可以从developer.apple.com上的相机和媒体采集首页来了解更多好让我们直接开始深入探索第一个新性能最短对焦距离是指镜头和能够清晰对焦的最近点之间的距离它是所有镜头都有的特性可以是数码单镜头反光相机或是智能手机 iPhone相机也有最短对焦距离只是我们过去从来没有发表过… 直到现在才出来从iOS 15开始最短对焦距离是iPhone自动对焦相机公开的特性这里有近期iPhones的样本图表中显示在不同机型中广角镜头和长焦镜头的最短对焦距离之间的差异在iPhone 12 Pro和12 Pro Max的广角镜头有很显著的差别相较于Pro上最短对焦距离为12公分 Pro Max的最短对焦距离为15公分这是因为在iPhone 12 Pro Max中的传感器移动防手震技术同样的 12 Pro Max的长焦镜头最短对焦距离也比12 Pro更远这是因为长焦镜头可以伸到更远的位置它是2.5x变焦另一个则是2x变焦让我快速示范一下为什么最短对焦距离报告很重要
这里有一个示范用的应用程序叫做AVCamBarcode 它展示了我们的AVFoundation 条形码侦测API 这个用户界面引导用户把一个对象放到矩形里面来扫描在这个例子中我选了在一张纸上我选择了一个相当小的二维码这个条形码只有20毫米宽按下元数据按钮我会看到一串由AVCaptureMetadataOutput支持的不同对象类型这里有很长一串我要选二维码然后把我的iPhone 12 Pro Max相机拿到能让二维码填满矩形的位置很不幸地因为它太小了我必须非常靠近那张纸才能填满预览的空间那个距离比相机的最短对焦距离还短条形码太模糊所以没办法扫描要引导用户往后退我需要在相机预览上套用变焦系数…
像这样看到屏幕上放大的影像会提示他们把相机拿到离纸张比较远的距离我可以用滑块按钮来做这件事不过如果应用程序可以自动处理变焦那就更好了
这就是AVCaptureDevice中新minimumFocusDistance属性的功能它是iOS 15的新功能考虑到相机的水平视野你要扫描的最小条形码尺寸这里我把它设成20毫米把相机预览窗口的宽度设成百分比我们可以简单计算一下要填满那个预览窗口的宽度所需要的最短主体距离接着用相机新的minimumFocusDistance属性当相机没办法在这么近的位置对焦时我们可以侦测到并且计算出一个够大的变焦系数来引导用户往后退最后要把它应用到相机上我们先在组态中锁定它设定变焦系数接着再把它解锁在重新编译我们的示范应用程序后现在用户界面会自动使用正确的变焦值
当应用程序启动时它就已经对焦到正确的位置了没有模糊的条形码了！按下去可以看到它会把我带去哪啊！《在iPhone摄影中的采集深度》那场很经典！我真的很感激那场说明会
请看看新的AVCamBarcode范例来了解如何纳入最短对焦距离的最佳实例还有很多其他扫描条形码的最佳实例接下来要谈的是10-bit HDR视频 HDR代表高动态范围它是从iOS 4.1那时候开始就已经存在的静态影像技术保存高动态范围通常是通过在一个场景拍下多个曝光的照片然后再混合这些照片来同时保留亮部和暗部而达成的那么视频HDR呢？那很困难因为你必须要做到每秒30帧或是每秒60帧这个还不完全是视频HDR 不过很接近了在2018年 Apple将EDR 或叫延伸动态范围用到iPhone XS相机上 EDR是一种视频的类HDR解决方案基本上它让采集帧率加倍在标准曝光和短时曝光之间转换不过它是根据时间计算过的所以在采集中间几乎没有垂直空白当名义上以每秒30帧的速率采集 EDR视频实际上是以每秒60帧的速率运作相机根据拍摄场景的需求它能够将曝光值得到的色调动态应用到曝光值0的影像上来修复过曝的亮部但是不会牺牲暗部的细节这还不是完整的HDR解决方案因为在弱光下它的效果就变差了不过在中等亮度到强光下它都提供很棒的成果这里是让人困惑的地方 EDR显示为一系列在videoHDR名字下的 AVCaptureDevice属性不管你在哪里看到只要是AVCapture API中的 videoHDRSupported 或者videoHDREnabled 你都应该在脑中把它换成EDR 因为它就是EDR AVCaptureDevice还有一个属性叫做“automaticallyAdjusts VideoHDREnabled” 它的预设值为真所以只要EDR能使用的时候它就会自动被打开如果因为某种理由你希望把它关掉你需要把 automaticallyAdjustsVideo HDREnabled设定为假接着把videoHDREnabled也设成假现在事情越来越棒了我需要先跟你们解释EDR 这样我才能介绍10-bit HDR视频 10-bit HDR视频是真正的高动态范围因为它有更多位！那代表着更高的可编辑性它有EDR来做亮部回复而且它一直都是开启的它使用混合对数型伽玛曲线以及BT.2020色域因此有更好的色彩对比比Rec 709更亮的亮度不论你用的是 AVCaptureMovieFileOutput 或者AVCaptureVideoDataOutput 加上AVAssetWriter 我们都自动在你的视频中插入每帧的杜比视界元数据让它们和杜比视界显示器兼容 10-bit HDR视频最早是导入在iPhone 12上 10-bit HDR视频格式可以通过它们独特的像素格式来辨识在旧版的iPhone机型上相机有AVCaptureDeviceFormats 它总是成对出现就分辨率和帧率范围来说有420v和420f格式这些是8-bit、双平面的YUV格式 420v中的v代表视频范围取值范围从16到235 而420f中的f代表全部范围取值范围从0到255 在iPhone 12机型上有些格式是以三个为一组在420v和420f后还有x420格式它也有相同的分辨率和帧率范围跟420v一样 x420是在视频范围中的双平面420格式不过在x420中的x代表10位而不是8位要在编码中找到和选取 10-bit HDR视频格式只要通过AVCaptureDevice格式重复直到你看到有像素格式符合x420的或者先深呼吸一下你看到 420YpCbCr10 PlanarVideoRange 你当然可以加入其他搜寻条件例如宽、高和最大帧率我们更新了AVCam范例编码来支持可使用的10-bit HDR视频里面有一个很方便的效用函数叫做“tenBitVariantOfFormat” 不论目前选取装置的激活格式是什么它都可以找到其中10-bit HDR的变量请看一下所有常用的视频格式都支持10-bit HDR视频包含720p、1080p和4K 我们还加入4x3格式也就是1920x1440 它能支持12百万像素高分辨率照片
要采集10-bit HDR视频很简单不过编辑和播放就比较麻烦了我建议大家去看2020年的相关说明会叫做《以AVFoundation 编辑和播放HDR视频》好的 HDR就说到这里
现在要进入我们最主要的内容控制中心的视频效果简单来说它们是系统层级的相机性能不需要修改编码就可以在你的应用程序中使用而且用户可以控制它这有一点背离我们的习惯作法传统上当我们在iOS或macOS 导入新的相机性能时 Apple的应用程序可以直接使用这个技术我们会公开新的AVCapture API 现在你现在在做的事一样你先学会它们然后你按自己的步调去使用这些性能这是比较安全和保守的方法不过常常导致很长的准备时间让用户在他们喜欢的相机应用程序中错过这些很棒的性能有了控制中心的视频效果我们在系统层级导入预先包装的相机性能让大家不用修改编码就可以马上使用而且用户可以控制它我们持续针对这些性能公开新的API 所以你可以在你的发布时程允许下在你的应用程序中加入这些体验让我们来看看这些效果第一个是我们在5月的踏春而来Apple发布会上发布的叫做“人物居中” 在最新释出的M1 iPad Pro机型上有这个功能并且利用它们惊人的 12百万像素超广角前镜头人物居中真的提升了你的FaceTime视频通话品质在其他所有的视频会议应用程序中也可以直接使用而且效果很好让我示范给你们看我刚刚从App Store下载Skype 这是这个应用程序现有的版本
当我开始一个Skype视频通话你会看到人物居中立刻就开始执行这有点像是拥有自己的个人相机遥控器当你在画面中移动时它会一直把你框在窗口正中间不论你往镜头靠近或者往后退想要走来走去就算你在镜头上把你的脸转开它还是可以追踪你这是因为它不只会追踪脸它还会追踪身体身为用户要操作人物居中很简单我只要往下滑叫出控制中心按下新的视频效果模块就可以选择了现在我把人物居中关掉接着回到应用程序中现在不管我进出屏幕它都不会再跟着我了同时还有一个所有视频会议应用程序都能使用的新性能叫“人像” 人像模式让我可以算绘出很漂亮的浅景深效果它不只是简单的隐私模糊它使用Apple的神经网络引擎加上单目深度网络来模拟真正带有广角镜头的相机最后让我们来看看麦克风模式下滑选择麦克风模式模块我可以在标准、语音隔离或宽广频谱之间做选择麦克风模式强化在视频聊天中的音频品质等一下会再介绍更多尽管人物居中、人像和麦克风模式都有出现在控制中心上它们在API上的处理却不太一样我会先介绍人物居中API 接着是人像然后是麦克风模式所有M1 iPad Pro的前镜头都可以使用人物居中不论你使用的是新的超广角前镜头虚拟的广角镜头它会呈现裁切后的正规视野或者虚拟真实深度镜头都可以使用人物居中真实深度镜头的使用有一些条件我待会会说控制中心的视频效果模块在每个应用程序都有开/关的切换这让你可以在开会用的应用程序上把人物居中做为预设值同时在专业摄影应用程序中把它预设成关闭让你可以手动构图是在每个应用程序设定个别的状态而不是针对每个镜头来设定状态因为人物居中的开/关切换是在每个应用程序中而不是在每个相机上它在API中是以AVCaptureDevice上的一套类别属性来呈现这些是可读取、可写入以及允许键-值观察的 centerStageEnabled会匹配到控制中心上的人物居中用户界面的开/关状态人物居中控制模式能支配谁可以切换到开启状态我们等一下会再多说一些不是所有相机或格式都支持人物居中你可以在任何相机的格式数组中反复执行找到支持这个性能的格式并且把它设定为activeFormat 通过查询或观察它的人物居中激活属性找出在特定相机上目前人物居中是否为激活状态你应该要知道人物居中的限制人物居中使用超广角相机的完整12百万像素格式那是30帧率的格式所以最大帧率的限制是30 人物居中会避免放大来维持影像画质因此它的最大输出分辨率被限制为1920x1440 使用人物居中时左右和前后对焦需要保持不变所以视频的变焦系数会锁定在1 几何畸变校正对人物居中要把人物放到画面中间是不可缺少的而且深度传送一定要关闭因为深度产生一定要匹配到 RGB和红外线相机的全视野影像现在让我们来看看控制模式的概念人物居中有三个支持的模式用户、应用程序和合作式在所有应用程序中用户模式都是人物居中控制模式的预设值在这个模式中只有用户可以将这个性能开启和关闭如果你的应用程序试着以编码更改人物居中的开启状态就会出现异常下一个是应用程序模式这个模式下只有你的应用程序可以控制这个性能用户不能使用控制中心因为那里的切换被关掉了我们不建议使用这个模式除非你的应用程序和人物居中不兼容否则不要使用它如果你必须退出用户模式你可以把控制模式设定成应用程序接着把isCenterStageEnabled设为假人物居中最棒的用户体验是合作式模式在这个模式下用户可以控制控制中心的性能而且你的应用程序也可以用自己的用户界面来控制它不过你得做多一点事你必须观察 AVCaptureDevice .isCenterStageEnabled的属性并且更新你的用户界面来确保用户可以随时开启时人物居中把控制模式设定成合作式之后你可以把人物居中设定为真或假举例来说这可以是根据你应用程序中的按钮合作式模式的典型代表是FaceTime 当我在FaceTime视频通话中我可以直接使用应用程序中的按钮来打开人物居中让它追踪我或者我可以用惯用的方式往下滑叫出控制中心再开启或关闭人物居中 FaceTime和控制中心在人物居中的状态上相互合作因此它总是能符合用户的意图 FaceTime也聪明到可以知道什么时候性能互不兼容例如假设我试着打开Animoji 这个功能会用到深度…
它会知道要把人物居中关掉因为这两个性能互不兼容如果我重新把人物居中打开 FaceTime会知道要关闭Animoji 人物居中API就说到这里让我们换到人物居中在控制中心的邻居：人像简单来说它是一种能漂亮地算绘出浅景深的效果让它看起来像大光圈镜头在iOS上搭载Apple神经网络引擎的所有装置都支持人像也就是2018年和在那之后的iPhone和iPad 它只支持前镜头所有M1 Mac也都支持这个功能因为它们同样搭载 Apple神经网络引擎人像是一个计算复杂性算法因此要让视频算绘表现不停反应它的最大分辨率受限为1920x1440 以及30帧率的分辨率
跟人物居中一样人像效果在每个应用程序中都有自己的开/关状态它的API比人物居中的还简单用户每次都可以通过控制中心来控制它而且它只有在特定类别的应用程序中才会预设可以使用它在iOS上使用 VoIP UIBackgroundMode的应用程序会自动加入这个功能用户可以在控制中心开启或关闭这个效果其他所有的iOS应用程序需要宣告它们有资格使用人像效果来加入那是通过在应用程序的Info.plist 加入一个新的键 NSCameraPortraitEffectEnabled 在macOS上所有应用程序都会自动被加入而且可以直接使用这个效果人像效果一直都是由用户控制的而且只能通过控制中心来控制和人物居中一样不是所有相机和格式都支持人像你可以在任何相机的格式数组中反复执行找到支持这个性能的格式并且将它设定为你的激活格式通过查询或观察它的 isPortraitEffectActive属性你也可以找出在特定相机上目前人像是否为激活状态麦克风模式API和人像相似
每个应用程序中都有用户在选择用户一直都可以控制它你的应用程序不能直接设定麦克风模式有些应用程序需要选择加入才能用这个性能麦克风模式会显示在 AVFoundation的 AVCaptureDevice界面中一共有三个种类标准它使用的是标准音频DSP 宽广频谱它会让处理最小化来采集装置周围的所有声音不过它还是包含回声消除还有语音隔离它会增强人声和移除不想要的背景噪音例如键盘打字声、按鼠标的声音或者邻居的鼓风机在某个地方运转这些功能只有用户可以从控制中心设定不过你能读取和观察它们的状态可以通过AVCaptureDevice的 preferredMicrophoneMode 这是用户选择的模式还有activeMicrophoneMode 这是用户目前使用的模式考虑到目前的音频路由可能不支持用户偏好的麦克风模式要使用麦克风模式你的应用程序必须使用Core Audio AUVoiceIO的音频单位这是一个在视频会议应用程序中很热门的界面因为它能执行回声消除麦克风模式是在2018年和之后的iOS和macOS装置上才能使用用户可以控制人像和麦克风模式不过你可以通过叫出新的 AVCaptureDevice .showSystemUserInterface方法来提醒他们关掉或打开这个性能而且你可以把它传到videoEffects 或microphoneModes 叫出这个API会打开控制中心并且深度链接到适当的子模块我们正在深入探讨视频效果模块这里用户可以选择把人像关掉
人像和控制中心的视频效果就先讲到这里我一直在跟大家介绍不需要动到任何一行编码就能注入你的应用程序中的系统层级相机性能这是很强大的概念！有一场相关的说明会叫做《以视频格式采集高画质照片》你会发现我们对于你应用程序中的静态影像画质做出的改良同样你不用更动任何一行编码请去观看那一场我们已经讲了很多新性能现在这个阶段我打算喘口气来谈谈表现人物居中和人像都是很棒的用户性能不过它们会带来额外的表现成本让我们来看看表现最佳实例确保你的相机应用程序准备好使用像是人像和人物居中的新性能相机应用程序使用AVCapture类别来传送一个很广的性能数组最常用的界面是 AVCaptureVideoDataOutput 它让你可以直接把视频帧拿去进行修订、显示、编码、录制这些过程… 你想得到的都可以使用VideoDataOutput的时候很重要的是要确认你的应用程序有跟上实时期限没有任何掉帧在预设值中 VideoDataOutput 将它的alwaysDiscards LateVideoFrames属性设定为真让你不会落后它会在视频数据输出的处理过程结束时强制将缓冲队列大小设为1 这样它就不会一直给你最新的帧和丢掉你还没准备好处理的帧你也不用经历周期性或缓慢的过程如果你需要录制你正在接收的帧像是用AVAssetWriter 那这对你来说就没有用如果你想要录制处理过的结果你应该要关掉 alwaysDiscardsLateVideoFrames 并且注意你的处理时间通过叫出你提供的captureOutput didDrop sampleBuffer委托回调当掉帧发生时 VideoDataOutput就能告诉你收到didDrop回调的时候你可以在其中sampleBuffer的附件检查droppedFrameReason 这会告诉你接下来该怎么做才能减少掉帧有三个原因：FrameWasLate 这代表你的处理时间太长 OutOfBuffers 代表你可能使用太多缓冲以及Discontinuity 代表出现系统减速或硬件故障那不是你的问题现在让我们来谈谈该怎么处理掉帧其中一个最好的办法是动态地降低装置的帧率这样做的话在预览或输出中就不会发生差错你只要在执行的时候把你的AVCaptureDevice 设定成新的 activeMinVideoFrameDuration 第二个方法是简化你的工作量这样一来你就不需要花这么多时间接着我们来看看系统压力那是在你的相机应用程序中有良好用户体验的另一个很重要的表现指标系统压力就是它字面上的意思系统遇到使用过度或压力 AVCaptureDevice有一个叫做 systemPressureState的属性里面包含因素和整体水平 SystemPressureState的作用因素大概隐藏在这三个因素当中 systemTemperature表示装置有多烫 peakPower是在讲电池老化以及电池是否能快速的提高电压来满足高峰电力需求而depthModuleTemperature 表示真实深度相机的红外线传感器温度有多高 SystemPressureState的水平是一种指标它可以让你在妥协你的用户体验前先采取行动当它的状态是微不足道代表一切都很好尚可表示压力有一点升高可能会发生那种即使你只有进行很少量的处理但是周围温度很高的状况出现严重的时候系统压力变得很高采集表现可能会受到影响会建议降低帧率一旦你进到危急状态系统压力严重地升高采集质量和表现严重受到影响强烈建议要降低帧率你绝对不会希望压力上升到必须关机这时候系统压力已经超过危急状态了在这个状况下 AVCaptureSession 会自动停止让装置不会持续过热
你有好几种方法来应付升高的压力降低采集帧率这一定能减缓系统压力如果不能降低帧率考虑减少在你的CPU或GPU上的工作量例如关掉某些性能你也可以保留性能但是降低它的画质可能是通过只用较小的分辨率或降低频率来处理 AVCaptureSession 绝对不会代替你调节帧率因为我们不知道那样降低画质的策略是否适用在你的应用程序中表现最佳实例就说到这里接下来是我们的饭后甜点 IOSurface压缩在前面表现那段内容我尽量避免提到内存带宽因为就视频流过互联网服务供应商对于最后送到你的照片、视频、预览和缓冲上的整体内存带宽需求来说你能做的不多不过内存带宽依旧是用来决定相机性能是否能同时运作的重要限制在iOS和macOS处理未压缩的视频时其中牵扯到很多层这有点像俄罗斯娃娃最顶层是CMSampleBuffer 它覆盖所有的媒体数据以及时间测定和元数据往下一层是CVPixelBuffer 它专门覆盖像素缓冲数据以及元数据附加组件最后你来到最下层 IOSurface 它能让内存连接到内核并且提供在不同过程间分享大型视频缓冲的界面 IOSurfaces很大它们占掉很多未压缩视频的内存带宽需求幸好现在有IOSurface压缩提供了内存带宽问题的解决办法在iOS 15中我们新加入支持无损内存视频压缩格式这是在实时视频中降低整体内存带宽的优化方法它是一种在iOS装置和Mac上的硬件组件都认识的交换格式它在所有iPhone 12机型 2020秋季发表的iPad Air 和2021年春季发表的M1 iPad Pro上都可以使用哪些硬件组件主要负责处理压缩的IOSurface？嗯有很多所有列在这里的项目都知道怎么读取和写入压缩的IOSurfaces 现在你可能会问说 “我要怎么样才能使用它？” 嗯跟你们说个好消息如果你在支持的硬件上采集视频而且AVCaptureSession 不需要传送任何缓冲到你的过程恭喜你你的硬件已经在所有许可的状况下利用IOSurface压缩降低内存带宽如果希望压缩的表面被传送到你的视频数据输出你要知道几个规则真实的内存布局很不明确而且可能会改变所以不要写到磁盘上不要假设在所有平台上都会有相同的布局不要用CPU读取或写入 AVCaptureVideoDataOutput支持几种 IOSurface压缩的类型前面有说过 iOS相机本身会支持 420v和420f这种8-bit YUV格式一个是视频范围一个是全部范围接着大家认识了x420 这种10-bit HDR视频格式在要求之下视频数据输出也可以从内部扩展成 16像素深度的BGRA 它们每一个都有IOSurface压缩当量从iOS 15开始你可以通过 AVCaptureVideoDataOutput来取得如果你喜欢在你的四字符号编码中使用“&” 那么这是你的幸运日它们在这里很让人眼花撩乱吧这些是你需要用在编码中的常数两年前我们释出一个范例编码叫做“AVMultiCamPiP” 在这个例子中前镜头和后镜头会通过multicam 同时被串流到VideoDataOutputs 接着利用Metal着色器合成为子母画面之后它会将合成图算绘成预览并且通过AVAssetWriter写入视频中这很适合IOSurface压缩因为它所有的操作都在硬件上执行这是在AVMultiCamPiP中既有的VideoDataOutput设定编码它偏好使用BGRA 所以会设定VideoDataOutput的 videoSettings 产出那种像素格式类型新的编码只有加上一些检查首先它会去看有没有可用的 BGRA的IOSurface压缩版本如果有它就会选择那个 else子句只是用来做回退的今天就到这里大家认识了最短对焦距离报告如何采集10-bit HDR视频在控制中心的视频效果和麦克风模式表现最佳实例和IOSurface压缩希望大家会喜欢！谢谢你们的收看！ ♪

// Optimize the user experience for scanning QR codes down to sizes of 20mm x 20mm.

let deviceFieldOfView = self.videoDeviceInput.device.activeFormat.videoFieldOfView

let minSubjectDistance = minSubjectDistanceForCode(
  fieldOfView: deviceFieldOfView,
  minimumCodeSize: 20,
  previewFillPercentage: Float(rectOfInterestWidth))

0:02 - minSubjectDistance

private func minSubjectDistance(
  fieldOfView: Float,
  minimumCodeSize: Float,
  previewFillPercentage: Float) -> Float {
    let radians = degreesToRadians(fieldOfView / 2)
    let filledCodeSize = minimumCodeSize / previewFillPercentage
    return filledCodeSize / tan(radians)
}

0:03 - Lock device for configuration

let deviceMinimumFocusDistance = Float(self.videoDeviceInput.device.minimumFocusDistance)
if minimumSubjectDistanceForCode < deviceMinimumFocusDistance {
  let zoomFactor = deviceMinimumFocusDistance / minimumSubjectDistanceForCode
  do {
    try videoDeviceInput.device.lockForConfiguration()
    videoDeviceInput.device.videoZoomFactor = CGFloat(zoomFactor)
    videoDeviceInput.device.unlockForConfiguration()
  } catch {
    print("Could not lock for configuration: \(error)")
  }
}

0:04 - firstTenBitFormatOfDevice

func firstTenBitFormatOfDevice(device: AVCaptureDevice) -> AVCaptureDevice.Format? {
  for format in device.formats {
    let pixelFormat = CMFormatDescriptionGetMediaSubType(format.formatDescription)

    if pixelFormat == kCVPixelFormatType_420YpCbCr10BiPlanarVideoRange /* 'x420' */ {
      return format
    }
  }
  return nil
}

0:05 - captureOutput

func captureOutput(
  _ output: AVCaptureOutput,
  didDrop sampleBuffer: CMSampleBuffer,
  from connection: AVCaptureConnection) {
    guard let attachment = sampleBuffer.attachments[.droppedFrameReason],
          let reason = attachment.value as? String else { return }
    switch reason as CFString {
    case kCMSampleBufferDroppedFrameReason_FrameWasLate:
      // Handle the late frame case.
      break
    case kCMSampleBufferDroppedFrameReason_OutOfBuffer:
      // Handle the out of buffers case.
      break
    case kCMSampleBufferDroppedFrameReason_Discontinuity:
      // Handle the discontinuity case.
      break
    default:
      fatalError("A frame dropped for an undefined reason.")
    }
}

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。

提交你查询的内容时出现错误。请检查互联网连接，然后再试一次。

资源

相关视频

WWDC22

WWDC21

WWDC20

WWDC16