借助即将推出的 API，可以通过 Apple Intelligence 共享应用程序屏幕上找到的内容
得益于基于 AppleInsider 在 WWDC 之前泄露的技术的新开发者 API，Apple 很快就能查看和处理屏幕内容。
周一，苹果发布了新文档帮助开发人员为即将推出的 Siri 和特征。公司的透露 Siri 将获得显着的上下文感知，并且虚拟助手在某些时候将能够使用当前屏幕上内容中的信息。
由于苹果的改变，Siri 无疑会变得更加有用。该公司提供了一系列示例，这些示例提供了一些有关新功能和改进内容的见解，将来能够做到。
用户可以选择向 Siri 询问有关他们当前正在查看的网页或照片中特定对象的问题。虚拟助理还可以根据要求总结文档和电子邮件，或通过添加更多内容来完成文本。
请注意，其中一些功能已经在第一个版本中实现了开发者测试版，引入了 ChatGPT 集成。 Siri 可以将 PDF、文本文档或图像转发到 ChatGPT 来执行某些操作，但前提是需要用户的许可。
新的开发者 API 表明苹果希望进一步简化这一流程。用户无需要求 Siri 向 ChatGPT 发送文档，而是可以直接询问有关屏幕上页面的问题或以某种方式使用其中的信息。这里还有很大的改进空间，因为 ChatGPT 目前只能访问用户手动提供的屏幕截图或文档。
苹果让人工智能使用屏幕信息的想法在 Apple Intelligence 宣布之前就已经很明显了。。该公司发表的研究，特别是关于模型，作为苹果在人工智能领域计划的指标。
文档分析、文档理解和人工智能驱动的文本生成非常重要。在我们最近的一份报告中，苹果内幕 Apple Intelligence 仍在开发期间使用的各种内部测试应用程序。
测试应用程序和环境，特别是 1UP 应用程序，反映了当前通过 iOS 18.2 Beta 上的 ChatGPT 集成实现的许多功能。苹果还有专门的应用程序用于测试在邮件和消息中。
Siri 的新功能可以完成和总结文本，或回答有关图像、文档和网页的问题，这一点在官方宣布之前也已公布。在我们的报告中法学硕士，以及和项目中，我们公布了其中许多功能，解释了它们的工作原理，甚至解释了苹果的。
显然，鉴于其在生成式人工智能项目上投入了大量的时间、研究和精力，maker 非常重视人工智能。周一发布的开发者 API 只是为了帮助开发者为新的 Siri 功能做好准备，这些功能包括将于 2025 年通过 iOS 18.4 更新首次亮相。
