微软Windows 11系统通过KB5072033更新,新增“Copilot共享”功能,把鼠标停在应用图标上,就弹出“和Copilot共享”这几个字,点击一下,AI就开始读取你正在看的屏幕内容,这个功能不是高端机才能用,普通电脑也可以,适用于绝大多数应用程序(如Netflix网页版除外)。

工具不会碰你的鼠标和键盘,也不会帮你点击按钮,比如你打开一封邮件,它会告诉你邮件内容是什么、发件人是谁、是否需要回复,你想知道怎么操作时,它会在屏幕上显示一个虚拟光标,引导你“点这里”,同时配合语音提示,简单来说,就是AI在旁边一步步教你使用电脑,但它自己不动手。

这个功能用的是微软自家的老接口,以前只给Teams开会共享屏幕用,现在开放给所有用户了,数据处理都在云端进行,本地不会留下痕迹,只传输画面像素,微软处理得比较谨慎,像银行、Netflix、医疗软件这类加密页面,它会自动停止工作,避免出现问题。

有人拿Copilot跟苹果的Siri、谷歌助手比较,但Copilot用起来更省事,不用喊“嘿Siri”,也不用特意打开助手,只要把鼠标悬停一下就能启动,安卓那边的建议功能大多放在通知栏里,而Windows是直接贴着窗口走,感觉它更贴近实际使用场景。

以后用它教老人学点东西,远程帮亲戚修电脑,也不用开远程控制了,只要对方点一下共享,AI就能引导操作,视障朋友也能靠语音让它描述界面,然后帮忙定位点击位置,不过万一AI看错了,比如把“取消”当成“确认”,目前还没看到有什么防错机制,这点得小心。
微软没有把这个功能开放给第三方开发者,开发者如需使用得先找微软批准,获得解锁令牌才能使用,Copilot表面上是共享,实际上控制很严格,AI能够看你的屏幕,但是不能操作你的电脑,也不能进入敏感页面,这种设计其实是为了让你感觉方便的同时,又不会泄露安全的问题。
1️⃣屏幕内容分析
系统通过云端AI分析当前应用窗口的显示内容,提供操作建议。例如,在Outlook中打开邮件并启用共享后,Copilot可读取邮件内容,但无法浏览其他邮件或执行点击、移动光标等操作。
2️⃣引导式辅助
该功能支持引导式辅助操作,当用户询问“如何回邮件”时,Copilot可在屏幕上高亮显示应点击的位置,并模拟光标指引。
3️⃣技术实现基于
Windows.UI.Shell.ShareWindowCommandSource API实现,允许通信类应用接入Windows 11 Shell界面,显示“开始共享/停止共享”指令,并传递选定窗口的WindowId给目标应用。此API原本为Microsoft Teams设计,被标记为“受限访问功能”,开发者需向微软申请批准并获取解锁令牌方可使用。
4️⃣使用限制
DRM保护内容:如Netflix网页版,该功能无法正常运作。
敏感信息窗口:不会在涉及敏感信息或DRM内容的场景中激活。
5️⃣用户体验
交互方式:Copilot仅具备屏幕“只读”能力,依赖语音和视觉提示进行交互,不具备系统操控权。
6️⃣应用场景:适用于需要屏幕内容分析和操作建议的场景,如查看复杂图表、阅读晦涩文章等。
7️⃣技术细节API限制:
Windows.UI.Shell.ShareWindowCommandSource API被标记为“受限访问功能”,开发者需向微软申请批准并获取解锁令牌方可使用。
总结:Copilot共享功能通过云端AI分析屏幕内容,提供操作建议和引导式辅助,适用于大多数应用,但受限于DRM保护内容和敏感信息窗口
更新时间:2026-01-05
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight All Rights Reserved.
Powered By 61893.com 闽ICP备11008920号
闽公网安备35020302035593号