文档知识库
文档知识库 / 核心功能 · 基础必备 / 应用快照

应用快照

「应用快照」功能详解

什么是「应用快照」?

「应用快照」可以捕获当前最前方应用的画面和可读取文字,并将其作为对话上下文交给「千问办公」。

当页面内容不方便复制或难以完整描述时,可以直接调出「应用快照」,再告诉「千问办公」希望完成什么任务。

例如,在查看一份销售报表时,你可以直接提出:分析当前页面,找出变化最大的三个指标,并说明可能原因。

「应用快照」能做什么?

能力 说明 示例
捕获当前应用 截取最前方应用的当前画面 捕获正在查看的报表
读取页面文字 识别当前画面中的可读取文字 提取页面中的标题、指标和提示
补充任务上下文 将页面内容与用户指令一起提交 结合当前页面生成总结
理解界面内容 分析报表、网页、文档和系统提示 解释错误信息
配合语音使用 通过语音描述任务并提交当前画面 边看页面边提问

应用快照提供的是当前画面内容,不等于读取应用中的全部数据,也不代表已经获得对应应用的操作权限。

什么时候用?

  • 总结当前正在查看的页面
  • 分析屏幕上的数据报表
  • 解释错误提示或系统弹窗
  • 提取页面中的文字和重点
  • 根据当前商品页面生成文案
  • 检查网页或应用界面设计

什么时候不适合用?

  • 读取没有显示在屏幕上的内容
  • 准确处理多页文档
  • 持续监控不断变化的页面
  • 批量处理大量页面
  • 页面包含大量敏感信息

「应用快照」与其他功能的区别

功能 获取内容的方式 适合场景
应用快照 捕获当前最前方应用 快速理解眼前页面
上传截图 手动选择并上传图片 分析已经保存的固定画面
上传文件 读取原始文件内容 多页文档、表格和正式资料分析
浏览器连接器 打开并操作多个网页 多步骤浏览、采集和表单操作
连接器 通过授权访问外部系统 查询或修改系统中的结构化数据

简单来说:

  • 只想让「千问办公」看懂当前页面,使用「应用快照」
  • 需要完整分析多页文件,上传原文件
  • 需要连续操作多个网页,使用浏览器连接器
  • 需要直接调用外部系统数据,使用连接器

如何使用「应用快照」?

开启系统权限

客户端左侧边栏底部账户头像 > 设置 > 应用快照

首次使用时,macOS 会要求你为「千问办公」开启以下权限:

权限 用途
辅助功能 读取当前应用中的界面元素和可用文字
屏幕录制 捕获当前最前方应用的屏幕画面

点击打开设置,进入 macOS 的对应页面,根据提示“拖拽”开启相应权限。

如果相关组件没有出现在列表中,可以按照系统弹窗提示将组件添加到授权列表。

权限开启后,部分系统版本可能需要重新打开「千问办公」才能生效。

设置全局快捷键

在「应用快照」页面设置全局快捷键。

默认全局快捷键为:同时按下左右两个Command ⌘ /Ctrl

建议选择不容易与其他应用冲突的按键组合。

打开需要分析的应用

将需要分析的网页、文档、报表或应用切换到最前方。

触发前建议:

  • 滚动到需要分析的位置
  • 关闭与任务无关的窗口
  • 隐藏聊天通知和敏感信息
  • 确保关键内容完整显示

触发应用快照

按下设置好的全局快捷键,「千问办公」会捕获当前最前方应用的画面和可读取文字,并将其作为对话上下文。

「应用快照」不会自动读取当前页面之外的全部内容。页面中未显示、被遮挡或需要滚动后才能看到的信息,可能不会进入本次快照。

描述希望完成的任务

捕获页面后,还需要明确告诉「千问办公」希望完成什么。

推荐使用下面的表达方式:分析对象 + 任务目标 + 输出要求 + 限制条件

提取当前商品页面的名称、价格、核心卖点和促销信息,生成一段200字以内的小红书推广文案,不要使用夸大宣传用语。

典型场景

场景1:阅读数据报表

面对复杂报表时,帮你快速抓住重点,避免逐格阅读。

分析当前报表,找出环比变化最大的五个指标

场景2:总结文档页面

面对长文档、会议纪要、需求文档时,帮你快速提炼要点与行动项。

总结当前页面的核心结论,并提取待办事项

场景3:理解系统提示

遇到报错或警告时,帮你快速理解含义并获得排查思路。

解释当前错误提示,并给出由易到难的排查步骤

场景4:分析商品页面

浏览电商、竞品或选品页面时,帮你提炼卖点和适用人群。

提取商品信息,整理核心卖点和目标人群

场景5:检查业务表单

提交业务表单前帮你自查,避免遗漏必填项导致反复退回。

检查当前表单还有哪些必填信息没有完成

场景6:优化网页内容

自查设计稿或已上线页面时,帮你获取结构性改进建议。

评价当前页面的信息层级,并提出三项改进建议

场景7:分析聊天内容

群聊、评论、客户对话冗长时,帮你快速梳理结论与后续动作。

总结当前讨论的结论、分歧和下一步动作

场景8:辅助软件操作

在陌生系统或复杂后台中,帮你判断下一步该点哪里。

根据当前界面告诉我下一步应该进入哪个功能

怎样描述任务?

分析当前页面

不确定页面用途或首次接触新系统时使用,先建立整体认知。

分析当前页面的主要内容,先概括页面用途,再列出需要重点关注的信息。

提取页面信息

把非结构化页面转成结构化数据,便于对比、归档或复制。

提取当前页面中的产品名称、价格、活动时间和核心卖点,用表格输出,不要补充页面中没有的信息。

解释错误提示

只想弄清这条报错到底什么意思、该怎么排查,不希望模型擅自动手。

解释当前页面的错误提示,分析三个最可能的原因,并给出逐步排查方法。暂时不要修改任何设置。

优化页面设计

产品、设计、运营在评审阶段,需要多维度的可执行改进意见。

从信息层级、视觉重点、操作路径和文案清晰度四个方面评价当前页面,并给出可以直接执行的修改建议。

结合页面执行任务

以页面内容为原料,产出下游可交付物(方案、文案、报告等)。

根据当前页面的商品信息生成一份推广方案,包括目标人群、核心卖点、渠道建议和三条推广文案。

使用技巧

  • 开启功能前将目标应用切换到最前方
  • 将关键内容完整显示在当前画面中
  • 关闭无关窗口、通知和悬浮提示
  • 先说明任务目标,再说明输出格式
  • 要求严格提取时,明确“不要补充页面中没有的信息”
  • 多页文件优先上传原文件
  • 多步骤网页任务优先使用浏览器连接器
  • 涉及修改、删除或对外发送时,要求执行前确认
  • 页面包含隐私或企业敏感信息时,先遮挡无关内容

权限与隐私说明

应用快照需要读取当前屏幕,因此需要 macOS 的屏幕录制权限;读取页面中的界面元素和文字时,还可能需要辅助功能权限。

注意:

  • 当前屏幕上的账号、消息、客户资料等内容可能进入快照;
  • 被其他窗口遮挡的内容可能无法正确识别;
  • 部分受保护应用可能限制截屏或文字读取;
  • 授予权限后,可以随时在 macOS 系统设置中关闭;
  • 企业设备可能受到管理员安全策略限制;
  • 具体数据传输、处理和保存方式以产品隐私政策为准。

「应用快照」的标准使用方式是由用户通过快捷键主动触发。授予屏幕录制权限并不代表每次任务都会自动提交屏幕内容;只有实际触发快照或相关功能时,当前画面才会作为任务上下文使用。

注意事项

  • 快照只能反映触发时的当前画面;
  • 未显示、未展开或需要滚动后查看的内容不会自动包含;
  • 识别结果可能受到字体大小、页面清晰度和界面遮挡影响;
  • 「应用快照」不保证读取页面中的完整结构化数据;
  • 页面信息可能已经过期,需要结合数据更新时间判断;
  • 可能误读小字号、图表或复杂界面,重要信息应人工复核;
  • 快照提供上下文,不等于允许「千问办公」直接操作目标应用。

常见问题

为什么应用快照显示为空白?

可能原因如下:

  • 没有开启屏幕录制权限;
  • 权限尚未生效;
  • 目标应用限制内容捕获;
  • 当前最前方窗口没有可读取内容。

可以检查系统权限,并尝试重新打开「千问办公」。

为什么无法读取页面中的文字?

可能与以下因素有关:

  • 未开启辅助功能权限;
  • 文字过小或画面模糊;
  • 内容被其他窗口遮挡;
  • 页面使用特殊渲染方式;
  • 文字没有显示在当前可见区域。

可以放大页面、关闭遮挡窗口后重新捕获。

为什么只能分析当前页面的一部分?

「应用快照」获取的是当前最前方应用的可见画面,不会自动读取尚未滚动到的内容。

如果需要分析完整文档,建议上传原文件;如果需要连续浏览多个页面,建议使用浏览器连接器。

「应用快照」可以直接操作其他应用吗?

「应用快照」的核心作用是提供当前屏幕上下文。是否能够进一步点击、输入或修改内容,还取决于客户端能力、系统权限和当前任务授权。

为什么首次使用需要较长时间?

首次使用需要完成 macOS 系统授权。开启权限后,系统或应用可能需要一段时间完成配置,部分情况下需要重新打开客户端。

「应用快照」和普通截图有什么区别?

普通截图需要先保存图片,再手动上传;「应用快照」可以通过全局快捷键直接捕获当前应用,并将画面和可读取文字加入任务上下文。

「应用快照」和语音唤起有什么关系?

开启语音唤起「千问办公」后,连续按两次语音快捷键,可以将语音要求和当前屏幕快照一起提交。

「应用快照」也可以单独通过全局快捷键使用,不要求必须同时使用语音。

「应用快照」会读取所有打开的应用吗?

不会。只捕获最前方应用。其他后台应用和未显示内容不属于本次快照的主要范围。

可以用「应用快照」分析多页 PDF 吗?

可以分析当前显示的一页,但不适合完整处理多页 PDF 。需要总结、提取或比较整个 PDF 时,建议直接上传原文件。