从“读得懂”到“看得见”：多模态Skill的全新升级

在人工智能不断拓展能力边界的背景下，openJiuwen社区近期推出的Skill-Omni为AI代理（Agent）赋予了全新的多模态学习能力。这一突破性范式让Skill的表现形式从传统的纯文本升级为图文并茂的多模态格式，使AI能够更高效地理解和复用任务经验。Skill-Omni的出现，不仅让AI能够“读得懂”，更首次实现了“看得见”，这是Agent任务执行范式的一次重要革新。

为什么Skill需要多模态化？

AI代理在执行任务时，Skill（技能）相当于一份操作说明书，指导其如何完成特定任务。然而，传统的Skill通常以纯文本的形式存在，这种方式在一些情境下已经显现出明显的局限性。

1. 视觉任务的模糊性

视觉任务往往涉及具体的图像或界面内容。例如，在图片编辑任务中，纯文本Skill可能会指示“调整色调，使主体突出、背景柔和”，但这对于AI来说显得过于抽象——主体的位置在哪里？调整到何种程度？这些问题仅靠文字描述难以明确。实际上，关键的知识隐藏在调整前后的视觉差异中，只有通过对比图才能真正传递这些信息。

2. GUI操作的复杂性

对于图形用户界面（GUI）的自动化操作，问题更加突出。纯文本Skill可能会写“点击设置图标，打开高级选项，选择导出配置”，但实际应用中“设置图标”可能表现为齿轮图标、一个菜单项，甚至是隐藏在下拉菜单中的选项。如果没有界面截图作为参考，Agent只能通过文字“猜测”具体操作步骤，容易出错或效率低下。

3. 视频教程的未充分利用

许多技能并没有以文档形式存在，而是以操作录屏或视频教程的形式呈现。人类可以通过观看视频快速掌握技能，但如果将视频内容转化为一段纯文本描述，界面状态和操作细节往往会丢失。这使得AI在面对这类资源时无法充分发挥其潜力。

总结来说，视觉任务中的关键信息往往不是用文字能够完整表达的，而是体现在一组可观察的视觉状态中。多模态Skill的核心价值就在于打破这些局限，为AI提供更丰富、更直观的知识形式。

Skill-Omni如何助力Agent“看得见”？

Skill-Omni是openJiuwen推出的多模态Skill范式，是目前业界首个实现工程化落地的解决方案。它的设计目标是将人类习惯的图文教程、技术博客，甚至视频教程，转化为Agent可直接读取和复用的多模态经验资产。

1. 自动提取关键视觉信息

Skill-Omni通过JiuwenSwarm平台中的“skill-omni-creation”工具实现，将网页、视频等资料中的关键截图、界面状态和操作脉络自动提取出来。这一过程无需人工干预，用户只需提供一个网页链接或视频链接，系统即可生成Agent可用的多模态Skill。

2. 图文并茂的教程转化

网页中的图文教程本身已经包含了丰富的信息，但传统文本Skill对图片的提取和使用能力有限。Skill-Omni能够将这些图文资源转化为图文并茂的Skill，保留教程中的截图，同时结合操作步骤，为Agent提供更清晰的任务指导。

3. 视频关键帧的捕捉与整理

视频教程是一类高度直观的学习资源，但其操作细节往往被埋藏在连续的视频帧中。Skill-Omni通过分析视频内容，提取关键帧和操作动作，生成可以被Agent直接调用的多模态Skill。这让AI不仅“看懂”了视频，还能将其转化为未来任务的执行经验。

多模态Skill的深远意义

Skill-Omni的推出，不仅是一次技术上的突破，更可能对AI领域产生深远影响。

1. 提升AI的决策能力

多模态Skill的核心在于为Agent提供了更大的决策信息空间。过去，AI的决策往往依赖于有限的文字描述，而多模态Skill则通过视觉信息的引入，大幅提升了信息上限。在理想决策器的假设下，信息量的增加只会增强AI的决策能力，使其在复杂任务中表现得更加高效和精准。

2. 推动AI广泛应用于视觉场景

传统的文本Skill在视觉任务中受限，这使得AI在图像处理、GUI自动化等领域的表现不够理想。Skill-Omni通过引入多模态信息，帮助AI跨越了这一障碍。这意味着AI可以更好地应用于诸如图片编辑、界面自动化测试等任务，为产业带来更高的效率和更低的出错率。

3. 重新定义技能的存储和传承

过去，技能的存储更多依赖于人工总结和文字描述，而Skill-Omni让技能的积累不再局限于文字，而是可以包含图像和视频等多模态信息。这种能力不仅提升了技能的表达精度，还为未来的技能传承和共享奠定了更坚实的基础。

影响与未来展望

Skill-Omni的发布标志着AI使用技能的方式进入了一个全新的阶段。通过在视觉任务中引入多模态信息，AI不仅能够更智能地完成任务，还能进一步挖掘和复用人类已有的知识资源。未来，随着Skill-Omni功能的不断完善，我们或许能够看到AI在更多场景下的高效应用。

这种多模态化的趋势还可能引领更多相关技术的演进。例如，如何更高效地提取复杂视频内容中的核心操作脉络？如何在多模态信息中整合上下文理解能力？这些问题的解决将进一步释放AI的潜力，为行业带来更加智能的解决方案。

标签： 人工智能 多模态Skill openJiuwen Skill-Omni AI技术趋势