OmniParser是一种创新的用户界面屏幕解析技术，旨在通过识别可交互图标和理解元素语义，提升多模态模型（如GPT-4V）在操作系统和应用程序中的表现。该方法有效填补了当前技术在用户界面解析中的空白，确保生成的操作能够与界面中的特定区域精准对应。
使用OmniParser，用户只需提供界面截图，系统便能自动解析出可交互区域及其功能语义。通过对输入图像的深度分析，OmniParser能够生成与用户意图相符的操作建议，极大地简化了用户与应用程序之间的交互过程。
OmniParser的具体价格信息尚未公开，建议访问官方网站获取最新的定价详情。
OmniParser由微软研究院与微软生成AI团队共同开发。
如需了解更多信息，请联系：[email protected]
社交媒体：Twitter：@Microsoft，Instagram：@Microsoft
OmniParser v2.0 is an advanced UI screenshot parsing tool that converts unstructured screenshots into structured data, enhancing LLM-based UI agents. It includes an improved dataset and powerful model optimizations.
CogAgent-9B-20241220是一款基于GLM-4V-9B的双语视觉语言模型，通过多阶段训练和数据优化，显著提升了GUI感知和推理预测的准确性，支持中英双语交互。
