Freu AI

大家好，Product Hunt！👋 我是 Charles，Freu AI 的创始人。 不久前，我们曾透露正在将浏览器自动化技术扩展到整个操作系统层面。今天，Freu AI for Mac 正式发布——这是一款能够使用自然语言在操作系统层面自动化任何桌面软件的 AI agent。 痛点：视觉 Agent 成本过高，RPA 又太脆弱 当前 GUI 自动化存在巨大瓶颈。传统 RPA（AppleScript、固定 X/Y 坐标点击器）在窗口大小调整或应用 UI 更新时就会失效。而现代多模态 agent（将截图发送到云端 LLM）在重复任务场景下扩展性极差。 目前大多数桌面 agent 都像解释器一样运行。每次执行"从本地 PDF 提取数据并录入 Excel"这类指令时，都需要截图、发送到云端、分析视觉布局、再执行点击。 传统成本：约 10k token（图像上下文）× 5 个步骤 × 每天 10 次运行 = 每天约 50 万 token，仅仅是在完全相同的桌面 UI 上导航，更不用说难以忍受的延迟。 解决方案：AOT 编译 + 语义 UI（SUI） Freu AI 通过引入操作系统级任务的预编译（AOT）机制来解决这个问题。agent 无需每次都从头分析屏幕，只需展示一次跨应用工作流。 Freu AI 使用云端视觉模型将该操作会话"编译"为确定性、可复用的 DSL。 Freu 的成本模式：agent 在观察和学习工作流时，只需支付一次云端"AI 推理"token 费用。后续运行时，agent 直接在本地调用预编译的 DSL 命令。这使得持续执行成本降为零，延迟从分钟级缩短到秒级。 底层工作原理： 录制桌面工作流时，引擎不会只保存简单的宏。它使用语义 UI（SUI）来理解屏幕： 感知：识别任何应用中的按钮、文本框和图标。 解析：锚定 UI 的语义含义，而非固定坐标。即使 Spotify 移动了"播放"按钮，Freu AI 仍能找到它。 执行：将这些视觉锚点绑定到 DSL 中并确定性地执行。 🎁 开源福利： 虽然 Mac 桌面应用是核心产品，但今天同步开源了 freu-cli——底层基于 DOM 的浏览器自动化引擎。可以将其集成到自己的 agent 中，为 Web 任务提供即时"肌肉记忆"。仓库地址：https://github.com/freu-ai/freu-cli 🔮 未来计划：本地视觉执行引擎 团队正在持续升级技术栈。很快将推出一项新能力——使用轻量级、针对 SUI 优化的视觉模型，完全在本地硬件上运行执行阶段。虽然在初始"学习"阶段仍依赖强大的云端 LLM 来理解复杂意图，但即将推出的本地引擎意味着日常重复执行将完全不消耗 API token，实时屏幕数据也能 100% 保持私密。 欢迎试用 Freu AI for Mac。期待听到关于 AOT 方案的反馈，或者了解大家目前如何处理重复性跨应用任务。我和联合创始人们会全天在评论区回答问题！🚀