允中 发自 凹非寺
量子位 | 公众号 QbitAI
要是你在三年前问AI圈：改日最强的AI长什么样？
大部分东谈主可能会复兴，一个更大的GPT，更多参数，更长险阻文，更强推理能力。
然后咱们一齐从GPT-3.5走到GPT-4、Claude、Gemini、DeepSeek、Qwen。
直到今天，眨眼间发现一个道理的问题：AI仍是学会写代码了，学会作念数学题了，以致学会和你盘问东谈主生兴味了，但它依然不会给我方倒一杯水。
这恰是现时AI最大的局限之一：
AI莫得体格。
今天，openJiuwen社区讲求开源Jiuwen Symbiosis，一个专为更高阶的physical AI打造的Symbiosis（共生）架构。
从造谣数字宇宙到简直物理宇宙，咱们给AI装上了感知和活动的“骨骼与肌肉”。
💾 Gitcode传送门：gitcode.com/openJiuwen/jiuwensymbiosis
（动动小手，Star一下不迷途⭐）
Moravec悖论：最难的不是高数，而是走路
1988年，机器东谈主学家Hans Moravec提倡了其后著名的Moravec's Paradox（莫拉维克悖论），其中枢念念想相等反直观：
关于盘算机来说：
下外洋象棋很容易
作念高级数学很容易
而关于东谈主类婴儿都能完成的事情，反而相当坚苦：
行走
握取
避障
保持均衡
原因很通俗，这些能力并不是逻辑推导出来的，而是数百万年进化变成的体格智能。
这便是大模子时间的“缸中之脑”逆境：才调200，但莫得实体，对简直物理宇宙的摩擦力、重力和空间几何一无所知。
从“缸中之脑”到“身膂力行”：智能的进化史
智能对外皮机器本色戒指的演进，本质上便是一场从数字宇宙到物理现实的历程：
1.0手搓任务（借助东谈主的援救）：
依靠东谈主的意会，进行极为原子化的戒指操作。
2.0造谣环境演练（Sim2Real）：
在Habitat、AI2-THOR等仿真环境里模拟，运转有了空间想法，同期老到一个或多个模子，使得大脑可以分析意会教导，并进行任务履行。
在2.0这个阶段，一系列的问题会突显出来，最为东谈主诟病的是：
忙绿跨本色环境泛化能力：模子一朝老到完成，其妙技集会即固化。要让机器东谈主学会“开抽屉后握取里面物体”，需要再行收集数据、再行老到统共这个词模子。VLA忙绿组合泛化能力——无法将已学的“开抽屉”与“握取”零样本组合为新任务。
长程复合任务能力不及：现时模子擅短长程原子操作（如“握取红色方块”），但濒临长程复合任务（如“从料架上取Tray盘→绕过配置→放入机台→按压证据→复返原位”），单一VLA模子忙绿任务剖释、子任务编排、相当回退的能力。它只可在老到散播内“师法”，无法在运行时“有计划”。
故障定位坚苦：现时模子将“视觉→谈话意会→物理推理→动作生成”全部压缩进一个Transformer，运行时失败（如握取偏移、碰撞）无法定位故障根因——是感知误识别、谈话歧义、物理推理失误，如故戒指轨迹发散。
见效用低，自若性差：现时模子端到端基础模子为典型黑盒结构，径直输出要道位姿等底层动作教导，大模子兼顾通晓决策与领路戒指，举座竣事难度大，模子自若性差、任务见效用低。
3.0共生时间（Jiuwen Symbiosis正在作念的）：
节略造谣与现实的鸿沟，让Agent省略简直意会物理法例，并径直输出戒指硬件底层拓扑的Action序列。
Agent时间的到来
2023年以后，Agent成为统共这个词AI领域最火热的目的之一。
大众发现：大模子仍是具备可以的推理能力，简直枯竭的是活动能力。于是出现了：
Tool Calling
Function Calling
MCP
Browser Agent
Computer Use Agent
Agent运转取得操作宇宙的能力，它们不再仅仅复兴问题。但这里依然存在一个问题：这些Agent操作的仍然是数字宇宙。
不是物理宇宙。
但经过一系列的演进，openJiuwen团队服气具有物理能力的Agent时间仍是悄然到来，它比前辈们向着简直宇宙愈加上前迈进了一步。
下一步是让Agent走进现实宇宙。通俗来说，传统Agent可以简化为如下经由：
而physical AI Agent的方法发生了本质的改换——Agent不再濒临文本，而是濒临简直宇宙，需要与现实环境进行交互反馈，举座经由可以简化为如下：
但openJiuwen团队以为这依然是远远不够的，东谈主类在履行任务的经由中，不雅察、反馈等经由是一个不隔断的实时系统。
同期，表面上，从传感器-->VLM-->LLM-->Planner-->ROS的统共这个词经由看起来横暴常优雅，但实践履行经由中，极有可能变成JSON的极限堆积，何况系统越复杂，这个景色越赫然。
最终导致，Agent到底在想什么，为什么作念出这个决策，为什么履行失败，全部变成费解账。
Jiuwen Symbiosis：让Agent领有透明的态势感知系统
Jiuwen Symbiosis的想象理念相等通俗：
Agent的念念考经由应该是可不雅察、可调试、可相助的。
团队尝试把Agent的里面气象显式暴线路来，而不是荫藏在黑盒中。
在Jiuwen Symbiosis中：通晓层与履行层通过分享Workspace相助，惩办复杂任务履行，保险通晓正确与快速反映，并极大简化跨本色适配。
同期，其竣事经由又是丰富且严谨的，openJiuwen团队将这个中枢骨架称为：态势感知环（Situation Awareness Loop）。
在此基础上，团队增多了些许功能模块，举例安全有计划，气象感知，JRS直播2026世界杯赛事直播入口不雅测反馈，空间牵挂等环节时间模块。
多模态感知（Multimodal Perception）
使physical AI Agent主动感知宇宙，是Agent由数字走向物理的基础。
同期，把意会从决策均辨别，在进行Action之前对场景进行充分意会，产出结构化宇宙气象，举例被检测对象、对象位姿、置信度等。
安全有计划（Safe Planning）
基于Prompt任务教导与结构化宇宙气象，进行任务有计划，对关系Skill中的参数动态赋值，并进行物理可行性、安全性与敛迹校检，拒却不成履行决议。
物理履行（Physical Action）
按照Skill的建议，调用关系Action Tool原子能力，最终完成位移、握取、放手、交互等一系列连气儿可控的物理领路。
气象不雅察（Observation）
负责对物理动作履行后的简直宇宙气象进行收集与结构化索取。
通过视觉等传感器获取履行终端，识别物体位姿、环境变化、交互效果等环节信息，输出结构化的宇宙不雅测气象，为后续Feedback偏差盘算提供客不雅依据。
不雅测反馈（Feedback）
基于不雅测终端构建闭环修正机制，将履行偏差、相当气象、见效/失败判据回传至推理与有计划模块。
竣事动作参数实时调整、有计划序列动态优化、相当场景自主归附，同期千里淀交互数据用于妙技迭代，变成“感知-有计划-履行-不雅测-反馈”的竣工闭环，不息栽种态势感知有计划的鲁棒性。
空间牵挂（Spatial Memory）
通过物体级感知，竣事对空间的对象化表征（如3D Scene Graph），构建物体级的空间关系；通过变化检测时间发现事件，自动化增量式选藏空间关系。
同期，通落后分维度压缩，空间层级团聚和情景事件聚类，变成多时空模范的组织，使能任务驱动的空间险阻文构建。
领有以上能力的physical AI Agent将为行业带来如下变化，体目下如下方面：
Zero跨本色，跨环境自主适合泛化能力；
针对复杂任务，具备自主拆解，分挨次行能力；
减少对老到数据的依赖；
本色操作的自我归来与进化能力。
用户视角下的Jiuwen Symbiosis：
从用户视角，Jiuwen Symbiosis便是一个“能懂东谈主话、看得见物理宇宙、长了作为的智能助手”。
用户不需要示教，不需要教它怎样握东西，怎样走路，就像引导一个造就丰富的工东谈主相通，用当然谈话下任务，它就能我方完成感知、意会、有计划、履行。
Symbiosis：共生，而非戒指
为什么叫Symbiosis？
因为咱们服气改日并不是：
而是：
这是一种新的不息相助关系。在这个系统中，Agent不仅仅用具，而是长期合作伙伴。
它省略：
意会方针
主动有计划
苦求匡助
从反馈中学习
从而变成简直的东谈主机共生。
咱们将教给机器东谈主How，而不是传统的What，允许尝试并实时纠错，千里淀造就，最终达到自我演进的方针。
终极的physical AI不会由某一家企业完成，正如Linux莫得由一家公司构建，ROS莫得由一家公司构建。改日的行业生态也需要洞开相助，因此openJiuwen团队决定开源Jiuwen Symbiosis。
但愿它成为一个透明的Agent for Physics、一个可彭胀的physical AI框架、一个邻接大模子与机器东谈主宇宙的桥梁。
共生的另一层解读是算力生态的亲和共生。
Jiuwen Symbiosis轻量化的视觉感知模子可部署在土产货端侧，销耗显存较低，对包括Ascend在内的多种生态，都可以有较好的适配，举例承袭Ascend-SACT/GroundingDINO等。
其输出终端统共兼容主流检测身手，可径直对接昇腾版高出他生态兼容模子，完成卑劣任务联动。
Jiuwen Symbiosis与昇腾、鲲鹏
许多physical AI系统仍然沿用“大模子+GPU”的念念路。
但在简直机器东谈主场景中，问题时时不是单纯的模子推理，而是如何让感知、通晓、有计划和履行在有限功耗和有限带宽下变成自若闭环。
Jiuwen Symbiosis从想象之初就承袭了端云协同架构：其中，大范围推理和复杂有计划运行在云侧LLM/VLM，端侧则专注于实时感知与履行。
这种架构与昇腾、鲲鹏的异构盘算能力变成了自然匹配：
昇腾提供较高TOPS的AI推理能力，可承担方针检测、视觉意会、多模态感知等高频任务；
鲲鹏CPU则负责用具调养、任务编排、气象管制以及机器东谈主戒指逻辑，竣事低延长、高可靠的履行链路。
更迫切的是，Jiuwen Symbiosis承袭了OpenJiuwen在鲲鹏与昇腾生态上的优化后果。
在某些场景中，系统省略将有计划负载卸载到昇腾NPU，将Agent Runtime、Memory、Workspace、Tool Calling等逻辑运行在鲲鹏CPU上，从而幸免传统GPU决议中“统共任务争抢兼并盘算资源”的瓶颈。
最终变成一种更合适机器东谈主运施规矩的资源单干。
这种分层架构不仅栽种系统吞吐能力，也显耀裁减了端侧部署本钱和举座功耗，使Jiuwen Symbiosis省略更当然地运行在机器东谈主、机械臂、四足机器东谈主以及边际智能配置等简直场景中。
改日
今天的Agent仍是学会阅读，正在学会念念考。
下一步，它们将学会活动。
而当感知、通晓与活动变成闭环时，简直的physical AI时间也许才刚刚运转。
要是你也在探索：
Embodied AI
Robotics Agent
VLA/VLM
World Model
Physical Intelligence
ROS2
Multi-Agent Systems
迎接加入openJiuwen社区，一王人构建下一代物理宇宙的智能系统。
华为云AgentArts也已将openJiuwen引入到买卖化平台能力中，开箱即用，拜访华为云官网即可体验。
*本文系量子位获授权刊载，不雅点仅为原作家统共。
一键三连「点赞」「转发」「贯注心」
迎接在驳倒区留住你的想法！
— 完 —
🌟 点亮星标 🌟
科技前沿施展逐日见JRS直播
备案号: