在全球机器人产业加速迈向智能化的浪潮中,一个核心共识逐渐清晰:机器人若要真正融入现实世界,仅依赖更强的算力或更复杂的算法远远不够,更需要一套能够长期稳定运行、持续进化且可产业化的智能计算底座。过去十年,机器人技术经历了从“可编程执行”到“感知驱动控制”的跨越,视觉、定位与运动控制能力日益成熟。然而,随着深度学习与Transformer架构的引入,机器人开始承担更复杂的理解、决策与协作任务,系统复杂度呈指数级增长。面对真实世界中多变的光照、环境、人类行为和任务目标,传统“模块割裂、静态部署”的架构逐渐显露出局限性。
为实现“全脑智能”,黑芝麻智能提出了“Whole-Brain Intelligence”理念。该理念并非聚焦单一模型或算力突破,而是借鉴人类大脑多区域协同工作的方式,将语言理解、空间感知、决策推理和运动控制等能力在系统层面统一组织与调度。在SesameX平台中,全脑智能通过多层面协同实现:计算层面,异构算力单元(CPU、NPU、DSP、MCU等)统一调度,使不同任务在合适资源上高效执行;系统层面,统一的任务表达与执行机制让感知、规划与控制形成连续信息流,不再依赖人工拼接;模型层面,多模态模型与原子化能力组合,使来自不同算法体系和生态伙伴的模型自然协同。通过这种方式,SesameX将分散的智能能力整合为一个持续协作的整体,使机器人在复杂环境中形成稳定、一致的跨模态理解与行为输出。
安全是机器人与人类共享空间的核心挑战。与汽车等高度结构化场景不同,机器人安全不仅需防止硬件故障,更需具备系统级能力,包括行为可预测、状态可解释、异常可恢复,并在极端情况下保护人类。SesameX将安全理念贯穿整个平台架构,从感知输入、算力调度、任务执行到控制输出,每一层均引入明确的安全约束与兜底机制。平台通过L0至L5多层级安全体系,使机器人在传感器异常、模型输出异常、资源争抢或任务冲突时,自动进入受控状态,如限速、重规划或安全停机。这种系统级设计使机器人不再依赖单点正确性,而是具备整体可控、可预测的运行特性,为商业化部署提供前提。
为应对真实环境中的安全与自主需求,SesameX将复杂的安全需求抽象为六层机制,从物理行为延伸至数据与系统安全,形成由下而上的防护结构。执行过程中,系统持续监测传感器状态、运动趋势、人机距离及决策稳定性,一旦检测到风险,可在不同层级采取干预措施,从动作约束到策略降级,确保行为不越界。在数据安全层,平台通过本地推理、加密传输和系统完整性保护机制,防止数据泄露与系统篡改,使机器人在数字层面同样具备可信基础。
在真实世界中,机器人常面临矛盾:传感器“看得清”、算力“足够强”,但整体行为迟缓、割裂,甚至在复杂场景下出现不稳定动作与判断。这种现象源于系统层面缺乏统一协同机制。以服务或巡检机器人为例,在人员密集环境中行进时,视觉系统需持续识别行人与障碍物,定位系统更新位姿,规划模块实时调整路径,控制系统保证运动平稳,同时上层任务逻辑可能接收新指令。若这些能力独立运行在相互隔离的子系统中,数据在多次拷贝与异步调度中流转,系统易出现延迟累积、决策滞后或行为不连贯。SesameX通过异构算力融合,使感知、推理与控制接入同一算力网络,由统一调度机制管理。不同任务根据实时性与安全等级分配至最合适计算资源,避免关键控制任务被高负载推理干扰。系统层面,统一数据通路与任务表达方式将感知结果、决策逻辑和控制指令纳入同一执行链路,缩短从“看到”到“行动”的反应路径。智能表达层面,平台通过原子模型与任务图组合,将复杂行为拆解为可复用、可组合的智能单元,使机器人能根据环境动态调整行为策略,而非依赖固定流程。
SesameX多维具身智能计算平台提供了一套从硬件模组到系统软件的完整计算体系,目标是为机器人厂商与算法伙伴提供可靠、可扩展的基础平台。平台通过模块化设计、统一接口与兼容主流生态,降低系统集成复杂度,加速产品从研发到量产的进程。计算平台层由自主研发的三款计算模块Kalos、Aura和Liora构成,分别满足不同类型与复杂度的机器人算力需求。模组内部高度集成SoC、内存、电源管理与时钟等设计,兼容主流底板接口,支持丰富I/O,包括MIPI、CAN-FD、以太网、USB、SPI与I2C等,使开发者可直接面向系统级方案设计。平台具备从实时控制到大模型推理的稳定性能,Kalos与Aura体积紧凑(分别为69×55mm与82×54mm),适合部署于敏感空间或移动场景。这一层为机器人提供可量产级硬件基础,帮助不同形态机器人以最低成本快速进入功能调试与商业测试阶段。
SesameX Network作为系统级通信与数据编排层,负责在机器人内部构建统一实时协同体系,并支撑机器人与边缘节点、云端之间的稳健无线互联。网络子系统基于确定性以太网(TSN)构建内部主干,使感知→算力→控制链路具备可预测的端到端延迟与带宽保障;通过集成多路高带宽数据通道,可同时承载高分辨率MIPI视频流、10GbE数据交换及跨单元共享SRAM的高速访存,实现视觉、SLAM与推理任务的并行数据供给。系统还实现面向WiFi7/5G的低时延无线协同协议,使机器人在与边侧节点进行分布式推理、任务共享时维持毫秒级链路抖动。底层数据管线采用Zero-copy通路设计,使感知流可直接进入推理路径,避免多级缓存拷贝带来的额外延迟与功耗开销。借助上述通信机制,SesameX Network为机器人构建起可扩展的实时协同计算结构,使其在单机、集群与边云协同环境下保持一致的实时性与数据一致性。
在操作系统层,SesameX提供统一软件运行环境,支持Ubuntu、ROS 2及自研的SesameX-RTOS,平衡通用开发生态与实时控制需求。平台原生集成ROS 2,与行业主流算法框架无缝对接;通过RTOS与Linux协同调度机制,使高频控制环与大模型推理任务具备确定性时间片分配与干扰隔离能力。系统级安全隔离能力支持不同任务、不同权限在内核与用户态之间强隔离,确保运行安全性与可验证性。OS层提供统一软件抽象,使Kalos、Aura和Liora等多款模组可在同一系统架构中保持一致运行体验。这一层决定了整机的可靠性、实时性与可扩展性,是支撑上层感知、规划与控制能力的根本。
SesameX中间件层由调度引擎、工具链和Runtime构成,形成机器人系统的“中枢神经网络”。调度引擎负责跨模型、跨任务及跨算力单元的协同调度,通过优先级机制与任务隔离确保关键任务不被资源争抢,安全域任务获得最高级别实时执行权。工具链组件提供并行编译、混合精度加速、Transformer结构优化、自动量化与算子级优化等能力,使模型在不同模组上获得最优延迟与算力利用率。SesameX Runtime对CPU、DSP、NPU与MCU进行异构融合调度,通过模型沙箱化、实时自调优和故障隔离,实现多模型并行执行与多单元算力的动态分配。借助中间件层的统一抽象和调度体系,机器人智能从“分散式算力块”演进为“统一调度的大脑结构”,获得更平滑的动作生成、更低抖动的实时响应与更高的系统鲁棒性。
原子应用层通过将复杂任务分解为最小可复用的原子技能(Atom Skills),并进一步抽象为可组合的原子模型(Atom Models),构建可动态编排的智能行为体系。该层基于任务模型(Task Model)实现运行时的技能组合,使机器人无需硬编码流程即可根据环境与目标在线生成行为序列。核心能力包括覆盖视觉、定位、融合、规划、控制、语言与多模态等多类别的原子技能库;基于Skill Graph的任务图生成机制,通过结构化图模型驱动机器人行为;跨机器人平台的模型复用能力,使不同机器人可共享如VSLAM、目标检测、轨迹生成等原子模型;以及支持实时任务编排的动态行为组合,使机器人能根据情境变换重构任务执行链路。这一层使机器人首次具备类似“思维积木”的智能能力,智能行为从固定逻辑转变为可组合、可扩展、可实时演化的任务体系。
系统安全层构建“由下而上、多级联动”的安全体系,从物理行为延伸至决策安全、主动预警和数据安全,贯穿机器人生命周期全部环节。L0层为本能反射层,通过电机断电、STO、限位、限扭、急停等机制构成“本能反射”,确保极端情况下不造成物理伤害;L1层为动作审查层,由MCU/R5F等实时控制单元构建动作审查系统,以毫秒级速度监测速度、加速度、力矩和关节状态,阻止不合理动作;L2层为安全轨迹层,即使决策模型输出异常,也会自动降级为“安全轨迹”,防止机器人进入风险区域;L3层为策略防护层,所有任务、计划和策略在下发前经过校验,确保不突破安全边界;L4层为主动预警层,由多模态感知驱动,实时监测人机距离、接触风险、速度趋势和传感器健康状况,提前100ms预测危险并触发限速、减速或停机;L5层为数据安全层,通过本地推理、数据不上云、端到端加密、NOC防火墙与安全启动机制,保障大脑与隐私的最高级守护。这种自底向上的安全架构,是机器人从“小规模示范走向大规模落地”的根本前提,也是SesameX平台的核心价值。
SesameX多维具身智能计算平台的核心价值不在于单一算力提升,而在于提供从端侧模组到全脑智能、从硬件到底层软件、从模型到安全的完整系统体系。平台通过六层架构实现行业首次全链路统一:硬件层统一模组化、高集成、跨形态适配;通信层统一TSN、万兆以太网与WiFi7/5G组成实时神经网;OS层统一Ubuntu+ROS 2+RTOS组合;中间件层统一调度引擎、工具链与Runtime构成异构算力协调的“大脑操作系统”;智能层统一原子模型+任务模型+Skill Graph让智能像积木一样扩展、复用与重组;安全层统一六层安全体系自底向上守护。这种高度一体化的系统结构,使SesameX成为真正意义上的“机器人全栈智能底座”,让机器人不仅能稳定运行,更能随环境变化持续成长;不仅能执行任务,更能具备理解能力;不仅能处理感知与控制,更能实现全脑协同的认知智能。SesameX的意义不仅在于让机器人“动得好、看得懂”,更在于建立起一条从感知到智能、从安全到进化的系统级高速路,为机器人规模化落地提供前所未有的统一基础。













