前两天写5万块的MacBook Pro时大家还在聊，Mac到底适不适合跑本地大模型。有人说，视频模型得用英伟达显卡，Mac再贵也没用啊。到底用英伟达还是用Mac的GPU，这个得根据场景具体分析。不过我今天看了个视频，苹果研究团队最近给Mac找了个新岗位：背在机器人儿身上，干嘛呢？负责看路、理解指令和规划动作。……

本文来自微信公众号： MacTalk ，作者：池建强，原文标题：《Apple 把 Mac mini 装进了机器人，也得感谢英伟达》

前两天写5万块的MacBook Pro时大家还在聊，Mac到底适不适合跑本地大模型。有人说，视频模型得用英伟达显卡，Mac再贵也没用啊。到底用英伟达还是用Mac的GPU，这个得根据场景具体分析。不过我今天看了个视频，苹果研究团队最近给Mac找了个新岗位：背在机器人儿身上，干嘛呢？负责看路、理解指令和规划动作。

这台电脑和我家里那台配置几乎一致，M4 Pro Mac mini，64GB内存。背着它的是宇树G1人形机器人。咱们用Mac mini是放在桌子上，机器人把Mac mini背进了客厅。

苹果这套公开的研究系统叫HALO，很有意思。在视频演示里，人可以用自然语言要求机器人坐下、跟随自己、推开箱子。机器人需要看懂眼前的环境，找到目标，再决定怎样移动身体。碰到半开的门，它可以侧身穿过；前面挡着桌子，机器人会蹲低或者爬过去。

虽然这事距离买回家做饭、洗衣服、照顾老人还差挺远的，但我奇怪的是，Mac mini怎么还能做这个事儿呢……

让墨问Bot为我研读了一下苹果的论文，大概理解了，Mac mini的作用就是机器人的“大脑”。这套研究系统需要一台能随机器人移动、在本地运行上层AI模型的计算机，Mac mini恰好能承担这个角色。

HALO这套系统，分成了三层。最上面是任务调度器，大约每两秒判断一次接下来做什么，把人的要求拆解成具体任务，并检查是否完成。中间的运动生成器，每秒更新约三次，根据画面和任务规划未来五秒的全身动作，一边执行，一边重新观察和修正。这两层是运行在Mac mini上的。相对来说，还是有点慢慢腾腾😂

下面的运动跟踪器就快了，运行在G1自带的英伟达Jetson Orin NX上，以每秒50次的频率，结合深度图像和机器人自身状态，输出关节控制目标，负责行动这一块。

>Jetson Orin NX是英伟达面向机器人等设备推出的一款嵌入式AI计算模块

之前大家争论用苹果还是用英伟达，在这件事上，苹果和英伟达各有各的工作。这种分工是很重要的，决策可以慢一点，但行动必须迅速响应，思考的时候，也不影响走路才好。

我看完了整个视频，发现找到椅子比坐下更复杂，为啥这么说呢？

我走进陌生房间，找张椅子坐下，绝不会认为完成了什么技术突破。我骄傲了吗？我没有。

但机器人要做到这件事，得同时解决好几个问题：哪个是椅子，通往椅子的路上并非光明大道，会有重重阻隔；找到椅子了，转身后座位在哪呢，身体怎样落下去才能保持平衡，屁股正好嵌入了椅子么……就这么多破事儿。

陌生环境里的椅子位置、桌子高度、门缝宽度都会变化。HALO想解决的，就是让感知进入动作过程，让机器人根据眼前的情况调整身体。

有人说自动驾驶技术都这么牛叉了，还解决不了这种问题？

因为车和人形机器人面对的考题完全不一样。车主要在路面上移动，轮子撑着车身，遵守交通规则，别发生碰撞，保护人的安全，这是它的课题；机器人呢，想要移动得迈腿、绕过障碍、转身，还要把屁股准确放到椅子上，整个过程都不能失去平衡。你让车找到停车位并不难，但这个和机器人背对一张椅子，抬屁股坐上去的难度系数还是不一样的，人家还得转体一百八再下潜多少个角度才行。

苹果搞的这一套，坐椅子的真实测试成功率是85%，这就说明：人类觉得最稀松平常的动作，机器依然需要反复练习，还不一定呢做好。这和马斯克的言论很像，机器人翻跟头打拳很厉害了，但让它拧个瓶盖试试，不是生产线上的那种，而是生活中一个随意的啤酒瓶，那就难了。

写到这里我掐指头算算，等我老了，还有几十年。苹果、英伟达和宇树，你们要加油了。

相比AI模型的突飞猛进，机器人的发展有点漫不经心。前几天和机器人公司的朋友聊天，他们告诉我，机器人训练有个麻烦事：数据很贵。互联网有大量文字、照片和视频，但一句指令、机器人看到的画面，以及完成任务所需的准确全身动作，基本上没有，所以机器人的发展没那么快。

HALO的做法是把大部分重复工作放到了仿真里：程序生成约1000个室内环境，再生成动作、检查碰撞和异常姿态，渲染机器人视角，组成约300小时的训练数据。背上的Mac mini承担部署后的推理，后面还有一整套训练基础设施，代价不菲。

为什么写这篇文章，是我真没想到自己天天用的Mac mini还能干这个活儿。真是只有想不到，人家都做到了。

也许未来苹果们能搞出更具实用价值的机器人呢，养老就靠它了😂