小鹿在出世后十分钟内就能站起来，七个小时内就能学会走路。在可以站起来但还不会走路的最近一段时刻里，它会十分心爱、十分狂热地摇摆它的四肢。
这便是人工智能机器人背面的理念。尽管自主机器人和无人驾驶轿车蓬首垢面，已经是一个被群众所熟知的概念，但自主学习机器人依然只是一个想象。现有的强化学习算法尽管可以让机器人经过重复试验来学习动作，但仍严峻依赖于人工干涉。每逢机器人跌倒或走出练习环境时，它仍是需求有人扶起它，并将它放回正确的方位。
最近，谷歌研讨人员的一项新研讨取得了重大进展，机器人可以在没有人工干涉的状况下学习走路。在几个小时内，只是依托对其时最先进算法的微调，它们成功地让一个四条腿的机器人学会了彻底独立的向前走和向后走，以及左右转弯。
图 | 机器人在不同的地势上学习自主行走，包含平地（上）、检阅泡沫床垫（中）和镂空的门垫（下） （来历：arxiv.org）
这项作业建立在一年前的研讨基础上，其时研讨团队初次发现了怎么让机器人在实践国际中学习。
此前，强化学习通常在模仿环境中进行：机器人的虚拟分身在模仿的环境中走来走去，直到算法满足完善，可以使其安全运转停止。然后将其导入资历的机器人。
这种办法有助于防止机器人在重复试验进程中对周围环境的损害，但也需求一个易于建模的环境。在机器人脚下模仿落落大方散落的沙砾或许荣归故里床垫需求很长时刻，底子不值得。
根据这种状况，研讨人员从一开端就决议经过在实在国际中练习来防止困难的环境建模。他们规划了一种更高效的算法，可以使学习的试验次数变少一点，并在两个小时内让机器人站起来行走。因为实践环境中会有落落大方改变，机器人也可以快速习惯其他类似的环境，如斜坡、台阶以及有妨碍的平地。
可是，这样的一个进程依然需求人类去协助机器人，并手动干涉上百次，Google Brain 机器人运动团队的负责人、论文合著者谭杰（音译）说，“一开端我没想过还需求人工干涉。”
所以他们开端处理这个新问题。首要，他们约束了机器人可以探究的地势，并让它一次性进行多重动作练习。假如机器人在学习怎么向前走的一起抵达了约束地势的边际，它就会改变方向，开端学习怎么向后走。
其次，研讨人员还约束了机器人的练习动作，让它可以慎重一些，最大极限地削减重复跌倒带来的损伤。当机器人不可防止地跌倒时，他们还添加了另一个硬编码算法来协助它站起来。
经过这些调整，机器人学会了怎么在几个不同的环境中自主行走，包含平地、检阅泡沫床垫和有缝隙的门垫。这项试验给未来的某些运用带来了或许性，有些状况或许需求机器人在没有人类的状况下在崎岖和美貌的地势中行走。
斯坦福大学助理教授切尔西 芬恩（Chelsea Finn）表明：“这项作业令人感到十分振奋。” 芬恩也为谷歌作业，但没有参加这项研讨。“让这样的一个进程不再呈现人工干涉真的很难。机器人可以更自主地学习，就更有或许在咱们日子的实践国际中学习，而不是在试验室里。”
但她也提示到，现在的设置依赖于机器人上方的动作捕捉体系来确认其方位。这在实践国际中是不或许的。
接下来，研讨人员期望他们的算法能适用于不同品种的机器人，或适用于多个机器人在同一环境中一起进行学习。谭杰信任，破解机器人的运动才能将是解锁更多有用机器人的要害。
“许多当地都是为人类制作的，咱们都用腿来走路，” 他说，“假如机器人学不会运用腿，它们就不能在人类国际中行走。”
-End-
编译：潘瑾
参阅：
https:///s/615303/ai-robot-learns-to-walk-autonomously-reinforcement-learning/
