Роботизированная рука манипулирует различными объектами используя только сенсорное восприятие

Инженеры Колумбийского университета разработали роботизированную руку, объединяющую развитое чувство осязания с алгоритмами машинного обучения, которая не полагается на зрение для манипулирования объектами. В пресс-релизе университета указывается, что это схоже с тем, как человек использует пульт телевизора в темной комнате, опираясь только на осязания.

В качестве демонстрации команда выбрала сложную манипуляционную задачу: выполнение поворота захваченного в руку предмета неровной формы при постоянном удержании предмета в надежном положении. Это сложная задача, поскольку она требует постоянного изменения положения пальцев при одновременном удержания объекта. Рука не только смогла выполнить эту задачу, но и сделала это без какой-либо визуальной обратной связи, основываясь исключительно на сенсорном восприятии.

Помимо высокого уровня ловкости, рука работала без каких-либо внешних камер, поэтому она не подвержена влиянию освещения, окклюзии и другим подобным проблемам. А тот факт, что рука не полагается на компьютерное зрение при манипулировании объектами, означает, что она может делать это в очень сложных условиях освещения и даже может работать даже в темноте.

«Хотя наша демонстрация была проведена в рамках экспериментальной задачи, призванной проиллюстрировать возможности руки, мы считаем, что такой уровень ловкости откроет совершенно новые возможности для манипулирования роботами в реальном мире, — сказал Матей Чокарли, доцент факультетов машиностроения и компьютерных наук. — Некоторые из самых непосредственных применений могут быть связаны с логистикой и транспортировкой материалов, помогая облегчить проблемы цепочки поставок, подобные тем, что мучают нашу экономику в последние годы, а также с передовым производством и сборкой на заводах».

Исследователи спроектировали и построили руку робота с пятью пальцами и 15 независимо приводимыми в действие суставами. Каждый палец был оснащен технологией сенсорного восприятия, разработанной командой. Следующим шагом стало тестирование способности тактильной руки выполнять сложные манипуляционные задачи. Для этого они использовали новые методы моторного обучения, или способности робота осваивать новые физические задачи с помощью практики. В частности, они использовали метод глубокого обучения с подкреплением, дополненный новыми алгоритмами, которые они разработали для эффективного исследования возможных стратегий.

Входные данные для алгоритмов обучения моторики состояли исключительно из тактильных и проприоцептивных данных команды. Благодаря современным симуляторам и процессорам, используя симуляцию в качестве тренировочной площадки, робот прошел около года практики за несколько часов реального времени. Затем исследователи перенесли этот навык манипулирования, отработанный в симуляции, на реальную руку робота, которая смогла достичь того уровня ловкости, на который рассчитывала команда. Чокарли отметил, что «основной целью в этой области остается домашняя ассистивная робототехника, что является окончательным испытательным полигоном для реальной ловкости рук. В данном исследовании мы показали, что руки робота могут быть очень ловкими только на основе сенсорного восприятия. Когда мы добавим к осязанию визуальную обратную связь, мы надеемся, что сможем достичь еще большей ловкости и в один прекрасный день приблизиться к воспроизведению возможностей человеческой руки».

В конечном итоге, по словам Чокарли, физический робот, полезный в реальном мире, нуждается как в абстрактном, семантическом интеллекте (чтобы концептуально понимать, как устроен мир), так и в воплощенном интеллекте (умение физически взаимодействовать с миром). Большие языковые модели, такие как GPT-4 от OpenAI или PALM от Google, нацелены на обеспечение первого, в то время как ловкость в манипуляциях, достигнутая в данном исследовании, представляет собой дополнительный прогресс во втором.

Например, на вопрос о том, как сделать сэндвич, ChatGPT выдаст пошаговый план, но для того, чтобы воспользоваться этим планом и действительно сделать сэндвич, нужен ловкий робот. Таким же образом исследователи надеются, что их технология сможет вывести семантический интеллект из чисто виртуального мира и использоваться для решения реальных физических задач, возможно, даже в наших домах.

Статья «Sampling-based Exploration for Reinforcement Learning of Dexterous Manipulation» принята к публикации на конференции Robotics: Science and Systems Conference (Тэгу, Южная Корея, 10-14 июля 2023).