Исследователи обучили робота воссоздавать рецепты блюд из видеороликов

Исследователи из Кембриджского университета научили своего робота готовить 8 простых салатов. В качестве обучающего материала использовались видеоролики на которых человек демонстрировал эти рецепты.

Кроме того, видеоматериалы помогали роботу постепенно пополнить свою «поваренную книгу». Результаты исследования, о которых сообщается в журнале IEEE Access, демонстрируют, как видеоконтент может стать ценным и богатым источником данных для автоматизированного производства продуктов питания, и могут способствовать более простому и дешевому внедрению роботов на кухни.

Роботы-повара десятилетиями фигурировали в научной фантастике, но в реальности приготовление пищи — сложная задача для робота. Несколько коммерческих компаний создали прототипы роботов-поваров, но они значительно отстают от человека в плане мастерства. Люди могут изучать новые рецепты, наблюдая за тем, как готовит другой человек, или просматривая видео на YouTube, но программирование робота для приготовления различных блюд требует больших финансовых затрат и времени.

«Мы хотели узнать, сможем ли мы обучить робота тому же постепенному обучению, что и людей — путем определения ингредиентов и их сочетания в блюде», — сказал Гжегож Сохацки с инженерного факультета Кембриджа, первый автор статьи.

Сохацки и его коллеги разработали восемь простых рецептов салатов и сняли на видео их приготовление. Затем они использовали общедоступную нейронную сеть для обучения своего робота. Нейронная сеть уже была запрограммирована на распознавание ряда различных объектов, включая фрукты и овощи, использованные в восьми рецептах салата (брокколи, морковь, яблоко, банан и апельсин).

Используя методы компьютерного зрения, робот проанализировал каждый кадр видео и смог идентифицировать различные объекты и особенности, такие как нож и ингредиенты, а также руки, кисти и лицо человека. Правильно идентифицируя ингредиенты и действия человека, робот мог определить, какой из рецептов готовится. Робот мог сделать вывод, что если человек держит в одной руке нож, а в другой — морковь, то морковь будет нарезана.

Из 16 просмотренных видеороликов робот распознавал правильный рецепт в 93% случаев, хотя он идентифицировал только 83% действий человека правильно. Робот также смог определить, что незначительные изменения в рецепте, такие как приготовление двойной порции или обычная человеческая ошибка, были вариациями, а не новым рецептом. Робот также правильно распознал демонстрацию нового, девятого по счету салата, добавил его в свою кулинарную книгу и приготовил.

«Удивительно, как много нюансов смог обнаружить робот, — говорит Сохацки. — Эти рецепты не являются сложными — по сути, это нарезанные фрукты и овощи, но он действительно эффективно распознавал, например, что два нарезанных яблока и две нарезанные моркови — это тот же рецепт, что и три нарезанных яблока и три нарезанных моркови».

Видеоролики, использованные для обучения робота, не похожи на видеоролики от блогеров и поваров в соцсетях, которые полны сокращений, визуальных эффектов и быстрых перемещений продуктов питания. Например, робот с трудом распознает морковь, если человек обхватывает ее рукой. Чтобы робот смог это сделать необходимо положить морковь так, чтобы он мог видеть овощ целиком.

«Наш робот не заинтересован в таких видеороликах о еде, которые становятся вирусными в социальных сетях — за ними просто слишком сложно уследить, — говорит Сохацки. — Но когда роботы станут лучше и быстрее определять ингредиенты в видеороликах, они смогут использовать такие сайты, как YouTube, для изучения целого ряда рецептов».

Исследование было частично поддержано компанией Beko plc и Исследовательским советом по инженерным и физическим наукам (EPSRC), входящим в состав UK Research and Innovation (UKRI).