사람을 대신해 다양한 역할을 할 수 있는 로봇도, 아직 주방일을 하기에는 과제가 많이 남아있는데, 홍콩 전문대, 우한대, 스위스 Idiap 연구소 연구진은, 로봇에게 중국요리의 "볶음요리"를 시키기 위한 접근을 통해 실제 조리의 움직임을 재현하는데 성공했다고 한다.
볶음요리를 만드는 동작은, 오른팔과 왼팔의 역동적인 협조 동작이 필요하고, 로봇은 커녕 요리사에게 있어서도 습득이 어려운 움직임이라는 것.
연구팀은, 이 어려운 움직임을 로봇에게 학습시키기 위해 최초로 인간의 시범을 이용해 "Structured-Transformer"라 불리는 양손 협조 모델 훈련을 실시.
논문의 최대 저자인 Junjia Liu 씨에 의하면, 이 메커니즘은 조정을 양팔의 움직임 사이의 시퀀스 변환의 문제로 간주해, 이것을 달성하기 위해서 심층 학습 모델 트랜스포머와 GNN(그래프 뉴럴 네트워크)의 조합 모델을 채용하고 있다.
포인트가 되는 것은 오른팔과 왼팔을 따로 다룬다는 점인데, 로봇의 왼팔 움직임은 시각적인 피드백에 의해 조정, 이와 대응하는 오른팔의 움직임은 왼팔의 움직임에 근거해 사전에 트레이닝된 구조화 트랜스포머 모델에 의해 생성된다고 한다.
연구팀은 시뮬레이션 및 로봇팔로 알려진 Panda의 양팔로 봇을 이용해 모델의 퍼포먼스를 평가. 테스트를 진행하자 양팔 로봇은 볶음요리를 조리하는 움직임을 현실적으로 재현할 수 있었다.
Liu 씨는 "이 논문이 주로 공헌하는 포인트는, 시퀀스 변환의 형태로, 명시적으로 양팔 로봇의 조정 메커니즘을 검토하는 것입니다", "데몬스트레이션으로부터의 고전적 학습이나, 심층 학습, 강화 학습 베이스의 방법과 비교해, 우리의 분리 프레임워크는, 양쪽의 방법을 능숙하게 조합하고 있습니다. 전자의 일반화와 후자의 표현도 양쪽을 가질 수 있습니다"라고 이야기를 하고 있다.
미래에는 이 모델을 통해, 제대로 된 조리로봇 개발을 할 수 있게 될 가능성이 있는 것 외에, 비슷한 접근법으로 두 팔을 사용하는 다른 작업에서도 로봇을 훈련할 수 있게 된다. Liu 씨 등은 모델의 성능과 일반적 가능성을 넓히기 위해 개발을 계속할 예정이라고 한다.
