보이는 것과, 닿아야 아는 것.

책상 위 컵을 집는 일을 생각해 봅시다. 손이 닿기 전에는 컵이 어디에 있는지와 손을 뻗을 공간이 있는지가 중요합니다. 손이 닿은 뒤에는 컵이 실제로 잡혔는지, 기울거나 미끄러지는지가 중요해집니다. 같은 작업 안에서도 필요한 정보가 달라지는 것입니다. 시각과 촉각을 비교할 때 어느 감각이 더 뛰어난지부터 물으면 이 변화를 놓치기 쉽습니다. 먼저 작업을 시간의 흐름으로 나누어 보세요. 그 순간에 무엇을 알아야 하는지 살펴보면 센서의 이름만 볼 때보다 각 감각의 역할이 더 분명해집니다.

카메라는 물체와 주변을 함께 관찰할 수 있습니다. 손을 뻗을 곳을 찾고 다른 물건과의 관계를 살피는 데 이런 넓은 장면이 유용합니다. 반면 손과 물체 사이의 접촉면은 바깥에서 가려질 수 있습니다. 이것은 카메라의 성능만으로 해결할 수 있는 문제가 아니라 관찰 위치에서 생기는 차이입니다. 독자의 이해를 위한 가상 예로 컵의 반대편에 놓인 손가락을 떠올려 보세요. 화면에서 보이는 윤곽과 실제 닿아 있는 면은 같지 않을 수 있습니다. 보이지 않는 부분을 어떤 정보로 보완할지가 다음 질문이 됩니다.

미끄러짐이 의심된다는 신호를 얻었다고 작업이 끝나지는 않습니다. 더 세게 잡을지, 자세를 바꿀지, 물체를 내려놓고 다시 시도할지 선택해야 합니다. 특정 작업에서는 한 대응이 도움이 되어도 다른 물체에는 적절하지 않을 수 있습니다. 그래서 감각을 읽는 연구와 행동을 배우는 연구가 만납니다. 이 단계에서는 무엇을 감지했는지뿐 아니라 그 판단에 따라 어떤 동작을 바꿨는지를 보아야 합니다. 센서가 많은 로봇과 필요한 순간에 적절히 대응하는 로봇은 같은 능력을 갖췄다고 보기 어렵습니다.

같은 자리에 불투명한 상자와 부드러운 봉투를 번갈아 놓는 가상 실험을 생각해 봅시다. 목표 위치는 같아도 잡는 순간의 변형과 접촉은 달라질 수 있습니다. 우선 카메라만으로 무엇을 알 수 있는지 적고, 손끝 정보가 있으면 어떤 결정을 바꾸고 싶은지 적어봅니다. 힘의 크기, 잡은 위치, 다시 시도할 시점 가운데 필요한 정보가 달라질 수 있습니다. 이 비교는 특정 센서의 우위를 입증하는 실험이 아닙니다. 작업의 차이가 필요한 감각의 차이로 이어진다는 점을 이해하기 위한 편집 예시입니다.

새로운 감각 기술의 영상을 보면 감지한 정보와 실제 행동을 한 문장으로 연결해 보세요. 무엇을 알아차렸고, 그래서 로봇이 무엇을 다르게 했는지입니다. 작은 흠집을 정밀하게 감지하는 능력과 큰 물체를 안정적으로 옮기는 능력은 평가 방법이 다를 수 있습니다. 한 작업에서 좋은 결과를 얻었다고 다른 작업에서도 성공한다고 해석해서는 안 됩니다. 결국 감각의 가치는 장비 안에만 있지 않습니다. 사람이 맡기려는 작업에서 어떤 불확실성을 줄여 주었는지까지 설명할 때 기술이 구체적인 능력으로 보이기 시작합니다.