산업 자동화에서는 다양성이 일반적인 상황이 되면서 자동화 작업의 난도가 높아지고 있습니다. 부품은 서로 다른 포즈로 공급되고, 배치마다 표면 특성이 달라지며, 빈 내부의 부품 수량은 작업이 진행됨에 따라 줄어듭니다. 또한 하나의 로봇 셀에서 여러 작업을 수행해야 하는 경우도 있습니다. 이러한 환경에 안정적으로 대응하려면 로봇은 단순히 고정된 좌표나 사전 프로그래밍된 경로를 따라 움직이는 것이 아니라, 작업 환경의 형상 정보를 파악하고 상황에 맞게 동작을 조정할 수 있어야 합니다.

산업용 로봇의 범용성 과제

기존 자동화는 부품의 위치와 방향, 조명 및 공정 타이밍이 일정하게 유지되는 환경에서 효과적으로 작동합니다. 그러나 이러한 조건이 달라지면 고정형 툴링과 하드코딩된 경로의 신뢰성이 떨어집니다.

금속 가공 분야에서는 부품이 벌크 빈에 무작위 방향으로 투입되거나 서로 중첩된 상태로 쌓이고 빈 벽면에 기대어 있는 경우가 많습니다. 어둡거나 반사율이 높은 표면을 가진 부품이나 일부가 가려진 부품은 식별 및 취급을 더욱 어렵게 만듭니다. 이와 유사한 문제는 반사율이 높은 전자 부품, 투명 필름, 광택 코팅 표면 및 불규칙한 형태의 포장재를 다룰 때도 발생합니다. 2D 이미지는 에지와 텍스처를 보여줄 수 있지만, 단일 이미지로는 부품의 6자유도(6-DoF) 포즈를 추정하거나 그리퍼가 충돌 없이 접근할 수 있는지 판단하는 데 필요한 깊이 정보를 직접 제공하지 못합니다. 한편, 생산 사이클 타임의 제약으로 인해 시스템이 시각 데이터를 획득하고 처리하는 데 사용할 수 있는 시간도 제한적입니다.

여기서 범용성이란 익숙한 물체를 단순히 인식하는 것을 넘어, 물체의 종류와 포즈, 작업 환경의 배치 및 작업 요구 사항이 달라지더라도 안정적인 인식과 동작을 유지하는 것을 의미합니다.

왜 3D 비전인가?

3D 비전 시스템은 외관 정보에만 의존하지 않고 형상 정보를 측정함으로써 범용성을 높입니다. 3D 카메라는 장면을 포인트 클라우드 형태로 캡처하며, 포인트 클라우드는 카메라에 포착된 물체 표면을 나타내는 공간 좌표 데이터입니다. 이러한 데이터는 로봇이 중첩된 부품 간의 높이 차이를 식별하고, 물체의 방향을 추정하며, 접근 가능한 표면을 파악하고, 그리퍼 또는 엔드 이펙터가 충돌 없이 접근할 수 있는 공간이 충분한지 판단하는 데 도움을 줍니다.

Mech-Eye 3D 카메라로 촬영한 실제 부품의 3D 포인트 클라우드

메크마인드로보틱스는 ‘Eye-Brain-Hand’ 아키텍처를 통해 이러한 문제에 대응합니다.

- Eye는 물체, 도구, 지그 및 주변 환경의 제약 조건에 대한 3D 정보를 수집합니다.

- Brain은 장면을 해석하고 작업을 분석하며, 관련 형상 정보를 식별하고 실행 가능한 동작을 계획합니다.

- Hand는 로봇 암, 엔드 이펙터 및 Mech-Hand 다관절 정밀 로봇 핸드를 통해 동작을 실행합니다. 이를 통해 안정적인 파지, 무작위 빈 피킹, 정밀 조작, 조립 및 휴먼-로봇 협업을 지원합니다.

메크마인드의 범용 로봇 ‘Eye-Brain-Hand’

이러한 구성 요소는 인식, 추론, 계획 및 물리적 실행을 하나로 연결합니다. 이는 메크마인드로보틱스의 ‘One Brain, Multiple Forms’ 접근 방식의 기반이 됩니다. 실제 작업 환경의 형상 정보와 제약 조건을 바탕으로 다양한 로봇 구성 및 산업 작업에 범용 체화 지능(embodied intelligence)을 적용합니다.

3D 데이터에서 로봇 동작까지

포인트 클라우드를 획득하는 것은 첫 단계에 불과합니다. 시스템은 작업 맥락에서 포인트 클라우드를 해석해야 합니다. 즉, 대상이 될 수 있는 물체를 식별하고, 각 물체의 포즈를 추정하며, 피킹 가능한 상태인지 판단하고, 로봇이 충돌 없이 작업을 수행할 수 있는지 평가해야 합니다.

메크마인드로보틱스는 3D 인식 기술을 그래픽 기반 머신 비전 소프트웨어, 딥러닝 도구, 로봇 통신 인터페이스 및 모션 플래닝 기술과 결합합니다. 인식 단계에서는 현재 장면을 바탕으로 후보 포즈를 생성하고, 모션 플래닝 단계에서는 로봇, 그리퍼, 지그, 빈 및 주변 물체를 고려하여 해당 포즈를 실제로 실행할 수 있는지 평가합니다. 전체 워크플로에서는 관련성이 낮은 장면 데이터를 필터링하고, 대상 후보 물체를 분리하며, 애플리케이션별 조건을 평가한 후 로봇이 실행할 수 있는 정보를 전달합니다.

메크마인드가 자체 개발한 소프트웨어 제품군

이를 통해 로봇은 이상적인 배치에서 벗어난 모든 변화를 예외 상황으로 처리하는 대신, 실제 장면의 상태에 맞춰 대응할 수 있습니다. 작업에 따라 시스템은 시야 확보 여부, 가림, 접근 및 후퇴 시 필요한 공간, 주변 장애물, 충돌 위험, 다음 공정 단계에 필요한 방향 등을 고려합니다.

물체, 작업 및 작업 환경 전반에 걸친 범용성

다양한 물체에 대한 대응: 부품은 SKU, 방향, 크기, 표면 특성 또는 포장 형태가 서로 다를 수 있습니다. 형상 기반 인식 기술은 작업 사이클마다 배치가 달라지더라도 관련 특징을 식별하는 데 도움을 줍니다. 예를 들어 높이가 서로 다른 카톤, 포즈가 다양한 금속 부품, 정밀한 위치 지정이 필요한 외관상 유사한 전자 부품 등을 인식할 수 있습니다.

실제 부품 적용 사례

다양한 작업으로의 확장: 피킹 대상 부품의 위치를 파악하는 데 사용되는 3D 데이터 및 인식 기술은 배치, 조립 검증, 머신 텐딩, 검사 및 팔레타이징에도 활용할 수 있습니다. 기존 인식 결과를 재활용하면 각 작업을 별도의 자동화 프로젝트로 구축해야 하는 부담을 줄일 수 있습니다.

3D 비전 가이드 적용 사례

다양한 작업 환경에 대한 대응: 빈이 비워지고, 파렛트 적재 층이 이동하며, 지그가 교체되고, 조명 조건이 달라질 수 있습니다. 업데이트된 작업 공간의 3D 정보를 활용하면 로봇이 대상 물체의 위치를 파악하고, 작업에 필요한 공간을 평가하며, 실제 작업 공간의 형상에 맞춰 계획된 동작을 조정할 수 있습니다.

복잡하고 변화하는 실제 작업 환경

비즈니스 효과: 유연하고 반복 가능한 자동화

제조업체와 SI 업체의 경우, 범용성을 통해 부품의 정밀한 정렬 상태에 대한 의존도와 고정된 로봇 경로를 자주 수정해야 하는 부담을 줄일 수 있습니다. 또한 다양한 제품 모델, 혼합된 물품, 달라지는 방향 및 변화하는 생산 라인 배치에 유연하게 대응할 수 있습니다. 형상 정보를 더 정확하게 인식하면 공정 일관성을 높이고 검사 및 추적성을 확보하는 데도 도움이 됩니다.

메크마인드로보틱스는 자동차, 물류, 전자, 이차잔지, 금속 가공 및 식음료 분야에 걸쳐 약 50개 국가 및 지역에서 30,000대 이상의 시스템을 도입했습니다. 이러한 다양한 작업 환경에서 로봇은 생산 조건이 작업 사이클마다 달라지더라도 안정적으로 작동해야 합니다.

미래: Embodied AI로 확장되는 범용성

범용성의 다음 단계는 3D 인식 기술을 멀티모달 이해, 추론, 의사결정 및 로봇 제어와 연결하는 것입니다. Embodied AI는 로봇이 작업 의도를 해석하고, 주변 물리적 환경을 이해하며, 더욱 다양한 실제 환경에서 동작할 수 있도록 합니다.

Mech-GPT는 메크마인드로보틱스의 멀티모달 대규모 모델입니다. 로봇이 자연어 지시를 이해하고, 사람의 의도를 파악하며, 시각 정보와 도식 정보를 통합하여 더욱 복잡한 추론과 의사결정을 수행할 수 있도록 합니다. 이를 통해 로봇은 제조, 물류 및 서비스 환경에서 사용자가 지정한 작업을 수행하고 변화하는 요구 사항에 적응할 수 있으며, 기존의 프로그래밍 및 도입 방식에 비해 로봇 활용의 진입 장벽을 낮출 수 있습니다.

Mech-GPT: 자연어로 로봇이 복잡한 작업을 이해하고 수행하도록 구현

다양한 유형의 로봇 및 도구와 호환되는 Mech-GPT는 단일 하드웨어 구성에 국한되지 않습니다. Eye + Brain + Hand 아키텍처와 결합하여 Physical AI에 대한 범용적인 접근 방식을 지원합니다. 즉, 로봇이 지시와 물리적 제약 조건을 이해하고 다양한 작업 및 산업 분야에서 동작을 수행할 수 있도록 합니다.

결론

3D 비전 시스템은 변화하는 물체, 작업 및 작업 환경에 대한 형상 정보를 제공하여 로봇의 범용성을 지원합니다. 메크마인드로보틱스는 범용 로봇을 위한 ‘Eye-Brain-Hand’ 아키텍처를 통해 인식, 추론 및 실행을 연결하여 로봇이 실제 산업 현장의 다양한 변화에 적응할 수 있도록 지원합니다.

3D 비전 및 Embodied AI가 귀사의 자동화 요구 사항을 어떻게 지원할 수 있는지 알아보려면 https://kr.mech-mind.com/contact/contact-us.html에 문의해 주세요.