#MotionGestures 는 캐나다 소재의 #머신러닝 기반 #제스처인식 솔루션 전문 기업으로, 학습된 AI 알고리즘을 통해 인식률을 획기적으로 향상시킨 기술로 제스처 기반 인터페이스를 빠르고 효과적으로 구축할 수 있는 플랫폼을 제공합니다.

본 포스팅에서는 Motion Gestures만의 고유 기술 및 활용 분야, 실생활 적용 사례에 대해 알아보도록 하겠습니다.

   ​기술 개요

기존 시스템과 달리 Motion Gestures는 손 추적 및 제스처 인식을 위해 카메라로부터 공급받는 이미지를 그대로 사용하지 않습니다. Motion Gestures만의 알고리즘은 손의 관절 기반 골격 구조를 사용하며, 손의 마디와 관절을 최소 6개에서 최대 21개의 포인트로 구분하여 모양과 움직임을 분석합니다. 이 골격 구조는 배경, 카메라 각도에 상관없이 어느 위치에서나 손에 적용 할 수 있는 장점이 있습니다. 오른손, 왼손 또는 여러 개의 손에 적용 할 수 있으며 손의 방향(전면 또는 후면) 및 손의 유형(오른쪽 또는 왼쪽)을 구분하는 데 있어 충분한 정보를 제공합니다.

​

또한, Motion Gestures만의 기술은 카메라 화면에 들어온 각 손에 고유 ID를 할당합니다. 부여된 ID는 어떤 방식으로 손이 겹치든 상관없이 동일하게 유지하며 움직임을 추적하여 여러 개의 손을 동시에 인식할 수 있습니다.

지원되는 카메라는 컬러(RGB) 카메라를 포함하여 입체(Depth), 근적외선(Near infrared) 카메라 등 다양한 종류의 카메라를 통해 제스처 인식이 가능하며, 프로그래머블 반도체(FPGA), 마이크로프로세서(MPU), 마이크로컨트롤러(MCU) 등 다양한 하드웨어를 지원하므로 여러 산업 분야에서도 활용이 가능합니다.

활용 가능 분야 및 제품

제스처 인식은 자동차, 항공, 리테일, 게임, 드론, 가전, 스마트 홈 등의 많은 산업 분야에 걸쳐 다양한 제품에 활용될 수 있습니다.

​

● 자동차: 인포테인먼트, 차내 에어컨디셔너 제어, 내비게이션 시스템과의 상호 작용, 창문(선루프 포함) 열기 등

● 항공: 공항 키오스크, 비행기 스크린 등

● 리테일: 정보 키오스크, 온라인 쇼핑(PC, 모바일), 디스플레이 모니터 등

● 게임: 모바일 게임, PC 게임, 아케이드 게임 등

● 드론: 장착된 카메라 입력으로부터의 제어 비행 등

● 가전: 세탁기, TV, 전자레인지, 냉장고 등

● 스마트 홈: 조명, 난방기구 제어, 차고 문 또는 창문과 상호 작용 등

카메라 기반의 손 추적 및 제스처 인식 기능 평가를 위한 #SDK 및 #API 를 제공합니다.

​

SDK에는 정적, 동적 및 트리거 제스처의 세 가지 범주로 손 추적 모델 및 샘플 제스처가 포함되어 있습니다.

(i) 정적 제스처: 엄지손가락, OK, VICTORY, 주먹 등의 고정 손동작

(ii) 동적 제스처: 탭핑, 움켜쥐기, 스와이핑, 그리기(별, 숫자, 글자 등) 등과 같은 복잡한 3D 움직임

(iii) 트리거: 손가락 끝, 손바닥 가운데, 주먹 가운데 등을 추적하기 위한 제스처

​

API에는 다음 값에 대한 접근 기능이 포함되어 있습니다.

(i) 제스처 ID: 감지된 제스처 유형

(ii) 손 ID (카메라에 여러 손이 입력된 경우)

(iii) 손 유형 및 방향

(iv) 각 손에 있는 21개 관절의 위치 좌표

​

64비트 환경에서 Windows 및 Linux 시스템을 지원하며, 호스트 PC의 권장 요구사항은 다음과 같습니다.

[HW 요구 사항]

- CPU: Intel core i7

- Memory: 최소 2GB

- GPU: 4G RAM GTX 1050 (minimum cuda compute capability 6.0)

[SW 요구 사항]

- OS: Windows 10, 64bit / Linux 64bit (Ubuntu 18.04)

- Cuda: 10.0

- cuDNN: 7.6

- tensorflow: 1.15

​

정적 제스처의 경우 10fps~30fps의 카메라가 필요하며 동적 제스처의 경우 40fps~60fps 카메라 사용이 권장됩니다. 아래의 동영상을 통해 Motion Gestures의 제스처 인식 솔루션이 제공하는 기능에 관해 확인해 보실 수 있습니다.

​

Motion Gestures 솔루션을 통해 제스처 인식을 우리의 생활 속으로 가져온 사례에 대해 소개해 드립니다. 바로, 출입문 동작을 제스처 인식을 통해 제어하여 사용자의 물리적 접촉 없이 자동으로 문이 열리는 시스템에 관한 구축 사례입니다. 시스템에는 문 열림 버튼으로의 물리적 입력 전달을 위해 스위치봇* 제품이 사용되었습니다. 제스처 인식 환경으로는 Linux 버전의 SDK가 사용되었으며, SDK에 포함되어있는 샘플 제스처를 활용하여사용자가특정손동작(모양)을취하면문열림 버튼에 부착된 스위치봇에 명령을 내리도록 프로그램 하였습니다.

*스위치봇: 물리적 버튼을 눌러주는 임무를 수행하는 제품으로 블루투스 연결을 지원

스위치봇 제어 프로그램은 <여기>를 통해 공개 배포되는 오픈 소스 프로젝트를 이용하였습니다. 이 프로젝트는 Raspberry Pi 또는 기타 Linux 기반 보드에서 스위치봇을 제어하는 응용프로그램 입니다. 배포되는 파이썬 코드 실행을 위한 필수 라이브러리는 다음과 같으며, 패키지 관리 툴인 apt 명령을 통해 설치할 수 있습니다.

- python-pexpect

- libusb-dev, libdbus-1-dev, libglib2.0-dev

- libudev-dev, libical-dev, libreadline-dev

- bluepy

​

배포되는 파일 중 스위치봇 동작 제어를 위한 파이썬 코드는 switchbot.py이며, 실행 명령의 첫 번째 전달인자로 제어하고자 하는 스위치봇 장치의 MAC 주소를 받으며, 두 번째 전달인자로 스위치봇의 동작을 입력받습니다. 지원되는 동작은 누르기(Press), 켜기(Turn On), 끄기(Turn Off) 입니다.

- 실행 명령 예) sudo python switchbot.py 12:34:56:78:90 Press

Motion Gestures의 SDK는 .deb 파일로 배포되며 버전에 따라 libsgre-hand-gestures-VERSION.deb의 형태로 배포됩니다. dpkg 명령을 통해 시스템에 SDK를 설치할 수 있으며 설치 명령 및 경로는 다음과 같습니다.

- 설치 명령: sudo dpkg –I libsgre-handgestures-VERSION.deb

- (샘플 프로그램 설치) 경로: /usr/share/doc/hand_gestures/hand_gestures_sample

​

SDK에 포함된 샘플 프로그램을 컴파일 하기 위해서는 시스템에 boost(1.60 이상) 및 opencv 라이브러리 설치가 필요합니다. 패키지 관리 툴인 apt 명령을 통해 다음의 라이브러리를 설치합니다.

- libboost-all-dev

- libopencv-dev

- libv4l-dev

​

또한, 빌드 시에 cmake를 사용하므로 cmake(3.8 이상의 버전)를 시스템에 설치합니다. 샘플 프로그램 빌드는 프로그램 경로(또는, 특정 작업 경로로 hand_gestures_sample를 복사하여 사용 가능)에 build 디렉토리를 생성하여 생성한 build 디렉토리에서 다음과 같이 cmake를 사용하여 빌드합니다.

- ../hand_gestures_sample/build/$camke ..

- ../hand_gestures_sample/build/$make

카메라로 사용자가 입력하는 여러 제스처 중 문 열림 위한 제스처로 OK 사인을 사용했으며, 스위치봇 누르기 동작에 대한 파이썬 코드를 실행하는 switchbot_press라는 쉘 스크립트를 작성하였습니다. 제공되는 API를 통해 카메라로부터 입력받은 제스처 인식 결과를 받아와 감지된 제스처 유형이 OK 사인일 경우 쉘 스크립트(switchbot_press)를 실행하는 코드를 추가함으로써, 제스처 인식 기반 자동문 스위치 인터페이스를 구현했습니다.

​

[영상 1] 실제 구동 영상

​

Motion Gestures만의 제스처 인식 기술은 손의 마디와 관절을 21개의 포인트로 구분하여 모양과 움직임을 분석하고, 사용자 손의 패턴을 인지하는 원리로 이루어집니다. 머신러닝 기반으로 학습된 AI 알고리즘을 통해 제스처 개발 시간과 비용을 대폭 줄여주며, 제스처 인식의 정확도와 정교함을 획기적으로 높인 Motion Gestures의 제스처 기반 인터페이스 플랫폼 통해 다양한 산업 군의 제품 및 응용 프로그램에서의 제스처 사용에대한대중화를기대합니다.

​