MediaPipe 실시간 ML ( Machine Learning ) 솔루션

그림 1. 기능

 몇년 전 윈도우 환경에서 파이션에서 opencv를 이용해서 얼굴 인식 시키는 예제 소스를 돌려 보고 굉장히 신기해 했던적이 있었어요. 이때 느낀점은 신기하기는 한데 너무 버벅 거려서 무료든 유료든 서비스를 만들기는 힘들겠다고 생각을 했었다.

 최근 AI를 이용해서 움직임을 인식해서 바른 운동 자세와 횟수에 대한 게임 의뢰가 들어와서 관련 기술을 다시 찾게 되다가 ML Kit와 MediaPipe를 알게 되었어요. 샘플을 돌려 보니 예전과는 전혀 다른 성능과 기능이 있었어요. 서비스를 만들어도 될 만큼 품질도 나와서 기술 변화에 대한 격세지감을 느꼇다.

 Media Pipe에서 제공하는 기능은 그림 1과 같다.

1. Face Detection : 얼굴을 감지한다. 여러명 얼굴을 고속으로 감지한다.
2. Face Mesh : 3D 얼굴 표면을 추론하여 얼굴 변화를 감지한다.
3. Iris : 눈 안의 홍채를 정확하게 추적한다.
4. Hands : 손의 모양과 움직임을 감지한다.
5. Pose : 사람의 자세를 추적한다. 얼굴, 팔, 다리 어깨, 발, 손의 변화를 추적한다.
6. Holistic : 위 Pose에 손가락과 얼굴 변화가 더 추가해서 추적한다.
7. Hair segmentation : 머리카락을 추적한다.
8. Object Detection : 사과, 컵, 책 처럼 사물을 인식한다.
9. Box Tracking : 사물 단위로 추적한다.
10. Instant Motion Tracking : 정적 또는 움직이는 표면에 가상 2D 및 3D 콘텐츠를 배치하여 실제 환경과 원활하게 상호 작용하게 한다.
11. Objectron : 물체를 3D 형태로 감지한다. 
12. KNIFT (Keypoint Neural Invariant Feature Transform) : 템플릿 기반으로 특징을 매칭하여 인식한다.

 

 MediaPipe의 가장 큰 특징은 클로스 플랫폼 지원이다. Android, iOS, C++, Python, JS를 지원하고 있다. 모바일과 PC 환경 양쪽을 다 지원하고 있다.

 MediaPipe로 앱을 만들면서 내용을 계속 추가할 예정입니다.

 

 보다 자세한 사용법과 전체 사용법은 아래 MediaPipe 사이트를 참고 바랍니다.

 

https://google.github.io/mediapipe/

Home