멀티 모달 뜻에 대해 알아봅시다

멀티 모달 뜻에 대해 알아보는 포스팅을 하겠습니다. 멀티 모달은 여러 가지 형태와 의미로 컴퓨터와 대화하는 환경을 뜻합니다. 그리고 모달(=modality)은 인터랙션(=상호작용) 과정에서 사용하는 의사소통 채널을 말합니다. 예를 들어 우리가 PC에 무언가를 입력하려고 할 때 사용하는 키보드나 마우스 등이 하나의 모달리티를 위한 디바이스라고 할 수 있습니다. 즉 모달리티란 한 가지 방식의 사람 – 컴퓨터 의사소통 ‘채널’을 의미합니다.

 

우리가 보통 사용하는 PC 입력방법(키보드, 마우스) 외에 또 다른 모달리티는 제스처, 음성 입력은 물론 표정 인식과 시선 인식까지도 각각의 모달리티라 할 수 있습니다. 종합해 보면 전통적인 텍스트 외에 음성, 표정, 제스처, 생체신호 등 여러 입력 방식을 융합해 사람과 컴퓨터 사이에 자연스러운 의사소통이 가능한 사용자 친화형 기술을 가능하게 해주는 것이 멀티 모달이라고 할 수 있습니다.

 

 

스마트폰이 멀티 모달을 흔히 볼 수 있는 예시입니다. 안드로이드 OS 스마트폰의 경우 텍스트를 입력할 때 자판을 눌러 텍스트를 완성할 수도 있지만, 마이크 버튼을 활성화하면 음성으로 말하는 것을 텍스트로 변환시킬 수 있습니다. 텍스트 입력을 위해 자판과 음성 모두 이용할 수 있는 멀티 모달의 사례입니다.

 

하지만 위의 사례에서 두 모달리티가 동시에 일어나지는 않습니다. 서로 번갈아 가면서 이용해야 하는데요. 물론 두 가지 이상의 모달리티를 동시에 사용하는 경우도 있는데, 주로 게임에서 볼 수 있습니다. 키보드만 이용하던 고전 게임이 아니라 1인칭 슈팅게임이나 롤플레잉 게임 등에서 마우스와 키보드를 모두 이용하는 게임이 여기에 해당합니다. 마우스는 조작하는 캐릭터의 시선과 방향은 물론 총을 쏘는 행동 인터렉션을 담당하고, 키보드는 캐릭터의 이동을 담당하는데 동시에 입력하면서 캐릭터의 신체 부분을 각자 담당하는 것입니다.

 

멀티 모달은 오락, 게임 등으로 이미 실용화해 사물인터넷과 연동한 기술로 확산하고 있으며 향후 온몸에 컴퓨터를 두르는 유비쿼터스 세상에서 인공지능을 가미한 미래 입력 방식으로 진화할 것이라는 게 전문가들의 예측입니다.

 

 

특허청에 따르면 멀티 모달 인터페이스 관련 특허출원은 2009년부터 꾸준히 증가해 오다가 2017년부터 제스처, 생체신호, 얼굴 등의 입력 방식을 활용한 출원이 증가했습니다. 특히 심박 수, 맥박, 지문, 홍채 등과 같은 생체신호 부분의 특허출원이 급증한 것으로 나타났습니다.

 

네이버는 모바일 앱에서 사진과 함께 텍스트로 원하는 정보를 동시에 검색하는 사진 검색 서비스 ‘스마트렌즈’에 멀티 모달 인공지능 모델을 탑재했습니다. 글, 사진, 음성 등 단일 수단만 적용하던 기존 검색환경과 달리 검색어 추가 기능을 통해 사진 촬영 후 텍스트를 추가로 입력해 구체화한 정보를 찾을 수 있는 것입니다. 특정 신발 사진을 검색한 후 텍스트로 색상, 디자인, 소재 등 사용자 기호에 따른 추가 검색어를 더해 찾고자 하는 제품군을 좁혀가는 식입니다.

 

이상 멀티 모달 뜻에 대해 알아보는 포스팅을 하였습니다. 어디선가 들은 말인데요. 미래에는 사람과 컴퓨터의 경계가 모호해지다가 결국 둘이 합칠 것이라고 하더라고요. 사람과 로봇이 합친다는 것은 영화나 애니에서 재미로 말하는 것이고요. 실제로는 컴퓨터와 사람이 합치는 게 더 굉장할 것입니다. 그때를 대비하여 오늘도 열심히 자기 직분에 충실하시다 파이팅!!

 
반응형
그리드형

댓글

Designed by JB FACTORY