아바타 표정이 말하는 사람 표정을 흉내내는 기술

이 기술이 조금 더 발전하고 또 구현하는 값이 싸지면,

MMORPG게임을 즐길 때 기본 악세사리가 될 것입니다. 마치 듀얼쇼크 게임패드처럼 말입니다.

- 내 말을 그대로 전달하는 보이스채팅에, 내 성별, 나이, 체격과는 다른 내 아바타의 성별, 나이, 체격에 어울리는 톤으로 목소리 변조. (일본 라이트노벨과 애니메이션에 흔히 나오는, 고양이 아바타는 말끝에 자동으로 "~냥"을 붙이는 기능도 추가)

- 아바타의 표정이 내 표정을 모사하도록 하는 기능(이 기사). 그러면서 지금은 별로 고려되지 않은, 서로의 표정을 볼 수 있는 뷰를 게임에 추가.

몸 움직임을 잡는 것보다는 사람들이 더 좋아할 걸요. 앉아서만 할 수 있으니까. ㅎㅎ
아, 보이스채팅이 일반화되면 비속어 삐~ 소리 검열도 리얼타임이 돼야겠군요.

* 그냥, 노트북이나 모니터 앞에 둔 캠으로 말하는 사람 표정을 인식한 다음 아바타 표정으로 만들어주는 상업용 프로그램은 이미 많습니다. 방송하면서 그런 걸 쓰는 유튜버도 많죠. 만약 머신러닝을 제대로 적용하게 되면, 그쪽이 비서 AI와 게임용으로는 더 효과적일 지도 모릅니다. 캠은 기본으로 달려 있거나 새로 달더라도 값싸고, 그 외 추가 장비를 살 필요가 없고 귀찮게 얼굴에 뭘 붙일 필요도 없으니까. 비서 AI의 경우는 주변 상황을 판단하면 더 좋기 때문에 카메라가 더 나을 수도 있겠습니다.

단순 대화는 결국은 사람도 상대의 근전도 데이터를 뽑아보고 표정을 아는 게 아니라, 상대의 얼굴을 눈으로 보고 표정을 읽는 거니까요. 페이스북이 한다는 연구도 결국은, 채팅수준에 활용할 때는 저런 접촉센서연구는 데이터를 뽑는 용도로만 쓸 것 같다는 생각이 듭니다. 카메라로 관찰하는 것은 학습시킬 시각적인 결과 데이터를 쌓지만, 피부 아래에서 근육과 신경이 어떻게 움직이기에 그런 표정이 나오는 지 이론모델을 만드는 것도 필요할 테니.

다만 정확한 데이터, 정밀한 데이터를 원하고, 또 신체에 붙이는 센서를 사용해 다른 용도를 찾을 땐 이 기술이 또 한 몫 할 것 같습니다. 거짓말탐지기라든가, 간호사부재시 환자상태를 모니터한다든가.

“VR 아바타가 내 표정이랑 똑같네!” - 동아사이언스 2018.12.21

• 페이스북은 향후, SNS에서 서로의 아바타를 보며 보이스채팅하는 것을 상정하고 표정재현연구.
• HMD에 카메라나 압력 센서를 달아 입모양, 얼굴 근육 움직임을 추적
  
  
• 한양대 전기, 생체공학부 임창환교수팀은 얼굴 표면의 근전도전류를 몇 개 포인트에서 센서로 측정, 측정값과 얼굴 표정을 매칭.
• 센서는 눈위아래에 접촉시키는 것으로, 실제로는 고글형 HMD의 가장자리에 들어갈 수 있음.
• 11개 표정을 매칭하는 정확도는 88%
• 아직은 머신러닝은 아니고 수학적(회귀분석일까?)으로 접근한 듯.

https://youtu.be/KLhR6EVkGOM