Innovative Tech:
顔の表情をアバターに即時反映して表示する画面付きフルフェイスマスク 「デジタルカメン」誕生
2020年09月02日 15時15分 公開
[山下裕毅,ITmedia]
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
はこだて未来大学、個人のメディアアーティスト、慶応義塾大学、英ユニバーシティ・カレッジ・ロンドンによる研究チームが開発した「デジタルカメン e2-MaskZ」は、顔の前面に装着し、着用者の表情をリアルタイムでアバターに反映させる薄型のフルフェイスマスクディスプレイだ。
デジタルカメンの装着例
顔の表情をアバターに転送する技術はこれまでも盛んに研究されてきたが、バーチャル環境での活用が多かった。今回のアプローチは、昨今のコロナ禍対策を兼ねた対面コミュニケーションでの利用を目指すものだ。
そのため、日常的に着用できるように軽量な薄型ディスプレイを採用。一般的な布マスクやフェイスシールドの強化版として、防護マスクのようなフルフェイスでありながら表情も伝える。
装着しながら対面コミュニケーションをする様子
おしゃべりも表情豊かに
デジタルカメンには、前面に表情が出力される薄型有機ELディスプレイ、裏面に近距離で表情を認識するための光反射型センサーアレイが組み込まれている。
40個の特徴点で表情を捉える光反射型センサーアレイ
光反射型センサーアレイは、40個の特徴点で中の人の表情(主に眉毛、頬、目、口)をミリ単位で測定する。表情が変わるとセンサーと皮膚との距離が変化する特徴を用い、教師あり学習のサポートベクターマシン(SVM)により、10種類の表情に分類する。
会話時を想定しているため、感情を表す表情だけでなく、発話時(母音発音時)の口の動きも分類している。実験では、平均79%の分類精度を達成し、被験者からは自分の発話が反映されているという感触も得られた。
===== 後略 =====
全文は下記URLで
https://www.itmedia.co.jp/news/articles/2009/02/news063.html
顔の表情をアバターに即時反映して表示する画面付きフルフェイスマスク 「デジタルカメン」誕生
2020年09月02日 15時15分 公開
[山下裕毅,ITmedia]
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
はこだて未来大学、個人のメディアアーティスト、慶応義塾大学、英ユニバーシティ・カレッジ・ロンドンによる研究チームが開発した「デジタルカメン e2-MaskZ」は、顔の前面に装着し、着用者の表情をリアルタイムでアバターに反映させる薄型のフルフェイスマスクディスプレイだ。
デジタルカメンの装着例
顔の表情をアバターに転送する技術はこれまでも盛んに研究されてきたが、バーチャル環境での活用が多かった。今回のアプローチは、昨今のコロナ禍対策を兼ねた対面コミュニケーションでの利用を目指すものだ。
そのため、日常的に着用できるように軽量な薄型ディスプレイを採用。一般的な布マスクやフェイスシールドの強化版として、防護マスクのようなフルフェイスでありながら表情も伝える。
装着しながら対面コミュニケーションをする様子
おしゃべりも表情豊かに
デジタルカメンには、前面に表情が出力される薄型有機ELディスプレイ、裏面に近距離で表情を認識するための光反射型センサーアレイが組み込まれている。
40個の特徴点で表情を捉える光反射型センサーアレイ
光反射型センサーアレイは、40個の特徴点で中の人の表情(主に眉毛、頬、目、口)をミリ単位で測定する。表情が変わるとセンサーと皮膚との距離が変化する特徴を用い、教師あり学習のサポートベクターマシン(SVM)により、10種類の表情に分類する。
会話時を想定しているため、感情を表す表情だけでなく、発話時(母音発音時)の口の動きも分類している。実験では、平均79%の分類精度を達成し、被験者からは自分の発話が反映されているという感触も得られた。
===== 後略 =====
全文は下記URLで
https://www.itmedia.co.jp/news/articles/2009/02/news063.html