外国語を自動翻訳するデバイスやソフトは、随分と発達し普及してきたが、肝心の国内で意思の疎通が難しい場合がある。
それは手話によるコミュニケーションだ。
外国人が意志を伝えようとして行う身振り手振りであれば、おおざっぱなことが何となく伝われば、後は片言の英語なり現地語で何とかなりそうだが、手話はより高度で複雑かつ独特な動きをするため、勘では理解できない。
もし、街で手話で語りかけられたとしても、殆どの人は立ち往生してしまうはずだ。
それを、ウェアラブルデバイスで何とかできないだろうか、という研究が進められていた。
|
|
|
|
手話の個人差も学習するシステム
手話を自動翻訳するデバイスの研究開発を行っているのは、テキサス A&M大学の生物医学工学の准教授であるRoozbeh Jafari氏のチームだ。
研究チームが開発した装着型の装置では、手の動きを認識するセンサーだけでなく、手首の筋肉の信号を捉える『EMGセンサー』が取り付けられている。
つまり、加速度センサーやジャイロセンサーでは、手の動きは捉えられても指の動きまでは捉えられない。それを手首の筋肉から読み取ろうということだ。
手話では、手の動きだけでなく、指の動きも重要な表現方法として採用されている。従って、手首の筋肉の変化から指の動きを読み取れなければならないわけだ。
更に開発したシステムでは、人により全く同じ動きをするわけではない手話の個人差を、高度なアルゴリズムによって学習しチューニングできるという。
|
|
|
|
つまり、このシステムは、使われれば使われるほど、使用者の動きを学習して、より正確な手話の翻訳を行えるように最適化されると言うことだ。
ウェアラブルデバイス化が実用化への目標
開発された手話の自動翻訳装置は、実用化までには課題が多い。
既にこのシステムでは、手に装着したデバイスが検知した信号を、Bluetoothでコンピューターやスマートフォンに送信することができる。
そこで研究チームの次の目標は、まだ取り付け方法が複雑な状態にあるこの装置を小型化し、腕時計並みのウェアラブルデバイスに改良することだという。
そうすれば、常に手首に装着して移動でき、翻訳は身近なコンピューターやスマートフォンに任せれば良い。
|
|
|
|
また、合成音声技術を組み合わせることで、聴覚障害者に声を提供することができるのではないかとも考えているという。
聴覚障害者が、よりストレスなく生活や仕事を行う為にも、速く実用化されることを期待したいデバイスだ。
【参考・画像】
※ Wearable Tech to Decode Sign Language – The New York Times
※ Vladimir Mucibabic / Shutterstock
【動画】
※ This Gadget Translates Sign Language On The Fly – YouTube
IT・インターネット
