映像メディア分野

overview_j.png

我々の研究室では,人間のコミュニケーションをサポートする知的情報システムやそれを支える高機能ネットワークについて研究しています.人間を見守るメディア,教えてくれるメディア,人間どうしをつないでくれるメディア,情報を簡単にしてくれるメディア,気づいてくれるメディア等,様々なメディアとそのための基礎理論,基礎技術,応用について研究します.基礎技術としては,画像,音声,自然言語等の処理・自動認識とそれによる人間の行動理解,次世代インターネット技術等があります.応用としては,近未来の教育環境,生活環境,遠隔コミュニケーション(講義・会議・経験共有)等,我々の将来を大きく変えることが可能なメディアの実現を考えています.

教員

  • 教授:中村 裕一
  • 准教授:近藤 一晃
  • 助教:下西 慶

研究事例

表情や動作のセンシングによる内部状態の推定

人間のしぐさや表情などの外部表出を観測し,意図や感情などの内部状態を読み取ったり,QOL (Qality Of Life) の推定などを行っています.

  • しぐさの計測とモデル化による注意状態の推定

複数の対象に対してどのように注意を向けているかを,顔向き・手の向き・体幹の向き,およびそれらの連結性に基づいた力学モデルによって表現・推定します.2つの対象物に対する注意の分配が変化するパターンと,しぐさにおける動作特徴との関係について,注意と身体性の観点から分析しました.

  •  表情比較に基づいた内部状態の変化の認識

日常生活でははっきりとしない中間的な表情も多く現れます.そのような表情から心理・感情を推定するための方法として,二枚の顔画像の比較による表情変化の認識を提案しています.二枚の画像を比較する深層学習ネットワークを設計し,笑顔の強さやネガティブ/ポジティブの変化を高精度に認識できることを確認しました.

research-qol-1.png          research-qol-2.png

生体センシングに基づいた動作・行動のアシスト

筋活動や動作や姿勢を観測することによって意図推定や動作予測をし,パワーアシストや関節拘束による動作の補助を行う方法を探る.そのための,アシスト機器の設計や実装を行っています.

  • 動作意図に応じた支援を与える外骨格パワーアシスト

人間の活動を邪魔をしない・人間に気づかせない自然な支援を実現するために,必要なときに必要な分だけパワーアシストを行う仕組みを提案しています.複数筋の筋協調の分析に基づいて,実際の動作が始まる前に動作意図を予測することに加え,人間の主体的な動作を阻害しないパッシブなアシスト機器の設計も進めています.

  • 触覚呈示による注意や動作のさりげない誘導

人間の活動を阻害しない形で気づきや誘導を与える柔らかな方法として,皮膚を少し引っ張ったり伸ばしたりする触覚呈示を提案しています.筋電位で計測した頸の動きを,遠隔地にいる人間の頸の皮膚を引っ張ることで伝える系を設計し,その伝達性能を検証するとともに頸を介したコミュニケーションの可能性を調査しました.

research-emg-1.png        research-emg-2.png

人間のコミュニケーションのモデル化と支援

 

会話,プレゼンテーション,共同作業など,様々な場面における人間どうしのコミュニケーションを分析し,それを支援する情報システムやロボットの働きを設計しています.

  • 遠隔作業支援におけるコミュニケーション分析

作業の様子を遠隔地でモニタリングし,必要に応じて情報提供や指示を行う「遠隔対話型行動支援」では,どのようにコミュニケーションが構造化されているのかを分析しています.コミュニケーションの良さを表す指標として「二者間の発話や行動の一貫性」を提案し,二者間の呼応パターンにおける時間的特性との関係について分析しました.

  • 人間の動作特性に基づいた指差しインタフェース

「大画面上の資料を指示しながら行うプレゼンテーションスタイルのコミュニケーション」をスムーズに実現させるためのインタフェース(計測・提示システム)を設計しています.指差し姿勢は指示したい位置を正確に表してはいないという問題を解決するために,人間の視知覚・動作特性に基づいた表示方法や,指示の意図を離散化して推定する方法を提案しました.

research-com-1.png           research-com-2.png

記憶や体験の共有と活用

映像や位置情報,生理的情報,その他のセンシングデータによって個人の行動や集団としての活動を記録し,記憶や体験を共有したり,それを教育や訓練のために活用しています.

  • グループワーク体験記録の分析

research-share-2.png複数人で協力して共通のタスクを達成するグループワークを,参加者や主催者が振り返りやすい形で提供するための記録・分析方法について研究を進めています.相談と作業の両方を伴うグループワークの特徴量として参加者視野に出現する手の量を提案し,時間経過に応じた場面の変化や異なるグループ間での協力様式の違いを明らかにしました.

研究室ウェブサイト

http://www.ccm.media.kyoto-u.ac.jp/