氏名　渡邉　昭二
学位の種類　博士（工学）
学位記番号　博乙第223号
学位授与の日付　平成16年6月16日
学位論文題目　非言語ヒューマンインタフェースのための動作の特徴抽出と意味理解に関する研究
論文審査委員
　主査　教授　中村　和男
　副査　教授　花木　真一
　副査　教授　福本　一朗
　副査　教授　大里　有生
　副査　教授　山田　耕一

• 論文目次
• 論文要旨

［平成16（2004）年度博士論文題名一覧］ ［博士論文題名一覧］に戻る．

目次

第1章　緒論　p.1
　1.1　緒言　p.1
　1.2　非言語表現の研究動向　p.1
　1.2.1　非言語メディアの種類　p.1
　1.2.2　身体動作の分類　p.2
　1.3　非言語ヒューマンインターフェースの既存研究の動向　p.3
　1.4　自然なしぐさの非言語ヒューマンインターフェースへの活用意義　p.8
　1.5　本研究の目的　p.11
　1.6　本論文の概要　p.11
　参考文献　p.12

第2章　実場面でのコミュニケーション動作観察　p.15
　2.1　緒言　p.15
　2.2　予備観察調査　p.15
　2.2.1　予備観察調査とデータ整理　p.15
　2.2.2　身体動作の変位の抽出　p.16
　2.3　幼稚園でのコミュニケーション動作観察　p.20
　2.3.1　動作観察とデータ整理の方法　p.20
　2.3.2　多変量解析手法による特徴抽出　p.21
　2.3.3　考察　p.28
　2.4　老人ホームでのコミュニケーション動作観察　p.28
　2.4.1　動作観察とデータ整理の方法　p.29
　2.4.2　多変量解析手法による特徴抽出　p.30
　2.4.3　考察　p.40
　2.5　結論　p.41
　参考文献　p.41

第3章　非言語表現の理解構造モデルと分析方法の枠組み　p.43
　3.1　非言語表現の理解構造モデル　p.43
　3.2　非言語表現の理解構造モデルの特徴　p.46
　3.3　非言語表現の理解構造モデルの分析方法の枠組み　p.46
　参考文献　p.47

第4章　動作計測実験による非言語表現の理解構造モデルの評価　p.49
　4.1　緒言　p.49
　4.2　実験方法　p.49
　4.2.1　実験1:自然な動作の計測・理解実験　p.51
　4.2.2　実験2:人工的な動作の計測実験　p.53
　4.3　モーションキャプチャデータの加工方法　p.55
　4.4　物理的動作特徴の設定方法　p.56
　4.4.1　主成分分析を用いた機械的な物理的動作特徴の設定方法　p.56
　4.4.2　人間の主観を反映させた物理的動作特徴の設定方法　p.57
　4.5　言語的動作特徴と人物の感情・意図の抽出　p.58
　4.6　言語的動作特徴と人物の感情・意図の関連分析　p.63
　4.7　物理的動作特徴と言語的動作特徴の関連分析　p.65
　4.7.1　線形判別分析による分析　p.66
　4.7.2　ショケ積分エージェントネットワークによる分析　p.67
　4.8　実験者（分析者）の意図と観察者の理解の一致度の評価　p.73
　4.9　考察　p.75
　参考文献　p.76

第5章　コンピュータ作業観察による非言語表現の理解構造モデルの評価　p.79
　5.1　緒言　p.79
　5.2　実験方法　p.79
　5.2.1　実験室　p.79
　5.2.2　被験者　p.79
　5.2.3　コンピュータタスクの内容　p.80
　5.2.4　タスクの実施および観察記録方法　p.80
　5.2.5　取得データ　p.81
　5.2.6　質問紙調査　p.81
　5.3　言語的動作特徴と人物の感情・意図の抽出　p.82
　5.4　言語的動作特徴と人物の感情・意図の関連分析　p.85
　5.5　コンピュータタスク,被験者ごとの言語的動作特徴と人物の感情・意図の傾向　p.88
　5.5.1　各タスクと言語的動作特徴および人物の感情・意図の関係について　p.90
　5.5.2　各被験者と言語的動作特徴および人物の感情・意図の関係について　p.90
　5.6　考察　p.91
　参考文献　p.92

第6章　結論　p.95

本研究に関連した発表論文　p.101
　1.学会論文　p.101
　2.講演論文等　p.102

謝辞　p.105

一般的に非言語表現を媒介とするヒューマンインタフェースを非言語ヒューマンインタフェースというが，現状の非言語ヒューマンインタフェースにおいては，意識的な動作を活用しているものは多いものの，無意識的な動作すなわち自然なしぐさを活用しているものは少ないという動向にある．ここで自然なしぐさを活用したヒューマンインタフェースを構築することは，人間と機械との親和性を向上させ，非言語表現を通した感情や意図のやりとりなどが期待できることから，作業時においてストレスの緩和，意欲の向上などの効果をもたらし，人に優しい情報環境を実現していく上で意義深いことと考えられる．
本研究では，自然なしぐさを活用したヒューマンインタフェースの構築に向けて，（1）実際の身体動作から，動作特徴を抽出し，動作特徴の定性的認識を介して実際の身体動作に込められた人物の感情・意図を理解するというプロセスを持つ構造モデルを提案する，（2）提案モデルに従い，実際の身体動作を見た第三者がどのように動作特徴や人物の感情・意図を捉えて理解しているか言語カテゴリを媒介にして分析する，（3）自然なしぐさを活用したヒューマンインタフェースの構築に向けて，人物のしぐさからその感情・意図を理解するための情報融合手法の実現方法についての提案を行う，という3つのことがらを達成することを目的とした．
　まずは予備的な観察調査として，繁華街，幼稚園，老人ホームという異なる3種類の実場面での動作観察を行った．動作観察の映像からアンケート調査により特徴を抽出し，多変量解析手法による分析を行うことで，（1）言語的に部位，動作，動作の意味をとらえグループ分け出来る，（2）情感表示，調整子，適応子の表出が多用されている，（3）微妙な感情や態度を伝えるのに首や頭などの動員が重要である，ということがわかった．
次に，非言語表現からその意味を理解していくための人工的な情報処理プロセスの枠組みとして，観察実験，分析結果，既存研究を踏まえて非言語表現の理解構造モデルを設定した．具体的には，自然なしぐさの理解プロセスを，観察対象自体の様々な動作パターンとしての実際の身体動作，計測装置などによって得られる身体各部位の時系列的な位置座標などの動作の計測データ，動作の計測データを元に，動作中の各部位の移動方向や範囲，速度のレベルなど，より意味のある数値データとして抽出・加工した物理的動作特徴，動作における姿勢や身体各部位の動きの定性的特徴を言語により表現した言語的動作特徴，感情・意図の状態を言語により表現した人物の感情・意図の5段階の情報状態の間の変換メカニズムとして捉えることにした．非言語表現の理解構造モデルの特徴は，従来の研究例によく見られる物理的動作特徴から人物の感情・意図を直接認識するのではなく，マクロ的な動作特徴としての言語的動作特徴に変換することで，内部構造がブラックボックス化せず人間に理解しやすいことである．また言語的動作特徴としての要素的な動作パターンを明らかにし，それらを中間階層として導入することは非言語インタフェースを構築する上でシステム構造の単純化に役立つと考えられる．
次に非言語表現の理解構造モデルの評価のために，体に光学マーカを貼り付けた被験者の動作の計測データを3次元動作解析装置によって計測する動作計測実験を行った．特に頭部の動きに関係するコミュニケーション動作に着目し，動作計測実験を経て身体各部位の位置座標の時系列計測データを収集し，そこから物理的動作特徴の指標を構築した．さらに，これらの指標と質問紙調査によって抽出された人物の言語的動作特徴および感情・意図との関連構造は多変量解析手法，ショケ積分エージェントネットワークによる柔軟な情報融合手法により分析された．得られた分析結果等から，非言語表現の理解構造モデル，質的データ分析，ファジィ論的アプローチの有効性が確認された．
最後にヒューマンインタフェースへの適用場面をコンピュータタスク時に限定し，観察実験，分析を行うことで，非言語表現の理解構造モデルにおける言語的動作特徴と人物の感情・意図の表現用語の類型化，およびそれらの関連性の把握などを行い，ヒューマンインタフェースへの身振り理解の適用の可能性を検討することを目的とした．観察実験は3タイプのコンピュータタスクに対して行われ，様々な動作についての特徴や感情・意図の言語表現を得て，パターン分類と判別分析が行われた．分析結果から，部分的ながらも言語的動作特徴と人物の感情・意図の関連構造が明らかになり，身振り理解の有効性が確認された．以上のことをまとめると，頭部を中心とした上半身の動作に限定して非言語コミュニケーション動作の分析，理解を行ってきたが，情報融合手法などにおいてまだまだ吟味の余地があるといった問題があるものの，コンピュータタスクなどの限られた場面においては，本研究で提案した非言語表現の理解構造モデルは，十分自然なしぐさを活用したヒューマンインタフェースシステムの動作認識・理解の部分に適用可能であると考えられる．