氏名　小谷　一孔
学位の種類　工学博士
学位記番号　博甲第17号
学位授与の日付　平成2年3月26日
学位論文の題目　画像の客観的画質評価尺度と次世代符号化方式に関する研究
論文審査委員
　主査　教授　宮原　誠
　副査　教授　丸林　元
　副査　教授　袖山　忠一
　副査　教授　大竹　孝平
　副査　助教授　荻原　春生
　副査　助教授　江島　俊朗

• 論文目次
• 論文要旨

［平成元（1988）年度博士論文題名一覧］ ［博士論文題名一覧］に戻る．

目次
第1章　序論
1.1　研究の背景　p.5
1.2　研究の目的と概要　p.7
第2章　視知覚特性
2.1　まえがき　p.11
2.2　視知覚系の階層モデル　p.12
2.3　画像全体に関する視知覚特性　p.14
2.3.1　Weber-Fechnerの法則と均等尺度
2.3.2　視覚の空間周波数特性
2.4　画像の輪郭における視知覚特性　p.16
2.4.1　マッハ効果
2.4.2　クレークオブライエン効果
2.4.3　マスキング効果
2.5　時空間相関の知覚　p.18
2.6　動画像に対する視知覚特性　p.20
第3章　歪要因に基づいた客観的画質評価尺度（PQS）
3.1　まえがき　p.21
3.2　PQSの定義　p.22
3.2.1　符号化誤差の計算
3.2.2　視覚の空間周波数特性の考慮
3.2.3　基礎歪要因の定義
3.2.4　基礎歪要因の主成分分析
3.2.5　PQSの計算
3.3　PQSによる画質評価実験の条件　p.34
3.3.1　テスト画像の種類
3.3.2　符号化の種類
3.3.3　主観評価実験
3.4　計算結果　p.38
3.4.1　主成分Zj
3.4.2　偏回帰係数bo、bi
3.4.3　画質評価結果
3.5　汎用性　p.42
3.5.1　固有ベクトル
3.5.2　偏回帰係数
3.5.3　他の画像での評価結果
3.6　必須歪要因　p.46
3.6.1　主成分Zjの物理的意味
2.6.2　必須歪要因
3.7　検討　p.50
3.7.1　限定条件下で精度のよいPQSを得る方法
3.7.2　第6の歪要因（F6）
3.8　むすび　p.53
付録　p.53
第4章　ニューラルネットワークを用いた客観的画質評価尺度（PQS-NN）
4.1　まえがき　p.59
4.2　PQS-NNシステム　p.60
4.2.1　構成
4.2.2　学習アルゴリズム
4.2.3　中間ユニット数
4.3　画質評価結果　p.64
4.4　特性　p.66
4.4.1　学習画像数と評価性能
4.4.2　学習精度と評価性能
4.4.3　PQS-NNが学習しているもの
4.5　検討　p.72
4.5.1　汎用性
4.5.2　学習時間
4.6　むすび　p.73
第5章　歪要因を入力とするニューラルネットワークを用いた客観的画質評価尺度（PQS-NN2）
5.1　まえがき　p.75
5.2　PQS-NN2システム　p.77
5.2.1　歪の特徴量
5.2.2　システム構成
5.2.3　学習アルゴリズム
5.2.4　中間ユニット数
5.3　画質評価結果　p.81
5.4　特性　p.84
5.4.1　学習画像数とMOS推定性能
5.4.2　学習精度とMOS推定性能
5.4.3　中間層の機能
5.5　むすび　p.88
第6章　客観評価尺度に基づく系統的符号化（第2世代符号化）
6.1　まえがき　p.89
6.2　PQSに基づく適応符号化方式　p.91
6.2.1　モデルとなる適応符号化方式
6.2.2　画質評価尺度
6.2.3　符号化アルゴリズム
6.2.4　量子化特性
6.3　結果　p.100
6.3.1　量子化特性
6.3.2　符号化再生画像
6.4　むすび　p.111
第7章　筋肉モデルに基づく顔画像の第3世代符号化方式
7.1　まえがき　p.113
7.2　表情筋と表情　p.120
7.2.1　表情筋の伸縮と表情
7.2.2　表情筋伸縮量の推定
7.2.3　伸縮量の統計的性質
7.3　符号化　p.123
7.3.1　符号化・復合化手順
7.3.2　結果
7.4　検討　p.126
7.4.1　画質評価
7.4.2　第3世代符号化の将来
7.5　むすび　p.128
第8章　画像符号化の展望
8.1　まえがき　p.129
8.2　今後期待される系統的符号化　p.130
8.2.1　ベクトル量子化
8.2.2　ニューロCoder
8.2.3　ブロックサイズを可変にした符号化
8.3　むすび　p.135
第9章　結言　p.137
謝辞
参考文献　p.143
著者発表論文一覧

　高度情報化社会の急激な発展により、様々な情報メディアが生まれ、成長してきた。中でも画像は人間の知覚、認識、思考に直接的に大きく役するのでメディアの主役になりつつある。更にVLSIやEWS等のハードウェアの急速な進歩も手伝って、専門の研究者でなくても画像処理や画像の符号化を行えるようになってきた。しかしながら、画像符号化は思い付きレベルの方法を星の数ほど並べても殆ど進展が期待されないところまで発展してきている。画像符号化技術の更なる発展の為には、画像の性質と画像の最終受容者である人間の視知覚、認識系の性質を深く理解し、系統的議論によって研究開発を進めることが不可欠である。
　画像符号化の研究を系統的に進める為には、符号化で劣化した画質を評価する計量的な評価尺度が必要である。なぜなら、評価尺度があれば、その評価値を最大にするという定量的な問題として符号化の研究を行えるからである。評価尺度として従来、荷重平均2乗誤差（WMSE）が用いられてきたが、この尺度はランダムな誤差の量を評価できるが、視知覚的に大きな妨害となる画像のlocal featureを損なう画像歪を評価できなかった。このため、画質評価には人間が直接目で見る主観評価を行わざるを得なかったが、この方法は評価条件や評価者の心理的、肉体的条件により評価結果が変動する上、長い時間と労力を要した。
　本研究の目的は、人間の代りに正しく画質を評価できる客観的画質評価尺度を与える事である。この様な評価尺度が得られれば、人間が知覚する歪を最小にする符号化が実現できるだけでなく、符号化アルゴリズムの検討や符号化パラメータの決定を評価値を基に系統的に行えるので、いわゆる系統的符号化を実現できる。
　本論文では、3種類の客観的画質評価尺度について論じる。第1番目の評価尺度では、評価尺度の定義を簡潔かつ容易にする為、先ず画像信号を視知覚的に均等な空間に変換する。そして、1）画像全体に妨害を与えているglobalな符号化誤差、2）local featureの損傷、の双方を定義し、これらの主成分分析と重回帰分析によって計量的評価尺度を作る。第2の画質評価尺度では、ニューラルネットワーク（NN）に符号化誤差と慎重に主観評価して得た画質（MOS）との関係を学習させて評価尺度を作る。第3の画質評価尺度は、第2の尺度に比べて汎用性を改善するため予め歪の特徴抽出を行い、抽出された特徴と画質との関係を学習させて評価尺度を得る。
　本論文の後半では上記客観的画質評価尺度の性能を確かめる為、これら評価尺度に基づいた次世代（第2世代）の符号化方法である系統的符号化の一例を示す。更に新しい試みとして、これまでの符号化とは全く異なる考え方から生まれた顔画像モデルに基づく符号化方法（第3世代符号化）を示す。最後に画像符号化の今後の発展の方向を考察する。以下に本論文の各章を要約する。
　2章では、画像符号化と視知覚特性との関係を中心に画質評価尺度に必要な視知覚特性に関する知識を説明する。
　3章では、第1の評価尺度（PQS; Picture Quality Scale）について論じる。ここでは、先ず、画像妨害となる歪をその特徴に基づいて基礎歪要因に分類し、各基礎歪要因から主成分分析と重回帰分析により、PQSの構成に不可欠な基本歪要因を抽出し、その物理的意味を明確にする。そして、それら基本歪要因の線形和としてPQSを得る。そして、このPQSが汎用性の高いものであることを示す。
　4章では、第2の評価尺度、即ち、NNにテスト画像の符号化誤差とMOSとの関係を学習させて評価値を推定する方法について論じる（これをPQS-NNと表す）。これはテスト画像専用の評価尺度であり、第1のPQSの様な汎用性は無いが、人間の視知覚特性の知識を全く与えなくても、未学習の画像に対してMOSを良好に推定できる事を示す。更に、NNの係数から、学習によりPQS-NNが人間の視知覚特性と同様な特性を持つという非常に興味深い結果を示す。
　5章では、第2の評価尺度の欠点である画像依存性を除去し、汎用性を得る為にPQSで用いた基礎歪要因をNNに入力してMOSとの関係を学習させて評価値を推定する第3の評価尺度について論じる（これをPQS-NN2と表す）。PQS-NN2は、画像内容に殆ど依存せず、MOS値を良好に推定できる。また、PQS-NN2の中間層に主成分分析に近い機能がある上、学習が進むにつれてPQS-NN2が人間の高度な視知覚特性を重視するようになる事を示す。
　6章では、PQSに基づいて設計した系統的符号化（これを第2世代符号化と呼ぶ）の一例を示す。
　7章では、顔画像の構造モデルに基づいて高能率に符号化する第3世代符号化方式の一例を示す。これは、表情を作る要素である表情筋の伸縮量を顔画像の特徴点から推定し、その分散、相関等を考慮して量子化・符号化するものである。
　8章では今後の画像符号化の発展の方向を検討した。客観的画質評価尺度に基づく系統的符号化に於いては、研究の中心がアルゴリズムになると考察されたので、幾つかの符号化アルゴリズム案を示す。又、画像符号化の研究開発の具体的指針を示した。