報告番号※甲第主号

論文の要旨

論文題目

A Study of the Multi-view 3D CG Image Quality
Assessment Including the Image Characteristics（画像特徴を考慮した多視点裸眼 3DCG 画像の符号化画質評価に関する研究）

氏

河畑 則文

名論文

内容の要旨

近年の裸眼 3D テレビやディスプレイの普及により，メガネ無しでも 3D 映像が楽しめるようになった．また，映画館やホームシアター，ディジタルサイネージ，スマートグラス，HMD (Head Mounted Display) の普及により，気軽に 3D 映像を楽しむことができ，AR (Augmented Reality) や VR (Virtual Reality)，MR (MixedReality) を始めとして，仮想現実感に関する研究が活発に議論されるようになってきた．従来のフルハイビジョン画質 (Full HDTV (FHDTV)) の 4 倍の画面解像度を持つ 4K 画質 (Quad Full HDTV (QFHDTV)) の高精細テレビや高精細ディスプレイの普及により，静止画像や動画像の品質評価や注視領域の評価に関する研究は再び注目されてきた．これにより，3D 映像の画質も向上することになり，再注目されるようになってきた．2020 年には NHK が 8K 映像の放送に向けたスーパーハイビジョン放送の試験実施を予定しており，今後，ますます画質の向上とユーザーエクスペリエンスの向上が期待され，3D 映像の画質の更なる向上も期待される．多視点 3D 映像についても，表示方法，提示方法，生成手法を含め，画質評価に関する議論や研究開発が日々行われてきている．特に，2010 年は 3D 元年と呼ばれ，「アバター」を始めとする，3D 映画が世界的にヒットした．アクティブシャッ
ターメガネ方式や偏光メガネ方式を用いて映画館で気軽に 3D 映像を楽しめるようになった．その後，メガネ方式対応の 3D テレビが一般家庭にも普及してきて，3DBlu-ray 対応の再生機の登場もあって，容易に 3D 映像を楽しめるようになってきていた．現在 (2016 年から 2017 年) では，ウェアラブル機器やスマートグラスの普及，裸眼 3D ディスプレイシステムの価格が以前より安価になってきたこともあり，今度は裸眼 3D 映像のブームが始まりつつある．
3D 映像に関する課題や原因として，以下に示す 3 点が挙げられる．第一に，3D

映像の長時間視聴による眼精疲労の原因が未だに明らかではないことが挙げられる．このことに関しては，眼精疲労の原因が表示するディスプレイにあるのか，表示される静止画像または映像コンテンツにあるのか，それとも，視聴者や評定者にあるのかを考えていく必要がある．今までに，調節と輻輳の不一致に関する研究や長時間視聴による疲労の原因についての研究がなされてきたが，特定の原因や要因については現時点ではよくわかっておらず，疲労の少ないディスプレイやそれらの人間工学的な評価により，要因について解明していく必要があると考えられる．
第二に，3D 映像のコンテンツが十分に普及しなかったことや 3D 映像の再生機(3D 対応テレビ，Blu-ray 3D 等) が十分に普及していないことが挙げられる．ディ
ジタルカメラやビデオカメラ，一眼レフといった撮像機器で立体映像の撮影可能なものは少なく，非常に高価である．そのため，3DCG の方が比較的に制作し易い（カメラワーク，物体のモデリングからレンダリングによる生成が比較的容易，コンピュータ上なので自分の好きなように制作可能）とされている．しかしながら，コンテンツ製作者側からすれば，高コストの割には労力がかかるとされており，如何にして，限られた時間内で高品質なものを製作するかが重要となっている．そこで，最近では，コンピュテーショナルフォトグラフィ (Computational Photography)やイメージベースドレンダリング (Image Based Rendering: IBR) を用いて，ハードウェア面からは，画像処理の高速化，ソフトウェア面からは，画質改善に関する研究開発が行われている．
第三に，ユーザーが満足できる 3D 映像のコンテンツが十分に普及していないことが挙げられる．従来から，3D 映像に限らず，一般的な画像及び映像配信データベースを構築する際に，ユーザーの満足度や評価はコンテンツに依存する可能性が指摘されており，その点に関しての研究が多く行われてきている．しかしながら，映像コンテンツの品質に関して，本格的に研究されるようになってきたのはこ
こ最近のことであり，従来は，各々の状況に合わせて考えられていた．例えば，通信品質に関する評価技術，人間工学に基づく生体情報，個人特性に関する評価技術，画像領域を考慮した符号化画質に関する評価技術，電子透かしの埋め込みに関する評価技術，色情報に関する評価技術，出版物に対する評価技術等が挙げられる．従来から，品質評価に関して，情報通信分野においては，通信サービスの品質を表す QoS (Quality of Service) が多く用いられてきた．しかしながら，QoS のカバーする領域は多岐に渡っており，それが通信品質を表すのか，それともコンテンツ品質を表すかの区別が曖昧になってきた．それに加えて，現在，様々なマルチメディアコンテンツを利用できる次世代ネットワーク (Next Generation Network:NGN) の普及により，QoS はネットワークの性能に対応付けられて考えられるようになった．それで，2007 年に ITU-T がユーザー体感品質を表す QoE (Quality ofExperience) を定義した．これにより，QoS はサービス提供側から見たサービス品

質の尺度，QoE はユーザーから見たサービス品質の尺度と区別されるようになった．現在，立体映像における QoE を考慮した評価に関する研究も積極的に進められている．また，スマートフォンの普及により，ユーザーはいつでもどこでも自由に好みの映像コンテンツを視聴することが可能になった．しかしながら，IP ネッ
トワークは従来から画質よりも速度を重視する傾向（ベストエフォート型）であることが問題とされている．このことから，映像コンテンツに関する評価方法は重要であり，3D 映像においても，コンテンツに関する評価方法が重要になってきている．
本論文では，(1) では 3D 映像に関して，(2)-(4) では多視点裸眼 3D 画像に関して，以下のことに着目することで，実験や解析を行い，その結果について考察した．

(1) 3D 映像に関するアンケート結果の統計的分析(2) 8 視点パララックスバリア方式における 3DCG 画像の物体領域または背景領域に符号化劣化が生じた場合の主観品質評価(3) 可視型電子透かしを考慮した 8 視点裸眼 3DCG 画像の品質評価(4) S-CIELAB 色空間を用いた 8 視点裸眼 3DCG 画像の符号化画質評価
全体的に述べると，(1) については，3D 映像の長時間視聴による眼精疲労の原因について統計処理を用いて考察を述べた．また，3D 映像を提示するディスプレイを複数用いて評価を行うことにより，ディスプレイ間の関係性について述べた．

(2)-(4) については，多視点裸眼 3D 画像において，ユーザーが満足できるために，画像の特徴を考慮することにより，主に，符号化画質，符号化領域，視点数，電子透かし，コントラスト強調に関して提示パターンを変化させ，評価を行い，統計的分析により考察を述べた．
具体的に述べると，(1) では，3D 映像に関して性別，年齢層別，視力矯正別に着目した．まず，3 種類の 3D ディスプレイ（レンチキュラレンズ，偏光メガネ，アクティブシャッターメガネ方式）において，同一の CG コンテンツを提示した場合に，3D 映像に関するアンケート調査を行い，個人特性を考慮して分析することで，3D 映像特有の評価項目に関して，個人特性との関係を明らかにした．
(2) では，物体または背景領域を符号化劣化させた場合，背景領域がカラー，グレースケールである場合に実験を行い，その結果を分析することにより，符号化パラメータと画像領域，主観品質との関係を明らかにした．
(3) では，多視点 3D 画像に透かしを入れた場合に，符号化劣化の度合いや，視点数，画像領域別，透かし強度に着目したり，周波数領域における透かし位置を変化させたり，色情報に基づく可視型電子透かしについても検討していくことにより，これらのパラメータと主観品質の関係を明らかにした．

(4) では，多視点 3D 映像を実用化する上で，まずは，多視点 3D 画像において，明度を変化させたときにどの程度なら許容できるかを主観的に，そして，視覚の空間周波数特性が考慮された S-CIELAB 色空間を用いて，多視点 3D 静止画像の適切なコントラストや明るさについて，客観的に検証し，画像全体，物体領域を含む場合について議論を行った．輝度値や CIEDE2000 を用いて色差を測定することにより，これらを定量化し，総合評価を行い，各々の実験間の関係を明らかにした．
本論文では，第 1 章において，本研究を行う必要性，新規性，意義，課題を中心として，本論文の全体的な研究背景，研究目的，構成について述べる．
第 2 章では，本研究で用いる多視点パララックスバリア方式や 3DCG について説明する．また，関連した立体視について単眼立体視から多視点立体視まで立体方式や表示方式に関して，簡潔に述べていく．
第 3 章では，本研究で用いる画質評価に関する実験方法や評価方法 (DSIS 法) を始めとし，代表的な画質評価手法や実験方法を含めて，立体映像に関する評価方法についても述べる．
第 4 章では，幅広い年齢層の評定者に対して，3D 映像に関するアンケート調査を行い，その後，3 種類の 3D ディスプレイを用いて臨場感に関する評価を行い，ディスプレイ比較を統計的に解析することで，議論を行う．
第 5 章では，領域別に符号化劣化させた場合かつ背景領域がカラーまたはグレースケールの場合に主観品質評価を行い，実験結果を統計的に分析し，SVM を用いて統計的に分類を行うことにより，議論を行う．
第 6 章では，可視型電子透かしを考慮した 8 視点裸眼 3DCG 画像の品質評価について，領域別，視点数，透かし位置，色情報に基づいた透かしについて相互に比較を行うことにより，議論を行う．
第 7 章では，視覚の空間周波数特性を考慮している S-CIELAB 色空間を用いてコントラスト強調に関して，8 視点裸眼 3DCG 画像の符号化画質評価を行い，コントラスト強調させない場合，画像全体にコントラスト強調させる場合，物体領域にコントラスト強調させる場合に主観評価実験を行い，統計的に分析を行い，輝度値や CIEDE2000 に関する客観評価との比較を行うことで議論を行う．
最後に，第 8 章では，本論文の結論と今後の展望を述べる．