称号及び氏名

博士（工学）

学位授与の日付

平成 30 年 3 月 31 日

論「リアルタイム動画像圧縮伸張機能を実装する文

名

谷田部祐介

Kikuo Takeda

ハードウェア設計技術に関する研究」

論文審査委員January

主査

吉岡

理文

副査

本多克宏

副査

藤本典幸

論文要旨

近年，スマートフォンやビデオカメラなど民生モバイル機器が爆発的に普及している．この様なモバイル機器では高機能化が進み，リアルタイムでの動画像記録，再生が可能となっている．また，動画像の画像サイズも高精細化が進み，4k2k サイズ（3860 画素 x2160 画素）での記録・再生が可能な機種も発売されており，膨大なデータ量を有する動画像情報のデータ量圧縮は必須の技術となっている．
民生モバイル機器における動画像データの圧縮には，再生機器間の互換性を保証した動画像圧縮の国際標準方式である ISO/IEC 勧告の MPEG2 や，ITU-T 勧告の H.264 等に準拠した手法が用いられるのが一般的である．この国際標準方式では，圧縮データの再生方法のみが規定されており，画質の劣化を抑えた高圧縮手法や，低回路規模での実装手法等については規定されていない．よって，これらの手法については，各使用者が自由に研究開発可能であり，搭載機器の差別化要素となっている．また，圧縮データの伸張後の再生画像には，画像圧縮に起因する圧縮ノイズが発生しているが，再生画像にエッジ強調等の高画質化処理を施す際に，圧縮ノイズを強調してしまうなどの悪影響を与える可能性があり，ノイズ低減処理が実施されることが多い．
これら動画像圧縮伸張に関する機能のモバイル機器への適用については，膨大な処理量をリアルタイム且つ低消費電力で処理する必要があり，LSI（ Large Scale Integration）や FPGA（Field-Programmable Gate Array）等のハードウェアデバイスにハードウェアロジックとして実装されることが多く，リアルタイム処理をするための高速化を可能とする並列処理化技術，低消費電力化のために類似処理を共通回路化し回路規模を低減する処理共有化技術等が用いられている．
本論文では，このリアルタイム動画像圧縮伸張機能を実装するハードウェア設計技術について述べる．
ハードウェア設計技術の先行研究としては，圧縮規格に定義されているフレーム内での処理の参照性を排除したスライス構造毎に処理を並列化する手法や，類似機能を共通化して回路規模低減を行う手法が提案されている．しかし，これら先行研究においては，並列化における画質維持の観点や，複数圧縮規格同時使用時の更なる低消費電力化，圧縮ノイズ低減機能併用時の回路共有化の観点ではまだまだ課題がある．
1 つ目の課題は，処理並列化における画質維持の問題である．動画像圧縮や伸張の処理では，1 枚のフレーム内を複数のブロックに分割してスライス構成を形成し，そのスライス毎に並列化して同時に処理する手法が用いられている．これによりリアルタイムでの圧縮伸張処理を可能とするが，この複数のスライス毎に独立して画質制御が行われるため，スライスの境界面で画質の違いによる段差状のノイズが発生することがあり，画質が劣化してしまう課題があった．
2 つ目の課題は，複数圧縮規格同時使用時の更なる低消費電力化の問題である．動画像圧
縮データを再生する際のアプリケーションに合わせて既に記録されている動画像圧縮データを異なる圧縮規格に変換するトランスコード，異なる規格で同時に記録するデュアルエンコードと呼ばれる機能がある．これらの場合，動画像圧縮や伸張処理を同時に行うが，大きな回路規模を要する動き推定回路が規格毎に必要となり，回路規模が大きくなるという課題があった．特に，モバイル民生製品で利用可能な軽量な共有化手法が必要である.
3 つ目の課題は，圧縮ノイズ低減機能併用時の回路共有化による低消費電力化の問題である．圧縮データの伸張後に圧縮ノイズ低減処理を実施する際に，表示ディスプレイのインターフェースに合わせてラスタスキャン順に入力される画素データに対して，複数ラインを保持してフィルタリングを行うためのライン単位の保持メモリ（ラインメモリ）が，圧縮ノイズ検知用と，ノイズ低減フィルタリング用で別々に必要となる場合があり，メモリを構成する SRAM（Static Random Access Memory）の量が増大するという課題があった．
本論文では以上の課題に対して以下のアプローチを提案する．
1 つ目のアプローチは，画質劣化の原因であるフレーム内での分割処理の改善を図るため，圧縮処理におけるコンテキスト適応型 2 値算術符号化（CABAC：Context-based Adaptive
Binary Arithmetic Coding）がフレーム毎の処理依存性が無い事に着目し，並列化の単位をフレーム内とせずに，時間の異なるフレーム毎に並列化する手法を提案する．これにより，フレーム内を分割処理しないため，境界部分での画質の劣化が発生しない高画質な画像圧縮を実現する．
2 つ目のアプローチは，MPEG2 と MPEG4 の 2 つの異なる圧縮規格に対して，両者の動き推定に用いる参照フレーム関係を同様とし，MPEG4 の動き推定に MPEG2 の動き推定結果を利用する事で，動き推定に用いる回路を共通回路化する手法を提案する．この際，高画質記録を目的とする MPEG2 と，配信用の低レート圧縮を目的とする MPEG4 では画像サイズが異なるため，画像サイズの違いに応じて動き推定量を変換し，MPEG4 で再調整することで画質劣化を抑制する．これにより圧縮の性能を維持したまま大幅な回路規模の削減を可能とする．
3 つ目のアプローチについて説明する．動画像圧縮データ伸張後の再生画像に対して圧縮ノイズを低減する処理を実施する際に，動画像圧縮の詳細パラメータを入手できずに，映像のみから圧縮ノイズを検出し，圧縮ノイズ低減フィルタリング処理を実施するシステムにおいて，両者の処理タップ数の違いに着目し，画素をライン単位に保持するラインメモリを共有化する手法を提案する．これによりノイズ低減性能を維持したまま多くのラインメモリを削減可能であることを示す．
本論文の構成は以下の通りである．

まず第 1 章では，本研究の背景や動画像圧縮伸張機能の概要と，従来用いられているハードウェア実装に関する設計手法の概要，問題点について言及する．
第 2 章では，H.264 のエンコーダにおいて，圧縮パラメータと画像を高効率に圧縮するCABAC を，フレーム単位に並列処理する手法について詳しく説明する．CABAC 処理概要と並列化に関する従来研究について紹介し，提案方式におけるハードウェア構成，フレーム単位の並列化の制御方法について説明する．そして，ソフトウェアシミュレーションにより，本手法と従来手法の定量画質指標（PSNR：Peak Signal-to-Noise Ratio）により約 1.0dB の画質劣化を抑制でき，主観画質の比較によっても境界部において段差状のノイズが発生していないことを示した．また，本手法を FPGA に実装し，リアルタイムでの動作が可能であることを確認した．
第 3 章では，MPEG2 と MPGE4 のデュアルエンコードにおいて，両者の動き推定に用いる参照フレーム関係を同一とし，MPEG4 は MPEG2 の動き推定の結果を共通利用することで，MPEG4 の動き推定回路を MPEG2 の動き推定回路と共通化する手法について詳細を説明する．まず，両者の規格概要と従来構成について示す．そして，提案方式である動き推定回路を共有化する手法において，回路構成，動き推定量の利用方法について詳細を説明する．
その際，動き推定を行うブロックサイズは MPEG2 と MPEG4 で同様だが，画像サイズについて MPEG4 は縮小画像を用いるため，MPEG4 が使用する動き推定量は，MPEG2 の複数ブロックの動き推定結果から 1 本を選択して使用することが求められる．本手法では， 軽量且つ局所的な特異値を採用しないようにするため，MPEG2 の複数の動き推定量の候補について，MPEG4 の周辺の動き推定量から算出した符号化に用いる動き推定量に最も類似する動き推定量を選択し，MPEG4 で再調整を行う手法を提案する．本手法を実際にソフトウェアシミュレーションにより性能比較を行い，MPEG4 単独で動き推定をする手法と比較してほぼ同等の PSNR を達成し，画質維持が可能であること，また，MPEG4 における約 27％（170kG）の回路規模を削減可能であることを確認した．
第 4 章では，圧縮ノイズ低減処理におけるノイズ検知ブロックと，ノイズ低減フィルタリングブロックのライン単位に画素値を保持するラインメモリを共有化する手法について，詳細を示す．まず，画像圧縮により発生するブロック状のノイズであるブロックノイズと，画像の輪郭部で特に知覚されるモスキートノイズと呼ばれる圧縮ノイズの発生原理について説明する．そして，従来の処理方法である両者のノイズ低減ブロックをカスケード的に接続する構成において，両者のノイズ低減処理におけるノイズ検知とノイズ低減フィルタリングに必要となる処理タップ数に着目し，モスキートノイズ低減処理については，ノイズ検知がノイズ低減フィルタリングよりも多タップ数が必要であるというミスマッチがある事を説明する．この場合，ノイズ検知処理が終了するまでノイズ低減フィルタリングの実施が判定できないため，ノイズ低減フィルタリング用の画素を遅延させて保持する必要が生じる．この遅延用のラインメモリを，ブロックノイズ除去に用いるラインメモリと共有化する手法を提案する．本手法をソフトウェアシミュレーションにより共有化の有無による画質の比較を行い，ほぼ同等の PSNR を得ることができ，本共有により画質劣化は軽微であることを確認すると共に，FHD の映像を保持するラインメモリとして約 500kbit の SRAM 量を削減可能であることを示す．
最後に第 5 章では，本研究で得られた結果を総括すると共に，今後の研究課題について述べる．

審査結果の要旨
本論文は，スマートフォンやビデオカメラ等に用いられるリアルタイム動画像圧縮伸張回路の設計技術について研究を行ったものであり，画質を維持しつつ，回路の並列化による高速化と類似処理の共通化による回路規模縮小の観点から検討を行い，以下の成果を得ている．
（１）圧縮処理におけるコンテキスト適応型 2 値算術符号化がフレーム毎の処理依存性が無い事に着目し，並列化の単位をフレーム内とせずに，時間の異なるフレーム毎に並列化する手法を提案している．これにより，従来フレーム内で分割処理を行っていた際に発生した境界部分での画質劣化を抑制し，高画質な並列圧縮処理を実現している．
（２）MPEG2 と MPEG4 の２つの異なる圧縮規格に対して，回路規模の大きい画像内の動き推定部分に着目し，両者の動き推定に用いる参照フレーム関係の類似性に基づき，MPEG2 の動き推定結果を MPEG4 に援用する事で，回路を共通化する手法を提案している．この際，両規格の差によって，そのままでは動き推定の誤差が大きくなるが，画像サイズに応じて推定誤差を再調整する変換手法を考案し，圧縮性能を維持したまま大幅な回路規模の削減を可能としている．
（３）動画像圧縮データを伸張した際，再生画像には圧縮によるノイズが発生する．このノイズを低減する処理において，ノイズ検出処理と，検出された画素に対してノイズ低減処理を実施する両者の処理タップ数の違いに着目し，画素をライン単位に保持するラインメモリを共有化する手法を提案している．これによりノイズ低減性能を維持したまま多くのラインメモリが削減可能であること示している．
以上の研究成果は，リアルタイム動画像圧縮伸張回路の設計において回路規模の縮小，高速化に大きく寄与するものであり，当該分野の学術的，産業的な発展に貢献すると考えられる．また，申請者が自立して研究活動を行うのに必要な能力と学識を有することを証したものである．
学位論文審査委員会は，本論文の審査ならびに最終試験の結果から，博士（工学）の学位を授与することを適当と認める．