称号及び氏名

博士（工学）

学位授与の日付

2022 年 9 月 23 日

論「組込み機器に適用する動画像符号化処理技術に

文

名伊藤浩朗関する研究」

論文審査委員

主査

吉岡

理文

副査

藤本典幸

副査

森直樹

論文要旨

近年，デジタル放送受信端末，スマートフォン，ビデオカメラ等の民生機器や，監視カメラ，車載カメラ等の産業機器など，様々な分野における組込み機器で動画像の録画，再生が可能になっている．加えて，昨今ではカメラの高解像度化が進んでおり，大容量の動画像データを圧縮符号化する動画像符号化技術は現代の社会生活において重要な要素技術の１つになっている．
動画像符号化方式は，異なる機器での再生互換性を目的に，1980 年代より国際標準規格の策定が進められており，これまでに MPEG-2，MPEG-4，H.264/AVC 等の国際標準規格が策定されている．しかしながら，上述の国際標準規格では，符号化処理部で生成される符号化データのシンタックスと，復号化処理部における復号化処理手順のみが規定されており，符号化処理については，規格で定められた複数種類の符号化ツールのうち，どのツールを用いるか，あるいはどのようにして符号化ツールを選択するか等については規定されておらず，符号化処理の複雑さ，圧縮効率，画質等の観点で製品間の差別化要素と位置づけられている．
また，上述した国際標準規格の動画像符号化方式では，量子化に伴う画質劣化を低減する符号化歪低減処理が設けられているが，時系列での画質の不連続性については必ずしも十分に考慮されていないとの課題がある．
また，上述した動画像符号化処理を組込み機器上で行う際にはその性質上，いくつかの課題が挙げられる．1 点目はリアルタイム処理に対する課題である．事前にストレージ等に蓄積された動画像データをオフライン，即ち非リアルタイムで符号化処理することが可能な場
合には，各符号化モードでそれぞれ符号化処理と復号化処理を行い，発生符号量や符号化画像の画質等の観点から最適な符号化モードを選択することが可能であり，1 フレームの符号化処理に要する時間についてはあまり大きな制約が求められない．一方，カメラ画像に対して符号化処理を行う場合には，常に所定の時間内に 1 フレームの符号化処理を完了させるよう設計する工夫が求められる．また，ビデオカメラ，監視カメラ等では符号化データを蓄積する際のストレージ容量あるいは符号化データを伝送する場合の伝送レートに関して制約が生ずる場合が多く，画質を維持しながら発生符号量をできるだけ少なくすることが求められる．
以上を鑑み，本論文では，組込み機器上で実行する動画像符号化処理技術について述べる．
本論文で取り扱う 1 点目の課題は，符号化に要する処理負荷の低減化である．H.264/AVC
では，従来の符号化方式と比較して参照画像からの予測機能が拡張されており，これにより高い圧縮率を実現しているが，その反面，最適な予測機能を選択するための処理負荷が高くなっている．特に B ピクチャでは，前方予測，後方予測，双方向予測の 3 種類の予測方向に対する動き探索を行う必要があり，所望の圧縮率や画質を維持しながら実時間処理を実現するには処理負荷の低減が課題となっている．
2 点目の課題は，符号化に伴う画質劣化の抑制である．H.264/AVC では，符号化処理単位であるマクロブロックの境界部で画素値が不連続となるブロック歪を抑制することを目的に，マクロブロック境界を挟む水平，垂直各 8 画素に対してフィルタ処理を行うデブロッキングフィルタが規格として設けられている．一方で H.264/AVC では，I ピクチャが挿入された周期に同期して符号化画像上に発生するちらつき（以下，イントラフリッカ）について十分に考慮されておらず，画質上での課題となっている．
3 点目の課題は，圧縮率の向上である．H.264/AVC では画面間予測における多様なブロックサイズや画面内予測が新設されることにより，従来比 2 倍以上の圧縮が実現可能となってい る ．一 方 で ， 画 像 デ ー タ 内 に は そ の 画 像 を 利 活 用 す る ユ ー ザ の 用 途 に よ っ て 重 要 な
ROI( Region Of Interest)領域と，あまり重要ではない領域 (非 ROI 領域)が含まれるが，領域の重要度に応じて発生符号量を調整する手法については必ずしも十分に考慮されておらず，高い圧縮率を実現する上での課題となっている．
本論文では以上の課題に対して以下のアプローチを提案する．
1 点目の課題に挙げた符号化処理負荷の低減化について，前方予測のみを行う P ピクチャに対し，B ピクチャでは前方予測，後方予測，双方向予測の 3 種類の予測モードが存在するため処理負荷が増加する点に着目し，B ピクチャにおける動き予測の処理負荷低減を提案する．具体的には，前方予測と後方予測でそれぞれ最適となるブロックサイズを算出し，その結果から双方向予測における最適なブロックサイズを推定する．これにより，双方向予測における動き予測回数を削減し，符号化処理時間の低減が可能となることを示す．
2 点目の課題に挙げた画質劣化の抑制について，I ピクチャでは，画面間予測ではなく画面内予測だけを用いるために画質劣化の性質が変化し，イントラフリッカとして視認されることに着目する．具体的には I ピクチャの符号化画像に対して，イントラフリッカが視認されやすい平坦領域のマクロブロックの画素値を，直前の P ピクチャにおける同一空間位置のマクロブロック内平均輝度値を用いて補正することでイントラフリッカ低減が可能となることを示す．
3 点目の課題に挙げた圧縮率の向上については，自動運転システムに適用される車載カメラの動画像符号化処理を適用事例として検討する．自動運転システムでは，搭載されたカメラで取得した画像に対して，画像中の車両，歩行者，二輪車等を含む領域を抽出する画像認識機能が存在することを利用し，左記で抽出した領域を ROI 領域に，背景領域を非 ROI 領域に分類する．その上で，ROI 領域に対しては通常の H.264/AVC 符号化処理を適用し，非ROI 領域に対しては画像を水平，垂直ともに縮小した後に H.264/AVC 符号化処理を適用する．これにより，ROI 領域の画質を維持しながら非 ROI 領域の発生符号量を削減し，圧縮率の向上が可能となることを示す．
本論文の構成は以下の通りである．
まず第 1 章では，本研究の背景として動画像符号化技術および国際標準規格の概要と，これを組込み機器上で処理する上での課題について述べる．
第 2 章では，B ピクチャにおける動き予測の処理量を低減する手法について詳しく説明する．最初に，組込み機器上で H.264/AVC の符号化処理を行う際のパイプライン構成，P ピクチャおよび B ピクチャにおける動き予測処理の概要を示し，動き予測の処理量低減に向けた従来技術を紹介する．次に提案手法における動き予測処理量低減方法について説明する．提案手法では，B ピクチャにおける動き予測において，前方予測と後方予測の各動き予測で選択された最適なブロックサイズから，双方向予測における最適なブロックサイズを推定する．
提案手法と従来手法を，B ピクチャに対する符号化効率と符号化処理時間についてソフトウェアシミュレーション上で比較し，提案手法は，符号化効率をほぼ同等に保ちながら，従来比で 40.9～41.5[%]の符号化処理時間削減が可能であることを示す．
第 3 章では，イントラフリッカの低減手法について詳しく説明する．最初に H.264/AVCで規定されるデブロッキングフィルタの仕様について示し，次に本章で課題とするイントラフリッカの発生要因について説明し，本画質劣化が上記デブロッキングフィルタでは十分に抑制できないことを説明する．次に提案するイントラフリッカ低減手法について説明する．
提案手法では，I ピクチャの画像中からイントラフリッカが視認されやすい領域をマクロブロック単位で抽出する．次に，左記で抽出した補正対象マクロブロックに対して，上記 I ピクチャに対して時間的に直前となる P ピクチャのうち，同一空間位置となるマクロブロックの平均輝度値を用いて補正を行う．提案手法と従来手法についてフリッカ低減効果をソフトウェアシミュレーション上で比較し，提案手法では従来手法よりイントラフリッカ低減効果が最大で約 11[%]上回ることを示す．
第 4 章では，適応スケーリングを活用した圧縮率向上手法について詳しく説明する．最初に H.264/AVC およびその拡張規格である H.264/SVC について概要を示し，ROI を活用した従来の符号化技術を紹介する．次に提案手法による発生符号量低減手法について説明する．
提案手法では，自動運転システムに用いられる車載カメラ画像を符号化する場合を具体事例として検討し，入力画像を重要な領域(ROI 領域)と，重要でない領域(非 ROI 領域)に分別する．このうち非 ROI 領域に対しては水平，垂直とも 2 マクロブロックを単位としてこれを 1マクロブロックに縮小した後に符号化処理を行うことで ROI 領域の画質を維持しながら発生符号量の低減を図る．提案手法と従来手法についてソフトウェアシミュレーション上で発生符号量を比較し，提案手法は従来手法と比較して，ROI 領域の多い一般道シーンで 19～41[%]，ROI 領域の少ない高速道シーンで 28～65[%]の符号量削減が得られることを示す．
最後に第 5 章では本研究で得られた結果を総括するとともに，今後の研究課題について述べる．

審査結果の要旨
本論文は、録画装置等に広く使用されている動画像符号化処理技術に関する研究をまとめたものである。特に相対的に処理能力の低い組込み機器に適した符号化技術について、処理負荷の低減、圧縮率の向上、画質劣化の抑制の観点から考察し、以下の成果を得ている。
（１）負荷の低減について、前方予測のみを行う P ピクチャに対し、B ピクチャでは前方予測、後方予測、双方向予測の 3 種類の予測モードが存在するため処理負荷が増加する点に着目し、B ピクチャにおける動き予測の処理負荷低減を提案している。具体的には、前方予測と後方予測でそれぞれ最適となるブロックサイズを算出し、その結果から双方向予測における最適なブロックサイズを推定、これにより、双方向予測における動き予測回数を削減し、符号化処理時間の低減を達成している。
（２）圧縮率の向上については、自動運転システムに適用される車載カメラの動画像符号化処理を適用事例として検討している。自動運転システムでは、搭載されたカメラで取得した画像に対して、画像中の車両、歩行者、二輪車等を含む領域を抽出する画像認識機能が存在することを利用し、抽出した領域を ROI 領域に、背景領域を非 ROI 領域に分類している。その上で、ROI 領域に対しては通常の H.264/AVC 符号化処理を適用し、非 ROI 領域に対しては画像を水平、垂直ともに縮小した後に H.264/AVC 符号化処理を適用してる。これにより、ROI 領域の画質を維持しながら非 ROI 領域の発生符号量を削減し、圧縮率の向上を達成している。
（３）画質劣化の抑制について、I ピクチャでは、画面間予測ではなく画面内予測だけを用いるために画質劣化の性質が変化し、イントラフリッカとして視認されることに着目して抑制手法を提案している。具体的には I ピクチャの符号化画像に対して、イントラフリッカが視認されやすい平坦領域のマクロブロックの画素値を、直前の P ピクチャにおける同一空間位置のマクロブロック内平均輝度値を用いて補正することでイントラフリッカ低減を達成している。
以上の諸成果は、動画像符号化処理を行う装置全般に有効であり、特に負荷の低減は組込み機器等の処理能力の低い装置に有効である。また、申請者が自立して研究活動を行うのに必要な能力と学識を有することを証したものである。
学位論文審査委員会は、本論文の審査および最終試験の結果から、博士（工学）の学位を授与することを適当と認める。