平成  年度
修士学位論文

準動画向け超軽量動画圧縮処理方式

          

橋本 正和

指導教員

岩田 誠

 年  月  日
高知工科大学大学院 工学研究科 基盤工学専攻
情報システム工学コース

要 旨

準動画向け超軽量動画圧縮処理方式
橋本 正和

昨今，高性能  技術やネットワーク技術の進展に伴い，映像メディアが様々な用途に活用され， や  などの標準方式も普及している．しかし，これらの標準方式は多様なアプリケーションを想定しているため，用途によっては過剰な仕様になり，高コストになる恐れがある．
そこで本研究では，遠隔監視や遠隔講義など，比較的動き領域が小さい動画，すなわち，
準動画を対象とした簡易で高速な映像処理システムの構築を目的としている．準動画は人間の認知特性と酷似しており，これに認知特性を利用することにより，最適な映像圧縮が可能となる．本稿ではカメラアングル固定時に，指定した注視領域を基準として圧縮する手法により処理の軽量化を図った．さらに領域ごとの圧縮手法として，加減算のみで簡単に計算可能なピクセルベースの圧縮・伸張方式を採用し，より軽量化を図った．これを並列処理能力に優れたデータ駆動型プロセッサ  を用いて実装し， サイズの画像を約  の品
質， !" で圧縮可能であることを確認した．
キーワード

準動画# ピクセルベース# データ駆動$$  

          

% & '  '(  & (&)* Æ! 



 !& )(*    +, !& )(*#(    + )* - ) .  / - '') !  " 0- &# /) / !'   -!&   1#       &/ 2')  (" 3+/#   &    * /)/ -'4-- - !  '! 5! !&' '') !  )
6&-!&   ')   -/ )) ! *    ')( *  2!-  &*  ( ) '-'  !' &!& "

 !&     2) & (  -' ) (& + (& !'     ' ! -+& !& &   +   27! " !)  )  & ' 2 +   ' ! -   &- !(/   - ) ." 6&#   

)+ 8-) * " 0- &#& !&# &/ !&! /* ' ! - 

& (& 8-) *     ! 2!,(-  

!&
! 

!' '  !) ' ! - 

 




  -! !'-   ) !')9 *#  ' 9)/)- 2  !' !& -(( & 2)!, - !  ! (  ' ! - !' !&  !& 

-!')!  :;6  :%6" 6& !&& )   /)  &   ! (      !& ( ( &  .

/*

' ! - " 6& !& + ')       /   '!   !& /    !    ' ! -  2-   ' ! - 8-) *"     ! -#  9)  # :  : /
$  $

目次
第章

序論



第章

準動画の特徴と既存の映像処理の概要

"

緒言 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " ""

準動画の特徴 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "<"

人間の映像認知特性" " " "" " " "" " " "" " " "" " "" " " "" " " "" "="1

既存の領域抽出手法" " " "" " " "" " " "" " " "" " "" " " "" " " "" "



"1"

ブロックマッチング法 " " " " " " " " " " " " " " " " " " " " " " " " "



"1"

領域分割法 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "



"1"

問題点 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "

" " " "" " " "" " " "" " " "" " "" " " "" " " "" "



">"

フレーム間圧縮による映像符号化 " " " " " " " " " " " " " " " " " " "



">"

フレーム圧縮による映像符号化 " " " " " " " " " " " " " " " " " " " "

1

">"

問題点 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " ">

結言 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " ">

準動画向け超軽量映像処理



"

緒言 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "

<

"

超軽量映像処理 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "

<

""

領域抽出手法" " " "" " " "" " " "" " " "" " "" " " "" " " "" "

=

""

ピクセルベース圧縮伸張" "" " " "" " " "" " "" " " "" " " "" "



">

"
第章

既存の画像圧縮手法

"

注視領域圧縮処理"" " " "" " " "" " " "" " " "" " "" " " "" " " "" "



"1

周辺領域圧縮処理"" " " "" " " "" " " "" " " "" " "" " " "" " " "" "



">

領域別アルゴリズムの性能評価" "" " " "" " " "" " "" " " "" " " "" "1$  $

目次

"

領域指定による問題点" " "" " " "" " " "" " " "" " "" " " "" " " "" "

>

"<

通常時の映像圧縮処理" " "" " " "" " " "" " " "" " "" " " "" " " "" "



"=

動き領域の適応的伸縮" " "" " " "" " " "" " " "" " "" " " "" " " "" "

<

"

結言 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "

=

性能評価



1"

緒言 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "



1"

シミュレータの原理" " " "" " " "" " " "" " " "" " "" " " "" " " "" "



1"

シミュレーション手法" " "" " " "" " " "" " " "" " "" " " "" " " "" "



1"1

実装手法

" "" " " "" " " "" " " "" " " "" " " "" " "" " " "" " " "" "

>

1">

測定手法

" "" " " "" " " "" " " "" " " "" " " "" " "" " " "" " " "" "



1"

性能評価

" "" " " "" " " "" " " "" " " "" " " "" " "" " " "" " " "" "

=

1"<

結言 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "

1

結論



第章

第

章

謝辞



参考文献



付録

"

画質評価手法

映像の客観評価 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "1=

"" ?@ " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "1=

"" @ " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "

>

""

>

コントラスト誤差 " " " " " " " " " " " " " " " " " " " " " " " " " " "

$ $

図目次
"

準動画

" " " "" " " "" " " "" " " "" " " "" " " "" " "" " " "" " " "" "<"

認知特性 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "="

基本映像圧縮伸張処理 " " " " " " " " " " " " " " " " " " " " " " " " " " " " "" 6; の基本アルゴリズム " " " " " " " " " " " " " " " " " " " " " " " " " " "



"

基本 6; 処理結果画像 " " " " " " " " " " " " " " " " " " " " " " " " " " " "



"

注視領域における符号・復号化アルゴリズム " " " " " " " " " " " " " " " " "



"1

周辺領域における符号・復号化アルゴリズム " " " " " " " " " " " " " " " " "



">

注視領域用処理結果画像 " " " " " " " " " " " " " " " " " " " " " " " " " " " "

1

"

周辺領域用処理結果画像 " " " " " " " " " " " " " " " " " " " " " " " " " " " "

>

"<

通常時の映像圧縮" "" " " "" " " "" " " "" " " "" " "" " " "" " " "" "



"=

動き領域の適応的伸縮 " " " " " " " " " " " " " " " " " " " " " " " " " " " " "=1" :: のナノプロセッサ構成 " " " " " " " " " " " " " " " " " " " " " " " "

1" :: の並列概念図 " " " " " " " " " " " " " " " " " " " " " " " " " " " " "

1" :: の内部構成 " " " " " " " " " " " " " " " " " " " " " " " " " " " "



1"1

注視領域用フローグラフ概念図 " " " " " " " " " " " " " " " " " " " " " " " "



1">

周辺領域用フローグラフ概念図 " " " " " " " " " " " " " " " " " " " " " " " "

<

1"

スループット算出手法イメージ図 " " " " " " " " " " " " " " " " " " " " " " "

=

1"<

超軽量映像圧縮方式の性能"" " " "" " " "" " " "" " "" " " "" " " "" "1" 映像の構成 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "

>

$

$

表目次
" ，，1 の比較 " " " " " " " " " " " " " " " " " " " " " " " " " " " "



"

量子化逆量子化 " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "



"

ピクセルベース圧縮手法の特性 " " " " " " " " " " " " " " " " " " " " " " " "

1

1"

動き領域の割合に対するスループット性能"" " " "" " "" " " "" " " "" "



1"

動き領域の割合に対する圧縮率性能 " " " " " " " " " " " " " " " " " " " " " "



$



$

第章

序論
昨今，高性能  技術やネットワーク技術の進展に伴い，映像メディアが様々な用途に活用され， や  などの標準方式も普及している ．

 とは，A; の動画像音声符号化グループ B/ (  ! - ! ( 9'-'C のことであり# このグループにより標準化された動画符号化方式の名称にもなって
おり，現在までに # ，1 が標準化されている．

  と は ，静 止 画 符 号 化 方 式 の B 

& ('& ! 9'-'C を改良し， 年に標準化された静止画圧縮技術である  を，連続再生することにより動画として表示する技術である ．

1 を例に取ると，その想定用途は多種多様で，用途に応じたプロファイルとレベルが定義されている 1．ビジュアル・プロファイルにおいては， つのプロファイルとそれに応じたレベルが階層構造で定義されており，さらにオーディオ・プロファイルには 1 つのプ
ロファイルとレベルが定義されている．このように，これらの標準方式は多様なアプリケー
ションを想定しているため，用途によっては過剰な仕様となる可能性がある．また，それを実現するために高いハードウェアパフォーマンスが要求され， 技術が発展したとはいえ，高コストになる恐れがある．ネットワーク利用を想定した場合でも，過剰な仕様であれば，余分な付加情報までも必要となり，無駄にネットワーク帯域を利用しなければならなくな
る．無駄なく用途に応じた映像圧縮処理の実現も，映像圧縮処理技術の重要な課題である．
既存の圧縮アルゴリズムとして，フレーム毎圧縮に :;6B離散コサイン変換C や :%6B離散ウェーブレット変換C，量子化，ランレングス符号，ハフマン符号，算術符号，フレーム間圧縮に動き推定，動き補償が用いられる．さらに 1 では圧縮率を向上させる手法と$$して，オブジェクト符号化が利用されている．既存の標準方式ではこれらの手法を組み合わせることにより，汎用性に富んだ画質・圧縮率・速度性能を保証している．しかし，これらの標準方式は，浮動小数点演算など，高負荷の計算が必要であったり，多くのメモリ領域が必要であったりする．さらにフレーム間圧縮のために画像解析が必要となるため計算量は膨大となり，圧縮システムの軽量化には適していない．
また，用途に応じた映像圧縮処理といっても，その用途は 1 の例にあるように多種多様である．そこで，前述した各種圧縮アルゴリズムを縮小可能であるような映像として，準動画を選択し，最適な映像処理システムの構築を目標とする．
準動画とは，フレームレートが少ない，または，通常は静止状態で，ある時刻だけ動画として見えるような映像を指し，例としては遠隔監視や，遠隔講義・会議などがあげられる．
また，これらの映像は動きのある領域が局所的であり，通常は特定の領域内のみで動きが生じるという特徴がある．
準動画を対象として圧縮処理を検討する上で，日常ごく普通に行っている人間の生活に視点を置き，人間が行う情報処理やその特性から最適な映像圧縮伸張処理を考案する．
人間のコミュニケーションは，聴覚，視覚，触覚など，通常，五感のほとんど総てを使って表現し，理解している．その中で映像に関係のある視野に注目すると，視野は，「見る」という行動から二種類の状態で構成されているといえる．一つは意識的に「見ている」という状態であり，人間は被写体の形状・状態など多くの情報を元に認識する．二つ目は無意識に「見えている」という状態で，意識していないため，少ない情報だけで認識する．つまり，「見「見えている」領域 B周辺領域C の情報ている」領域 B注視領域C の情報伝達が保証されれば，量は少なくても認識可能であるといえる．これは，人間には周辺視野の認識率が低いという認知特性のためである．映像を見る人間の視覚認識がそのような特徴を持つのであれば，映像も視覚と同じように注目する領域と，周辺領域とで情報量を変化させることにより，的確な映像処理が実現可能となる．
そこで人間の認知特性を活かした映像圧縮処理を検討する．映像を注目領域と，それ以外の周辺領域に分離するために，以下の二つの重要な問題がある．

$$" 領域を抽出するための最適な手法を考慮しなければならない
" 抽出した領域ごとに最適な圧縮処理を考慮しなければならない
" に関しては，既存の領域抽出手法としてブロックマッチング法や，領域分割手法がある．ブロックマッチング法は，平行移動で画像内の動きを近似可能であるという見地から誕生したアルゴリズムである．画像を適当なブロックに分割し，ブロック単位で平行移動量分を求めるというアルゴリズムで， の動き検出などで用いられる．領域分割法はリ
モートセンシング画像の解析過程などで行われ，古くからその方式として統合法，分離・統合法，弛緩法など数多く提案されている．しかし，これらを用いた領域抽出法はいずれも計算量が膨大で，準動画向けの簡易圧縮・伸張には適していない．そこで本研究では，カメラアングル固定時に利用者が一度だけ，動きがあると推測される任意領域を指定する手法をとり，領域抽出時にかかる演算負荷を軽量化することで対応する．

" に関しても，様々な映像圧縮処理が考案されており，先ほど述べた標準方式も利用可能な一手段である．本稿では圧縮時の演算にかかる負荷の軽量化を考慮し，映像圧縮・伸張処理を行うための最適な方式として，ピクセルベース圧縮手法を採用した．ピクセルベース
圧縮方式は，< 年に発表された 6;B!, 6- !

 ; (C を基本方式とする．

6; は :;6 や +/) 等の周波数変換のような高負荷な演算を使用せず，加減算とシフ
ト演算のみで簡単に計算可能で，かつ，ピクセル単位であるため，並列処理が容易な圧縮・伸張処理方式である．さらに 6; は静止画圧縮用に提案された手法であり，動画を対象とした場合に，フレーム間情報を独立に扱えるという利点がある．この方式を採用することにより，圧縮時における演算負荷の軽量化を図った．
以上のことを考慮し，本研究では，準動画を圧縮する上で最適な映像処理アルゴリズムとして，以下の手法を考案した．

 カメラアングル固定時に，動きがあると推測される領域 B注視領域C を利用者に指定してもらう

 注視領域符号時に情報量を最小のまま，復元時に表現可能な色数を拡大するために，画$$質を重視した圧縮伸張処理方式の提案

 周辺領域符号時の情報量を少なくするために，圧縮率を重視した圧縮伸張処理方式の提案
上記手法では，通常時には利用者が指定した領域のみの圧縮処理となり，指定した領域から物体がはみ出した場合に映像が切れた状態となってしまう．本研究では，このような映像の不具合に対しても，適応的に動き領域を伸張して映像圧縮する方式を提案する．具体的には，画面を   のタイルに分割し，動き領域の境界タイルと画像全体の境界タイルで，毎フレーム単位に輝度値の変化により動きの有無を検査し，変化があれば圧縮対象タイルとする．これにより，動き領域の形状を更新しながら適応的な圧縮が可能となる．
本手法は，任意領域の位置情報における計算が最低一回は必要となる．また，動き領域の検出のために，毎フレーム単位で境界タイルを検査する必要がある．これら位置情報の演算処理によるオーバーヘッドをできるだけ最小にするために，利用ハードウェアを::B:  : / -)   ! C に想定した．:: は画素の位置情報を世代番号として識別しており，多数の連想処理が，並列に実現可能であるという特徴を有す
る．また，組み込み型・極省電力・超高速といった利点もあり，既存の標準映像圧縮方式を専用ハードウェアで実装する場合に比べて，本システムに適用し易いといえる．
これらの提案方式を， 個のプロセッサを搭載した :: のシミュレータ Bシャープ
製データ駆動型プロセッサシミュレータC 上で実装し，シミュレーションで，画面全体に占める動き領域の割合におけるスループット性能，並びに圧縮率を算出した．また，本方式と同じく，動き推定などフレーム間情報の圧縮を行わない，既存の標準方式である

  との比較を行った．

第  章では，準動画の特徴と人間の認知特性の共通点をあげ，既存の領域抽出手法，標準
映像圧縮処理手法のしくみを述べる．また，標準映像処理の汎用性に富むことから起因す
る，演算時の高負荷における問題を述べる．
この問題を受けて第  章では，準動画向けの超軽量映像処理全体の概要を述べ，領域抽出$$時の演算をできるだけ軽量化する領域抽出手法を提案し，領域抽出後の領域別の圧縮処理手法として，単純な演算で実現可能なピクセル・ベース圧縮手法の提案をする．次いで，提案した手法を準動画に適用する場合のアルゴリズムを提案し，領域抽出から起因する，指定した領域からのはみ出しに対応するために，指定領域を適応的に伸縮して，画像を補間する手法を提案する．
第 1 章で，シミュレータの原理とシミュレーション手法，スループット性能，圧縮率に関する評価結果を述べ，既存の  との比較を行い，第 > 章で本研究の成果，

今後の課題を考察する．

$

$

第章

準動画の特徴と既存の映像処理の概要

 緒言映像メディアが様々な用途に活用されるようになり，圧縮伸張処理の重要性が高まっている．多様なアプリケーションにおける数々の要求に応えるべく，映像・音声における標準化が盛んとなり， や  が誕生した．

しかし，総ての用途において標準技術が有効とはいえず，例えば動きのある時間・領域が少ない監視や講義・会議などにおいても，動き補償などの過剰な処理を行わなければならない．このような映像は準動画とよばれており，動きのある領域は映像全体に対して局所的で，フレームレートも要求されないという特徴を有する．
一方，人間の視野の特性を考慮した場合，視野は注視領域と周辺領域に分離できる．注視領域は情報量が多く，周辺領域は情報量が低い状態で，物体または背景を認識している．つまり，注視領域の情報が保証されれば，それ以外の周辺領域の情報量は少なくてもよい．これは人間には周辺視野の認識率が低いという認知特性があるためである．この特性は準動画の特性と一致しており，準動画の圧縮・伸張に認知特性を活かせば，周辺領域 B動きの少ない領域C に対しては計算量を抑えることができ，高速な映像処理が可能となる．
これを実現するために，注視領域と周辺領域を抽出するための技術が必要であり，また，抽出した領域に対して行う適切な映像処理を選択しなければならない．既存の領域抽出手法
としては，ブロックマッチング法や，領域分割法があり，抽出領域に対して適用する代表的

$$

"

準動画の特徴な映像処理として， など代表される標準技術がある．
本章では，準動画を対象として映像を圧縮・伸張するシステムを実現するために，人間の認知特性と準動画の類似点を述べ，既存の領域抽出法，並びに既存のフレーム圧縮処理の概要と問題点を述べる．

 準動画の特徴
準動画とは，通常時は静止画と区別がつかない映像で，ある瞬間だけ動画のように見える
映像のことである．図 " の例は監視状況を図示している．誰もいない個所を監視した状態
ではほぼ静止画状態であり，誰かが通過するなどすると動画のように見える．正確に定義されてはいないが，このような映像を準動画または準静止画と呼ぶ．また，これらの映像はフレームレートをほとんど要求しないため，フレームレートが ' にも満たない映像に対して準動画と呼ぶ場合もある．

Steady Sean

Moving Sean

図 

Steady Sean

準動画

準動画はほとんど変化が無いという映像の性質上，ある一場面においてほとんどの領域が背景であり，時間的に見ても背景はほとんど変化しない．この観点からすれば，遠隔講義の映像も準動画といえる．講義風景において，講師や白板の文字などは絶えず動画として動くが，それ以外は背景としてほぼ静止状態である．
準動画に対して映像圧縮をする場合，動画として見える部分と，静止画として見える部分とで分離して圧縮するほうが，見たい部分の情報を保証したままで，高圧縮が実現可能となる．人間は普段の生活の中で，映像内で部分ごとに無意識に情報量を変化させて認識してい

$$

"

人間の映像認知特性

る．次節では人間の認知特性の仕組みと準動画との共通点を述べる．

 人間の映像認知特性
人間は雑音 BノイズC と共に生活を営んでおり，ノイズから得られる情報を無意識に吸収している．ノイズは人間の五感総てに影響を及ぼし，時折有益な情報となりうるが，通常ほとんどの情報は意味をなさない．人間は，ノイズを含む情報の中で，吸収したい情報のみを集中して取り入れることにより，認識を実現している．

周辺領域：
情報量小
注視領域：
情報量大

図  認知特性

人間のコミュニケーションは，聴覚，視覚，触覚など，通常，五感のほとんど総てを使って表現し，理解している．その中で映像に関係のある視野に注目すると，視野は，図 " に示すように，「見る」という行動から二種類の状態で構成されている．一つは意識的に「見ている」という状態であり，人間は被写体の形状・状態など多くの情報を元に認識する．二つ目は無意識に「見えている」という状態で，意識していないため，少ない情報だけで認識す「見えている」領域 B周る．つまり，「見ている」領域 B注視領域C の情報伝達が保証されれば，辺領域C の情報量は少なくても認識可能であるといえる．これは人間には周辺視野の認識率が低いという，映像の認知特性のためである．つまり，注視領域の情報伝達が保証されれば，それ以外の周辺領域の情報量は最小限でよいといえる．
また，ある一点を見ている状態で，周りで何かが動くと，動いたと思われる個所に視点を移すという特性もある．つまり，視野における変化 B動きC に対しては敏感であるという特性がある >．

$

$

"1

既存の領域抽出手法

動画像においての視野は画像全体である．動画像が静止状態のとき，意識的に一個所を注視したり，画面全体を漠然と眺めたりする．この静止状態からある一個所に変化がおきた状態に遷移すると，人間は変化のあったものに注目する．アニメーションや，グラフィックスなどの映像によっては画像が不連続に変化することもありうるが，自然画像を記録したような映像においては，画面上で連続的に変化が起こり，その変化に対して人間は注目し，物体を認識している．また，変化のある一個所が映像の一部分でのみ発生するような映像の場
合，ほぼ一定して映像の一部しか見ないことになる．例えば遠隔講義の場合，カメラが固定されると講師と白板はほぼ一箇所のみで変化する．
講師や白板を注視領域，それ以外を周辺領域とすると，準動画は人間の認知特性と同じ性質を持っているといえる．認知特性を動きのある領域が小さい準動画の圧縮に活用すれば，周辺領域，つまり動きの少ない領域に対しては計算量を抑えた圧縮・伸張ができ，高速な映像処理が可能となる．

 既存の領域抽出手法
領域の抽出手法は様々な手法が提案され利用されている．例としては， などでよく用いられるブロックマッチング法や，画像におけるオブジェクト抽出で利用される領域分割法がある．これらの特徴を次節より述べる．

 ブロックマッチング法
ブロックマッチングは，基本的にパターンマッチングであり， において動きを検出するために利用され，動き推定などで用いられる．画像内の動きは，ほぼ並行移動で近似可能であると仮定し，画像を適当なブロックに分割し，ブロック単位で並行移動分を求める，というアルゴリズムである．具体的な手順を以下に述べる．

" 対象フレームを適当なブロックに分割する． では，縦×横＝  ×  のブロックが用いられる．

$

$

"1

既存の領域抽出手法

" 一つのブロックに着目し，これを前フレーム上でスライドさせ，最も適合する部分を捜し出す．ブロック間の差分評価関数 を定義し，この距離が最小になるブロックを見つける．

" 前フレーム上での対象ブロックのシフト量をベクトルとして求める．これを 「動きベクトル（）」と呼ぶ．

1" 対象フレーム上のすべてのブロックに対する  を求める．

 領域分割法
画像に対して，それぞれの持つ特徴が一致する領域に分割する手法を領域分割とよぶ．この領域分割は，様々な手法が提案されており，小さな領域から一様な領域を統合する統合法，
弛緩法を用いる手法などがある <．
統合法には，単純統合法，反復型領域拡張法などがあり，単純統合法はラスタ走査である一点を探し，その点から閾値以下の隣り合う画素を統合してラベルを付加する．以降領域が広げられなくなるまで繰り返す．特徴として以下の点がある．

" 領域間の濃度レベルの変化がなだらかな場合や，領域間のエッジに隙間が  点でもあると， つの領域は統合されてしまう．

" 統合の程度は閾値によって調節可能．閾値を小さくすればするほどここの領域の面積が小さくなり，領域数が増加する．

反復型領域拡張法は初期値，増分の値は画像に存在するため，前もっての決定が困難である．また，この方法は上記 " の欠点をある程度防ぐ．
分割手法として分離・統合法があり，中間レベルの分割画像から出発し，まず各領域を定数 B平均濃度C で近似するアルゴリズムである．近似精度の低い領域は分離し，近似した隣
接領域は統合する．
平均二乗誤差 や，平均絶対値誤差 がよく用いられており，最も一致したものを参照するた
めに，相互相関関数とよばれる関数を用いる場合もある  ．
$  $

">

既存の画像圧縮手法

画素結合法は，隣接する画素間に何らかの関係を導入し，その関係の成り立つ画素対を順次結合する．この方式の利点は，結合の停止基準が明確であることであるが，画像のぼけや，雑音に弱いという特性がある．このため，前処理として平滑化を行うのが好ましい．
画像の不明瞭さ，高低周波ノイズのために，特徴量に曖昧さが存在すると，領域の細分化，
過併合が発生する．弛緩法を用いた領域分割は，その曖昧さを局所的な矛盾が少なくなるよ
うに，並列反復的に除去する方法である．分類法として，確率的弛緩法や勾配弛緩法がある．

 問題点
これまでに述べた領域抽出手法はごく一部ではあるが，このような領域抽出手法は，繰返しによる計算がほとんどで，計算量が膨大となる．また抽出画像の正確さなどの問題があり，これを解決するための手法の提案もなされているが，信頼度が高くなればなるほど，演
算負荷が高くなる．
ブロックマッチング法の探索方法として，全検索， 段階総検索，最数検索，共役方向探索などがあるが，映像符号化における最適なアルゴリズムは現在も研究中である ．
また，領域抽出の自動化において，領域の分割や統合をどこで停止させるかという問題
は，対象とする画像にも影響する．そのため分割数を自動的に決定することは困難であるといわれている <．

 既存の画像圧縮手法
既存の標準映像圧縮処理には， や  がある．これらの圧縮伸張処理は図 " に示すように，画像前後フレームの画面の違いを検出する動き検出・動き補償B  には無いC，画像情報を周波数情報へ変換する周波数変換，視覚的に不要な高周波成分の情報を削減する量子化，生起確率の高い符号に短い符号を割り当て低い符
号に長い符号を割り当てるエントロピー符号化# という手順で符号化され，復号化はその逆手順により実現する．

$  $

">

既存の画像圧縮手法

Encode
動き推定
動き補償

Input

周波数変換

量子化

符号化

逆周波数
変換

逆量子化

復号化

DecodeOutput

動き補償

図 

基本映像圧縮伸張処理

次節から標準映像圧縮処理である， と  について解説する．

 フレーム間圧縮による映像符号化
フ レ ー ム 間 情 報 を 圧 縮 す る 映 像 符 号 化 の 例 と し て  が あ る ． と は ，A;B国 際 標準 化 機 構国際 電 気 標 準会 議C の 動 画 像 音声 符 号 化 グル ー プ B/ ( ! - ! ( 9' -'C の名称である 1．動画・音声のディジタル圧縮方式の標準化を目的として，世界のディジタル映像技術者が == 年に設立した．同グループによって標準化された動画像圧縮符号化方式にこの略称が用いられ，現在までに ，，1 を標準化しており，現在 <， を標準化に向けて進行中である．
表 " は現在までに標準化されている ，，1 の用途や性能などを簡単にまとめたものである．

 は，;: @A や :6B: ( ) -  6'C などの蓄積メディアを対象としており，転送レートは最大 ">2' ，画質は 3 ビデオ程度の 1> であり，  ;: やカラオケとして，ネットを介した動画通信用として広く使用されている．

 は，より高画質を実現し，放送分野での応用を主目的として，より広範囲な応用を目指しており，転送レートは最大 2' ，画質は  3 ビデオ程度を実現している．

$  $

">

既存の画像圧縮手法

表  ， ， の比較

目的



 時 間 の 映 画 を ;:用途@A に保存囲に拡張
ビデオ ;:，カラオケ， ::  ，ディジタ

標準化年

A:


1

1
，

放送・通信を中心に広範

マルチメディアオブジェ

ル放送，A:，放送局

クトを時系列で表現
携帯電話，

  ，ディジタル放送，A:

内2  

">2' B数 ,2'  2' 2'>,2' ="12'

解像度

"=2'
>1，1<B<1・1C1=，多様，最大 ==利用技術

=#>
 B:;6 等C， イ ン タ レ ー ス ，

オブジェクト合成，合成

 ピクチャB動き予測C

映像，合成音声

ピクチャ

また， で対応していなかった放送やビデオに利用されるインタレース技法に対応
し，各種アプリケーション用に複数のプロファイルが定義されている．

1 は， よりも低ビットレートに対応した，高圧縮率符号化方式である．主な用途は携帯電話，3，電話回線，インターネットなど，低画質・高圧縮の映像配信を目的としている．画像と音声を合わせて 1,2' 程度の転送レートを実現している．1
はこれまでのように動画や音声を信号ではなく，内容の記述によって扱う，オブジェクト符号化方式を取り入れている．オブジェクトとしてデータを分別し，データを扱いやすくしている．

< は，これまでのように映像圧縮方式を規定したものではなく，検索などを目的とした記述方法の標準技術で，正式にはマルチメディアコンテンツ記述のインターフェー
ス B-)

  ; 

: ! '   !C とよぶ．コンテンツ内容や付加情報など$  $

">

既存の画像圧縮手法の記述についての標準技術となっている．コンテンツの特徴量を抽出・記述する技術と検索エンジンの技術が融合し，マルチメディアが利用し易くなる．B)! ! (- C  やホームサーバでの利用を想定している．
B: ( ) -  -)   0+,C は，マルチメディアコンテンツの配信サービスと，コンテンツの利用について必要な，情報データ BメタデータC  形式に関する技術規格の標準化団体である．

 フレーム圧縮による映像符号化
フレ ーム間情報の 圧縮無しにフ レーム毎に 圧縮する映像 符号化の例と して  がある．  とは， 年に 6D 6B国際電気通信連合E旧 ;;66C とAB国際標準化機構C が共同で定めた，カラー静止画像の圧縮・伸張の標準化規格である．
 と同様に，規格を制定した標準作成委員会 B & ('& ! 9' -'C が，

そのまま規格の名称となっている．  は静止画像に対する標準圧縮伸張方式であるが，この静止画像を映像の  フレームとして  枚ずつ圧縮し，高速に連続再生することで動画像として表示する方式として， がある" をさらに高画質・高圧縮率にする符号化方式として，  が  年に規格化された．従来の 方式では画像を離散コサイン変換 B:;6E画像を小さなブロックに分割して周波数成分係数を量子化・符号化する方式C で変換するが，  ではウェー
ブレット変換 Bウェーブレット関数で画像全体を周波数帯域に分けた縦横それぞれの周波数成分を量子化・符号化する方式C で変換する．これにより，  で解決できなかったブロッ
クノイズを解消し，可逆圧縮にも対応している．

 

 と同様に，フレーム単位に映像を  圧縮する方式を   とよぶ．  は  などと違い，フレーム間の動き予測など

 「電子番組ガイド」の略．

に番組表を表示するシステムで，番組表を，電波の隙間から専用の端末で受信する方式と，インターネット端末を利用する方式がある．衛星放送などで利用できる．
 著作権情報，など，メディアそのものに付随する各種情報．

$  $

"

結言を行わずに圧縮するため， が苦手といわれている動きの激しい映像でも圧縮効率が高い．

 問題点
標準映像圧縮伸張方式は，用途に応じて画質・圧縮率を向上可能な，汎用的な符号化方式である．しかし，動き推定・動き補償や，:;6・+/) などの周波数変換は，演算における負荷が高く，量子化テーブル，符号化テーブルを映像に応じて適応的に作成する場合はさらに高負荷となる．
また，ネットワークで有料配信や，セキュアな映像を送受信する場合，標準化であるため，暗号化しなければ盗聴などにより簡単に復号可能であり，その上，暗号化処理による負荷も高速化を困難にしてしまう．
これを実用化にするために ;  などの専用 ; が必要となるが，; の場合，特定の用途に設計・製造し，回路を固定してしまうため，要件が異なる各種サービスへの柔軟な対応が不可能となる．

 結言映像アプリケーションの拡大により，多様な要求に柔軟に対応するためには，用途に応じた圧縮・伸張処理システムの実現が急務である．そのためには，利用者の立場から処理方式を考案し，解決することが最重要といえる．しかし，既存の映像圧縮・伸張処理は汎用性に優れるものの，用途によっては過剰な処理が必要となり，利用者にとって使いにくいものとなってしまう．
本章では，人間の認知特性と準動画の共通点から，準動画に対しては，認知特性を活かした映像処理が有効であることを述べた．また，準動画の領域を抽出し各領域に対して処理する手法として，既存の技術利用を想定した場合，既存の領域抽出法，映像圧縮・伸張処理法

    の略．特定用途向け集積回路．
$ $

"

結言

の概要と問題点を述べた．
準動画の特徴から以上をまとめると，以下の  点の解決が重要であるといえる．

" 領域の抽出手法
領域の位置情報を求めるための計算量が膨大となるため，この演算にかかる負荷がボト
ルネックとならないように考慮しなければならない．

" 領域ごとの適応的映像処理抽出した領域に対する圧縮・伸張処理においても，できるだけ演算量が最小となるほうが望ましい．

" 各種サービスへの柔軟な対応
専用ハードウェアの場合高速であるが，用途ごとに ; を用意しなければならない．
用途に応じてソフトウェアをインストールすることで，柔軟に対応可能なシステム構成が望ましい．
本研究では，" における演算を最小にするため，利用者が最初に一度指定する方法を採用した．" には単純な演算のみで圧縮・伸張を実現し，並列性も活かせるピクセルベース手法を採用し，" には，組み込み型のハードウェアを用いることで対応した．次章で具体的な提案方式を詳細に述べる．

$  $

第章

準動画向け超軽量映像処理 緒言準動画は，人間の認知特性と同じように，注視領域と周辺領域に分離が可能である．領域を抽出する既存の方式では演算量が膨大となるため，映像圧縮システムの軽量化を目指すた
めには，できるだけ演算量が少なくなるような手法を取らなければならない．また，抽出したそれぞれの領域に対して行う圧縮・伸張処理も，演算時の負荷を最小にする手法が望ましい．
本章では，超軽量映像処理の概要を述べ，その中で用いる分離方法 B領域抽出手法C と，抽出した領域に適用する映像圧縮処理方式を述べる．
次に，提案手法を用いた映像圧縮処理のアルゴリズムと，領域抽出手法から生じる，映像の不具合に対応するための手法を提案する．

 超軽量映像処理
準動画は動きのある領域が局所的であることから，注視領域と周辺領域とに分離が可能である．このような映像を圧縮する場合，注視領域は情報量を多く，それ以外の周辺領域は情報量を少なくすることで，映像全体の圧縮率は高くなり，見たい部分の画質は保証され，高速な映像処理が可能となる．超軽量映像処理を実現するためには，領域抽出処理の軽量化，抽出後のそれぞれの領域の圧縮処理自体の軽量化が必要である．
領域抽出における問題点は，位置情報算出のための計算量が膨大なことである．近年の画$  $

"

超軽量映像処理

像認識の研究により領域の自動認識が可能となり，医療やリモートセンシングなどの分野で利用されつつある．しかし，この計算量を圧倒的に少なくする有効な方式はまだ確立されていない．そこで本研究はカメラアングルを固定した時点で，動きがあると予測される任意形
状領域を指定する手法を採用する．
領域ごとの圧縮手法として，標準技術を採用する場合，:;6 や +/) などの周波数変換のような高負荷な処理が必要となる．そこで加減算とシフト演算のみで簡単に計算でき，並列処理が可能なピクセルベース圧縮手法を導入し，さらに，注視領域用，周辺領域用に改良を加えたものを提案する．
しかし本方式の欠点として，通常時に動きがあると予測し指定した注視領域のみを圧縮処理対象とするが，指定は最初の一回であるため，注視領域外へ動きがはみ出す可能性がある．そこで，物体が切れた映像となる状態を防止するために，映像を適応的に補間する手法を提案する．

 領域抽出手法
前章で領域抽出手法の例として  種類述べたが，どれも準動画において有効な抽出手法とはいえない．
一方，近年の画像認識の研究において，複数カメラを用いて，人間など特定の領域を自動検出する方式などが報告されている =．具体的には，映像から得られる情報から動きベクトルを抽出し，動きベクトルで得られた領域を動いた領域として自動的に検出する．しかし， 章でも述べたが映像情報には様々なノイズが含まれており，このノイズを動きベクト
ルとして抽出してしまい，認識精度が落ちてしまう問題がある．これを解決するために，マスキングやフィルタリング，新たな認識方式の提案もされているが，自動的に動きを抽出するために，映像処理全体が高負荷となってしまう恐れがある．また，一部の映像圧縮処理においては映像認識を取り入れたシステムも現存するが，本稿が想定するような準動画に向けて映像圧縮処理の軽量化を図る上で，有効な領域抽出手法がまだ確立されていないのが現状
である．

$ $

"

超軽量映像処理

そこで本研究では，利用者がカメラ設置時に一度だけ領域を設定し，その後は通常どおり撮影する方式を採用する．利用者にとって自分で領域を設定しなければならないわずらわし
さは残るが，そのわずらわしさは最初の一回であり，領域を計算する必要性も最初の一回でよく，しかも注目したい個所を利用者自身が選択するため，正確に領域を抽出可能となる．
見たい部分は見易くそれ以外は通常以下の見易さとしたほうが，認知特性の観点から，人間がモノを認識する上で重要であるといえる．
次節では上記の方法で領域を抽出した後，領域ごとに行う映像圧縮伸張方式について述べる．

 ピクセルベース圧縮伸張
ピクセルベースの圧縮伸張方式として，6;B)!, 6- !
は 6; の基本アルゴリズムを図示したもので，静止画像を

 ; (C がある．図 "   の Bマクロブロッ

クC に分割し， を単位として，その平均値，標準偏差を元に，濃度差を表す量子化ビットを算出することにより画像を圧縮する．
図 " は，6; 処理を実行する自作のアプリケーションで，左側が符号化前の入力画像，
右側が 6; 復号後の出力画像である．6; はマクロブロックの基数

 を 1 とすることで，比較的良好な画質と圧縮率を保証している．
しかし，以下のような映像の場合も想定され，総ての映像においてこの算出方法が有効とはいえない．

" あるブロックに対応する映像の濃度差が極端に違う境界部分などには，演算時に利用するデータ B平均値，標準偏差C 量が少ない．

" あるブロックに対応する映像が平坦な背景などの場合，平均値のみでも十分に画質を維持可能であり，演算するブロック数も削減可能である．
本稿では領域に応じて画質，圧縮率を適応的に変動させる手法をとり，6; の拡張方式を提案する．

$ $"

超軽量映像処理

エンコード前のピクセル値

デコード後のピクセル値

114

103

115

102

122

104

122

104

143

130

110

106

122

122

104

104

120

99

98

122

122

104

104

122

119

116

112

100

122

122

104

104

EncodeDecodeBinary Quantiation

BTC Code

Ave:
SD:

113
9

Ave : Average
SD : Standard Deviation
図 

0

1

0

1

0

0

1

1

0

1

1

0

0

0

1

1

の基本アルゴリズム

Input Image

Output Image

図  基本

処理結果画像$  $

"

注視領域圧縮処理 注視領域圧縮処理
6; は 1  1 の領域において， つの濃度しかもてないため，境界部分や，色の濃淡が激しい画像において，ぼやけた画像となる．これを防ぐために， において 1 つの濃度がもてるような演算手法を考案した．

 F 1 の  を用いて，1 値量子化を行う．

つまり，

 符号時


画素値が平均値  標準偏差以下であれば量子化ビットを  とする．



画素値が平均値以下であれば量子化ビットを  とする．



画素値が平均値 G 標準偏差より大きければ量子化ビットを  とする．



画素値が平均値以上であれば量子化ビットを  とする．

 復号時


量子化ビットが  であれば画素値を平均値 B 標準偏差C とする．



量子化ビットが  であれば画素値を平均値  標準偏差とする．



量子化ビットが  であれば画素値を平均値 G 標準偏差とする．



量子化ビットが  であれば画素値を平均値とする．
表  量子化 逆量子化










量子化条件

復号式

         G G 

上記アルゴリズムの符号化条件と，逆量子化時の復号式を表 " に示す．ただし， の平均値

，標準偏差 ，画素 B C       の画素値  ，量子化ビット $  $



と

"1

周辺領域圧縮処理する．また，符号・復号化アルゴリズムを図 " に示す．

エンコード前のピクセル値

デコード後のピクセル値

114

103

115

102

113

95

113

95

143

130

110

106

122

122

104

104

120

99

98

122

122

95

95

113

119

116

112

100

113

113

104

95

EncodeDecodeSpace of
Regard CodeQuarternary Quantization

Ave:
SD:

113
9

01

11

01

11

00

00

10

10

01

11

11

01

01

01

10

11

図  注視領域における符号・復号化アルゴリズム

 周辺領域圧縮処理
周辺の領域は準動画の性質から，ほぼ静止状態であり，計算速度は高速であるほうが望ましい．また，認知特性から情報量は少なくてよいため，画質よりも圧縮率を優先した圧縮手法を提案する．
圧縮・伸張アルゴリズムを単純にするため， の基本単位を = に変更し，1 個の画素から平均値と標準偏差， 値量子化ビットを算出する．

 符号時


画素値が平均値以下であれば量子化ビットを  とする．



画素値が平均値より大きければ量子化ビットを  とする．

$  $

"1

周辺領域圧縮処理

 復号時


量子化ビットが  であれば画素値を平均値  標準偏差とする．



量子化ビットが  であれば画素値を平均値 G 標準偏差とする．

図 "1 に周辺領域における符号・復号化処理のアルゴリズムを図示する．

エンコード前のピクセル値
114 103 115 102 114 103 115 102
143 130 110 106 143 130 110 106
120 99 98 122 120 99 98 122
119 116 112 100 119 116 112 100
114 103 115 102 114 103 115 102
143 130 110 106 143 130 110 106
120 99 98 122 120 99 98 122
119 116 112 100 119 116 112 100

デコード後のピクセル値
122 104 122 104 122 104 122 104
122 122 104 104 122 122 104 104
122 104 104 122 122 104 104 122
122 122 104 104 122 122 104 104
122 104 122 104 122 104 122 104
122 122 104 104 122 122 104 104
122 104 104 122 122 104 104 122
122 122 104 104 122 122 104 104

EncodeDecodeAdjacent
Spaces Code

Binary Quantiation
1 0 1 0 1 0
0 1 1 0 0 1
1 1 0 0 1 1
0 1 1 0 0 1
1 0 1 0 1 0
0 1 1 0 0 1
1 1 0 0 1 1
0 1 1 0 0 1

Ave:
SD:

図 

113
9

0
0
0
0
0
0
0
0

1
1
0
1
1
1
0
1

周辺領域における符号・復号化アルゴリズム

単純ではあるが，この方式の利点は通常の計算量で圧縮が可能なことである．準動画を対象とした場合，周辺領域は全画面に対して  以上は存在し，この領域における計算量がボトルネックとならないように軽量化を行っている．

$  $

">

領域別アルゴリズムの性能評価

 領域別アルゴリズムの性能評価
表 " は注視領域処理と周辺領域処理についての，A () 6; と比較した画質 B?@C と圧縮率の性能評価結果である．また，主観評価のために，注視領域用提案手法の結果を図 "> に，周辺領域用提案手法の結果を図 " に示す．
表 

ピクセルベース圧縮手法の特性

画質 BC

圧縮率

A ( ) 6;

>"1



注視領域

"1

1"=

周辺領域

="

"<

Input Image

Output Image

図 



注視領域用処理結果画像     ! の略．ピーク信号対ノイズ比．画質を客観評価するための一つの手法．付録
 参照．
$  $

"

領域指定による問題点

Input Image

Output Image

図 

周辺領域用処理結果画像

本手法を用いれば，表 " のように，領域に応じて，画質ならびに圧縮率を変更でき，画像に応じた適応的な圧縮が可能となる．

 領域指定による問題点
準動画を注視領域と周辺領域に分離する手法として，カメラアングル固定時に，動きがあると予測される部分を利用者が指定する手法を採用した．これは，任意領域を演算する手間を省くことが可能となり，計算量を削減する利点がある．しかし，予測された領域から物体がはみ出してしまう可能性もあり，これに対処可能なアルゴリズムを採用しなければ，映像
中に物体が切れた状態で圧縮されてしまう．
次節からは，これまでの提案手法を実現するための圧縮アルゴリズムの提案と，新たに生じた映像の不具合を解消するための圧縮アルゴリズムを提案する．もちろん，総ての映像に対してこのアルゴリズムが必要であるわけではなく，最初に指定した領域のみの情報が保証されればよいような利用法であれば，通常時の映像圧縮処理のみで実現可能である．本手法

$ $

"<

通常時の映像圧縮処理

は遠隔講義の利用を想定した場合，物体が切れたことによる，講義理解力の低下を防ぐための手法として提案する．



通常時の映像圧縮処理

最初のフレームのみ全画面を処理対象とし，それ以降は図 "< に示すように# あらかじめ指定された領域のみを通常のフレームレートで圧縮する．これにより，領域面積に反比例して，圧縮率を向上できる．

周辺領域

動き領域
図  通常時の映像圧縮

具体的な符号化ステップを以下に述べる．

" カメラ設置時に利用者がマウスなどの外部入力装置で注視領域 B動きがあると予測される領域C を指定する

" 最初のフレームは画面全体を処理対象とする
" 次のフレームからは最初に利用者が指定した動き領域 B図 "< の点線内部C のみを通常のフレームレートで圧縮

1" 領域外部は特定のフレーム間隔のみで処理し，領域位置情報も同時に圧縮する．
$  $

"=

動き領域の適応的伸縮

この方式を採用することにより，全画面を処理対象とするのはわずかな回数でよく，演算が高速となる．その上，毎フレーム単位で圧縮する個所は小さい領域内だけで良いため，格段に圧縮率が向上する．また，周辺領域を特定のフレーム間隔で更新することにより，周辺領域と動き領域との誤差による不自然さを小さくするメリットが生まれる．さらに，周辺領域圧縮と同時に領域位置情報も圧縮することにより，実時間通信の場合において，途中から通信に参加した場合でも復号が可能であるように考慮している．

! 動き領域の適応的伸縮
上述の手法では，図 "= のように，あらかじめ指定された領域の外部へ対象物が動く場合，対象物が切れた映像になる．遠隔講義の利用を想定し，学生の講義理解力の低下を防ぐ上でも，これを防止する手法が必要である．また，映像内の対象物の動きに適応して動き領域を任意に伸縮させ，領域形状を変更しなければ，速度・圧縮率が低下してしまう．この不具合を解決するために本方式では，下記のアルゴリズムを用いる．

" 画像全体を ? × ? 個のタイルに分割する
" 動き領域の境界タイルと画像全体の境界タイルで毎フレーム圧縮時に動きの有無を検査する

" 境界タイルに属する境界  の左上隅の輝度データを，現フレームと直前フレームの間で比較する1" 一致しない場合，その  が属するタイルを動き領域に追加し，それ以降のフレームで圧縮対象タイルとする>" 次のフレームからは，追加タイルについては差分を圧縮する
" また，境界タイルが追加タイルの場合，" の比較結果が一致すれば，動き領域から除外
する
このように適応的に動き領域のタイルを追加・削除することによって，動き領域の形状を更新しながらの圧縮が可能になる．追加されたタイルの画質圧縮率に関しては，用途に応$  $

"

結言

タイル

追加タイル

図 

動き領域の適応的伸縮

じて，前章に述べたピクセルベース圧縮手法を使い分けても良い．
ここでの想定用途を遠隔講義とし，講義の理解度低下を防ぐための手法として提案したが，この処理を追加することより演算負荷が増加してしまう．遠隔監視を想定すると，重要
個所 B動く領域C はセキュリティ性の高い領域のみであり，それ以外に物体がはみ出しても必要性は低いはずである．そのため，この提案は用途の要求性能に応じて使い分けることが必要である．

" 結言準動画の特徴として，動きのある領域が局所的であることから，映像を注視領域と周辺領域に分離可能であり，これにより有効な映像圧縮処理が実現可能となる．実現する上での問
題点は，領域抽出手法の複雑さ，各領域における圧縮処理の演算量である．
これを解決するため本章では，超軽量映像処理の概要を述べ，以下の  点を提案した．

 カメラ設置時のみの領域抽出手法
 抽出後の領域における  種類のピクセルベース圧縮手法

$ $

"

結言

ピクセルベース圧縮手法の評価結果から，領域に応じて画質並びに圧縮率を変更でき，映像に応じて適応的に圧縮可能となることを示した．
次いで，前章までの提案方式を組み込んだ準動画向けの映像圧縮アルゴリズムを提案した．また，領域抽出処理に指定することで計算量を減少させることができるが，この手法に起因する映像の不具合を想定し，物体が指定領域からはみ出した場合に物体を補間する手法を提案した．
以上の提案から本手法には以下の利点がある．

 領域の大きさに応じて適応的に圧縮率画質を変更可能
 領域からのはみ出し時に動き領域の形状を伸縮しながら圧縮可能
これらの利点により，超軽量映像圧縮処理方式の実現が期待できる．次節で本提案の定量的な評価を述べる．

$ $

第章

性能評価

 緒言 章では準動画の特徴と人間の認知特性の共通点を述べ，準動画を映像圧縮する場合は認知特性を活かした圧縮法が有効であることを述べた． 章では準動画を注視領域と周辺領域に分離する上で必要となる，領域抽出手法と，抽出後に行う圧縮処理手法の提案を行い，アプリケーションによる性能評価を示した．また，提案した領域抽出手法から生じた問題点の解決法も含めた，映像圧縮処理方式を提案した．
本稿では，これまで述べてきた圧縮処理方式を，準動画像圧縮処理システムに構築するために，評価用チップとして :: を選択した．:: は組み込みシステム向け汎用プロ
セッサであり，超高速・極省電力という利点を持つ．
本章では，:: シミュレータの原理とシミュレーション手法，実装手法，画面全体に対する動き領域の割合別に，圧縮率・速度の評価結果について述べる．

 シミュレータの原理
本提案手法は任意領域の位置情報を最低一度は計算しなければならない．また，フレーム毎に動き領域の境界タイルを検査する必要がある．これらの処理によるオーバヘッドが可能
な限り低減できる実現法を採ることが望ましい．そこで，画素の位置情報による多数の連想処理が並列に実現可能な :: を利用し，提案方式を実装した．その他の :: の特徴
として以下があげられる．

$  $

1"

シミュレータの原理

" 組み込みシステム向けの汎用プロセッサであるため，本システムのプログラマブルな利用が可能となる．

" 自己タイミング型のアーキテクチャを持つため，非同期に動作し，独立したデータはパ
イプライン中を並列に動作する．本方式においてピクセル単位， 単位，タイル単位，
フレーム単位は，各々独立しており，それぞれの並列性を活かすことができる．

" ; 素子のハンドシェイクにより，パイプライン間のデータを受け渡しするため，配線長が短くてすみ，省電力である．本システムを戸外で利用を想定した場合，省電力であれ
ばカメラまたはモニタの設置場所の制限が少なくなる．

M

MM
FP

D

CPS

MM : Matching Memory
FP : Functional Processing Unit
CPS : Cache Program Storage
M : Flow Merging Module
D: Flow Diverting Module
図  のナノプロセッサ構成:: の基本アーキテクチャを図 1" に示す．:: は，従来のノイマン型プロセッサとは異なるアーキテクチャを採用することで，高速処理・低消費電力を実現している．ノイマン型プロセッサがプログラムカウンタにより逐次的に命令を実行するのに対し，::
は行き先情報，世代識別子などを含むパケット形式のデータを扱う．パケットの行き先情報
は図 1" の : において参照され，データの行き先を決定する．行き先情報は処理内容に応じ$  $

1"

シミュレータの原理て ; で変更され，データは独立してプロセッサ内を巡回する．

 において，処理対象データが揃った時点でデータが読み出され，0 部において演算処理される．

:: の超高性能は複数のナノプロセッサを  チップに集積したことによる，空間並列性と，ナノプロセッサレベルでのパイプライン処理による並列性にある．図 1" は，::
の並列性を表した概念図である．9 軸は時間を表し，* 軸はパイプライン的な並列度，. 軸
は空間的な並列度を表している．

:: のパイプラインは自己タイミング型パイプライン機構となっている．これは各々のデータが各々の処理タイミングで動作するため，処理に必要な部分のみを動作させることができ，省電力化できる．また，複数のパイプラインを並列に動作させ，かつ，連結して長大なパイプラインを形成できるため，柔軟な処理変更が可能であり，スループットを向上でパイプライン段数

きる．

パイプライン的
並列性

ナノ
プロ
セッ
サ数

時間

図 

空間的並列性 の並列概念図

本研究の性能を評価するために  個のプロセッサを搭載した :: チップ構成を，ソフトウェアにより再現した，:: フローグラフシミュレータを用いる．このシミュ
レータは :: チップ構成を元にしたフローグラフシミュレーションツールであり，プロ$  $

1"

シミュレーション手法

グラムはフローグラフを記述することにより実現する．

:: のチップ構成は  個のプロセッサがそれぞれルータにより相互結合されており，図 1" に :: の内部構成を示す．なお， という算術演算プロセッサが >個，; という論理演算・制御プロセッサが  個，; という外付け :@ アクセスプロセッサが  個，それぞれがルータに相互接続された構成となっている．

ALP
#1

ALP
#3

LCP
#0

LCP
#2

CVP
#1

LCP
#1

CVP
#0

Router

ALP
#0

ALP
#2

ALP
#4

図   の内部構成

入力データは， データが投入される時刻，世代番号とよばれるデータ識別子，入力ポートを表すエントリ番号，データなどの情報を  パケットとしている． パケットには最大 
つの  ビットデータを保持することが可能で， つのデータが互いに独立して扱える場合，二並列に演算可能となる．この仕組みを二世代化とよび，これを利用することにより，フローグラフ中を流れるパケット数を減少させることができる．

 シミュレーション手法
シミュレーションにおける入力データの選定に際して，以下の点に留意した．

 任意形状の動き領域の割合別に評価$  $

1"

シミュレーション手法

本提案手法は動き領域の割合が小さいほど，圧縮率・速度の向上が図れる．逆に，動き領域が画面全体である場合，毎フレーム毎に全画面を圧縮処理対象としなければならな
いため，

 と同じ処理となり，高性能化は期待できない．この予測を定量的に示すために，領域の割合別に評価を行う必要がある．

 入力データパケット数が最大時の性能を評価:: のアーキテクチャより，処理の終了したデータについては実行しないため，プ
ログラム中の負荷は，実行されているノードだけに限定されてしまう．このため，入力データ量が少ないと，プログラムにかかる負荷が均等にならないため，正確な性能の評
価にはならない．そこで，データ数をプログラム中の各 B!

( ) C にかかる実行段数より多くしておく必要がある．つまり，最低でもデータが入力されて，最初の  画素が出力されるまでは，データを入力し続ける必要がある．
以上のことから，動き領域がある割合で一定になるようなデータ群を数パターン用意し，入力データ数は各  の命令実行段数 B速度C より多いデータを入力しなければならない．
そこで，動き領域のパターンとしては，全画面が動き領域 B割合 C，動き領域が画像のB割合 ">C，動き領域が画像の B割合 "C，動き領域が画像の 1B割合 ">C の 1
パターンを用意する．この 1 パターンの入力パケットによって，動き領域の割合における性能を比較する．
入力データ数は，プログラムの実行速度と，入力データの投入速度によって決定する．例
えば，1  1B1C 画素を圧縮処理する場合，入力パケットは以下の式により，1= パケッ
トとなる．

1  1B総画素数C B二世代化により  パケットに  データ格納C F 1=B入力パケット数C
また，パケットの投入間隔が 1> ステップ とすると，
" ステップ#$%& %"' は各プロセッサ内を "(')* で動作し，ルータ内を +')* で動作する．

$  $

1"1

実装手法

1>B入力パケット投入間隔C  1=B入力パケット数C F BステップCとなり，最初に出力されるデータが，このステップ時刻より早い時刻で出力されなければならない．

 実装手法
実装に際しては， 単位，ならびに， 自身の符号化処理の並列処理性を活用するた
めに， 個のプロセッサを搭載した :: チップ上で並列処理可能なプログラムを作成した．具体的には以下である．

" 投入パケットの入力は水平スキャンライン方向順とし，@ を  データとして，隣り合う  ピクセルのデータを  世代化して  パケットに格納した．これにより，空間的冗長性の削減を行う．

" 色情報 BH;;2C は各々独立で演算が可能であるため，H;;2 変換開始後は独立して行えるため H 値，; 値，;2 値を並列に処理可能である．

"  単位は各々独立で演算が可能であるため， の特定のピクセル情報が揃った時点
で演算を開始可能とする．

1" 標準偏差と  値量子化あるいは 1 値量子化の演算は互いに独立で行えるため，並列に動作させ，時間的冗長性を削減する．

>" 処理中の各  にかかる負荷を均一にするため， ごとに流れるパケット数とその平均レートを算出し，割合に見合った  の割り当てを行い， 個の  を最大限に活用する．
また，注視領域演算用フローグラフモジュール概念図を図 1"1 に，周辺領域演算用フロー
グラフモジュール概念図を図 1"> に示す．
双方同じようなモジュールで作成することができ，また，モジュールにかかる負荷も同程度となるようにプログラムしている．

$ $

1">

測定手法

色空間変換

Y値平均値算出

Cr値平均値・
標準偏差算出

Cb値平均値・
標準偏差算出

Y値標準偏差・4値量子化算出

図 

注視領域用フローグラフ概念図

 測定手法
投入する画像サイズは  サイズ B1  1=C とし，画像全体における指定領域の割合 B# "># "# #>C による，エンコード時にかかるスループット，並びに圧縮率を算出
する．
測定式は以下のものとする．

" スループット
水平  ラインの

数  ブロック内ピクセル数

B    C  >


 は定常状態の B 1C が含まれる  は定常状態の B =C が含まれる

B  C

中で最初に出力されるデータのステップ時刻
中で最初に出力されるデータのステップ時刻$  $

1">

測定手法

色空間変換

Y値平均値算出

Cr値平均値・
標準偏差算出

Cb値平均値・
標準偏差算出

Y値標準偏差・2値量子化算出図 

周辺領域用フローグラフ概念図

" 圧縮率 フレーム中  回の割合で全画面を圧縮すると仮定し，  B注視領域の  数CG
周辺領域の  に必要なビット数  周辺領域の  数
中に必要なビット数  注視領域の全フレームビット数

" は，コンピュータシステムの処理能力を測る評価指標であり，本稿では，一定時間内にいくつの  が処理されるかによりスループットを算出する．図 1" にスループットを算出するためのイメージを図示する．図に示すように，スループットはパケットが入力されて出力される間隔が，定常状態となったデータを抽出して算出する必要がある．また，画像右隅のブロックのデータが出力されてから，画像左隅の  のデータが開始されるまで  の$  $

1"

性能評価

処理は行われなくなり，フローグラフ中で休止状態のノードが多くなる．平均的な出力間隔を算出する必要があるため，画像の中心位置 B図中   C をスループット算出に用いている．

図  スループット算出手法イメージ図

" は映像圧縮・伸張処理でしばしば利用される評価指標である．表 " から指定領域の大きさに応じた圧縮率を算出した．
次節でスループット性能，並びに圧縮率を領域の割合ごとに算出した結果を述べる．

 性能評価
 章で提案した二種類の領域用圧縮手法を，アプリケーションにより実現し，その画質・圧縮率を評価したが，処理速度に関しては評価できていない．そこで提案手法の速度，並びに動き領域の割合における圧縮率を評価する．なお，符号化処理のアルゴリズムは復号化処
理よりも演算待機時間が長く，復号処理時のスループットより遅いことが，アプリケーショ
ン作成時の演算数などを用いた評価予測からわかっている．そこで評価に用いた部分は，本
提案システム中で処理負荷の高い符号化部分のみとなっている．
表 1" は，本提案の符号化部分を :: シミュレータで実装・実行し，動き領域の

$ $

1"

性能評価

割合に対する符号化時のスループット性能の結果を表している．
表  動き領域の割合に対するスループット性能

動き領域の面積比 BIC

">

"

">



スループット B !"C

>">

<<=" "

この評価結果から，動き領域の割合が最大全画面 B サイズE1  1=C であった場合
でも，' の速度で符号化可能であり，準動画に対して十分な処理速度が実現できているといえる．また，動き領域の面積が小さいほど高速に処理可能であるという結果を示した．

 章で述べたように，準動画は速度要求は高くないが，符号時にこれだけのスループットが実現可能であれば，蓄積型の配信だけでなく，ストリーミングなどのリアルタイム通信への応用も可能といえる．
表 1" は，動き領域の割合に対する圧縮率の結果を，表 " を用いて算出した．
表  動き領域の割合に対する圧縮率性能

動き領域の面積比 BIC
圧縮率 

"> " ">



=



1



この結果から，動き領域が  以下の時に圧縮率が高いことがわかる．しかし， になると急激に圧縮率が下降し，動き領域が画面全体となると動き領域が  の時と同程度の

 F 1 の  の持つ圧縮率となる．これは，注視領域用圧縮は周辺領域用圧縮に比べて，ビット数が約  倍となっているため，動き領域が  以下になると圧縮率が下がる傾向にあると考えられる．
図 1"< は，これまでの  つの表をまとめてグラフ化したもので， サイズの動画を対象として，動き領域の平均占有率に対する圧縮性能および圧縮率を測定した結果である．
比較として，同じフレーム単位の圧縮方式である，
プロットしている．

$ $ の圧縮率を同表に

1"

性能評価

150

20

100

15
性能
圧縮率

50

10
Motion JPEG2000
通常画質(37dB)時圧縮率

00

圧縮率- 1性能( frames/ sec. )Motion JPEG2000
低画質(34dB)時圧縮率

0

0.2
0.4
0.6
0.8
1
動き領域の面積比（正規化）
図  超軽量映像圧縮方式の性能

通常画質 B< 時C において圧縮率は低くなるが，B1 時C においてはかなり圧縮率が高くなる．また， では可逆圧縮が可能であるため，1〜> まで表現可能であるが，本提案は  程度が標準画質である．
速度性能は  の比較資料が無かったために評価できていないが，通常の  などのフレームレートが ' であるのに対して，本提案において動き領域が画面全体の 1 の時，>'  を実現可能であるのは驚異的といえる．
本提案と同画質にした場合， より圧縮率が優れており，速度性能は動き領域の大きさに依存するが，最低でも ' の速度性能を実現した．

 圧縮時に処理可能な速度性能を示している．復号時にこの速度で表示するためには，ディスプレイのリフ,'- )* 以上でちらつきが気にならレッシュレート 垂直走査周波数 が対応していなければならない．
ない周波数である．

$  $

1"<

結言



結言

 章で準動画を対象に，人間の認知特性を活かした映像圧縮処理の有効性を述べ， 章で領域の抽出法，並びに各領域への映像圧縮・伸張方式の提案を行った．さらに，適応的に領域の圧縮が可能なように，動き領域を伸張して圧縮する手法を提案した．本章では，本提案を組み込みシステム向けで，領域の演算時の負荷を軽減する，データ駆動型プロセッサ:: 上で実装し有効性を評価した．
評価した項目は以下の  つである．

 動き領域の割合に対するスループット
 動き領域の割合に対する圧縮率
 既存の標準技術との比較
その結果，画面に対する動き領域の占める割合に応じて，圧縮率，速度が変化し，動き領域が画面全体の  以下の時に性能が良いという結果が得られた．既存の標準技術である  と画質を同じにし，圧縮性能を比較しても，圧縮率が高いことを実証した．

$  $

第章

結論高性能  技術やネットワーク技術の進展に伴い，映像メディアが様々な用途に活用され，多数の用途に要求される性能を満たすべく標準方式も普及している．本研究では，これ
ら多数の用途総てに対応するのではなく，用途に応じた映像圧縮処理について考察し，利用者の視点から最適な映像圧縮・伸張システムを構築するべく，準動画向けに超軽量となる映像処理方式の検討を行った．
準動画は，通常は静止状態の映像で，ある瞬間だけ動画像として表示するような映像で，動画像として動く部分は局所的な部分のみであり，人間の視野と同じく，注視領域と周辺領域とに分離が可能である．準動画を最適な方式で圧縮するために，まず人間の認知特性という性質から，最適な映像処理システムを考案した．認知特性とは，人間の視野を注視領域と周辺領域とに分離すると，注視領域の情報伝達が保証されれば，周辺領域の情報量は少なくてもよいというものである．そこで，人間のもつ認知特性を活かして，準動画の注視領域には情報量を多く，周辺領域には情報量を少なくすることで，適応的な画質・圧縮率・速度の実現が可能となる．本研究では遠隔講義や遠隔監視など，動く領域が小さい準動画を対象として，超軽量な映像圧縮・伸張処理システムの構築を目指す．
この方式では注視領域と周辺領域を分離するために領域抽出を行う必要がある．しかし，古くから研究され提案されている領域抽出手法は，高性能なものほど計算が複雑で，準動画向けに軽量化するには向いていない．そこで演算量がボトルネックとならないように，カメラアングルの固定時に，利用者に動きがあると予測される部分に関して，あらかじめマウスなどの外部入力装置を利用して指定する手法を採用した．領域を計算しなければならないのは，最初だけで，後は毎フレーム単位を領域の内部で注視領域用の処理，特定のフレーム間$  $

隔のみを外部で周辺領域用の処理と切り替えるだけでよい．
また，領域ごとに情報量を変化させるために，抽出した領域の要件に応じた映像圧縮を行う必要がある．映像圧縮処理方式には標準技術が存在し，現在までに標準化されている技術
は，非常に多用途において利用されている．しかし，標準技術は多用途での利用を想定しており，用途によっては過剰な仕様となる恐れがある．現在実用化されているほとんどの標準
技術は，; を利用したものとなっているが，専用プロセッサに固定してしまうと，各種サービスへの柔軟な対応が困難となり，対応するためには，チップを最初から作り直す必要がある ．
そこで，圧縮・伸張における処理が単純で，並列処理可能なピクセルベースの圧縮手法を採用した．本稿では，このピクセルベース圧縮のアルゴリズムを改良し，注視領域用，周辺領域用の二種類の提案を行った．注視領域用処理は， における量子化を  値ではなく 1
値とし， 内で表現可能な色数を増加させた．周辺領域については，高速・高圧縮が要求されるため， の基数を = として， の持つ情報量を削減し処理の軽量化を図った．
基本の圧縮アルゴリズムは，利用者が最初に動きがあると予測した領域を指定し，通常時はその内部を圧縮対象とし，それ以外を周辺領域として一定間隔で処理対象とする．しかし，このアルゴリズムでは，指定した領域から物体がはみ出した時，物体が切れた映像になってしまう．
本研究ではこれを補間する技術として，適応的に動き領域を伸張して方式を提案した．ア
ルゴリズムを以下にまとめる．

" 画像を    のタイルに分割し，毎フレーム圧縮時に動き領域の境界タイルと，画像全体の境界タイルで動きの有無を検査する．

" 検査は境界タイルに属する境界  の左上隅の輝度データを，直前のフレームと比較する．

" 比較が一致しなければこの  が属するタイルを，動き領域に追加し，それ以降のフ ここではフルカスタム

 を指すが．配線を切り替えるだけで要求に合わせるセミカスタム  もある．
$  $

レームで圧縮対象タイルとし，次フレームからは差分のみの圧縮とする．

1" 境界タイルが追加タイルで，かつ " の比較結果と一致すれば，動き領域から除外する．
これにより適応的に動き領域のタイルを追加・削除可能となり，動き領域の形状を更新しながら圧縮可能となる．この処理は，検査による計算が必要となるため，画質圧縮率速度の要求に応じて，利用を切り替えた利用法が望ましい．
以上の提案手法を実装する場合，位置情報の計算が，最低一度は必要であり，フレームごとに動き領域の境界タイルを検査する必要がある．そのため，この処理よるオーバーヘッドが最小となることが望ましい．また，; を用いることを前提としたものではなく，各種多様なサービスが次々と頻出するような今日においても，柔軟に対応可能なように，組み込み型のプロセッサの利用が望ましい．
そこで本研究では，:: を用いてシミュレーションし，符号化部分に関して評価を行った．:: は組み込みシステム向け汎用プロセッサであり，世代番号とよばれる位置識別
子を有し，位置情報による多数の連想処理が並列に実現可能で，領域抽出時の負荷をさらに軽量化する．さらに，ピクセルベースの特徴である， 単位の並列性，画素値単位の並列性，フレーム単位の並列性が有効に利用可能なアーキテクチャを持つ．極省電力・超高速という有利な利点も持つため，本システムを戸外で利用する場合でも最適に利用可能である．
シミュレーションによる評価は， におけるスループットからフレームレートを算出した．その結果，画面全体に対する動き領域の占める割合に応じて，速度が変化し，動き領域が小さいほどフレームレートが向上することを示した．圧縮率に関しての評価は，動き領域のサイズが画面全体の  以下の時に，最適な圧縮率を示した．既存のフレーム単位圧縮で
ある 



 の性能と，画質を同じにして評価した結果，本提案の方が圧縮率が高いという結果を得た．
映像処理の普及に伴い，映像に対する様々な要求が生まれている現在，各種サービスに柔軟に対応するためには，総ての用途に対応できるような標準技術の方式ではなく，特定用途に限定した圧縮処理方式を考慮することが重要である．これにより用途ごとに高い処理性能$  $

を実現でき，人間にとって使いやすいものになる．
最後に今後の課題を述べる．今回提案した映像圧縮・伸張処理方式は，超軽量という名にふさわしいスループット性能を示した．しかし，本評価は符号処理のみであり，システム全体に渡る評価は不完全といえる．例えば復号処理を  チップで同時に行うことを考慮したプ
ログラムの評価など，使用するプロセッサ数を少なくし，小型軽量化を考慮した検討をする必要がある．また，注視領域用，周辺領域用の圧縮アルゴリズムは，映像によってその画質の要求性能は変動するため，数パターンの評価映像に対して評価をする必要がある．今後は:: 実機を用いて，実用的な各種動画の圧縮性能について，詳細に評価する予定である
．

$ $

謝辞
本研究において，指導教員として懇切なる御指導，御鞭撻を賜った高知工科大学の岩田 誠
教授に心より感謝の意を表します．
清水 宏明 教授には，副指導教員として，日頃から温かく見守って頂き深く感謝いたします．
岡田 守 教授にはお忙しい中，本研究で利用した画像処理の基礎を助言して頂き，心より感謝いたします．
情報システム工学科 大森 洋一 助手には，本研究の重要な御指導，御示唆を頂きました．
ここに感謝の意を表します．
情報システム工学科の諸先生方には，講義及び研究において御指導，御助言を頂きました．ここに感謝の意を表します．
シャープ B株C の宮田 宗一 氏，浦谷 宗宏 氏，芳田 真一 氏，中野 貴彦 氏には，共同研
究として大変お世話になり，本研究考案の糸口となりました．心より感謝いたします．日本
テレコム B株C の林 秀樹 氏には，本研究に的確なご指摘，アドバイスを頂きました．ここに感謝の意を表します．大学院修士課程 岩田研究室の森川 大智 氏，別役 宣奉 氏には，学部時から研究のみならず多くの時を共にし，心身共に支えて頂きました．本当に感謝しています．大学院修士課程 岩田研究室の福永 諭 氏には，修士課程からの同僚として御世話になりました．ありがとうございました．大学院修士課程 岩田研究室の中村 勲二 氏には，映像グ
ループとして共に議論でき，また学部生の指導を積極的に手伝って頂きました．本当にありがとうございました．大学院修士課程 岩田研究室の三宮 秀次 氏には，上記共同研究，並びに私生活において大変御世話になりました．至極感謝しています．大学院修士課程 岩田研究室の小倉 道寛 氏，志摩 浩 氏には，ネットワーク管理，; 管理など御世話になりまし
た．ありがとうございました．最後になりましたが，岩田研究室学部生の皆さん，並びに関係者の方々に心から御礼を申し上げます．

$  $

参考文献
 3" 6# "  * #   " + # J::K E )  -' ' ')   
 / -)   '!  #L   # =<BC# =  BC"
 M"@"@# " "3+ (# Jディジタル放送・インターネットのための情報圧縮技術#L 安田#
藤原 監訳# 共立出版# ''1> BC" ;& ) ;& '&-) #  &   , # 6-7 &  # J63 6  ;A:? H6 E ? A@%#L   #1B1C#  < BC"
1 三木弼一# J 1 のすべて#L 工業調査会 BC"
> J視覚情報ハンドブック#L 日本視覚学会#  1 BC" " ":)'   A"@" !&))# J( ;'  - ( )!, 6- !  ; (#L

# <BC# > 1 B<C"

< 高木 幹雄，下田 陽久，J画像解析ハンドブック#L 東京大学出版会# BC"
= 青木 茂樹# 大西 正輝# 小島 篤博# 福永 邦雄# J 3 による行動パターンの認識#L 電
子情報通信学会論文誌 B: C# /)" => : #"<# ''"> <# BC"

 大久保修司# 桐島俊之# 佐藤宏介# 千原國宏# J三次元動作認識における最適視点位置の選択#L 電気関係学会関西支部連合大会講演論文集# '" B=C" 橋本 正和，中村 勲二，岩田 誠，大森 洋一，J動き部分が小さい用途に適した超軽量映像処理方式の提案#L 第 > 回情報処理学会全国大会 B  発表予定C"

 的場 成浩，青木 透# 池田 宏明，J?@ によるビデオ客観評価測定装置と測定結果#L
画像電子学会  研究会# BC"

 池田 宏明# -)   # 小町 祐史，J システムの品質評価 BNC の必要性と標準化#L 画像電子学会第 > 回  研究会# BC"$  $

付録 

画質評価手法 映像の客観評価
映像の画質を評価する上で，コンピュータなどの計算によって数値を求める客観評価と，人間が実際に画像を見て判断をする主観評価の二種類が存在する．客観評価は数値として画像を定量的に評価できるため，データとして扱いやすいが，映像を実際に見て評価するのは利用する人間であるため，主観評価として多人数の意見を集計する方式が用いられる場合もある．どちらが最良の方式と断言することはできず，主観客観双方の評価が一致するような評価方式の確立が望まれている．
映像を客観評価する手法として様々な方式が提案されている．その中で最もよく用いられている評価手法として，?@B,  ( )その他の評価手法として，@B@ ?  @ C 画像品質誤差がある．また， 8-C 平均二乗誤差，コントラスト誤差などがある．ここではこれら画質評価手法について解説する．なお，本研究で利用した画質評
価手法は，最も広く用いられている ?@ である ．

 映像における客観映像評価の一つとして ?@ がある．?@ は平均ノイズ電力 BCを参照画像と劣化画像の輝度信号の差の二乗平均とし，最大信号電力 B',( )C を最大輝度信号の大きさの二乗とする．?@ は平均ノイズ電力 BC および最大信号電力から求められる．

$ $"

映像の客観評価 F  )(   
 F 画像の最大値
B  O C F F 総画素数
 E 元画素値，O E 変換後の画素値








?@ を用いることで輝度信号に対する映像品質の客観評価指数が得られる．しかし，最近では色の観点も含めた客観評価の機運が高まっており，?@ に関しても色の観点を含んだ議論がなされつつある．
そこで，以下に @ に関する ?@ 値の算出方式を示す．

 F

 F

B CB  O C G B  O C G B  O C

本研究においては，上記式を用いて ?@ 値を算出した．
また，?@ を  次元空間へ適用する場合，以下の式を用いる．

 F B   G CB   G CB   G C












   BB  C  B  CC        

なお，上記式は図 " に示した映像の構成に沿ってある．

@ の  次元空間への適用する式は以下である．

F   B C

    B   G CB   G CB   G C      

さらに，H;;2 の  色について ?@ を算出する手法もある．

$ $



"

映像の客観評価

Frame P1-1
Frame P1+1
Frame P2 -1
Frame P2m
(P2, M1 , N1)

d(P2, m, n)n(P2, M2 , N2)

図  映像の構成

既存の演算手法では，輝度値のみを対象としていたが，伝送路において色彩情報の劣化が激しい帯域を用いた場合，輝度値の変化のみでは評価が困難といわれている．そのような場
合，三次元空間での ?@ による評価が重要となってくる．
しかし，人間の色覚は，輝度の変化には敏感で，色の変化には鈍感であるという特性を持つ．この錯覚を利用した映像圧縮処理方式として，  などがあげられ，カラー間引きや:;6，量子化の処理で実現している．そのため，一概に三次元を対象とした ?@ の評価
が，有効な評価とはいえない．


平均二乗誤差とは誤差の二乗 F 誤差の大きさとして，その平均をとったものである．画
質評価においてもこの手法が用いられることがある．
式を以下に示す．

$



$

"

映像の客観評価 F

B  O C







 I

 コントラスト誤差
コントラストとは画像上の最も明るい部分と暗い部分の差のことであり，その差分の誤差を算出することで画質を評価する手法である．この誤差が小さいほど画質がよく，主に，画像の境界 BエッジC の保存率を測るための手法となっている．
式を以下に示す．
コントラスト誤差 F

ばらつき B圧縮画像C  ばらつき B元画像C
 I
ばらつき
ばらつき F B  P CP F 











これまでに述べた客観評価手法は，画質評価としてよく用いられるが，最適な評価手法というのは無い．評価したい用途に応じて評価手法を切り替えて利用するのが，現在の主流となっている．

$

$