(57)【要約】  【課題】  観測者の注目する箇所に符号量を多く割り当てることで画質の向上を図る際に、適切な手法が開示されておらず、高画質かつ高効率な画像符号化処理がなされていなかった。  【解決手段】  撮像装置から符号化前の映像信号を取得する映像信号取得部と、符号化部と、映像信号と関連付けて撮像制御情報を取得する撮像制御情報取得部と、映像信号の量子化幅を決定するための情報を取得する量子化幅決定情報取得部と、撮像制御情報と量子化幅決定情報とに基づいて符号化制御命令を出力する符号化制御命令出力部と、を有する画像符号化装置を提供する。【選択図】            図２
2006229793.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置から符号化前の映像信号を取得する映像信号取得部と、
前記映像信号取得部にて取得した映像信号を符号化する符号化部と、
前記映像信号と関連付けて前記撮像装置から撮像制御情報を取得する撮像制御情報取得部と、
表示画面中の表示位置に応じて、前記映像信号の量子化幅を決定するための情報である量子化幅決定情報を取得する量子化幅決定情報取得部と、
前記撮像制御情報取得部にて取得した撮像制御情報と、前記量子化幅決定情報取得部にて取得した量子化幅決定情報と、に基づいて前記符号化部に対して符号化制御命令を出力する符号化制御命令出力部と、
を有する画像符号化装置。
【請求項２】
前記量子化幅決定情報取得部は、
表示画面を複数の領域に分割する領域分割情報を取得する領域分割情報取得手段を有し、
前記量子化幅決定情報取得手段が取得する前記量子化幅決定情報は、前記表示位置が前記領域分割情報で示される同一の分割領域に含まれる場合には同じ値を示す情報である請求項１に記載の画像符号化装置。
【請求項３】
表示画面中の表示位置に応じて、前記撮像制御情報と、量子化幅決定情報とに基づいて定められる量子化幅に重み付けを行うための量子化重み付け係数を保持する量子化重み付け係数保持部を有し、
前記符号化制御命令出力部は、前記量子化重み付け係数により重み付けを行ったうえで符号化制御命令を出力する重み付け依存符号化制御命令出力手段を有する請求項１又は２に記載の画像符号化装置。
【請求項４】
前記量子化幅決定情報を複数パターン保持する量子化幅決定情報複数保持部を有し、
前記量子化幅決定情報取得部は、
前記量子化幅決定情報複数保持部に保持されている複数の量子化幅決定情報の中の一のパターンを利用して量子化幅を決定するパターン利用決定手段を有する請求項１から３のいずれか一に記載の画像符号化装置。
【請求項５】
前記量子化幅決定情報取得部は、
前記量子化幅決定情報複数保持部に保持されているパターンを前記撮像制御情報に基づいて選択するパターン選択手段を有し、
前記パターン利用決定手段は、前記パターン選択手段の選択したパターンを利用して量子化幅を決定する選択パターン利用決定器を有する請求項４に記載の画像符号化装置。
【請求項６】
前記撮像制御情報取得部は、
撮像装置から出力される各種の撮像制御情報に対してフィルタ処理を行うフィルタ処理手段を有し、
前記符号化制御命令出力部は、
撮像制御情報として前記フィルタ処理手段によりフィルタした結果得られる撮像制御情報であるフィルタ済撮像制御情報を利用して前記符号化制御命令を出力するフィルタ済撮像制御情報利用符号化制御命令出力手段を有する請求項１から５のいずれか一に記載の画像符号化装置。
【請求項７】
撮像装置から符号化前の映像信号を取得する映像信号取得ステップと、
前記映像信号取得ステップにて取得した映像信号を符号化可能な符号化ステップと、
前記映像信号と関連付けて前記撮像装置から撮像制御情報を取得する撮像制御情報取得ステップと、
表示画面中の表示位置に応じて、前記映像信号の量子化幅を決定するための情報である量子化幅決定情報を取得する量子化幅決定情報取得ステップと、
前記撮像制御情報と、前記量子化幅決定情報と、に基づいて符号化制御命令を出力する符号化制御命令出力ステップと、
からなる画像符号化方法。
【請求項８】
撮像装置から符号化前の映像信号を取得する映像信号取得ステップと、
前記映像信号取得部ステップで取得した映像信号を符号化可能な符号化ステップと、
前記映像信号と関連付けて前記撮像装置から撮像制御情報を取得する撮像制御情報取得ステップと、
表示画面中の表示位置に応じて、前記映像信号の量子化幅を決定するための情報である量子化幅決定情報を取得する量子化幅決定情報取得ステップと、
前記撮像制御情報と、前記量子化幅決定情報と、に基づいて符号化制御命令を出力する符号化制御命令出力ステップと、
を含む画像符号化プログラムを格納した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置および符号化方法に関する。
【背景技術】
【０００２】
従来、一画面内の全マクロブロックに対して均一に符号量を割り当てた画像符号化や、画面全体で均一の解像度になるように符号量制御を行った上での画像符号化が行われてきた。しかしながら、人間の主観では、画面中の注目部分に意識が集中する。従って、画面全体が均一な画質である画像よりも、注目部分の画質を向上させた画像の方が、他の部分の画質が多少劣化していても、良好な画質であると主観的に判断する場合が多い。
【０００３】
このように画質の向上を図る目的で、例えば特許文献１には、画像のフレーム内の動きベクトルを算出し、算出された値に基づいて、動きの大きな部分は高周波成分を抑えて符号化し、逆に動きの小さな部分は解像度の確保に備えて高周波成分を削減せず符号化する手法が提案されている。
【特許文献１】特開２００１−２６８５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術のように、画像のフレーム内の動きベクトルに基づいて画質を向上させる手法においては、必ずしも動きベクトルに応じた箇所が観測者の注目する箇所と一致するとは限らないことから、画質向上効果が得られないという課題がある。
【０００５】
本発明は、かかる課題に鑑みてなされたものであり、観測者が注目する部分は細かく量子化する一方、観測者が注目する部分以外の箇所は粗く量子化するなどして符号化を行うことにより主観的な画質を向上させ、結果的に高画質と高効率を両立させた画像符号化装置および符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、かかる課題を解決するために、撮像装置から符号化前の映像信号を取得する映像信号取得部と、符号化部と、映像信号と関連付けて撮像制御情報を取得する撮像制御情報取得部と、映像信号の量子化幅を決定するための情報を取得する量子化幅決定情報取得部と、撮像制御情報と量子化幅決定情報とに基づいて符号化制御命令を出力する符号化制御命令出力部と、を有する画像符号化装置を提供する。
【０００７】
量子化幅決定情報は、表示画面を複数の領域に分割した場合に、表示画面中の表示位置が同一の分割領域に含まれる場合には同じ値を示していてもよい。また、量子化幅に重み付けを行うための量子化重み付け係数を保持し、前記量子化重み付け係数により重み付けを行ったうえで符号化制御命令を出力してもよい。また、前記量子化幅決定情報を複数パターン保持し、一のパターンを利用して量子化幅を決定してもよい。また、前記複数保持されているパターンを前記撮像制御情報に基づいて選択し、選択したパターンを利用して量子化幅を決定してもよい。また、撮像装置から出力される各種の撮像制御情報に対してフィルタ処理を行い、フィルタした結果得られる撮像制御情報を利用して前記符号化制御命令を出力してもよい。
【発明の効果】
【０００８】
本発明によれば、撮像制御情報と、量子化幅決定情報とに基づいて符号化制御を行うため、観測者が注目する部分に符合量を多く割り当てることが可能となり、結果的に高画質と高効率を両立する良好な符号化を実現することができる。
【発明を実施するための最良の形態】
【０００９】
以下に、各発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
【００１０】
なお、以下の実施形態と請求項の関係は次の通りである。実施形態１は、主に請求項１、２、７、８、などについて説明する。実施形態２は、主に請求項３などについて説明する。実施形態３は、主に請求項４などについて説明する。実施形態４は、主に請求項５などについて説明する。実施形態５は、主に請求項６などについて説明する。
【００１１】
<<実施形態１>>
<実施形態１の概要>
本実施形態は、カメラのオートフォーカス機能などによるレンズ制御の情報と、量子化する際のパラメータなどを決定するための情報と、に基づいて符号化制御を行う画像符号化装置に関する。図１に本実施形態の概念図を示す。図１はカメラで写真や動画などを撮影した際の撮像映像画面の一例である。一般的にカメラでピントを合わせる場合には、当該ピントが合った部分（０１０３）が画面中で最も注目する部分となる。また、図１のような展示映像においては、通常画面中央部に対象物（０１０２）が配置されるように画面構成を行うため、本実施形態においては画面中央部分に符合量を多く割り当てるように量子化する際のパラメータを設定する。図１では、対象物（０１０２）は符号量を多く割り当てる対象範囲である画面中央部に配置され、かつ、焦点範囲（０１０３）に含まれるため、符号量が多く割り当てられることになる。
【００１２】
<実施形態１の構成>
図２に、本実施形態における画像符号化装置の機能ブロック図の一例を示す。図２に示す「画像符号化装置」（０２００）は、「撮像装置」（０２０１）と、「映像信号取得部」（０２０２）と、「符号化部」（０２０３）と、「撮像制御情報取得部」（０２０４）と、「量子化幅決定情報取得部」（０２０５）と、「符号化制御命令出力部」（０２０６）と、を有する。
【００１３】
本件発明の構成要素である各部は、ハードウエア、ソフトウエア、ハードウエアとソフトウエアの両者、のいずれかによって構成される。例えば、これらを実現する一例として、コンピュータを利用する場合には、ＣＰＵ、メモリ、バス、インターフェイス、周辺装置などから構成されるハードウエアと、これらのハードウエア上にて実行可能なソフトウエアを挙げることができる。具体的には、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インターフェイスを介して入力されるデータの加工、蓄積、出力などにより各部の機能が実現される（本明細書の全体を通じて同様である）。
【００１４】
「画像符号化装置」（０２００）とは、映像を撮影、記録、再生等できる装置であり、具体的には、ビデオカメラ、デジタルカメラ、カメラ機能付携帯電話などが該当する。
【００１５】
「撮像装置」（０２０１）とは、被写体の光学像を電気信号に変換するための一連の処理に用いる装置一般をいう。撮像装置には、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）などの撮像素子、映像信号処理回路、フォーカスレンズ機構などが含まれる。被写体の画像は、撮像素子に記憶され、映像信号（電気信号）に変換される。
【００１６】
「映像信号取得部」（０２０２）は、撮像装置（０２０１）から符号化前の映像信号を取得する。「符号化前の映像信号」とは、後述する符号化処理を行う前の映像信号のことである。具体的には、ＣＣＤから送り出されるアナログ信号又は符号化される前段階としてのデジタル信号を示している。
【００１７】
「符号化部」（０２０３）は、前記映像信号取得部（０２０２）にて取得した映像信号を符号化する。映像信号は、離散コサイン変換（ＤＣＴ）処理、量子化処理、可変長符号化処理などを経て符号化される。離散コサイン変換（ＤＣＴ）処理とは、入力である映像信号を、周波数成分を示すＤＣＴ係数に変換する処理である。隣接する画素は、その輝度に類似性があることから、映像信号のうち輝度信号の差分のみをＤＣＴ処理することで、画像の圧縮率を上げることができる。量子化処理とは、連続した数値を不連続な代表値に変える処理である。この量子化処理により、ＤＣＴ係数のとりうる状態数を削減することができる。また、可変長符号化処理とは、出現頻度の高い量子化値に短い符号を当てることで効率よく符号化を行う処理である。
【００１８】
「撮像制御情報取得部」（０２０４）は、前記映像信号と関連付けて前記撮像装置（０２０１）から撮像制御情報を取得する。「撮像制御情報」とは、撮像制御を行うための情報であり、焦点を調整制御するための情報や、合焦の程度を示す情報などが挙げられる。その他、撮像制御情報には、撮像した映像信号の輝度、色差などを制御するための情報、撮影方向を制御するための情報、静止画・動画の別を示す情報、入射する光線の量を調整する情報、複数の撮像装置を備えている場合に、映像信号をいずれの撮像装置から取得するものであるかを制御するための情報など含まれていてもよい。更には、例えばカメラを１８０度回転させた場合などのように、撮影方向の急激な変化についての情報が含まれていてもよい。このような撮像制御情報を取得することで、注目点などの映像を撮影した者の意図を把握することができる。以下に、撮像制御情報の取得例について説明する。
【００１９】
まず、図外のフォーカスレンズ機構において焦点を合わせる処理について説明する。撮像装置（０２０１）において焦点合わせを行う手法としては、エッジ検出方式やコントラスト方式が挙げられる。エッジ検出方式とは、被写体に焦点が合い画像の輪郭が鮮明になるほど映像信号の微分値（高周波成分）が大きくなるという性質を利用した手法である。コントラスト方式とは、被写体に焦点が合っていないときには画像のコントラストが下がる性質を利用した手法である。
【００２０】
ここで、エッジ検出方式を例にして、撮像装置（０２０１）における撮像制御情報に含まれる焦点評価情報の生成方法を説明する。「焦点評価情報」とは、合焦の程度を示す情報であり、後述する符号化処理を制御する際に使用される情報である。撮像装置においては、まず映像信号（特に輝度信号）の高周波成分の抽出を、ハイパスフィルタを介して行い時間的に積分することで焦点の評価値を算出する。一方、図外のフォーカスレンズ機構は、ピントが合うようにレンズを前後に大きく振り、映像信号の微分値の増加する方向、即ち、焦点の評価値が増加する方向にレンズ位置を制御する。その後、評価値が頂上地点、即ち、合焦点にあることを確認するために、ウォブリングと呼ばわれるレンズを微小に移動させるための制御を行う。当該ウォブリング制御は所定時間に応じて行われる。以上説明したような焦点の評価値や、ウォブリングなどのレンズの制御情報から「焦点評価情報」は構成される。このようにして得られた焦点評価情報は撮像制御情報に含まれて撮像制御情報取得部（０２０４）に送られ、後述する符号化制御に用いられる。なお、撮像制御情報には、映像信号が構成する一画面内の位置情報と焦点評価情報とを関連付けた情報や、経時変化に基づく情報が含まれていてもよい。これらの情報が含まれた撮像制御情報は後述する表示画面を複数の領域に分割して処理を行う場合などにおいて有用となる。
【００２１】
「量子化幅決定情報取得部」（０２０５）は、表示画面中の表示位置に応じて、前記映像信号の量子化幅を決定するための情報である量子化幅決定情報を取得する。「表示画面中の表示位置」とは、例えば映像信号が動画像の信号である場合には１フレーム内の座標位置のことを示している。なお、「位置」とは画素単位に応じた位置であってもよいし、所定数の画素の集まりであるブロックの単位に応じた位置であってもよい。「量子化幅」とは、量子化処理の際に映像信号の量子化値を算出するための基準幅である。量子化値とは、一定値間隔ごとにＤＣＴ係数の代表値を算出した結果求められた値のことである。量子化幅を決定するための情報である「量子化幅決定情報」には、量子化処理を行う際に、ＤＣＴ係数を削減するために使用する量子化テーブルに関する情報が含まれる。量子化テーブルの設定に応じて符号量の削減量が決定されるからである。また、「量子化幅決定情報」には、量子化テーブルと表示画面中の表示位置と関連付けを行うための情報が含まれる。表示位置に応じて後述する符号量の割り当て制御が行われるからである。更には、表示位置に応じた加重処理についての情報などが含まれてもよい。量子化幅決定情報の具体的な使用方法については後述する。
【００２２】
「符号化制御命令出力部」（０２０６）は、前記撮像制御情報取得部（０２０４）にて取得した撮像制御情報と、前記量子化幅決定情報取得部（０２０５）にて取得した量子化幅決定情報と、に基づいて前記符号化部（０２０３）に対して符号化制御命令を出力する。「符号化制御命令」とは、量子化処理の際に使用する量子化テーブルの選択制御に関する命令である。例えば、注目部分のブロックに対しては、量子化幅の小さい量子化テーブルを使用して量子化処理を行うように命令をし、一方、注目部分以外のブロックについては量子化幅の大きい量子化テーブルを使用して量子化処理を行うように命令する。前記符号化部（０２０３）は当該符号化制御命令に基づいて符号化処理を行う。これにより、符号量の調節が可能となる。なお、「符号化制御命令」には、撮像映像情報及び量子化幅決定情報を取得するまでは符号化処理を行わないように符号化部（０２０３）を制御する命令が含まれていてもよい。
【００２３】
以下に、撮像制御情報と量子化幅決定情報とに基づいて行う符号化の制御方法について説明する。なお、図３に示すとおり、前記量子化幅決定情報取得部（０３０５）は、表示画面を複数の領域に分割する領域分割情報を取得する領域分割情報取得手段（０３０６）を有していてもよく、前記量子化幅決定情報取得手段（０３０６）が取得する前記量子化幅決定情報は、前記表示位置が前記領域分割情報で示される同一の分割領域に含まれる場合には同じ値を示す情報であってもよい。つまり、「領域分割情報」には、所定の画素、ブロックごとに共通した識別子を付した情報が含まれており、当該識別子と量子化幅決定情報とを関連付けることで、同一の分割領域において量子化幅決定情報が同じ値を示すことになる。これは、画素のように狭い領域に対して個々に量子化幅決定情報を関連付けるよりも、より広い表示画面の複数の領域に分割して処理を行う方が効率的であるからである。また、一般的に人間の注視点というのは単一の画素に応じて集まるのではなく、複数のブロック単位などに応じて集まることから、表示画面を複数の領域に分割して処理を行う方が、人間の注視点に沿った処理を行うことができる。本実施形態においては、表示画面を複数の領域に分割した例に基づいて説明を行う。
【００２４】
図４に表示画面を複数の領域に分割した場合における量子化幅決定情報の概念を示す。図４で示す量子化幅決定情報には、画面領域Ａの部分については、量子化処理を行う際に、量子化幅を小さくすることで、符号量を多く割り当てる処理を行う情報が含まれているものとする。図４の量子化幅決定情報は、画面の中央部に注目部分がある可能性が高いと思われる撮影を行う際などにおいて有用となる。なお、図４で示す量子化幅決定情報は概念の一例であり、実際には、表示位置と、対応する量子化テーブルとが関連付けられた情報などが相当する。例えば、図５は異なる量子化幅を示す量子化テーブルの例であり、図６は表示位置と量子化テーブルとを関連付けた情報の例である。図５で示すＴａｂｌｅ（ａ）の量子化テーブルを利用して量子化処理を行う場合には、Ｔａｂｌｅ（ｂ）を利用する場合と比べて細かく量子化するため、主観的な画質が向上する。そして、図６は、図５で示すような量子化テーブルを表示位置と関連付けた情報である。このように表示位置と、量子化テーブルが関連付けられていることで、画質を向上させようとする表示位置が明瞭になる。
【００２５】
一方、図７には、本実施形態における撮像装置の撮像映像画面の一例を示す。図７は、撮像映像画面を９箇所（１ａ〜３ｃ）の領域に分割した例である。ここで、撮像制御情報は、いずれか１又は２以上の画面領域に関連付けられているものとして説明する。まず、撮像制御情報に基づいて、注目部分の画面領域を検出する。注目部分の画面領域を検出する方法としては、既に説明した焦点評価情報や経時変化に基づく情報などから検出する。具体的には、画面領域２ｂの位置における焦点評価情報の変化の度合いが最も大きい画面領域、つまり、焦点評価情報の差分が最も大きい画面領域を、当該表示画面における注目部分であると推定する。差分が大きいということは、ウォブリング処理などによってピントの照準が合わせられていると推定することができるため、撮影者の注目部分であると考えられるからである。なお、各画面領域における焦点評価情報の差分が、規定レベル以上の差分でない場合には、特定の注目部分はないと推定することもできる。
【００２６】
次に、注目部分の画面領域が検出された撮像制御情報と、量子化幅決定情報とに基づいて、符号化の制御を行う一例について図４及び図７を参照しながら説明する。なお、図４及び図７で示す画面位置は同一であるものとして説明する。撮像制御情報に基づいて図７の画面領域２ｂが最も注目している部分であると推定された際に、量子化幅決定情報が、図４で示すような画面中央部に多く符号量を割り当てるという情報である場合には、撮像制御情報から推定される注目部分と量子化幅決定情報の設定が一致すると考えられる。従って、この場合には図７における画面領域２ｂに対して符号量を多く割り当てるように、符号化制御命令を出力する。一方、図７の画面領域１ａが注目している部分であると推定された場合には、撮像制御情報から推定される注目部分と量子化幅決定情報の設置が一致しないと考えられる。従って、画面領域１ａに対して符号量を多く割り当てるという制御命令を出力しない。
【００２７】
図８は、以上説明した符号量の割り当て処理の流れを示すフローチャート図である。ステップＳ０８０１において、撮像制御情報から注目部分の画面領域を推定する。そして、量子化幅決定情報の設定とステップＳ０８０１にて推定した注目部分の画面領域とが一致するかを判断する（Ｓ０８０２）。ステップＳ０８０２にて一致すると判断した場合には、当該推定注目部分の画面領域に対して符号量を多く割り当てる（Ｓ０８０３）。一方、ステップＳ０８０２にて一致しないと判断した場合には、画面領域ごとの符号量の割り当て制御を行わない（Ｓ０８０４）。
【００２８】
なお、以上の説明においては、ステップＳ０８０４における処理では、画面領域ごとに符号量の割り当て制御を行わないとして説明を行ったが、特にこれに限定するものではない。例えば、処理ステップＳ０８０３で行う符号量の割り当て処理とは異なる割合での符号量の割り当て処理を行ってもよい。また、本実施形態においては、１つの画像領域の符号量の割り当ての制御方法について説明を行ったが、複数の画面領域に対して段階的に符号量割り当てを行ってもよい。符号量割り当てを段階的に行う場合には、規定の割り当て関数などに基づいて符号量を連続的に増減させてもよい。
【００２９】
また、以上の説明においては、撮像制御情報と量子化幅決定情報とが一致した場合についてのみ、符号化制御を行うとして説明を行ったが、特にこれに限定するものではない。例えば、撮像制御情報と量子化幅決定情報とが一致しない場合であっても、それぞれの情報に応じて符号化制御を行ってもよい。また、かかる場合においては、撮像制御情報と量子化幅決定情報とが一致した場合には、更に多く符号量を割り当ててもよい。
【００３０】
また、図７においては、撮像映像画面の一部を同じサイズ９箇所に分割して、その部分の評価のみを行う例であったが、この例に限定するものではなく、撮像映像画面全体において評価を行っても良いし、９箇所以外の分割数にしても良いし、分割サイズをすべて同じに設定せず画面位置によって分割サイズを変化させても良い。同様に、図４の量子化幅決定情報に関しても、図４に示す例に限定するものではない。更に、本実施形態においては、ピント検出方法として、エッジ検出方式と呼ばれる方法を使用して説明を行ったが、この方式に限定するものではなく、何らかの焦点の評価値が得られれば、前記コントラスト方式やその他の方法を適用したものであってもよい。
【００３１】
<実施形態１の処理の流れ>
図９に、本実施形態における処理の流れの一例を示す。本実施形態における処理は、以下に示すステップよりなる。なお、以下に示す処理の流れは、方法、計算機に実行させるためのプログラム、またはそのプログラムが記録された読み取り可能な記録媒体として実施され得る（以下、本明細書における処理の流れの記載についても同様である）。
【００３２】
まず、撮像装置から符号化前の映像信号を取得する（映像信号取得ステップ  Ｓ０９０１）。次に前記映像信号と関連付けて前記撮像装置から撮像制御情報を取得する（撮像制御情報取得ステップ  Ｓ０９０２）。次に、表示画面中の表示位置に応じて、前記映像信号の量子化幅を決定するための情報である量子化幅決定情報を取得する（量子化幅決定情報取得ステップ  Ｓ０９０３）。次に、前記撮像制御情報と、前記量子化幅決定情報と、に基づいて符号化制御命令を出力する（符号化制御命令出力ステップ  Ｓ０９０４）。当該符号化制御命令出力ステップ（Ｓ０９０４）の詳細については、図６を用いて説明したとおりである。最後に、符号化制御命令に基づいて映像信号取得ステップ（Ｓ０９０１）において取得した映像信号を符号化する（符号化ステップ  Ｓ０９０５）。
【００３３】
<実施形態１の効果>
本実施形態における画像符号化装置は、撮像制御情報と、量子化幅決定情報とに基づいて符号化制御命令を出力することにより、映像信号の注目部分に対する符号化の柔軟な制御を行い、結果として高画質と高効率を両立できる良好な符号化処理を行うことができる。また、画面領域ごとに処理を行うため、符号化制御を効率的に行うことができる。
【００３４】
<<実施形態２>>
<実施形態２の概要>
本実施形態は、実施形態１に加えて、量子化幅に重み付けを行い、重み付けに応じて符号化制御命令を出力する画像符号化装置に関する。画面領域の中で符号量を重点的に割り当てたい部分や、若干多めに割り当てたい部分がある場合などのように、符号量の割り当てを複数の段階に分けて行う場合において有用となる。
【００３５】
<実施形態２の構成>
図１０に、本実施形態における画像符号化装置の機能ブロック図の一例を示す。図１０に示す「画像符号化装置」（１０００）は、「撮像装置」（１００１）と、「映像信号取得部」（０１０２）と、「符号化部」（１００３）と、「撮像制御情報取得部」（１００４）と、「量子化幅決定情報取得部」（１００５）と、「符号化制御命令出力部」（１００６）と、「量子化重み付け係数保持部」（１００７）を有する。「符号化制御命令出力部」（１００６）は、「重み付け依存符号化制御命令出力手段」（１００８）を有する。「量子化重み付け係数保持部」（１００７）と、「重み付け依存符号化制御命令出力手段」（１００８）と、を除いた構成については実施形態１と同様であるためここでの説明は省略する。
【００３６】
「量子化重み付け係数保持部」（１００７）は、表示画面中の表示位置に応じて、前記撮像制御情報と、量子化幅決定情報とに基づいて定められる量子化幅に重み付けを行うための量子化重み付け係数を保持する。「量子化重み付け係数」は、表示画面中の表示位置に応じて保持されているものである。「重み付け」は、撮像制御情報と、量子化幅決定情報とに基づいて定められる量子化幅に対して行われる。「重み付け」とは、例えば量子化幅の制御を段階的に行うための加重処理を行うことである。具体的には、所定の表示位置に対応する量子化テーブルの量子化幅に対して、同一の表示位置で示される重み付け係数を用いて加減等を行うことで、量子化幅の調節を行う。量子化幅の調整を行うことで、表示位置に応じた重み付け処理を実現できる。また、重み付け係数を別途保持することにより、重み付けの設定を即座に変更可能になり、柔軟な符号化制御を行うことが可能になる。
【００３７】
図１１を用いて、量子化重み付け係数の一例について説明する。図１１は図４で説明した量子化幅決定情報に画面領域Ｂの部分を画面左右に追加したものである。ここで、画面領域Ｂに対して、画面領域Ａやその他の領域とは異なる符号量を割り当てることを考える。この場合、量子化重み付け係数は、例えば、
画面領域Ａ  >  画面領域Ｂ  >  その他（Ａ、Ｂ以外）の画面領域
のような関係に符号量を割り当てるように、表示画面の表示位置に応じて保持される。本事例は、中央部分の次に、左右部分にも注目部分がある可能性が高いと思われる撮影の場合に使用される。本事例において、撮像制御情報で推定される注目部分と、量子化幅決定情報の設定が画面中央部で一致した場合には、量子化重み付け係数に基づいて符号量が最も多く割り当てられる。一方、注目部分が画面の左右部分に変わった場合には、同様に撮像制御情報と、量子化幅決定情報の設定とが一致する。しかしながら、量子化重み付け係数の設定では、画面領域Ａよりも少ない符号量を割り当てるように設定されているため、当該左右部分の符号量は中央部分の符号量に比べて少なく割り当てられることになる。このように量子化重み付け係数を保持することにより、柔軟性に富んだ符号化制御が可能となる。
【００３８】
「重み付け依存符号化制御命令出力手段」（１００８）は、前記量子化重み付け係数により重み付けを行ったうえで符号化制御命令を出力する。これにより、符号量の割り当てを複数のパターンに分けて行うことができる。
【００３９】
<実施形態２の処理の流れ>
図１２に本実施形態における処理の流れの一例を示す。ステップＳ１２０３までの処理は実施形態１で説明したものと同様であるため、ここでの説明は省略する。ステップＳ１２０４においては、撮像制御情報と量子化幅決定情報とに基づいて、量子化重み付け係数により重み付けを行ったうえで符号化制御命令を出力する。以降の処理については実施形態１で説明したものと同様であるため、ここでの説明は省略する。
【００４０】
<実施形態２の効果>
本実施形態においては、量子化重み付け係数を保持することにより、符号量の割り当てを複数の段階に応じて行うことができ、柔軟性に富んだ符号化制御処理を行うことができる。
【００４１】
<<実施形態３>>
<実施形態３の概要>
本実施形態は、実施形態１又は２に加えて、量子化幅決定情報を複数保持しており、複数保持している中から一のパターンを選択して量子化幅を決定する画像符号化装置に関する。これにより、多様なシーンに応じた符号化制御を行うことができる。
【００４２】
<実施形態３の構成>
図１３に、本実施形態における画像符号化装置の機能ブロック図の一例を示す。図１３に示す「画像符号化装置」（１３００）は、「撮像装置」（１３０１）と、「映像信号取得部」（１３０２）と、「符号化部」（１３０３）と、「撮像制御情報取得部」（１３０４）と、「量子化幅決定情報取得部」（１３０５）と、「符号化制御命令出力部」（１３０６）と、「量子化幅決定情報複数保持部」（１３０７）を有する。「量子化幅決定情報取得部」（１３０５）は、「パターン利用決定手段」（１３０８）を有する。「量子化幅決定情報複数保持部」（１３０７）と、「パターン利用決定手段」（１３０８）と、を除いた構成については実施形態１で説明したものと同様であるため、ここでの説明は省略する。また、実施形態２とも、「量子化幅決定情報複数保持部」（１３０７）と、「パターン利用決定手段」（１３０８）を除いて共通した構成をとることができる。
【００４３】
「量子化幅決定情報複数保持部」（１３０７）は、前記量子化幅決定情報を複数パターン保持する。「複数パターン」とは、例えば画面の所定の表示位置に対して、複数の量子化幅決定情報が関連付けられていることである。図１４に、量子化幅決定情報を複数パターン保持している概念の一例を示す。図１４（ａ）は、図４に示した量子化幅決定情報と同じものであり、図１４（ｂ）は、図１１示した量子化幅決定情報と同じものである。図１４（ｃ）、図１４（ｄ）はそれぞれ、（ｂ）の画像領域Ａの設定位置を映像画面の中央上部および中央下部に変更した例である。映像画面の中央部の上部および下部に注目部分がある可能性が高いと思われる撮影の場合に、これらの量子化幅決定情報を利用することができる。例えば相撲の試合を撮影する場合には、左右に分かれた力士や土俵周りの画像領域について注目部分がある可能性が高いため、図１４（ｄ）のような量子化幅決定情報を利用することで、より主観的な画質向上が図れる。
【００４４】
「パターン利用決定手段」（１３０８）は、前記量子化幅決定情報複数保持部（１３０７）に保持されている複数の量子化幅決定情報の中の一のパターンを利用して量子化幅を決定する。「一のパターンを利用して量子化幅を決定」とは、複数の量子化幅決定情報の中のいずれか一のパターンを用いて実施形態１などで説明した量子化幅の決定を行うことである。
【００４５】
<実施形態３の処理の流れ>
図１５に本実施形態における処理の流れの一例を示す。ステップＳ１５０２までの処理については実施形態１又は２で説明したものと同様であるため、ここでの説明は省略する。ステップＳ１５０３において、複数の量子化幅決定情報を取得する。そして、ステップＳ１５０３にて取得した複数の量子化幅決定情報の中から一のパターンを利用して量子化幅を決定する。以降の処理については実施形態１又は２と同様である。
【００４６】
<実施形態３の効果>
本実施形態における画像符号化装置は、複数の量子化幅決定情報を保持し、その中から一のパターンを利用して符号化制御を行うため、多彩なシーンに応じた符号化制御を行うことができる。
【００４７】
<<実施形態４>>
<実施形態４の概要>
本実施形態は、実施形態３に加えて、撮像制御情報に基づいて、量子化幅決定情報のパターンを選択することが可能である画像符号化装置に関する。
【００４８】
<実施形態４の構成>
図１６に、本実施形態における画像符号化装置の機能ブロック図の一例を示す。図１６に示す「画像符号化装置」（１６００）は、「撮像装置」（１６０１）と、「映像信号取得部」（１６０２）と、「符号化部」（１６０３）と、「撮像制御情報取得部」（１６０４）と、「量子化幅決定情報取得部」（１６０５）と、「符号化制御命令出力部」（１６０６）と、「量子化幅決定情報複数保持部」（１６０７）と、を有する。量子化幅決定情報取得部」（１６０５）は、「パターン利用決定手段」（１６０８）と、「パターン選択手段」（１６０９）と、を有する。「パターン利用決定手段」（１６０８）は、「選択パターン利用決定器」（１６１０）を有する。「パターン選択手段」（１６０９）と、「選択パターン利用決定器」（１６１０）と、を除いた構成については実施形態３で説明したものと同様であるため、ここでの説明は省略する。
【００４９】
「パターン選択手段」（１６０９）は、前記量子化幅決定情報複数保持部（１６０７）に保持されているパターンを前記撮像制御情報に基づいて選択する。「パターン」とは、複数の量子化幅決定情報の中のいずれか一の量子化幅決定情報のことである。また、「撮像制御情報に基づいて選択」とは、例えば撮像制御情報で示される注目部分が一定時間継続された場合には、当該注目部分に対して符号量を多く割り当てるように設定された量子化幅決定情報を選択することである。なお、選択する際に、適合する量子化幅決定情報が量子化幅決定情報複数保持部（１６０７）に保持されていない場合には、既存の量子化幅決定情報を書き換えることで、量子化幅決定情報を「選択」してもよい。「選択パターン利用決定器」（１６１０）は、前記パターン選択手段（１６０９）の選択したパターンを利用して量子化幅を決定する。
【００５０】
図１７を用いて量子化幅決定情報のパターンの選択例について説明する。図１７において、図示のステップＳ１７０１、Ｓ１７０２、Ｓ１７０３、Ｓ１７０４は、それぞれ図８におけるステップＳ０８０１、Ｓ０８０２、Ｓ０８０３、Ｓ０８０４と同じ処理であるため、ここでの説明は省略する。ステップＳ１７０５において、ステップＳ１７０２にて量子化幅決定情報の設定と推定注目部分の画面領域が不一致であると判断された場合に、その異なる時間（不一致時間）と、事前に設定した設定値（時間）との比較を行う。不一致時間が設定値以上の時間にわたる場合には、現在の量子化幅決定情報の設定が、今回の撮影シーンに対しては不適切な設定であると判断して、量子化幅決定情報の設定変更を行う（Ｓ１７０６）。一方、不一致時間が設定値未満である場合には、量子化幅決定情報の設定変更は行わない（Ｓ１７０７）。例えば、量子化幅決定情報の設定が図１４の（ｂ）である際に、推定注目部分が映像画面の中央上部である時間が所定の設定値（例えば１秒）以上になった場合には、量子化幅決定情報を図１４（ｃ）に選択するよう変更を行う。このように、撮像制御情報に基づいてパターンを選択することにより、状況に応じて柔軟に符号化の制御を行うことができ、結果として、高画質と高効率を両立できる良好な符号化を行うことが可能となる。
【００５１】
<実施形態４の処理の流れ>
図１８に本実施形態における処理の流れの一例を示す。ステップＳ１８０４及びステップＳ１８０５を除いた処理について実施形態３で説明したものと同様であるため、ここでの説明は省略する。ステップＳ１８０４において撮像制御情報に基づいてパターンを選択する。そして、ステップＳ１８０４にて選択したパターンを利用して量子化幅を決定する（Ｓ１８０５）。ステップＳ１８０４及びステップＳ１８０５の具体例については、図１８で説明したとおりである。
【００５２】
<実施形態４の効果>
本実施形態における画像符号化装置では、撮像制御情報に基づいて複数の量子化幅決定情報の中の一のパターンを利用して量子化幅を決定することにより、状況に応じた符号化処理を柔軟に行うことが可能となる。
【００５３】
<<実施形態５>>
<実施形態５の概要>
本実施形態は、撮像制御情報に対してフィルタ処理を行うことにより、不要な情報を除去したうえで符号化の制御を行う画像符号化装置に関する。
【００５４】
<実施形態５の構成>
図１９に、本実施形態における画像符号化装置の機能ブロック図の一例を示す。図１９に示す「画像符号化装置」（１９００）は、「撮像装置」（１９０１）と、「映像信号取得部」（１９０２）と、「符号化部」（１９０３）と、「撮像制御情報取得部」（１９０４）と、「量子化幅決定情報取得部」（１９０５）と、「符号化制御命令出力部」（１９０６）と、を有する。「撮像制御情報取得部」（１９０４）は、「フィルタ処理手段」（１９０７）を有する。「符号化制御命令出力部」（１９０６）は、「フィルタ済撮像制御情報利用符号化制御命令出力手段」（１９０８）を有する。「フィルタ処理手段」（１９０７）と、「フィルタ済撮像制御情報利用符号化制御命令出力手段」（１９０８）と、を除いた構成については実施形態１で説明したものと同様であるため、ここでの説明は省略する。また、実施形態２から４のいずれかにおいても、「フィルタ処理手段」（１９０７）と、「フィルタ済撮像制御情報利用符号化制御命令出力手段」（１９０８）と、を除いて共通した構成をとることができる。
【００５５】
「フィルタ処理手段」（１９０７）は、撮像装置（１９０１）から出力される各種の撮像制御情報に対してフィルタ処理を行う。撮像制御情報には、既に説明したウォブリングに伴う変化以外にも、撮影時のノイズ、画面の揺れ、撮影場所の光量変化による変化などに関する情報も含まれ得るため、撮像制御情報にフィルタ処理を行うことで、より正確に注目部分を推定することが可能となる。フィルタ処理の一例としては、ローパスフィルタのような急激な時間的変化を除去するようなものや、時間的に連続する前後において規定以上のレベル差がある場合のみ、その焦点の評価値を注目部分の算出に使用しないようにするものや、ヒステリシス特性を持たせるものなどが考えられる。
【００５６】
「フィルタ済撮像制御情報利用符号化制御命令出力手段」（１９０８）は、撮像制御情報として前記フィルタ処理手段（１９０７）によりフィルタした結果得られる撮像制御情報であるフィルタ済撮像制御情報を利用して前記符号化制御命令を出力する。
【００５７】
<実施形態５の処理の流れ>
図２０に本実施形態における処理の流れの一例を示す。ステップＳ２００２までの処理については実施形態１で説明したものと同様であるため、ここでの説明は省略する。ステップＳ２００３において、撮像制御情報に対してフィルタ処理を行う。そして、ステップＳ２９０５においては、ステップＳ１８０３にてフィルタした結果得られるフィルタ済撮像制御情報と、量子化幅決定情報と、に基づいて符号化制御命令を出力する。その他の処理については実施形態１と同様である。
【００５８】
<実施形態５の効果>
本実施形態における画像符号化装置は、各種の撮像制御情報に対してフィルタ処理を行うフィルタ処理手段を有し、当該フィルタ済の撮像制御情報を用いて符号化の制御を行うことにより、より正確に注目部分を推定することが可能となる。
【図面の簡単な説明】
【００５９】
【図１】実施形態１を説明するための概念図
【図２】実施形態１を説明するための機能ブロック図
【図３】実施形態１を説明するための第二機能ブロック図
【図４】実施形態１の量子化幅決定情報の概念図
【図５】量子化テーブルの一例を示す図
【図６】量子化幅決定情報の一例を示す図
【図７】実施形態１の撮像映像画面を分割した図
【図８】実施形態１の符号化制御の流れを説明する図
【図９】実施形態１の処理の流れを説明する図
【図１０】実施形態２を説明するための機能ブロック図
【図１１】実施形態２の量子化幅決定情報の概念図
【図１２】実施形態２の処理の流れを説明する図
【図１３】実施形態３を説明するための機能ブロック図
【図１４】実施形態３の量子化幅決定情報の概念図
【図１５】実施形態３の処理の流れを説明する図
【図１６】実施形態４を説明するための機能ブロック図
【図１７】実施形態４の符号化制御の流れを説明する図
【図１８】実施形態４の処理の流れを説明する図
【図１９】実施形態５を説明するための機能ブロック図
【図２０】実施形態５の処理の流れを説明する図
【符号の説明】
【００６０】
０２００    画像符号化装置
０２０１    撮像装置
０２０２    映像信号取得部
０２０３    符号化部
０２０４    撮像制御情報取得部
０２０５    量子化幅決定情報取得部
０２０６    符号化制御命令出力部
【図１】
2006229793.tif 000003
【図２】
2006229793.tif 000004
【図３】
2006229793.tif 000005
【図４】
2006229793.tif 000006
【図５】
2006229793.tif 000007
【図６】
2006229793.tif 000008
【図７】
2006229793.tif 000009
【図８】
2006229793.tif 000010
【図９】
2006229793.tif 000011
【図１０】
2006229793.tif 000012
【図１１】
2006229793.tif 000013
【図１２】
2006229793.tif 000014
【図１３】
2006229793.tif 000015
【図１４】
2006229793.tif 000016
【図１５】
2006229793.tif 000017
【図１６】
2006229793.tif 000018
【図１７】
2006229793.tif 000019
【図１８】
2006229793.tif 000020
【図１９】
2006229793.tif 000021
【図２０】
2006229793.tif 000022