(57)【要約】【課題】  大きな画面変化が発生した場合でも画質の劣化を防止する。【解決手段】  動画像信号を入力する入力手段と、前記入力手段により入力された動画像信号の複数のフレームにおける一部の領域を抽出する抽出手段と、前記抽出手段により抽出された一部の領域の動画像信号を、フレーム内符号化及びフレーム間予測符号化方式により符号化する符号化手段と、前記入力手段により入力された動画像信号のうち、前記一部の領域以外の領域における画像の動きを検出し、前記動き検出結果に基づいて前記符号化手段による前記フレーム内符号化方式の実行タイミングを制御する制御手段とを備える。【選択図】  図５
2005184626.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号を入力する入力手段と、
前記入力手段により入力された動画像信号の複数のフレームにおける一部の領域を抽出する抽出手段と、
前記抽出手段により抽出された一部の領域の動画像信号を、フレーム内符号化及びフレーム間予測符号化方式により符号化する符号化手段と、
前記入力手段により入力された動画像信号のうち、前記一部の領域以外の領域における画像の動きを検出し、前記動き検出結果に基づいて前記符号化手段による前記フレーム内符号化方式の実行タイミングを制御する制御手段とを備える画像処理装置。
【請求項２】
前記制御手段は、現フレームにおける前記一部の領域以外の領域の画像が次のフレームにおいて前記一部の領域に移動することを検出し、この検出結果に基づいて前記現フレームの画像信号を前記フレーム間予測符号化方式にて符号化すると共に前記次のフレームの画像信号を前記フレーム内符号化方式にて符号化するよう前記符号化手段を制御することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記符号化手段は、所定数のフレーム毎に前記フレーム内符号化方式により符号化を行い、前記制御手段は、現フレームが前記フレーム内符号化にて符号化すべきであっても、前記現フレームにおける前記一部の領域以外の領域の画像が次のフレームにおいて前記一部の領域に移動することを検出した場合には前記フレーム間符号化方式にて符号化するよう前記符号化手段を制御することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記抽出手段により抽出する一部の領域の大きさを任意に変更する変更手段を備えたことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記入力手段により入力された動画像信号のうちの１フレームを抽出し、前記符号化手段が前記抽出された１フレームの画像信号を前記フレーム内符号化方式により符号化する静止画モードを備えたことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記入力手段は複数フレームの前記動画像信号を記憶するメモリを有し、前記制御手段は前記メモリに記憶された複数フレームの動画像信号を用いて動きを検出することを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記入力手段は被写体を撮影して前記動画像信号を出力する撮像手段を含むことを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記抽出手段は前記撮像手段により得られた動画像信号を記憶するメモリを有し、前記メモリに記憶された動画像信号における前記一部の領域の位置を前記動画像信号の動き量に応じて変更することにより前記動画像信号のぶれを補正するぶれ補正機能を備えることを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記符号化手段により符号化された動画像信号を記録媒体に記録する記録手段を備えたことを特徴とする請求項１記載の画像処理装置。
【請求項１０】
動画像信号を入力する入力手段と、
前記入力手段により入力された動画像信号の複数のフレームにおける一部の領域を抽出する抽出手段と、
前記抽出手段により抽出された一部の領域の動画像信号を符号化する符号化手段と、
前記入力手段により入力された動画像信号のうち、前記一部の領域以外の領域における画像の動きを検出し、前記動き検出結果に基づいて前記符号化手段による符号化処理を制御する制御手段とを備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関し、特に画像信号の符号化処理に関する。
【背景技術】
【０００２】
従来、画像信号の符号化方式として、ＭＰＥＧ方式が知られており、例えば、特許文献１や特許文献２に記載されている。
【０００３】
このＭＰＥＧ符号化では、画像信号をＩフレーム、Ｐフレーム、Ｂフレームの三種類に分類し、符号化処理を行う。Ｉフレームは同じ画面内の画像信号のみを用いて符号化し、Ｐフレームは先行するＩフレームもしくはＰフレームの画像信号を用いて動き補償予測符号化し、Ｂフレームはその前後のＩフレームもしくはＰフレームの画像信号を用いて動き補償予測符号化する。
【０００４】
この様にＭＰＥＧ方式により符号化した画像信号を限られた伝送レートの伝送路で送信する場合や、記録媒体などに記録する場合には、単位時間当たりのデータ量（データレート）を一定に保つことが望ましい。
【０００５】
この様にデータレートを一定に保つ方式のことを、ＣＢＲ（Ｃｏｎｓｔａｎｔ  Ｂｉｔ  Ｒａｔｅ）方式と呼ぶ。
【特許文献１】特開２００２−１９９４０８
【特許文献２】特開平９−１６３３７９
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ＭＰＥＧ方式では、ＰフレームやＢフレームは他のフレームの画像信号を用いた動き補償予測符号化を行うため、例えば、Ｐフレームの画面内に突然新たな被写体があらわれるなどの大きな画面変化があると予測誤差が大きくなってしまう。
【０００７】
そして、ＣＢＲモードでは、データレートを一定に保つ必要があるので、この様に大きな動きにより予測誤差が大きくなってしまう場合、その分量子化ステップ幅を大きく設定してデータ量を削減する必要がある。
【０００８】
そのため、この様に大きな画面変化の部分では、他のフレームに比べて画質が劣化してしまう。
【０００９】
本発明はこの様な問題を解決し、大きな画面変化が発生した場合でも画質の劣化を防止することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、動画像信号を入力する入力手段と、前記入力手段により入力された動画像信号の複数のフレームにおける一部の領域を抽出する抽出手段と、前記抽出手段により抽出された一部の領域の動画像信号を、フレーム内符号化及びフレーム間予測符号化方式により符号化する符号化手段と、前記入力手段により入力された動画像信号のうち、前記一部の領域以外の領域における画像の動きを検出し、前記動き検出結果に基づいて前記符号化手段による前記フレーム内符号化方式の実行タイミングを制御する制御手段とを備える。
【発明の効果】
【００１１】
本発明によれば、符号化する画像の領域外の動きによってフレーム内符号化方式の実行タイミングを制御するため、大きな画面変化による画質の劣化を防止することができる。
【発明を実施するための最良の形態】
【００１２】
図１は本発明を適用した撮像装置１００の構成を示すブロック図である。
【００１３】
本形態の撮像装置は、動画像の撮影機能に加え、静止画像の撮影機能を有している。
【００１４】
図１において、１０１はＣＣＤであり、静止画撮影に適した画素数を備える。
【００１５】
例えば、通常のＮＴＳＣ方式で動画像を得るには横７２０＋Ｙ、縦４８０＋Ｘ画素（Ｘ，Ｙは信号処理に必要な数画素分）として合計約３５万画素程度あれば十分であるが、本形態では、静止画撮影用に、横１６００＋Ｙ、縦１２００＋Ｘ画素として約２００万画素程度のＣＣＤとする。
【００１６】
１０２は信号処理部であり、ＣＣＤ１０１から出力された画像信号をデジタル信号に変換すると共に、その他必要な処理を施してメモリ１０３に出力する。メモリ１０３は信号処理部１０２から出力された複数フレーム分の画像信号を記憶する。切り出し部１０４は、撮影モードに応じてメモリ１０３に記憶された画像信号の一部の画面領域を抽出し、その一部の画像信号をリサイズ部１０５に出力する。リサイズ部１０５は、切り出し部１０４から出力された画像信号の画素数を撮影モードに従う記録フォーマットに適した画素数に削減し、符号化部１０６に出力する。
【００１７】
符号化部１０６は、後述の様に制御部１０９の指示に応じて画像信号をＭＰＥＧ方式またはＪＰＥＧ方式で符号化し、記録部１０７に出力する。記録部１０７は符号化された画像データを記録媒体１０８に記録する。なお、本形態では記録媒体としてディスク媒体を用いる。
【００１８】
動き検出部１０９は、メモリ１０３に記憶された複数フレームの画像信号のうち、切り出し部１０４にて読み出される領域とそれ以外の領域との間の動きベクトルを検出し、制御部１１０に出力する。
【００１９】
制御部１１０は、操作部１１１の指示に従って静止画撮影モードと動画撮影モードを切り替えると共に、動画撮影モードにおいては、動き検出部１０９からの出力に基づいて符号化部１０６によるＭＰＥＧ符号化処理を制御する。
【００２０】
図２に、本形態において扱う画像信号の様子を示す。
【００２１】
図２において、２０１はＣＣＤ１０１から読み出され、信号処理部１０２にて処理する画像を示し、２０２は切り出し部１０４により抽出される領域を示している。また、２０３はリサイズ部１０５により動画撮影モード時に縮小する画像のサイズを示している。この画面２０３のサイズは任意に設定可能である。
【００２２】
この様な撮像装置１００において、静止画撮影モードにおいて、操作部１１０より静止画撮影の指示があると、制御部１０９は信号処理部１０２を制御して１フレームの画像信号をメモリ１０３に記憶し、更に、切り出し部１０４、リサイズ部１０５を制御して、メモリ１０３に記憶された画像信号を指定されたサイズになるよう処理して符号化部１０６に出力する。
【００２３】
本形態では、静止画撮影モードにおいては、撮影する静止画像の大きさを、図２の画面２０１までのサイズの中で任意の大きさに設定できる。
【００２４】
符号化部１０６はリサイズ部１０５から出力された画像信号に対し、ＪＰＥＧ方式の符号化処理を施し、記録部１０７に出力する。記録部１０７は符号化された静止画像信号を記録媒体１０８に記録する。
【００２５】
次に、動画撮影モードの処理を説明する。
【００２６】
操作部１１１より動画撮影開始の指示があると、制御部１１０は信号処理部１０２を制御して、ＣＣＤ１０１から出力された画像信号をフレーム毎に順次メモリ１０３に書き込む。そして、メモリ１０３に記憶された動画像信号を切り出し部１０４、リサイズ部１０５により前述の様に順次処理して符号化部１０６に出力する。
【００２７】
一方、動画撮影モードにおいて、制御部１１０は動き検出部１０９の検出出力に応じて符号化部１０６を制御する。
【００２８】
ここで、制御部１１０による制御動作について説明する。
【００２９】
図３はある撮影シーンにおける画像の様子を示しており、図３（ａ）、（ｂ）、（ｃ）はそれぞれ、時刻Ｔａ、Ｔｂ、Ｔｃにおける画像の様子を示している。
【００３０】
図３において、３０１は図２の２０１と同様、ＣＣＤ１０１から出力された画像の大きさであり、３０２は図２の２０２と同様、切り出し部１０４により抽出される領域を示している。３０３、３０４はそれぞれ被写体である。
【００３１】
まず、図３（ａ）の時刻Ｔａでは、被写体３０２が記録範囲３０２内に存在する。そして、図３（ｂ）、（ｃ）に示す様に、被写体３０４が時刻Ｔｂ、Ｔｃと時間経過に従って移動し、時刻Ｔｃでは記録範囲３０２内に移動する。
【００３２】
この様なシーンをＭＰＥＧ方式にて符号化した場合のデータ量の様子を図４に示す。
【００３３】
図４で、Ｉ、ＰはそれぞれＩフレームとＰフレームを示す。また、説明を簡略化するために、Ｂフレームがない場合の例を示している。また、フレーム番号の軸には、順に各フレームを表現するためにフレーム番号を付与している。
【００３４】
ここでは、Ｉフレームを６フレーム毎に挿入している。
【００３５】
また、フレーム種類の下に、時刻Ｔａ、Ｔｂ、Ｔｃを示している。データ量の軸は、それぞれのフレームでのデータの量を相対的に示している。簡単のためにデータ量は概略値として４段階とし、数字が大きいほどデータ量が多いことを表現している。
【００３６】
ここでは、ＣＢＲモードにおいて、平均データ量を１２／５（５分の１２）となるようデータ量を制御するものとする。
【００３７】
まず時刻Ｔａでのフレーム１はＩフレームなのでデータが多くレベルは４、フレーム２からフレーム５までの時間ではＰフレームとしてデータ量は比較的少なくレベルは２となっている。
【００３８】
時刻Ｔｂのフレーム６においては先のＩフレームから５フレームを経過したので再びＩフレームとなりレベルは４になる。
【００３９】
時刻Ｔｂの次のフレーム７はＰフレームであるが、時刻Ｔｃで記録範囲３０２内に被写体３０４が移動するため、前フレーム６との差分が大きくなる。従ってデータ量は３となっている。
【００４０】
次のフレーム８では本来前フレームとの画像の差が少ないのでデータ量は２でとなるべきであるが、前のフレーム７のレベルが３であるためにここでデータ量を２とすると所定時間の平均データ量が基準を上まわってしまう。そこで、やむを得ずデータ量を１とする。そして次のフレーム９から１０はレベル２となる。そしてフレーム１１でＩフレームが挿入されレベル４となる。これによりフレーム６から１１までの平均は１２／５となる。
【００４１】
この様に、一定周期でＩフレームを挿入して符号化する場合、図３の時刻Ｔｃの様に突然新たな被写体が画面内に移動したときに符号量が増加し、画質が劣化してしまう。
【００４２】
そこで、本形態では、動画撮影モードにおいては、図３（ｂ）、（ｃ）の様に、記録範囲３０２以外の領域において、被写体の動きを検出し、この動き検出の結果に基づいて符号化処理を変更する。
【００４３】
即ち、図１の動き検出部１０９は、メモリ１０３に記憶された連続する２フレームの画像のうち、記録範囲３０２以外の領域における画像の動きベクトルを検出し、その結果を制御部１１０に出力する。
【００４４】
具体的には、例えば、図３（ｂ）の画面において、その直前の画面の画像信号を使って被写体３０４の動きベクトルを検出する。この場合、被写体３０４は画面左方向に移動することが検出できるため、被写体の位置と検出した動きベクトルの情報を制御部１１０に出力する。
【００４５】
制御部１１０は、この動き検出部１０９の出力に基づき、例えば、時刻ＴｂのフレームがＩフレームとなっていた場合、Ｉフレームの挿入タイミングを遅延させ、時刻Ｔｂの画面をＰフレームとして符号化するよう、符号化部１０６を制御する。
【００４６】
制御部１１０による符号化時の処理を図５のフローチャートを用いて説明する。
【００４７】
符号化処理を開始すると、まず、Ｉフレームの挿入間隔を示すＩ＿ＣＮＴを４にセットし、処理したフレーム数をカウントするための変数Ｆ＿ＣＮＴを０にセットする（Ｓ５０１）。つまり、フレーム数を０から数えて４となったときにＩフレームを挿入するよう制御している。そして、Ｆ＿ＣＮＴの値がＦ＿ＣＮＴ以上となったかを判別する（Ｓ５０２）。Ｆ＿ＣＮＴの値がＩ＿ＣＮＴ、つまり４以上である場合には、Ｉフレームを挿入すべきタイミングとなっていると判断し、Ｓ５０３において、動き検出部１０９の出力によりＩフレームの挿入タイミングを遅延させるか否かを判別する。
【００４８】
動き検出部１０９は、図３の画面３０１内における記録範囲３０２以外の領域の画像の動きベクトルを検知し、特定のマクロブロック内の物体が同じ速度で移動すると仮定して、記録範囲３０２内に移動する時刻を予測する。
【００４９】
そして、記録範囲３０２の外の被写体が、次のフレームに相当する時刻に、記録範囲３０２内に移動すると予測されるときに、遅延信号を出力する。
【００５０】
制御部１０９は動き検出部１０９から遅延信号が出力されていない場合には、そのままこのフレームをＩフレームとして符号化するよう、符号化部１０６を制御し（Ｓ５０４）、Ｆ＿ＣＮＴを０にセットしてＳ５０２に戻る。
【００５１】
一方、Ｓ５０３において、動き検出部１０９よりＩフレームの遅延信号が出力されている場合、このフレームをＰフレームとして符号化するよう符号化部１０６を制御し（Ｓ５０６）、Ｆ＿ＣＮＴに１を加算してＳ５０２に戻る。
【００５２】
また、Ｓ５０２においてＦ＿ＣＮＴが４に達していない場合には、Ｉフレームの挿入タイミングではないとして、Ｐフレームにて符号化する。
【００５３】
図３のシーンをこの様に符号化処理した場合のデータ量の様子を図６に示す。
【００５４】
まず、時刻Ｔａのフレーム１はＩフレームなのでデータが多くレベル４、フレーム２からフレーム５までの時間ではＰフレームのため、データ量は比較的少なくレベル２となっている。
【００５５】
時刻Ｔｂのフレーム６においては、先のＩフレームから５フレームを経過したので再びＩフレームとすべきであるが、ここで、動き検知部１０９の検出結果を反映させる。
【００５６】
この時点で、動き検知部１０９はメモリ１０３に蓄えられた数フレーム分の画像信号から記録範囲３０２以外の動きを検知する。図３では、被写体３０４が記録範囲３０２の領域外に位置するが、次のフレームに相当する時刻で記録範囲３０２に入ることを予測したとする。
【００５７】
そこで、動き検出部１０９はＩフレームの挿入を遅延させるための遅延信号をＣＰＵ１１０に出力する。
【００５８】
ＣＰＵ１１０はこの遅延信号を受けて、符号化部１０６に対しＩフレームの挿入を遅延させる。
【００５９】
そのため、符号化部１０６はフレーム６をＩフレームでなくＰフレームとして符号化し、データ量のレベルは２となる。そして次の時刻Ｔｃで画面内に被写体３０４が入るので、前フレーム６との画像差分が大きくなるが、ＣＰＵ１１０は先に遅延信号を受けたので、フレーム７をＩフレームとして符号化するよう符号化部１０６に指示する。そのためフレーム７のデータ量はレベル４となる。
【００６０】
以降はこのフレーム７を基準にしてＩフレーム挿入のためのフレームを計数する。
【００６１】
つまりフレーム８からフレーム１１はＰフレームとして符号化し、前フレームとの画像の差が少ないのでデータ量は２となる。フレーム１２においては記録範囲３０２内への画像の変化がなければ遅延信号は出力されずＩフレームが挿入さる。従ってデータ量は４となる。
【００６２】
この場合のデータ量のフレーム１からフレーム５までの平均とフレーム７からフレーム１１までの平均は１２／５である。しかし、フレーム２からフレーム６の平均は１０／５となり目標データレート１２／５を下回る。
【００６３】
そのため、従って厳密にＣＢＲではないが、画像の変化が少ない部分でのデータ量を無理に大きくする必要もない。つまり画質の劣化を伴わないでデータが減ることは事実上問題にならない。
【００６４】
この様に、本実施形態によれば、撮影された画面の一部を抽出して動画像として符号化して記録する場合に、記録範囲外における被写体の動きを検出し、新たな被写体が記録範囲内に移動すると判断した場合に、Ｉフレームの挿入タイミングを変更することで、予測誤差の増加に伴う画質劣化の度合いを抑えることができる。
【００６５】
なお、前述の実施形態では、静止画撮影用に動画撮影時よりも多くの画素を備えたＣＣＤを用いて動画像信号を撮影し、符号化する場合について説明したが、これ以外にも、例えば、動画撮影時のぶれ補正用に、記録範囲よりも大きい画素数のＣＣＤを備えた構成の撮像装置に対しても同様に本発明を適用可能となる。
【００６６】
具体的に、ぶれ補正を行う場合、例えば、図２における画像の切り出し範囲２０２を画像全体の動きベクトルに基づいて移動する。そして、この様な構成においても、同様に切り出し範囲外からの被写体の移動を予測し、Ｉフレームの挿入タイミングを変更することで、符号量の増加に伴う画質の劣化の度合いを防止することが可能となる。
【００６７】
また、前述の実施形態では５フレームに一度Ｉフレームを挿入することを原則にしているが、Ｉフレームの挿入を遅らせた場合には、遅延させた際にその原則から外れる。更に、一時的にデータ量も平均を下回ることがある。
【００６８】
本形態ではこれらを問題としていないが、システムによっては不都合があるかもしれない。
【００６９】
その場合、Ｉフレーム挿入を遅延させても次のＩフレームは元の予定どおりのタイミングで挿入するよう制御しても良い。
【００７０】
例えば、図６において、本来Ｉフレームはフレーム１、フレーム６、フレーム１１と５フレーム毎に挿入すべきとすると、フレーム６での挿入を遅延させた場合も、次にＩフレームを挿入するのはフレーム１１とする。
【００７１】
このようにすれば５フレームに一度Ｉフレームを挿入する構成とビットレート一定の原則に則したものにできる。このような対応は、ＣＰＵ１１０の制御プログラム変更で対応可能である。
【図面の簡単な説明】
【００７２】
【図１】本発明が適用される撮像装置の構成を示す図である。
【図２】実施形態にて扱う画像の様子を示す図である。
【図３】実施形態における動き検出動作を説明するための図である。
【図４】符号量の変化を示す図である。
【図５】実施形態における符号化処理の制御動作を示すフローチャートである。
【図６】実施形態における符号量の変化を示す図である。
【図１】
2005184626.tif 000003
【図２】
2005184626.tif 000004
【図３】
2005184626.tif 000005
【図４】
2005184626.tif 000006
【図５】
2005184626.tif 000007
【図６】
2005184626.tif 000008