(57)【要約】【課題】  符号化効率を損なわずに画像ストリーム途中からでも迅速な再生及び容易な編集が可能な画像ストリームを出力する画像符号化装置を提供する。【解決手段】  カメラ部１０１からのカメラ制御データに基づいて、カメラ部１０１の動作がフレームを飛び越した参照を禁止する条件に適合するとＩＤＲピクチャ判定部１０３により判定された場合に、その判定結果に応じて符号化部１０２がその動作の開始前又は終了後もしくは開始前及び終了後のフレームをＩＤＲピクチャに設定してフレームを飛び越した参照を行わないように画像を圧縮符号化するようにして、符号化効率を損なわずに画像を圧縮符号化し、画像ストリーム途中からの迅速な再生及び容易な編集が可能な画像ストリームを出力できるようにする。【選択図】  図１
2006340001.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の画像フレーム間予測を行い圧縮符号化する画像符号化装置であって、
被写体像を撮像する撮像手段より入力される入力画像を圧縮符号化する符号化手段と、
前記撮像手段の制御データを取得する制御データ取得手段と、
前記制御データ取得手段により取得した前記制御データに基づき、フレームを飛び越した参照を禁止するか否かを判定する判定手段とを備え、
前記判定手段により前記撮像手段の動作がフレームを飛び越した参照を禁止する禁止条件に適合すると判定された場合に、飛び越し参照を禁止する基準フレームを設定することを特徴とする画像符号化装置。
【請求項２】
前記基準フレームは、前記撮像手段の動作が前記禁止条件に適合すると前記判定手段により判定された期間内のフレームに対して、その最初のフレームよりも前のフレームであることを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記基準フレームは、前記撮像手段の動作が前記禁止条件に適合すると前記判定手段により判定された期間内のフレームに対して、その最後のフレームよりも後のフレームであることを特徴とする請求項１記載の画像符号化装置。
【請求項４】
前記基準フレームは、前記撮像手段の動作が前記禁止条件に適合すると前記判定手段により判定された期間内のフレームに対して、その最初のフレームよりも前のフレーム及びその最後のフレームよりも後のフレームの両方であることを特徴とする請求項１記載の画像符号化装置。
【請求項５】
前記基準フレームに飛び越し参照禁止フラグを付加することを特徴とする請求項１〜４の何れか１項に記載の画像符号化装置。
【請求項６】
入力画像をＨ．２６４方式に準拠して圧縮符号化し、
前記基準フレームのピクチャタイプをＩＤＲピクチャに設定することを特徴とする請求項１〜４の何れか１項に記載の画像符号化装置。
【請求項７】
前記撮像手段の制御データには、焦点整合制御データ、ズーム動作制御データ、撮像装置本体の振動を検出する振動検出データ、撮像装置本体の移動を検出する移動検出データ及び画像に対して特殊効果を付加する特殊効果付加制御データのうち少なくとも１つを含むことを特徴とする請求項１〜４の何れか１項に記載の画像符号化装置。
【請求項８】
前記禁止条件には、前記撮像手段の動作が、焦点整合開始又は終了、ズーム動作開始又は終了、振動検出開始又は終了、移動検出開始又は終了及び特殊効果付加開始又は終了であるうちの少なくとも１つを含むことを特徴とする請求項７記載の画像符号化装置。
【請求項９】
前記撮像手段におけるズーム速度が閾値よりも大きい場合に、前記基準フレームを飛び越した参照を禁止することを特徴とする請求項７記載の画像符号化装置。
【請求項１０】
前記撮像装置本体の移動速度が閾値よりも大きい場合に、前記基準フレームを飛び越した参照を禁止することを特徴とする請求項７記載の画像符号化装置。
【請求項１１】
入力画像の画像フレーム間予測を行い圧縮符号化する画像符号化方法であって、
被写体像を撮像する撮像手段の制御データを取得する制御データ取得工程と、
前記制御データ取得工程で取得した制御データに基づき、フレームを飛び越した参照を禁止するか否かを判定する判定工程と、
前記判定工程で前記撮像手段の動作がフレームを飛び越した参照を禁止する禁止条件に適合すると判定された場合に飛び越し参照を禁止する基準フレームを設定すると共に、前記撮像手段より入力される入力画像を圧縮符号化する符号化工程とを有することを特徴とする画像符号化方法。
【請求項１２】
被写体像を撮像する撮像手段の制御データを取得する制御データ取得ステップと、
前記制御データ取得ステップにて取得した制御データに基づき、フレームを飛び越した参照を禁止するか否かを判定する判定ステップと、
前記判定ステップにて前記撮像手段の動作がフレームを飛び越した参照を禁止する禁止条件に適合すると判定された場合に飛び越し参照を禁止する基準フレームを設定すると共に、前記撮像手段より入力される入力画像を画像フレーム間予測を行い圧縮符号化する符号化ステップとをコンピュータに実行させるためのプログラム。
【請求項１３】
請求項１２記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム間予測を行って画像を圧縮符号化する画像符号化装置及び画像符号化方法に関する。
【背景技術】
【０００２】
画像を高能率符号化するための技術として、ＪＰＥＧ方式の圧縮技術や動き予測・動き補償技術を用いたＭＰＥＧ１、２といった符号化方式が確立されている。各メーカーは、これらの符号化方式を利用して画像を記録媒体に記録可能としたディジタルカメラやディジタルビデオカメラといった撮像装置或いはＤＶＤレコーダーなどを開発し製品化している。一方、ユーザーは、これらの装置或いはパーソナルコンピュータやＤＶＤプレーヤーなどを用いて簡単に画像を視聴することが可能となっている。
【０００３】
ところで、ディジタル化された動画像は膨大なデータ量となる。そこで、上記ＭＰＥＧ１，２などよりも更なる高圧縮が望める動画像の符号化方式が研究され続けてきており、近年、ＩＴＵ−Ｔ（国際電気通信連合  電気通信標準化部門）とＩＳＯ（国際標準化機構）により、Ｈ．２６４／ＭＰＥＧ−４  ｐａｒｔ１０という符号化方式（以下、「Ｈ．２６４」と称す。）が標準化された。
【０００４】
ここで、Ｈ．２６４におけるピクチャタイプ及びフレーム間予測に用いる参照画像の選択について、図１１及び図１２を参照して説明する。なお、図１１（ａ）〜（ｃ）及び図１２（ａ）〜（ｂ）は、入力画像シーケンス及びそのピクチャタイプを表しており、上段が表示順序（左から順に表示）、下段が符号化順序（左から順に符号化）で示している。
【０００５】
例えば、図１１（ａ）において、Ｐ８ピクチャは９番目に表示されるＰピクチャのフレームであることを示している。また、図中の矢印は参照関係を示しており、例えば、図１１（ａ）に示した例では、Ｐ８ピクチャがＢ０ピクチャを参照していることを示す。また、図１１（ｂ）に示した例では、Ｂ０ピクチャがＰ２ピクチャとＢ７ピクチャとを参照していることを示す。
【０００６】
Ｈ．２６４における画像フレームのピクチャタイプは、同一フレーム内の情報のみから符号化するＩピクチャと、時間的に前のフレームとの差分を利用して符号化するＰピクチャと、さらに時間的に前のフレームとの差分に加えて時間的に後のフレームとの差分も利用できるＢピクチャがある。
【０００７】
Ｈ．２６４においては、フレーム間予測を行う際に画像シーケンス中の任意のフレーム及びピクチャタイプを参照画像として利用することが可能である。例えば、図１１（ａ）に示したようにＰピクチャ（Ｐ８）は、Ｉピクチャだけでなく、Ｉピクチャを飛び越してのフレームの参照が可能となる。同様に、図１１（ｂ）に示したようにＢピクチャ（Ｂ０）もＩピクチャだけでなく、Ｉピクチャを飛び越してのフレームの参照が可能となる。このように、Ｈ．２６４では柔軟な参照を許容しており、ＭＰＥＧ２のようにＰピクチャであれば当該Ｐピクチャの直前のＩピクチャもしくはＰピクチャしか参照できないような方式と比較して、Ｈ．２６４は、フレーム間予測精度が向上し、符号化効率を向上させることができる。
【０００８】
一方、上述したような柔軟な参照を許容したために、Ｈ．２６４においてはランダムアクセスが迅速に行えなくなる場合がある。例として図１１（ｃ）において、ランダムアクセスにより画像シーケンスの途中のフレームであるＩ５ピクチャより再生する場合について説明する。
【０００９】
画像シーケンス中のＩ５ピクチャから再生を開始して、Ｐ８ピクチャを復号する場合には、Ｐ８ピクチャがＢ０ピクチャを参照しているので、このＢ０ピクチャを前以って復号しておく必要がある。さらに、Ｂ０ピクチャはＰ２ピクチャとＢ７ピクチャとを参照しているので、Ｂ０ピクチャを復号するには、これらＰ２ピクチャ及びＢ７ピクチャを前以って復号しておく必要がある。
【００１０】
同様に、図示していないが、Ｐ２ピクチャ及びＢ７ピクチャもそれぞれ他のピクチャを参照しているので、Ｐ２ピクチャ及びＢ７ピクチャを復号するには、他のピクチャを前以って復号しておく必要がある。このように、Ｉ５ピクチャから再生を開始したい場合であっても、Ｉ５ピクチャを飛び越しての参照を許容しているために、Ｉ５ピクチャ以前のデータに遡って復号を開始する必要が生じ、迅速にＩ５ピクチャから再生を開始することが困難になる。
【００１１】
そこで、この問題を解消し迅速なランダムアクセスを実現可能とするために、定期的にＩピクチャに制限を設ける方法が提案されている（例えば、特許文献１参照）。この制限付きのＩピクチャは、Ｈ．２６４ではＩＤＲピクチャと呼ばれている。
【００１２】
ここで、図１２（ａ）及び（ｂ）を参照して、ＩＤＲピクチャについて説明する。図１２（ａ）及び（ｂ）に示した画像シーケンスは、図１１（ａ）及び（ｂ）と同様の画像シーケンスに対して、Ｉ５ピクチャをＩＤＲピクチャに設定した画像シーケンスである。
Ｉ５ピクチャをＩＤＲピクチャに設定すると、該ピクチャを符号化するときに参照画像を記録しているフレームメモリがクリアされる。したがって、ＩＤＲピクチャ以降に符号化されるピクチャが、そのＩＤＲピクチャ以前に符号化されたピクチャを参照することができない。同様に、ＩＤＲピクチャ以前に符号化されたピクチャが、そのＩＤＲピクチャ以降に符号化されるピクチャを参照することができない。
【００１３】
図１２（ａ）に示した例では、ＩＤＲ（ＩＤＲ５）ピクチャ以降に符号化されるＰピクチャ（Ｐ８など）やＢピクチャ（Ｂ６など）は、そのＩＤＲピクチャ以前に符号化されたＰピクチャ（Ｐ２など）やＢピクチャ（Ｂ０など）を参照することができない。逆に、図１２（ｂ）に示した例では、ＩＤＲ（ＩＤＲ５）ピクチャ以前に符号化されるＰピクチャ（Ｐ２など）やＢピクチャ（Ｂ０など）は、そのＩＤＲピクチャ以降に符号化されたＰピクチャ（Ｐ８など）やＢピクチャ（Ｂ６など）を参照することができない。
【００１４】
これにより、ＩＤＲピクチャから再生を開始すれば、ＩＤＲピクチャ以前の画像データまで遡って復号する必要がなく、迅速なランダムアクセスを実現して再生することができる。また、ＩＤＲピクチャを飛び越しての参照が禁止されるので、ＩＤＲピクチャを基準とした編集が可能となる。
【００１５】
【特許文献１】特開２００３−１９９１１２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
上述したようにＨ．２６４では、フレーム間予測の参照関係を制限するＩＤＲピクチャを利用することでランダムアクセスを迅速に行うことができる。そのため、画像シーケンスの任意の場所から迅速な再生や容易な編集を行うには、数多くのＩＤＲピクチャが設定されている必要がある。しかし、ＩＤＲピクチャを設定することにより上述したように参照関係が制限されるために、数多くのＩＤＲピクチャを設定すると符号化効率は悪化する可能性がある。すなわち、符号化効率を考慮するならばＩＤＲピクチャの設定は必要最低限が望ましい。従来のように定期的にＩＤＲピクチャを設定する場合には、ランダムアクセスに必要のないフレームもＩＤＲピクチャに設定され、符号化効率は悪化してしまう。
【００１７】
本発明は、このような問題に鑑みてなされたものであり、符号化効率を損なわずに画像ストリーム途中からでも迅速な再生及び容易な編集が可能な画像ストリームを出力する画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明の画像符号化装置は、入力画像の画像フレーム間予測を行い圧縮符号化する画像符号化装置であって、被写体像を撮像する撮像手段より入力される入力画像を圧縮符号化する符号化手段と、前記撮像手段の制御データを取得する制御データ取得手段と、前記制御データ取得手段により取得した前記制御データに基づき、フレームを飛び越した参照を禁止するか否かを判定する判定手段とを備え、前記判定手段により前記撮像手段の動作がフレームを飛び越した参照を禁止する禁止条件に適合すると判定された場合に、飛び越し参照を禁止する基準フレームを設定することを特徴とする。
本発明の画像符号化方法は、入力画像の画像フレーム間予測を行い圧縮符号化する画像符号化方法であって、被写体像を撮像する撮像手段の制御データを取得する制御データ取得工程と、前記制御データ取得工程で取得した制御データに基づき、フレームを飛び越した参照を禁止するか否かを判定する判定工程と、前記判定工程で前記撮像手段の動作がフレームを飛び越した参照を禁止する禁止条件に適合すると判定された場合に飛び越し参照を禁止する基準フレームを設定すると共に、前記撮像手段より入力される入力画像を圧縮符号化する符号化工程とを有することを特徴とする。
本発明のプログラムは、被写体像を撮像する撮像手段の制御データを取得する制御データ取得ステップと、前記制御データ取得ステップにて取得した制御データに基づき、フレームを飛び越した参照を禁止するか否かを判定する判定ステップと、前記判定ステップにて前記撮像手段の動作がフレームを飛び越した参照を禁止する禁止条件に適合すると判定された場合に飛び越し参照を禁止する基準フレームを設定すると共に、前記撮像手段より入力される入力画像を画像フレーム間予測を行い圧縮符号化する符号化ステップとをコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、上記プログラムを記録したことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、撮像手段の制御データに応じて、画像ストリーム中にフレームの飛び越し参照を禁止する基準フレームを設定することにより、従来に比べて、符号化効率を損なわずに画像を圧縮符号化し、画像ストリーム途中からであっても迅速な再生及び容易な編集が可能な画像ストリームを得ることができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態による画像符号化装置を適用した画像処理装置の構成例を示すブロック図である。本実施形態における画像処理装置は、カメラ制御データによりピクチャタイプをＩＤＲピクチャに設定するものであり、カメラ部１０１、符号化部１０２、及びＩＤＲピクチャ判定部１０３を有する。
【００２１】
カメラ部１０１は、被写体の撮影を行うためのものである。符号化部１０２は、カメラ部１０１からの非圧縮の画像データを圧縮符号化する。ＩＤＲピクチャ判定部１０３は、カメラ部１０１からのカメラ制御データによりピクチャタイプをＩＤＲピクチャにするか否かを判定する。また、ＩＤＲピクチャ判定部１０３は、判定結果を符号化部１０２に供給する。
【００２２】
次に、カメラ部１０１、符号化部１０２、及びＩＤＲピクチャ判定部１０３について詳しく説明する。
【００２３】
（カメラ部１０１）
まず、カメラ部１０１の構成例について、図２を参照して詳しく説明する。
図２は、カメラ部１０１の構成例を示すブロック図である。図２に示すように、カメラ部１０１は、レンズ２０１、撮像部２０２、Ａ／Ｄ（アナログ−ディジタル）変換部２０３、カメラ信号処理部２０４、特殊効果付加部２０５、振動検出部２０６、カメラ制御部２０７、及びスイッチ２０８を有し構成される。カメラ部１０１は、被写体光が入力され、非圧縮の画像データと、カメラ制御データとを出力する。
【００２４】
続いて、カメラ部１０１の動作について説明する。
まず、レンズ２０１は、被写体光を撮像部２０２に導く。レンズ２０１は、後述のカメラ制御部２０７から出力される制御信号に対応してズーム動作や焦点整合動作などを行う。撮像部２０２は、ＣＣＤやＣＭＯＳ等を使って被写体を撮像し、得られた被写体光を電気信号に変換してＡ／Ｄ変換部２０３に出力する。Ａ／Ｄ変換部２０３は、アナログ信号をディジタル信号に変換する。
【００２５】
カメラ信号処理部２０４は、Ａ／Ｄ変換部２０３より出力されたディジタル信号に対して、γ補正、ホワイトバランス等の処理を行い、非圧縮画像データを出力する。ここで、カメラ信号処理部２０４より出力される非圧縮画像データに対して、フェードやワイプなどの特殊効果を付加する場合には、特殊効果付加部２０５により特殊効果を付加して、特殊効果付き非圧縮画像データを出力する。一方、特殊効果を付加しない場合には、カメラ信号処理部２０４より出力される非圧縮画像データをそのまま出力する。
【００２６】
スイッチ２０８は、カメラ信号処理部２０４より出力された非圧縮画像データに特殊効果を付加した特殊効果付き非圧縮画像データ、またはカメラ信号処理部２０４より出力されたそのままの非圧縮画像データのいずれを出力するかを選択、つまり特殊効果を付加するかしないか選択する。振動検出部２０６は、ジャイロ等を用いた周知の方式を適用して撮像装置本体の振動を検出することにより、手ぶれや撮像装置本体のパン・チルトを検出する。
【００２７】
カメラ制御部２０７は、カメラ部１０１を制御してカメラ制御データを出力する。このカメラ制御データには、上述のカメラ部１０１を構成するモジュールの制御データが含まれる。
【００２８】
なお、手ぶれや撮像装置本体のパン・チルトは、カメラ信号処理部２０４により特定フレームと該フレームの直前フレームとの差分を評価することにより検出するようにしてもよい。
以上がカメラ部１０１に関する説明である。
【００２９】
（符号化部１０２）
次に、符号化部１０２の構成例について、図３を参照して詳しく説明する。
図３は、符号化部１０２の構成例を示すブロック図である。図３に示すように、符号化部１０２は、フレーム並び替え部３０１、減算器３０２、整数変換部３０３、量子化部３０４、エントロピー符号化部３０５、逆量子化部３０６、逆整数変換部３０７、加算器３０８、フレームメモリ３０９及び３１３、イントラ予測部３１０、スイッチ３１１及び３１７、デブロッキングフィルタ３１２、インター予測部３１４、動き検出部３１５、ピクチャタイプ決定部３１６を有し構成される。符号化部１０２は、入力された非圧縮の画像データを分割することによりブロックを構成し、ブロック単位に符号化処理を行って符号化データを出力する。
【００３０】
続いて、符号化部１０２での符号化処理について説明する。
まず、フレーム並び替え部３０１は、表示順で入力された非圧縮の画像データを符号化順に並び替える。減算器３０２は、入力画像データから予測画像データを減算して画像残差データを出力する。なお、予測画像データの生成については後述する。
【００３１】
整数変換部３０３は、減算器３０２から出力された画像残差データを直交変換処理して変換係数を出力する。量子化部３０４は、整数変換部３０３より出力された変換係数を所定の量子化パラメータを用いて量子化する。エントロピー符号化部３０５は、量子化部３０４で量子化された変換係数を入力し、これをエントロピー符号化して符号化データとして出力する。
【００３２】
一方、量子化部３０４で量子化された変換係数は、上述した予測画像データの生成にも使われる。逆量子化部３０６は、量子化部３０４で量子化された変換係数を逆量子化する。逆整数変換部３０７は、逆量子化部３０６で逆量子化された変換係数を逆整数変換し、復号画像残差データとして出力する。加算器３０８は、逆整数変換部３０７より出力された復号画像残差データと、予測画像データとを加算して、再構成画像データとして出力する。
【００３３】
加算器３０８から出力された再構成画像データは、フレームメモリ３０９に記録される。それとともに、再構成画像データに対してデブロッキングフィルタ処理を施す場合にはデブロッキングフィルタ３１２を介してフレームメモリ３１３に記録され、デブロッキングフィルタ処理を施さない場合にはデブロッキングフィルタ３１２を介さずにフレームメモリ３１３に記録される。
【００３４】
スイッチ３１１は、加算器３０８から出力された再構成画像データに対してデブロッキングフィルタ処理を施すか否かを選択する選択部である。再構成画像データの中で、以降の予測で参照される可能性があるデータは、フレームメモリ３０９または３１３に暫くの期間保存される。
【００３５】
イントラ予測部３１０は、フレームメモリ３０９に記録された再構成画像データを用いてフレーム内予測処理を行い、予測画像データを生成する。また、インター予測部３１４は、フレームメモリ３１３に記録された再構成画像データを用いて動き検出部３１５により検出された動きベクトル情報に基づくフレーム間予測処理を行い、予測画像データを生成する。ここで、動き検出部３１５は、入力画像データにおける動きベクトルを検出して、検出した動きベクトル情報をエントロピー符号化部３０５及びインター予測部３１４にそれぞれ出力する。
【００３６】
ピクチャタイプ決定部３１６は、詳細は後述するＩＤＲピクチャ判定部１０３により符号化フレームをＩＤＲピクチャにすると判定された場合には、該フレームのピクチャタイプをＩＤＲピクチャと決定し、そうでない場合には、フレームのピクチャタイプを符号化方式に準拠したピクチャタイプに決定する。
【００３７】
スイッチ３１７は、予測画像データとしてイントラ予測部３１０で生成された予測画像データ又はインター予測部３１４で生成された予測画像データのどちらを用いるか、すなわちイントラ予測又はインター予測のどちらを用いるか選択するための選択部である。ピクチャタイプ決定部３１６によって決定されたピクチャタイプに応じてスイッチ３１７を制御して、イントラ予測部３１０からの出力とインター予測部３１４からの出力のどちらか一方を選択し、選択された予測画像データを減算器３０２、加算器３０８に出力する。
【００３８】
なお、ピクチャタイプ決定部３１６は、符号化フレームがＩＤＲピクチャと判定された場合には、該フレームのピクチャタイプをＩピクチャと決定すると共に、該フレームに飛び越し参照禁止フラグを付加し、インター予測部３１４により該Ｉピクチャを飛び越さないような参照関係を決定させても良い。
以上が符号化部１０２に関する説明である。
【００３９】
（ＩＤＲピクチャ判定部１０３）
次に、ＩＤＲピクチャ判定部１０３について、図４〜図９を参照して詳しく説明する。
図４〜図９は、入力画像シーケンス、そのピクチャタイプ、及びカメラ制御データを表しており、上段が表示順序（左から順に表示される）、下段が符号化順序（左から順に符号化される）で示している。
【００４０】
例えば、図４に示す例では、Ｐ１０ピクチャは１１番目に表示されるＰピクチャのフレームであることを示している。また、図４及び図５に示したカメラ制御データは、焦点整合制御データを示している。
【００４１】
図４に示した例では、カメラ部１０１は、表示順において、Ｐ０〜ＩＤＲ２ピクチャの間（Ｐ０→Ｐ１→ＩＤＲ２）及びＩＤＲ９〜Ｐ１１ピクチャの間（ＩＤＲ９→Ｐ１０→Ｐ１１）は焦点が合焦しており、焦点合焦画像を出力する。また、カメラ部１０１は、Ｐ３ピクチャの時に焦点整合処理を開始し、Ｐ８ピクチャの時に焦点整合処理を終了しているため、Ｐ３〜Ｐ８ピクチャの間（Ｐ３→Ｐ４→Ｐ５→Ｐ６→Ｐ７→Ｐ８）は焦点を整合中であり、焦点非合焦画像を出力する。
【００４２】
図５に示した例では、カメラ部１０１は、表示順において、Ｂ０〜ＩＤＲ２ピクチャの間（Ｂ０→Ｂ１→ＩＤＲ２）及びＢ９〜ＩＤＲ１１ピクチャの間（Ｂ９→Ｂ１０→ＩＤＲ１１）は焦点が合焦しており、焦点合焦画像を出力する。また、カメラ部１０１は、Ｂ３ピクチャの時に焦点整合処理を開始し、Ｐ８ピクチャの時に焦点整合処理を終了しているため、Ｂ３〜Ｐ８ピクチャの間（Ｂ３→Ｂ４→Ｐ５→Ｂ６→Ｂ７→Ｐ８）は焦点を整合中であり、焦点非合焦画像を出力する。
【００４３】
ＩＤＲピクチャ判定部１０３は、カメラ部１０１から出力されるカメラ制御データを入力し、カメラ部１０１の動作を解析する。そして、下記（１）〜（５）の動作開始前のフレーム又は動作終了後のフレームもしくは動作開始前及び動作終了後の各フレームのピクチャタイプをＩＤＲピクチャと判定し、符号化器１０２にＩＤＲピクチャ設定情報を出力する。
（１）焦点整合
（２）ズーム
（３）パン・チルト（移動）
（４）手ぶれ（振動）
（５）特殊効果付加
【００４４】
ここで、カメラ制御データに応じてピクチャタイプをＩＤＲピクチャと判定する動作について、（１）焦点整合の場合を一例に図４及び図５を参照して説明する。
図４に示した例のようにＢピクチャを含まない画像シーケンスでは、Ｐ３ピクチャ〜Ｐ８ピクチャまでの間、カメラ部１０１は焦点整合処理を行っているため、ＩＤＲピクチャ判定部１０３はその処理動作開始直前及び動作終了直後のフレームのピクチャタイプをＩＤＲピクチャ（ＩＤＲ２及びＩＤＲ９）と判定する。また、図５に示した例のように、時間的に後のフレームとの差分も利用可能なＢピクチャを含む画像シーケンスでは、Ｂ３ピクチャ〜Ｐ８ピクチャまでの間、カメラ部１０１は焦点整合処理を行っているため、ＩＤＲピクチャ判定部１０３はその処理動作開始直前及び動作終了後のＢピクチャ（Ｂ９、Ｂ１０）直後のフレームのピクチャタイプをＩＤＲピクチャ（ＩＤＲ２及びＩＤＲ１１）と判定する。
【００４５】
上述の通り、図４及び図５に示した例のようにＩＤＲピクチャを設定すると、例えば、合焦したＩＤＲピクチャ（図４におけるＩＤＲ９ピクチャ及び図５におけるＩＤＲ１１ピクチャ）からの迅速な再生が可能となる。また、焦点整合処理中のボケた画像シーケンスの前後のフレームはＩＤＲピクチャに設定されているので、例えば、ボケた画像を容易にカット編集することが可能となる。さらに、合焦画像（例えば、図４におけるＰ１０ピクチャ及び図５におけるＢ９ピクチャ）は、非合焦画像（例えば、図４及び図５におけるＰ５ピクチャ）を参照したとしても、画像がボケてしまっているために、フレーム間予測精度が低下すると考えられる。そこで、焦点整合処理前後のフレームをＩＤＲピクチャに設定することにより、ＩＤＲピクチャのフレームを飛び越した、合焦画像（図４におけるＰ１０ピクチャ及び図５におけるＢ９ピクチャ）から非合焦画像（図４及び図５におけるＰ５ピクチャ）の参照を禁止し、合焦画像のみを参照画像とするためフレーム間予測精度を向上させることができる。
【００４６】
以下、上述した（１）焦点整合の場合と同様に、（２）ズームの場合では、図６に示したようにズーム動作開始前及び終了後のフレームのピクチャタイプをＩＤＲピクチャに設定する。また、（３）パン・チルトの場合では、図７に示したようにパン・チルト開始前及び終了後のフレームのピクチャタイプをＩＤＲピクチャに設定する。また、（４）手ぶれの場合では、図８に示したように手ぶれ開始前及び終了後のフレームのピクチャタイプをＩＤＲピクチャに設定する。また、（５）特殊効果付加の場合では、図９に示したように特殊効果付加開始前及び終了後のフレームのピクチャタイプをＩＤＲピクチャに設定する。
【００４７】
また、カメラ部１０１におけるズーム速度やパン・チルト速度がある閾値よりも遅い場合は、撮影者が意図的に遅くしてそれらの動作を行っている可能性があるため、ズーム及びパン・チルトの動作開始前又は動作終了後もしくは動作開始前及び動作終了後のフレームをＩＤＲピクチャと判定しないようにしてもよい。
【００４８】
次に、上述したカメラ制御データに基づいてＩＤＲピクチャを設定する処理について、図１０に示すフローチャートを参照して説明する。
まず、ステップＳ１００１にて撮影が開始される。続いて、ステップＳ１００２にてカメラ部１０１は非圧縮画像データを符号化部１０２に出力し、ステップＳ１００３にてカメラ部１０１はカメラ制御データをＩＤＲピクチャ判定部１０３に出力する。
【００４９】
次に、ＩＤＲピクチャ判定部１０３は、ステップＳ１００３において出力されたカメラ制御データに基づいて、カメラ部１０１の動作が、焦点整合動作開始又は終了であるか、ズーム動作開始又は終了であるか、パン・チルト開始又は終了であるか、手ぶれ開始又は終了であるか、及び特殊効果付加開始又は終了であるかを順次判定する。言い換えれば、ＩＤＲピクチャ判定部１０３は、ステップＳ１００３において出力されたカメラ制御データに基づいて、カメラ部１０１の動作がフレームを飛び越した参照を禁止する条件に適合するか否かを判定する。
【００５０】
具体的には、ＩＤＲピクチャ判定部１０３は、ステップＳ１００３において出力されたカメラ制御データが焦点整合動作開始又は終了を示すものであれば、ステップＳ１００４にて符号化部１０２にＩＤＲピクチャ設定情報を出力する。ステップＳ１００３において出力されたカメラ制御データが焦点整合開始又は終了を示すものでなくズーム動作開始又は終了を示すものであれば、ステップＳ１００５にて符号化部１０２にＩＤＲピクチャ設定情報を出力する。
【００５１】
ステップＳ１００３において出力されたカメラ制御データがズーム動作開始又は終了を示すものでなくパン・チルト開始又は終了を示すものであれば、ステップＳ１００６にて符号化部１０２にＩＤＲピクチャ設定情報を出力する。ステップＳ１００３において出力されたカメラ制御データがパン・チルト開始又は終了を示すものでなく手ぶれ開始又は終了を示すものであれば、ステップＳ１００７にて符号化部１０２にＩＤＲピクチャ設定情報を出力する。ステップＳ１００３において出力されたカメラ制御データが手ぶれ開始又は終了を示すものでなく特殊効果付加開始又は終了を示すものであれば、ステップＳ１００８において符号化部１０２にＩＤＲピクチャ設定情報を出力する。
【００５２】
ステップＳ１００４〜ステップＳ１００８において、ＩＤＲピクチャ判定部１０３よりＩＤＲピクチャ設定情報が出力された場合には、ステップＳ１００９にて、符号化部１０２のピクチャタイプ決定部３１６によりピクチャタイプがＩＤＲピクチャに設定される。一方、ステップＳ１００４〜ステップＳ１００８において、ＩＤＲピクチャ判定部１０３よりＩＤＲピクチャ設定情報が出力されない場合には、ステップＳ１０１０にて、符号化部１０２のピクチャタイプ決定部３１６により符号化方式に準拠したピクチャタイプが設定される。
【００５３】
次に、ステップＳ１００９又はステップＳ１０１０において設定されたピクチャタイプに基づき符号化部１０２により符号化処理が行われ、ステップＳ１０１１において符号化データが出力される。この一連の処理を、ステップＳ１０１１に続くステップＳ１０１２にて撮影終了と判定されるまでフレーム単位に繰り返すことによりすべての入力画像を符号化する。
【００５４】
以上、説明したように本実施形態によれば、カメラ制御データに基づいて、カメラ部１０１の動作がフレームを飛び越した参照を禁止するほうが好ましい動作であると判定した場合には、その動作の開始前又は終了後もしくは開始前及び終了後のフレームをＩＤＲピクチャに設定することにより、迅速なランダムアクセスを実現することができる。例えば、焦点整合動作開始又は動作終了のカメラ制御データに応じて、ボケた非合焦画像シーケンスの前又は後もしくは前後のフレームをＩＤＲピクチャに設定することにより、焦点が整合した直後の画像フレームからの途中再生とボケた非合焦画像シーケンスのカット編集が可能となる。また、合焦画像から非合焦画像の参照を禁止するために、フレーム間予測精度を向上させることができる。したがって、符号化効率を損なわずに画像を圧縮符号化し、画像ストリーム途中からの迅速な再生及び容易な編集が可能な画像ストリームを得ることができる。
【００５５】
（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体は本発明を構成する。また、そのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００５６】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００５７】
【図１】本発明の一実施形態における画像処理装置の構成例を示す図である。
【図２】カメラ部の構成例を示す図である。
【図３】符号化部の構成例を示す図である。
【図４】カメラ制御データ（焦点整合制御データ）に基づく、画像シーケンスにおけるＩＤＲピクチャ設定処理を説明するための図である。
【図５】カメラ制御データ（焦点整合制御データ）に基づく、画像シーケンスにおけるＩＤＲピクチャ設定処理を説明するための図である。
【図６】カメラ制御データ（ズーム動作制御データ）に基づく、画像シーケンスにおけるＩＤＲピクチャ設定処理を説明するための図である。
【図７】カメラ制御データ（パン・チルトによる移動検出データ）に基づく、画像シーケンスにおけるＩＤＲピクチャ設定処理を説明するための図である。
【図８】カメラ制御データ（手ぶれによる振動検出データ）に基づく、画像シーケンスにおけるＩＤＲピクチャ設定処理を説明するための図である。
【図９】カメラ制御データ（特殊効果付加制御データ）に基づく、画像シーケンスにおけるＩＤＲピクチャ設定処理を説明するための図である。
【図１０】ＩＤＲピクチャを設定処理の流れを示すフローチャートである。
【図１１】フレーム間予測に用いる参照画像の選択について説明するための図である。
【図１２】ＩＤＲピクチャについて説明するための図である。
【符号の説明】
【００５８】
１０１  カメラ部（撮像手段）
１０２  符号化部（符号化手段）
１０３  ＩＤＲピクチャ判定部（制御データ取得手段及び判定手段）
【図１】
2006340001.tif 000003
【図２】
2006340001.tif 000004
【図３】
2006340001.tif 000005
【図４】
2006340001.tif 000006
【図５】
2006340001.tif 000007
【図６】
2006340001.tif 000008
【図７】
2006340001.tif 000009
【図８】
2006340001.tif 000010
【図９】
2006340001.tif 000011
【図１０】
2006340001.tif 000012
【図１１】
2006340001.tif 000013
【図１２】
2006340001.tif 000014