(57)【要約】【課題】少ない演算資源でデータを符号化しつつ情報量を均一に保つこと。【解決手段】パラメータ決定装置は、第１データの符号量の変化を示す情報を取得する情報取得部と、符号量の変化に基づいて、第１データより後に得られた第２データの符号量を時刻毎に制御する符号化パラメータを決定するパラメータ決定部と、を備える。プログラムは、第１データの符号量の変化を示す情報を取得するステップと、符号量の変化に基づいて、第１データより後に得られた第２データの符号量を時刻毎に制御する符号化パラメータを決定するステップと、をコンピュータに実行させる。【選択図】図１
2013017003.tif 000002
【特許請求の範囲】
【請求項１】
第１データの符号量の変化を示す情報を取得する情報取得部と、
前記符号量の変化に基づいて、前記第１データより後に得られた第２データの符号量を時刻毎に制御する符号化パラメータを決定するパラメータ決定部と、
を備えるパラメータ決定装置。
【請求項２】
前記情報取得部は、予め撮影されて得られた第１動画データの符号量の変化を示す情報を取得し、
前記パラメータ決定部は、前記第１動画データより後に撮影されて得られた第２動画データの符号量を時刻毎に制御する符号化パラメータを決定する
請求項１に記載のパラメータ決定装置。
【請求項３】
前記符号化パラメータに従って前記第２動画データを符号化する符号化部
をさらに備える請求項２に記載のパラメータ決定装置。
【請求項４】
前記パラメータ決定部は、前記符号化パラメータとして、前記第２動画データを不可逆圧縮する圧縮強度を制御するパラメータを決定する
請求項２または３に記載のパラメータ決定装置。
【請求項５】
前記情報取得部は、量子化を含む符号化処理が施された前記第１動画データを取得し、
前記パラメータ決定部は、第１期間に適用される圧縮強度に対する第２期間に適用される圧縮強度の比率を、前記第１動画データの符号化処理において適用された比率よりも小さくする符号化パラメータを決定する
請求項４に記載のパラメータ決定装置。
【請求項６】
前記パラメータ決定部は、前記第１動画データの全体の符号量および目標符号量に基づいて、前記第２動画データの時間毎の圧縮強度を決定する
請求項４または５に記載のパラメータ決定装置。
【請求項７】
前記パラメータ決定部は、前記符号化パラメータとして、前記第２動画データを量子化する量子化ステップの値を決定する
請求項２から６のいずれか一項に記載のパラメータ決定装置。
【請求項８】
前記第２動画データを前記符号化パラメータに従って符号化することにより発生した発生符号量が予め定められた予測符号量に適合する場合に、前記符号化パラメータに従って前記第２動画データを符号化させる符号化制御部
をさらに備える請求項２から７のいずれか一項に記載のパラメータ決定装置。
【請求項９】
前記符号化制御部は、前記発生符号量が前記予め定められた予測符号量に適合しない場合に、前記第２動画データの符号量を制御する符号化パラメータを、前記発生符号量に応じて制御する
請求項８に記載のパラメータ決定装置。
【請求項１０】
動画撮像を行って前記第１動画データおよび前記第２動画データを生成する撮像部と、
請求項２から９のいずれか一項に記載のパラメータ決定装置と、
を備える撮像装置。
【請求項１１】
第１データの符号量の変化を示す情報を取得するステップと、
前記符号量の変化に基づいて、前記第１データより後に得られた第２データの符号量を時刻毎に制御する符号化パラメータを決定するステップと、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パラメータ決定装置、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
連続して入力される画像を一時的に蓄積し、蓄積した画像より抽出した特徴情報に基づいて、ＧＯＰ構造を決定して、符号化に必要となるビット量を予測する技術が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００２−１９９３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
例えば１パスエンコード方式で動画データを符号化すると、各時間で目標ビットレートに近づくよう符号量が調節されるので、画質が不均一となる場合がある。一方、マルチパスエンコード方式によると、符号化するのに膨大な演算資源を要する場合がある。このように、情報量を均一に保ちつつ、少ない演算資源でデータを符号化することができないという課題があった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、パラメータ決定装置は、第１データの符号量の変化を示す情報を取得する情報取得部と、符号量の変化に基づいて、第１データより後に得られた第２データの符号量を時刻毎に制御する符号化パラメータを決定するパラメータ決定部と、を備える。
【０００５】
本発明の第２の態様においては、プログラムは、第１データの符号量の変化を示す情報を取得するステップと、符号量の変化に基づいて、第１データより後に得られた第２データの符号量を時刻毎に制御する符号化パラメータを決定するステップと、をコンピュータに実行させる。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】一実施形態にかかる撮影システム５０の利用形態の一例を示す。
【図２】撮像装置１０のブロック構成の一例を示す。
【図３】圧縮部２７０の機能ブロック構成の一例を示す。
【図４】一シーケンスの動画撮影における圧縮強度の一例を示す。
【図５】量子化ステップによる符号量の変化を模式的に示す。
【図６】ＤＣＴ係数に適用する量子化テーブルの一例をテーブル形式で示す。
【図７】撮影システム５０における動作フローの一例を示す。
【図８】量子化ステップを決定する処理の一例を示す。
【図９】本撮影における処理の一例を示す。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、一実施形態にかかる撮影システム５０の利用形態の一例を示す。本実施形態において、撮影システム５０は、スタジオ６０内での撮影に利用される。撮影システム５０は、撮像装置１０、運台装置２０、制御装置３０および照明装置４０を備える。撮影システム５０は、動画を撮影しながらリアルタイムで符号化して、画質が均一な動画データを提供するシステムを提供する。
【００１０】
撮影システム５０では、本撮影に先立ち、本撮影と同じ撮影環境でトライアル撮影をひととおり行う。そして、撮像装置１０は、トライアル撮影で得られた動画データの符号化情報を考慮して、本撮影で得られた動画データを符号化する場合に適用する符号化パラメータを事前に決定する。例えば、撮像装置１０は、トライアル撮影で得られた動画データの符号量の変化を考慮して、撮影の一シーケンスにわたって画質が略一定となるよう、各時間の量子化ステップを決定する。そして、撮像装置１０は、本撮影時には、事前に決定した量子化ステップを適用して量子化を施す。撮像装置１０によると、トライアル撮影で得られた一シーケンスの動画データから、一シーケンスの全体として最適な量子化ステップを事前に決定することができる。また、本撮影時には、適切な符号量を割り当てるために膨大な演算をしなくて済む。このため、撮像装置１０は、動画を撮影しながらリアルタイムで符号化しつつ、画質がより均一な動画データを提供することができる。
【００１１】
制御装置３０は、操作入力部３２、コントローラ３４および制御データ格納部３６を有する。制御装置３０は、例えば、撮像装置１０による撮影環境を制御するコンピュータである。
【００１２】
具体的には、制御データ格納部３６は、撮像装置１０、運台装置２０および照明装置４０の制御内容を定義した制御データを、記録媒体３８から読み出して格納する。例えば、制御データは、照明装置４０の発光条件、撮像装置１０の撮像条件、撮像装置１０の位置および向き等を時間毎に定義する。コントローラ３４は、制御データ格納部３６に格納された制御データに基づき、撮像装置１０、運台装置２０および照明装置４０を制御する制御信号を送信する。操作入力部３２は、トライアル撮影の開始指示、本撮影の開始指示等のユーザ指示を取得する。コントローラ３４は、操作入力部３２からの指示に応じて、撮像装置１０、運台装置２０および照明装置４０の各機器の制御を開始する。また、コントローラ３４は、制御データで定義された情報に従って、各タイミングで制御信号を各機器に送信する。
【００１３】
制御装置３０は、照明装置４０の発光条件を制御する。発光条件としては、照明光の発光タイミング、発光量、色等を例示することができる。例えば、制御装置３０は、発光条件を示す制御信号を照明装置４０に供給することにより、発光条件を制御する。
【００１４】
運台装置２０は、撮像装置１０の位置および向き等を制御する。例えば、運台装置２０は、撮像装置１０の位置、パンおよびチルト角等を制御する。具体的には、制御装置３０が、運台装置２０を駆動する制御信号を運台装置２０に供給する。運台装置２０は、制御信号に従って動作することにより、撮像装置１０の位置および向き等を制御する。
【００１５】
また、制御装置３０は、撮像装置１０の撮像条件を制御する。撮像条件としては、ズーム値、絞り値、露出量、焦点位置等を例示することができる。また、制御装置３０は、撮像装置１０が備える閃光装置１２の発光条件を制御する。制御装置３０は、撮像条件および発光条件を示す制御信号を撮像装置１０に供給することにより、撮像条件および発光条件を制御する。
【００１６】
撮影システム５０では、本撮影に先立ち、本撮影と同じ条件でトライアル撮影を行う。例えば、制御装置３０は、運台２０、撮像装置１０および照明装置４０を本撮影と同じ動作条件で制御して、トライアル撮影を行う。例えば、制御装置３０は、本撮影と同一の制御信号を運台２０、撮像装置１０および照明装置４０に供給して、本撮影と同じ動作条件でトライアル撮影を行う。これにより、撮像装置１０は、本撮影と同様の撮影環境下で、トライアル撮影を行うことができる。撮像装置１０は、トライアル撮影で得られた動画データを圧縮符号化して記録する。トライアル撮影で得られた圧縮符号化済みの動画データを、予備撮影データと呼ぶ場合がある。また、本撮影で得られた動画を本撮影データと呼ぶ場合がある。
【００１７】
撮像装置１０は、トライアル動画データの符号量に基づいて、本撮影用の符号化パラメータを決定する。例えば、撮像装置１０は、本撮影における一シーケンス内の時刻毎の量子化ステップを決定する。なお、一シーケンスとは、例えば符号化対象とする動画の撮影を開始してから撮影を終了するまでの期間を示す。撮像装置１０は、トライアル動画データの全体の符号量を算出するとともに、目標符号量から符号量の平均値を算出する。撮像装置１０は、画質をより均一化し、かつ、一シーケンスの平均の符号量が平均値に近づくように量子化ステップを時刻毎に決定する。撮像装置１０は、決定した量子化ステップを記憶して、本撮影時の符号化にリアルタイムに適用する。
【００１８】
撮影システム５０によれば、本撮影における一シーケンス全体で予測される符号量の変化を見通して、符号量が均一になるように量子化ステップを決定することができる。このため、本撮影時にマルチパスエンコード方式を適用しなくても、最適な量子化ステップで符号化することができる。したがって、撮像装置１０は、膨大な演算資源を要することなくリアルタイムに符号化しつつ、画質がより均一な動画データを生成することができる。
【００１９】
図２は、撮像装置１０のブロック構成の一例を示す。撮像装置１０は、ズームレンズ、フォーカスレンズ等を含むレンズ系２２１を備える。被写体からの光束は、光軸２１９に沿ってレンズ系２２１に入射して撮像素子２３１の結像面に被写体像として結像する。主としてレンズ系２２１および撮像素子２３１の機能ブロックは、撮像部として機能する。
【００２０】
撮像素子２３１は、レンズ系２２１を透過して撮像素子２３１に結像した光学像としての被写体像を光電変換することにより、被写体を撮像する。撮像素子２３１としては、例えば、ＣＣＤ、ＣＭＯＳセンサを用いることができる。撮像素子２３１で光電変換された被写体像は、Ａ／Ｄ変換器２３２でアナログ信号からデジタル信号に変換される。撮像素子２３１の電荷読み出し制御およびＡ／Ｄ変換器２３２の変換制御は、メモリ制御部２３３の同期制御を受けたタイミング発生部２３４が供給するクロック信号により、同期が計られる。
【００２１】
デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器２３２によりデジタル信号に変換された画像データは、メモリ制御部２３３の制御に従い、一旦内部メモリ２３５に記憶される。内部メモリ２３５は、高速で読み書きのできるランダムアクセスメモリであり、例えばＤＲＡＭ、ＳＲＡＭなどが用いられる。内部メモリ２３５は、連写撮影、動画撮影において高速に連続して画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。
【００２２】
また、内部メモリ２３５は、画像処理部２３７が行う画像処理、圧縮処理において、ワークメモリとしての役割も担う。特に本実施形態においては、内部メモリ２３５は、動画を符号化する場合に、動画を構成する複数のフレームのフレームデータを記憶する。内部メモリ２３５は、これらの役割を担うに相当する十分なメモリ容量を備える。
【００２３】
システムメモリ２３６は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ（登録商標）等により構成される。システムメモリ２３６は、撮像装置１０の動作時に必要な定数、変数、プログラム等を、撮像装置１０の非動作時にも失われないように記録している。撮像装置１０の全体を直接的または間接的に制御するシステム制御部２５０は、定数、変数、プログラム等を適宜内部メモリ２３５に展開して、撮像装置１０の制御に利用する。
【００２４】
画像処理部２３７は、設定されている撮影モード、ユーザからの指示に則して、画像データを所定の画像フォーマットに変換する。例えば、静止画像としてＪＰＥＧファイルを生成する場合、前処理部２６０が静止画としての画像データに対して色補間処理、ガンマ補正処理、輪郭補償等の画像処理を行った後に、圧縮部２７０が離散コサイン変換、量子化等を施して圧縮符号化処理をする。また、動画像としてＭＰＥＧファイルを生成する場合、所定の画素数に縮小されて生成された連続する静止画としてのフレーム画像に対して、圧縮部２７０がフレーム内符号化、フレーム間符号化を施して圧縮処理をする。
【００２５】
圧縮部２７０は、符号化パラメータ決定部２８０が決定した符号化パラメータに従って、フレーム画像を符号化する。本撮影時には、符号化パラメータ決定部２８０は、予備撮影データに基づき決定した量子化ステップを圧縮部２７０に供給して、圧縮部２７０における量子化を制御する。画像処理部２３７によって処理された静止画像データ、動画像データは、内部メモリ２３５から記録媒体ＩＦ２４０を介して、記録媒体２０９に転送されて記録される。
【００２６】
画像処理部２３７は、記録用に処理される画像データに並行して、表示用の画像データを生成する。生成された表示用の画像データは、表示制御部２３８の制御に従って、Ｄ／Ａ変換器２３９でアナログ信号に変換され、表示部２０１に表示される。システム制御部２５０は、撮像装置１０の各種設定に関する様々なメニュー項目も、表示部２０１に表示することができる。
【００２７】
外部ＩＦ２４１は、コントローラ３４からの制御信号を受信する。例えば、外部ＩＦ２４１は、撮像条件を変更する制御信号を受信して、システム制御部２５０に供給する。システム制御部２５０は、制御信号を受信した場合に、受信した制御信号に従って各部を制御することにより、撮像条件を制御する。例えば、システム制御部２５０は、制御信号に従って、レンズ駆動制御部２４３を制御して、レンズ系２２１を制御する。
【００２８】
撮像装置１０は、ユーザからの操作を受け付ける操作部材２０２を複数備える。システム制御部２５０は、これら操作部材２０２が操作されたことを検知して、操作に応じた動作を実行する。
【００２９】
レンズ系２２１は、システム制御部２５０の統括制御のもと、レンズ駆動制御部２４３によって制御される。レンズ駆動制御部２４３は、レンズ系２２１に含まれるレンズのうち主としてズームレンズを駆動して、被写体像の画角を変更する。また、レンズ駆動制御部２４３は、レンズ系２２１に含まれるレンズのうち主としてフォーカスレンズを駆動して、焦点位置を変更する。また、レンズ駆動制御部２４３は、レンズ系２２１に含まれる絞り装置を制御して、露出量を制御する。システム制御部２５０は、ズーミング、フォーカシング、絞りを変更する制御信号を受信した場合に、制御信号に従ってレンズ系２２１が駆動されるようレンズ駆動制御部２４３を制御する。
【００３０】
電源部２０８は、撮像装置１０の各部に電力を供給する。記録媒体２０９は、不揮発性の記録媒体であり、電源部２０８からの電力供給がない場合でも、記録されたデータを保持することができる。
【００３１】
図３は、圧縮部２７０の機能ブロック構成の一例を示す。圧縮部２７０は、符号化パラメータ決定部２８０が決定した符号化パラメータに従って動画データを符号化する符号化部の一例である。圧縮部２７０は、符号化制御部３００、減算部３１０、変換部３２０、量子化部３３０、可変長符号化部３４０、逆量子化部３３２、逆変換部３２２、加算部３１２、デブロッキング部３６０、フレーム間予測部３７０、フレーム内予測部３５０および予測制御部３８０を含む。ここでは、動画を構成する画像であるフレームを圧縮符号化する場合における各部の動作を説明する。
【００３２】
減算部３１０は、圧縮対象のフレームから、予測制御部３８０から供給される予測画像を減算する。予測画像は、フレーム内予測部３５０またはフレーム間予測部において生成される動き補償された画像である。
【００３３】
変換部３２０は、減算部３１０が出力した残差信号に、離散コサイン変換（ＤＣＴ変換）を施す。本ＤＣＴ変換において、ブロック毎にＤＣＴ係数が算出される。
【００３４】
量子化部３３０は、ＤＣＴ係数を量子化する。具体的には、量子化部３３０は、１ブロック内の各ＤＣＴ係数を、量子化テーブル中の対応する位置の量子化ステップ値で除算する。したがって、量子化部３３０により不可逆圧縮が行われる。符号化制御部３００は、量子化部３３０における量子化ステップを制御することにより、発生する符号量を制御する。例えば、予測される発生符号量または発生した符号量が予め定められた値よりも大きい場合、量子化ステップの値を大きく設定する。可変長符号化部３４０は、量子化部３３０により量子化されたデータに可変長符号化を施す。可変長符号化部３４０から出力された１フレームの符号化済みデータは内部メモリ２３５に記憶される。
【００３５】
圧縮部２７０が有する機能ブロックのうち、逆量子化部３３２、逆変換部３２２、加算部３１２、デブロッキング部３６０、フレーム間予測部３７０、フレーム内予測部３５０および予測制御部３８０の機能ブロックより、動き補償が実現される。逆量子化部３３２は、量子化部３３０で量子化に用いた量子化ステップを適用して、逆量子化を行う。逆変換部３２２は、逆量子化により得られたＤＣＴ係数に対して、変換部３２０で適用したＤＣＴ変換の逆変換を行う。加算部３１２は、逆変換により得られた残差信号を、差分対象のフレームに加算する。デブロッキング部３６０は、加算処理により得られた画像データに対してブロック・ノイズを低減するデブロッキングフィルタを適用する。フレーム間予測部３７０は、入力フレームに対してフレーム間予測を行い、動き補償された予測画像を予測制御部３８０に提供する。フレーム内予測部３５０は、入力フレームから予測画像を生成して、予測制御部３８０に提供する。予測制御部３８０は、予測画像を減算部３１０に提供する。
【００３６】
トライアル撮影で生成された動画データは、圧縮部２７０で圧縮されて、内部メモリ２３５に予備撮影データとして一旦記憶され、記録媒体２０９に転送される。符号化パラメータ決定部２８０は、記録媒体２０９から予備撮影データを取得して解析する。符号化パラメータ決定部２８０は、そして、本撮影用の量子化ステップの値を時間毎に決定して、内部メモリ２３５に記憶する。本撮影で得られた動画データを圧縮部２７０で圧縮符号化する場合、符号化制御部３００は、内部メモリ２３５に記憶された量子化ステップの値を各時間に適用して、量子化を行う。
【００３７】
このように、符号化パラメータ決定部２８０は、予め撮影された動画データである予備撮影データの符号量の変化を示す情報を取得する。具体的には、符号化パラメータ決定部２８０は、量子化を含む符号化処理が施された予備撮影データを取得する。そして、符号化パラメータ決定部２８０は、予備撮影データより後に撮影された本動画データの符号量を時刻毎に制御する符号化パラメータを決定する。具体的には、パラメータ決定部２８０は、符号化パラメータとして、本撮影データを不可逆圧縮する圧縮強度を制御するパラメータを決定する。より具体的には、パラメータ決定部２８０は、符号化パラメータとして、本撮影データを量子化する量子化ステップの値を決定する。
【００３８】
例えば、符号化パラメータ決定部２８０は、予備撮影データにおいて発生符号量が多く、値が大きい量子化ステップで量子化された期間には、値が小さい量子化ステップを決定する。一方、発生符号量が少なく、小さい値の量子化ステップで量子化された期間には、値が大きい量子化ステップを決定する。これにより、本撮影で得られた動画データを圧縮符号化する場合に、全体の符号量を著しく増大させることなく、発生符号量が大きい期間の画質が低下することを防ぐことができる。また、予備撮影データに基づいて予め決定された量子化ステップを適用するので、発生符号量を制御するのに要する演算量を著しく低減することができる。このため、本撮影時に１パスエンコード方式を適用することができ、一シーケンスのフレームデータを内部メモリ２３５に記憶しなくて済む。したがって、膨大な演算資源を要することなく、本撮影で得られた動画データをリアルタイムに圧縮符号化することができる。
【００３９】
図４は、一シーケンスの動画撮影における圧縮強度の一例を示す。本図では、一シーケンスで撮影されたフレームに含まれる高周波成分と、フレームを圧縮する圧縮強度の時間発展を模式的に示す。本シーケンスでは、時刻ｔ０で動画撮影が開始され、時刻ｔ５で動画撮影が終了する。本シーケンスにおいて、レンズ系２２１のズームレンズがワイド端の位置に制御された状態で撮影が開始される。時刻ｔ１からｔ２までの間に、ワイド端からテレ端へとズーミングが行われ、その後、時刻ｔ３からｔ４の期間、および、時刻ｔ４からｔ５までの期間の２段階で、テレ端からワイド端に戻される。
【００４０】
ワイド端において被写界深度が比較的に深い状態にある場合、フレームには高周波成分が比較的に多く含まれる。一方、テレ端にズーミングすることで被写界深度が浅くなる場合、フレームに含まれる高周波成分は減少する。一方、テレ端からワイド端に戻すと、高周波成分が増加する。本シーケンスで得られた高周波成分の時間発展を、符号４００で模式的に示す。
【００４１】
ここで、本シーケンスでトライアル撮影を行い、リアルタイムに符号化した場合における圧縮強度の時間発展を、符号４１０で模式的に示す。ここでは、量子化部３３０における圧縮強度を示す。時刻ｔ０からｔ１までの間、高周波成分は比較的に多いフレームが撮影される。高周波成分が多いほど発生符号量は大きくなるので、時刻ｔ０からｔ１の期間内では、単位時間に発生する符号量が目標ビットレートを大きく超えないよう、量子化ステップの値を大きく設定する。すなわち、圧縮強度は比較的に高くなる。
【００４２】
一方、時刻ｔ１からｔ２までの期間に高周波成分が低下すると、発生符号量が低下する。このため、目標ビットレートに従って量子化ステップの値は次第に小さくなる。すなわち、圧縮強度は減少する。同様に、時刻ｔ３からｔ４の期間、および、時刻ｔ４からｔ５の期間は、高周波成分が次第に増加するので、圧縮強度は次第に高くなる。したがって、時刻ｔ０からｔ１の期間では、圧縮後のフレームの画質が低く、時刻ｔ１からｔ２にわたって画質が上昇する。また、時刻ｔ３からｔ５にかけて、フレームの画質は次第に低下する。すなわち、単位時間に発生する符号量に基づくフィードバックにより、ビットレートの変動は比較的にゆるやかとなるが、画質の変動は大きくなる。
【００４３】
符号化パラメータ決定部２８０は、予備撮影データの圧縮強度の変化に基づいて、発生符号量が大きくなることが予測される期間には符号量を比較的に多く割り当て、発生符号量が小さくなることが予測される期間には比較的に少ない符号量を割り当てる。具体的には、符号化パラメータ決定部２８０は、発生符号量が大きくなることが予測される期間には比較的に小さい値の量子化ステップを設定し、発生符号量が小さくなることが予測される期間には比較的に大きい値の量子化ステップを設定する。すなわち、符号化パラメータ決定部２８０は、本図の符号４２０で示すように、一シーケンスにわたって圧縮強度の変化が小さくなるよう、各時間の量子化ステップの値を設定する。これにより、本撮影の画質が大きく変動することを未然に防ぐことができる。
【００４４】
このように、パラメータ決定部２８０は、第１期間に適用される圧縮強度に対する第２期間に適用される圧縮強度の比率を、予備撮影データの符号化処理において適用された比率よりも小さくする符号化パラメータを決定する。このため、画質をより時間的に均一化することができる。
【００４５】
なお、本例では、ズーミングにより高周波成分が変動することにより、発生符号量が変動するとして説明した。しかし、発生符号量は、ズーミング変化、焦点位置の変化、撮像装置１０の位置の変化、撮像装置１０の向きの変化、照明装置４０の点滅等、種々の撮影環境の時間変動によっても生じ得る。
【００４６】
図５は、量子化ステップの制御による符号量の変化を模式的に示す。本図において、横軸は量子化ステップの値であり、縦軸は発生符号量の変化率５００を示す変化係数である。発生符号量は、量子化ステップの値に対応する変化係数を符号量に乗じた値によって、予測される。符号化制御部３００は、本図に示す変化率と、予備撮影データにおける発生符号量とに基づいて、図４に説明したように符号量の割り当てを時間毎に相対的に変化させつつ、一シーケンスにわたる符号量の合計値が目標符号量に近づくように、量子化ステップの値を時間毎に決定する。すなわち、符号化制御部３００は、一シーケンスにわたる符号量の平均値が目標とする符号量の平均値に近づくよう、量子化ステップの値を時間毎に決定する。
【００４７】
図６は、ＤＣＴ係数に適用する量子化テーブルの一例をテーブル形式で示す。変換部３２０で算出されたＤＣＴ係数の各周波数成分は、量子化テーブル６００の対応する値で除算される。符号化制御部３００は、量子化テーブル内の各量子化ステップの値を変更することで、各周波数成分を量子化する量子化ステップの値を時間毎に変化させてよい。例えば、符号化制御部３００は、量子化テーブルの全体を時間的に切り替えることで、量子化ステップの値を時間的に変化させてよい。また、符号化制御部３００は、量子化テーブルの各量子化ステップの値に乗じる係数である量子化パラメータを時間的に変化させること０で、量子化ステップの値を時間的に変化させてもよい。すなわち、符号化パラメータ決定部２８０が決定する符号化パラメータとして、量子化テーブル自体や、量子化パラメータ等を例示することができる。
【００４８】
図７は、撮影システム５０における動作フローの一例を示す。本フローは、操作入力部３２に対して一シーンの撮影を開始する指示がなされた場合に、開始される。ステップＳ７０２において、コントローラ３４は、撮像装置１０、運台装置２０および照明装置４０を制御する制御データを、制御データ格納部３６から読み込む。本制御データは、後述する本撮影を行う場合に撮像装置１０、運台装置２０および照明装置４０の各機器の動作を制御するための制御データである。
【００４９】
続いて、操作入力部３２に対してトライアル撮影を開始するユーザ指示がなされると、コントローラ３４は、撮像装置１０にトライアル撮影の開始を指示する（ステップＳ７０４）。トライアル撮影をしている間、コントローラ３４は、撮像装置１０、運台装置２０および照明装置４０の各機器を制御する制御信号を、読み出した制御データに基づいて各機器に送信する。トライアル撮影で得られた動画データは、圧縮部２７０によりリアルタイムで圧縮符号化される。トライアル撮影では、符号化制御部３００は、単位時間あたりの発生符号量に基づくフィードバックにより、量子化ステップの値を制御してよい。
【００５０】
トライアル撮影が完了すると、システム制御部２５０は、圧縮部２７０で圧縮された予備撮影データを動画ファイルとして記録媒体２０９に記録する（ステップＳ７０６）。続いて符号化パラメータ決定部２８０は、記録媒体２０９に記録された予備動画ファイルを解析して、量子化ステップの値を決定して、内部メモリ２３５に記憶する（ステップＳ７０８）。本処理については、図８に関連して説明する。
【００５１】
操作入力部３２に対して本撮影を開始するユーザ指示がなされると、コントローラ３４は、撮像装置１０に本撮影の開始を指示する（ステップＳ７１０）。本撮影をしている間、コントローラ３４は、撮像装置１０、運台装置２０および照明装置４０の各機器を制御する制御信号を、ステップＳ７０２で読み出した制御データに基づいて各機器に送信する。したがって、トライアル撮影と略同一の条件で本撮影が行われる。圧縮部２７０は、本撮影中において、内部メモリ２３５に記憶された量子化ステップの値を量子化に適用してリアルタイムに圧縮符号化を行う。本処理については、図９に関連して説明する。
【００５２】
続いて、本撮影が完了すると、システム制御部２５０は、圧縮部２７０で圧縮された本動画データを動画ファイルとして記録媒体２０９に記録する（ステップＳ７１２）。記録媒体２０９への記録が完了すると、本フローを終了する。
【００５３】
図８は、量子化ステップを決定する処理の一例を示す。すなわち、図７のステップＳ７０８における処理フローを示す。ステップＳ８０２において、符号化パラメータ決定部２８０は、予備撮影データの全体の符号量を算出する。続いて、符号化パラメータ決定部２８０は、予め定められた目標符号量から符号量の平均値を算出する（ステップＳ８０４）。
【００５４】
続いて、符号化パラメータ決定部２８０は、量子化ステップの値を算出する（ステップＳ８０６）。具体的には、予測される発生符号量の一シーケンスにわたる符号量の平均値が、ステップＳ８０４で算出した符号量の平均値に近づくよう、各時刻の量子化ステップの値を算出する。
【００５５】
ここで、ステップＳ８０２で算出した全体符号量が、目標符号量よりも予め定められた閾値を超えて小さい場合、本撮影時に適用する圧縮強度が一シーケンスにわたる平均として低くなるよう、量子化ステップの値を算出する。一方、ステップＳ８０２で算出した全体符号量が目標符号量よりも予め定められた閾値を超えて大きい場合、本撮影時に適用する圧縮強度が一シーケンスにわたる平均として高くなるよう、量子化ステップの値を算出する。いずれの場合でも、図４に関連して説明したように、符号量が多い期間には小さい値の量子化ステップを決定し、符号量が少ない期間には大きい値の量子化ステップを決定する。これにより、本撮影においてフレームの高周波成分が多くなることが予測される期間や、フレームの画像内容が大きく変化することが予測される期間には十分な符号量を割り当てつつ、一シーケンス内の予測符号量の平均値を目標符号量の平均値に近づけることができる。このように、パラメータ決定部２８０は、予備撮影データの全体の符号量および目標符号量に基づいて、本動画データの時間毎の圧縮強度を決定する。
【００５６】
続いて、算出した量子化ステップの値を内部メモリ２３５に記憶し（ステップＳ８０８）、処理を終了する。
【００５７】
図９は、本撮影における処理の一例を示す。すなわち、図７のステップ７１０における処理フローを示す。本フローが開始すると、ステップＳ９０２において本撮影を開始する（ステップＳ９０２）。動画撮影が開始されると、前処理部２６０で前処理されたフレームデータが順次に内部メモリ２３５に蓄積される。圧縮部２７０は、メモリ制御部２３３からの制御に従って、内部メモリ２３５に蓄積されたフレームデータを順次に選択して圧縮符号化を行う（ステップＳ９０４）。
【００５８】
選択したフレームデータを圧縮符号化する場合に、符号化制御部３００は、内部メモリ２３５に記憶された量子化ステップを量子化に適用した場合の発生符号量と予測符号量との間の差が、予め定められた基準値より小さいか否かを判断する（ステップＳ９０６）。予想符号量とは、予備撮影データと、符号化パラメータ決定部２８０が決定した量子化ステップの値から予測される発生符号量であってよい。
【００５９】
発生符号量と予測符号量との間の差が基準値より小さい場合、圧縮部２７０は、内部メモリ２３５に記憶した量子化ステップを適用して圧縮符号化を行う（ステップＳ９０８）。発生符号量と予測符号量との間の差が基準値以上である場合、符号化制御部３００は、現在の発生符号量および目標符号量の平均値に基づき、量子化部３３０で適用すべき量子化ステップを決定する（ステップＳ９１０）。すなわち、符号化制御部３００は、主として単位時間あたりの発生符号量に基づくフィードバック制御により、量子化ステップを算出する。
【００６０】
なお、ステップＳ９０６の判断では、発生符号量として許容される予め定められた最大値を、予測符号量として適用してよい。また、ステップＳ９０６の判断において、予め定められた期間内で発生した符号量の平均値を、発生符号量として適用してもよい。ステップＳ９０６において発生符号量を監視して、予測符号量との間の差が基準値以上である場合には、主として発生符号量および目標符号量に基づき時間単位で量子化ステップの値を決定する。このため、トライアル撮影時と一時的に異なる動作条件で本撮影が行われた場合に、予測した量子化ステップを適用することで符号量が著しく増大してしまうことを未然に防ぐことができる。また、各機器を動作させるタイミングがトライアル撮影時と時間的にズレが生じた場合でも、ズレが解消された場合には、予測した量子化ステップによる量子化制御に戻すことができる。なお、本撮影開始後の発生符号量に基づき、予測符号量を修正して、ステップＳ９０６の判断に適用してもよい。また、符号化制御部３００は、本撮影開始後の発生符号量等に基づき、本撮影とトライアル撮影との間で対応するタイミングを特定し、特定したタイミングから、内部メモリ２３５に記憶した量子化ステップの適用を開始してもよい。
【００６１】
このように、符号化制御部３００は、本撮影データを符号化パラメータに従って符号化することにより発生する発生符号量が予め定められた予測符号量に適合する場合に、内部メモリ２３５に記憶された量子化ステップに従って本撮影データを符号化させる。また、符号化制御部３００は、発生符号量が予め定められた予測符号量に適合しない場合には、本動画データの符号化する符号化パラメータを発生符号量に応じて制御する。
【００６２】
ステップＳ９０８、ステップＳ９１０の圧縮符号化処理が完了すると、全フレームの圧縮符号化を完了したか否かを判断する（ステップＳ９１２）。全フレームの圧縮符号化を完了した場合、本フローを終了する。全フレームの圧縮符号化が完了していない場合、ステップＳ９０４に処理を移行させ、全フレームの圧縮符号化が完了するまで、フレームの選択および符号化処理が行われる。
【００６３】
以上に説明したように、トライアル撮影で得られた予備撮影データから、一シーケンス全体の符号量および符号量の変化を予め算出することができる。したがって、一シーケンス全体の符号量の変化を見通して、本撮影時の各期間の符号量を最適に割り当てることができる。このため、例えば急激なズーミング等が行われる期間に、十分な符号量をリアルタイムに割り当てることができる。一方、例えばテレ端で撮影している期間には、符号量の割り当てをリアルタイムに小さくすることができる。したがって、一シーケンス全体として、発生符号量を目標符号量に近づけつつ、全体的に安定した画質を維持することができる。
【００６４】
本実施形態の撮像装置１０に関連して説明した処理は、撮像装置１０の各部、例えばシステム制御部２５０、画像処理部２３７等として機能するプロセッサ等が、プログラムに従って動作することにより、実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、当該プログラムをロードすることができる。
【００６５】
本実施形態において、スタジオ撮影用の撮像装置１０を取り上げて、撮影システム５０の一例を説明した。しかし、撮像装置しては、レンズ交換式の一眼レフカメラ、コンパクトデジタルカメラ、ミラーレス一眼カメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末等、撮像機能を有する種々の機器を適用の対象とすることができる。
【００６６】
また、本実施形態において動画データを取り上げて説明した。しかし、動画データに限らず、音声データ等の種々のデータを適用の対象とすることができる。すなわち、撮像装置に限らず、録音装置等の電子音声機器を、適用の対象とすることができる。すなわち、第１データの符号量の変化を示す情報を取得して、当該符号量の変化に基づいて、第１データより後に得られた第２データの符号量を時刻毎に制御する符号化パラメータを決定する電子機器を、適用の対象とすることができる。また、パーソナルコンピュータ等のように、動画データ、音声データ等の種々のデータを取り込んで符号化に関する処理を行う電子機器も適用の対象とすることができる。
【００６７】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６８】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００６９】
１０  撮像装置、２０  運台装置、３０  制御装置、３２  操作入力部、３４  コントローラ、３６  制御データ格納部、３８  記録媒体、４０  照明装置、５０  撮影システム、６０  スタジオ、２０１  表示部、２０２  操作部材、２０８  電源部、２０９  記録媒体、２１９  光軸、２２１  レンズ系、２３１  撮像素子、２３２  Ａ／Ｄ変換器、２３３  メモリ制御部、２３４  タイミング発生部、２３５  内部メモリ、２３６  システムメモリ、２３７  画像処理部、２３８  表示制御部、２３９  Ｄ／Ａ変換器、２４０  記録媒体ＩＦ、２４１  外部ＩＦ、２４３  レンズ駆動制御部、２７０  圧縮部、３００  符号化制御部、３１０  減算部、３２０  変換部、３３０  量子化部、３４０  可変長符号化部、３３２  逆量子化部、３２２  逆変換部、３１２  加算部、３６０  デブロッキング部、３７０  フレーム間予測部、３５０  フレーム内予測部、３８０  予測制御部、６００  量子化テーブル
【図１】
2013017003.tif 000003
【図２】
2013017003.tif 000004
【図３】
2013017003.tif 000005
【図４】
2013017003.tif 000006
【図５】
2013017003.tif 000007
【図６】
2013017003.tif 000008
【図７】
2013017003.tif 000009
【図８】
2013017003.tif 000010
【図９】
2013017003.tif 000011