(57)【要約】【課題】少ない演算資源で動画データを符号化しつつ、画質を比較的に均一に保つこと。【解決手段】パラメータ決定装置は、動画撮影の撮影環境を示す撮影環境データを取得する環境情報取得部と、撮影環境データに基づいて、動画撮影により得られた動画データの符号量を制御する符号化パラメータを決定するパラメータ決定部と、を備える。プログラムは、動画撮影の撮影環境を示す撮影環境データを取得するステップと、撮影環境データに基づいて、動画撮影により得られた動画データの符号量を制御する符号化パラメータを決定するステップと、をコンピュータに実行させる。【選択図】図１
2013017004.tif 000002
【特許請求の範囲】
【請求項１】
動画撮影の撮影環境を示す撮影環境データを取得する環境情報取得部と、
前記撮影環境データに基づいて、前記動画撮影により得られた動画データの符号量を制御する符号化パラメータを決定するパラメータ決定部と、
を備えるパラメータ決定装置。
【請求項２】
前記符号化パラメータに従って前記動画データを符号化する符号化部
をさらに備える請求項１に記載のパラメータ決定装置。
【請求項３】
前記パラメータ決定部は、前記撮影環境の変化量に応じて前記符号化パラメータを時刻毎に決定する
請求項１または２に記載のパラメータ決定装置。
【請求項４】
前記パラメータ決定部は、前記符号化パラメータとして、前記動画データを不可逆圧縮する圧縮強度を制御するパラメータを時刻毎に決定する
請求項３に記載のパラメータ決定装置。
【請求項５】
前記パラメータ決定部は、第２期間よりも前記撮影環境の変化量が大きい第１期間に適用する符号化パラメータとして、前記第２期間に適用する符号化パラメータよりも圧縮強度が低い符号化パラメータを決定する
請求項４に記載のパラメータ決定装置。
【請求項６】
前記パラメータ決定部は、圧縮強度がより低い符号化パラメータとして、より小さい量子化ステップの値を決定する
請求項５に記載のパラメータ決定装置。
【請求項７】
前記パラメータ決定部は、前記符号化パラメータとして量子化ステップの値を決定する
請求項１から６のいずれか一項に記載のパラメータ決定装置。
【請求項８】
前記環境情報取得部は、前記撮影環境における光量の時間変化を示す撮影環境データを取得する
請求項１から７のいずれか一項に記載のパラメータ決定装置。
【請求項９】
前記環境情報取得部は、発光部に発光させる発光量の時間変化を示す撮影環境データを取得する
請求項８に記載のパラメータ決定装置。
【請求項１０】
前記情報取得部は、前記動画撮影を行う撮像部の撮影条件の変化および前記撮像部による撮像範囲の変化の少なくとも一方を示す撮影環境データを取得する
請求項１から９のいずれか一項に記載のパラメータ決定装置。
【請求項１１】
前記動画撮影を行って生成した動画データを前記パラメータ決定装置に出力する撮像部と、
請求項１から１０のいずれか一項に記載のパラメータ決定装置と、
を備える撮像装置。
【請求項１２】
前記撮影環境データに基づいて、前記撮影環境を制御する撮影環境制御装置と、
前記動画撮影を行って生成した動画データを前記パラメータ決定装置に出力する撮像部と、
請求項１から１０のいずれか一項に記載のパラメータ決定装置と、
を備える撮影システム。
【請求項１３】
発光部
をさらに備え、
前記撮影環境制御装置は、前記発光部に発光させる発光量の時間変化を示す前記撮影環境データに従って、前記発光部からの発光量を制御する
請求項１２に記載の撮影システム。
【請求項１４】
動画撮影の撮影環境を示す撮影環境データを取得するステップと、
前記撮影環境データに基づいて、前記動画撮影により得られた動画データの符号量を制御する符号化パラメータを決定するステップと、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パラメータ決定装置、撮像装置、撮影システムおよびプログラムに関する。
【背景技術】
【０００２】
連続して入力される画像を一時的に蓄積し、蓄積した画像より抽出した特徴情報に基づいて、ＧＯＰ構造を決定して、符号化に必要となるビット量を予測する技術が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００２−１９９３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
例えば１パスエンコード方式で動画データを符号化すると、各時間で目標ビットレートに近づくよう符号量が調節されるので、画質が不均一となる場合がある。一方、マルチパスエンコード方式によると、符号化するのに膨大な演算資源を要する場合がある。このように、画質を比較的に均一に保ちつつ、少ない演算資源で動画データを符号化することができないという課題があった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、パラメータ決定装置は、動画撮影の撮影環境を示す撮影環境データを取得する環境情報取得部と、撮影環境データに基づいて、動画撮影により得られた動画データの符号量を制御する符号化パラメータを決定するパラメータ決定部と、を備える。
【０００５】
本発明の第２の態様においては、プログラムは、動画撮影の撮影環境を示す撮影環境データを取得するステップと、撮影環境データに基づいて、動画撮影により得られた動画データの符号量を制御する符号化パラメータを決定するステップと、をコンピュータに実行させる。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】一実施形態にかかる撮影システム５０の利用形態の一例を示す。
【図２】撮像装置１０のブロック構成の一例を示す。
【図３】圧縮部２７０の機能ブロック構成の一例を示す。
【図４】一シーケンスの動画撮影における圧縮強度の制御例を示す。
【図５】量子化ステップの制御による符号量の変化を模式的に示す。
【図６】各機器の制御内容に対応する符号量の増加量をテーブル形式で示す。
【図７】ＤＣＴ係数に適用する量子化テーブルの一例をテーブル形式で示す。
【図８】撮影システム５０における動作フローの一例を示す。
【図９】撮影システム５０における動作フローの他の一例を示す。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、一実施形態にかかる撮影システム５０の利用形態の一例を示す。本実施形態において、撮影システム５０は、スタジオ６０内での撮影に利用される。撮影システム５０は、撮像装置１０、運台装置２０、制御装置３０および照明装置４０を備える。撮影システム５０は、動画を撮影しながらリアルタイムで符号化しつつ、画質が均一な動画データを提供するシステムを提供する。
【００１０】
撮影システム５０では、動画撮影に先立ち、動画撮影中の撮像条件の変化、照明条件の変化など、撮影の一シーケンス中に生じる撮影環境の変化を示す撮影環境データを撮像装置１０に送信する。一シーケンスとは、例えば動画撮影を開始してから終了するまでの期間を示す。撮像装置１０は、一シーケンス内の撮影環境の変化に基づいて、動画撮影中の符号化処理に適用する符号化パラメータを、動画撮影を開始する前に決定する。例えば、撮像装置１０は、環境変化が大きい期間の量子化ステップを、環境変化が小さい期間の量子化ステップよりも小さく設定する。そして、撮像装置１０は、動画撮影をしながら、事前に決定した量子化ステップを適用して動画データの量子化を施す。このため、撮影環境の変化によって発生符号量が高まる期間を予測して、その期間に小さい量子化ステップを適用して符号量を多く割り当てる。このため、環境変化が大きい期間の画質が低下することを防ぐことができる。また、事前に適切な符号量を割り当てることができるので、動画撮影時に必要な演算量を削減することができる。このような制御により、撮像装置１０は、動画を撮影しながらリアルタイムで符号化しつつ、画質がより均一な動画データを生成する。
【００１１】
制御装置３０は、操作入力部３２、コントローラ３４および制御データ格納部３６を有する。制御装置３０は、例えば、撮像装置１０による撮影環境を制御するコンピュータである。制御装置３０は、制御データに基づいて撮像装置１０、運台装置２０および照明装置４０を制御することにより、撮影システム５０による撮影環境を制御する。
【００１２】
具体的には、制御データ格納部３６は、撮像装置１０、運台装置２０および照明装置４０の制御内容を定義した制御データを、記録媒体３８から読み出して格納する。例えば、制御データは、照明装置４０の発光条件、撮像装置１０の撮像条件、撮像装置１０の位置および向き等を時間毎に定義する。コントローラ３４は、動画撮影時に、制御データ格納部３６に格納された制御データに基づき、撮像装置１０、運台装置２０および照明装置４０を制御する制御信号を送信する。操作入力部３２は、動画撮影の開始指示等のユーザ指示を取得する。コントローラ３４は、操作入力部３２からの指示に応じて、撮像装置１０、運台装置２０および照明装置４０の各機器の制御を開始する。また、コントローラ３４は、制御データで定義された情報に従って、各タイミングで制御信号を各機器に送信する。
【００１３】
制御装置３０は、照明装置４０の発光条件を制御する。発光条件としては、照明光の発光タイミング、発光量、色等を例示することができる。例えば、制御装置３０は、発光条件を示す制御信号を照明装置４０に供給することにより、発光条件を制御する。
【００１４】
運台装置２０は、撮像装置１０の位置および向き等を制御する。例えば、運台装置２０は、撮像装置１０の位置、パンおよびチルト角等を制御する。具体的には、制御装置３０が、運台装置２０を駆動する制御信号を運台装置２０に供給する。運台装置２０は、制御信号に従って動作することにより、撮像装置１０の位置および向き等を制御する。
【００１５】
また、制御装置３０は、撮像装置１０の撮像条件を制御する。撮像条件としては、ズーム値、絞り値、露出量、焦点位置等を例示することができる。また、制御装置３０は、撮像装置１０が備える閃光装置１２の発光条件を制御する。制御装置３０は、撮像条件および発光条件を示す制御信号を撮像装置１０に供給することにより、撮像条件および発光条件を制御する。制御装置３０による撮像装置１０の制御および運台装置２０の制御により、いわゆるカメラワークを遠隔で自動的に制御することができる。
【００１６】
制御装置３０は、動画撮影に先立ち、撮影環境の変化を示す撮影環境データを撮像装置１０に送信する。撮影環境の変化としては、撮像装置１０の発光条件の変化、照明装置４０の発光条件の変化、撮像装置１０の撮像条件の変化、撮像装置１０の位置および向きの変化を含む。例えば、撮像装置１０は、閃光装置１２を発光させるタイミングを示す撮影環境データを受信した場合、閃光装置１２を発光させるタイミングを含む予め定められた期間の量子化ステップを、閃光装置１２を発光させない期間の量子化ステップよりも小さく設定する。このように、撮像装置１０は、一シーケンス内の撮影環境の変化に応じて、一シーケンス内の各時刻の量子化ステップを決定する。撮像装置１０は、決定した量子化ステップを記憶して、動画撮影時の符号化にリアルタイムに適用する。
【００１７】
撮影システム５０によれば、動画撮影における一シーケンス全体で予測される撮影環境の変化を見通して、適切な量子化ステップの値を決定することができる。このため、動画撮影時にマルチパスエンコード方式を適用しなくとも、最適な量子化ステップで符号化することができる場合がある。したがって、撮像装置１０によれば、膨大な演算資源を要することなくリアルタイムに符号化しつつ、画質がより均一な動画データを生成することができる。
【００１８】
図２は、撮像装置１０のブロック構成の一例を示す。撮像装置１０は、ズームレンズ、フォーカスレンズ等を含むレンズ系２２１を備える。被写体からの光束は、光軸２１９に沿ってレンズ系２２１に入射して撮像素子２３１の結像面に被写体像として結像する。主としてレンズ系２２１および撮像素子２３１の機能ブロックは、撮像部として機能する。
【００１９】
撮像素子２３１は、レンズ系２２１を透過して撮像素子２３１に結像した光学像としての被写体像を光電変換することにより、被写体を撮像する。撮像素子２３１としては、例えば、ＣＣＤ、ＣＭＯＳセンサを用いることができる。撮像素子２３１で光電変換された被写体像は、Ａ／Ｄ変換器２３２でアナログ信号からデジタル信号に変換される。撮像素子２３１の電荷読み出し制御およびＡ／Ｄ変換器２３２の変換制御は、メモリ制御部２３３の同期制御を受けたタイミング発生部２３４が供給するクロック信号により、同期が計られる。
【００２０】
デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器２３２によりデジタル信号に変換された画像データは、メモリ制御部２３３の制御に従い、一旦内部メモリ２３５に記憶される。内部メモリ２３５は、高速で読み書きのできるランダムアクセスメモリであり、例えばＤＲＡＭ、ＳＲＡＭなどが用いられる。内部メモリ２３５は、連写撮影、動画撮影において高速に連続して画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。
【００２１】
また、内部メモリ２３５は、画像処理部２３７が行う画像処理、圧縮処理において、ワークメモリとしての役割も担う。特に本実施形態においては、内部メモリ２３５は、動画を符号化する場合に、動画を構成する複数のフレームのフレームデータを記憶する。内部メモリ２３５は、これらの役割を担うに相当する十分なメモリ容量を備える。
【００２２】
システムメモリ２３６は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ（登録商標）等により構成される。システムメモリ２３６は、撮像装置１０の動作時に必要な定数、変数、プログラム等を、撮像装置１０の非動作時にも失われないように記録している。撮像装置１０の全体を直接的または間接的に制御するシステム制御部２５０は、定数、変数、プログラム等を適宜内部メモリ２３５に展開して、撮像装置１０の制御に利用する。
【００２３】
画像処理部２３７は、設定されている撮影モード、ユーザからの指示に則して、画像データを所定の画像フォーマットに変換する。例えば、静止画像としてＪＰＥＧファイルを生成する場合、前処理部２６０が静止画としての画像データに対して色補間処理、ガンマ補正処理、輪郭補償等の画像処理を行った後に、圧縮部２７０が離散コサイン変換、量子化等を施して圧縮符号化処理をする。また、動画像としてＭＰＥＧファイルを生成する場合、所定の画素数に縮小されて生成された連続する静止画としてのフレーム画像に対して、圧縮部２７０がフレーム内符号化、フレーム間符号化を施して圧縮処理をする。
【００２４】
符号化パラメータ決定部２８０は、コントローラ３４から取得された撮影環境データに基づいて、動画データの符号量を制御する符号化パラメータを予め決定する。具体的には、符号化パラメータ決定部２８０は、撮影環境の変化量に応じて符号化パラメータを時刻毎に決定する。動画撮影時において、圧縮部２７０は、符号化パラメータ決定部２８０が決定した符号化パラメータに従って、フレーム画像を符号化する。画像処理部２３７によって処理された静止画像データ、動画像データは、内部メモリ２３５から記録媒体ＩＦ２４０を介して、記録媒体２０９に転送されて記録される。
【００２５】
画像処理部２３７は、記録用に処理される画像データに並行して、表示用の画像データを生成する。生成された表示用の画像データは、表示制御部２３８の制御に従って、Ｄ／Ａ変換器２３９でアナログ信号に変換され、表示部２０１に表示される。システム制御部２５０は、撮像装置１０の各種設定に関する様々なメニュー項目も、表示部２０１に表示することができる。
【００２６】
外部ＩＦ２４１は、コントローラ３４からの制御信号を受信する。例えば、外部ＩＦ２４１は、撮像条件等を変更する制御信号を受信して、システム制御部２５０に供給する。システム制御部２５０は、制御信号を受信した場合に、受信した制御信号に従って各部を制御することにより、撮像条件等の動作条件を制御する。例えば、システム制御部２５０は、制御信号に従って、レンズ駆動制御部２４３を制御して、レンズ系２２１を制御する。
【００２７】
また、外部ＩＦ２４１は、撮影環境データを制御装置３０から取得する。システム制御部２５０は、撮影環境の変化を示す情報を内部メモリ２３５に記憶する。符号化パラメータ決定部２８０は、内部メモリ２３５に記憶された撮影環境データに基づいて、圧縮部２７０の圧縮符号化時に適用する量子化ステップを決定して、内部メモリ２３５に記憶する。
【００２８】
撮像装置１０は、ユーザからの操作を受け付ける操作部材２０２を複数備える。システム制御部２５０は、これら操作部材２０２が操作されたことを検知して、操作に応じた動作を実行する。
【００２９】
レンズ系２２１は、システム制御部２５０の統括制御のもと、レンズ駆動制御部２４３によって制御される。レンズ駆動制御部２４３は、レンズ系２２１に含まれるレンズのうち主としてズームレンズを駆動して、被写体像の画角を変更する。また、レンズ駆動制御部２４３は、レンズ系２２１に含まれるレンズのうち主としてフォーカスレンズを駆動して、焦点位置を変更する。また、レンズ駆動制御部２４３は、レンズ系２２１に含まれる絞り装置を制御して、露出量を制御する。システム制御部２５０は、ズーミング、フォーカシング、絞りを変更する制御信号を受信した場合に、制御信号に従ってレンズ系２２１が駆動されるようレンズ駆動制御部２４３を制御する。
【００３０】
電源部２０８は、撮像装置１０の各部に電力を供給する。記録媒体２０９は、不揮発性の記録媒体であり、電源部２０８からの電力供給がない場合でも、記録されたデータを保持することができる。
【００３１】
図３は、圧縮部２７０の機能ブロック構成の一例を示す。圧縮部２７０は、符号化パラメータ決定部２８０が決定した符号化パラメータに従って動画データを符号化する符号化部の一例である。圧縮部２７０は、符号化制御部３００、減算部３１０、変換部３２０、量子化部３３０、可変長符号化部３４０、逆量子化部３３２、逆変換部３２２、加算部３１２、デブロッキング部３６０、フレーム間予測部３７０、フレーム内予測部３５０および予測制御部３８０を含む。ここでは、動画を構成する画像であるフレームを圧縮符号化する場合における各部の動作を説明する。
【００３２】
減算部３１０は、圧縮対象のフレームから、予測制御部３８０から供給される予測画像を減算する。予測画像は、フレーム内予測部３５０またはフレーム間予測部３７０において生成される動き補償された画像である。
【００３３】
変換部３２０は、減算部３１０が出力した残差信号に、離散コサイン変換（ＤＣＴ変換）を施す。本ＤＣＴ変換において、ブロック毎にＤＣＴ係数が算出される。
【００３４】
量子化部３３０は、ＤＣＴ係数を量子化する。具体的には、量子化部３３０は、１ブロック内の各ＤＣＴ係数を、量子化テーブル中の対応する位置の量子化ステップ値で除算する。したがって、量子化部３３０により不可逆圧縮が行われる。符号化制御部３００は、量子化に適用される量子化ステップを制御することにより、発生する符号量を制御する。符号化制御部３００は、符号化パラメータ決定部２８０が決定した各時刻の量子化ステップが内部メモリ２３５に記憶されている場合、内部メモリ２３５に記憶された量子化ステップを各時刻に適用する。可変長符号化部３４０は、量子化部３３０により量子化されたデータに可変長符号化を施す。可変長符号化部３４０から出力された１フレームの符号化済みデータは内部メモリ２３５に記憶される。
【００３５】
圧縮部２７０が有する機能ブロックのうち、逆量子化部３３２、逆変換部３２２、加算部３１２、デブロッキング部３６０、フレーム間予測部３７０、フレーム内予測部３５０および予測制御部３８０の機能ブロックより、動き補償が実現される。逆量子化部３３２は、量子化部３３０で量子化に用いた量子化ステップを適用して、逆量子化を行う。逆変換部３２２は、逆量子化により得られたＤＣＴ係数に対して、変換部３２０で適用したＤＣＴ変換の逆変換を行う。加算部３１２は、逆変換により得られた残差信号を、差分対象のフレームに加算する。デブロッキング部３６０は、加算処理により得られた画像データに対してブロック・ノイズを低減するデブロッキングフィルタを適用する。フレーム間予測部３７０は、入力フレームに対してフレーム間予測を行い、動き補償された予測画像を予測制御部３８０に提供する。フレーム内予測部３５０は、入力フレームから予測画像を生成して、予測制御部３８０に提供する。予測制御部３８０は、予測画像を減算部３１０に提供する。
【００３６】
図４は、一シーケンスの動画撮影における圧縮強度の制御例を示す。本図では、一シーケンスで撮影されたフレームを圧縮する圧縮強度の時間発展を模式的に示す。本シーケンスでは、時刻ｔ０で動画撮影が開始され、時刻ｔ１１で動画撮影が終了する。本シーケンスにおいて、時刻ｔ２およびｔ５において、閃光装置１２が閃光を発光する。また、撮像装置１０は、時刻ｔ７からｔ８の期間にパンニング撮影する。また、撮像装置１０は、時刻ｔ９からｔ１０の期間に、絞りを変化させながら撮影する。
【００３７】
例えば、閃光装置１２が閃光を発光した場合、撮影されたフレーム間で画像内容が急激に変化する。このため、閃光の発光タイミングの近傍では、減算部３１０から出力される残差信号が大きくなる。このため、単位時間当たりの発生符号量がビットレートに適合するように各時刻単位で量子化ステップの値を制御すると、閃光の発光タイミングの近傍では量子化ステップの値が大きくなってしまう。このため、閃光が発光されたタイミングの画質が低下する場合がある。パンニング撮影される期間や、絞り値が時間的に変化する期間についても同様に、残差信号が大きくなり画質が低下する場合がある。また、通常、パンニングや絞り等は、一定時間継続的に制御される。したがって、フレーム相関が取れなくなる期間が比較的に長く継続する。このため、符号量の割り当てを大きく低下させる必要が生じる場合がある。このように、撮影環境の変化によって、画質が時間的に大きく変動してしまう場合がある。
【００３８】
撮像装置１０によると、制御装置３０から事前に受け取った撮影環境データから、時刻ｔ２およびｔ５で閃光を発光することがわかる。符号化パラメータ決定部２８０は、時刻ｔ２、ｔ５をそれぞれ含む予め定められた期間の圧縮強度を低下させる。例えば、時刻ｔ２より予め定められた時間だけ前の時刻ｔ１から、時刻ｔ２より予め定められた時間だけ後の時刻ｔ３までの期間にわたって、その前後の期間に適用する圧縮強度よりも圧縮強度を低下させる。また、時刻ｔ５についても同様に、時刻ｔ５より予め定められた時間だけ前の時刻ｔ４から、時刻ｔ５より予め定められた時間だけ後の時刻ｔ６までの期間にわたって、その前後の期間に適用する圧縮強度よりも圧縮強度を低くする。このため、閃光が発光されたタイミングの画質が大きく低下してしまうことを未然に防ぐことができる。
【００３９】
また、制御装置３０から事前に受け取った撮影環境データから、時刻ｔ７からｔ８でパンニング撮影されることがわかる。また、また、時刻９からｔ１０の期間に、絞りを変化させながら撮影することがわかる。符号化パラメータ決定部２８０は、時刻ｔ７からｔ８までの期間の圧縮強度を、その前後の期間に適用する圧縮強度よりも低くする。また、符号化パラメータ決定部２８０は、時刻ｔ９からｔ１０までの期間の圧縮強度を、その前後の期間に適用する圧縮強度よりも低くする。このため、パンニング撮影、絞り値が時間的に変化する期間に、画質が低下してしまうことを未然に防ぐことができる。
【００４０】
符号化パラメータ決定部２８０は、圧縮強度を低下させる期間（時刻ｔ１〜ｔ３、時刻ｔ４〜ｔ６、時刻ｔ７〜ｔ８、時刻ｔ９〜１０）を除く期間に適用する圧縮強度を高く設定する。例えば、符号化パラメータ決定部２８０は、圧縮強度を低下させる期間に適用する圧縮強度を予め定められた基準値よりも低く設定し、それ以外の期間に適用する圧縮強度を予め定められた基準値よりも低く設定する。このため、一シーケンスで発生する全体の符号量が著しく増加することを未然に防ぐことができる。すなわち、各期間に適切な符号量を割り当てつつ、一シーケンス全体の符号量の平均値を、目標符号量の平均値に適合させることができる。
【００４１】
このように、符号化パラメータ決定部２８０は、第２期間よりも撮影環境の変化量が大きい第１期間に適用する符号化パラメータとして、第２期間に適用する符号化パラメータよりも圧縮強度が低い符号化パラメータを決定する。具体的には、符号化パラメータ決定部２８０は、動画データを不可逆圧縮する圧縮強度を制御するパラメータとして、量子化ステップの値を決定する。より具体的には、符号化パラメータ決定部２８０は、圧縮強度がより低い符号化パラメータとして、より小さい量子化ステップの値を決定する。
【００４２】
以上に説明したように、符号化パラメータ決定部２８０は、閃光装置１２に閃光を発光させるタイミングの近傍で、量子化ステップの値を決定する。すなわち、符号化パラメータ決定部２８０は、撮影環境における光量の時間変化を示す撮影環境データに基づいて、量子化ステップの値を時間毎に決定する。撮影環境における光量は、照明装置４０によっても制御される。すなわち、符号化パラメータ決定部２８０は、閃光装置１２、照明装置４０等の発光部に発光させる発光量の時間変化を示す撮影環境データに従って、量子化ステップの値を決定する。
【００４３】
また、本図において、パンニング、絞り制御に応じて量子化ステップを決定するとした。しかし、発生符号量は、ズーミング変化、焦点位置の変化、撮像装置１０の位置の変化、撮像装置１０の向きの変化、照明装置４０の発光条件の変化等によっても変化し得る。したがって、符号化パラメータ決定部２８０は、これらの撮影環境の変化に従って、適切な量子化ステップの値を決定してよい。すなわち、符号化パラメータ決定部２８０は、動画撮影を行う撮像部における撮影条件の変化および動画撮影の撮影範囲の変化の少なくとも一方を示す撮影環境データに応じて、量子化ステップの値を決定してよい。
【００４４】
図５は、量子化ステップの制御による符号量の変化を模式的に示す。本図において、横軸は量子化ステップの値であり、縦軸は発生符号量の変化率５００を示す変化係数である。量子化により予測される発生符号量は、量子化ステップの値に対応する変化係数を符号量に乗じた値によって算出される。本実施形態において、各機器の制御内容に応じて発生する符号量が予め定義されていてよい。符号化パラメータ決定部２８０は、本図に示す変化率および制御内容に対応する符号量に基づいて、図４に説明したように符号量の割り当てを時間毎に相対的に変化させつつ、一シーケンスにわたる符号量の平均値が目標符号量の平均値となるように、量子化ステップの値を時間毎に決定する。
【００４５】
図６は、各機器の制御内容に対応する符号量の増加量をテーブル形式で示す。本テーブルは、撮像装置１０のシステムメモリ２３６に記録されてよい。
【００４６】
本テーブルにおいて、撮像装置１０の閃光装置１２を閃光させる場合、単位時間あたりＣ３の符号予測値が定められている。符号化パラメータ決定部２８０は、本テーブルを参照して、閃光装置１２の閃光により生じる単位時間あたりの符号予測値に基づき、閃光装置１２を閃光させるタイミングの発生符号量を予測する。すなわち、符号化パラメータ決定部２８０は、本テーブルを参照して、制御内容に対応する単位時間あたりの符号予測値に基づき、発生符号量を予測する。そして、符号化パラメータ決定部２８０は、図５に関連して説明した変化係数および制御内容に対応する符号予測値に基づいて、各時刻の量子化ステップの値を決定する。
【００４７】
なお、制御パラメータとしては、閃光装置１２に対する閃光制御の他、撮像装置１０に対するズーム制御、フォーカス制御、絞り制御を含む。また、照明装置４０に対する制御パラメータとして、点滅制御、光量制御等が定義される。また、運台装置２０に対する制御パラメータとして、移動制御、撮像装置１０のチルト制御、パン制御等が定義される。これらの制御内容については、変化速度を制御パラメータとして含んでよい。例えば、ズーム値の変化速度に対応づけて符号予測値が定められてよい。符号化パラメータ決定部２８０は、テーブルを参照して、撮影環境データによって示されるズーム値の変化速度に対応する符号予測値を用いて、ズーム変化が生じる期間内の各時刻の量子化ステップの値を決定してよい。符号化パラメータ決定部２８０は、本テーブルを参照することで、一シーケンス内における全体符号量を目標符号量に適合させつつ、各時刻の制御内容に応じて符号量割り当てを最適化することができる。このため、一シーケンス全体として符号量の平均値を目標ビットレートに適合させつつ、画質の変動量を低減することができる。
【００４８】
図７は、ＤＣＴ係数に適用する量子化テーブルの一例をテーブル形式で示す。変換部３２０で算出されたＤＣＴ係数の各周波数成分は、量子化テーブル６００の対応する値で除算される。符号化パラメータ決定部２８０は、量子化テーブル内の各量子化ステップの値を決定することで、各周波数成分を量子化する量子化ステップの値を時間毎に決定してよい。例えば、符号化パラメータ決定部２８０は、予め用意された複数の量子化テーブルの中から、適用する量子化テーブルを時間毎に決定することで、量子化ステップの値を時間的に決定してよい。また、符号化パラメータ決定部２８０は、量子化テーブルの各量子化ステップの値に乗じる係数である量子化パラメータを時間的に決定することで、量子化ステップの値を時間毎に決定しもよい。すなわち、符号化パラメータ決定部２８０が決定する符号化パラメータとして、量子化テーブル自体や、量子化パラメータ等を例示することができる。
【００４９】
図８は、撮影システム５０における動作フローの一例を示す。本フローは、操作入力部３２に対して一シーンの撮影を開始する指示がなされた場合に、開始される。ステップＳ８０２において、コントローラ３４は、撮像装置１０、運台装置２０および照明装置４０を制御する制御データを、制御データ格納部３６から読み込む。本制御データは、動画撮影を行う場合に撮像装置１０、運台装置２０および照明装置４０の各機器の動作を制御するための制御データである。
【００５０】
続いて、コントローラ３４は、撮影環境データとして、制御データに基づく各機器の制御内容を示すデータを撮像装置１０に送信する（ステップＳ８０４）。例えば、図６の制御パラメータを識別する情報と、当該制御パラメータによる制御が生じるタイミングとを、撮像装置１０に送信する。続いて、撮像装置１０において、符号化パラメータ決定部２８０は、受信した各機器の制御内容を示すデータに基づいて、符号量の増加量を時間毎に算出する（ステップＳ８０６）。続いて、符号化パラメータ決定部２８０は、量子化ステップの値を時間毎に決定し（ステップＳ８０８）、決定した量子化ステップの値を時間に対応づけて内部メモリ２３５に記憶する（ステップＳ８１０）。量子化ステップの記憶が完了すると、撮像装置１０は、動画撮影の準備が完了した旨を制御装置３０に通知する。これにより、コントローラ３４は、動画撮影を開始する指示を受け付ける状態となる。
【００５１】
操作入力部３２に対して動画撮影を開始するユーザ指示がなされると、コントローラ３４は、撮像装置１０に動画撮影の開始を指示する（ステップＳ８１２）。撮像装置１０が動画撮影をしている間、コントローラ３４は、撮像装置１０、運台装置２０および照明装置４０の各機器を制御する制御信号を、ステップＳ８０２で読み出した制御データに従って各機器に送信する。各機器は、制御信号を受信した場合に、制御信号に従って動作を制御する。
【００５２】
撮像装置１０において動画撮影が開始されると、前処理部２６０で前処理されたフレームデータが順次に内部メモリ２３５に蓄積される。圧縮部２７０は、メモリ制御部２３３からの制御に従って、内部メモリ２３５に蓄積されたフレームデータを順次に選択する（ステップＳ８１４）。
【００５３】
圧縮部２７０は、選択したフレームが撮像されたタイミングに対応する量子化ステップの値を選択して（ステップＳ８１６）、選択した量子化ステップを適用して圧縮符号化を行う（ステップＳ８１８）。圧縮符号化されたフレームデータは、内部メモリ２３５に一時的に記憶される。
【００５４】
続いて、圧縮部２７０は、全フレームの圧縮符号化を完了したか否かを判断する（ステップＳ８２０）。全フレームの圧縮符号化が完了した場合、システム制御部２５０は、圧縮部２７０で圧縮された動画データを動画ファイルとして記録媒体２０９に記録する（ステップＳ８２２）。全フレームの圧縮符号化が完了していない場合、ステップＳ８１４に処理を移行させ、全フレームの圧縮符号化が完了するまで、フレームの選択および符号化処理が行われる。このように、圧縮部２７０は、動画撮影中において、内部メモリ２３５に予め記憶された量子化ステップの値を量子化に適用して、リアルタイムに圧縮符号化を行うことができる。
【００５５】
以上に説明したように、撮影システム５０によれば、撮像装置１０が、各機器の制御内容に基づいて、一シーケンスの全体の撮影環境の変化を見通して一シーケンス内の各時刻に最適な符号量を割り当てることができる。このため、例えば閃光が発光されたタイミングや、急激なパンニング、ズーミング等が行われる期間など、フレームの符号化における複雑度が高まる期間を予測して、その期間に十分な符号量を割り当てることができる。また、符号化における複雑度が低い期間には、割り当て符号量を比較的に小さくすることができる。したがって、一シーケンス全体として、目標符号量に対して発生符号量が著しく大きくなることを未然に防ぎつつ、全体的に安定した画質の動画データを提供することができる。
【００５６】
図９は、撮影システム５０における動作フローの他の一例を示す。本動作フローは、撮像装置１０が環境変化を示す情報に基づき、符号化パラメータをリアルタイムに決定する場合の動作フローの一例である。本動作フローは、ステップＳ８０２と同様に、撮像装置１０、運台装置２０および照明装置４０を制御する制御データが、制御データ格納部３６に格納された場合に開始される。
【００５７】
操作入力部３２に対して動画撮影を開始するユーザ指示がなされると、コントローラ３４は、撮像装置１０に動画撮影の開始を指示する。撮像装置１０が動画撮影をしている間、コントローラ３４は、撮像装置１０、運台装置２０および照明装置４０の各機器を制御する制御信号を、制御データ格納部３６に格納された制御データに基づいて各機器に送信する。各機器は、制御信号を受信した場合に、制御信号に従って動作を制御する。
【００５８】
撮像装置１０は、コントローラ３４からの指示に応じて、動画撮影を開始する（ステップＳ９０２）。動画撮影が開始されると、前処理部２６０で前処理されたフレームデータが順次に内部メモリ２３５に蓄積される。
【００５９】
ステップＳ９０４において、システム制御部２５０は、制御内容を変更する指示を受信したか否かを判断する。制御内容の変更を示す指示としては、撮像装置１０に対する制御内容だけでなく、運台装置２０および照明装置４０に対する制御内容の変更を示す指示が含まれる。制御内容の変更を示す指示を受信した場合、撮像条件の変更が含まれる場合には撮像条件を変更する（ステップＳ９０６）。続いて、符号化パラメータ決定部２８０は、変更された制御内容に基づいて符号量の増減量を算出して（ステップＳ９０８）、符号量の増減量に基づいて量子化ステップの値を決定する（ステップＳ９１０）。例えば、図５、図６等に関連して説明した方法で、量子化ステップの値を決定する。ここで決定された量子化ステップの値は、対応するタイミング以後の撮影で得られたフレームに対する量子化ステップとして設定される。制御内容の変更を示す指示を受信していない場合、ステップＳ９１２に処理を進める。
【００６０】
ステップＳ９１２において、圧縮部２７０は、メモリ制御部２３３の制御に従って、内部メモリ２３５に蓄積されたフレームデータを順次に選択する。圧縮部２７０は、選択したフレームに、ステップＳ９１０で設定された量子化ステップの値を適用して圧縮符号化を行う（ステップＳ９１４）。圧縮符号化されたフレームデータは、内部メモリ２３５に記憶される。
【００６１】
続いて、圧縮部２７０は、全フレームの圧縮符号化を完了したか否かを判断する（ステップＳ９１６）。全フレームの圧縮符号化が完了した場合、システム制御部２５０は、圧縮部２７０で圧縮された動画データを動画ファイルとして記録媒体２０９に記録する（ステップＳ９１８）。全フレームの圧縮符号化が完了していない場合、ステップＳ９１２に処理を移行させ、全フレームの圧縮符号化が完了するまで、フレームの選択および符号化処理が行われる。このように、圧縮部２７０は、動画撮影中において、制御内容の変化に応じて量子化ステップの値をリアルタイムに決定して、リアルタイムに圧縮符号化を行うことができる。
【００６２】
本図に関連して説明した動作フローによれば、撮像装置１０は、各機器の制御内容をリアルタイムに取り込む。このため、現在の制御内容から予測される最適な量子化ステップを決定して、各フレームの量子化に適用することができる。このため、量子化ステップを決定するための演算量を削減することができる。また、本動作フローによれば、各機器の制御内容を設定してすぐに動画撮影を開始することができる。
【００６３】
以上に説明した撮像装置１０等に関連して説明した処理は、撮像装置１０等の各部、例えばシステム制御部２５０、画像処理部２３７等として機能するプロセッサ等が、プログラムに従って動作することにより、実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、当該プログラムをロードすることができる。
【００６４】
本実施形態において、スタジオ撮影用の撮像装置１０を取り上げて、撮影システム５０の一例を説明した。しかし、撮像装置しては、レンズ交換式の一眼レフカメラ、コンパクトデジタルカメラ、ミラーレス一眼カメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末等、撮像機能を有する種々の機器を適用の対象とすることができる。また、パーソナルコンピュータ等のように、動画データ等の種々のデータを取り込んで符号化に関する処理を行う電子機器も適用の対象とすることができる。
【００６５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６６】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００６７】
１０  撮像装置、２０  運台装置、３０  制御装置、３２  操作入力部、３４  コントローラ、３６  制御データ格納部、３８  記録媒体、４０  照明装置、５０  撮影システム、６０  スタジオ、２０１  表示部、２０２  操作部材、２０８  電源部、２０９  記録媒体、２１９  光軸、２２１  レンズ系、２３１  撮像素子、２３２  Ａ／Ｄ変換器、２３３  メモリ制御部、２３４  タイミング発生部、２３５  内部メモリ、２３６  システムメモリ、２３７  画像処理部、２３８  表示制御部、２３９  Ｄ／Ａ変換器、２４０  記録媒体ＩＦ、２４１  外部ＩＦ、２４３  レンズ駆動制御部、２７０  圧縮部、２８０  パラメータ決定部、３００  符号化制御部、３１０  減算部、３２０  変換部、３３０  量子化部、３４０  可変長符号化部、３３２  逆量子化部、３２２  逆変換部、３１２  加算部、３６０  デブロッキング部、３７０  フレーム間予測部、３５０  フレーム内予測部、３８０  予測制御部、６００  量子化テーブル
【図１】
2013017004.tif 000003
【図２】
2013017004.tif 000004
【図３】
2013017004.tif 000005
【図４】
2013017004.tif 000006
【図５】
2013017004.tif 000007
【図６】
2013017004.tif 000008
【図７】
2013017004.tif 000009
【図８】
2013017004.tif 000010
【図９】
2013017004.tif 000011