(57)【要約】【課題】処理データを一時保存する記憶媒体の温度に応じて符号化処理パラメータを制御できるようにする。【解決手段】映像データを符号化処理する符号化処理手段と、前記符号化処理手段が前記映像データを符号化するパラメータを制御する符号化パラメータ制御手段と、前記符号化処理手段が前記映像データを符号化処理する過程においてデータを一時保存する記憶媒体と、前記記憶媒体の温度を計測する温度計測手段とを設け、前記符号化パラメータ制御手段が、前記温度計測手段により計測された温度情報に基づき、前記符号化処理手段が符号化処理する際の制御パラメータを適応的に制御する。【選択図】図５
2014216720.tif 000002
【特許請求の範囲】
【請求項１】
映像データを符号化処理する符号化処理手段と、
前記符号化処理手段が前記映像データを符号化するパラメータを制御する符号化パラメータ制御手段と、
前記符号化処理手段が前記映像データを符号化処理する過程においてデータを一時保存する記憶媒体と、
前記記憶媒体の温度を計測する温度計測手段とを有し、
前記符号化パラメータ制御手段は、前記温度計測手段により計測された温度情報に基づき、前記符号化処理手段が符号化処理する際の制御パラメータを適応的に制御することを特徴とする撮像装置。
【請求項２】
前記符号化パラメータ制御手段は、
前記記憶媒体が所定の温度を超えると、前記記憶媒体に対して発行するデータ転送コマンドの発行周期が長くなるように制御することにより低減する前記符号化処理手段での処理可能帯域に応じて、前記符号化処理手段が行う動き検出での領域参照パラメータをフレームごとに決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記符号化パラメータ制御手段は、
前記符号化処理手段が前記映像データを符号化処理するフレームのピクチャタイプごとに温度情報に応じて、前記符号化処理手段が行う動き検出での領域参照パラメータをフレームごとに決定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記符号化パラメータ制御手段は、
前記温度計測手段により計測された温度情報のレベルに応じて、動き予測のための参照フレームの解像度を低減し、前記記憶媒体へのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記符号化パラメータ制御手段は、
前記温度計測手段により計測された温度情報のレベルに応じて、動き予測のための参照フレーム内の検出枠のサイズを低減することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記符号化パラメータ制御手段は、
前記温度計測手段により計測された温度情報のレベルに応じて、動き予測のためのブロックの数を低減し、前記記憶媒体のアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記符号化パラメータ制御手段は、
前記温度計測手段により計測された温度情報のレベルに応じてフレームのピクチャタイプを変更し、動き予測による前記記憶媒体のアクセスの量をなくすことを特徴とする請求項１に記載の撮像装置。
【請求項８】
映像データを符号化処理する符号化処理工程と、
前記符号化処理工程が前記映像データを符号化するパラメータを制御する符号化パラメータ制御工程と、
前記符号化処理工程が前記映像データを符号化処理する過程においてデータを記憶媒体に一時保存する記憶工程と、
前記記憶媒体の温度を計測する温度計測工程とを有し、
前記符号化パラメータ制御工程は、前記温度計測工程において計測された温度情報に基づき、前記符号化処理工程が符号化処理する際の制御パラメータを適応的に制御することを特徴とする撮像方法。
【請求項９】
映像データを符号化処理する符号化処理工程と、
前記符号化処理工程が前記映像データを符号化するパラメータを制御する符号化パラメータ制御工程と、
前記符号化処理工程が前記映像データを符号化処理する過程においてデータを記憶媒体に一時保存する記憶工程と、
前記記憶媒体の温度を計測する温度計測工程とをコンピュータに実行させるプログラムであって、
前記符号化パラメータ制御工程は、前記温度計測工程において計測された温度情報に基づき、前記符号化処理工程が符号化処理する際の制御パラメータを適応的に制御するようにコンピュータを制御することを特徴とするプログラム。
【請求項１０】
請求項９に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及び撮像方法に関し、特に、高解像度撮像システムおける熱対策に用いて好適な技術に関するものである。
【背景技術】
【０００２】
最近のデジタルカメラ、デジタルビデオカメラは、高解像度処理・高速化によりシステム内部で共有するメモリへのアクセスが非常に広帯域化している。ＪＥＤＥＣで規格が定義されている（LPDDR２（Low Power DDR2））は、最大５３３Mbpsでかつ、Low Powerを実現するＤＤＲ（Double Data Rate）である。
【０００３】
これは、Ｐｏｐ(Package On Package)で実装するのがタイミング保証の観点で一般的である。この場合、画像処理ＬＳＩとＤＤＲが積層されるので熱が問題になる。特許文献１では、ＭＰＥＧデコーダにおいて所定の温度を超えたら、Ｉピクチャのみデコードして、Ｂ／Ｐピクチャは直近のＩピクチャをアサインして外付け放熱板を用いずに所定の温度を保持している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−２３７５９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮影時のＭＰＥＧまたはＨ．２６４の符号化処理も広帯域である。特に、前後フレームから動き検出をする際のサーチ処理に要する処理帯域は大きい。また、（LPDDR2）は所定の温度(表面温度８５度)を超えると、（ａ）リフレッシュの周期を長くしたり、（ｂ）データ転送コマンドの発行周期を長くしたりすることなどが必要であり、処理可能帯域が削減される問題点があった。
【０００６】
このため、高解像度処理撮影システムにおいて、画像処理ＬＳＩの上に積層されるＤＤＲの表面温度８５度を超えないようにするということは、画像処理帯域の削減を意味するものであり、機能劣化につながる問題点があった。
本発明は前述の問題点に鑑み、処理データを一時保存する記憶媒体の温度に応じて符号化処理パラメータを適応的に制御できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、映像データを符号化処理する符号化処理手段と、前記符号化処理手段が前記映像データを符号化するパラメータを制御する符号化パラメータ制御手段と、前記符号化処理手段が前記映像データを符号化処理する過程においてデータを一時保存する記憶媒体と、前記記憶媒体の温度を計測する温度計測手段とを有し、前記符号化パラメータ制御手段は、前記温度計測手段により計測された温度情報に基づき、前記符号化処理手段が符号化処理する際の制御パラメータを適応的に制御することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、処理データを一時保存する記憶媒体の温度に応じて符号化処理パラメータを適応的に制御するようにしたので、高温時であっても画質を良好に保持することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態を示し、撮像装置の全体構成を示すブロック図である。
【図２】イメージプロセッサの動作率と、イメージプロセッサとＤＤＲ双方の温度依存性を示している図である。
【図３】符号化処理の処理帯域の時間的な遷移を示す図である。
【図４】動き検出処理時の符号化パラメータ制御について詳細に示す図である。
【図５】第１の実施形態の撮像装置が実行する符号化パラメータ制御処理の一例を説明するフローチャートである。
【図６】実施形態で使用するパラメータ０〜３の設定値の一例を示す図ある。
【図７】第２の実施形態の撮像装置が実行する符号化パラメータ制御処理の一例を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら本発明の好適な形態を説明する。
＜第１の実施形態＞
図１は、本発明の実施形態を示し、撮像装置の全体構成を示すブロック図である。
本実施形態の撮像装置１００において、撮影された映像は、レンズ１０１で結像され、センサ１０２へ入射される。
センサ１０２では、入射された光学映像を電気信号に変換する光電変換を行い、変換した電気信号をＡＤ１０３へ入力する。ＡＤ１０３は、入力された電気信号をデジタル映像データへ変換し、イメージプロセッサ１０４へ入力する。
【００１１】
（LPDDR２（Low Power DDR2））１０５は、システム全体で処理するデータを一時保存するメモリであり、温度センサを内蔵する。（LPDDR2）１０５は、イメージプロセッサ１０４の外部で接続されている。
【００１２】
次に、イメージプロセッサ１０４の内部の構成について説明する。
ＡＤ１０３からの入力は、まずカメラ信号処理部１０４＿０１へ入力され、ノイズ除去、キズ補正、現像処理等の処理が行われる。
静止画リサイズ部１０４＿０２は、カメラ信号処理後の映像データを記録用にリサイズし、静止画符号化部１０４＿０３に出力する。
【００１３】
静止画符号化部１０４＿０３は、入力された映像データを圧縮符号化して（メディアＩＦ１）１０４＿０６経由で出力する。符号化方式は、例えばＪＰＥＧ方式である。出力された映像データは、記録媒体（図示せず）に記録される。また、静止画リサイズ部１０４＿０２では、表示用にもリサイズされ、（VIDEO IF）１０４＿０７経由で撮影時の表示用に出力される。
【００１４】
動画リサイズ部１０４＿０４は、カメラ信号処理後の映像データを符号化用にリサイズし、動画符号化部１０４＿０５に出力する。
動画符号化部１０４＿０５は、入力された映像データを圧縮符号化し、（メディアＩＦ２）１０４＿０８経由で出力し、記録媒体（図示せず）に記録される。符号化方式は、例えばＨ．２６４／ＡＶＣであり、特にフレーム間予測（動き補償）の符号化処理を含む。また、動画リサイズ部１０４＿０４では、映像データを表示用にもリサイズ処理する。リサイズ処理された映像データは、（VIDEO IF）１０４＿０７経由で撮影時の表示用に出力される。
【００１５】
各処理過程の映像データは、ＤＤＲコントローラ１０４＿１０経由で（LPDDR2）１０５に入力され、（LPDDR2）１０５で一旦保持される。
ＤＤＲコントローラ１０４＿１０は、所定周期で（LPDDR2）１０５の温度情報を読み出して温度計測した温度情報をシステム制御部１０４＿０９へ供給する。システム制御部１０４＿０９は温度情報に基づき、動画符号化部１０４＿０５が符号化処理する際の制御パラメータを適応的に制御する。システム制御部１０４＿０９は、図示しないＣＰＵ、ＲＯＭ及びＲＡＭよりなるコンピュータシステムを有し、イメージプロセッサ１０４を構成する各ブロックの制御も行う。
【００１６】
図２は、イメージプロセッサ１０４の動作率と、イメージプロセッサ１０４とＤＤＲ（（LPDDR2）１０５）双方の温度依存性を示している図である。例えば、高解像度動画（フルＨＤ／６０p）、高解像度静止画連写(２０M pixel/ ８コマ/s)で撮影時等は動作率が高い。ＤＤＲがプロセッサの上に積層されていれば、プロセッサ動作率に連動して、ＤＤＲの温度も上昇していく。Temp６は、イメージプロセッサ動作保証上限時のＤＤＲ温度である。
【００１７】
ＤＤＲからは、ＤＤＲコントローラ１０４＿１０を介して、以下のレベルを読み出すことができる。
（イ）Level０：Temp０以下（ＮＧ）。
（ロ）Level１：Temp０〜Temp１。
（ハ）Level２：Temp１〜Temp２。
（ニ）Level３：Temp２〜Temp３。
（ホ）Level４：Temp３〜Temp４→リフレッシュコマンド周期１/４にしないと正常動作しない。
（ヘ）Level５：Temp４〜Temp５→上記＋コマンド間隔を広げないと正常動作しない。
（ト）Level６：Temp５以上（ＮＧ）。
【００１８】
動作率がMV０〜MV１、もしくはMV１〜MV２では、コマンド発行形態を変えてやれば正常動作するが、ＤＲＡＭの処理帯域が低減する。またMV２〜MV３ではイメージプロセッサは動作保証できるものの、ＤＤＲが上限を超えておりシステムとして正常に動作しない領域である。
【００１９】
図３は、符号化処理の処理帯域の時間的な遷移を示す図である。
図３に示すように、フレーム周期ごとに処理するフレームのピクチャタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）が切り替わる。必要な処理帯域は大きい順でＢ→Ｐ→Ｉである。図３中の縦軸のRate０は、DDRスペックとしての処理帯域である。例えば、データバス３２ビットで、クロック周波数４００ＭＨｚであれば、３，２００MByte/sである。
【００２０】
Rate１は、実効的な処理帯域値である。コマンド発行シーケンスがデータ転送期間に割り込むのでスペック値から低減する。低減率はバースト長やリード・ライト並びにより異なる。
【００２１】
Rate２は、読み出されるＤＤＲ温度レベルが図２のレベル４である場合に、リフレッシュコマンド周期を短くすることにより低減した値である。また、Rate３は、読み出されるＤＤＲ温度レベルが図２のレベル５である場合に、さらにデータ転送コマンドの発行周期が長くなることにより低減した値である。特に、Ｂ/Ｐピクチャの低減により処理可能帯域を処理帯域が超える可能性がある。このオーバーする帯域を符号化パラメータで制御する必要がある。本実施形態においては、発行周期が長くなることにより低減する処理可能帯域に応じて、動き検出での領域参照パラメータをフレームごとに決定する。
【００２２】
図４は、動き検出処理時の符号化パラメータ制御について詳細に示す図である。
動き検出処理には、フレーム間での予測対象マクロブロックに対して、予測対象となるマクロブロックをサーチする処理が含まれる。このサーチ処理は、参照フレーム内を広範囲で粗くサーチするサーチ１と、サーチ１で絞った領域を検出枠のサイズを低減して詳細に探索するサーチ２というフェーズからなる。
【００２３】
図４において、４０１は参照フレーム画像である。HSIZE×VSIZEの画角の中の１つのマクロブロック(HSIZE＿MB×VSIZE＿MB)を示している。
４０２は、マクロブロックを拡大したものである。動き予測は、マクロブロックをさらにHNUM＿MB×VNUM＿MBに分割してそれぞれ実行できる。分割数は多ければサーチ１、サーチ２の処理が分割した数だけ発生するのでメモリアクセス帯域も増大する。
【００２４】
４０３は、サーチ１の画像を示している。サーチ１では、参照フレーム４０１より低い解像度(HSIZE１＿ALL×VSIZE１＿ALL)で読み出す。そして、その中のサーチ枠(HSIZE１＿SRCH×VSIZE１＿SRCH)の中から、サーチ２のサーチ枠(HSIZE１＿DET×VSIZE１＿DET)を検出する。
４０４はサーチ２のフレームである。４０３で検出された画角を４０１と同一解像度で読み出し、その枠(HSIZE２＿SRCH×VSIZE２＿SRCH)の中で動き検出対象マクロブロックを決定する。
【００２５】
図５は、第１の実施形態の撮像装置が実行する符号化パラメータ制御処理の一例を説明するフローチャートである。このフローチャートは、システム制御部１０４＿０９が有するＲＯＭに格納されているプログラムをＲＡＭに展開し、ＣＰＵが実行することにより実現される。
パワーオン（Ｓ５０１）後、記録開始（Ｓ５０２）を検出し、メモリ温度読み出しを行い（Ｓ５０３）、温度情報初期設定を行う。
フレーム同期を検出したか否かを判別し（Ｓ５０４）、フレーム同期を検出したら、フレームデータを（LPDDR2）１０５に保持する（Ｓ５０５）。
次に、マクロブロック切り出しを行い（Ｓ５０６）、１フレーム周期内で全マクロブロックの処理を行う。
次に、ピクチャタイプがＩピクチャか否かを判別し（Ｓ５０７）、ＩピクチャであればＤＣＴ処理（Ｓ５０８）、量子化処理（Ｓ５０９）、可変長符号化処理（Ｓ５１０）を行い、ストリームを生成する。
【００２６】
Ｓ５０７の判別の結果、Ｉピクチャでない場合は、Ｐピクチャか否かを判別（Ｓ５２０）する。そして、Ｐピクチャであれば、次に温度レベルが図２のLevel５であるか否かを判別する（Ｓ５２１）。レベル５でなければ、符号化パラメータ０を設定し（Ｓ５２３）、レベル５であれば符号化パラメータ１を設定する（Ｓ５２４）。
【００２７】
Ｐでない場合はＢピクチャなので、次に、図２のLevel４かLevel５かそれ以外かの判別をし（Ｓ５３０、５４０)、Level５であればパラメータ３（Ｓ５４２）を設定し、Level４であればパラメータ２（Ｓ５４１）を設定する。また、それ以外であればパラメータ０（Ｓ５３１）を設定する。
【００２８】
ＢもしくはＰピクチャの場合、前述したシーケンスで設定されたパラメータに基づき、広範囲で粗くサーチするサーチ１（Ｓ５５０）、サーチ１で絞った領域を詳細に探索するサーチ２（Ｓ５５１）、動き検出処理（Ｓ５５２）を行う。その後、ＤＣＴ処理（Ｓ５０８）、量子化処理（Ｓ５０９）、可変長符号化処理（Ｓ５１０）を行い、ストリームを生成する。
【００２９】
ストリーム生成後、温度情報更新周期に達したか否かを判別する（Ｓ５１１）。達した場合には、メモリ温度読み出しを行い温度情報を更新し（Ｓ５１２）、フレーム同期（Ｓ５１３）を待って、次のフレーム処理に入る。Ｓ５１１の判別で温度情報更新周期に達していない場合にはＳ５１２を経由することなくＳ５１３に進む。
【００３０】
図６は、図５で記載したパラメータ０〜３の設定値の一例を示す図である。パラメータ０→パラメータ１→パラメータ２→パラメータ３の順で必要処理帯域は低減される。
【００３１】
＜第２の実施形態＞
第２の実施形態において、撮像装置の構成は前述した第１の実施形態の撮像装置を説明する図１と同様である。また、イメージプロセッサの動作率と、イメージプロセッサとＤＤＲ双方の温度依存性を示している図２、及び動き検出処理のサーチについて詳細を示す図４も第１の実施形態で説明したので詳細な説明を省略する。
【００３２】
図７は、第２の実施形態の撮像装置が実行する符号化処理の一例を説明するフローチャートを示している。
パワーオン（Ｓ７０１）後、記録開始（Ｓ７０２）を検出し、メモリ温度読み出し（Ｓ７０３）を行い、温度情報初期設定を行う。フレーム同期検出（Ｓ７０４）後、フレームデータを保持し（Ｓ７０５）、マクロブロック切り出しを行い（Ｓ７０６）、１フレーム周期内で全マクロブロックの処理を行う。ピクチャタイプがＩピクチャか否かを判別し（Ｓ７０７）、ＩピクチャであればＤＣＴ処理（Ｓ７０８）、量子化処理（Ｓ７０９）、可変長符号化処理（Ｓ７１０）を行い、ストリームを生成する。
【００３３】
Ｓ７０７の判別でＩピクチャでない場合、温度レベルが図２のLevel４もしくはLevel５であるか否かを判別する（Ｓ７２０）。Level４もしくはLevel５であればＩピクチャにピクチャタイプを変更して処理する（Ｓ７２１）。
【００３４】
一方、Level４/Level５以外であれば広範囲で粗くサーチするサーチ１（Ｓ７５０）、サーチ１で絞った領域を詳細に探索するサーチ２（Ｓ７５１）、動き検出処理（Ｓ７５２）を順次行う。
【００３５】
次に、ＤＣＴ処理（Ｓ７０８）、量子化処理（Ｓ７０９）、可変長符号化処理（Ｓ７１０）を順次行ってストリームを生成する。ストリーム生成後、温度情報更新周期に達したか否かを判別する（Ｓ７１１）。達した場合には、メモリ温度読み出しを行い温度情報を更新し（Ｓ７１２）、フレーム同期（Ｓ７１３）を待って、次のフレーム処理に入る。Ｓ７１１の判別で温度情報更新周期に達していない場合にはＳ７１２を経由することなくＳ７１３に進む。
【００３６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３７】
１０１  レンズ
１０２  センサ
１０３  ＡＤ
１０４  イメージプロセッサ
１０４＿０１  カメラ信号処理部
１０４＿０２  静止画リサイズ部
１０４＿０３  静止画符号化部
１０４＿０４  動画リサイズ部
１０４＿０５  動画符号化部
１０４＿０６  メディアＩＦ１
１０４＿０７  ＶＩＤＥＯ  ＩＦ
１０４＿０８  メディアＩＦ２
１０４＿０９  システム制御部
１０４＿１０  ＤＤＲコントローラ
１０５  ＬＰＤＤＲ２
【図１】
2014216720.tif 000003
【図２】
2014216720.tif 000004
【図３】
2014216720.tif 000005
【図４】
2014216720.tif 000006
【図５】
2014216720.tif 000007
【図６】
2014216720.tif 000008
【図７】
2014216720.tif 000009