(57)【要約】      （修正有）【課題】動画や静止画を処理する場合に使用するメモリの領域を削減する画像処理装置を提供する。【解決手段】画像を保存するフレームを複数持つフレームメモリと、画像データを入力する手段と、入力した画像データをフレームメモリの第一のフレームに格納する記憶手段と、記憶手段に格納された画像を読み出し、画像の解像度を変換する解像度変換手段と、解像度が変換された画像をフレームメモリ内の第二のフレームに書き出す手段を有する。読み出す画像および書き出す画像を水平方向に複数の領域に分割し、順次解像度変換処理を行うときに、第一のフレームと第二のフレームの領域を一部重ねて使用するときに、書き出す画像と読み出す画像のまだ読み込んでいない領域がフレームメモリ上で同じにならないように第一と第二のフレームをフレームメモリ上に配置し、解像度変換する。【選択図】図１
2016009957.tif 000002
【特許請求の範囲】
【請求項１】
画像を保存するフレームを複数持つフレームメモリと、
画像データを入力する手段と、
入力した画像データを前記フレームメモリの第一のフレームに格納する記憶手段と、
前記記憶手段に格納された画像を読み出し、画像の解像度を変換する解像度変換手段と、解像度が変換された画像を前記フレームメモリ内の第二のフレームに書き出す手段を有し、
読み出す画像および書き出す画像を水平方向に複数の領域に分割し、順次解像度変換処理を行うときに、第一のフレームと第二のフレームの領域を一部重ねて使用するときに、書き出す画像と読み出す画像のまだ読み込んでいない領域がフレームメモリ上で同じにならないように第一と第二のフレームをフレームメモリ上に配置し、解像度変換することを特徴とする画像処理装置。
【請求項２】
第一のフレームと第二のフレームの水平方向サイズを同じにするステップと、読み出す画像の垂直方向のサイズと書き出す画像の垂直方向サイズの差を算出するステップと、水平方向にｎ分割した画像のうち書き出す画像のｎ−１番目の領域が読み出す画像のｎ番目の画像と水平方向の位置が重ならないように配置することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記読み出す画像と書き出す画像の垂直方向サイズを取得する手段と、前記読み出す画像と書き出す画像の前記フレームメモリ上のアドレスを取得する手段を有し、前記読み出す画像と書き出す画像の垂直方向サイズと、前記第一のフレームと前記第二のフレームの配置を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
動画像を撮影中に静止画像の同時撮影を行うときに前記第一のフレームを動画像ストリームに記録するときには第一のフレームの画像が動画ストリームに記録されてから解像度変換処理を行うことを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
ビデオカメラやデジタルカメラで撮影した画像を処理するための中間バッファとして主にＤＲＡＭが用いられている。近年多画素化が進んでいるためにＤＲＡＭの使用容量は増えている傾向にある。ＤＲＡＭの価格は一般的には容量が大きいほど高価である。そのためメモリの領域を効率よく利用し、小さい容量のＤＲＡＭを使用して製品を設計することはコスト面において重要なことである。
【０００３】
このような課題に対して従来、書込みアドレスが読込みアドレスを追い越さない様にメモリの配置をしようとする試みがある。また、画像処理の入出力画像を格納するバッファを一部兼用し入出力の領域を重ね合わせて使用することにより、容量を削減する試みがある。例えばバッファに格納した非圧縮画像データをＪＰＥＧ等に圧縮し、圧縮画像データとしてバッファに書き戻すような画像処理装置において、画像の圧縮率を設定し、非圧縮画像データのバッファ領域と圧縮画像データのバッファ領域を重ね合わせ、メモリ使用容量を削減しようとする試みがある（特許文献１）。
【０００４】
また、一般的に専用のハードウェアを用いた解像度変換処理をおこなうときにはラインメモリをバッファとして使用し、解像度変換を行う。近年多画素化が進んでいるため、解像度変換処理で扱う画像の画素数は多くなる傾向にある。ラインメモリの容量を越える水平方向の画素数の画像を処理するときには画像を複数の領域に分割して複数回に処理を分け、順次解像度変換を行う必要がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１７６４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１によると予め画像データ圧縮率とバッファの重ね合わせる量が設定されており、圧縮が十分に出来ず出力データが入力データを上書きしてしまいそうなときには圧縮率を高めて上書きしないようにしている。そのため出力データのサイズに応じた重ね合わせ量を決定できない。
また、拡大倍率に応じて入出力データの格納されている領域を重ね合わせることは可能であるが以下のような問題がある。
【０００７】
水平方向の画素数がラインメモリの容量をこえる画素数への解像度変換を行うときには画像を複数の領域に分割して複数回に分けて解像度変換をおこなう。
【０００８】
そのような場合、単純に倍率のみで入力と出力のアドレスを決定し、メモリの重ねあわせを行うと複数に分割した領域のうち、まだ読み込んでいない領域に対して書きみを行ってしまい、メモリの重ね合わせる量を最適にすることができない。
【０００９】
本発明は、動画や静止画を処理する場合に使用するメモリの領域を削減することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置の構成は、画像を保存するフレームを複数持つフレームメモリと、画像データを入力する手段と、入力した画像データを前記フレームメモリの第一のフレームに格納する記憶手段と、前記記憶手段に格納された画像を読み出し、画像の解像度を変換する解像度変換手段と、解像度が変換された画像を前記フレームメモリ内の第二のフレームに書き出す手段を有し、読み出す画像および書き出す画像を水平方向に複数の領域に分割し、順次解像度変換処理を行うときに、第一のフレームと第二のフレームの領域を一部重ねて使用するときに、書き出す画像と読み出す画像のまだ読み込んでいない領域がフレームメモリ上で同じにならないように第一と第二のフレームをフレームメモリ上に配置し、解像度変換することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、複数の領域に分割して解像度変換を行うときにでも入力フレームと出力フレームを重ね合わせる量を最大限にすることが可能になり、使用メモリの領域を削減するという効果が得られる。
【図面の簡単な説明】
【００１２】
【図１】撮像装置の構成を示す図である。
【図２】解像度変換部の構成を示す図である。
【図３】フレームメモリの構成を示す図である。
【図４】解像度変換処理のフローチャートである。
【図５】入出力フレームアドレスの算出処理のフローチャートである。
【図６】動画撮影時のフレームメモリの状態を示す図である。
【図７】動画撮影中の静止画記録時のフレームメモリの状態を示す図である。
【図８】フレームメモリの入出力フレームの関係を示す図である。
【図９】フレームメモリの入出力フレームの配置を示す図である。
【図１０】解像度変換倍率が変わったときのフレームメモリの状態を示す図である。
【発明を実施するための形態】
【００１３】
本発明は、ビデオカメラ、デジタルスチルカメラ、携帯電話などの画像の解像度変換を行う機器に対して適用が可能である。
【００１４】
（実施例）
図1は本発明を適用した静止画像や動画像を記録する手段を持ったデジタルビデオカメラ１００の構成例を示したものである。
【００１５】
ビデオカメラ１００の構成について説明する。デジタルビデオカメラ１００はレンズユニット１０１、撮像センサ１０２、アナログフロントエンド（以下ＡＦＥ）１０３、画像入力部１０４、システム制御部１０５、操作部１０６、解像度変換部１０７、出力部１０８を備える。さらに、ＲＯＭ１０９、ＲＡＭ１１０、フレームメモリ１１１、解像度変換部１１２、静止画符号化部１１３、記録媒体制御部１１４、記録媒体１１５、内部バス１１６を備える。
【００１６】
レンズユニット１０１は、集光のための固定レンズ群、変倍レンズ群、絞り、変倍レンズ群の動きで移動した結像位置を補正する機能と焦点調節を行う機能とを兼ね備えた補正レンズ群により構成される撮像センサ１０２はレンズユニット１０１により結像された光学像を電気信号に変換する。ＡＦＥ１０３は撮像センサ１０２を駆動して画像信号を読み出し、画像信号のサンプル・ホールドと増幅、デジタル信号への変換を行う。
【００１７】
画像入力部１０４はＡＦＥ１０３から入力された画像信号に対して色変換処理を行い、ＹＣＣ（４：２：２）画像データへ変換を行う。システム制御部１０５は、内部バス１１６を介してＲＡＭ１１０、ＲＯＭ１０９およびその他のブロックに接続され、各ブロックの制御を行う。
【００１８】
操作部１０６はズームレバーやボタンなどに対するユーザ操作の入力内容を伝え、システム制御部１０５はユーザの指示に応じて、各種処理を行う。解像度変換部１０７はシステム制御部１０５からの指示により、フレームメモリ１１１の所望の位置から読込んだ画像データに対し、解像度変換を行い、出力部１０８へ出力する。
【００１９】
出力部１０８は解像度変換部１０７より入力された画像データを出力する。ＲＯＭ１０９はシステム制御部１０５が各ブロックを制御するための制御プログラムが格納されている。ＲＡＭ１１０にはシステム制御部１０５が動作時の一時的なデータの格納場所として用いられる。
【００２０】
フレームメモリ１１１は複数のフレームからなるメモリで各々のフレームはシステム制御部１０５によりメモリ上の所望の位置に配置することが可能であり、1フレーム分の画像データを格納するのに用いられる。各々のフレームはフレームメモリ１１１の同じ領域を占めることも可能である。また、各々のフレームはシステム制御部１０５により所望のサイズにすることが可能である。各々のフレームのアドレスとサイズは動的に変更することも可能であり、動画の記録と再生とでは切り替えて使用することも可能である。
【００２１】
解像度変換部１１２は主に静止画撮影のときに用いられ、フレームメモリ１１１に格納された画像データを読み込み、システム制御部１０５から指示されたサイズへ解像度変換を行ったのちにフレームメモリ１１１へ書き戻される。
【００２２】
静止画符号化部１１３はフレームメモリ１１１に格納されている画像データをシステム制御部１０５からの指示された目標圧縮率に合わせて符号化を行い、符号化された静止画データとしてフレームメモリ１１１に保持される。
【００２３】
記録媒体制御部１１４はシステム制御部１０５の指示によりフレームメモリ１１１に格納されたデータを管理情報とともに記録媒体１１５へ書き込む。
【００２４】
記録媒体１１５は着脱可能な記録媒体である。ＭＭＣ、ＳＤ、コンパクトフラッシュ、ＰＣカードなどのメモリカード、あるいはハードディスク、ＣＤ−ＲＷ、ＤＶＤ−Ｒ／ＲＷ、ＭＤなどの光（あるいは光磁気）記録メディアなどが考えられる。
【００２５】
次に解像度変換部１０７、１１２の構成について図２を用いて説明する。解像度変換部１０７，１１２の構成は同じである。解像度変換部はズーム制御部２０１、メモリインターフェイス２０２、ラインメモリ２０３、水平ズーム部２０４、垂直ズーム部２０５を備える。
【００２６】
ズーム制御部２０１はシステム制御１０５からの指示により、解像度変換の開始、終了タイミングの制御やメモリインターフェイス２０２、ラインメモリ２０３、水平ズーム部２０４、垂直ズーム部２０５の制御を行う。ズーム制御部２０１は、システム制御部１０５から入力画像、出力画像を格納するフレームメモリ１１１内のフレームのアドレス、フレーム内の読込みと書込み位置、入出力画像の水平、垂直方向の解像度、ズーム倍率を指示される。ズーム制御部２０１は水平ズーム部２０４と垂直ズーム部２０５に対してズーム倍率の指示をだす。また、ズーム制御部２０１はメモリインターフェイスに対し、入出力画像のフレームのアドレスやフレーム内の読込みと書込み位置を指示する。
【００２７】
メモリインターフェイス２０２はフレームメモリ１１１、出力部１０８とのインターフェイスになっている。ズーム制御部２０１の指示により、画像データの読込み、および書込み制御が行われる。
【００２８】
ラインメモリ２０３は画像データの水平方向のデータを所定量格納することができる。一度の処理で出力する画像データの水平方向の最大解像度はこのラインメモリ２０３のサイズにより決定する。
【００２９】
水平ズーム部２０４は水平方向の解像度変換を行う。入力データの複数点を用いて線形補間、双三次補間（Ｂｉ-Ｃｕｂｉｃ）などの補間処理を行ったものを出力する。
【００３０】
垂直ズーム部２０５は垂直方向の解像度変換を行う。内部にはラインメモリが複数備わっており、水平方向と同様に入力データの複数点を用いて線形補間、双三次補間（Ｂｉ-Ｃｕｂｉｃ）などの補間処理を行ったものを出力する。
【００３１】
次に解像度変換部１０７、１１２による解像度変換処理について説明する。システム制御部１０５はＲＯＭ１０９から解像度変換部１０７．１１２へ入力する画像と出力する画像の解像度などズーム処理に必要なデータを読み込み、ズーム制御部２０１へ指示を出す。ズーム制御部２０１の指示によりメモリインターフェイス２０２はフレームメモリ１１１から画像の水平方向のデータを数画素読込み水平ズーム部２０４へ入力する。入力されたデータは水平ズーム部２０４によって出力する水平方向の解像度に変換され、ラインメモリ２０３へ格納される。ラインメモリ２０３に格納されたデータはズーム制御部２０１の指示により垂直ズーム部２０５に入力される。垂直ズーム部２０５内部のラインメモリに複数ライン読み込まれた後、出力する垂直方向の解像度に変換される。変換されたデータはメモリインターフェイス２０２によりフレームメモリ１１１に書き戻される。
【００３２】
次に出力する画像の水平方向の解像度がラインメモリのサイズより大きいときの動作について説明する。最初に図３を用いてフレームメモリの構成と入出力の画像のサイズについて説明する。
【００３３】
入力画像のサイズが水平１６００画素、垂直９００画素としてフレームメモリ１１１のフレーム３０３に格納されていて、出力する画像のサイズが水平１９２０画素、垂直１０８０画素とし、フレーム３０４に格納されているものとする。ラインメモリのサイズは６４０画素のデータを格納できるものとする。フレーム３０３のサイズは水平１６００画素、垂直９００画素の画像が格納できるものになっており、フレーム３０４のサイズは水平１９２０画素、垂直１０８０画素の画像が格納できるものになっている。
【００３４】
次に処理の流れを図４のフローチャートを用いて説明する。
【００３５】
ＳＴＥＰ：Ｓ４０１  水平方向の解像度はラインメモリに収まる量である
解像度変換処理を行うときにシステム制御部１０５は出力画像のサイズを取得し、ラインメモリ２０３のサイズが出力画像の水平方向のサイズより小さいかどうかの判断を行う。
【００３６】
ＳＴＥＰ：Ｓ４０２  解像度変換処理
もし、ラインメモリのサイズが出力画像のサイズより小さいときには水平方向へ領域を分割せずに解像度変換処理を行う。
【００３７】
ＳＴＥＰ：Ｓ４０３  水平方向へ分割
システム制御部１０５はＳ４０１で出力画像の水平サイズがラインメモリ２０３のサイズより大きいときには水平方向に複数の領域に分割を行う。今回の例では出力画像の水平サイズが１９２０画素、ラインメモリのサイズが６４０であるので１９２０を６４０で割ると３となる。よって図３の（ｂ）、（ｃ）に示すようにフレームメモリを３つの領域に分割し、出力が６４０画素となるリサイズを３回行い、１９２０画素の画像を出力することになる。
【００３８】
ＳＴＥＰ：Ｓ４０４  最初の領域を指定
次に最初に処理を行う領域を指定する。今回は複数に分けた領域のうち左の領域から順次解像度変換処理を行うものとする。入力フレーム３０３の領域３０３１を入力画像の領域、出力フレーム３０４の領域３０４１を出力画像の格納先とする。
【００３９】
ＳＴＥＰ：Ｓ４０５  解像度変化処理
解像度変換部１０７，１１２はシステム制御部１０５の指示によりＳ４０４で決定した領域に対して上述の解像度変換処理を行う。
【００４０】
ＳＴＥＰ：Ｓ４０６  すべての領域を変換したか？
システム制御部４０５入力画像におけるすべての領域の解像度変換処理が完了したかの判断を行う。すべての領域の解像度変換処理が完了したら解像度変換処理は終了とする。
【００４１】
ＳＴＥＰ：Ｓ４０７  次の領域を指定
Ｓ４０６ですべての領域のズーム処理が完了していないときにはまだ解像度変換処理を行っていない領域を選択し、解像度変換部の入力、出力とする。
【００４２】
以上のように処理を行うことによって出力画像の水平方向の解像度がラインメモリのサイズより大きくても解像度変換処理が可能である。
【００４３】
次に本発明による解像度変換処理時の入力フレームと出力フレームの配置方法について図５のフローチャートを用いて説明する。
【００４４】
ＳＴＥＰ：Ｓ５０１  画像解像度の取得
まずシステム制御部１０５は解像度変換部１０７，１１２で出力する画像の解像度を取得する。出力する画像の解像度はユーザによって操作部１０６より指示されるか、動画撮影や静止画撮影などの動作モードによって決定される解像度がＲＯＭ１０９に格納されている。
【００４５】
ＳＴＥＰ：Ｓ５０２  出力画像の水平解像度はラインメモリの容量より大きい
システム制御部１０５は出力する画像の水平方向の解像度がラインメモリの容量より大きいかの判断を行う。
【００４６】
ＳＴＥＰ：Ｓ５０３  フレームメモリの水平方向のサイズ合わせ
Ｓ５０２で出力する画像の水平方向の解像度がラインメモリの容量より大きかったときの処理である。出力する画像の水平方向の解像度が大きかったときには水平方向に領域を分割し、複数回に分けて解像度変換処理を行う必要がある。
【００４７】
以下、図４のフローチャートの説明に用いた条件と同じ解像度変換処理として説明する。入力画像のサイズが水平１６００画素、垂直９００画素としてフレームメモリ１１１のフレーム３０３に格納されていて、出力する画像のサイズが水平１９２０画素、垂直１０８０画素とし、フレーム３０４に格納するものとする。ラインメモリのサイズは６４０画素のデータを格納できるものとする。フレーム３０３のサイズは水平１６００画素、垂直９００画素の画像が格納できるものになっており、フレーム３０４のサイズは水平１９２０画素、垂直１０８０画素の画像が格納できるものになっている。
【００４８】
入出力フレームの位置関係を図８に示す。上の帯は図３のフレーム３０３をあらわしており入力フレームである。下の帯は図３のフレーム３０４をあらわしており、出力フレームである。横方向に行くほどアドレスが増加するようになっており、所定量ごとに領域が分割されている。
【００４９】
ここで入出力フレームの開始アドレスを同じにしたとする。領域３０３１を読み込み解像度変換を行い、領域３０４１に書き込んだとすると、まだ読み込んでいない領域３０３２を上書きしてしまうことになる（図８（ａ））。入力フレームか出力フレームのアドレスをずらすことにより最初の領域３０３２を上書きすることはなくなるがそれ以降で領域３０３１〜３０３３のいずれかの領域が上書きされることになる。これは領域３０３１〜３０３３と領域３０４１〜３０４３が繰り返す周期が異なるためにおこっている。
【００５０】
そこで周期の大きな方に周期が小さいほうをあわせる必要がある。今回の例だと入力フレームであるフレーム３０３の水平方向のサイズが小さいので、フレーム３０３の水平方向のサイズを大きくし、１９２０画素のデータを格納できるようにする（図８（ｂ））。水平方向のサイズを合わせた後に入力フレームであるフレーム３０３のアドレスを変更することによって出力フレームのデータによって入力フレームのまだ読み込んでいない領域を上書きしないところに移動することが可能となる（図８（ｃ））。具体的には複数に分割した領域のうち入力フレームの最終領域（ここでは領域３０３３）の開始アドレスが出力フレームの最終領域（ここでは領域３０４３）の開始アドレスより大きい必要がある。さらに入力フレームの最終領域（ここでは領域３０３３）の終了アドレスが出力フレームの最初の領域（ここでは領域３０４１）の開始アドレスより小さくある必要がある。
【００５１】
ここでは拡大を例にとって説明したが縮小のときにも拡大時と同様の方法で水平方向のサイズが小さいフレームを大きなフレームにあわせ、解像度変換の出力データでまだ読み込んでいない入力データを上書きしないようにすればよい。
【００５２】
ＳＴＥＰ：Ｓ５０４  入出力フレームのアドレス算出
Ｓ５０３では水平方向のデータが上書きされないようなアドレスの算出を行った。このステップでは垂直方向の解像度変換が行われたときのアドレスの算出方法について説明を行う。
【００５３】
図９を用いて入出力のアドレスの重ね合わせ可能な量について説明する。解像度変換処理の条件はＳ５０３のものと同じものを使用する。また解像度変換部１０７，１１２の垂直ズーム部２０５が垂直方向の解像度変換で前後２ラインのデータから補間演算を行うものとする。
【００５４】
垂直方向に拡大すると入力データより出力するデータの方が多くなり、入出力フレームのアドレスを同じにすると解像度変換処理の出力データによりまだ読み込んでいない入力フレームのデータが上書きされることになる。
【００５５】
入力フレームの終了アドレスが出力フレームの終了アドレスより大きくなるように配置にすれば入力フレームの読み込んでいない領域を破壊することはない。
【００５６】
図９（ａ）を用いて説明する。今回の例だと入力フレームの開始アドレスを以下のように設定すればよい。入力フレームの画像の垂直ライン数が９００、出力フレームの画像の垂直ライン数が１０８０である。入出力フレームの水平方向のサイズはＳ５０３で同じになる。よって入力フレームの開始アドレスを出力フレームの開始アドレスから１８０ラインより大きいオフセットを付けたところに配置すればよい。１８０ライン分のオフセットの時がもっとも重ね合わせの量を最大にすることが出来る。
【００５７】
垂直方向に縮小すると入力データの方が出力するデータより少ないので入力データを上書きすることがない。図９（ｂ）に示すように入力フレームと出力フレームの開始アドレスを同じすることができる。
【００５８】
ＳＴＥＰ：Ｓ５０５  入出力フレームのアドレス設定
システム制御部１０５は前工程で算出した入力フレームと出力フレームのアドレスを設定する。
【００５９】
ＳＴＥＰ：Ｓ５０６  入出力フレームのアドレス算出
出力画像の水平方向の解像度がラインメモリの容量より小さかった時の処理である。ラインメモリの容量より小さいため解像度変換処理の際、水平方向に領域を分割する必要がない。入力フレームの終了アドレスが出力フレームの終了アドレスより大きくなるように配置にすれば入力フレームの読み込んでいない領域を破壊することはない。
【００６０】
上記、フローチャートにしたがってフレームの重ねあわせを行うとフレーム３０３とフレーム３０４の関係は図１０（ａ）のようになる。ここで図１０（ｂ）のように解像度変換部１０７、１１２に解像度変換倍率の変更があり、入力フレーム３０３から入力する画像のサイズが小さくなったとする。さらに出力画像のサイズは変わらないとしたときは、複数の領域に分割して解像度変換処理を行う必要がある。入力画像の水平サイズが変わると領域３０３１〜３０３３のアドレスが変わる。領域３０３１〜３０３３までの領域を順次読込み、解像度変換処理を行い、領域３０４１〜３０４３へ書き込んでいく。領域３０３２から領域３０４２への解像度変換を行うときにまだ読み込んでいない領域３０３３を上書きしてしまう。
【００６１】
そこで入力フレームのサイズと入力画像のサイズが異なるときには図１０（ｃ）のように入出力フレームの配置をしなおす必要がある。入力画像の水平方向および垂直方向の終了アドレスと出力フレームの水平方向および垂直方向の終了アドレスをそろえることによって入力画像のまだ読み込んでいない領域を出力画像が上書きすることは無くなる。解像度変換倍率が変わったときでも上記方法を用いることにより図１０（ｄ）の斜線部分の領域であるフレームの水平方向のサイズに入力する画像の垂直方向のサイズをかけた分だけのメモリ要領の節約を行うことができる。本発明によるメモリの配置方法でメモリの配置をすることにより、メモリの空き容量が増え、ＪＰＥＧなどの符号化画像データを格納しておく領域が増える。その結果、動画撮影時の静止画同時記録を行うときに、静止画同時記録の連写枚数を増やすことが可能である。また、ここでは解像度変換処理をするごとに入出力フレームの配置方法の決定を行っている。しかし、解像度変換倍率が予め明らかになっているようなシステムであれば予め上記フローチャートにより入出力フレームのアドレスを決定することによって最小限のＤＲＡＭを搭載したシステムの構築が可能である。
【００６２】
次に動画撮影時の説明を図１のブロック図と図６を用いて行う。動画撮影時は、レンズユニット１０１を透過した光は、撮像センサ１０２の撮像面上に結像し、撮像面の光学像が所定時間ごとに電気信号に変換される。変換された電気信号はＡＦＥ１０３によりデジタル信号への変換が行われる。変換されたデジタル信号は画像入力部により、色変換処理が行われ、変換後はＹＣＣ（４：２：２）画像データとしてフレームメモリ１１１に格納される。
【００６３】
格納されたＹＣＣ画像データは解像度変換部１０７により、解像度変換処理が行われ、出力部１０８へ出力する。出力先は画像データの表示を行うモニタや、画像データを記録する画像データ記録装置などがある。
【００６４】
図６は動画撮影時の撮影データの流れとタイミングを示したものである。所定時間ごとのフレームメモリ１１１の状態を示しているものでシステム制御部１０５により時間間隔が制御される。各ブロックはこの時間間隔を基準として処理を行い、以下で説明する処理は特に説明が無ければこの時間間隔で処理が完了するものとする。
【００６５】
ある時間Ｔ１（図６）で撮像センサ１０２から取り込まれた信号は上記処理にしたがって画像データに変換されフレームメモリ１１１内のフレーム３０１に格納される。
【００６６】
次の時間Ｔ２（図６）では解像度変換部１０７により、フレーム３０１に格納された画像データを解像度変換処理し、出力部１０８へ出力する。撮像センサ１０２から取り込まれた信号は画像データに変換されフレーム３０２に格納される。
【００６７】
次の時間Ｔ３（図６）では解像度変換部１０７の入力をフレーム３０２にし、センサから取り込んだ画像をフレーム３０１に格納とし、同様の処理を行う。二つのフレームを交互に使用することによって解像度変換部１０７が画像データを読み込んでいる間にセンサから取り込んだ画像がその領域を上書きしないようにすることが出来る。
【００６８】
次に動画撮影中に静止画同時撮影を行うときの各ブロックの動作と撮影データの流れについての説明を図１と図７を用いて行う。図６同様。所定時間ごとのフレームメモリ１１１の状態を示している。フレーム３０１，フレーム３０２は各々異なるアドレスに配置してあり、各々の領域は重なっていない。フレーム３０３、フレーム３０４は本発明によるフレームメモリの配置方法を用いて配置されているため各々の領域の一部は共用している。
【００６９】
動画撮影中の同時撮影は動画撮影中に所望のタイミングで静止画を記録するものである。動画撮影中にユーザが操作部１０６により静止画撮影要求がＴ１（図７）のタイミングでされたとする。
【００７０】
Ｔ２で撮像センサ１０２から取り込まれた画像データはフレーム３０３に格納される。通常の動画撮影時はフレーム３０１と３０２を交互に使用するが静止画として記録する画像をフレームに格納するときには扱う画像サイズが大きいときには解像度変換に時間がかかる。解像度変換中にセンサ取り込み画像で上書きされないようにフレーム３０１、３０２とは異なるフレーム３０３を使用する。
【００７１】
Ｔ３でセンサから取り込んだ画像はフレーム３０１へ格納される。これ以降は新たに静止画撮影要求が無い限り、センサから取り込んだ画像は所定時間ごとに３０１，３０２に交互に格納される。フレーム３０３に格納された画像データは解像度変換部１０７により、解像度変換処理し、出力部１０８へ出力する。
【００７２】
Ｔ４で解像度変換部１０７により、フレーム３０１に格納された画像データを解像度変換処理し、出力部１０８へ出力する。解像度変換部１１２は静止画記録用の画像データの解像度変換処理を行う。フレーム３０３に格納された画像データは解像度変換部１１２より、解像度変換処理し、フレーム３０４へ格納される。
【００７３】
フレーム３０３に格納された画像のサイズは水平１６００画素、垂直９００画素としフレーム、フレーム３０４に格納された画像サイズは水平１９２０画素、垂直１０８０画素とする。ラインメモリのサイズは６４０画素のデータを格納できるものとする。フレーム３０３のサイズは水平１６００画素、垂直９００画素の画像が格納できるものになっており、フレーム３０４のサイズは水平１９２０画素、垂直１０８０画素の画像が格納できるものになっているものとする。出力画像の水平方向の解像度が１９２０でラインメモリのサイズが６４０画素までしかデータを格納できないので最低でも３回に領域を分けて解像度変換処理を実行する必要がある。
【００７４】
ここでは３回に分けて解像度変換を行うもとのとし、Ｔ４，Ｔ５，Ｔ６の期間で前述した複数領域に分割しての解像度変換処理を行う。Ｔ５，Ｔ６はＴ４と同様の処理を行う。
【００７５】
Ｔ７で静止画符号化部１１３はフレーム３０４の解像度変換処理がされた画像を読込み、システム制御部１０５からの指示された目標圧縮率に合わせて符号化を行い、符号化された静止画データとしてＲＡＭ１１０へ格納される。
【００７６】
Ｔ４で動画出力用の解像度変換部１０７と同時に静止画撮影用の解像度変換部１１２を同時に処理を行わせないのはフレーム３０４と３０５の領域が一部重なっているためである。重なっているために、解像度変換部１１２がフレーム３０４からフレーム３０５へ解像度変換処理を行うとフレーム３０４の一部が更新されてしまう。解像度変換部１０７がフレーム３０４から画像データを読み込む前に更新されてしまうと解像度変換部１１２によって書き込まれた画を読み込むことになるそのため静止画を作成するための解像度変換は出力部に入力する画像を作成したあとに作成する必要がある。
【符号の説明】
【００７７】
１００  ビデオカメラ、１０１  レンズユニット、１０２  撮像センサ、
１０３  アナログフロントエンド、１０４  画像入力部、１０５  システム制御部、
１０６  操作部、１０７  解像度変換部、１０８  出力部、１０９  ＲＯＭ１、
１１０  ＲＡＭ、１１１  フレームメモリ、１１２  解像度変換部、
１１３  静止画符号化部、１１４  記録媒体制御部、１１５  記録媒体、
１１６  内部バス
【図１】
2016009957.tif 000003
【図２】
2016009957.tif 000004
【図３】
2016009957.tif 000005
【図４】
2016009957.tif 000006
【図５】
2016009957.tif 000007
【図６】
2016009957.tif 000008
【図７】
2016009957.tif 000009
【図８】
2016009957.tif 000010
【図９】
2016009957.tif 000011
【図１０】
2016009957.tif 000012