(57)【要約】【課題】記憶容量を圧迫することなく、撮像画像の一部を他の画像で補填可能なデジタルカメラを提供する。【解決手段】デジタルカメラは、互いに異なる画角でほぼ同時に同一被写体を撮像可能な複数の撮像系２０，３０を備えている。この複数の撮像系で撮像された画像データのうち、少なくとも一つの画像データには、同時に撮像された他の画像データである関連画像データに関する情報が関連情報として付加される。記憶手段であるユーザメモリ７０には、この関連情報が付加された画像データと、当該画像データと同時に撮像された関連画像データと、が別個のデータとして記憶される。【選択図】図３
2007180730.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる画角で、同一被写体をほぼ同時に撮像する複数の撮像系と、
複数の撮像系での撮像で得られた複数の画像データの少なくとも一つに、同時に撮像された他の画像データである関連画像データとの関連付けを示す関連情報を付加する関連付け手段と、
関連情報が付加された画像データおよび関連画像データを別個のデータとして記憶する記憶手段と、
を備えることを特徴とするデジタルカメラ。
【請求項２】
請求項１に記載のデジタルカメラであって、
関連情報は、関連画像データのファイル名を含むことを特徴とするデジタルカメラ。
【請求項３】
請求項１または２に記載のデジタルカメラであって、
関連情報は、関連画像との間で重複する像範囲の基準位置を示す座標情報を含むことを特徴とするデジタルカメラ。
【請求項４】
請求項１から３のいずれか１項に記載のデジタルカメラであって、
関連情報は、同時に撮像された複数の画像間における像の大きさの比率である倍率を含むことを特徴とするデジタルカメラ。
【請求項５】
撮像された画像の一部を、当該画像とほぼ同時に異なる画角で撮像された関連画像によって補填するために、複数の撮像系で同一被写体をほぼ同時に撮像するデジタルカメラのデータ管理方法であって、
複数の撮像系での撮像で得られた複数の画像データの少なくとも一つに、同時に撮像された他の画像データである関連画像データとの関連付けを示す関連情報を付加する工程と、
関連情報が付加された画像データおよび関連画像データを別個のデータとして記憶手段に記憶する工程と、
を含むことを特徴とするデータ管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像系を備えたデジタルカメラ、および、デジタルカメラでのデータ管理方法に関する。
【背景技術】
【０００２】
従来から、撮像された画像の一部を、他の画像データで補填する技術が知られている。こうした補填技術の一つとして、比較的低精細の画像データに、比較的高精細の画像データを合成することにより、注目部分のみ高精細な画像データを作成する技術がある。これは、例えば、人物写真などに有用な技術である。人物写真において、人物は主要被写体であり、当該人物部分はユーザの注目部分といえる。かかる人物部分は、高精細であることが望ましい。一方、人物の周囲にある背景部分は、その精細さが多少低下しても、ユーザが不満を感じることは少ない。かかる背景部分まで高精細で撮像するためには、膨大なＣＣＤ素子数が必要となり、カメラが高価格とならざるを得ない。そこで、ほぼ人物部分だけを撮像した望遠画像データと、人物および背景部分を撮像した広角画像と、を合成する技術が知られている。この場合、人物部分に割り当てられる画素数は、広角画像より望遠画像のほうが多く、人物部分に関しては望遠画像のほうが高精細といえる。そこで、広角画像における人物部分に、望遠画像における人物部分を合成することで、注目部分のみ高精細の画像が得られる。
【０００３】
かかる合成手段を備えたデジタルカメラが特許文献１に開示されている。特許文献１に記載のデジタルカメラは、望遠レンズを備えた撮像系と、広角レンズを備えた撮像系と、を備えており、両撮像系で同一被写体を異なる画角でほぼ同時に撮像できるようになっている。そして、このデジタルカメラでは、撮像により得られた広角画像および望遠画像を合成し、記憶する。
【０００４】
【特許文献１】特開２００３−２９８９１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載のデジタルカメラでは、合成後の画像を記憶しているが、合成後の画像はファイルサイズが大きいため、大容量の記憶手段が必要になるという問題がある。すなわち、通常、広角画像と望遠画像を合成する場合、望遠画像の画素数に合わせて広角画像の画素数を画素補間で増大させたうえで、画素補完後の広角画像と望遠画像とを合成する。その結果、合成後の画像データのファイルサイズは、大幅に増大することになる。
【０００６】
例えば、補間前の広角画像および望遠画像の画素数が、いずれも、横２５９２×縦１９４４画素（約５００万画素）であったとする。また、広角画像の撮像に用いた広角レンズが３５ｍｍ判換算で４８ｍｍ、望遠画像の撮像に用いた望遠レンズが３５ｍｍ判換算で９６ｍｍとする。この場合、広角画像の１画素で表現される被写界範囲は、望遠画像の４画素で表現される。例えば、所定の大きさの物体を撮像した場合、当該物体は、広角画像ではｎ画素で、望遠画像ではｎ×４画素で表現される。別の言い方をすれば、広角画像と望遠画像は１：２の縮尺比となる。
【０００７】
かかる望遠画像と広角画像を、望遠画像の画素数を落とすことなく、合成するためには、予め、広角画像を画素補間により縦横ともに２倍に拡大しておくことが必要である。具体的には、広角画像を、５１８４×３８８８画素の画像としておくことが必要である。この画素補間後の広角画像に望遠画像を合成して得られる合成画像の画素数は、約２０００万画素にもなる。
【０００８】
この合成に伴うファイルサイズの増大は、広角画像と望遠画像の焦点距離の比が大きくなるほど、顕著になる。単純に計算すれば、焦点距離の比をｎとした場合、合成画像の画素数は、合成前画像のｎ２倍となる。このような大容量の合成画像は、デジタルカメラに備えられた有限の記憶容量を大幅に圧迫することになる。
【０００９】
そこで、本発明では、記憶容量を圧迫することなく、撮像画像の一部を他の画像で補填可能なデジタルカメラ、および、デジタルカメラのデータ管理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明のデジタルカメラは、互いに異なる画角で、同一被写体をほぼ同時に撮像する複数の撮像系と、複数の撮像系での撮像で得られた複数の画像データの少なくとも一つに、同時に撮像された他の画像データである関連画像データとの関連付けを示す関連情報を付加する関連付け手段と、関連情報が付加された画像データおよび関連画像データを別個のデータとして記憶する記憶手段と、を備えることを特徴とする。
【００１１】
好適な態様では、関連情報は、関連画像データのファイル名を含む。また、関連情報は、関連画像との間で重複する像範囲の基準位置を示す座標情報を含むことも望ましい。さらに、関連情報は、同時に撮像された複数の画像間における像の大きさの比率である倍率を含むことも望ましい。
【００１２】
他の本発明であるデータ管理方法は、撮像された画像の一部を、当該画像とほぼ同時に異なる画角で撮像された関連画像によって補填するために、複数の撮像系で同一被写体をほぼ同時に撮像するデジタルカメラのデータ管理方法であって、複数の撮像系での撮像で得られた複数の画像データの少なくとも一つに、同時に撮像された他の画像データである関連画像データとの関連付けを示す関連情報を付加する工程と、関連情報が付加された画像データおよび関連画像データを別個のデータとして記憶手段に記憶する工程と、を含むことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、ほぼ同時に撮像された複数の画像がそれぞれ別個のデータとして記憶される。そのため、複数の画像を合成して記憶する従来技術に比べて、データ記憶に必要なデータサイズを低減できる。また、関連付け情報を保持しているため、適宜、同時に撮像された他の画像による補填が実行できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態について図面を参照して説明する。図１は本発明の実施形態であるデジタルカメラ１０の正面からみた斜視図であり、図２は背面からみた斜視図である。また、図３は、デジタルカメラ１０の構成を示すブロック図である。
【００１５】
このデジタルカメラ１０は、互いに独立した二つの撮像系を備えている。第一撮像系２０は、固定焦点距離の第一撮像レンズ系２１を備えており、第一撮像素子２２上に被写体像を結像する。第二撮像系３０はズームレンズである第二撮像レンズ系３１を備えており、第二撮像素子３２上に被写体像を結像する。
【００１６】
第一撮像素子２２のＣＣＤ素子数と第二撮像素子３２のＣＣＤ素子数は、同じであり、その縦横比も等しい。そのため、第一撮像系２０および第二撮像系３０は、同じ画面サイズ、かつ、同じ画素数の画像データを撮像できるようになっている。ただし、二つの撮像素子が同画素数である必要はなく、両撮像素子の画素数に差があってもよい。
【００１７】
第一撮像レンズ系２１は、既述したとおり、固定焦点距離のレンズである。この第一撮像レンズ系２１の焦点距離は、ズームレンズである第二撮像レンズ系３１の短焦点距離端における焦点距離より小さい。例えば、第一撮像レンズ系２１としては３５ｍｍ判換算で２３ｍｍの固定焦点距離レンズを、第二撮像レンズ系３１としては３５ｍｍ判換算で３９〜１１７ｍｍのズームレンズを用いることができる。ただし、第一撮像系２０で第二撮像系３０に比して広角の画像撮像が、逆の言い方をすれば、第二撮像系３０で第一撮像系２０に比して望遠の画像撮像が、可能であるならば、第一撮像レンズ２１および第二撮像レンズ３１の両方がズームレンズ、または、両方が固定焦点距離レンズであってもよい。
【００１８】
この第一撮像系２０および第二撮像系３０は、後述するように、単独でも使用できるが、同時にも使用できる。すなわち、同一被写体をほぼ同時に、第一撮像系２０および第二撮像系３０の両方で撮像することもできる。その結果、互いに異なる画角でほぼ同時に撮像した同一被写体の二つの画像を得ることができる。
【００１９】
二つの撮像系２０，３０の後段には、互いに独立した二つの信号処理部２６，３６が設けられている。二つの信号処理部２６，３６は、それぞれ、対応する撮像系２０，３０から出力される画像信号に対して所定の処理を施す。
【００２０】
第一信号処理部２６には、アナログ画像処理回路２３、ＡＤ変換回路２４、バッファメモリ２５が設けられている。第一撮像系２０から出力された画像信号は、アナログ画像処理回路２３でクランプ処理や増幅処理が施される。その後、ＡＤ変換回路２４でのＡ／Ｄ変換処理が施された後、デジタルの第一画像データとしてバッファメモリ２５に一時記憶される。
【００２１】
第二信号処理部３６も、第一信号処理部２６と同様の構成で、アナログ画像処理回路３３、ＡＤ変換回路３４、バッファメモリ３５が設けられている。第二撮像系３０から出力された画像信号は、クランプ処理や増幅処理、ＡＤ変換処理が施された後、デジタルの第二画像データとしてバッファメモリ３５に一時記憶される。
【００２２】
マルチプレクサ４０は、ＣＰＵ５０の指示に応じて、バッファメモリ２５，３５のいずれか一方を選択して、選択したバッファメモリに一時記憶されている画像データを取り出す。そして、取り出した画像データを、後段の画像信号処理プロセッサ６０に出力する。
【００２３】
画像信号処理プロセッサ６０は、受信した画像データにγ補正や色補正、ホワイトバランス、画像圧縮などの処理を施す。また、画像信号処理プロセッサ６０は、各画像データに応じたヘッダデータを生成する。生成されたヘッダデータは、画像データとともに一つのファイルに記録され画像ファイルとしてバッファメモリ６２に出力される。ここでヘッダデータには、撮像日時や露出量などの撮像条件情報、各画像データのサムネイル画像やデータサイズを示す画像情報、および、当該画像データと同時に撮像された他の画像データに関する情報である関連情報が含まれる。このヘッダデータについては後に詳説する。
【００２４】
バッファメモリ６２は、ワーク用メモリであり、既述の画像信号処理プロセッサ６０から出力された画像ファイルや、メモリ７０から読み出された画像ファイルなどが一時的に記録される。ユーザメモリ７０は、撮像により得られた画像ファイルを記録、保持するための記憶手段である。撮像により得られた画像を当該ユーザメモリ７０に記憶するか否かは、ユーザの指示により決定される。すなわち、撮像された画像データは、液晶モニタ８０に表示される。ユーザは、この液晶モニタ８０に表示された画像の内容を確認したうえで、当該画像ファイルをユーザメモリ７０に記憶するか否かを指示する。
【００２５】
液晶モニタ８０は、撮像された画像データや、ユーザメモリ７０に記憶された画像データのうちユーザから指示された画像データを表示するための表示手段である。この液晶モニタ８０は、通常、画像データに比して低画素である。そのため、当該液晶モニタ８０に画像データを表示させる場合、当該画像データには、画像信号処理プロセッサ６０による表示用の処理が施される。
【００２６】
ＣＰＵ５０は、複数のスイッチ等で構成される操作部９０からの入力に応じて、カメラ全体のシーケンスを制御し、撮像に伴う各種作業を実行する。操作部９０は、ユーザからの指示を受け付けるユーザインターフェースであり、レリーズボタン９１、ズームボタン９２、十字キー、切り替えレバー９４、再生ボタン９５等で構成される。レリーズボタン９１は、撮像の指示を受け付けるボタンである。当該ボタンの半押し（１ｓｔレリーズ状態）は撮像準備状態指示になり、当該ボタンの全押し（２ｓｔレリーズ状態）は撮像指示になる。ズームボタン９２は、第二撮像レンズ３１のズーム量を指示するためボタンである。切り替えレバー９４は、Ｚ（ズーム）、Ｗ（ワイド）、Ｃ（コンビネーション）の三つのポジションを選択可能なレバーである。切り替えレバー９４が、「Ｚ」に位置している場合には第二撮像系３０単独での撮像が、「Ｗ」に位置している場合には第一撮像系２０単独での撮像が、「Ｃ」に位置している場合には第一、第二撮像系２０，３０の両方での同時撮像が、それぞれ指示されていることになる。
【００２７】
さらに、本デジタルカメラ１０は、撮像を行う際のＡＦ制御やＡＥ制御、ズーム制御等を行うズーム／ＡＥ／ＡＦ制御部１００や、ストロボ発光部１１０等、周知のデジタルカメラ１０に設けられている各種部材を備えている。これらの構成や機能は、従来と同様であるため、ここでは、その説明は省略する。
【００２８】
次に、このデジタルカメラ１０での撮像の流れについて簡単に説明する。図４は、本デジタルカメラ１０での撮像の流れを示すフローチャートである。撮像動作は、レリーズボタン９１が半押しされて１ｓｔレリーズ状態（Ｓ１００１）になれば開始される。１ｓｔレリーズ状態が検知されれば、ＣＰＵ５０は、切り替えレバー９４の位置を確認する（Ｓ１００２）。切り替えレバー９４が「Ｗ」に位置している場合には、第一撮像系２０単独での撮像が実行される。具体的には、まず、第一撮像系２０を動作状態に切り替える（Ｓ１００３）。続いて、入射光量等に基づいて、最適な、露出量を決定するＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）を実行する（Ｓ１００４）。その状態で、レリーズボタン９１が全押しされて２ｎｄレリーズ状態になるのを待機する（Ｓ１００５）。２ｎｄレリーズ状態になれば、第一撮像素子２２に蓄積されている電荷を一度排出した後、所定の露光量に相当する時間分だけ電荷を蓄積し、撮像動作を実行する（Ｓ１００６）。撮像動作により得られた画像信号は、信号処理部２６によって、所定の処理が施された後、バッファメモリ２５へと送られる。マルチプレクサ４０は、このバッファメモリ２５に一時記憶されている画像データを取り出し、画像信号処理プロセッサ６０に送る（Ｓ１００７）。画像信号処理プロセッサ６０は、受信した画像データに対して、所定の画像処理を施すとともに、当該画像データのヘッダデータを作成し、これらを含む画像ファイルを生成する（Ｓ１００８）。
【００２９】
画像信号処理プロセッサ６０により生成された画像ファイルは、バッファメモリ６２に一時記憶された後、液晶モニタ８０に表示される（Ｓ１００９）。ユーザは、表示された画像データの内容を確認したうえで、必要なら、その記録を指示する。ユーザから画像記憶の指示があった場合には、当該画像データを、ユーザメモリ７０に記録する（Ｓ１０１０）。
【００３０】
次に、ステップＳ１００２に戻り、切り替えレバー９４がＺ（ズーム）に位置していた場合の流れを説明する。この場合は、Ｗ（ワイド）に位置していた場合とほぼ同様である。すなわち、切り替えレバー９４がＺ（ズーム）に位置していた場合、まず、第二撮像系３０を動作状態にする（Ｓ１０１１）。続いて、入射光量に応じたＡＥ、被写体距離に応じたＡＦ（オートフォーカス）、ユーザから指示されたズーム量に応じたズーミング動作を実行する（Ｓ１０１２）。その状態で、レリーズボタン９１が全押しされて２ｎｄレリーズ状態になるのを待機する（Ｓ１０１３）。２ｎｄレリーズ状態になれば、第二撮像素子３２に蓄積されている電荷を一度排出した後、所定の露光量に相当する時間分だけ電荷を蓄積し、撮像動作を実行する（Ｓ１０１４）。撮像動作により得られた画像信号は、信号処理部３６によって、所定の処理が施された後、バッファメモリ３５へと送られる。マルチプレクサ４０は、このバッファメモリ３５に一時記憶されている画像データを取り出し、画像信号処理プロセッサ６０に送る（Ｓ１０１５）。画像信号処理プロセッサ６０は、受信した画像データに対して、所定の画像処理を施すとともに、ヘッダデータを作成し、これらを含む画像ファイルを生成する（Ｓ１０１６）。
【００３１】
画像信号処理プロセッサ６０により所定の処理が施された画像データは、バッファメモリ６２に一時記憶された後、液晶モニタ８０に表示される（Ｓ１０１７）。ユーザは、表示された画像データの内容を確認したうえで、必要なら、その記録を指示する。ユーザから画像記憶の指示があった場合には、当該画像データを、メモリに記録する（Ｓ１０１８）。
【００３２】
次に、再び、ステップＳ１００２に戻り、切り替えレバー９４がＣ（コンビネーション）に位置していた場合の流れを説明する。この場合は、第一撮像系２０および第二撮像系３０の両方で、同時に撮像が行われる。したがって、ＣＰＵ５０は、第一撮像系２０および第二撮像系３０の両方を動作状態にする（Ｓ１０２０）。また、第一撮像系２０および第二撮像系３０は、入射光量に応じたＡＥが実行される。また、ズームレンズを備えた第二撮像系３０の場合は、さらに、ＡＦ、ズーミングが実行される（Ｓ１０２１）。そして、その状態で、２ｎｄレリーズ状態になるまで待機する（Ｓ１０２２）。
【００３３】
２ｎｄレリーズ状態が検知されれば、第一撮像素子２２および第二撮像素子３２に蓄積された電荷を一度排出した後、所定の露光量に応じた時間分だけ電荷の蓄積を行い、撮像動作を実行する（Ｓ１０２３）。この電荷の排出、および蓄積のタイミングは、基本的に第一撮像素子２２、および、第二撮像素子３２で等しく、第一撮像系２０および第二撮像系３０はほぼ同時に画像撮像が実行される。
【００３４】
撮像により得られた画像信号は、それぞれ対応する信号処理部２６，３６によって所定の処理が施された後、対応するバッファメモリ２５，３５に一時記憶される。マルチプレクサ４０は、二つのバッファメモリ２５，３５のうち、第一撮像系２０に対応するバッファメモリ２５に一時記憶されている第一画像データを取り出し、画像信号処理プロセッサ６０に出力する（Ｓ１０２４）。画像信号処理プロセッサ６０は、第一画像データに対して所定の画像処理を施すとともに、そのヘッダデータを作成し、これらを含む画像ファイルを生成する（Ｓ１０２５）。これらの処理が施された第一画像データは、バッファメモリ６２に一時記憶される。
【００３５】
続いて、マルチプレクサ４０は、第二撮像系３０に対応するバッファメモリ３５に一時記憶されている第二画像データを取り出し、画像信号処理プロセッサ６０に出力する（Ｓ１０２６）。画像信号処理プロセッサ６０は、第二画像データに対して所定の画像処理を施すとともに、そのヘッダデータを作成し、これらを含む画像ファイルを生成する（Ｓ１０２７）。これらの処理が施された第二画像データは、第一画像データとともに、バッファメモリ６２に一時記憶される。
【００３６】
その後、液晶モニタ８０には撮像された画像データが表示される（Ｓ１０２８）。ここで表示される画像データは、第一画像データは基本的には第一画像データである。第一画像データは、固定焦点レンズを備えた第一撮像系２０で撮像された広角画像データである。そのため、この広角画像である第一画像データを表示することにより、撮像された画像全体を確認できる。ただし、ユーザの指示に応じて、第二画像データを表示してもよいし、第一画像データおよび第二画像データを同時に表示させてもよい。
【００３７】
ユーザは、表示された画像データの内容を確認したうえで、必要なら、その記録を指示する。ユーザから画像記憶の指示があった場合には、第一画像データおよび第二画像データの両方がメモリ７０に記憶される（Ｓ１０２９）。
【００３８】
次に、このデジタルカメラ１０で生成される画像ファイルの構成について図５を用いて説明する。図５は、コンビネーションモード、すなわち、第一撮像系２０および第二撮像系３０の両方で同時に撮像した際に得られる画像ファイルの構成を示す図である。画像ファイルは、撮像画像の内容を示す画像データと、当該画像ファイルに関係する各種情報を示すヘッダデータと、に大別される。さらに、ヘッダデータは、撮像条件情報と、画像情報と、関連情報と、を含む。撮像条件情報は、当該画像データの撮像日時や、露出量、フラッシュの有無、ホワイトバランス設定など、撮像した際の各種条件に関する情報である。画像情報は、当該画像データのサムネイル画像データや、データサイズなど、画像データそのものに関する情報である。この撮像条件情報や画像情報は、従来の画像ファイルでも多用されている情報であるため、詳しい説明は省略する。
【００３９】
関連情報は、同時撮像された他の画像データである関連画像データに関する情報である。この関連情報は、「同時撮像フラグ」、「関連画像ファイル名」、「倍率」、「補填開始位置Ｘ」、「補填開始位置Ｙ」からなる。「同時撮像フラグ」は、当該画像データが、コンビネーションモードで撮像されたか否か、換言すれば、同時に撮像された他の画像データが存在するか否かを示すフラグである。当該画像がコンビネーションモードで撮像されている場合には「１」のフラグが記録される。一方、ズームモードまたはワイドモードで撮像されている場合には「０」のフラグが記録される。
【００４０】
「同時撮像フラグ」が「１」の場合には、以下で説明する「関連画像ファイル名」、「倍率」、「補填開始位置Ｘ」、「補填開始位置Ｙ」の各値が更に続けて記録される。一方、「同時撮像フラグ」が「０」の場合には、各項目の値として「ＮＵＬＬ」が記録される。
【００４１】
「関連画像ファイル名」は、同時に撮像された他の画像である関連画像のファイル名である。したがって、第一撮像系で撮像された第一画像のヘッダには、「関連画像ファイル名」の値として第二撮像系で撮像された第二画像のファイル名が、第二画像のヘッダには、「関連画像ファイル名」の値として第一画像のファイル名が、それぞれ記録される。
【００４２】
「倍率」は、同時に撮像された二つの画像の像の大きさの比率が記録される。この倍率は、第一画像（第一撮像系で得られる画像）および第一画像の関連画像である第二画像（第二撮像系で得られる画像）の焦点距離の比と画素ピッチの比から求まる。具体的には、第一画像の画素ピッチをｐ１、焦点距離をｆ１、第二画像の画素ピッチをｐ２、焦点距離をｆ２とした場合、倍率Ｍは、次式で求まる。
［数１］
Ｍ＝（ｆ２／ｐ２）／（ｆ１／ｐ２）＝（ｆ２／ｆ１）・（ｐ１／ｐ２）
【００４３】
なお、ズームレンズを備えた撮像系の場合、焦点距離は適宜、変更されることになる。この場合は、撮像時におけるズームレンズの駆動量をレンズ駆動機構に設けたエンコーダ当で検出するとともに当該駆動量に基づいて設定焦点距離を算出し、得られた設定焦点距離に基づいて倍率Ｍを算出する。
【００４４】
この倍率Ｍについて、より具体的な例を説明する。第一撮像系２０を用いて焦点距離が３５ｍｍ判換算で２３ｍｍの第一画像を、第二撮像系３０を用いて焦点距離が３５ｍｍ判換算で６９ｍｍの第二画像を、それぞれ取得した場合について考える。本デジタルカメラ１０では、第一撮像素子２２および第二撮像素子３２は、同じ画面サイズであり、また、同一画素数である。したがって、画素ピッチの比ｐ１／ｐ２は１となる。そのため、倍率Ｍは、焦点距離の比のみで算出される。本例の場合、倍率Ｍはｆ２／ｆ１＝６９／２３≒３となる。
【００４５】
「補填開始位置Ｘ」、「補填開始位置Ｙ」は、第一画像および第二画像で撮像された被写体の位置関係を示す情報であり、第二画像での補填を開始すべき第一画像上のＸ座標値およびＹ座標値である。これについて、図６を用いて説明する。
【００４６】
図６（Ａ）は広角画像である第一画像のイメージ図、図６（Ｂ）は望遠画像である第二画像のイメージ図である。第一画像、第二画像の画素ピッチが等しく、かつ、倍率Ｍが３であった場合、第二画像は、第一画像の中心付近を約３倍に拡大した画像となる。換言すれば、第一画像の中心付近の約１／３の領域が第二画像で撮像された像の範囲である。
【００４７】
この第一画像の中心には、ユーザが注目する対象、例えば、人物等が位置することが多く、高精細に映し出されることが望まれている。しかし、注目部分の周辺である背景等も含めて撮像する広角画像では、この注目部分について十分な解像度が得られない場合が多い。そこで、注目部分のみを、望遠画像として取得し、広角画像における注目部分を望遠画像で補填することがある。補填の手法は各種あり、最も単純な方法としては、広角画像の中心に望遠画像を当てはめて合成することが考えられる。また、広角画像の中心部を拡大表示させた際に、望遠画像に置き換えることも考えられる。このような補填を行うためには、望遠画像の基準座標位置（例えば、座標（０，０）位置）における像位置が、広角画像のどの座標位置に相当するかが分かっている必要がある。そこで、本デジタルカメラ１０では、この望遠画像の基準座標位置における像位置に相当する広角画像の座標位置を「補填開始位置Ｘ」、「補填開始位置Ｙ」として画像ファイルに記録している。
【００４８】
本デジタルカメラ１０では、望遠画像（第二画像）の（０，０）位置における像位置に相当する広角画像（第一画像）の座標位置を「補填開始位置Ｘ」、「補填開始位置Ｙ」として画像ファイルに記録している。図６の例では、第一画像における座標（ａ、ｂ）が、第二画像における座標（０，０）と同じ像位置を示していることになる。そのため、この座標（ａ，ｂ）が「補填開始位置Ｘ」、「補填開始位置Ｙ」として記憶される。
【００４９】
なお、第一撮像レンズ２１と第二撮像レンズ３２の位置や光軸のズレ等に起因して、第一画像の中心と第二画像の中心が必ずしも一致するとは限らない。したがって、「補填開始位置Ｘ」、「補填開始位置Ｙ」を算出する際には、二つの撮像レンズ２１，３１の間隔や、被写体距離、焦点距離等の既知の情報に基づいて、二つの画像間での中心位置のズレ量を算出しておく。そして、このズレ量に基づいて、正確な「補填開始位置Ｘ」、「補填開始位置Ｙ」を算出すればよい。
【００５０】
なお、以上の説明では、コンビネーションモードで撮像した場合、第一画像ファイルおよび第二画像ファイルのいずれにも、各項目の値が記録されるとしている。しかし、この各項目の値は、第一画像ファイルおよび第二画像ファイルのいずれか一方のみに記録するようにしてもよい。いずれか一方のみに関連情報を記憶する場合、広角画像である第一画像に優先的に関連情報が記録されることが望ましい。例えば、第一画像ファイルのヘッダには、既述の「同時撮像フラグ」や「関連画像ファイル名」などを記録しておき、第二画像ファイルのヘッダには、「同時撮像フラグ」を「０」とした上で「関連画像ファイル名」や「倍率」などについては「ＮＵＬＬ」を記録するようにしてもよい。また、第二画像ファイルのヘッダに、「１」の「同時撮像フラグ」、および、「関連画像ファイル名」を記録した上で、「倍率」や「補填開始座標」に関しては「ＮＵＬＬ」を記録するようにしてもよい。
【００５１】
次に、このような関連情報を含む画像ファイルを用いて、広角画像（第一画像）の一部を、望遠画像（第二画像）で補填する場合の例を説明する。望遠画像による補填の一例として広角画像の拡大表示時における補填がある。これは、広角画像をデジタルカメラ１０に設けられた液晶モニタ８０で拡大表示した際に、表示画像の画素数が液晶モニタ８０の画素数を下回った場合、広角画像に代えて望遠画像を表示させるものである。
【００５２】
具体例を図７を用いて説明する。図７において、広角画像である第一画像、望遠画像である第二画像は、いずれも５００万画素であり、その倍率Ｍは３倍であったとする。また、液晶モニタ８０の画素数は１００万画素とする。
【００５３】
この状態で、ユーザの指示により、広角画像である第一画像の表示が指示されたとする。この場合、ＣＰＵ５０は、指示された第一画像を読み込み、その全体を液晶モニタ８０に表示させる。このとき、液晶モニタ８０の画素数は、第一画像の画素数より小さい。そのため、第一画像の表示の際には、予め、第一画像の画素数を液晶モニタ８０の画素数に応じて間引いておく。本例では、第一画画像が５００万画素であるのに対し、液晶モニタ８０は１００万画素であるため、第一画像の画素数が１／５になるように画素の間引きを行う。
【００５４】
この状態で、ユーザから表示を２倍に拡大する指示があったとする。この場合、第一画像の中心約１／４の範囲が液晶モニタ８０に表示される表示範囲Ｅとなる（図７（Ｂ）参照）。この表示範囲Ｅにおける画素数は約１２５万画素であり、液晶モニタ８０の画素数より多い。したがって、この場合は、第一画像の当該表示範囲Ｅのみを切り出したうえで、その切り出し画像を液晶モニタ８０の画素数に合わせる。具体的には、表示範囲Ｅにおける画素数が、約８割減になるように画素の間引きを行い、間引き後の画像を液晶モニタ８０に表示する。
【００５５】
その後、ユーザから、さらに、表示を２倍に拡大する指示があったとする。この場合、第一画像の中心約１／８の範囲が液晶モニタ８０に表示される表示範囲Ｅとなる（図７（Ｃ）参照）。この場合、表示範囲Ｅに含まれる画素数は約６５万画素となり、液晶モニタ８０の画素数を下回ることになる。この場合、ＣＰＵ５０は、この第一画像をそのまま表示するのではなく、同時に撮像された望遠画像である第二画像が存在すれば、当該第二画像を液晶モニタ８０に表示させる。
【００５６】
具体的には、表示範囲Ｅに含まれる画素数が、液晶モニタ８０の画素数を下回ると判断した場合、ＣＰＵ５０は、第一画像ファイルのヘッダに記録されている「同時撮像フラグ」を確認する。「同時撮像フラグ」が０の場合は、同時に撮像された望遠画像は存在しないことになる。この場合は、そのまま、第一画像の表示範囲Ｅを切り出し、その切り出し部分を液晶モニタ８０の画素数に応じて画素増加させたうえで、液晶モニタ８０に表示する。
【００５７】
一方、「同時撮像フラグ」が１の場合は、「関連画像ファイル名」や「倍率」、「補填開始位置」を読み込み、これらの値を一時記憶する。そして、「関連画像ファイル名」に記録されていた関連画像ファイルである第二画像ファイルを読み込み、第二画像を液晶モニタ８０の画素数に応じた画素数に補正したうえで、第二画像を液晶モニタ８０に表示させる。このとき、第二画像における表示範囲Ｅ´は、倍率、補填開始位置および第一画像における表示範囲Ｅに基づいて算出される。
【００５８】
このように、第一画像における表示範囲Ｅに含まれる画素数が液晶モニタ８０の画素数より下回った場合に、同時撮像された第二画像を表示することにより、拡大表示に伴う画質劣化を大幅に低減できる。
【００５９】
なお、表示範囲Ｅが第二画像の像範囲からはみ出た場合には、第一画像の電子ズーム（画素数増加）させた上で液晶モニタ８０に表示させる。例えば、図７（Ｃ）の状態から、図８に図示するように、表示位置を左方向に移動させたとする。この場合、表示範囲Ｅの一部が、第二画像の像範囲からはみ出すことになる。この場合、ＣＰＵ５０は、第二画像ファイルのヘッダに記録されている同時に撮像された広角画像、すなわち、第一画像のファイル名を読み込み、当該第一画像を表示させる。第一画像における表示範囲Ｅは、倍率、補填開始位置、および、第二画像における表示範囲Ｅ´から算出する。このとき、第一画像において、表示範囲Ｅに含まれる画素数は、液晶モニタ８０の画素数を下回っている。そのため、第一画像の表示範囲Ｅを液晶モニタ８０に表示させる場合には、予め、表示範囲Ｅを液晶モニタ８０の画素数に応じて増加、補間しておく。なお、本例では、表示範囲Ｅの一部が第二画像の像範囲をはみ出た場合、表示範囲Ｅ全体を第一画像に置き換えているが、はみ出た部分のみを第一画像に置き換えるようにしてもよい。すなわち、図８の例でいえば、表示範囲Ｅのうち、はみ出し部分Ｄは第一画像を、その他の部分は第二画像を表示するようにしてもよい。
【００６０】
また、ここでは、デジタルカメラ１０に組み込まれている液晶モニタ８０で画像表示する場合の補填方法について述べたが、その他の表示機器、例えば、パソコンモニタ等に表示する場合にも当該補填方法が応用できる。すなわち、パソコンモニタで第一画像を拡大表示した際に、その表示範囲内に含まれる第一画像の画素数が、パソコンモニタの画素数を下回った場合には、第二画像を表示させるようにしてもよい。
【００６１】
次に、広角画像（第一画像）の一部を、望遠画像（第二画像）で補填する場合の他の例を説明する。望遠画像による補填の他の例としては、印刷時における補填が考えられる。一般に、デジタル画像を印刷する際には、出力プリント上で２００ｄｐｉ以上の画素密度が必要といわれている。横２５９２×縦１９４４画素（約５００万画素）の画像で、この画素密度２００ｄｐｉ以上という条件を満たすためには、印刷サイズを１２．９６インチ（３２９ｍｍ）×９．７２インチ（２４７ｍｍ）以下にせざるを得ない。より大サイズの出力プリントを得るためには、画質を低下させるか、より高解像度の撮像素子で撮像する必要があった。しかし、前者はユーザの満足を得にくく、後者は撮像に高価なカメラが必要になるという問題がある。
【００６２】
ところで、一般に、撮像画像の全範囲において高い画質が要求されることは少ない。特に、人物写真では、人物が配置される画像中心部分に対しては高い注目がはらわれるが、人物の周辺部分、すなわち、背景部分に対する注目度は低いことが多い。このような画像の一部のみに高い注目が払われる画像の場合、当該注目部分だけを高品質で印刷できればユーザの満足を得ることが可能である。
【００６３】
そこで、本実施形態のように、同一被写体をほぼ同時に撮像した広角画像（第一画像）および望遠画像を互いに関連付けて記憶している場合には、広角画像のうちユーザの注目部分（画像中心部）のみを望遠画像で補填して印刷することが考えられる。
【００６４】
具体的に、横２５９２×縦１９４４画素（約５００万画素）の第一画像を、３８．９インチ×２９．２インチの印刷サイズで印刷する場合について図９を用いて説明する。ユーザから第一画像について印刷指示があった場合、プリンタドライバは、当該画像の画素数とユーザから指定された印刷サイズとに基づいて、出力プリント上の画素密度を算出する。そして、プリンタドライバは、得られる画素密度が所定の基準値、例えば２００ｄｐｉ以下である場合には、当該第一画像ファイルのヘッダに記録されている同時撮像フラグの値を確認する。本例の場合、印刷後の画素密度は約６７ｄｐｉとなるため、プリンタドライバは、同時撮像フラグの値を確認することになる。その結果、同時撮像フラグの値が「０」、すなわち、同時に撮像された関連画像がない場合、プリンタドライバは、そのまま通常の印刷処理を実行する。具体的には、プリンタドライバは、第一画像をプリンタ用言語に変換した印刷データを生成し、当該印刷データに基づいて印刷処理を実行する。この印刷時における画素密度は約６７ｄｐｉとなる。
【００６５】
一方、同時撮像フラグの値が「１」、すなわち、同時に撮像された望遠画像である第二画像が存在する場合には、さらに、その画像ファイル名、倍率、補填開始位置を読み込む。そして、印刷サイズおよび倍率に基づいて、第一画像の一部を第二画像で補填して印刷した際の、第二画像のサイズを補填サイズとして算出する。ここで補填サイズとは、第一画像の一部を第二画像に置き換えて印刷した際の、第二画像のサイズをいう。本例では、倍率Ｍが３であった場合、第一画像の約１／３の範囲が第二画像に置き換えられることになるので、補填サイズは、印刷サイズの１／３、すなわち、約１２．９６インチ×９．７２インチとなる。補填サイズが算出できれば、続いて、補填サイズおよび第二画像の画素数に基づいて、第二画像を印刷する際の画素密度を算出する。第二画像が第一画像と同じ画素数とすると、第二画像印刷時の画素密度は約２００ｄｐｉとなる。さらに、補填サイズおよび補填開始位置に基づいて、第一画像のうち第二画像による補填、すなわち、置き換えが行われる範囲を補填範囲Ｅｚとして算出する。
【００６６】
これらの計算が終了すれば、プリンタドライバは、第一画像のうち補填範囲を第二画像に置き換えた画像を印刷するための印刷データを生成する。このとき、補填範囲Ｅｚは２００ｄｐｉとし、補填範囲Ｅｚ以外の印刷範囲Ｅｗは６７ｄｐｉとして印刷データを生成する。印刷データが生成されれば、当該印刷データに基づいた印刷処理が実行する。
【００６７】
このように、第一画像のうちユーザの注目度が高い中心部分を望遠画像である第二画像で第一画像の一部を補填して印刷することにより、注目度の高い部分については高画素密度で印刷することができる。その結果、印刷サイズを大きくしても、ユーザの満足度の高い出力プリントを得ることができる。一方、中心部分以外の周辺部分は、第一画像に基づいて印刷されるため、画素密度は低いことになる。しかし、周辺部分はユーザの注目度が低い場合が多く、かかる周辺部分の画素密度が低くてもユーザの満足度に大きく影響を与えることは少ない。つまり、本実施形態によれば、大サイズで印刷しても、ユーザの満足度の高い出力プリントを得ることができる。
【００６８】
なお、第一画像の一部を第二画像に置き換えて印刷した場合、第一画像と第二画像の境界部分においてデータの不連続性に起因する違和感をユーザに与える場合がある。そこで、かかる第一画像と第二画像の境界部分周辺については、第一画像の画素データと第二画像の画素データとの加重平均値をとり、第一画像から第二画像に徐々に移行させるようにしてもよい。具体的には、第一画像と第二画像の境界線より外側にいくほど、第一画像の重み係数Ｗ１を大きくし、逆に、境界線より内側にいくほど第二画像の重み係数Ｗ２を大きくする。そして、この重み係数Ｗ１，Ｗ２と第一画像の画素データＭ１＝（Ｒ１，Ｇ１，Ｂ１），第二画像の画素データＭ２＝（Ｒ２，Ｇ２，Ｂ２）との加重平均値Ｍａｖｅ＝｛（Ｍ１・Ｗ１）＋（Ｍ２・Ｗ２）｝／２を印刷時の画素データとする。その結果、境界部周辺では、第一画像から第二画像に徐々に移行することになり、自然な印刷画像が得られ、より高いユーザの満足度を得ることができる。
【００６９】
ところで、以上の説明から明らかなように、本実施形態では、第二画像による補填が必要な場合にのみ、第二画像を使用でき得るように第一画像および第二画像をデータ管理している。別の言い方をすれば、第一画像および第二画像を別個の画像データとしてメモリに記憶、保持している。その結果、第一画像および第二画像の合成画像を記憶、保持する場合に比べて、必要なデータサイズを大幅に減少しつつ、ユーザの満足度が得やすくなっている。
【００７０】
すなわち、第一画像および第二画像を合成した合成画像を生成、保存する場合、第一画像を第二画像の画素数に合わせて補間する必要がある。具体的には、第一画像と第二画像の画素数が等しく、倍率Ｍが３であった場合を考える。この場合、第一画像と第二画像を合成した合成画像を得るためには、第一画像の１画素が示す像範囲と、第二画像の１画素が示す像範囲を合わせる必要がある。画素補間前の状態では、第二画像の１画素は、第一画像の１／９画素に相当する。そのため、両画像を合成するためには、図１０に図示するように、第一画像の１画素が９画素になるべく画素補間する必要がある。図１０において、ハッチングを施した四角は第二画像の各画素Ｐ２を示しており、太線で囲った四角は画素補間前の第一画像の各画素Ｐ１を示している。さらに、ハッチングの施されていない細線の四角は画素補間後の第一画像の各画素ｐ１を示している。この図１０に図示するとおり、第一画像と第二画像を合成するためには、第一画像の各画素Ｐ１を、９画素に画素補間することが必要となる。このような画素補間がされた第一画像と第二画像とを合成した場合、その合成画像データのデータサイズは、画素補完前の第一画像に比して９倍相当になり、記憶容量が有限のメモリを圧迫することになる。
【００７１】
これに対して、本実施形態では、必要な場合にのみ、第二画像での補填が可能になるよう画像ファイルのヘッダに所定のデータを埋め込み、第一画像および第二画像を別個のデータとして保存している。そのため、画素補間による画素数増大を招くことがなく、記憶容量が限られたメモリを圧迫することがない。同時に、必要に応じて、第一画像を第二画像で補填でき得るように管理しているため、ユーザの満足度を満たすこともできる。その結果、全体としてユーザの満足度の高いデジタルカメラ１０を提供することができる。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施形態であるデジタルカメラの正面からみた斜視図である。
【図２】デジタルカメラの背面からみた斜視図である。
【図３】デジタルカメラの構成を示すブロック図である。
【図４】撮像処理の流れを示すフローチャートである。
【図５】画像ファイルの構成を示す図である。
【図６】第一画像と第二画像のイメージ図である。
【図７】撮像画像を液晶モニタで表示した際の様子を示す図である。
【図８】液晶モニタでの表示位置を移動させた際の様子を示す図である。
【図９】第一画像の一部を第二画像で補填して印刷する際の様子を示す図である。
【図１０】第一画像と第二画像を合成した場合の画素補間の例を示す図である。
【符号の説明】
【００７３】
１０  デジタルカメラ、２０  第一撮像系、２１  第一撮像レンズ系、２２  第一撮像素子、２６，３６  信号処理部、３０  第二撮像系、３１  第二撮像レンズ系、３２  第二撮像素子、４０  マルチプレクサ、６０  画像信号処理プロセッサ、６２  バッファメモリ、７０  ユーザメモリ、８０  液晶モニタ、９０  操作部。
【図１】
2007180730.tif 000003
【図２】
2007180730.tif 000004
【図３】
2007180730.tif 000005
【図４】
2007180730.tif 000006
【図５】
2007180730.tif 000007
【図６】
2007180730.tif 000008
【図７】
2007180730.tif 000009
【図８】
2007180730.tif 000010
【図９】
2007180730.tif 000011
【図１０】
2007180730.tif 000012