(57)【要約】【課題】動く被写体の撮影を支援する。【解決手段】第１撮像部１０は、被写体を撮像する。第２撮像部２０は、被写体を、第１撮像部１０より広角に撮像する。表示部６０は、第２撮像部２０により撮像された画像を表示する。制御部３０は、第１撮像部１０により撮像された画像が所定の記録媒体に記録されるよう制御し、第２撮像部２０により撮像された画像が表示部に表示されるよう制御する。制御部３０は、第１撮像部１０の撮像範囲が認識可能な態様で、第２撮像部２０により撮像された画像が表示部６０に表示されるよう制御する。【選択図】図１
2010273046.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する第１撮像部と、
前記被写体を、前記第１撮像部より広角に撮像する第２撮像部と、
前記第２撮像部により撮像された画像を表示する表示部と、
前記第１撮像部により撮像された画像が所定の記録媒体に記録されるよう制御し、前記第２撮像部により撮像された画像が前記表示部に表示されるよう制御する制御部と、を備え、
前記制御部は、前記第１撮像部の撮像範囲が認識可能な態様で、前記第２撮像部により撮像された画像が前記表示部に表示されるよう制御することを特徴とする撮像装置。
【請求項２】
前記制御部は、前記第２撮像部により撮像された画像に、前記第１撮像部の撮像範囲を示す枠を重畳させて、前記表示部に表示させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御部は、前記第１撮像部のズーム倍率の変更に応じて、前記枠のサイズを変更することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御部は、前記枠のサイズが所定の最低基準サイズより小さくなるとき、前記枠のサイズが前記最低基準サイズ以上になるよう、前記第２撮像部により撮像された画像を拡大することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記第２撮像部は、前記第１撮像部により撮像される画像より、低解像度の画像を撮像することを特徴とする請求項１から４のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像部を搭載した撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルムービーカメラが広く普及してきており、一般のユーザが動画を撮影する機会が増えてきている。動く被写体（たとえば、運動会で走っている子供）を撮影する際、ユーザはカメラのファインダを見ながら、被写体が撮影範囲から外れないよう、被写体の動きに合わせてカメラの向きを変えながら撮影することが一般的である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−３３１４３１号公報
【特許文献２】特開平９−５８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カメラの取り扱いに不慣れなユーザは、上述したような、動く被写体を撮影する際、被写体が撮影範囲から外れてしまうことがしばしば発生する。とくに、高倍率ズームで撮影している場合、ファインダに表示されている画面内の被写体が、実際の被写体の動きに対して高感度で動くため、被写体の追尾失敗が発生しやすくなる。
【０００５】
また、高倍率ズームで撮影している場合、ファインダに表示されている画面からは、全体の風景および状況を把握することが難しく、被写体を一度、見失うと、再発見することが難しくなる。このような場合、ズーム倍率を下げたり、またはファインダから目を離して肉眼で被写体の位置を確認する必要があった。
【０００６】
本発明はこうした状況に鑑みなされたものであり、その目的は、動く被写体の撮影を支援する技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様の撮像装置は、被写体を撮像する第１撮像部と、被写体を、第１撮像部より広角に撮像する第２撮像部と、第２撮像部により撮像された画像を表示する表示部と、第１撮像部により撮像された画像が所定の記録媒体に記録されるよう制御し、第２撮像部により撮像された画像が表示部に表示されるよう制御する制御部と、を備える。制御部は、第１撮像部の撮像範囲が認識可能な態様で、第２撮像部により撮像された画像が表示部に表示されるよう制御する。
【０００８】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、動く被写体の撮影を支援することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１に係る撮像装置の構成を示す図である。
【図２】表示部に表示される画面の一例（基本処理）を示す図である。図２（ａ）はズーム倍率が１倍の場合、図２（ｂ）はズーム倍率が１／４倍の場合、図２（ｃ）はズーム倍率が４倍の場合を示す。
【図３】表示部に表示される画面の一例（例外処理）を示す図である。図３（ａ）はズーム倍率が４倍の場合（補正なし）、図３（ｂ）はズーム倍率が４倍の場合（補正あり）を示す。
【図４】実施の形態１に係る撮像装置の、制御部の動作を示すフローチャートである。
【図５】実施の形態２に係る撮像装置の、制御部の動作を示すフローチャートである。
【図６】位置合わせ処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
図１は、実施の形態１に係る撮像装置１００の構成を示す図である。撮像装置１００は、第１撮像部１０、第２撮像部２０、制御部３０、画像符号化部４０、記録部５０、表示部６０および操作部７０を備える。
【００１２】
第１撮像部１０は、記録用の画像を撮像するメインカメラとして機能する。第２撮像部２０は、表示用の画像を撮像するサブカメラとして機能する。実施の形態１では、第１撮像部１０および第２撮像部２０は、撮像装置１００の筐体のそれぞれ所定の位置に取り付けられ、その向きが固定であることを前提とする。また、第１撮像部１０および第２撮像部２０の向きが同じ方向であることを前提とする。
【００１３】
第２撮像部２０の撮像範囲は、第１撮像部１０の、焦点距離が最短に設定されている状態の撮像範囲より広く設定される。また、第２撮像部２０の撮像範囲が、第１撮像部１０の撮像範囲を常に含むように設定される。すなわち、第２撮像部２０は、第１撮像部１０が撮像している被写体を、より広角に撮像する。
【００１４】
第１撮像部１０は、ズームレンズ１１、第１撮像素子１２および第１信号処理回路１３を含む。ズームレンズ１１は、制御部３０から設定される倍率に応じて、焦点距離を変化させる。第１撮像素子１２には、ＣＣＤ（Charge Coupled Devices）センサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを採用することができる。第１撮像素子１２は、ズームレンズ１１を介して入射される光を電気信号に変換して、第１信号処理回路１３に出力する。第１信号処理回路１３は、第１撮像素子１２から入力される信号を処理する。ここでは、アナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換する。
【００１５】
第２撮像部２０は、単焦点レンズ２１、第２撮像素子２２および第２信号処理回路２３を含む。第２撮像素子２２にも、ＣＣＤセンサまたはＣＭＯＳイメージセンサを採用することができる。第２撮像素子２２は、単焦点レンズ２１を介して入射される光を電気信号に変換して、第２信号処理回路２３に出力する。第２信号処理回路２３は、第２撮像素子２２から入力される信号を処理する。ここでは、アナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換する。
【００１６】
第２撮像部２０は、第１撮像部１０により撮像される画像より、低解像度の画像を撮像してもよい。すなわち、第２撮像素子２２は、第１撮像素子１２より低スペックなものを採用してもよい。たとえば、第１撮像素子１２に８００〜１６００万画素のＣＭＯＳイメージセンサを採用し、第２撮像素子２２に１００〜３００万画素のＣＭＯＳイメージセンサを採用してもよい。第２撮像部２０により撮像される画像は記録用ではないため、高解像度の画像である必要性が低い。第２撮像部２０を低スペックなものとすることにより、撮像装置１００全体のコストを削減することができる。
【００１７】
コスト削減の要請が低い場合、第２撮像部２０を低スペックにする必要はなく、単焦点レンズ２１の代わりにズームレンズを搭載してもよく、第１撮像素子１２と同等の第２撮像素子２２を搭載してもよい。
【００１８】
制御部３０は、撮像装置１００全体を統括的に制御する。制御部３０には、第１撮像部１０により撮像された画像（以下、第１画像という）、および第２撮像部２０により撮像された画像（以下、第２画像）の両方が入力される。制御部３０は、第１画像が所定の記録媒体に記録されるよう制御し、第２画像が表示部６０に表示されるよう制御する。ここでは、制御部３０は、第１画像を画像符号化部４０に出力し、第２画像を表示部６０に出力する。
【００１９】
画像符号化部４０は、制御部３０から入力される画像を、所定の規格にしたがい圧縮符号化する。たとえば、静止画の場合、ＪＰＥＧにより圧縮符号化し、動画の場合、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４により圧縮符号化する。画像符号化部４０は、圧縮符号化した画像を記録部５０に出力する。
【００２０】
記録部５０は、第１画像を記録する。具体的には、記録部５０は、メモリーカード、ハードディスク、光ディスクなどの記録媒体を含み、当該画像は当該記録媒体に記録される。
【００２１】
表示部６０は、第２画像を表示する。具体的には、表示部６０は、液晶ディスプレイ、または有機ＥＬディスプレイなどのディスプレイを含み、当該画像は当該ディスプレイに表示される。
【００２２】
操作部７０は、ユーザの操作を受け付け、その操作に関連づけられた制御信号を制御部３０に出力する。本実施の形態では、主に、ユーザからのズーム倍率の指定を受け付け、その指定されたズーム倍率を制御部３０に出力する。制御部３０は、そのズーム倍率に応じて、ズームレンズ１１の焦点距離を制御する。
【００２３】
制御部３０は、第１撮像部１０の撮像範囲が認識可能な態様で、第２画像が表示部６０に表示されるよう制御する。たとえば、第２画像に、第１撮像部１０の撮像範囲を示す枠を重畳させて、表示部６０に表示させる。ここで、撮像範囲とは、第１撮像素子１２の総画素数に対応する範囲であってもよいし、その有効画素数に対応する範囲であってもよいし、実効画素数に対応する領域であってもよい。
【００２４】
なお、第１撮像部１０の撮像範囲をユーザが認識可能な態様に表示する手法は、その撮像範囲を示す枠を第２画像に重畳する手法に限るものではない。たとえば、その撮像範囲の画像を浮き出して表示したり、その撮像範囲の画像の色を変化させて表示したり、その撮像範囲の画像を半透明に表示してもよい。なお、浮き出して表示する場合、その浮き出した画像に陰影をつけてもよい。
【００２５】
以下、第１撮像部１０の撮像範囲をユーザが認識可能な態様に表示する手法として、その撮像範囲を示す枠を重畳する手法を例に説明する。実施の形態１では、第１撮像部１０および第２撮像部２０の撮影方向が変化しないことを前提としている。したがって、表示部６０に表示される第２画像内における、第１画像に対応する部分領域は、撮像装置１００の筐体に対する第１撮像部１０および第２撮像部２０の設置位置により一意に特定される。
【００２６】
なお、表示部６０に、第１画像の撮像範囲を示す枠が中央に表示されるよう、当該枠が重畳された第２画像のうち、表示に採用される領域が決定されてもよい。たとえば、第２撮像部２０が第１撮像部１０の左側に設置されている場合、第２画像の全領域を表示部６０に表示させると、上記枠が中央より右側に表示されることになる。上記枠が中央に表示されるようにするには、当該第２画像の左端側を表示に採用せずに、当該第２画像全体を左側にずらせばよい。
【００２７】
制御部３０は、第１撮像部１０のズーム倍率の変更に応じて、上記枠のサイズを変更する。より具体的には、ズーム倍率に反比例させて上記枠のサイズを決定する。たとえば、ズーム倍率が４倍されれば、上記枠のサイズを１／４し、ズーム倍率が１／４倍されれば、上記枠のサイズを４倍にする。
【００２８】
制御部３０は、上記枠のサイズが所定の最低基準サイズより小さくなるとき、上記枠のサイズが最低基準サイズ以上になるよう、第２画像を拡大してもよい。上記枠が小さくなりすぎると見づらくなってくるため、表示部６０に表示される第２画像自体を拡大させて、上記枠のサイズを大きくする処理である。
【００２９】
当該最低基準サイズは、設計者により設定されてもよいし、操作部７０からユーザ操作に起因して設定されてもよい。なお、事後的にユーザにより変更可能であってもよい。制御部３０は、画素補間処理を用いたデジタルズームにより、第２画像を拡大することができる。その拡大率は、上記枠のサイズが所定の最低基準サイズ以上になれば、何倍でもよいが、全体の風景を把握しながら撮影するという趣旨に沿った拡大率であることが好ましい。
【００３０】
図２は、表示部６０に表示される画面６１の一例（基本処理）を示す。図２（ａ）はズーム倍率が１倍の場合、図２（ｂ）はズーム倍率が１／４倍の場合、図２（ｃ）はズーム倍率が４倍の場合を示している。ここでは、デフォルトで、第１撮像部１０の撮像範囲が第２撮像部２０の撮像範囲の１／４の例を示す。
【００３１】
図２（ａ）にて、画面６１内の中央に被写体Ｏ１（ここでは人物）が存在し、画面６１内の右下に背景物Ｂ１（ここでは花）が存在している。また、被写体Ｏ１の上半身を含む領域が枠Ｆ１に囲まれている。この枠Ｆ１は、第１撮像部１０の撮像範囲を示しており、実際に記録される画像領域を示す。ユーザは、被写体Ｏ１をこの枠Ｆ１内にとどめるように、撮像装置１００をフレーミングすることにより、動く被写体Ｏ１を容易に追尾することができる。
【００３２】
図２（ｂ）では、ズーム倍率を１／４倍に変更して、被写体Ｏ１を広角に撮影している状況を示している。この状況では、上記枠Ｆ１が拡大し、被写体Ｏ１の全体が含まれる画像が記録される。図２（ｃ）では、ズーム倍率を４倍に変更して、被写体Ｏ１を望遠に撮影している状況を示している。この状況では、上記枠Ｆ１が縮小し、被写体Ｏ１の顔がアップになった画像が記録される。
【００３３】
図３は、表示部６０に表示される画面６１の一例（例外処理）を示す。図３（ａ）はズーム倍率が４倍の場合（補正なし）、図３（ｂ）はズーム倍率が４倍の場合（補正あり）を示している。
【００３４】
図３（ａ）の画面６１は、図２（ｃ）と同じ画面６１である。この画面６１内の枠Ｆ１のサイズが上記最低基準サイズより小さい場合、制御部３０は、表示部６０の画面６１に写すべき第２画像を拡大する。図３（ｂ）の画面６２は、図３（ａ）の画面６１に写った第２画像を２．２５倍に拡大した画像を表示しているものである。これにより、枠Ｆ１のサイズが大きくなり、実際に記録される画像を認識しやすくなる。
【００３５】
図４は、実施の形態１に係る撮像装置１００の、制御部３０の動作を示すフローチャートである。制御部３０は、第１撮像部１０のズーム倍率を取得する（Ｓ１０）。ズーム倍率の初期値は、システムから与えられるが、ズーム倍率が変更される場合、操作部７０から与えられる。制御部３０は、取得したズーム倍率に応じて、第２画像に重畳すべき枠のサイズを決定する（Ｓ１２）。
【００３６】
制御部３０は、枠のサイズを決定した後、第２撮像部２０から入力される第２画像に、その枠を重畳する（Ｓ１４）。制御部３０は、その枠のサイズと所定の最低基準サイズとを比較し（Ｓ１６）、前者が後者より小さい場合（Ｓ１６のＹ）、上記枠が重畳された第２画像を拡大する（Ｓ１８）。前者が後者以上の場合（Ｓ１６のＮ）、この拡大処理（Ｓ１８）はスキップされる。
【００３７】
制御部３０は、上記枠が重畳された第２画像を表示部６０に表示させる（Ｓ２０）。制御部３０は、操作部７０から撮影終了指示を受けない間（Ｓ２２のＮ）、ステップＳ１０に遷移し、ステップＳ１０〜２０の処理を継続する。操作部７０から撮影終了指示を受けた場合（Ｓ２２のＹ）、ステップＳ１０〜２０の処理を終了する。
【００３８】
以上説明したように実施の形態１によれば、表示部６０に、実際に記録されるエリアの画像だけでなく、その周囲の画像も表示することにより、ユーザによる動く被写体の撮影を支援することができる。ユーザはファインダからの情報だけにより、現在の記録エリア、全体の風景を把握することができ、失敗の少ないフレーミングが可能となる。
【００３９】
また、表示部６０に第２画像を表示することにより、ズーム倍率が変更されても、表示部６０に表示される画像の倍率を一定に保つことができる。これにより、従来、望遠で撮影する場合に難しかった、全体の状況把握を容易に行うことができる。また、ズーム倍率の増加に伴い、表示部６０に表示される記録エリアが小さくなりすぎた場合、第２画像を拡大することにより、表示部６０に表示される記録エリアを大きくすることができる。これにより、当該記録エリアの画像内容が把握しづらくなる事態を回避することができる。
【００４０】
つぎに、実施の形態２に係る撮像装置１００を説明する。実施の形態１では、第１撮像部１０および第２撮像部２０の向き（すなわち、撮影方向）が固定であることを前提としたが、実施の形態２では、第２撮像部２０の向きが調整可能であることを前提とする。たとえば、筐体に回動自在に取り付けられてもよい。いわゆる「自分撮り」が可能なように、撮影者側まで、第２撮像部２０が回動可能に取り付けられてもよい。第１撮像部１０の向きは、実施の形態２でも固定とする。
【００４１】
図５は、実施の形態２に係る撮像装置１００の、制御部３０の動作を示すフローチャートである。図５のフローチャートは、図４のフローチャートに、ステップＳ１３の位置合わせ処理が追加されたものである。なお、図５では、ステップＳ１２とステップＳ１４の後に、当該位置合わせ処理が追加されているが、ステップＳ１０とステップＳ１２との間に追加されてもよい。
【００４２】
制御部３０は、上記位置合わせ処理（Ｓ１３）として、第１画像と第２画像とを比較し、第２画像内の、第１画像に対応する領域を特定する。制御部３０は、第２画像内の、その特定した位置に上記枠を重畳する（Ｓ１４）。
【００４３】
図６は、上記位置合わせ処理の一例を示すフローチャートである。制御部３０は、倍率が１倍の第１画像を生成すべく、取得されたズーム倍率に応じて、第１撮像部１０から入力される第１画像を、デジタルズームにより拡大または縮小する（Ｓ１３１）。たとえば、第１画像が光学ズーム４倍で撮像されている場合、制御部３０は、間引き処理を用いてその第１画像のサイズを１／４に縮小する。逆に、第１画像が光学ズーム１／４倍で撮像されている場合、制御部３０は、補間処理を用いてその第１画像のサイズを４倍に拡大する。
【００４４】
制御部３０は、拡大／縮小後の第１画像、および第２画像の輪郭信号を生成する（Ｓ１３２）。たとえば、両画像をハイパスフィルタにかけて、変化が大きい画素が「１」、それ以外の画素が「０」の２値信号を生成してもよい。なお、両画像を輝度信号のまま比較照合してもよいが、輪郭信号に変換したほうが、オートエクスポージャーやオートホワイトバランスの影響を低減することができるため、照合精度を高めることができる。また、比較照合に係る演算量を低減することもできる。
【００４５】
制御部３０は、輪郭信号化された第１画像をブロック分割する（Ｓ１３３）。たとえば、８×８ピクセルのブロック、または１６×１６ピクセルのブロックに分割する。制御部３０は、分割されたブロック単位で第２画像内を探索する（Ｓ１３４）。ここで、各ブロックが第２画像内を探索するアルゴリズムには様々なものが考えられるが、それらの詳細は省略する。
【００４６】
制御部３０は、探索の結果、第１画像と所定の閾値を超える照合度を持つエリアが第２画像内に存在する場合、第１画像発見と判定する。第１画像が発見された場合（Ｓ１３５のＹ）、その発見位置を特定する（Ｓ１３６）。上記照合度を持つエリアが複数存在する場合、最も照合度が高いエリアを、その発見位置に特定する。第１画像が発見されない場合（Ｓ１３５のＮ）、第２画像内に、第１撮像部１０が撮像している領域が存在しないと判定する（Ｓ１３７）。この場合、制御部３０は、ステップＳ１４の処理にて、第２画像内に上記枠を重畳しないように制御する。
【００４７】
以上説明したように実施の形態２によれば、位置合わせ処理を追加することにより、サブカメラとして機能する第２撮像部２０の向きが調整可能な撮像装置１００であっても、実施の形態１と同様の効果を得ることができる。
【００４８】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４９】
上述した実施の形態では、第２画像は、表示用で記録されない例を説明したが、第２画像も上記記録媒体に記録されてもよい。たとえば、第２画像は、インターネット上のブログへのアップ用の画像として使用することができる。また、第１画像を再生する際に、その周囲の画像として、第１画像と第２画像とを組み合わせて表示することもできる。
【符号の説明】
【００５０】
１０  第１撮像部、  １１  ズームレンズ、  １２  第１撮像素子、  １３  第１信号処理回路、  ２０  第２撮像部、  ２１  単焦点レンズ、  ２２  第２撮像素子、  ２３  第２信号処理回路、  ３０  制御部、  ４０  画像符号化部、  ５０  記録部、  ６０  表示部、  ７０  操作部、  １００  撮像装置。
【図１】
2010273046.tif 000003
【図２】
2010273046.tif 000004
【図３】
2010273046.tif 000005
【図４】
2010273046.tif 000006
【図５】
2010273046.tif 000007
【図６】
2010273046.tif 000008