(57)【要約】【課題】メインの撮像手段で被写体を撮影および、サブの撮像手段で撮影者を撮影する撮像装置において、撮影後の撮影者の反応速度が考慮することで被写体とサブの撮像手段の撮影者のベストショットを関連付けて記録することを可能にする。【解決手段】本発明の撮像装置は、被写体側を撮像して画像データを取得する第一の撮像手段と、撮影者側を撮像して画像データを取得する第二の撮像手段と、前記第一の撮像手段で撮像を行うとともに前記第二の撮像手段で撮像を行う動作モードにおいて、前記第一の撮像手段で撮像した時刻を基準として、所定時間経過後に第二の撮像を行うことを特徴とする。【選択図】  図３
2015171121.tif 000002
【特許請求の範囲】
【請求項１】
被写体側を撮像して画像データを取得する第一の撮像手段と、
撮影者側を撮像して画像データを取得する第二の撮像手段と、
前記第一の撮像手段で撮像を行うとともに前記第二の撮像手段で撮像を行う動作モードにおいて、
前記第一の撮像手段で撮像した時刻を基準として、所定時間経過後に第二の撮像を行うことを特徴とする撮像装置。
【請求項２】
前記第二の撮像手段は、複数回数撮影を行って画像を記録し、記録した画像から一つの画像を選択する制御手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、複数回数撮影を行う撮影間隔と撮影枚数を自由に設定可能であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記撮像手段により取得した画像から顔領域を検出する顔検出手段を備え、前記第二の撮像手段の顔検出結果により複数回数撮影を行うかどうか切り替えることを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置。
【請求項５】
前記制御手段は、複数記録した画像から前記顔検出手段で顔領域を検出し、顔領域に対して、その顔の表情を検出する表情検出手段を備え、表情検出手段により複数記録した画像から最も表情の良い画像を選択することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記所定時間は、前記第１の撮像手段による撮像のために被写体に対して行われる発光手段による発光の影響を受けないような時間に設定されることを特徴とする請求項１乃至請求項５の何れか１項に記載の撮像装置。
【請求項７】
前記所定時間は前記第１の撮像手段による撮像のために被写体に対して行われる発光手段による発光の発光量に基づいて設定されることを特徴とする請求項１乃至請求項６の何れか１項に記載の撮像装置。
【請求項８】
前記所定時間は、前記第１の撮像手段による撮像のために、被写体に対して発光手段による発光が行われない場合は、行われる場合に比べて少なく設定されることを特徴とする請求項１乃至請求項７の何れか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に被写体を撮像するメインの撮像手段に加え、サブの撮像手段を有し、メインの撮像手段とサブの撮像手段で撮像したデータを関連付けて保存する撮像装置に関するものである。
【背景技術】
【０００２】
被写体を撮影するカメラ（以下メインカメラと呼称）と同時に、一度のレリーズ操作で、カメラを操作している撮影者を撮影するためのカメラ（以下サブカメラと呼称）が提案されている。
【０００３】
特許文献１では、２系統の撮像手段を備え、第一の撮像手段で被写体を撮影し、同時に第二の撮像手段で第一の撮像手段を操作する撮影者を被写体として撮像し、それぞれの映像信号を合成して記録媒体に保存する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−９４７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に記載のような撮像装置の場合、メインの撮像手段で被写体を撮影するのと同時に、サブの撮像手段で撮影者を撮影するが、
撮影者は被写体を見てから反応するため、メインカメラとサブカメラを同時に撮影して記録すると撮影後の撮影者の反応速度が考慮されておらず、撮影者側のベストショットが記録できなかった。
【課題を解決するための手段】
【０００６】
そこで、上記の課題を解決するために、本発明の撮像装置は、
被写体側を撮像して画像データを取得する第一の撮像手段と、撮影者側を撮像して画像データを取得する第二の撮像手段と、前記第一の撮像手段で撮像を行うとともに前記第二の撮像手段で撮像を行う動作モードにおいて、前記第一の撮像手段で撮像した時刻を基準として、所定時間経過後に第二の撮像を行うことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、メインの撮像手段で被写体を撮影および、サブの撮像手段で撮影者を撮影する撮像装置において、撮影後の撮影者の反応速度を考慮することで被写体とサブの撮像手段の撮影者のベストショットを関連付けて記録することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の撮像装置の構成の一例を示すブロック図である。
【図２】本発明の撮像装置の外観の一例を示す図である。
【図３】第１の実施の形態に係る複数カメラ同時撮影モードの処理の制御タイミングを示すタイミングチャートである。
【図４】従来の技術を用いてメインカメラの画像とサブカメラの画像を合成した画像の一例と第１の実施の形態に係るメインカメラの画像とサブカメラの画像を合成した画像の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１０】
図１は、本発明の第１の実施形態によるデジタルカメラ（撮像装置）１００の構成例を示すブロック図である。
【００１１】
図１において、１０３は被写体を撮像するメイン側のズームレンズ、フォーカスレンズを含む撮影レンズ群、１０１は絞り機能を備えるシャッター、１２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。１２３はＡ／Ｄ変換器であり、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器１２３は、撮像部１２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。１０２はバリアであり、デジタルカメラ１００の、撮影レンズ１０３を含む撮像部を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部１２２を含む撮像系の汚れや破損を防止する。
【００１２】
同様に１９３は撮影者を撮影するサブ側のズームレンズ、フォーカスレンズを含む撮影レンズ群である。１９１はサブ側（撮影者側）の絞り機能を備えるシャッターである。１９４はサブ側（撮影者側）の光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。Ａ／Ｄ変換器１２３は、撮像部１２２から出力される信号変換だけでなく、同時に撮像部１９４から出力されるアナログ信号をデジタル信号に変換するためにも用いられる。
【００１３】
１２４は画像処理部であり、Ａ／Ｄ変換器１２３からのデータ、又は、メモリ制御部１１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部１２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部１５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部１２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００１４】
Ａ／Ｄ変換器１２３からの出力データは、画像処理部１２４及びメモリ制御部１１５を介して、或いは、メモリ制御部１１５を介してメモリ１３２に直接書き込まれる。メモリ１３２は、撮像部１２２によって得られＡ／Ｄ変換器１２３によりデジタルデータに変換された画像データや、表示部１２８に表示するための画像データを格納する。メモリ１３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００１５】
また、メモリ１３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。１１３はＤ／Ａ変換器であり、メモリ１３２に格納されている画像表示用のデータをアナログ信号に変換して表示部１２８に供給する。こうして、メモリ１３２に書き込まれた表示用の画像データはＤ／Ａ変換器１１３を介して表示部１２８により表示される。表示部１２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１１３からのアナログ信号に応じた表示を行う。
【００１６】
不揮発性メモリ１５６は、電気的に消去・記録可能なメモリであり、たとえばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１５６には、システム制御部１５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述するフローチャートを実行するためのプログラムのことである。
【００１７】
１５０はシステム制御部であり、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ１５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。１５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ１５２には、システム制御部１５０の動作用の定数、変数、不揮発性メモリ１５６から読み出したプログラム等を展開する。また、システム制御部１５０はメモリ１３２、Ｄ／Ａ変換器１１３、表示部１２８等を制御することにより表示制御も行う。
【００１８】
モード切り替えスイッチ１６０、シャッターボタン１６１、第１シャッタースイッチ１６２、第２シャッタースイッチ１６３、操作部１７０はシステム制御部１５０に各種の動作指示を入力するための操作手段である。
【００１９】
モード切り替えスイッチ１６０は、システム制御部１５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。
【００２０】
静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード、またメインカメラとサブカメラの両方で撮影可能な複数カメラ同時撮影モード等がある。複数カメラ同時撮影モードについては、後述する［実施例１］で詳細を説明する。
【００２１】
モード切り替えスイッチ１６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ１６０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【００２２】
第１シャッタースイッチ１６２は、デジタルカメラ１００に設けられたシャッターボタン１６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。もし、モード切換えスイッチ１６０のポジションが複数カメラ同時撮影モードであった場合に第１シャッタースイッチ１６２がＯＮとなった場合は、サブカメラ側でもＡＦ処理、ＡＥ処理などの動作を開始する。
【００２３】
第２シャッタースイッチ１６３は、シャッターボタン１６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部１５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部１２２からの信号読み出しから記録媒体１０４に画像データを書き込むまでの一連の撮影処理の動作を開始する。ここでもし、モード切換えスイッチ１６０のポジションが複数カメラ同時撮影モードであった場合には、撮像部１９４からの信号読み出しから記録媒体１０４に画像データを書き込むまでの一連の撮影処理を撮像部１２２からの一連の処理と同時に行う。
【００２４】
このとき、撮像部１２２および撮像部１９４からの読み出した信号に画像処理部１２４で色空間変換など画像処理を行った出力デジタル画像データを一旦メモリ１３２に保存しておき、メインカメラ側の画像データとサブカメラ側の画像データを像処理部１２４でメモリ１３２から読み出して、１枚の画像データに合成してから記録媒体１０４に画像データを書き込む処理を行っても良い。
【００２５】
操作部１７０の各操作部材は、表示部１２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、たとえば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。たとえば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１２８に表示される。利用者は、表示部１２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００２６】
１８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部１８０は、その検出結果及びシステム制御部１５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１０４を含む各部へ供給する。
【００２７】
１３０は電源部であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。１１８はメモリカードやハードディスク等の記録媒体１０４とのインターフェースである。記録媒体１０４は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。１７２は電源スイッチであり、電源オン、電源オフを切り替える。
【００２８】
１９０は顔検出部である。顔検出部１９０においては、画像データに含まれる被写体から、目、口等のエッジを検出して人物の顔の特徴部分を検出する。すなわち、顔が占める画像データの領域（顔位置と顔の大きさ）、顔の確からしさ（顔信頼度）から、その画像領域のデータを顔画像データとして検出する顔検出処理や識別処理を実行する。
【００２９】
１９５はベストショット検出部である。ベストショット検出部１９５においては、画像データと顔検出部１９０が検出した顔位置情報から笑顔等の顔の表情を判別し、ベストショット画像を検出する。
【００３０】
ベストショット画像とは、ユーザが好ましいと思う画像、即ち、被写体が正面を向いている、笑顔である、ブレが無い、或いはピントが合っているといった撮影画像のことを指す。
【００３１】
なお、顔の表情を判別する具体的な方法としては、顔を構成する目、鼻および口等の顔構成部品の輪郭、並びに目頭、目尻、小鼻、口角および唇の位置等の顔構成部品の位置等、表情の算出に必要な特徴量を取得する。特徴量を取得する手法としては、各顔構成部品のテンプレートを用いたテンプレートマッチングによる手法や、顔構成部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔構成部品毎の判別器を用いる手法等により取得することができる。そして、特徴量に基づいて、顔が特定の表情である度合を示す表情レベルを算出し、顔が特定の表情であるかどうかを判別する。なお、表情を判別する手法としては、これに限定されるものではなく、公知の種々の手法を用いることができる。
【００３２】
図１に示して説明した撮像装置の構成は一例であり、以下に説明する動作を実行できるのであれば、本発明に係る撮像装置の構成は、図１に示した構成に限定されるものではない。
【００３３】
図２は、デジタルカメラ１００の外観例である。図２（ａ）はデジタルカメラ１００の前面部の外観例、図２（ｂ）はデジタルカメラ１００の背面部の外観例である。１０３は被写体を撮像するメイン側の撮像レンズ、１６１はシャッターボタン、２０３はストロボである。
【００３４】
１９３は撮影者を撮影するサブ側の撮像レンズ、１７０は操作ボタン、２０６は表示部１２８の表示器にあたるＬＣＤである。ＬＣＤ２０６において、撮影者を撮影するサブ側の撮像レンズ１９３はＬＣＤ２０６の面に設置される。ＬＣＤ２０６が可動式である場合は、撮影者を撮影するサブ側の撮像レンズ１９３も共に動く。
【００３５】
［実施例１］
図３を参照して、第１の実施例の動作を詳細に説明する。
【００３６】
図３は複数カメラ同時撮影モードの処理の流れを示したフローチャートである。
【００３７】
まずＳ３０１でデジタルカメラ１００のシャッターボタン１６１が押されたかどうかを判定する。シャッターボタン１６１が押されたときは、Ｓ３０２ではメインカメラで被写体の撮影を行い、画像処理部１２４で色空間変換など画像処理を行ってデジタル画像データをメモリ１３２に記録する。
【００３８】
Ｓ３０４では、複数カメラ同時撮影モード開始前の撮影待機中にサブカメラで撮像された画像に人物の顔領域が含まれているかどうかを顔検出部１９０で検出する。人物の顔領域が含まれていないと判断された時には、Ｓ３１１に進む。
【００３９】
Ｓ３１１で、Ｓ３０２でサブカメラの撮影を行い、画像処理部１２４で色空間変換など画像処理を行ってデジタル画像データをメモリ１３２に記録し、Ｓ３０９に進む。
【００４０】
一方、人物の顔領域が含まれていると判断された時には、Ｓ３０３で所定時間待つ。デジタルカメラ１００のストロボ２０３を発光させてメインカメラの撮影を行うストロボ撮影の場合において、サブカメラ側の撮影をメインカメラの撮影と同期して行うと、サブカメラ側がストロボの反射光により、適正な露出での撮影ができない、また撮影者が目を瞑ってしまうといった影響を受けてしまう。この影響を無くすために、所定時間待ってからサブカメラの撮影を行う。この所定時間は、サブカメラの撮影がストロボ発光の影響を受けないように１０ミリ秒などと固定値を設定しても良いし、ストロボの発光量により、ストロボ発光の影響を受けない最適な待ち時間になるように調整を行っても良い。また、メインカメラのストロボ撮影を行わない場合は、ストロボ撮影を行う場合より待ち時間を少なくす、もしくは待ち時間を無くしても良い。
【００４１】
Ｓ３０３では、サブカメラの撮影を行い、画像処理部１２４で色空間変換など画像処理を行ってデジタル画像データをメモリ１３２に記録する。サブカメラは被写体を撮影したときの撮影者の表情を記録することができる。
【００４２】
Ｓ３０５以降のステップで被写体を撮影した時の撮影者のベストショットを記録するため、サブカメラで複数回撮影を行う。
【００４３】
まず、Ｓ３０５で所定時間待つ。この所定時間は、サブカメラで撮影してから次にまたサブカメラで撮影を開始するまでの期間である。たとえば、複数カメラ同時撮影モードを開始するより前に、デジタルカメラ１００の使用者がメニュー設定時に１００ミリ秒など任意に設定できるようにしても良いし、あらかじめ決められた固定値としても良い。
【００４４】
次にＳ３０６に進み、サブカメラの撮影および記録処理を行う。
【００４５】
Ｓ３０７では、サブカメラでの撮影が所定回数行われたか判断する。この所定回数は、たとえば、複数カメラ同時撮影モードを開始するより前に、デジタルカメラ１００の使用者がメニュー設定時に１０回など任意に設定できるようにしても良いし、あらかじめ決められた固定値としても良い。
【００４６】
Ｓ３０７でサブカメラの撮影回数が所定回数に達していないと判断された時は、Ｓ３０５に進み、所定回数に達するまでＳ３０５からＳ３０７までの処理を繰り返し行う。
【００４７】
Ｓ３０７でサブカメラの撮影回数が所定回数に達した場合は、次のステップに進む。
【００４８】
Ｓ３０８では、Ｓ３０３およびＳ３０６で撮影された複数のサブカメラの画像データから、顔検出部１９０でそれぞれのデータから顔領域を抽出し、ベストショット検出部１９５で顔検出部１９０が検出した顔位置情報から顔の表情を判別し、ベストショット画像を検出し、ベストショット画像１枚を選択する。
【００４９】
Ｓ３０９では、メインカメラで撮影した画像データとＳ３０８で選択されたサブカメラで撮影した画像データを関連付けて記録媒体１０４に記録する。関連付ける方法としては、たとえば、それぞれの画像は別々に記録して、画像のタグ情報などにお互いに関連のある画像であることを付加しても良いし、それぞれの画像を合成して、画像のタイムスタンプはメインカメラ側に合わせて１枚の画像として記録しても良い。
【００５０】
図４（ｂ）にメインカメラの画像とサブカメラの画像を合成して１枚の画像として記録する場合の画像データの一例を示す。一方、図４（ａ）は従来の技術を用いてメインカメラとサブカメラを同時に撮影して画像を合成し、１枚の画像として記録した場合の画像データの一例を示す。
【００５１】
ここで、Ｓ３０５の所定時間およびＳ３０７の所定回数について、撮影者は被写体を見て反応するため、撮影後の撮影者の反応速度を考慮した所定時間および所定回数を設定する必要があるが、上述した例以外にも、顔検出部１９０で検出および認識された顔の識別により、たとえば１０歳以下と判定された場合、子供であるので動きが多いことから、設定された所定回数＋Ｎ枚を設定する、設定された所定時間を半分に設定する等のように撮影条件を変更、設定するようにしてもよい。また、認識された顔の識別により「登録された人」と判定された場合、より確実にベストショットを確保するために、撮影枚数を増やす等のように撮影条件を変更、設定するようにしてもよい。また、認識された顔の識別により性別を判定し、撮影枚数を増減させる等のように撮影条件を変更、設定するようにしてもよい。
【００５２】
以上、説明したように、本第１の実施形態では、メインの撮像手段で被写体を撮影および、サブの撮像手段で撮影者を撮影する撮像装置において、撮影後の撮影者の反応速度を考慮して、サブカメラの撮影を複数回行い、その中からベストショットを選択することで図４（ｂ）に一例として示したように被写体と撮影者のベストショットを関連付けて記録することが可能となる。
【００５３】
なお、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるもの
ではなく、対象となる回路形態により適時変更されて適応するべきものである。
【符号の説明】
【００５４】
１００  デジタルカメラ
１０２  バリア
１０３  撮像レンズ
１０１  シャッター
１２２  撮像部
１９３  撮像レンズ
１９１  シャッター
１９４  撮像部
１９０  顔検出部
１９５  ベストショット検出部
１２３  Ａ／Ｄ変換器
１２４  画像処理部
１１５  メモリ制御部
１１３  Ｄ／Ａ変換器
１２８  表示部
１３２  メモリ
１５０  システム制御部
１７０  操作部
１６１  シャッターボタン
１６２  第１シャッタースイッチ
１６３  第２シャッタースイッチ
１６０  モード切り替えスイッチ
１７２  電源スイッチ
１８０  電源制御部
１３０  電源部
１５６  不揮発性メモリ
１５２  システムメモリ
１１８  Ｉ／Ｆ
１０４  記録媒体
２０３  ストロボ
２０６  ＬＣＤ
【図３】
2015171121.tif 000003
【図１】
2015171121.tif 000004
【図２】
2015171121.tif 000005
【図４】
2015171121.tif 000006