(57)【要約】  【課題】メインカメラで撮影した画像に複数の別カメラで撮影した画像を子画面としてワイプ表示する撮像装置において、メインンカメラで撮影している画像と類似度の高い画像を子画面として出力してしまうと、親画面と子画面の間に差分が無く同時に見ても意味の無い画像がワイプ表示されてしまう。  【解決手段】メインカメラで撮影している被写体と同一被写体が撮影されている別カメラの画像それぞれに対して、メインカメラで撮影された画像との差分の度合いを示す相違度を求める。別カメラの画像それぞれに求めた相違度から、最もメインカメラの画像との差分の大きいと算出されたカメラの画像を子画面として選択する。【選択図】図２
2018107553.tif 000002
【特許請求の範囲】
【請求項１】
メインカメラで撮影した画像を親画面とし、メインカメラ以外の複数のサブカメラで撮影した画像を子画面として表示または記録する機能を持つ撮像装置において、メインカメラの画像とサブカメラの画像との相違度の評価値を算出する手段を持ち、サブカメラで撮影されてメインンカメラと同一被写体が写された画像の中から、相違度の評価値に基づいて子画面とする画像を選択することを特徴とする撮像装置。
【請求項２】
メインカメラとサブカメラの画像に対して人物の検出を行い、同一被写体が写されたかどうかは人物の認証を行ったけっかに応じて判断することを特徴とする請求項１に記載の撮像装置。
【請求項３】
相違度の評価値は、メインカメラとサブカメラとの画像において、認証された人物の顔のサイズや向きまたは画面位置の差分、認証された人物の顔以外に検出されている人物の顔の個数の差分、人物の顔以外の背景の輝度や色の差分のいずれか１つの差分情報から生成されたことを特徴とする請求項２に記載の撮像装置。
【請求項４】
メインカメラの画像との相違度が高い評価値のサブカメラの画像を子画面とするを選択することを特徴とする請求項１に記載の撮像装置。
【請求項５】
子画面の画像を所定時間ごとに更新する請求項１に記載の撮像装置であって、メインカメラとサブカメラとの相違度の評価値に応じて子画面の画像の更新タイミングを変更することを特徴とする。
【請求項６】
メインカメラとサブカメラとの相違度の評価値が基準に満たない場合、子画面を表示しないことを特徴とする請求項１に記載の撮像装置。
【請求項７】
メインカメラの画像と同一被写体が写っているサブカメラの画像が無い場合は、メインカメラで人物を認証するための辞書データに登録されている人物が写っているサブカメラの画像を優先して子画面とする画像として選択することを特徴とする請求項１に記載の撮像装置。
【請求項８】
サブカメラの画像は外部のカメラと通信により得られた画像を含むことを特徴とする請求項１に記載の撮像装置。
【請求項９】
メインカメラで撮影した画像を親画面とし、メインカメラ以外の複数のサブカメラで撮影した画像を子画面として表示または記録する機能を持つ撮像装置において、メインカメラの画像とサブカメラの画像との相違度の評価値を算出する手段を持ち、相違度の評価値に基づいて子画面を表示するかしないかの判定と子画面を表示する場合はサブカメラで撮影した画像の中から相違度の評価値に基づいて子画面とする画像を選択を実施することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像装置における制御方法に関する。
【背景技術】
【０００２】
従来より同一シーンを多角的に表現するために、メインのカメラで撮影している親画像の中に別カメラやスマートフォンで撮影された画像などを子画面として画像表示装置にワイプ表示したり、ワイプ表示した状態の画像を記録する機能を備えた撮像装置がある。例えば、特許文献１では同一被写体の様子をリアルタイムに比較しながら撮影を行うことを可能とするために、像表示装置の親画面に子画面をワイプ出力し、子画面の画像として表示する画像を記録された画像の中から親画面と類似度の高い画像を抽出して選択する撮像装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許４１７３３７９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば親画面と子画面を組み合わせて表示または記録する撮像装置において、メインカメラとは別のカメラが複数存在している場合など子画面とする画像が複数存在する場合は、子画面を表示するスペースやワイプ表示の見易さの問題などにより、複数の画像の中から子画面とする画像を絞り込んで選択する必要がある。
【０００５】
しかしながら、メインカメラで撮影している画像と類似度の高い画像を子画面として出力すると、親画面と子画面の間に差分が無くなってしまうことがある。そのため、同時に見る意味の無い画像をワイプ表示され、複数カメラの撮影による画像表示または画像記録の意味が無くなってしまう場合がある。
【課題を解決するための手段】
【０００６】
そこで、メインカメラで撮影している被写体と同一被写体が撮影されている別カメラの画像それぞれに対して、メインカメラで撮影された画像との差分の度合いを示す相違度を求める。別カメラの画像それぞれに求めた相違度から、最もメインカメラの画像との差分の大きいと算出されたカメラの画像を子画面として選択する。
【発明の効果】
【０００７】
親画面と子画面の両方で同一被写を撮影していても、子画面としてインカメラの画像との画像差分の大きい画像を選択することによって、子画面は親画面に対して同一被写体を異なる視点でとらえた画像となる。異なる視点の画像を組み合わせて記録することによって、同一被写体が写っていても互いの画像の視点の違いにより複数カメラの撮影による子画面表示の効果を発揮することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の構成の例を示すデジタルカメラを示す図である
【図２】本実施例を示すフローチャートである
【図３】本実施例の相違度を求める例を示す図である
【図４】本実施例の相違度を求める例を示すグラフである
【図５】本実施例の相違度を求める例を示す図である
【図６】本実施例の相違度を求める例を示すグラフである
【図７】本実施例の相違度を求める例を示す図である
【図８】本実施例の相違度を求める例を示すグラフである
【図９】本実施例の相違度を求める例を示す図である
【図１０】本実施例の相違度を求める例を示すグラフである
【図１１】本実施例の相違度を求める例を示す図である
【図１２】本実施例の相違度を求める例を示すグラフである
【図１３】メインカメラで撮影された画像選択された子画面とする画像の例を示す図である
【発明を実施するための形態】
【０００９】
本発明をデジタルカメラを例に用いて説明をおこなう。以下、図面を参照して本発明の実施例を説明する。図１は、本発明の実施例の構成を示す図である。図１において、１００は画像処理装置である。撮像装置１００はメインカメラとサブカメラの２つの撮像部を備えている。１０−１はメインカメラ１０−２はサブカメラの撮影レンズ、１２−１はメインカメラ１２−２はサブカメラの絞り機能を備える機械式シャッター、１４−１はメインカメラ１４−２はサブカメラの光学像を電気信号に変換する撮像素子、１６−１および１６−２は撮像素子１４−１および１４−２に対応するアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。
【００１０】
１８−１および１８−２は対応する撮像素子１４−１、１４−２、対応するＡ／Ｄ変換器１６−１，１６−２にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。１２−１および１２−２の機械式シャッター以外にも、１８−１または１８−２の撮像素子のリセットタイミングの制御によって、電子シャッタとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。
【００１１】
２０−１および２０−２は画像処理回路であり、  Ａ／Ｄ変換器１６−１または１６−２からのデータ或いはメモリ制御回路２２からのデータに対して画像拡大／縮小のための画素補間処理や色変換処理、ノイズ除去処理やエッジ強調処理などを行う。また、画像処理回路２０−１および２０−２においてはメモリ制御回路２２からの画像データに対して顔領域を検出する顔検出処理や顔認証のための顔の特徴データの生成なども行う。
【００１２】
その他にも、画像処理回路２０−１および２０−２では、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理をするために撮像した画像データを用いて所定の演算処理を行い、得られた演算結果をＷＢ（ホワイトバランス）評価値として算出したり、算出されたＷＢ評価値を基に画像データの色の変換なども行う。さらに、画像処理回路２０−１および２０−２では、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理を行うための、ＡＦ評価値、ＡＥ評価値、ＥＦ評価値を算出するために、撮像した画像データを用いて所定の演算処理を行う。
【００１３】
得られたＡＦ評価値、ＡＥ評価値、ＥＦ評価値を基にシステム制御回路５０が、アルゴリズムに従って露光制御手段４０−１や４０−２、測距制御手段４２−１や４２−２に対して制御を行う。２２はメモリ制御回路であり、Ａ／Ｄ変換器１６−１および１６−２、タイミング発生回路１８−１および１８−２、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。
【００１４】
２８はＴＦＴ  ＬＣＤ等から成る画像表示部であり、メモリ３０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。また、画像表示部２８はメモリ３０に書き込まれた複数の画像を同時に表示することも可能である。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。
【００１５】
また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を扱う場合や動画撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。
【００１６】
また、メモリ３０は認証用の特徴データを一時記憶する領域やシステム制御回路５０の作業領域としても使用することが可能である。３１はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内には認証用の顔の特徴データを辞書データとして記憶する領域や、システム情報を記憶する領域、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。
【００１７】
３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。４０−１はメインカメラ４０−２はサブカメラ用の露光制御手段で絞り機能を備えるシャッター１２−１または１２−２を制御する。４２−１はメインカメラ４２−２はサブカメラ用の測距制御手段で、撮影レンズ１０−１または１０−２のフォーカシングを制御し、４４−１はメインカメラ４４−２はサブカメラ用のズーム制御手段で撮影レンズ１０−１または１０−２のズーミングを制御する。
【００１８】
４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段４０−１および４０−２、測距制御手段４２−１および４２−２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０−１または２０−２によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２−１または４２−２に対して制御を行う。
【００１９】
５０は画像処理装置１００全体を制御するシステム制御回路である。６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００２０】
ここで、これらの操作手段の具体的な説明を行う。６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、複数カメラの同時撮影モードや再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。６２はシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、モードダイアルスイッチ６０で設定したオードに応じてメインカメラかサブカメラ、メインカメラとサブカメラの両方に対して、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。
【００２１】
６４はシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなる。フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４−１と１４−２の少なくとも一方を露光させ、フラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御手段４０−１または４０−２の少なくとも一方により遮光することで、撮像素子１４−１または１４−２の少なくとも一方への露光を終了させる。
【００２２】
撮像素子１４−１または１４−２から読み出した信号をＡ／Ｄ変換器１６−１または１６−２、メモリ制御回路２２を介してメモリ３０に画像データを書き込む読み出し処理、画像処理回路２０−１または２０−２やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行う、次に記録媒体２００に画像データを書き込む記録処理という一連の処理の動作開始を指示する。また、６４のシャッタースイッチＳＷ２の発動によりモードダイアルスイッチ６０で設定したオードに応じて後述する通信装置１１０を介して画像を取得する。
【００２３】
６６は表示切替スイッチで、画像表示部２８の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ  ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。
【００２４】
７２−１または７２−２はユーザーが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチ部である。以下、ズームスイッチ７２−１または７２−２ともいう。このズームスイッチ７２−１または７２−２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御手段４４−１または４４−２を制御して撮影レンズ１０−１または１０−２の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０−１または２０−２による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。
【００２５】
８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源手段である。９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能であり、親画面と子画面表示の同時表示をすることが可能である。
【００２６】
１１０は無線通信を用いた通信装置であり、外部のカメラやスマートフォン等と通信を行うことによって画像データやメタデータを送受信することが可能であり、受信した画像データやメタデータはシステム制御５０の指示によりメモリ制御２２を介してメモリ３０に一時記憶することができる。２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。２１０はメモリカードやハードディスク等の記録媒体である。
【００２７】
本発明による実施例を図２のフローを用いて説明する。図２のフローの開始時には既にメインカメラの画像はメモリ３０に記憶されており、メインカメラの画像は親画面の画像としてとして記録される。図２のフローでは子画面とする画像の選択をするためのフローである。
【００２８】
Ｓ２０１ではメインカメラ以外の別カメラの画像を取得し、メモリ３０に一時記憶する。メインカメラ以外の画像は撮像装置１００のサブカメラから取得した画像、もしくは通信装置１１０を介して外部のカメラやスマートフォン等から受信した画像である。通信装置１１０では複数の外部器機と同期を取って画像を受信することができる。
【００２９】
Ｓ２０２ではＳ２０１で取得して画像に対してメインカメラと同一人物が撮影撮影されているかどうかを判定する。同一人物が撮影されているかどうかは、画像処理回路２０−１または２０−２を用いてメモリ３０に一時記憶されたメインカメラの画像とＳ２０１で取得した各々の画像に対して特徴情報を生成して個人認証を実施することによって判定する。メインカメラの画像とそれ以外の画像で複数の人物が写っていた場合、メインカメラで主被写体となった人物が撮影されているかどうかで判断する。
【００３０】
また認証方法において、画像データ関連付けられた特徴量データを含むメタデータを外部カメラで生成し、通信装置１１０を介して画像と取得して認証に使用したり、外部カメラで識別した人物を表す情報をメタデータ埋め込んでおいたものを使用しても構わない。Ｓ２０２でメインカメラと同一人物が撮影されていれば子画面の候補として残し、同一人物が撮影されていないと判定された場合はその画像を子画面候補から外してＳ２０３に遷移する。Ｓ２０３では子画面候補となる画像ごとに名カメラの画像との総合的な相違評価値Ｄｉｆｆ＿Ａｌｌを算出する。違評価値Ｄｉｆｆ＿Ａｌｌを求めるまでの例を相違度算出の例を図３〜図１１を用いて説明する。
【００３１】
総合的な相違評価値Ｄｉｆｆ＿Ａｌｌを求めるためにはＤｉｆｆ０１、Ｄｉｆｆ０２、Ｄｉｆｆ０３、Ｄｉｆｆ０４、Ｄｉｆｆ０５を求める。まず、横顔角度の相違評価値をＤｉｆｆ０１を求めるためにＳ２０２において同一人物とされた被写体の顏の横向き角度を算出し、メインカメラの画像の顏角度との差分を算出する。ここで、メインカメラは撮像装置１００のメインカメラとし、カメラ（ａ）は撮像装置１００のサブカメラとし、カメラ（ｂ）は通信装置１１０を介して画像取得できる外部のカメラとする。
【００３２】
例えば、図３のようにメインカメラの人物の顔が正面顔であった場合、顏角度は０度とする。カメラ（ａ）で撮影された人物の角度は右に４５度であった場合、カメラ（ａ）の横顏角度の差分は４５度とする。カメラ（ｂ）で撮影された人物の角度が左に９０度であった場合は横顏角度の差分は９０度とする。横顏角度の差分が求まったら図４を例に横顔角度の相違評価値をＤｉｆｆ０１を求める。図４のグラフの横軸は横顏角度の差分角度で、縦軸は相違評価値である。図４に照らし合わせるとカメラ（ａ）の相違評価値は５でカメラ（ｂ）の相違評価値は１０である。
【００３３】
次に顔の大きさによる相違評価値Ｄｉｆｆ０２の求め方を図５と図６を用いて説明する。図５は各カメラで撮影された同一人物の顔の大きさを示しており、点線の正方形が人物の顔の大きさを示している。点線を基に各々のカメラで撮影された顏の大きさに相当するピクセル数を求める。各々のカメラの解像度が異なる場合、解像度をメインカメラ相当に換算して算出する。
【００３４】
各々のカメラで撮影された顔の大きさから、メインカメラとのピクセル数の差分の絶対値を求め、図５に示されたグラフから顔の大きさによる相違評価値Ｄｉｆｆ０２を求める。図４の場合、カメラ（ａ）の相違評価値Ｄｉｆｆ０２の方が大ききくなるか、もしくは両方ともメインカメラとの顔の大きさの差分が５０ピクセルを超えていた場合はＤｉｆｆ０２はカメラ（ａ）とカメラ（ｂ）共に１０になる。
【００３５】
次に図７と図８を用いて顔の位置による相違評価値Ｄｉｆｆ０３の求め方を説明する。図７のようにそれぞれのカメラの同一人物の位置を特定する。顔の中心を点線枠の重心とし、メインカメラとカメラ（ａ）、カメラ（ｂ）との顔位置の差分を求める。メインカメラと他のカメラで解像度やアスペクトが異なる場合は、メインカメラの解像度とアスペクトに座標変換を行って顔位置の差分を求める。
【００３６】
顔位置の差分を求めたら図８を用いて相違評価値Ｄｉｆｆ０３を求める。横軸は、メイン画像の画角の対角線を１００％とした場合の顔位置の差分であり、縦軸は相違評価値Ｄｉｆｆ０３である。図７の場合はカメラ（ｂ）の方が相違評価値Ｄｉｆｆ０３が大きくなる。
【００３７】
図９と図１０を用いて他の被写体による相違評価値Ｄｉｆｆ０４の求め方を説明する。まず、それぞれのカメラに対してメインカメラに写っていない被写体の数量を求める。メインカメラに写っていない被写体としてカウントするものは人物だけであっても構わないし、物体検出を行って人物と物体を含めた数でも構わない。図９の場合カメラ（ａ）はメインカメラに写っていない被写体の数量は２であり、カメラ（ｂ）は２人ともメインカメラに写っているため０である。図１０を用いて他の被写体による相違評価値Ｄｉｆｆ０４を求めると、カメラ（ａ）の方がカメラ（ｂ）に対してＤｉｆｆ０４が高くなる。
【００３８】
図１１と図１２を用いて背景の輝度差分にによる相違評価値Ｄｉｆｆ０５の求め方を説明する。まず、それぞれのカメラで撮影した画像からメインカメラと同一人物被写体の顔領域を除いた輝度平均を求める。それぞれのカメラで撮影した例を図１１に示す。顔領域を点線で示す領域とし、それぞれのカメラで撮影した輝度値を求めて、メインカメラの輝度値との差分を求める。図１２を用いてメインカメラの輝度値との差分から背景の輝度差分にによる相違評価値Ｄｉｆｆ０５を求める。
【００３９】
本実施例では背景の輝度差分にによる相違評価値を求めたが、背景の色差分による相違評価値を算出しても構わない。これまで求めた相違評価値Ｄｉｆｆ０１からＤｉｆｆ０５までを使用して総合的な相違評価値Ｄｉｆｆ＿Ａｌｌを求める。Ｄｉｆｆ＿Ａｌｌの求め方の１例としてをＤｉｆｆ＿ＡｌｌはＤｉｆｆ０１からＤｉｆｆ０５までを掛けせたものとする。メイン画像以外の各画像に対し相違評価値Ｄｉｆｆ＿Ａｌｌを求めたら、Ｓ２０４に遷移する。Ｓ２０４では相違評価値Ｄｉｆｆ＿Ａｌｌを基に子画面とする画像を選択する。子画面とする画像は最も相違評価値Ｄｉｆｆ＿Ａｌｌが高い画像を子画面とする。
【００４０】
子画面が決定したらＳ２０５に移動しメインカメラで撮影された画像に対し、選択された子画面とする画像をワイプ表示してメインカメラで撮影された画像選択された子画面とする画像を同時に記録、または表示と同じくメインカメラで撮影された画像選択された子画面とする画像を重ねあわせた状態で記録する。メインカメラで撮影された画像選択された子画面とする画像の例を図１３に示す。
【００４１】
本実施例での説明は例に過ぎず、Ｄｉｆｆ０１からＤｉｆｆ０５を使用して相違評価値Ｄｉｆｆ＿Ａｌｌを求めるにあたって上述したような掛け合わせだけでなく、足し合わせにしたり、Ｄｉｆｆ０１からＤｉｆｆ０５に対して重み付け等を行っても構わないない。また、相違評価値Ｄｉｆｆ＿Ａｌｌを求めるために別の相違基準を用いて算出して使用しても構わない。
【００４２】
また、親画面と子画面の組み合わせは静止画に使用しても構わないし動画に使用しても構わない。また、動画に使用する場合においては、毎フレーム子画面として決定するフローを用いても構わないし、子画面を選択するフレームを間引いても構わないし、シーンの切り替わりなどで子画面として決定するフローを用いても構わない。子画面として決定するフローが連続していないときは、切り替わるまで子画面に使用する画像は同じカメラで撮影された画像を使用する。
【００４３】
メインカメラとサブカメラの撮像タイミングや通信状況などにより、メインカメラと同期して子画面として使用する画像が取得できない場合がある。その場合は、子画面を更新するタイミングをサブカメラのいずれかのタイミングに合わせて子画面として決定するフローを実行したり、通信が確立しているカメラの画像を対象として子画面として決定するフローを実行して子画面を更新しても構わない。
【００４４】
さらにメインカメラとサブカメラの相違が大きい場合はサブカメラの画像の更新タイミングを遅くしてメインカメラとサブカメラの相違を見せるようなタイミング制御をするなど相違に応じて子画面の更新を変更しても構わない。また、図２のＳ２０２においてメインカメラの画像の人物と同一人物が写っているサブカメラの画像が無い場合は、同一人物の代わりにメインカメラの認証辞書に登録されている人物が写っているかどうかをＳ２０２で判定してＳ２０３に遷移して相違度判定から子画面とする画像を決定する方法を取っても構わない。
【００４５】
図２のＳ２０４において子画面とする画像は最も相違評価値Ｄｉｆｆ＿Ａｌｌが高い画像としたが、例えば相違評価値Ｄｉｆｆ＿Ａｌｌに閾値を設け基準値に満たない場合は子画面を無しとしても構わないし、複数基準を満たした場合は子画面を複数としても構わない。
【００４６】
本実施例での撮像装置１００の構成は、メインカメラとサブカメラの構成となっていたが、撮像装置１００はメインカメラだけを備えていて、サブカメラの画像はすべて通信装置１１０を用いて外部のカメラから取得しても構わない。
【符号の説明】
【００４７】
１０−１：メインカメラ撮影レンズ  １２−１：メインカメラシャッター  １４−１：メインカメラ撮像素子  
１６−１：メインカメラＡ／Ｄ変換器  １８−１：メインカメラタイミング発生回路  
２０−１：メインカメラ画像処理回路  
１０−２：サブカメラ撮影レンズ  １２−２：サブカメラシャッター  １４−２：サブカメラ撮像素子
１６−２：サブカメラＡ／Ｄ変換器  １８−２：サブカメラタイミング発生回路  
２０−２：サブカメラ画像処理回路  
２２：メモリ制御回路  ２８：画像表示部  ３０：メモリ  ３２：画像圧縮・伸長回路
４０−１：メインカメラ露光制御手段  ４２−１：メインカメラ測距制御手段  
４４−１：メインカメラズーム制御手段  ４８：フラッシュ  
４０−２：サブカメラ露光制御手段  ４２−２：サブカメラ測距制御手段
４４−２：サブカメラズーム制御手段
５０：システム制御回路
６０：モードダイアルスイッチ  ６２：シャッタースイッチＳＷ１  ６４：シャッタースイッチＳＷ２  
６６：表示切替スイッチ  ７０：操作部  ７２：ズームスイッチ
９０：インタフェース  ９２：コネクタ
１００：画像処理装置  １０２：保護手段  １０４：光学ファインダ１０６：ジャイロセンサ
１１０：ＧＰＳ
２００：記録媒体  ２０２：記録部  ２０４：インタフェース  ２０６：コネクタ
【図１】
2018107553.tif 000003
【図２】
2018107553.tif 000004
【図３】
2018107553.tif 000005
【図４】
2018107553.tif 000006
【図５】
2018107553.tif 000007
【図６】
2018107553.tif 000008
【図７】
2018107553.tif 000009
【図８】
2018107553.tif 000010
【図９】
2018107553.tif 000011
【図１０】
2018107553.tif 000012
【図１１】
2018107553.tif 000013
【図１２】
2018107553.tif 000014
【図１３】
2018107553.tif 000015