(57)【要約】【課題】メガネ型ウェアラブル機器を装着しながら撮像装置で撮像する際に、ユーザの満足度の高い画像を撮影することができる撮像装置を提供すること。【解決手段】メガネ型ウェアラブル機器を利用する被写体の認識結果により、被写体を誘導するための枠の位置を計算し、枠位置計算結果により、撮像措置のキャプチャ部から取得する画像から最適な結果を判断する最適枠の判断手段と、最適枠の判断手段から得た最適な結果をメガネ型ウェアラブル機器で表示し、且最適枠と合わせる時ユーザに通知するための情報を表示する枠表示手段と、撮像装置の画像キャプチャ手段からキャプチャした画像により被写体の動きを検知する動き検知手段と、検知結果により、最適枠を更新するかどうかを判断し、且検知結果により最適枠であるかどうか判断する判断手段を備えたことを特徴とする。【選択図】  図１
2018033054.tif 000002
【特許請求の範囲】
【請求項１】
表示手段（１２０）、通信手段（１１５）と画像キャプチャ手段（１１６）を有するメガネ型ウェアラブル機器と連携し、
上記のメガネ型ウェアラブル機器と通信する情報通信手段（１０８）と、
上記のメガネ型ウェアラブル機器を利用する被写体を認識し、被写体の位置を記録する被写体の認識手段と、
上記の被写体の認識手段から得た結果により、被写体を誘導するための枠の位置を計算する枠位置の計算手段と、
上記の枠位置の計算手段の計算結果により、撮像措置のキャプチャ部から取得する画像から最適な結果を判断する最適枠の判断手段と、
上記の最適枠の判断手段から得た最適な結果をメガネ型ウェアラブル機器で表示し、且最適枠と合わせる時ユーザに通知するための情報を表示する枠表示手段と、
撮像装置の画像キャプチャ手段（１１６）からキャプチャした画像により被写体の動きを検知する動き検知手段と、
上記の検知結果により、最適枠を更新するかどうかを判断し、且検知結果により最適枠であるかどうかの結果判断手段を特徴とする撮像装置。
【請求項２】
前記の枠位置の計算手段における「枠」が、前記の被写体の認識手段で認識された顔の枠（Ｓ３４）であることを特徴とした請求項１に記載の撮像装置。
【請求項３】
前記の動き検知手段における「動き」が、被写体の左右の動き（Ｓ８４）であることを特徴とした請求項１に記載の撮像装置。
【請求項４】
前記の動き検知手段における「動き」が、被写体の左右の動きと前後の動き（Ｓ１１０５、Ｓ１１０６、Ｓ１１０７）であることを特徴とした請求項１に記載の撮像装置。
【請求項５】
前記の枠表示手段における「最適枠と合わせる時ユーザに通知するための情報」が、枠の色、背景の色（Ｓ７４、Ｓ７５）であることを特徴とした請求項１に記載の撮像装置。
【請求項６】
表示手段（１２０）、通信手段（１１５）と画像キャプチャ手段（１１６）を有する複数のメガネ型ウェアラブル機器と連携し、
上記のメガネ型ウェアラブル機器と通信する情報通信手段（１０８）と、
上記のメガネ型ウェアラブル機器を利用する被写体を認識し、被写体の位置を記録する被写体の認識手段と、
上記の被写体の認識手段から得た結果により、被写体を誘導するための枠の位置を計算する枠位置の計算手段と、
上記の枠位置の計算手段の計算結果により、撮像措置のキャプチャ部から取得する画像から最適な結果を判断する最適枠の判断手段と、
上記の最適枠の判断手段から得た最適な結果をメガネ型ウェアラブル機器で表示し、且最適枠と合わせる時ユーザに通知するための情報を表示する枠表示手段と、
撮像装置の画像キャプチャ手段（１１６）からキャプチャした画像により被写体の動きを検知する動き検知手段と、
上記の検知結果により、最適枠を更新するかどうかを判断し、且検知結果により最適枠であるかどうかの結果判断手段と、
上記の結果判断手段によりレリーズタイミングを制御するレリーズ制御手段を特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メガネ型ウェアラブル機器と連携が可能な撮像装置に関し、特に被写体の位置情報に応じたメガネ型ウェアラブル機器で誘導情報を表示する制御に関するものである。
【背景技術】
【０００２】
従来、集合写真を撮影する時、或いは一人で旅行に行き自撮りをする時、自分の目がレンズを見ているが、自分の顔やポーズなどがちゃんと自分の想定通りで撮れるかどうかの確認ができない。例えば、自分の顔の半分を隠されるとか、顔上に他人の手を移されるとかの場合がある。この問題を解決するために、複数枚の画像を撮り、複数枚の画像を構成することが一般的に提供されている。
【０００３】
例えば、特許文献１では、写真を撮影する時、遮断された部分を複数枚の画像の中に検索し、遮断されない画像と部分合成するような画像合成の方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１９８０６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献に開示された従来技術では複数の画像は異なる時間で撮影するため、被写体が微妙に動く可能性があるため、補正された画像が不自然の可能性がある。且、被写体の顔など遮断される時、遮断物がなかなか移動しない場合に合成されても、成り立たない可能性がある。
【０００６】
そこで、本発明の目的は、メガネ型ウェアラブル機器を装着しながら撮像装置で撮像する際に、複数枚の画像を合成せずに、１回の撮影でユーザの満足度の高い画像を撮影する機能を提供することができる。
【課題を解決するための手段】
【０００７】
表示手段、通信手段と画像キャプチャ手段を有するメガネ型ウェアラブル機器と連携し、
上記のメガネ型ウェアラブル機器と通信する情報通信手段と、
上記のメガネ型ウェアラブル機器を利用する被写体を認識し、被写体の位置を記録する被写体の認識手段と、
上記の被写体の認識手段から得た結果により、被写体を誘導するための枠の位置を計算する枠位置の計算手段と、
上記の枠位置の計算手段の計算結果により、撮像措置のキャプチャ部から取得する画像から最適な結果を判断する最適枠の判断手段と、
上記の最適枠の判断手段から得た最適な結果をメガネ型ウェアラブル機器で表示し、且最適枠と合わせる時ユーザに通知するための情報を表示する枠表示手段と、
撮像装置の画像キャプチャ手段からキャプチャした画像により被写体の動きを検知する動き検知手段と、
上記の検知結果により、最適枠を更新するかどうかを判断し、且検知結果により最適枠であるかどうかの結果判断手段を持つことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、メガネ型ウェアラブル機器を装着しながら撮像装置で撮影する際に、画像合成をせずに、１回の撮影でユーザに満足度の高い画像が撮影する機能を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の基本構成図。
【図２】実施例１における撮像装置の制御に関する全体フローチャートである。
【図３】実施例１における被写体を認識する処理のフローチャートである。
【図４】実施例１における被写体を誘導するための枠の位置を計算する手段のフローチャートである。
【図５】実施例１における被写体を誘導するための枠の位置を計算する手段の処理のイメージ図である。
【図６】実施例１における誘導するための複数枠の中に最適枠を判断する手段のフローチャートである。
【図７】実施例１におけるメガネ型ウェアラブル機器で枠を表示する手段のフローチャートである。
【図８】実施例１における被写体の動きを検知する手段のフローチャートである。
【図９】実施例１における被写体の動きにより、撮像装置側キャプチャした画像とメガネ型ウェアラブル機器で表示した画像のイメージ図である。
【図１０】実施例２における複数個のメガネ型ウェアラブル機器と連携して撮像装置の制御に関する全体フローチャート図である。
【図１１】実施例１における被写体の動き（前後の動きを含む）を検知する手段のフローチャートである。
【図１２】実施例１における被写体の動き（前後の動きを含む）を検知する手段を用いる撮像装置の制御に関する全体フローチャートである。
【図１３】実施例１における被写体の動き（前後の動きを含む）により、撮像装置側      キャプチャした画像とメガネ型ウェアラブル機器で表示した画像のイメージ図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる撮像装置とメガネ型ウェアラブル機器の構成図である。
【００１１】
１００は撮影レンズである。撮影レンズの種類としては、単焦点レンズやズームレンズが存在する。１０１は撮像素子である。撮像素子１０１にはＣＣＤやＣＭＯＳセンサなどが用いられ、撮影レンズ１００によって結像された被写体像を電気信号に変換する。１０２はＡ／Ｄ変換器である。Ａ／Ｄ変換器１０２は撮像素子１０１のアナログ出力信号をデジタル信号に変換する。１０３はマイクロコンピュータである。マイクロコンピュータ１０３は各構成要素の制御やデータ処理など撮像装置全体を制御する。
【００１２】
本実施例で説明する、メガネ型機器の表示制御のタイミング、接眼検知センサとの通信等のすべての処理をマイクロコンピュータ１０３で行う。１０４は揮発性メモリである。揮発性メモリ１０４にはＡ／Ｄ変換器でデジタル信号に変換された画像データを一時的に保持する。１０５は不揮発性メモリである。不揮発性メモリ１０５にはマイクロコンピュータ１０３で処理する撮像装置の実行プログラムがある。１０６は光学ファインダーである。光学ファインダーを覗きながらユーザが撮影することを想定する。１０７は画像処理部である。
【００１３】
画像処理部１０７では、撮影された画像に対する画像処理を行う。また、撮影後の画像に対し、例えば再生メニューからのＲＡＷ現像機能や、フィルタ効果機能を提供する。１０８は通信部材である。メガネ型ウェアラブル機器との通信制御をおこなう。例えば、ＢｌｕｅＴｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙなどの技術を想定する。通信技術に関しては、特に本実施例では限定しない。１０９は接眼検知センサである。光学ファインダー１０６付近に位置させておき、光学ファインダーが覗かれたかどうか、眼検知センサ１０９を用いて検知する。検知した結果に関してはマイクロコンピュータ１０３で処理することを想定している。
【００１４】
１１０は表示部材である。液晶モニターなどを想定している。撮影して得られた画像の再生や、メニューの表示、再生画像のＲＡＷ現像ＵＩ表示、フィルタ処理のＵＩ表示を行う。また、本実施例では、主表示部材１１０にタッチパネルの機能を有する表示装置を想定している。タッチパネルの操作に応じて、マイクロコンピュータ１０３によって、操作部材１１３同等の制御が行えるものとする。操作部材１１３にはスイッチ、ボタンなどがあり、表示部材１１０で表示されたものに対する操作を行う。また、本実施例では、副表示部材１１１に表示パネルを想定している。撮影に関する設定値を表示する。音検知部材１１２は、外部環境の音を検知または記録する操作を行う。
【００１５】
メガネ型ウェアラブル機器の構成を説明する。１２０は表示部材である。表示部材１２０には、通信部材１０８を通して、撮像装置で生成された画像の表示を行うことが可能である。１１４はメガネ型ウェアラブル機器での撮像で使用するレンズである。１１５は通信部材である。撮像装置の通信部材１０８と通信する処理を制御する。撮像装置の通信部材１０８同様、例えば、ＢｌｕｅＴｏｏｔｈ（登録商標）  Ｌｏｗ Ｅｎｅｒｇｙなどの技術を想定する。通信技術に関しては、特に本実施例では限定しない。１１６はキャプチャ部材である。１１７は音を検知する部材である。１１８はメガネレンズである。
【００１６】
［実施例１］
以下、図２から図９、図１１から図１３を参照して、本発明の実施例による、ユーザは撮像装置とメガネ型ウェアラブル機器（図には略称「ウェアラブル」だけを書く）を連携し撮影を行う際に、被写体の位置により誘導情報を表示する制御について説明する。
【００１７】
Ｓ２０１において、撮像装置側で撮影機能を起動したら、まずメガネ型ウェアラブル機器と通信し、メガネ型ウェアラブル機器のＩＤと位置情報を取得する（Ｓ２０２）。メガネ型ウェアラブル機器の所有者は自分にメガネ型ウェアラブル機器をかける時の顔写真を事前にネットにアップロードし、ネット上で管理する。Ｓ２０３において、メガネ型ウェアラブル機器ＩＤにより、ネットからメガネ型ウェアラブル機器の所有者の顔写真をダウンロードする。
【００１８】
Ｓ２０４では、撮像装置で画像をキャプチャする。キャプチャされた画像をＳ２０５の被写体の認識手段を用い、所有者の顔を認識する。
【００１９】
Ｓ２０５の具体的な操作は図３に示している。Ｓ３１では、まずＳ２０３でダウンロードした顔写真からメガネ型ウェアラブル機器を認識する。その後に、Ｓ３２において、同じくＳ２０４でキャプチャした画像からウメガネ型ウェアラブル機器を認識する。その後、Ｓ３３では、Ｓ３１で認識されたメガネ型ウェアラブル機器の大きさはＳ３２で認識されたメガネ型ウェアラブル機器の大きさと一致するように、Ｓ３１の画像を拡大或いは縮小する。Ｓ３４において、Ｓ３３で拡大或いは縮小した後の顔写真画像の大きさは、キャプチャした画像での顔写真の大きさである。
【００２０】
Ｓ３２でのキャプチャした画像から認識されたメガネ型ウェアラブル機器の座標に応じ、Ｓ３３で拡大或いは縮小された顔写真のメガネ型ウェアラブル機器と顔全体の位置関係により、顔枠の座標を計算する。計算された顔枠の座標を記録する。ここまで、キャプチャされた画像の顔を認識し、顔枠の座標を記録する。
【００２１】
また、Ｓ２０６では、枠位置の計算手段であり、即ちキャプチャした画像から被写体を誘導するための枠を計算する。具体的な処理は図４に示している。
【００２２】
Ｓ４１では、Ｓ３４で記録された顔枠の座標により、座標のある一定範囲内で一般的な顔認識を行う。Ｓ４２において、他人の顔以外に空き領域と判断する。つまり、この領域に移動したら、遮断物がない状態で自分の顔が全部撮影できる。その後、Ｓ４３では、判断された空き領域で顔枠をおける場所（即ち誘導枠）をサーチする。複数個の誘導枠がサーチできたら、その複数個の誘導枠の座標を記録する（Ｓ４４）。
【００２３】
図５は図４の処理のイメージ図である。グレーの顔はメガネ型ウェアラブル機器をかけている人物の顔である。自分の顔を一部隠れているが、撮像装置でキャプチャした画像から隠されない領域（四角の枠を表示する部分）をいくつかサーチする。Ｓ２０６では、その複数の四角の枠から最も移動距離が少ない枠を選択する処理を行う。
【００２４】
Ｓ２０６において、複数個の誘導枠を生成したら、Ｓ２０７の処理を行い、この複数の誘導枠の中から最適枠を判断する。具体的な処理は図６に示している。
【００２５】
Ｓ６１では、記録された顔枠の座標により、中心座標を計算する。中心座標の計算仕方としては、顔枠の上下左右の四つの点の座標の横軸と縦軸の平均値を計算することである。計算された中心座標をＺ０に記録する。その後、Ｓ６２では、同じく複数個の誘導枠の中心座標を計算する。誘導枠は四角の枠であるから、四角の頂点の座標の横軸と縦軸の平均値を計算し、得た値を配列Ｚ１［Ｎ］に記録する。
【００２６】
Ｓ６３からＳ６７まで、顔枠と最も近い誘導枠を計算する。Ｓ６３では、初期値を設定する。配列Ｚ１のｉｎｄｅｘはｎで表示し、初期値は０である。また、顔枠の中心座標と誘導枠の中心座標の距離はＬで表示し、初期値は最大値０ｘｆｆｆｆｆｆｆｆである。判定された最適枠のｉｎｄｅｘはＭで表示する。
【００２７】
Ｓ６４では、計算された値が既存のＬより小さいのであれば、Ｓ６５に進み、ｎの値がＭに記録し、Ｌの値をＺ０とＺ１［ｎ］の距離値で更新し、そのあとＳ６６に進む。Ｓ６４では、計算された値が既存のＬより小さいでなければ、そのままＳ６６に進む。Ｓ６６では、配列Ｚ１のｉｎｄｅｘ値ｎに１を足す。Ｓ６７では、ｎの値がＮより小さいであれば、まだ比較しない枠が存在し、Ｓ６４に戻る。ｎの値がＮより小さいでなければ、配列Ｚ１に記録された座標との距離を全部比較し、Ｓ６８に進む。
【００２８】
Ｓ６８では、中心座標Ｚ１［Ｍ］に対する枠と顔枠の距離が最も小さいものであり、最適枠と判断する。最適枠が判断されたら、Ｓ２０８に進み、顔枠と最適枠を表示する。Ｓ２０８の具体的な処理は図７に示している。
【００２９】
メガネ型ウェアラブル機器の表示部材に表示し、被写体を誘導するため、被写体は自分のメガネを通して見ている時、自分の顔が常に中心になっているのが自然である。したがって、Ｓ７１では顔枠を常に画像の真ん中に表示する。即ち顔枠の中心座標と画像の中心は一致する。Ｓ７２では、顔枠の中心座標は中心点として、キャプチャした画像から計算された最適枠の座標はこの中心点として、枠の座標を左右逆で計算し、計算された座標により、Ｓ７１と同じ画像に最適枠を表示する。
【００３０】
Ｓ７３において、顔枠の中心座標と最適枠の中心座標が一致するかどうか、即ちＬの値が０であるかどうかの判断である。一致する場合に、被写体が最適枠と合わせているから、被写体に合わせたことを通知するため、画像全体の雰囲気を変更し、例えば、背景は赤になる。ただ、メガネで表示するから、透過率を高めで設定する。その後、Ｓ７６に進む。もし、一致しない場合に、つまり、まだ最適枠と合わせない場合に画像の背景はなくて、枠以外の場所に透過率は１００％で設定し、Ｓ７６に進む。
【００３１】
Ｓ７６では、できた画像をメガネ型ウェアラブル機器に送信する。メガネ型ウェアラブル機器の表示部材で画像を表示する。
【００３２】
Ｓ２０８の表示された枠により、被写体を移動し、その後Ｓ２０９ではもう一回キャプチャを行う。Ｓ２１０に進む。Ｓ２１０は被写体の動きを検知する手段であり、具体的な処理は図８に示している。
【００３３】
Ｓ８１では、まず図３の被写体の認識手段を使用し、顔枠を認識する。その後、Ｓ８２に進み、顔枠の中心座標を計算し、記録する。Ｓ８３では、Ｓ８２で計算された中心座標とＳ６１で記録されたＺ０と比較し、差があれば（つまり０ではなければ）、被写体が移動したと判断し、Ｓ８４に進み；逆に、差がなければ、Ｓ８５に進み、移動しないと判断する。
【００３４】
Ｓ８４では、Ｓ８２で記録された中心座標と最適枠の中心座標の距離が図６で更新されたＬより小さいであれば、Ｓ８６に進み、被写体の顔枠が最適枠と近づくと判断し、Ｌの値を今回の距離の値に変更する；逆に、大きいであれば、Ｓ８７に進み、被写体の顔枠が最適枠と離れていくと判断する。
【００３５】
Ｓ２１０の処理を終了したら、動きの検知された結果により、分岐する。Ｓ２１０の結果が「移動しない」である場合に、Ｓ２０９に戻り、またキャプチャし、動きを検知する。Ｓ２１０の結果が「離れていく」である場合に、Ｓ２０６に戻り、新しい顔枠により、誘導枠を再計算し、最適枠を再度判断し、枠を表示する。Ｓ２１０の結果が「近づく」である場合に、Ｓ２１１に進む。
【００３６】
Ｓ２１１では、顔枠により、最適枠の位置が変更するから、再度に表示を更新する。その後Ｓ２１２に進む。Ｓ２１２の処理は顔枠と最適枠の中心座標が一致するかどうかの判断である。即ちＳ８６で更新されたＬの値が０であるかどうかの判断である。０でなければ、ただの近づくことで、顔枠と最適枠の位置が一致しなく、またＳ２０９に戻り、キャプチャを行い、再度動きを検知する。それに対し、０であれば、顔枠と最適枠が合わせられ、Ｓ２１３で最適枠と合わせたことを判断し、撮像装置の誘導情報を表示する機能を終了し、本撮影を行う。
【００３７】
図９は被写体の移動により、メガネ型ウェアラブル機器に表示した誘導画像のイメージ図である。また、実施例１において図８と図９は被写体の左右の動きだけを検知する。図１１に示した検知手段は、左右の動きだけではなく、被写体の前後の動きも検知できる手段である。
【００３８】
Ｓ１１０１からＳ１１０４までの処理は図８のＳ８１からＳ８４までの処理が同じである。ただ、Ｓ１１０３の判断の後、顔枠の中心座標を変更しない場合にＳ１１０６に進む。Ｓ１１０６では、顔枠と最適枠の中心座標の差が０ではない時だけ、移動しないと判断する。差が０である場合に、前後の動きをする可能性があるから、更にＳ１１０７に進む。Ｓ１１０７は顔枠と最適枠がぴったり合わせるかどうかの判断である。
【００３９】
Ｓ１１０７では、顔枠の最上点の縦座標と最適枠の縦座標を比較して、一致する場合に、ぴったり合わせることが分かり（Ｓ１１０９）；逆に、一致しない場合に、最適枠と合わせないことが分かる（Ｓ１１１０）。Ｓ１１０５の判断で、中心座標と最適枠の中心座標の差が０である時に、更にＳ１１０７の判断を行う。中心座標と最適枠の中心座標の差が０ではない時の処理が図８と同じいである。
【００４０】
図１２は図１１の動き（前後の動きを含む）検知手段の場合の全体の処理図である。Ｓ１２１２の処理だけに違いがある。Ｓ１２１２は、図２のＳ２１２と同等の処理で、中心座標の差の判断ではなく、顔枠と最適枠が合わせたかの判断を行う。
【００４１】
図１３は前後の動きを含む動き検知手段の場合の被写体の移動により、メガネ型ウェアラブル機器に表示した誘導画像のイメージ図である。
【００４２】
本発明によれば、メガネ型ウェアラブル機器を装着しながら撮像装置で撮像する際に、複数枚の画像を合成せずに、１回の撮影でユーザの満足度の高い画像を撮影する機能を提供することができる。
【００４３】
［実施例２］
以下、図１０を参照して、本発明の第２の実施例について説明する。図１０は撮像装置と複数のメガネ型ウェアラブル機器を連携する場合の全体処理である。Ｓ１００１からＳ１０１３までの処理とＳ１０１４からＳ１０２６までの処理が同じであり、図２の処理とも同じである。
【００４４】
実施例１と異なるのが、複数個のメガネ型ウェアラブル機器と連携し、つまり複数の被写体を誘導する。Ｓ１０２７では、全員最適枠に合わせたら、撮像装置の誘導情報を表示する機能を終了し、本撮影を行う。
【００４５】
本発明によれば、複数の被写体がメガネ型ウェアラブル機器を装着しながら撮像装置で撮像する際に、複数枚の画像を合成せずに、１回の撮影でメガネ型ウェアラブル機器を装着している複数のユーザの満足度の高い画像を撮影する機能を提供することができる。
【００４６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４７】
１０６：光学ファインダー
１０８：撮像装置の通信部材
１０９：接眼検知センサ
１１２：撮像装置の音検知部材
１１４：メガネ型ウェアラブル機器のレンズ
１１５：メガネ型ウェアラブル機器の通信部材
１１６：メガネ型ウェアラブル機器のキャプチャ部材
１１７：メガネ型ウェアラブル機器の音検知部材
１２０：メガネ型ウェアラブル機器の表示部
【図１】
2018033054.tif 000003
【図２】
2018033054.tif 000004
【図３】
2018033054.tif 000005
【図４】
2018033054.tif 000006
【図５】
2018033054.tif 000007
【図６】
2018033054.tif 000008
【図７】
2018033054.tif 000009
【図８】
2018033054.tif 000010
【図９】
2018033054.tif 000011
【図１０】
2018033054.tif 000012
【図１１】
2018033054.tif 000013
【図１２】
2018033054.tif 000014
【図１３】
2018033054.tif 000015