(57)【要約】【課題】撮像装置の移動や向きの変化、ズーム操作などに応じて、重畳画像の表示位置と表示サイズを変更することで、あたかも被写体画像に対して重畳画像が固定されているかのような画を表示・記録する撮像装置がある。この撮像装置において、撮像装置の移動や向きの変化、ズーム操作の変化量が大きく、表示画像の表示位置と表示サイズを変更すると表示重畳画像が画面外に消えてしまったり、拡大/縮小されて重畳画像が判別できなくなってしまうという課題があった。【解決手段】重畳画像の表示位置と表示サイズに制限を設け、撮像装置の移動や向きの変化、ズーム操作などにより重畳画像の表示位置と表示サイズを変更する際に、制限に抵触する場合にユーザーに通知することを特徴とする構成とした。【選択図】図１
2016010077.tif 000002
【特許請求の範囲】
【請求項１】
光学系により結像された被写体画像に対して
重畳画像の表示位置と表示サイズを固定する撮像装置において、
被写体画像の画角変化を検出する手段と、
被写体画像の画角変化に応じて重畳画像の表示位置と表示サイズを変更する手段と、
重畳画像の表示位置と表示サイズに制限を設ける手段と、
重畳画像の表示位置と表示サイズが制限に抵触するか否かを判定する手段を有し、
重畳画像の表示位置と表示サイズが制限に抵触すると判定した際に、
ユーザーに通知することを特徴とする撮像装置。
【請求項２】
前記制限設定手段は、
重畳画像の表示する大きさに対して制限を設けることと、
重畳画像の表示比率に対して制限を設けることと、
重畳画像の拡大縮小倍率に対して制限を設けることと、
重畳画像の表示箇所に対して制限を設けることと、
重畳画像の表示画面への比率に対して制限を設けること
のうち一つまたは複数であること
を特徴とする請求項１に記載の撮像装置。
【請求項３】
光学系により結像された被写体画像に対して
重畳画像の表示位置と表示サイズを固定する撮像装置において、
被写体画像の画角変化を検出する手段と、
被写体画像の画角変化に応じて重畳画像の表示位置と表示サイズを変更する手段と、
重畳画像に被写体画像上のオブジェクトを関連付ける手段と
重畳画像と重畳画像に関連付けたオブジェクトの位置関係に制限を設ける手段手段と、
重畳画像と重畳画像に関連付けたオブジェクトの位置関係が制限に抵触するか否かを判定する手段を有し、
重畳画像と重畳画像に関連付けたオブジェクトの位置関係が制限に抵触すると判定した際に、
ユーザーに通知することを特徴とする撮像装置。
【請求項４】
前記制限設定手段は、
オブジェクトに対する重畳画像の表示方向に対して制限を設けることと、
オブジェクトと重畳画像の重複に対して制限を設けることと、
オブジェクトと重畳画像の表示比率に対して制限を設けること
のうち一つまたは複数であること
を特徴とする請求項３に記載の撮像装置。
【請求項５】
前記被写体画像の画角変化を検出する手段は、
撮像装置の位置を検出する手段と、
撮像装置の傾きを検出する手段と、
レンズ位置を検出する手段
のうち一つまたは複数からなること
を特徴とする請求項２乃至請求項４の何れか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学系により結像された被写体画像に対して重畳画像の表示位置と表示サイズを固定する撮像装置に関するものである。
【背景技術】
【０００２】
近年では、光学系により結像された被写体画像と、あらかじめ用意しておいた静止画像などを重畳して表示・記録する機能を有した撮像装置が製品化され普及してきている。このような製品では、重畳する画像の位置やサイズをユーザーが指定することが可能である。このような技術が、特許文献１に記載されている。
【０００３】
また、撮像装置の移動や向きの変化に応じて、重畳画像の表示位置と表示サイズを変更することで、あたかも被写体画像に対して重畳画像が固定されているかのように表示する装置がある。このような技術が、特許文献２に記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０８８０７６号公報
【特許文献２】特開２００１−２４３０１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１および特許文献２の発明では、撮像装置の移動や向きの変化、ズーム操作の変化量が大きく、表示画像の表示位置と表示サイズを変更すると表示重畳画像が画面外に消えてしまったり、拡大/縮小されて重畳画像が判別できなくなってしまうという課題があった。
【課題を解決するための手段】
【０００６】
本発明は、光学系により結像された被写体画像に対して重畳画像の表示位置と表示サイズを固定する撮像装置において、被写体画像の画角変化を検出する手段と、被写体画像の画角変化に応じて重畳画像の表示位置と表示サイズを変更する手段と、重畳画像の表示位置と表示サイズに制限を設ける手段と、重畳画像の表示位置と表示サイズが制限に抵触するか否かを判定する手段を有し、重畳画像の表示位置と表示サイズが制限に抵触すると判定した際に、ユーザーに通知することを特徴としている。
【０００７】
また、本発明の他の特徴とするところは、光学系により結像された被写体画像に対して重畳画像の表示位置と表示サイズを固定する撮像装置において、被写体画像の画角変化を検出する手段と、被写体画像の画角変化に応じて重畳画像の表示位置と表示サイズを変更する手段と、重畳画像に被写体画像上のオブジェクトを関連付ける手段と重畳画像と重畳画像に関連付けたオブジェクトの位置関係に制限を設ける手段手段と、重畳画像と重畳画像に関連付けたオブジェクトの位置関係が制限に抵触するか否かを判定する手段を有し、重畳画像と重畳画像に関連付けたオブジェクトの位置関係が制限に抵触すると判定した際に、ユーザーに通知することを特徴としている。
【発明の効果】
【０００８】
以上説明したように、本発明によれば、重畳画像の表示位置と表示サイズに制限を設け、撮像装置の移動や向きの変化、ズーム操作などにより重畳画像の表示位置と表示サイズを変更する際に、制限に抵触する場合にユーザーに通知することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に関する撮像装置の構成を示すブロック図である。
【図２】実施形態１における重畳画像設定動作を示すフローチャートである。
【図３】実施形態１における制限判定動作を示すフローチャートである。
【図４】実施形態１における記憶部の構成を示す図である。
【図５】実施形態２における重畳画像設定動作を示すフローチャートである。
【図６】実施形態２における制限判定動作を示すフローチャートである。
【図７】実施形態２における記憶部の構成を示す図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる撮像装置の構成を示すブロック図である。
【００１１】
主制御部０１０１は撮像装置の各部を制御する。主制御部０１０１は重畳画処理部０１０５、制限設定部０１０６、制限判定部０１０８、画角判定部０１１２などを有する。撮像部０１０２は、レンズやセンサー、画像処理部などで構成され、被写体画像を結像し、表示制御部０１０３に通知する。表示制御部０１０３は、ＬＣＤなどで構成され、撮像部０１０２から取得した被写体画像や、重畳画像処理部０１０５から取得した重畳画像、制限判定部０１０８から取得した警告表示用画像やアイコンを表示する。
【００１２】
入力部０１０４は、ユーザーの入力を検出するためのものであり、ボタンやタッチパネルなどで構成される。重畳画像の選択や、制限の設定時に、ユーザーの入力を主制御部に通知する。重畳画像処理部０１０５は、入力部０１０４にてユーザーから選択された重畳画像を、画角判定部０１１２から通知された情報により表示位置や表示サイズを変更して表示制御部０１０３と制限判定部０１０８に通知する。
【００１３】
制限設定部０１０６は、入力部０１０４にてユーザーから設定された制限情報を制限記憶部０１０７に記憶させる。制限記憶部０１０７は、制限設定部０１０６より通知された制限情報を記憶し、制限判定部０１０８に通知する。制限判定部０１０８は、重畳画像処理部０１０５より通知された表示位置や表示サイズと、制限記憶部０１０７より取得した制限情報から、制限に抵触しているか否かを判定する。制限に抵触していると判定した場合に、表示分０１０３に警告表示用画像やアイコンを通知する。
【００１４】
位置検出部０１０９は、ＧＰＳなどからなり、撮像装置の位置情報や向き情報を取得し、画角判定部０１１２に通知する。傾き検出部０１１０は、ジャイロセンサなどからなり、撮像装置の傾き情報を取得し、画角判定部０１１２に通知する。ズーム検出部０１１１は、撮像部０１０２のレンズ位置の情報を取得し、画角判定部０１１２に通知する。画角判定部０１１２は、位置検出部０１０９、傾き検出部０１１０、ズーム検出部０１１１から取得した情報をもとに画角の変化を判定し、重畳画像処理部０１０５に通知する。
【００１５】
＜第１の実施形態＞
本発明の撮像装置の第１の実施例について説明する。本装置における重畳画像の選択から重畳画像の制限設定までの動作を図２を用いて説明する。図２はフローチャートで、処理０２０１から処理０２０７で構成される。その中で適宜、記憶部に保存されている情報を図４を用いて説明する。
【００１６】
まず、ユーザーは重畳対象となる画像を選択する（処理０２０１）。重畳画像は、内蔵メモリーやHDD、メモリーカードに保存されていても良いし、ネットワークから取得しても良い。図４の画像情報０４０１に記録されている画像を選択しても良い。ユーザーが選択した重畳画像を、撮像部より取得した被写体画像を表示したLCDパネルなどの表示装置中央部に重畳して表示する。その際の表示位置や表示サイズは初期値を使用しても良いし、前回の表示位置や表示サイズを記憶しておいて使用しても良い。
【００１７】
次に重畳画像の表示位置を決定する（処理０２０２）。十字キーやタッチパネルなどの入力部により、ユーザーは重畳画像の表示位置を調整する。次に重畳画像の表示サイズを決定する（処理０２０３）。十字キーやタッチパネル、ズームレバーなどの入力部により、重畳画像の大きさを調整する。処理０２０２と処理０２０３の順番は逆にしても良いし、交互に何回か繰り返しても良い。処理０２０２と処理０２０３が完了し、表示位置と表示サイズを決定した際に、重畳情報０４０２に決定した表示位置と表示サイズを記憶しておく。
【００１８】
重畳画像の表示位置と表示サイズを決定後、ロック設定を行う（処理０２０４）。重畳画像を被写体画像に対して固定する場合はロック設定を行う。固定しない場合、つまり表示部に固定する場合はロック設定を行わない。その際に重畳情報０４０２にロック設定有無の情報を記憶しておく。
【００１９】
ロック設定を行った場合は次の画像距離設定に、ロック設定を行わない場合は図２に処理を終了する（処理０２０５）。ロック設定ありの場合は、重畳画像の距離を決定する（処理０２０６）。撮像装置本体と重畳画像の距離を設定しておき、後に重畳画像の表示サイズの計算処理に使用する。距離は例えば3メートルなどの値で保持しておく。その際に重畳情報０４０２に表示距離を記憶しておく。
【００２０】
次に制限設定を行う（処理０２０７）。後に重畳画像の表示位置と表示サイズを変更する際に、さまざまな制限を設定し、ユーザーに通知するために行う。制限の種別は複数あり、画像サイズ、画像表示比率、画像倍率、表示箇所、画面占有比率のうち一つまたは複数を設定する。画像サイズに関する制限は、重畳画像の最大画像サイズと最小画像サイズをメートル単位（ミリメートルやセンチメートルなど）で設定する。他の単位はインチやフィート、ヤード、寸、尺、間などでも良い。例として、最大画像サイズを５センチメートル、最小画像サイズを０．５ミリメートルなどと設定する。
【００２１】
画像表示比率に関する制限は、重畳画像全体を１００とした際の、表示装置上に表示される重畳画像の比率をパーセンテージで設定し、最大画像表示比率と最小画像表示比率がある。重畳画像の表示位置が表示装置上からずれたり、重畳画像の表示サイズを拡大して、重畳画像が欠けた場合の判定に使用する。ちなみに最大画像表示比率の最大値は１００パーセントである。例えば、重畳画像が少しでもかけるとＮＧとする場合は、最小画像表示比率を１００パーセントと設定する。半分でも表示されていればＯＫとする場合は、最小画像表示比率を５０パーセントと設定する。
【００２２】
画像倍率に関する制限は、ロック設定した時の重畳画像サイズを１００とした際の、画像サイズの比率をパーセンテージで設定し、最大画像倍率と最小画像倍率がある。重畳画像の表示サイズを拡大・縮小する際の判定に使用する。例えば、ロック設定した重畳画像をこれ以上大きくしたくない場合は、最大画像倍率を１００とする。半分まで縮小してよい場合は、最小画像倍率を５０とする。表示箇所に関する制限は、表示装置上の重畳画像の表示位置を座標の範囲で設定する。重畳画像の表示サイズや表示位置の変更により、表示装置上の表示位置の判定に使用する。
【００２３】
例えば、表示装置の右半分のみに画像を重畳する場合は、表示装置の右半分の座標を保持しておく。画面占有比率に関する制限とは、表示装置の表示領域に占める重畳画像の面積を示す値をパーセンテージで設定し、最大画面占有比率と最小画面占有比率がある。例えば、表示領域全面に重畳画像を表示しても良い場合は最大画面占有比率を１００パーセントとし、表示領域の少なくとも１０パーセントは重畳画像を表示する場合は、最小画面占有比率を１０パーセントとする。その際に、制限情報０４０３に制限情報を記憶しておく。
【００２４】
ここまで説明してきた図２のフローチャートの制御を行うことにより、重畳画像を配置し、制限の設定までを行うことが出来る。
【００２５】
次に本装置における重畳画像配置後の動作を図３を用いて説明する。図３はフローチャートで、処理０３０１から処理０３０６から構成され、定期的に行われる。その中で適宜、記憶部に保存されている情報を図４を用いて説明する。
【００２６】
まず、本装置の被写体画像の画角変化検出処理を行う（処理０３０１）。位置検出部からはＧＰＳ情報などの位置情報を定期的に取得し、位置の変化や向きの変化を検出する。傾き検出部からは本装置の角度情報などの傾き情報を定期的に取得し、傾きの変化を検出する。ズーム検出部からはズーム情報を定期的に取得し、ズームの変化を検出する。それぞれの情報について、前回の値を保持しておき、前回の値との差分が閾値以上になった場合に変化があったとしても良いし、過去数回分の値の平均値から閾値以上の差分が合った場合に変化があったとしても良い。その際に画角情報０４０４に前回の位置情報、向き情報、傾き情報、ズーム情報を記憶しておく。
【００２７】
これら、位置情報、向き情報、傾き情報、ズーム情報に変化があった場合には重畳画像の位置・サイズ算出処理を行い、変化がない場合は本フローチャートでの処理を終了する（処理０３０２）。
【００２８】
変化を検出した場合は重畳画像の位置・サイズ算出処理を行う（処理０３０３）。位置情報に変化があった場合は、位置情報をX軸成分とY軸成分に分ける。X軸成分に応じて重畳画像の表示位置を算出し、Y軸成分に応じて重畳画像の表示サイズを算出する。向き情報に変化があった場合は、変化した向きの角度と、画像距離情報に応じて重畳画像の表示位置を算出する。傾き情報に変化があった場合は、変化した傾きの角度と、画像距離情報に応じて重畳画像の表示位置を算出する。ズーム情報に変化があった場合は、変化したズーム倍率により重畳画像の表示サイズを算出する。その際に、重畳情報０４０２の表示位置と表示サイズを更新する。
【００２９】
次に、算出した表示位置と表示サイズが制限に抵触しているか判定する（処理０３０４）。画像サイズ、画像表示比率、画像倍率、表示箇所、画面占有比率に関して制限に抵触しているか判定する。まず、画像サイズの制限について判定する。算出後の表示サイズが、最大画像サイズより大きい場合や最小画像サイズより小さい場合に制限に抵触すると判定する。次に、画像表示比率の制限について判定する。算出後の表示位置と表示サイズから、表示装置上に表示される重畳画像の表示比率を算出する。算出した画像表示比率が、最大画像表示比率より大きい場合や、最小画像表示比率より小さい場合に制限に抵触すると判定する。
【００３０】
次に、画像倍率の制限について判定する。ロック設定したときの表示サイズに対して、算出後の表示サイズの倍率を算出する。算出した画像倍率が、最大画像倍率より大きい場合や、最小画像倍率より小さい場合に制限に抵触すると判定する。次に表示箇所の制限について判定する。表示位置の座標が、表示箇所の座標外となる場合に制限に抵触すると判定する。次に画面占有比率の制限について判定する。算出後の表示位置と表示サイズから、表示装置上に表示される重畳画像の画面占有比率を算出する。画面占有比率が、最大画面占有比率より大きい場合や、最小画面占有比率より小さい場合に制限に抵触すると判定する。
【００３１】
制限に抵触すると判定した場合は、警告表示を行う（処理０３０５）。警告表示は、表示装置上に「重畳画像を表示できません」というような汎用的なメッセージを表示しても良いし、例えば最大画像サイズより大きい場合には、「最大画像サイズを超えています」というような限定的なメッセージを表示しても良い。また、アイコンなどで表示しても良い。
【００３２】
その後、重畳画像再表示処理を行う（処理０３０６）。算出した表示位置と表示サイズで重畳画像を表示装置上に表示する。制限に抵触した場合でも表示してもよいし、制限に抵触した場合は表示しないようにしてもよい。
【００３３】
処理０３０５や処理０３０６の替わりに、重畳対象となる画像を再選択したり、重畳画像の表示位置や表示サイズを再度決定、ロックの再設定、画像距離の再設定、制限の再設定を行っても良い。さらに、重畳画像の表示位置や表示サイズを自動で変更しても良い。
【００３４】
ここまで説明してきた図３のフローチャートの制御を行うことにより、変化を検出した際の警告表示処理や重畳画像再表示処理までを行うことが出来る。
【００３５】
＜第２の実施形態＞
本発明の撮像装置の第２の実施例について説明する。本装置における重畳画像の選択から関連オブジェクト制限設定までの動作を図５を用いて説明する。図５はフローチャートで、処理０５０１から処理０５０８で構成される。その中で適宜、記憶部に保存されている情報を図７を用いて説明する。
【００３６】
処理０５０１から処理０５０６までは、図２の処理０２０１から処理０２０６までと同様であるため省略する。また、図７の画像０７０１や重畳画像０７０２に情報を記憶する処理も同様であるため省略する。
【００３７】
処理０５０６後に関連オブジェクト設定を行う（処理０５０７）。オブジェクトとは、撮像部より取得した被写体画像の人物、動物、物体、箇所、領域とする。このオブジェクトに対して、選択した重畳画像との位置関係を関連付ける。関連付けられたオブジェクトを関連オブジェクトとする。関連オブジェクトは、表示装置上の人物、動物、物体、箇所、領域を十字キーで選択しても良いし、表示装置がタッチパネルの場合にはタッチして選択しても良い。人物の個人認識機能を有している撮像装置の場合は、その個人を特定して選択しても良い。ポインティングデバイスを用いて、ある領域を指定しても良い。その際に関連オブジェクト情報０７０５に情報を保存する。
【００３８】
次に、関連オブジェクト制限を設定する（処理０５０８）。関連オブジェクト制限とは、重畳画像と重畳画像に関連付けたオブジェクトの位置関係に設定する制限である。制限の種別は複数あり、オブジェクトに対する重畳画像の表示方向、オブジェクトと重畳画像の重なり、オブジェクトと重畳画像の表示比率のうち一つまたは複数を設定する。オブジェクトに対する重畳画像の表示方向に関する制限は、関連オブジェクトに対する重畳画像の表示方向を上下左右や東西南北で設定する。オブジェクトと重畳画像の重複に関する制限は、重畳画像の表示位置が関連オブジェクトに重なっている比率をパーセンテージで設定する。最大重複比率と最小重複比率がある。
【００３９】
例えば、重畳画像が少しでも関連オブジェクトに重なってしまうとＮＧとする場合は、最小重複比率を０パーセントと設定する。すべて重複していてもＯＫとする場合は、最大重複比率を１００パーセントと設定する。オブジェクトと重畳画像の表示比率に関する制限は、関連オブジェクト画像全体を１００とした際の、表示装置上に表示される関連オブジェクトの比率をパーセンテージで設定し、最大関連オブジェクト表示比率と最小関連オブジェクト表示比率がある。関連オブジェクトの表示位置が表示装置上からずれたりして、関連オブジェクトが画角から欠けた場合の判定に使用する。ちなみに最大関連オブジェクト表示比率の最大値は１００パーセントである。
【００４０】
例えば、関連オブジェクトが少しでもかけるとＮＧとする場合は、最小関連オブジェクト表示比率を１００パーセントと設定する。半分でも表示されていればＯＫとする場合は、最小関連オブジェクト表示比率を５０パーセントと設定する。その際に、制限情報０７０３に制限情報を記憶しておく。
【００４１】
ここまで説明してきた図５のフローチャートの制御を行うことにより、重畳画像を配置し、オブジェクトと関連付け、関連オブジェクト制限の設定までを行うことが出来る。
【００４２】
次に本装置における重畳画像配置後の動作を図６を用いて説明する。図６はフローチャートで、処理０６０１から処理０６０６から構成され、定期的に行われる。その中で適宜、記憶部に保存されている情報を図７を用いて説明する。
【００４３】
処理０６０１から処理０６０３までは、図３の処理０３０１から処理０３０３までと同様であるため省略する。また、図７の重畳画像０７０２や画角情報０７０４に情報を記憶する処理も同様であるため省略する。
【００４４】
処理０６０３の後に、算出した表示位置と表示サイズが関連オブジェクト制限に抵触しているか判定する（処理０６０４）。
【００４５】
オブジェクトに対する重畳画像の表示方向、オブジェクトと重畳画像の重複、オブジェクトと重畳画像の表示比率に関して制限に抵触しているか判定する。
【００４６】
まず、オブジェクトに対する重畳画像の表示方向について判定する。算出後の表示方向が、制限で設定された方向に表示されない場合や、表示位置が画面外になってしまい、表示されない場合に制限に抵触すると判定する。次に、オブジェクトと重畳画像の重複について判定する。重畳画像と関連オブジェクトの重複比率を算出する。重複比率が、最大重複比率より大きい場合や、最小重複比率より小さい場合に制限に抵触すると判定する。次に、オブジェクトと重畳画像の表示比率の制限について判定する。表示装置上に表示される関連オブジェクト表示比率を算出する。関連オブジェクト表示比率が、最大関連オブジェクト表示比率より大きい場合や、最小関連オブジェクト表示比率より小さい場合に制限に抵触すると判定する。
【００４７】
制限に抵触すると判定した場合は、警告表示を行う（処理０６０５）。警告表示は、表示装置上に「重畳画像を表示できません」というような汎用的なメッセージを表示しても良いし、例えば最小関連オブジェクト表示比率より小さい場合には、「関連オブジェクトが画面外となっています」というような限定的なメッセージを表示しても良い。また、アイコンなどで表示しても良い。
【００４８】
処理０６０６は、図３の処理０３０６と同様であるため省略する。処理０６０５や処理０６０６の替わりに、重畳対象となる画像を再選択したり、重畳画像の表示位置や表示サイズを再度決定、ロックの再設定、画像距離の再設定、関連オブジェクトの再設定、関連オブジェクト制限の再設定を行っても良い。さらに、重畳画像の表示位置や表示サイズを自動で変更しても良い。
【００４９】
ここまで説明してきた図６のフローチャートの制御を行うことにより、変化を検出した際の警告表示処理や重畳画像再表示処理までを行うことが出来る。
【００５０】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【００５１】
０１０１  主制御部、０１０２  撮像部、０１０３  表示制御部、０１０４  入力部、
０１０５  重畳画像処理部、０１０６  制限設定部、０１０７  制限記憶部、
０１０８  制限判定部、０１０９  位置検出部、０１１０  傾き検出部、
０１１１  ズーム検出部、０１１２  画角判定部
【図３】
2016010077.tif 000003
【図１】
2016010077.tif 000004
【図２】
2016010077.tif 000005
【図４】
2016010077.tif 000006
【図５】
2016010077.tif 000007
【図６】
2016010077.tif 000008
【図７】
2016010077.tif 000009