(57)【要約】【課題】撮影画像に合成される表示板画像の撮影画像への重畳態様を簡単に設定できる撮像装置を提供すること。【解決手段】撮像装置１は、撮影画像を取得する撮像部２０と、撮影画像に基づき表示用画像を生成して、表示用画像を表示部に表示させる表示画像処理部１１５と、撮影画像から、特定の指示手段を検出する指示手段検出部１１１と、撮影の内容が記載された表示板画像を撮影画像上に重畳させた合成画像を生成するための撮影画像上での重畳予定領域を設定する重畳予定領域設定部１１２と、を備え、重畳予定領域設定部は、指示手段検出部により検出された特定の指示手段に応じて重畳予定領域を変更する。【選択図】図２
2019041322.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像を取得する撮像部と、
前記撮影画像に基づき表示用画像を生成して、表示用画像を表示部に表示させる表示画像処理部と、
前記撮影画像から、特定の指示手段を検出する指示手段検出部と、
撮影の内容が記載された表示板画像を前記撮影画像上に重畳させた合成画像を生成するための前記撮影画像上での重畳予定領域を設定する重畳予定領域設定部と、を備え、
前記重畳予定領域設定部は、前記指示手段検出部により検出された特定の指示手段に応じて前記重畳予定領域を変更する、
ことを特徴とする撮像装置。
【請求項２】
前記表示画像処理部は、前記撮影画像上で前記重畳予定領域を前記表示部に表示させ、
前記指示手段検出部は、前記重畳予定領域付近に翳された指による指示を前記特定の指示手段として検出する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記表示画像処理部は、前記撮影画像上で前記重畳予定領域を透明もしくは半透明の形態で前記表示部に表示させる、
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記表示画像処理部は、前記撮影画像へ前記表示板画像を合成するモードが指定された場合に、前記撮影画像上に前記重畳予定領域を表示する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記重畳予定領域設定部は、前記重畳予定領域付近で前記特定の指示手段が検出された場合に、前記検出された特定の指示手段に応じて前記撮影画像上での前記重畳予定領域を変更する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記重畳予定領域設定部は、前記特定の指示手段に応じて、前記撮影画像上での前記重畳予定領域の位置を変更、もしくは前記撮影画像上での前記重畳予定領域の面積の拡縮を行う、
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記撮影画像の前記重畳予定領域に前記表示板画像を重畳して合成画像を生成する合成画像生成部と、
前記合成画像を記録する記録制御部と、を備える、
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮像装置の撮影光学部の画角が一定以下となる場合に警告を発する警告部を備える、
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記撮像装置の撮影光学部の被写界深度が一定以下の値となる場合に警告を発する警告部を備える、
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項１０】
前記特定の指示手段により、前記表示部上での重畳予定領域の大きさが所定の範囲内に含まれなくなる場合に、警告を発する警告部を備える、
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項１１】
前記撮像部を制御する撮像制御部を備え、
前記撮像制御部は、前記指示手段検出部により前記特定の指示手段が前記重畳予定領域に検出された場合に、前記検出された前記特定の指示手段に合焦位置を変更するよう前記撮像部を制御する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項１２】
前記撮像装置に搭載された補助光の発光を制御する撮像制御部を備え、
前記撮像制御部は、前記指示手段検出部により前記特定の指示手段が検出出来ない場合に、前記補助光を発光させる
ことを特徴とする請求項１に記載の撮像装置。
【請求項１３】
前記撮影画像は工事現場の撮影画像であって、前記表示板画像には、工事内容が記載される
ことを特徴とする請求項１に記載の撮像装置。
【請求項１４】
撮像部を備える撮像装置における制御方法において、
前記撮像部により撮影された撮影画像に基づく表示用画像を表示部に表示させる表示ステップと、
前記撮影画像から、特定の指示手段を検出する指示手段検出ステップと、
撮影の内容が記載された表示板画像を前記撮影画像上に重畳させた合成画像を生成するための前記撮影画像上での重畳予定領域を設定する重畳予定領域設定ステップと、を含み、
前記重畳予定領域設定ステップは、前記指示手段検出ステップにより検出された特定の指示手段に応じて前記重畳予定領域を変更する、
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影内容に関する情報を撮影画像に合成して記録する撮像装置に関する。
【背景技術】
【０００２】
業務分野の撮影では、撮影内容を記録しておく観点から、撮影被写体に関する情報を撮影画像に合成して記録することが行われる。撮影内容とは、例えば、工事現場における工事概要情報であったり、事故現場での事故状況の情報、あるいは撮影に対するコメントである。以下で、代表して工事現場の例を説明する。
【０００３】
最近は、デジタルカメラの普及により、数千枚の画像の撮影・管理が容易にできるようになり、工事現場における施工状態の撮影は、施工が正しく行われていることを示す証拠として、頻繁に利用されている。現在、工程管理・出来形管理・品質管理などの施工管理において、画像撮影による証拠保全・管理は、重要なプロセスの１つとなっている。
【０００４】
一方銀塩カメラによって撮影が行われた当時から、施工管理のために、現場状況について記載した表示板（小黒板とも呼ばれる）を工事現場に配置して、撮影することが行われていた。この表示板に記載された内容によって、撮影写真の内容についての把握が確実にできるからである。
【０００５】
このような小黒板を配した工事現場画像の撮影では、撮影場所に応じて都度小黒板に記載する情報を書き直しが必要で、この作業は、現場の作業者にとって負担であった。また、小黒板に記載した情報が正しく読み取れるように、他の人間が撮影時に黒板を保持したりする必要もあり、小黒板の写し込みは手のかかる作業でもあった。さらに現場の露光などの条件で小黒板の文字が読み取れないなどの可能性があるため、小黒板の設置条件を変えて何枚か撮影するなども必要で、現場の作業者にとっては、負担の高い作業であった。
【０００６】
そこで、近年デジタルカメラの普及に合わせて、小黒板を配した工事現場画像について、小黒板をイメージ画像に置き換える、いわゆる電子小黒板による工事現場画像の撮影が提案されている。電子小黒板による工事現場画像の撮影では、事前に電子小黒板画像を作成しておけば、先にのべたような黒板情報の書き直し作業、小黒板を保持する作業者、小黒板に記載した文字が読めるかなどの確認、が全て不要となり、工事現場画像を撮影する際に著しい作業軽減が可能となる。このような工事現場画像に電子小黒板を付与する技術として、例えば、特許文献１の技術が提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１６−１８９１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
撮影現場では足場等で撮影位置が限定されるため、現場に合わせて小黒板の位置を頻繁に変更する必要がある。小黒板を電子小黒板に置き換えたとしても、同様である。デジタルカメラでは、可搬性を優先し装置サイズを小さくするため、撮影画像等の表示を行う表示部は小さく構成される。表示部が十分には大きくないデジタルカメラで、ライブビュー画像を見ながら電子小黒板のような表示板画像の表示位置や大きさを微妙に調節するのは、容易でない。更に、工事現場では一般的に、作業者は手袋等をはめて作業を行うので、タッチ操作によりデジタルカメラの表示部で表示板画像の位置等を調整するのは困難である。しかし、撮影終了後に、撮影した画像に表示板画像を合成する作業をまとめて行うことは、証跡画像の信頼性や正確性を保証する上で望ましくない。
【０００９】
本発明は、上記事情に鑑み、撮影画像に合成される表示板画像の撮影画像への重畳態様を簡単に設定できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、撮像装置は、撮影画像を取得する撮像部と、前記撮影画像に基づき表示用画像を生成して、表示用画像を表示部に表示させる表示画像処理部と、前記撮影画像から、特定の指示手段を検出する指示手段検出部と、撮影の内容が記載された表示板画像を前記撮影画像上に重畳させた合成画像を生成するための前記撮影画像上での重畳予定領域を設定する重畳予定領域設定部と、を備え、前記重畳予定領域設定部は、前記指示手段検出部により検出された特定の指示手段に応じて前記重畳予定領域を変更する。
【発明の効果】
【００１１】
本発明によれば、撮影画像に合成される表示板画像の撮影画像への重畳態様を簡単に設定できる撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】従来の工事現場での撮影の様子を示す図である。
【図２】本発明の実施の形態に係る撮像装置の機能ブロック図である。
【図３】撮像装置のハードウェアブロック図である。
【図４Ａ】撮影画像に表示板画像が重畳された合成画像を作成する処理の手順を説明するフローチャート１である。
【図４Ｂ】撮影画像に表示板画像が重畳された合成画像を作成する処理の手順を説明するフローチャート２である。
【図５】外部機器から表示板画像を取得する処理の手順を説明するサブルーチンである。
【図６】重畳予定領域の変更処理の手順を説明するサブルーチンである。
【図７】現場撮影モードで重畳予定領域が表示されるまでの画面例である。
【図８】作業者による特定の操作が検出される様子を示す図である。
【図９】作業者による特定の操作により、重畳予定領域が変更される様子を示す図である。
【図１０】撮影画像に表示板画像が合成された合成画像の例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面に従って本発明の実施形態を説明する。図１は、従来の工事現場での撮影の様子を示す図である。作業者５００は、いわゆる小黒板と呼ばれる表示板４１０を工事現場４００の一部に配置して、撮像装置１０００によって工事現場４００の撮影を行う。表示板４１０には、作業者５００によって、撮影の都度、対応する工事内容が記載される。工事内容は、例えば、工事名、工事種別、工事箇所、工事日、備考等々である。表示板４１０は、作業者５００によって、工事現場で撮影対象を隠さないような位置に載置される。あるいは、表示板４１０は補助者によって支えられる。
【００１４】
図２は、本発明の実施形態に係る撮像装置１の構成例を示す機能ブロック図である。撮像装置１は、制御部１０、撮像部２０、画像処理部３０、補助光発光部４０、表示部５０、操作部６０、記憶部７０及び通信ＩＦ８０を有する。
【００１５】
制御部１０は、撮像装置１全体を統括的に制御する。制御部１０の詳細は、後述する。撮像部２０は、撮影光学部２０ａ及び信号処理部２０ｂを有し、撮影画像を取得する。
【００１６】
撮影光学部２０ａは、被写体像を結像するレンズ部（不図示）及び結像された被写体像を光電変換する撮像素子（不図示）を有する。レンズ部には、画角を調整するズームレンズ、焦点位置を調整するフォーカスレンズ、露光量や被写界深度を調整する絞り、露光時間を調整するシャッター、及びそれぞれに対応するモータ等のアクチュエータが含まれる。
【００１７】
信号処理部２０ｂは、撮像素子で得られた光電変換信号を増幅し、撮影画像をデジタル信号に変換して画像データとして出力する。画像処理部３０は、画像データ化された撮影画像に補間処理やγ処理やＷＢ等の所定の画像処理を施す。
【００１８】
補助光発光部４０は、被写体等の輝度が少ない場合に輝度を補うための発光機構である。補助光発光部４０は、例えば、ストロボあるいはＬＥＤを有し、撮像装置１のボディ天面等に取付けられる。
【００１９】
表示部５０は、ライブビュー画像、撮影確認用のレックビュー画像、あるいは記録された撮影画像（記録画像）等の動画や静止画を表示する。表示部５０は、ＬＥＤや有機ＥＬ（Electroluminescence）で構成され、撮像装置１の本体背面等に設けられる。
【００２０】
操作部６０は、撮像装置１への指示を入力する入力部材である。例えば操作部６０は十字型の操作キーであり、表示部５０に表示されるガイドに従い操作が行われることで、選択決定等がなされる。また、操作部６０は、表示部５０に一体化されるタッチパネルを含んでもよい。タッチパネルをタッチすることで操作が行なわれる。
【００２１】
記憶部７０は、画像記憶用の不揮発性のメモリである。記憶部７０は、例えば、フラッシュメモリである。記憶部７０は、表示板画像データ７０ａ及び記録画像７０ｂを格納する。表示板画像データ７０ａは、表示板画像を構成する画像データである。記録画像７０ｂは、撮影された静止画画像や動画像である。記録画像７０ｂには、表示板画像が合成された撮影画像が含まれる。
【００２２】
通信ＩＦ８０は、外部機器３００とデータの送受信を行う。通信ＩＦ８０は、例えば、ＬＡＮ（local area network）やＷＡＮ（Wide Area Network）で、外部機器３００とデータの送受信を行う。
【００２３】
外部機器３００は、例えば、サーバやＰＣ（Personal Computer）である。外部機器３００には、表示板画像データ７０ａが格納される。撮像装置１からの指示により外部機器３００から表示板画像データ７０ａが送信され、表示板画像データ７０ａが通信ＩＦ８０によって受信され、記憶部７０に格納される。
【００２４】
制御部１０は、撮像制御部１００、合成画像制御部１１０及び記録制御部１２０を有する。  
【００２５】
撮像制御部１００は、撮像部２０を制御する。具体的には、撮像制御部１００は、操作部６０によるズーム操作に応じて、撮影光学部２０ａのズームレンズを制御する。また、撮像制御部１００は、ＡＦ（Autofocus）処理を行い撮影光学部２０ａのフォーカスレンズを合焦位置に移動させる。また、撮像制御部１００は、ＡＥ（Automatic Exposure）処理を行い撮影光学部２０ａの絞り、シャッター等を制御する。また、撮像制御部１００は、ＡＥ処理の結果に応じて補助光発光部４０を制御する。
【００２６】
合成画像制御部１１０は、表示板画像を撮影画像に合成する処理を制御する。合成画像制御部１１０は、指示手段検出部１１１、重畳予定領域設定部１１２、警告部１１３、合成画像生成部１１４、表示画像処理部１１５、表示板画像制御部１１６を有する。
【００２７】
指示手段検出部１１１は、撮影画像（ライブビュー画像）上で、重畳予定領域内および周囲に翳されたハンドサイン（手や指による指示）を「特定の指示手段」として検出する。指示手段検出部１１１は、ハンドサインの変化や態様を検出して、重畳予定領域設定部１１２に通知する。指示手段検出部１１１は、重畳予定領域にある被写体を検出し（特定被写体と称す）、検出した特定被写体が予め登録された「特定の指示手段」に相当するかを判断する。さらに、指示手段検出部１１１は、「特定の指示手段」の具体的な態様から、具体的な変更指示の内容を検出する。
【００２８】
重畳予定領域設定部１１２は、撮影画像上での表示板画像の重畳予定領域を設定する。すなわち、重畳予定領域設定部１１２は、指示手段検出部１１１により検出された特定の指示手段に応じて重畳予定領域を変更する。なお、重畳予定領域設定部１１２は、作業者５００からの設定がされるまでは、重畳予定領域をデフォルトの位置及びサイズに設定する。重畳予定領域設定部１１２は、設定した重畳予定領域を合成画像生成部１１４及び表示画像処理部１１５に通知する。
【００２９】
また、指示手段検出部１１１は、撮像制御部１００から撮像部２０の設定状態を読取り、撮像部２０の設定が特定の指示手段を検出するのに相応しい状態であるかを判断する。
【００３０】
例えば、指示手段検出部１１１は、撮影光学部２０ａの画角が一定以下の場合、特定の指示手段を検出するのに相応しくない状態と判断する。ズーム位置がテレ側に設定されて画角が一定より狭い場合には、ハンドサインが画面外になる可能性があるからである。
【００３１】
また、指示手段検出部１１１は、撮影光学部２０ａの被写界深度が一定以下の場合、特定の指示手段を検出するのに相応しくない状態と判断する。例えば、絞りが開放に設定されて被写界深度が一定より狭い場合には、近接距離にあるハンドサインの画像が不鮮明になる可能性があるからである。
【００３２】
指示手段検出部１１１は、上述したように撮像部２０の設定が相応しい状態で無いと判断した場合には、警告部１１３に通知する。警告部１１３は、特定の指示手段を検出できない旨、表示部５０等に警告を発する。
【００３３】
合成画像生成部１１４は、撮影画像のうち、重畳予定領域の部分を表示板画像に置き換えた合成画像を生成する。合成画像生成部１１４は、重畳予定領域設定部１１２により重畳予定領域が表示部５０に表示された状態で撮影操作が行われた場合に、記憶部７０から表示板画像データ７０ａを読み出して、重畳予定領域の部分を表示板画像に置き換えて、合成画像を生成する。
【００３４】
表示画像処理部１１５は、撮影画像に基づき表示用画像を生成し、生成した表示用画像を表示部５０に表示させる。表示画像処理部１１５は、ライブビュー表示時には、ライブビュー画像を表示部５０に表示させる。表示画像処理部１１５は、撮像装置１が再生モードに設定されている場合には、記憶部７０から読み出された記録画像７０ｂを表示部５０に表示させる。
【００３５】
表示板画像制御部１１６は、表示板画像データ７０ａの記憶部７０への格納及び読出しを制御する。表示板画像制御部１１６は、外部機器３００から受信した表示板画像データ７０ａを記憶部７０へ格納する。作業者５００が撮影画像に対応する表示板画像を選択する際に、表示板画像制御部１１６は、表示板画像データ７０ａを読み出し、読み出された表示板画像データ７０ａは表示画像処理部１１５により表示部５０に表示される。そして、合成画像生成時に、表示板画像制御部１１６は、記憶部７０から表示板画像データ７０ａを読み出し、読み出された表示板画像データ７０ａは、合成画像生成部１１４で撮影画像に合成される。
【００３６】
記録制御部１２０は、作業者５００から撮影実行指示があった場合には、合成画像を含む撮影画像データを圧縮処理等して、記憶部７０に記録画像７０ｂとして記録する。
【００３７】
図３は、撮像装置１のハードウェアブロック図である。撮像装置１は、撮像部２０、表示部５０、操作部６０、通信ＩＦ８０、ＣＰＵ２００、内部メモリ２１０、画像メモリ２２０を有する。撮像部２０、表示部５０、操作部６０、通信ＩＦ８０は、説明済であるので、省略する。
【００３８】
ＣＰＵ（Central Processing Unit）２００は、内部メモリ２１０から制御プログラムを読込んで、読込んだプログラムに従って撮像装置１を統括的に制御する。制御部１０は、ＣＰＵ２００によるソフトウェア処理により実現される。内部メモリ２１０は、ＲＡＭ（Random Access Memory）２１０ａ及びＲＯＭ（Read Only memory）２１０ｂを有する。ＲＡＭ２１０ａは、制御プログラムや各種データを一時的に記憶するワーキングエリアを提供する。ＲＯＭ２１０ｂは、例えばフラッシュメモリで、制御プログラムを不揮発的に記憶する。また、ＲＯＭ２１０ｂには、重畳予定領域のデフォルト値が格納される。
【００３９】
画像メモリ２２０は、例えばフラッシュメモリで、画像データを不揮発的に記憶する。記憶部７０は、画像メモリ２２０により実現される。
【００４０】
図４Ａ、図４Ｂは、撮影画像に表示板画像が重畳された合成画像を作成する処理の手順を説明するフローチャート１，２である。撮像制御部１００は、作業者５００から撮影モードの選択指示がされたかを判断する（ステップＳ１０）。撮像制御部１００は、作業者５００から撮影モードの選択指示がされたと判断すると（ステップＳ１０のＹＥＳ）、作業者５００から指示された撮影モードを選択する（ステップＳ１２）。撮像制御部１００は、作業者５００から撮影モードの選択指示がされていないと判断すると（ステップＳ１０のＮＯ）、ステップＳ１４に進む。
【００４１】
撮像制御部１００は、撮影モードが現場撮影モードであるかを判断する（ステップＳ１４）。撮像制御部１００は、撮影モードが現場撮影モードでないと判断すると（ステップＳ１４のＮＯ）、通常撮影を実行する（ステップＳ１６）。撮像制御部１００は、撮影モードが現場撮影モードであると判断すると（ステップＳ１４のＹＥＳ）、合成画像制御部１１０は、表示板画像が取得されているかを判断する（ステップＳ１８）。合成画像制御部１１０は、表示板画像が取得されていないと判断すると（ステップＳ１８のＮＯ）、表示板画像取得を行う（ステップＳ２０）。
【００４２】
図５は、外部機器３００から表示板画像を取得する処理の手順を説明するサブルーチンである。合成画像制御部１１０は、表示板画像データ７０ａを格納する所定の外部機器３００に通信を実行し、外部機器３００との通信が確立したかを判断する（ステップＳ１００）。合成画像制御部１１０は、外部機器３００との通信が確立できないと判断すると（ステップＳ１００のＮＯ）、エラー発生として、表示板画像の取得ができない旨を表示部５０に表示して、現場撮影モードの処理を終了する。
【００４３】
合成画像制御部１１０は、外部機器３００との通信が確立できたと判断すると（ステップＳ１００のＹＥＳ）、外部機器３００に表示板画像データ７０ａが有るかを判断する（ステップＳ１０２）。合成画像制御部１１０は、外部機器３００に表示板画像データ７０ａが有るかを問い合わせる。
【００４４】
合成画像制御部１１０は、外部機器３００からの応答で、外部機器３００には表示板画像データ７０ａがないと判断すると（ステップＳ１０２のＮＯ）、エラー発生として、表示板画像の取得ができない旨を表示部５０に表示して、現場撮影モードの処理を終了する。
【００４５】
合成画像制御部１１０は、外部機器３００からの応答で、外部機器３００には表示板画像データ７０ａがあると判断すると（ステップＳ１０２のＹＥＳ）、外部機器３００に表示板画像データ７０ａの送信を指示する。合成画像制御部１１０は、表示板画像データ７０ａを受信して（ステップＳ１０４）、表示板画像制御部１１６は、表示板画像データ７０ａを記憶部７０に記録する（ステップＳ１０６）。
【００４６】
なお、表示板画像データ７０ａは、具体的な工事内容が書込まれた状態の表示板画像であってもよいし、あるいは、具体的な工事内容が書かれていない表示板画像の本体データに、具体的な工事内容がメタデータで添付されるデータ形式であってもよい。
【００４７】
また、表示板画像データ７０ａは、画像データに限るものではない。外部機器３００には、具体的な工事内容を示すテキストデータと、具体的な工事内容が記載されていない表示板画像のテンプレートが、分けて格納されてもよい。テキストデータであれば、データ量が少ないので、短時間で通信ができるからである。撮像装置１が、表示板画像のテンプレートを有していれば、具体的な工事内容を示すテキストデータのみを受信して、撮像装置１内部で表示板画像のテンプレートにテキストデータを組合せればよいので、通信に時間がかかることがない。
【００４８】
図４Ａに戻る。合成画像制御部１１０は、作業者５００により表示板画像が選択されているかを判断する（ステップＳ２２）。作業者５００は、今回の撮影画像に対応する工事内容が記載された表示板画像を選択あるいは指定する必要がある。合成画像制御部１１０は、作業者５００が表示板画像を選択していないと判断すると（ステップＳ２２のＮＯ）、作業者５００に表示板画像の選択を促す。合成画像制御部１１０は、例えば、表示部５０に表示板画像の一覧リストを表示させ、作業者５００に、その中から、今回の撮影内容に対応する工事内容の表示板画像を選択させる。表示板画像制御部１１６が、表示板画像の一覧リストを作成する。なお、表示部５０に表示される表示板画像の一覧リストは、工事内容を示すテキスト情報だけでもよく、表示板画像自体は表示されなくてもよい。
【００４９】
表示板画像制御部１１６は、作業者５００が選択した表示板画像を、今回の撮影画像に合成する表示板画像として選択する（ステップＳ２６）。
【００５０】
また、合成画像制御部１１０は、作業者５００が表示板画像を選択していると判断すると（ステップＳ２２のＹＥＳ）、作業者５００から表示板画像の切換え指示がされたかを判断する（ステップＳ２４）。合成画像制御部１１０は、作業者５００から表示板画像の切換え指示がされたと判断すると（ステップＳ２４のＹＥＳ）、前述したステップＳ２６に進み、新たな表示板画像を選択させる。合成画像制御部１１０は、ステップＳ２６の後、あるいは作業者５００から表示板画像の切換え指示がされていないと判断すると（ステップＳ２４のＮＯ）、ステップＳ２８に進む。  
【００５１】
重畳予定領域設定部１１２は、重畳予定領域が設定済であるかを判断する（ステップＳ２８）。例えば、前回の撮影で重畳予定領域が設定されていれば、設定済と判断される。重畳予定領域設定部１１２は、重畳予定領域が設定済であると判断すると（ステップＳ２８のＹＥＳ）、設定済の重畳予定領域を今回の重畳予定領域に設定する（ステップＳ３０）。重畳予定領域設定部１１２は、重畳予定領域が設定済でないと判断すると（ステップＳ２８のＮＯ）、デフォルトの重畳予定領域を設定する（ステップＳ３２）。
【００５２】
表示画像処理部１１５は、設定された重畳予定領域を示すライブビュー画像を生成して（ステップＳ４０）、表示部５０に表示する（ステップＳ４２）。重畳予定領域の表示においては、その外枠のみ線（あるいは破線など）で表示したり、あるいは、外枠の表示と共に、内枠の領域について色付の半透明領域等で表してもよい。それ以外の表示方法であっても、重畳予定領域が容易に区別がつくような表示であれば良い。
【００５３】
図７は、現場撮影モードで重畳予定領域が表示されるまでの画面例である。図７は、いずれも撮像装置１の本体背面図である。表示部５０の右横に、操作部６０に含まれる十字型の操作キーが配置される。撮像装置１の本体の上に、補助光発光部４０が設けられる。
【００５４】
図７（Ａ）は、表示部５０に表示される撮影モード選択画面を示す図である。すなわち、前述したステップＳ１４で説明した現場撮影モードが選択される場合の画面である。図７（Ｂ）は、通常撮影モードが選択された場合に、表示部５０に表示されるライブビュー画像ＬＶを示す図である。前述したステップＳ１６の通常撮影モードで表示されるライブビュー画像ＬＶである。
【００５５】
図７（Ｃ）は、現場撮影モードが選択された場合のライブビュー画像ＬＶを示す図である。現場撮影モードであることを示すマークＭ１が表示部５０の画面左上隅に、重畳予定領域Ｐが画面左下隅に、それぞれ撮影画像に重畳して表示される。重畳予定領域Ｐは、外枠が破線で、領域が半透明で表示される。図７（Ｃ）は、前述したステップＳ４２の現場撮影モードで表示されるライブビュー画像ＬＶである。
【００５６】
図４Ｂに戻る。指示手段検出部１１１は、設定された重畳予定領域内及び周囲に、被写体があるかを判断する（ステップＳ４４）。指示手段検出部１１１は、設定された重畳予定領域に、被写体があると判断すると（ステップＳ４４のＹＥＳ）、重畳予定領域の変更処理が行われる（ステップＳ４６）。重畳予定領域の変更処理は、指示手段検出部１１１、重畳予定領域設定部１１２及び警告部１１３等により行われる。なお、以下で、重畳予定領域にある被写体を、特定被写体と称す。
【００５７】
図６は、重畳予定領域の変更処理の手順を説明するサブルーチンである。指示手段検出部１１１は、特定被写体の判定可能であるかを判断する（ステップＳ２００）。指示手段検出部１１１は、特定被写体の判定が可能でないと判断すると（ステップＳ２００のＮＯ）、画角が一定以上であるか（ステップＳ２０２）、被写界深度が一定以上であるか（ステップＳ２０４）を、判断する。指示手段検出部１１１は、撮像制御部１００から画角や被写界深度の情報を取得する。
【００５８】
指示手段検出部１１１は、画角が一定以上であり（ステップＳ２０２のＹＥＳ）、かつ被写界深度が一定以上であると（ステップＳ２０４のＹＥＳ）判断すると、撮像制御部１００は、重畳予定領域にある被写体に合焦位置を変更するよう撮影光学部２０ａを制御する（ステップＳ２０６）。
【００５９】
指示手段検出部１１１は、画角が一定以上でなく（ステップＳ２０２のＮＯ）、あるいは被写界深度が一定以上でないと（ステップＳ２０４のＮＯ）判断すると、警告部１１３に通知する。警告部１１３は、警告表示して（ステップＳ２１６）、合成画像制御部１１０はエラー終了処理をする
【００６０】
指示手段検出部１１１は、特定被写体の判定が可能であると判断する場合（ステップＳ２００のＹＥＳ）、及びステップＳ２０６の後に、特定被写体の判定を行う（ステップＳ２０８）。指示手段検出部１１１は、特定被写体の判定ができたかを判断する（ステップＳ２１０）。
【００６１】
指示手段検出部１１１は、特定被写体の判定ができないと判断すると（ステップＳ２１０のＮＯ）、撮像制御部１００は補助光を発光するよう補助光発光部４０を制御する（ステップＳ２１２）。指示手段検出部１１１は、補助光発光により特定被写体の判定が可能であるかを判断する（ステップＳ２１４）。指示手段検出部１１１は、補助光発光によっても特定被写体の判定が可能でないと判断すると（ステップＳ２１４のＮＯ）、前述のステップＳ２１６に進み、警告部１１３は、警告表示を行う。
【００６２】
指示手段検出部１１１は、補助光発光により特定被写体の判定が可能であると判断すると（ステップＳ２１４のＹＥＳ）、ステップＳ２１８に進む。指示手段検出部１１１は、特定被写体の判定ができたと判断すると（ステップＳ２１０のＹＥＳ）、ステップＳ２１８に進む。
【００６３】
指示手段検出部１１１は、検出した特定被写体が特定の指示手段であるかを判断する（ステップＳ２１８）。特定の指示手段とは、前述したようなハンドサインである。指示手段検出部１１１は、検出した特定被写体が特定の指示手段であると判断すると（ステップＳ２１８のＹＥＳ）、次に、検出した特定被写体が特定の操作を示すものであるかを判断する（ステップＳ２２０）。
【００６４】
特定の操作とは、例えば、自分の手の形を変えずに移動させる操作（スライド操作）や、自分の手のうち、親指と人差し指を広げるもしくは狭める操作（ピンチ操作）である。スライド操作により、重畳予定領域の画面上での位置が変更される。ピンチ操作により、重畳予定領域の画面上でサイズが変更される。
【００６５】
なお、指示手段検出部１１１は、これらスライド操作、ピンチ操作のトリガーとしては、指先が重畳予定領域のさらに一部の領域（例えば、重畳予定領域の４隅のいずれか近く）に存在したときに検出するようにしてもよい。また、指示手段検出部１１１は、手の操作速度がある一定の閾値を超えた場合、例えばゆっくりとした操作を検出するようにしてもよい。
【００６６】
指示手段検出部１１１は、検出した特定被写体が特定の操作を示すものであると判断すると（ステップＳ２２０のＹＥＳ）、ステップＳ２２２に進む。
【００６７】
指示手段検出部１１１は、特定の操作としてスライド操作が検出された場合には、検出されたスライド操作の方向と量を検出する。同様に指示手段検出部１１１は、特定の操作としてピンチ操作が検出された場合には、検出されたピンチ操作の方向と量を検出する。
【００６８】
指示手段検出部１１１は、特定の操作がピンチ操作の場合に、検出したピンチ操作の方向と量により、変更後の重畳予定領域のサイズが一定範囲（所定範囲）以内であるかを判断する（ステップＳ２２２）。指示手段検出部１１１は、重畳予定領域のサイズを必要以上に拡大あるいは縮小させる操作を検出した場合には、その操作をエラーと判断し、エラー表示する（ステップＳ２２４）。また、それ以外の操作でも、指示手段検出部１１１は、変更後の重畳予定領域のサイズや位置が不適等となるような操作を検出した場合には、無効としてエラー表示してもよい。合成画像制御部１１０は、エラー表示後、ステップＳ４４に戻る。指示手段検出部１１１は、有効として検出したスライド操作やピンチ操作の方向と量を重畳予定領域設定部１１２に通知する。
【００６９】
重畳予定領域設定部１１２は、スライド操作やピンチ操作の方向と量に応じて、重畳予定領域の態様を変更する（ステップＳ２２６）。
【００７０】
また、指示手段検出部１１１は、検出した特定被写体が特定の指示手段でないと判断した場合や（ステップＳ２１８のＮＯ）、特定被写体は特定の操作を示すものではないと判断した場合には（ステップＳ２２０のＮＯ）、ステップＳ２２８に進む。
【００７１】
合成画像制御部１１０は、合焦位置を特定被写体の位置から、元の位置に戻すよう撮像制御部１００を制御する（ステップＳ２２８）。
【００７２】
図８は、作業者５００による特定の指示手段が検出される様子を示す図である。図８（Ａ）は、作業者５００が、表示板４１０を工事現場４００に配置しないで、撮像装置１によって工事現場４００の撮影を行う様子である。
【００７３】
図８（Ｂ）は、図７（Ｃ）と同様な画面で、重畳予定領域Ｐが表示されたライブビュー画像ＬＶが表示された画面である。作業者５００による特定の指示手段が検出される前の状態である。
【００７４】
図８（Ｃ）は、作業者５００が、左手５１０の親指５１０ａと人差し指５１０ｂを重畳予定領域Ｐの周囲領域に入れた状態のライブビュー画像ＬＶである。指示手段検出部１１１によって、重畳予定領域Ｐの周囲領域に存在する親指５１０ａと人差し指５１０ｂが特定被写体として検出される。更に、指示手段検出部１１１によって、親指５１０ａと人差し指５１０ｂによるハンドサインが特定の指示手段として検出される。
【００７５】
図９は、作業者５００による特定の操作により、重畳予定領域が変更される様子を示す図である。図９（Ａ）は、スライド操作によって重畳予定領域Ｐが位置変更される様子を示す図である。左手５１０の親指５１０ａと人差し指５１０ｂがそのまま右方向（Ｎ１）にスライド操作されると、指示手段検出部１１１によって、画面上でのスライド操作量が検出される。検出されたスライド操作量が重畳予定領域設定部１１２に通知される。重畳予定領域設定部１１２によって、画面上でのスライド操作量分だけ重畳予定領域Ｐの位置が右方向に変更される。表示画像処理部１１５により、ライブビュー画像ＬＶ上で、スライド操作に応じて重畳予定領域Ｐの位置が変更される。
【００７６】
図９（Ｂ）は、ピンチ操作によって重畳予定領域Ｐのサイズが拡大変更される様子を示す図である。左手５１０の親指５１０ａと人差し指５１０ｂがＮ２方向にピンチ操作されると、指示手段検出部１１１によって、画面上でのピンチ操作量が検出される。検出されたピンチ操作量が重畳予定領域設定部１１２に通知される。重畳予定領域設定部１１２によって、画面上でのピンチ操作量分だけ重畳予定領域Ｐのサイズが拡大される。表示画像処理部１１５により、ライブビュー画像ＬＶ上で、ピンチ操作に応じて重畳予定領域Ｐのサイズが変更される。なお、親指５１０ａと人差し指５１０ｂが近付く方向のピンチ操作の場合には、サイズは縮小される。
【００７７】
図４ＢのステップＳ４８に進む。撮像制御部１００は、作業者５００から操作部６０により撮影指示がされたかを判断する（ステップＳ４８）。撮像制御部１００は、撮影指示がされていないと判断すると（ステップＳ４８のＮＯ）、ステップＳ４０に戻る。
【００７８】
撮像制御部１００は、撮影指示がされたと判断すると（ステップＳ４８のＹＥＳ）、合成画像生成部１１４は、合成画像を生成する（ステップＳ５０）。すなわち、合成画像生成部１１４は、重畳予定領域設定部１１２で設定された重畳予定領域に、選択された表示板画像を撮影画像に合成して、合成画像を生成する。
【００７９】
そして、記録制御部１２０は、生成された合成画像を記録画像７０ｂとして記憶部７０に記録する（ステップＳ５２）。図１０は、撮影画像に表示板画像が合成された合成画像の例を示す図である。図１０（Ａ）に示すように、撮影後にレックビュー画像ＲＶとして合成画像が撮像装置１に表示される。撮影画像上で設定された重畳予定領域に、表示板画像Ｑが合成される。図１０（Ｂ）は、表示板画像Ｑの拡大図である。表示板画像Ｑには、工事内容が表示される。
【００８０】
撮像制御部１００は、作業者５００から操作部６０により撮影終了指示がされたかを判断する（ステップＳ５４）。撮像制御部１００は、撮影終了指示がされていないと判断すると（ステップＳ５４のＮＯ）、ステップＳ１０に戻る。撮像制御部１００は、撮影終了指示がされたと判断すると（ステップＳ５４のＹＥＳ）、撮影処理を終了する。
【００８１】
〈効果〉
・重畳予定領域を表示部上に表示することにより、作業者は表示板画像が重畳される領域を直観的に把握することが出来る。また、重畳予定領域をライブビュー画像で透明もしくは半透明で表示するので、重畳予定領域の位置やサイズが容易に確認できる。
【００８２】
・「現場撮影モード」により撮影された画像に、表示板画像が自動的に合成され合成画像として生成されるので、現場の証跡となる画像を容易に作成することができる。また、「現場撮影モード」に限定して重畳予定領域が表示されるので、撮影モードの把握が容易になる。
【００８３】
・重畳予定領域内及びその周囲で特定の指示手段を検出することで、使用者による操作指示の意思があることを判定し、判定結果に基づき特定の指示手段が示す具体的内容に基づいて重畳予定領域の表示態様を変更することができる。
・重畳予定領域の表示態様の変更を、重畳予定領域の位置の変更もしくは表示面積の拡縮に限定することで、特定の指示手段が誤った指示として検出されることが防止される。
【００８４】
・撮像装置がズーム機構を有している際、撮影光学部のズームレンズを望遠端近くに調節すると、特定の指示手段（ハンドサイン等）が画角内に収まらずに、誤検出を起こしやすくなる。  画角が一定値以下の場合に、特定の指示手段を検出できない状態である旨警告を発するようにしたので、誤検出を防止できる。
・撮像装置の被写界深度が浅い場合には、至近距離にある特定の指示手段（ハンドサイン等）が合焦せず誤検出を起こしやすくなる。被写界深度が一定値以下の場合に、特定の指示手段を検出できない状態である旨警告を発するようにしたので、誤検出を防止できる。
・重畳予定領域が一定の大きさを越えて指示されると、現場の被写体を表示する余地が無くなる。逆に、重畳予定領域があまりに小さく指示されると、文字の解読が困難になる。そのような領域指示操作についてはそれを無効とすべく警告を発生したので、不適切なサイズ設定が未然に防止される。
【００８５】
・重畳予定領域に特定の指示手段が検出された際に、特定の指示手段に合焦させるので、特定の指示手段の検出精度を高めることができる。また、特定の指示手段が検出終了後は、合焦位置を元の位置に戻すので、撮影画像の画質劣化もない。
・必要に応じて、撮像装置に搭載された補助光を発光して検出するので、指示手段の検出精度を高めることができる。
【００８６】
<変形例>
・上記説明では、実施形態として、工事内容を記載した表示板画像を工事画像に合成記録する際に、撮影画像上で表示板画像の位置等調整を例にしたが、これに限るものではない。観光地の案内説明文や施設の説明文、あるいは実験の解説文等の画像にも利用できる。
・また、撮影は静止画に限るものでもない。動画撮影時に表示板画像を合成する場合にも、本実施形態は同様に適用できる。
・また、上記説明では、横長撮影を例にしたが、縦長撮影時には、表示板画像のサイズや向きを、縦長に対応させて表示させればよい。
【００８７】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用ができることはもちろんである。
【符号の説明】
【００８８】
１    撮像装置    
１０    制御部  
２０    撮像部  
２０ａ    撮影光学部  
２０ｂ    信号処理部  
３０    画像処理部  
４０    補助光発光部  
５０    表示部  
６０    操作部  
７０    記憶部  
７０ａ    表示板画像データ  
７０ｂ    記録画像  
８０    通信ＩＦ
１００  撮像制御部
１１０    合成画像制御部  
１１１      指示手段検出部
１１２      重畳予定領域設定部
１１３      警告部  
１１４      合成画像生成部  
１１５      表示画像処理部  
１１６      表示板画像制御部  
１２０    記録制御部  
３００  外部機器
【図１】
2019041322.tif 000003
【図２】
2019041322.tif 000004
【図３】
2019041322.tif 000005
【図４Ａ】
2019041322.tif 000006
【図４Ｂ】
2019041322.tif 000007
【図５】
2019041322.tif 000008
【図６】
2019041322.tif 000009
【図７】
2019041322.tif 000010
【図８】
2019041322.tif 000011
【図９】
2019041322.tif 000012
【図１０】
2019041322.tif 000013