(57)【特許請求の範囲】
【請求項１】
入力画像に視覚的情報を重畳する画像処理部を備え、
前記画像処理部は、
前記入力画像の焦点位置の変位を示す情報、および、前記入力画像の時間的な変化を示す差分情報に応じて、前記視覚的情報を重畳する位置を決定するか、または、
前記入力画像から移動体を検出し、検出した移動体の位置および移動方向の少なくとも一方に応じて、前記視覚的情報を重畳するか否かを切り替えることを特徴とする画像処理装置。
【請求項２】
前記画像処理部は、前記時間的な変化が所定の基準よりも大きい領域には、前記視覚的情報を重畳しないように、前記視覚的情報を重畳する位置を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記差分情報は、前記入力画像の焦点位置の変位を示す情報を含み、
前記画像処理部は、前記焦点位置の変位が所定の基準よりも小さい場合には、前記視覚的情報を重畳する位置を変化させないことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像処理部は、
前記入力画像に、前記視覚的情報に随伴させて付加画像を重畳し、
決定した前記視覚的情報を重畳する位置に応じて、前記付加画像の形状を変化させることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
前記視覚的情報は、前記入力画像における特定の部位と関連しており、
前記画像処理部は、前記特定の部位と、前記視覚的情報とに基づいて、前記付加画像の形状を変化させることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像処理部は、前記付加画像の形状を、前記特定の部位と前記視覚的情報とを結ぶような形状に変化させることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像処理部は、前記入力画像に複数の前記視覚的情報を重畳し、
前記視覚的情報の各々は、前記入力画像における互いに異なる部位と関連しており、
前記画像処理部は、前記視覚的情報の各々の重畳位置を、前記入力画像における互いに異なる部位に基づいて決定することを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
【請求項８】
前記画像処理部は、前記視覚的情報の各々の重畳位置が、当該視覚的情報以外の前記視覚的情報に関連する前記部位よりも、当該視覚的情報に関連する前記部位に近い位置になるように、前記視覚的情報の各々の重畳位置を決定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記画像処理部は、前記検出した移動体の位置が、前記視覚的情報を重畳されている領域内である場合に、前記視覚的情報を重畳しないように切り替えることを特徴とする請求項１〜８の何れか一項に記載の画像処理装置。
【請求項１０】
前記画像処理部は、前記検出した移動体の位置が、前記視覚的情報を重畳されている領域内であり、前記検出した移動体の移動方向が、前記入力画像の手前側に向かう方向である場合に、前記視覚的情報を重畳しないように切り替えることを特徴とする請求項１〜８の何れか一項に記載の画像処理装置。
【請求項１１】
前記画像処理部は、前記検出した移動体の移動方向が、前記入力画像の手前側に向かう方向である場合に、前記視覚的情報を重畳しないように切り替えることを特徴とする請求項１〜８の何れか一項に記載の画像処理装置。
【請求項１２】
入力画像に視覚的情報を重畳する画像処理プログラムであって、プロセッサを備える画像処理装置の前記プロセッサに、
前記入力画像の焦点位置の変位を示す情報、および、前記入力画像の時間的な変化を示す差分情報に応じて、前記視覚的情報を重畳する位置を決定する重畳位置決定処理、または、
前記入力画像から移動体を検出し、検出した移動体の位置および移動方向の少なくとも一方に応じて、前記視覚的情報を重畳するか否かを切り替える重畳切り替え処理を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、入力画像に対して視覚的情報を重畳させる画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、実空間を示す画像に図形や文字、静止画、映像などの視覚的情報を重畳し、表示する拡張現実（Augmented Reality、ＡＲ）技術が開発されている。ＡＲ技術によれば、例えば、作業の現場において、作業対象物に対して作業方法を示す映像等を重畳させたり、医療現場において、患者の身体に対して、診察画像等を重畳させたりすることができる。【０００３】
ＡＲ技術の実施方式としては、ハーフミラーなどを用いて実空間に視覚的情報を重畳させ、重畳させた画像を提示する光学シースルー型や、カメラで実空間を撮影し、撮影した画像に対して視覚的情報を重畳させ、重畳させた映像を提示するビデオシースルー型などの方式があり、利用用途によって適切な方式が採用されている。【０００４】
ここで、ビデオシースルー型ＡＲ技術では、重畳された視覚的情報により、実空間が隠れてしまい、実空間の視認性が損なわれるという課題がある。この課題に対し、特許文献１では、事前に視覚的情報を表示する領域の優先度をリスト化し、リストに従って視覚的情報の位置や大きさ、形状を変更する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】日本国公開特許公報「特開２０１２−６９１１１号公報」（２０１２年４月５日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の手法は、重畳情報の表示可能領域のリストを事前に生成する必要がある。このため、特許文献１に記載の手法は、例えば、ボードゲームなどの撮影する場所が特定されている状況でのみ利用できる。すなわち、特許文献１に記載の方法は、例えば、屋外で利用する場合など、任意の場所で利用することはできない。【０００７】
そこで、本発明者らは、独自の発想に基づき、視覚的情報を重畳表示する位置あるいは視覚的情報を重畳表示しない位置を、画像処理によって決定する技術について鋭意検討を行った。視覚的情報を重畳表示する位置あるいは視覚的情報を重畳表示しない位置を画像処理によって決定することができれば、様々な場所において、適切な位置に視覚的情報を重畳表示することができる。しかしながら、視覚的情報を重畳表示する位置あるいは視覚的情報を重畳表示しない位置を決定するために用いることができる画像処理について報告した文献はこれまで知られていない。【０００８】
本開示の一態様は、以上の課題を鑑みてなされたものであり、視覚的情報を重畳表示する位置あるいは視覚的情報を重畳表示しない位置を画像処理によって決定する画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本開示の一態様に係る画像処理装置は、入力画像に視覚的情報を重畳する画像処理部を備え、前記画像処理部は、前記入力画像における、画像内の画素値の差分、および、画像間の差分の少なくとも一方を示す差分情報に応じて、前記視覚的情報を重畳する位置を決定することを特徴としている。【００１０】
上記の課題を解決するために、本開示の一態様に係る他の画像処理装置は、入力画像に視覚的情報を重畳する画像処理部を備え、前記画像処理部は、前記入力画像における、画像内の画素値の差分、および、画像間の差分の少なくとも一方を示す差分情報に応じて、前記視覚的情報を重畳しない範囲を決定することを特徴としている。【００１１】
上記の課題を解決するために、本開示の一態様に係る他の画像処理装置は、入力画像に視覚的情報を重畳する画像処理部を備え、前記画像処理部は、前記入力画像から移動体を検出し、検出した移動体の位置および移動方向の少なくとも一方に応じて、前記視覚的情報を重畳するか否かを切り替えることを特徴としている。【００１２】
上記の課題を解決するために、本開示の一態様に係る画像処理プログラムは、入力画像に視覚的情報を重畳する画像処理装置であって、プロセッサを備える画像処理装置の前記プロセッサに、前記入力画像における、画像内の画素値の差分、および、画像間の差分の少なくとも一方を示す差分情報に応じて、前記視覚的情報を重畳する位置を決定する重畳位置決定処理を実行させるための画像処理プログラムであることを特徴としている。【００１３】
上記の課題を解決するために、本開示の一態様に係る他の画像処理プログラムは、入力画像に視覚的情報を重畳する画像処理装置であって、プロセッサを備える画像処理装置の前記プロセッサに、前記入力画像における、画像内の画素値の差分、および、画像間の差分の少なくとも一方を示す差分情報に応じて、前記視覚的情報を重畳しない範囲を決定する非重畳領域決定処理を実行させるための画像処理プログラムであることを特徴としている。【００１４】
上記の課題を解決するために、本開示の一態様に係る他の画像処理プログラムは、入力画像に視覚的情報を重畳する画像処理装置であって、プロセッサを備える画像処理装置の前記プロセッサに、前記入力画像から移動体を検出し、検出した移動体の位置および移動方向の少なくとも一方に応じて、前記視覚的情報を重畳するか否かを切り替える重畳切り替え処理を実行させるための画像処理プログラムであることを特徴としている。
【発明の効果】
【００１５】
本開示の一態様によれば、視覚的情報を重畳表示する位置あるいは視覚的情報を重畳表示しない位置を画像処理によって決定することができるという効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】本開示の一実施形態である画像処理装置の使用態様の一例を模式的に示す図ある。
【図２】図１に示す画像処理装置の機能ブロック構成の一例を示す図である。
【図３】図２に示す機能ブロック構成の一部について詳細を示す図である。
【図４】図１に示す画像処理装置の表示部に入力画像が表示されている状態を示す図である。
【図５】図１に示す画像処理装置の処理を一部を模式的に示す図である。
【図６】図１に示す画像処理装置の処理を一部を模式的に示す図である。
【図７】図１に示す画像処理装置の処理フローを示す図である。
【図８】本開示の別の実施形態である画像処理装置の機能ブロック構成の一例を示す図である。
【図９】図８に示す機能ブロック構成の一部について詳細を示す図である。
【図１０】図８に示す画像処理装置の処理を一部を模式的に示す図である。
【図１１】図８に示す画像処理装置の処理を一部を模式的に示す図である。
【図１２】図８に示す画像処理装置の処理フローを示す図である。
【図１３】本開示の別の実施形態である画像処理装置の機能ブロック構成の一例を示す図である。
【図１４】図１３に示す機能ブロック構成の一部について詳細を示す図である。
【図１５】図１３に示す画像処理装置の処理フローを示す図である。
【図１６】入力画像と該入力画像に重畳表示された視覚的情報とが、図１に示す画像処理装置の表示部に表示されている様子を模式的に示した図である。
【図１７】入力画像と該入力画像に重畳表示された視覚的情報とが、図１に示す画像処理装置の表示部に表示されている様子を模式的に示した図である。
【図１８】入力画像と該入力画像に重畳表示された視覚的情報とが、図１に示す画像処理装置の表示部に表示されている様子を模式的に示した図である。
【図１９】本開示の別の実施形態である画像処理装置の使用態様の一例を模式的に示す図ある。
【図２０】図１９に示す態様の画像処理装置において移動体を検知したときの様子を模式的に示す図ある。
【図２１】本開示の別の実施形態である画像処理装置の使用態様の一例を模式的に示す図ある。
【図２２】図２１に示す態様の画像処理装置において移動体を検知したときの様子を模式的に示す図ある。
【発明を実施するための形態】
【００１７】
〔実施形態１〕
以下、本開示に係る画像処理装置及び画像処理プログラムの一実施形態について、図１〜図７を用いて説明する。
【００１８】
図１は、本実施形態１に係る画像処理装置１Ａの使用態様の一例を模式的に示す図である。
【００１９】
画像処理装置１Ａは、入力画像に視覚的情報を重畳させて表示することができる画像処理装置である。図１では、画像処理装置１Ａを用いて、撮影対象１０２を撮影して取得した入力画像１０３に視覚的情報１０４を重畳して表示する様子を示す。
【００２０】
図１に示す例において、画像処理装置１Ａは次のように動作する。画像処理装置１Ａは、背面に具備する撮影用のカメラ１０１によって撮影対象１０２を撮影する。また、画像処理装置１Ａは、撮影して取得した入力画像１０３を入力し、視覚的情報１０４を表示する領域を決定し、入力画像１０３と視覚的情報１０４とを画像処理装置１Ａに表示する。
【００２１】
なお、本実施形態１では、撮影対象１０２の撮影と、視覚的情報１０４の表示領域の決定と、入力画像１０３及び視覚的情報１０４の表示と、を全て同一の端末で処理する場合について説明するが、本実施形態１はこれに限定されず、これら処理を複数の端末で行ってもよく、あるいはこれら処理の一部をサーバで行ってもよい。
【００２２】
また、視覚的情報１０４の種類は特に限定されず、例えば文字情報や、図形、記号、静止画、動画、及び、これらの組み合わせなどが挙げられる。以下では、一例として、視覚的情報１０４として文字情報を用いる場合について説明する。
【００２３】
＜機能ブロック構成＞
図２は、本実施形態１に係る画像処理装置１Ａの機能ブロック構成の一例を示す図である。
【００２４】
図２に示すように、画像処理装置１Ａは、撮像部２００と、制御部２０１（画像処理部）と、表示部２０７とを備えている。
【００２５】
撮像部２００は、撮影空間を画像として取り込むための光学部品、及び、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子を具備するように構成されており、撮像素子における光電変換によって得られた電気信号に基づいて入力画像１０３の画像データを生成する。なお、一態様において、撮像部２００は、生成した画像データを生のデータのまま出力してもよいし、図示しない画像処理部を用い、取得した画像データに対して輝度画像化、ノイズ除去などの画像処理を施した後に出力してもよいし、それら両方を出力してもよい。撮像部２００は、画像データと、撮影時の焦点距離などのカメラパラメータとを、制御部２０１の後述する差分情報取得部２０２に出力する。なお、画像データとカメラパラメータとは、制御部２０１の後述する保存部２０８に出力してもよい。
【００２６】
制御部２０１は、差分情報取得部２０２と、非重畳領域取得部２０３と、重畳領域決定部２０４と、重畳情報取得部２０５と、描画部２０６と、保存部２０８とを有している。制御部２０１は、一つ以上のプロセッサから構成され得る。詳細には、制御部２０１は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよく、例えば、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などによって構成され得る。あるいは、制御部２０１は、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【００２７】
差分情報取得部２０２は、撮像部２００が取得した入力画像から、画像内の画素値の差分を示す差分情報を取得する。
【００２８】
非重畳領域取得部２０３は、差分情報取得部２０２が取得した差分情報を参照して、入力画像１０３に視覚的情報を重畳できない範囲（以下、非重畳領域と称する）を取得する。本実施形態１では、視覚的情報を重畳する領域の決定にあたり、まず非重畳領域を決定して、当該非重畳領域を除いた領域を、視覚的情報を重畳することが可能な領域とみなして、視覚的情報を重畳する領域を決定する。そのため、本実施形態１では、非重畳領域を取得する非重畳領域取得部２０３を備える。
【００２９】
重畳領域決定部２０４は、非重畳領域取得部２０３が取得した非重畳領域を参照して、入力画像１０３に視覚的情報を重畳する領域（位置）を決定する。
【００３０】
重畳情報取得部２０５は、入力画像１０３に関連する視覚的情報を取得する。入力画像１０３に関連する視覚的情報を取得する方法は任意の方法でよく、例えば、撮影対象１０２にマーカーを付随させ、撮像部２００は撮影対象１０２とともにマーカーを撮影し、マーカーに紐付いた視覚的情報を選択する、といった方法などを適用してもよい。また、一態様において、視覚的情報のデータ形式は特に限定されず、例えば、静止画であれば、例えば、Ｂｉｔｍａｐ、ＪＰＥＧ（Joint Photographic Experts Group）など、動画であれば、例えば、ＡＶＩ（Audio Video Interleave）、ＦＬＶ（Flash Video）などの汎用のデータ形式であってもよく、独自のデータ形式であってもよい。また、重畳情報取得部２０５は、取得した視覚的情報のデータ形式を変換してもよい。なお、視覚的情報は、画像に関連するものである必要はない。
【００３１】
描画部２０６は、撮像部２００が取得した画像に対し、重畳領域決定部２０４が決定した領域に、重畳情報取得部２０５が取得した視覚的情報を重畳させた画像（以下、重畳画像と称する）を生成する。
【００３２】
表示部２０７は、描画部２０６から出力された重畳画像や、画像処理装置１Ａを制御するためのＵＩ（User Interface）などを表示する。一態様において、表示部２０７は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイ（ＯＥＬＤ：Organic ElectroLuminescence Display）などによって構成され得る。
【００３３】
保存部２０８は、重畳情報取得部２０５が取得した視覚的情報や、画像処理に利用する種々のデータを保存する。一態様において、保存部２０８は、ＲＡＭ（Random Access Memory）や、ハードディスクなどの記憶装置によって構成され得る。
【００３４】
制御部２０１は、以上で説明した各機能ブロックにおける機能に加えて、画像処理装置１Ａ全体の制御を行い、各機能ブロックにおける処理の命令、制御やデータの入出力に関するコントロールを行う。
【００３５】
なお、制御部２０１の各々のユニット間でのデータのやり取りを行うためのデータバスを設けてよい。
【００３６】
なお、一態様において、画像処理装置１Ａは、図１に示すように、一つの装置の中に上記の各機能ブロックを含んだ構成となっている。但し、本実施形態１はこれに限定されず、他の態様において、一部の機能ブロックが独立した筐体を備えていてもよい。例えば、一態様において、画像処理装置１Ａに表示する画像を描画する、差分情報取得部２０２、非重畳領域取得部２０３、重畳領域決定部２０４、重畳情報取得部２０５、描画部２０６を備える装置を、例えば、パーソナルコンピュータ（ＰＣ）などを用いて構成してもよい。
【００３７】
＜差分情報取得部２０２の構成＞
図３は、差分情報取得部２０２の機能ブロック構成の一例を示す図である。図３に示すように、差分情報取得部２０２は、入力画像分割部３０１と、コントラスト算出部３０２とを備えている。
【００３８】
入力画像分割部３０１は、入力画像を取得し、入力画像を複数の領域に分割する。一態様において、入力画像分割部３０１は、保存部２０８に保存されている入力画像を取得する。
【００３９】
コントラスト算出部３０２は、入力画像分割部３０１が分割した入力画像の各領域（以下、分割領域と称する）を参照して、各分割領域におけるコントラスト（画素値の差分を示す差分情報）を算出する。
【００４０】
＜差分情報の取得方法＞
続いて、差分情報取得部２０２における差分情報の取得方法について、図４を用いて説明する。図４は、入力画像１０３の各分割領域においてコントラストを算出している様子を示す図である。
【００４１】
まず、差分情報取得部２０２の入力画像分割部３０１が、入力画像１０３を複数の分割領域に分割する。図４に示す例では、入力画像１０３を３行４列に分割しているが、分割数はこれに限定されるものではなく、１つ以上の行および１つ以上の列に分割してよい。ここで、入力画像１０３におけるｒ行ｃ列の分割領域をＡ（ｒ，ｃ）とする。
【００４２】
続いて、差分情報取得部２０２のコントラスト算出部３０２は、入力画像分割部３０１が分割した入力画像１０３の各分割領域において、コントラストを算出する。分割領域Ａ（ｒ，ｃ）のコントラストをＶ（ｒ，ｃ）とするとき、Ｖ（ｒ，ｃ）は、例えば、下記の式（１）によって取得することができる。
【００４３】
【数１】
0006708760.tif 000002
【００４４】
ここで、式（１）中、Ｌｍａｘ（ｒ，ｃ）は分割領域Ａ（ｒ，ｃ）における最大の輝度であり、Ｌｍｉｎ（ｒ，ｃ）は分割領域Ａ（ｒ，ｃ）における最小の輝度である。
【００４５】
なお、本実施形態１では、コントラスト算出部３０２は、分割領域Ａ（ｒ，ｃ）のコントラストを算出するようになっていればよく、上述したような輝度（画素値）によって濃淡のコントラストを算出する態様に限定されない。例えば、入力画像の色相によって色のコントラストを算出してもよい。あるいは、彩度によってコントラストを算出してもよい。
【００４６】
＜非重畳領域の取得方法＞
続いて、非重畳領域取得部２０３における非重畳領域の取得方法について、図５を用いて説明する。
【００４７】
図５は、差分情報取得部２０２が取得した、入力画像１０３の各分割領域におけるコントラストの一例を示す図である。図５では、黒に近い色の分割領域ほどコントラストが低く、白に近い色の分割領域ほどコントラストが高いことを示している。
【００４８】
そこで、非重畳領域取得部２０３は、差分情報取得部２０２が生成した入力画像の各分割領域におけるコントラストを参照し、入力画像１０３の各分割領域のコントラストと、予め設定されたコントラスト閾値Ｔｈとを比較する。コントラスト閾値Ｔｈは、例えば、保存部２０８に保存されている。
【００４９】
続いて、非重畳領域取得部２０３は、下記の式（２）により、コントラスト閾値Ｔｈ以上のコントラストの分割領域を非重畳領域ＧＦとして決定し、非重畳領域ＧＦに決定した分割領域の、入力画像１０３内における位置情報を、保存部２０８に保存する。
【００５０】
【数２】
0006708760.tif 000003
【００５１】
ここで、式（２）中、Ｒは入力画像の分割行数であり、Ｃは入力画像の分割列数である。
【００５２】
図５の例では、分割領域５０１、５０２、５０３、５０４、５０５がコントラスト閾値Ｔｈ以上のコントラストを持つ領域であり、非重畳領域取得部２０３は、分割領域５０１、５０２、５０３、５０４、５０５を非重畳領域ＧＦとして決定する。
【００５３】
なお、本実施形態１では、非重畳領域取得部２０３は、入力画像１０３において、コントラストが高い分割領域を非重畳領域として取得するようになっていればよく、上述したような、閾値によって非重畳領域を取得する態様に限定されない。例えば、入力画像１０３の各分割領域のコントラストを比較し、コントラストが高い順に所定数の分割領域を非重畳領域として取得してもよい。すなわち、非重畳領域取得部２０３は、コントラストが所定の基準よりも高い領域を非重畳領域として取得するものであればよく、当該基準は、閾値を用いた絶対的な基準であってもよいし、相対的な基準であってもよい。
【００５４】
また、非重畳領域取得部２０３が、入力画像１０３の各分割領域の全てがコントラスト閾値Ｔｈ以上とした場合は、非重畳領域取得部２０３は、入力画像１０３の全ての分割領域を非重畳領域とするか、入力画像１０３の各分割領域のうち、コントラストが高い順に所定数の分割領域を非重畳領域としてもよい。
【００５５】
また、非重畳領域取得部２０３が、コントラスト閾値Ｔｈ以上のコントラストを有する領域を取得できなかった場合は、非重畳領域取得部２０３は、例えば、非重畳領域がないとするか、入力画像１０３の中央に位置する分割領域などの固定領域を非重畳領域とするなどとしてもよい。
【００５６】
＜重畳領域の決定方法＞
続いて、本実施形態１に係る重畳領域決定部２０４における重畳領域の決定方法について、図６を用いて説明する。図６は、非重畳領域取得部２０３が取得した、非重畳領域の一例を示す図である。図６では、分割領域群６０１は非重畳領域ＧＦを示している。
【００５７】
まず、重畳領域決定部２０４は、保存部２０８から非重畳領域ＧＦの位置情報を取得する。続いて、重畳領域決定部２０４は、非重畳領域ＧＦ以外の分割領域から重畳領域を決定する。一態様において、重畳領域決定部２０４は、まず、非重畳領域ＧＦに属する複数の分割領域Ａ（ｒ，ｃ）のコントラストＶ（ｒ，ｃ）を互いに比較し、当該複数の分割領域のなかから、下記の式（３）によって規定される最大のコントラストＶ（ｒ０，ｃ０）を有する分割領域Ａ（ｒ０，ｃ０）を抽出する。
【００５８】
【数３】
0006708760.tif 000004
【００５９】
続いて、重畳領域決定部２０４は、分割領域Ａ（ｒ０，ｃ０）に隣接する分割領域Ａ（ｒ０−１，ｃ０）、分割領域Ａ（ｒ０，ｃ０−１）、分割領域Ａ（ｒ０，ｃ０＋１）、分割領域Ａ（ｒ０＋１，ｃ０）を順に探索し、非重畳領域ＧＦに属さない領域があれば、これを重畳領域として決定する。
【００６０】
ここで、探索した全ての分割領域が非重畳領域ＧＦに属する場合は、分割領域Ａ（ｒ０，ｃ０）からより離れた位置にある分割領域を探索範囲とし、非重畳領域ＧＦに属さない分割領域が見つかるまで、探索範囲の拡大と、探索を繰り返す。
【００６１】
なお、本実施形態１では、重畳領域決定部２０４は、入力画像の非重畳領域以外を重畳領域として決定するようになっていればよく、上述したような、最もコントラストが高い領域の近傍を重畳領域として決定する態様に限定されない。例えば、他の一態様において、重畳領域決定部２０４は、入力画像の非重畳領域以外の領域のうち、最も外縁にある領域を重畳領域として決定するか、重畳領域を連結したときに、最も面積の広い領域として決定してもよい。
【００６２】
＜フローチャート＞
図７は、本実施形態１に係る画像処理装置１Ａの動作の一例を説明するフローチャートである。図７を参照して、画像処理装置１Ａが入力画像１０３の差分情報を取得し、取得した差分情報を参照して、入力画像１０３に視覚的情報１０４を重畳する領域を決定し、重畳した画像を表示する処理を説明する。
【００６３】
なお、上述したように、本実施形態１は、入力画像１０３における非重畳領域を取得し、取得した非重畳領域を参照して重畳領域を決定する。以下では、この態様に基づいて、画像処理装置１Ａの動作を説明する。
【００６４】
まず、ステップＳ１００では、差分情報取得部２０２によって、撮像部２００からの入力画像が取得される。取得後、ステップＳ１０１に進む。
【００６５】
ステップＳ１０１では、差分情報取得部２０２によって入力画像が複数の分割領域に分割される。分割後、ステップＳ１０２に進む。
【００６６】
ステップＳ１０２では、差分情報取得部２０２によって入力画像の各分割領域のコントラストが算出される。算出後、ステップＳ１０３に進む。
【００６７】
ステップＳ１０３では、非重畳領域取得部２０３によって、ステップＳ１０２において算出されたコントラストが参照され、入力画像の非重畳領域が検出される。検出後、ステップＳ１０４に進む。
【００６８】
ステップＳ１０４では、重畳領域決定部２０４によって、ステップＳ１０３において検出された非重畳領域が参照され、入力画像の重畳領域が決定される。決定後、ステップＳ１０５に進む。
【００６９】
ステップＳ１０５では、重畳情報取得部２０５によって入力画像に重畳する視覚的情報が取得される。取得後、視覚的情報は描画部２０６に出力され、ステップＳ１０６に進む。
【００７０】
ステップＳ１０６では、描画部２０６によって、入力画像１０３に対して、ステップＳ１０５において決定した入力画像の重畳領域に、ステップＳ１０５において取得された視覚的情報を重畳した重畳画像が生成される。重畳画像の生成後、ステップＳ１０７に進む。
【００７１】
ステップＳ１０７では、表示部２０７によって、描画部２０６が生成した重畳画像が取得されて、該重畳画像が表示される。
【００７２】
ステップＳ１０８では、制御部２０１によって、表示処理を終了するか否かを判定する。表示処理を終了させず、継続する場合には（ステップＳ１０８のＮＯ）、ステップＳ１００に戻り、前述した表示処理を繰り返す。表示処理を終了する場合には（ステップＳ１０８のＹＥＳ）、全ての処理を終了させる。
【００７３】
以上の構成によって、入力画像に視覚的情報を重畳する画像処理装置１Ａにおいて、入力画像１０３の差分情報に応じて視覚的情報を重畳しない（表示しない）領域を決定することができる。
【００７４】
なお、本実施形態１では、視覚的情報を重畳する領域（位置）を決定するための態様について説明しているが、当該態様は、取得した差分情報に基づいて、視覚的情報を重畳しない領域（非重畳領域）を決定する態様であると換言することができる。
【００７５】
〔実施形態２〕
本開示の他の実施形態について、図８〜図１２に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００７６】
図８は、本実施形態２における画像処理装置１Ｂの機能ブロック構成の一例を示す図である。
【００７７】
図８に示す画像処理装置１Ｂは、制御部２０１（画像処理部）の差分情報取得部８０２と非重畳領域取得部８０３とが、図２に示した実施形態１における画像処理装置１Ａの制御部２０１の差分情報取得部２０２と非重畳領域取得部２０３と異なる。これ以外については、本実施形態２の画像処理装置１Ｂと、実施形態１の画像処理装置１Ａとは同一である。
【００７８】
差分情報取得部８０２は、撮影時刻の異なる複数の入力画像を取得し、これら入力画像の時間差分（差分情報）を取得する。
【００７９】
非重畳領域取得部８０３は、差分情報取得部８０２が取得した差分情報を参照して、非重畳領域を取得する。
【００８０】
＜差分情報取得部８０２の構成＞
図９は、差分情報取得部８０２の機能ブロック構成の一例を示す図である。図１０は、差分情報取得部８０２を説明する模式図である。
【００８１】
図９に示すように、差分情報取得部８０２は、入力画像読込部９０１と、差分画像生成部９０２とを備えている。
【００８２】
入力画像読込部９０１は、保存部２０８（図８）から、撮影時刻の異なる２つの入力画像、具体的には図１０に示す第１の時刻（処理フレームｔ−１）に撮像された第１の入力画像１００１と、当該第１の時刻よりも後である第２の時刻（処理フレームｔ）に撮像された第２の入力画像１００２とを取得する。
【００８３】
差分画像生成部９０２は、第１の入力画像１００１と、第２の入力画像１００２とから、差分画像１００３（差分情報）を取得する。
ここで、処理フレームｔにおける入力画像の画素（ｍ，ｎ）をＩｔ（ｍ，ｎ）、差分画像１００３の画素（ｍ，ｎ）の画素値をＤ（ｍ，ｎ）とするとき、差分画像１００３は、次の式（４）；
【００８４】
【数４】
0006708760.tif 000005
【００８５】
によって算出できる。
【００８６】
なお、差分画像１００３の画素（ｍ，ｎ）の画素値とは、一態様において輝度値とすることができる、しかしながら、これに限定されるものではなく、画素値は、ＲＧＢの何れかであっても良く、彩度、色相等であっても良い。
【００８７】
算出された差分画像１００３によって、画素値に大きな変動がある箇所を検出することができる。ここで、本実施形態２では、同じ撮影範囲を異なる撮影時刻に撮影することを前提としており、そのような前提において、撮影時刻によって画素値に大きな変動がある箇所というのは、実空間内において被写体が出現した箇所を表す。このような被写体としては、移動体がある。そして、本実施形態２では、この移動体をユーザにとって認識されるべき被写体とみなす。すなわち、本実施形態２では、入力画像における画素値の時間的な変動をみることにより移動体の有無と位置を検出して、これらの位置に視覚的情報を重畳させないようにする。
【００８８】
差分画像１００３はそのまま保存部２０８に保存してもよいし、閾値ＴｈＤによって２値化した画像を保存部２０８に保存してもよい。
【００８９】
＜非重畳領域の取得方法＞
非重畳領域取得部８０３は、差分情報取得部８０２の差分画像生成部９０２が生成した差分画像１００３を参照し、差分画像１００３の画素値が閾値以上の画素を、非重畳領域とする。図１１の例では、領域１１０１が非重畳領域である。このように、非重畳領域取得部８０３は、入力画像における時間的な変化が所定の基準よりも大きい領域を、非重畳領域とする。
【００９０】
また、非重畳領域の移動方向情報を用いて、次の処理フレームで非重畳領域となりそうな領域を予測し、予測した領域についても非重畳領域としてもよい。移動方向情報は、線形予測等の周知のアルゴリズムにより、取得することができる。
【００９１】
＜フローチャート＞
図１２は、本実施形態２に係る画像処理装置１Ｂの動作の一例を説明するフローチャートである。図１２を参照して、画像処理装置１Ｂが入力画像１０３の差分情報を取得し、取得した差分情報を参照して、入力画像１０３に視覚的情報１０４を重畳する領域を決定し、重畳した画像を表示する処理を説明する。
【００９２】
なお、上述の実施形態１と同様に、本実施形態２においても、入力画像１０３における非重畳領域を取得し、取得した非重畳領域を参照して重畳領域を決定する。
【００９３】
まず、ステップＳ２００では、差分情報取得部８０２によって、撮像部２００からの複数の入力画像が取得される。取得後、ステップＳ２０１に進む。
【００９４】
ステップＳ２０１では、差分情報取得部８０２によって、複数の入力画像から差分画像が取得される。取得後、ステップＳ２０２に進む。
【００９５】
ステップＳ２０２では、非重畳領域取得部８０３によって、ステップＳ２０１において取得された差分画像が参照され、非重畳領域が取得される。取得後、ステップＳ２０３に進む。
【００９６】
ステップＳ２０３では、重畳領域決定部２０４によって、ステップＳ２０２において取得された非重畳領域が参照され、入力画像の重畳領域が決定される。決定後、ステップＳ２０４に進む。
【００９７】
ステップＳ２０４では、重畳情報取得部２０５によって、入力画像に重畳する視覚的情報が取得される。取得後、ステップＳ２０５に進む。
【００９８】
ステップＳ２０５では、描画部２０６によって、入力画像に対して、ステップＳ２０５において取得された視覚的情報を、ステップＳ２０３において決定した重畳領域に重畳した重畳画像が生成される。生成後、ステップＳ２０６に進む。
【００９９】
ステップＳ２０６では、表示部２０７によって、描画部２０６が生成した重畳画像が取得されて、該重畳画像が表示される。
【０１００】
ステップＳ２０７では、制御部２０１によって、表示処理を終了するか否かを判定する。表示処理を終了させず、継続する場合には（ステップＳ２０７のＮＯ）、ステップＳ２００に戻り、前述した表示処理を繰り返す。表示処理を終了する場合には（ステップＳ２０７のＹＥＳ）、全ての処理を終了させる。
【０１０１】
以上の構成によって、入力画像に視覚的情報を重畳する画像処理装置１Ｂにおいて、入力画像１０３の差分情報に応じて視覚的情報を重畳しない（表示しない）領域を決定することができる。
【０１０２】
また、本実施形態２によれば、移動体が表示されている領域を非重畳領域とすることで、当該領域に視覚的情報を表示させない。これにより、移動体に対するユーザの視認性を確保することができる。仮に、移動体が表示されている領域に視覚的情報を重畳すると、ユーザが移動体を視認できず危険が生じる虞がある。しかしながら、本実施形態２の構成によれば、そのような危険を回避することができる。
【０１０３】
なお、本実施形態２においても、上記実施形態１と同様に、視覚的情報を重畳する領域（位置）を決定するための態様について説明しているが、当該態様は、取得した差分情報に基づいて、視覚的情報を重畳しない領域（非重畳領域）を決定する態様であると換言することができる。
【０１０４】
〔実施形態３〕
本開示の他の実施形態について、図１３〜図１５に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態２にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０１０５】
図１３は、本実施形態３における画像処理装置１Ｃの機能ブロック構成の一例を示す図である。
【０１０６】
図１３に示す画像処理装置１Ｃは、制御部２０１（画像処理部）の差分情報取得部１３０２と非重畳領域取得部１３０３とが、図８に示した実施形態２における画像処理装置１Ｂの制御部２０１の差分情報取得部８０２と非重畳領域取得部８０３と異なる。これ以外については、本実施形態３の画像処理装置１Ｃと、実施形態２の画像処理装置１Ｂとは同一である。
【０１０７】
本実施形態３では、視覚的情報の視認性を改善するべく、重畳される視覚的情報の位置が大きく変動しないように、非重畳領域および重畳領域を決定する。そのために、本実施形態３では、実施形態２との相違点として、入力画像の合焦位置（焦点位置）を取得するというステップを含む。具体的には、次の通りである。
【０１０８】
差分情報取得部１３０２は、撮影時刻の異なる複数の入力画像と、入力画像の合焦位置を取得する。
【０１０９】
非重畳領域取得部１３０３は、入力画像の時間差分と合焦位置の時間差分を参照して、非重畳領域を取得する。
【０１１０】
＜差分情報取得部１３０２の構成＞
図１４は、差分情報取得部１３０２の機能ブロック構成の一例を示す図である。
【０１１１】
図１４に示すように、差分情報取得部１３０２は、入力画像読込部１４０１と、差分画像生成部１４０２と、合焦位置変動算出部１４０３とを備えている。
【０１１２】
入力画像読込部１４０１は、保存部２０８から、撮影時刻の異なる第１の入力画像１００１と、第２の入力画像１００２と、第１の入力画像１００１の合焦位置と、第２の入力画像１００２の合焦位置とを取得する。ここで、合焦位置の取得方法の一態様としては、画素毎にコントラストを算出して、予め設定した閾値よりも高いコントラストの位置、あるいは、画像内においてコントラストを比較してコントラストが最も高い位置を、合焦位置として取得する方法がある。なお、取得方法は、この限りでない。
【０１１３】
差分画像生成部１４０２は、実施形態２の差分画像生成部９０２（図９）と同じく、第１の入力画像１００１と、第２の入力画像１００２とから、差分画像１００３を取得する。
【０１１４】
合焦位置変動算出部１４０３は、入力画像読込部１４０１が取得した第１の入力画像１００１の合焦位置と、第２の入力画像１００２の合焦位置とを参照して、合焦位置の変位を算出する。
【０１１５】
＜非重畳領域の取得方法＞
非重畳領域取得部１３０３は、合焦位置の変位を参照し、合焦位置の変位が所定の基準以上（例えば、閾値ＴｈＦ以上）であれば、差分画像１００３を参照し、差分画像１００３の画素値が閾値以上の画素を、非重畳領域とする。
【０１１６】
また、非重畳領域取得部１３０３は、合焦位置の変位が所定の基準よりも小さい（例えば、閾値ＴｈＦ未満）であれば、非重畳領域を維持する。これにより、画像処理装置１Ｃは、合焦位置の変異が所定の基準より小さいときには、視覚的情報を重畳する位置を変化させない。
【０１１７】
＜フローチャート＞
図１５は、本実施形態３に係る画像処理装置１Ｃの動作の一例を説明するフローチャートである。
【０１１８】
まず、ステップＳ３００では、差分情報取得部１３０２によって、撮像部２００からの複数の入力画像が取得される。取得後、ステップＳ３０１に進む。
【０１１９】
ステップＳ３０１では、差分情報取得部１３０２の合焦位置変動算出部１４０３によって、複数の入力画像から合焦位置の変位が取得される。取得後、ステップＳ３０２に進む。
【０１２０】
ステップＳ３０２では、差分情報取得部１３０２の差分画像生成部１４０２によって、複数の入力画像から差分画像が取得される。取得後、ステップＳ３０３に進む。
【０１２１】
ステップＳ３０３では、非重畳領域取得部１３０３によって、ステップＳ３０１において合焦位置変動算出部１４０３が取得した合焦位置の変位が閾値以上か否かが判定される。判定の結果、合焦位置の変位が閾値以上の場合には（ステップＳ３０３のＹＥＳ）、ステップＳ３０４に進む。
【０１２２】
ステップＳ３０４では、非重畳領域取得部１３０３によって、差分画像から非重畳領域が取得される。取得後、ステップＳ３０５に進む。
【０１２３】
ステップＳ３０５では、重畳領域決定部２０４によって、ステップＳ３０４において取得された非重畳領域が参照され、入力画像の重畳領域が決定される。決定後、ステップＳ３０６に進む。
【０１２４】
一方、ステップＳ３０３における判定の結果、合焦位置の変位が閾値未満の場合には（ステップＳ３０３のＮＯ）、非重畳領域および重畳領域を変化させることなく、ステップＳ３０６に進む。
【０１２５】
ステップＳ３０６では、重畳情報取得部２０５によって、入力画像に重畳する視覚的情報が取得される。取得後、ステップＳ３０７に進む。
【０１２６】
ステップＳ３０７では、描画部２０６によって、入力画像に対して、ステップＳ３０６において取得された視覚的情報を、ステップＳ３０５において決定した重畳領域に重畳した重畳画像が生成される。生成後、ステップＳ３０８に進む。
【０１２７】
ステップＳ３０８では、表示部２０７によって、描画部２０６が生成した重畳画像が取得されて、該重畳画像が表示される。
【０１２８】
ステップＳ３０９では、制御部２０１によって、表示処理を終了するか否かを判定する。表示処理を終了させず、継続する場合には（ステップＳ３０９のＮＯ）、ステップＳ３００に戻り、前述した表示処理を繰り返す。表示処理を終了する場合には（ステップＳ３０９のＹＥＳ）、全ての処理を終了させる。
【０１２９】
なお、本実施形態３では、合焦位置の変位が閾値以上である場合に、ステップＳ３０４において、実施形態２と同様に、撮影時刻の異なる２つの入力画像を用いて生成した差分画像に基づいて非重畳領域を決定しているが、これに限定されるものではない。例えば、合焦位置の変位が閾値以上である場合に、非重畳領域の決定を、実施形態１において説明したコントラスト（画素値の差分を示す差分情報）を参照して行う態様であってもよい。
【０１３０】
以上のように、本実施形態３によれば、合焦位置の変位が閾値未満である場合には視覚的情報の重畳位置を変更しない。これにより、ズームの調整時等、合焦位置が変化せず、ユーザの視線が変わらないときに、視覚的情報の重畳位置が移動することによる視覚的情報の視認性の低下を抑えることができる。
【０１３１】
〔実施形態４〕
上述の実施形態１の画像処理装置１Ａにおける図１に示す視覚的情報１０４の表示様式に関して、以下に図１６〜図１８に基づいて更に説明する。なお、説明の便宜上、上述の実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０１３２】
図１６中の（ａ）と（ｂ）に、視覚的情報１０４の表示様式の一形態を示す。図１６中の（ａ）と（ｂ）では、入力画像１０３中の被写体（部位）であるコップ１６０１について、「コップ」という視覚的情報１０４と、これに随伴する吹き出し画像１０４ａ（付加画像）とが重畳領域６０２に重畳されている。吹き出し画像１０４ａは、入力画像１０３内のコップ１６０１から吹き出した形状を有しており、コップ１６０１と視覚的情報１０４とを結ぶことで両者が関連していることを示している。
【０１３３】
図１６中の（ａ）と（ｂ）との違いは、重畳領域６０２の範囲にある。図１６中の（ａ）に示す態様では、入力画像１０３内のコップ１６０１の近傍に重畳領域６０２があって、視覚的情報１０４及び吹き出し画像１０４ａは、コップ１６０１の近傍の位置において重畳している。一方、図１６中の（ｂ）に示す態様では、入力画像１０３内の右端に映っているコップ１６０１から比較的離れた位置である入力画像１０３内の左端に重畳領域６０２がある。そのため、視覚的情報１０４及び吹き出し画像１０４ａは、入力画像１０３内の左端にある重畳領域６０２に重畳されるが、吹き出し画像１０４ａが、図１６中の（ａ）に示す態様と同様に、コップ１６０１から吹き出した形状を有し、左右両端に離れて位置するコップ１６０１と視覚的情報１０４と繋ぐ形状となっている。そのため、ユーザは、重畳されている視覚的情報１０４が何に関連している情報なのかを判断することができる。
【０１３４】
また、図１６中の（ａ）に示す状態から図１６中の（ｂ）に示す状態に撮像範囲が変化して視覚的情報１０４の重畳位置が変化した場合であっても、これに伴って吹き出し画像１０４ａの形状が変化すれば、視覚的情報１０４によって、コップ１６０１が視認できない不具合を解消し、視覚的情報１０４及びコップ１６０１の双方をユーザが視認することができる。
【０１３５】
すなわち、一態様において、吹き出し画像１０４ａの形状は、視覚的情報１０４が重畳される座標位置と、入力画像１０３内の、視覚的情報１０４と関連する被写体（部位）の座標位置とに基づいて、決定される。
【０１３６】
図１７に示す態様は、図１６と同様、視覚的情報１０４と、入力画像１０３内の、視覚的情報１０４に関連する被写体であるコップ１６０１とを結ぶ指示線１０４ｂ（付加画像）の向きおよび長さ（形状）が、視覚的情報１０４が重畳する重畳領域６０２の座標位置と、コップ１６０１の座標位置とに基づいて決定される。
【０１３７】
なお、本明細書において、指示線１０４ｂの形状が変化するとは、指示線１０４ｂの長さのみが変化する場合を含む。すなわち、一態様において、指示線１０４ｂの形状は、視覚的情報１０４が重畳される座標位置と、入力画像１０３内の、視覚的情報１０４と関連する被写体（部位）の座標位置とに基づいて、決定される。
【０１３８】
図１８に示す態様は、入力画像１０３内において、異なる複数の部位のそれぞれに対して異なる視覚的情報を重畳させる場合を示している。図１８では、入力画像１０３の２つの部位としてコップ１６０１と大皿１８０１を例に挙げている。そして、コップ１６０１について「コップ」という視覚的情報１０４を、大皿１８０１について「大皿」という視覚的情報１０４ｃを、入力画像１０３に重畳している。この態様において、「コップ」という視覚的情報１０４は、「大皿」という視覚的情報１０４ｃよりもコップ１６０１に近い位置に重畳している。同様に、「大皿」という視覚的情報１０４ｃは、「コップ」という視覚的情報１０４よりも大皿１８０１に近い位置に重畳している。
【０１３９】
更に、図１８に示す態様では、「コップ」という視覚的情報１０４とコップ１６０１とを繋ぐ指示線１０４ｂ（付加画像）が入力画像１０３に重畳されている。同じく、「大皿」という視覚的情報１０４ｃと大皿１８０１とを繋ぐ指示線１０４ｄ（付加画像）が入力画像１０３に重畳されている。図１８に示す態様では、「コップ」という視覚的情報１０４を、コップ１６０１に近い位置に重畳し、「大皿」という視覚的情報１０４ｃを、大皿１８０１に近い位置に重畳することにより、これら２つの指示線１０４ｂ、１０４ｄが交差することが無いように構成されている。
【０１４０】
すなわち、一態様において、視覚的情報と当該視覚的情報に関連する被写体（部位）とを画像内において近接させることにより、複数種の視覚的情報が重畳表示された場合であっても、混乱なくそれぞれの視覚的情報を視認することができる。
【０１４１】
〔実施形態５〕
本開示の他の実施形態について、図１９〜図２０に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態２にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０１４２】
図１９は、本実施形態５における画像処理装置１Ｄの使用形態の一例を示す図である。上述の実施形態２において既に述べたが、本開示の一態様として、入力画像を用いて実空間上の移動体を検出し、検出した移動体の位置に視覚的情報を重畳させないようにすることができる。本実施形態５では、これについて詳述する。
【０１４３】
本実施形態５における画像処理装置１Ｄは、制御部２０１が、カメラが取得した入力画像から移動体を検出し、検出した移動体の位置に応じて、視覚的情報を重畳するか否かを切り替える点において、実施形態２の画像処理装置１Ｂと相違する。
【０１４４】
具体的には、本実施形態５における画像処理装置１Ｄの制御部２０１は、検出した移動体の位置が、視覚的情報を重畳されている領域内である場合に、視覚的情報を重畳しないように切り替える構成となっている。これにより、視覚的情報によって隠されている移動体をユーザが認識することができる。
【０１４５】
図１９に示す画像処理装置１Ｄの表示部２０７には、画面手前側から画面奥側に向かって延びている道路をリアルタイムで撮影している画像が、入力画像１０３として表示されている。また、この表示部２０７には、入力画像１０３の中央付近に重畳領域が設定されており、この重畳領域にボウリングピン型の視覚的情報１０４が重畳表示されている。
【０１４６】
一態様において、図１９に示す状態において仮に車両（移動体）が画面奥側から道路に現れて移動している場合に、入力画像を用いて移動する車両を検知する。そして、その検知結果に応じて、重畳表示されていたボウリングピン型の視覚的情報１０４を重畳させないようにするという処理を行う。具体的には、移動する車両を検知した検知結果を受けて、入力画像１０３の中央付近に設定されていた重畳領域を非重畳領域に切り替える。これにより、入力画像１０３の中央付近に設定されていた重畳領域に重畳表示されていたボウリングピン型の視覚的情報１０４が消える。ボウリングピン型の視覚的情報１０４は、表示部２０７に表示された入力画像１０３から完全に消えても良いし、別の重畳領域に重畳位置を移しても良い。
【０１４７】
要するに、本実施形態５では、検知された移動体の位置に応じて、既に重畳領域として設定されていた領域を非重畳領域に切り替える処理を行う。
【０１４８】
車両の出現および移動は、実施形態２において説明したように入力画像１０３の時間差分（差分情報）を取得することによって検知することができる。このとき、出現した車両の入力画像内における位置も特定することができる。
【０１４９】
車両の出現が検知された場合の表示部２０７の一例を、図２０に示す。図２０では、表示部２０７に表示された入力画像１０３に車両２０００が映っており、図１９において重畳表示されていたボウリングピン型の視覚的情報１０４が重畳されていない。
【０１５０】
このように本実施形態５によれば、移動体を検知して、視覚的情報を重畳するか否かを切り替えることができる。図１９および図２０に示したように、既に重畳表示していた視覚的情報１０４を、移動体の検出によって非重畳とすることができる。
【０１５１】
そのため、図１９および図２０に例示したようなシチュエーションで画像処理装置１Ｄが用いられていた場合に、車両の出現をユーザが認識することができ、仮にユーザが道路内に侵入していたり道路に近接していたりして撮影していた場合に、車両に気付き、退避等の対応をとることができるため、事故を起こすことを防止することができる。
【０１５２】
特に、検出した車両２０００の位置が、ボウリングピン型の視覚的情報１０４を重畳されている領域内であり、車両２０００の移動方向が、入力画像１０３手前側に向かう方向である場合に、ボウリングピン型の視覚的情報１０４を重畳しないように切り替えるように構成することが好ましい。車両２０００の移動方向情報は、実施形態２において説明したように、線形予測により取得することができる。このように構成することにより、視覚的情報に隠されており、かつ、ユーザに近づく方向に移動する移動体に対するユーザの視認性を確保することができる。
【０１５３】
〔実施形態６〕
本開示の他の実施形態について、図２１〜図２２に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態５にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０１５４】
上述の実施形態５では、検知された移動体の位置に応じて、既に重畳領域として設定されていた領域を非重畳領域に切り替える処理を行う。これに対して、本実施形態６では、検出した移動体の移動方向に応じて、視覚的情報を重畳しないように切り替える処理を行う。
【０１５５】
図２１は、本実施形態６における画像処理装置１Ｅの使用形態の一例を示す図である。図２１では、画像処理装置１Ｅを把持したユーザが、紙面手前から奥に向かって延びる道を撮影している。そして、表示部２０７には、道およびその周辺を撮影範囲として撮影された入力画像１０３と、この入力画像１０３の中央付近およびその下方の位置に重畳表示されたボウリングピン型の視覚的情報１０４およびボウリングボール型の視覚的情報１０４’とが表示されている。また、図２１の入力画像１０３には、道の先端に置かれた自転車２１００が撮影されている。
【０１５６】
そして、本実施形態６では、この自転車２１００が動くと、画像処理装置１Ｅの制御部２０１が、入力画像を用いてこの動きを検知し、検出した自転車２１００（移動体）の移動方向が、入力画像１０３手前側に向かう方向である場合に、ボウリングピン型の視覚的情報１０４およびボウリングボール型の視覚的情報１０４’を重畳しないように切り替える。
【０１５７】
図２２は、自転車２１００が入力画像１０３手前側（図２２中の矢印で示す方向）に向かって動いている状態を示す入力画像１０３が、表示部２０７に表示されている様子を示している。
【０１５８】
画像処理装置１Ｅの制御部２０１は、入力画像１０３に基づいて、図２２に示すように自転車２１００が入力画像１０３手前側に向かって動いていることを検知すると、重畳表示していたボウリングピン型の視覚的情報１０４およびボウリングボール型の視覚的情報１０４’を重畳しないようにする。
【０１５９】
一方、画像処理装置１Ｅの制御部２０１は、検出した自転車２１００（移動体）の移動方向が、入力画像１０３横方向に向かう方向である場合には、ボウリングピン型の視覚的情報１０４およびボウリングボール型の視覚的情報１０４’を重畳させたまま維持する。
【０１６０】
自転車２１００の移動の検知および移動方向の検出は、実施形態２において説明したように入力画像１０３の時間差分（差分情報）を取得することによって行うことができる。
【０１６１】
本実施形態６によれば、図２１および図２２に例示したようなシチュエーションで画像処理装置１Ｅが用いられていた場合に、ユーザが、ユーザに近づく方向に移動する移動体を認識することができ、事故を起こすことを防止することができる。
【０１６２】
〔ソフトウェアによる実現例〕
画像処理装置１Ａ〜１Ｅの制御部２０１は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【０１６３】
後者の場合、制御部２０１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１６４】
〔まとめ〕
本開示の態様１に係る画像処理装置１Ａ，１Ｂ，１Ｃは、入力画像１０３に視覚的情報１０４を重畳する画像処理部（制御部２０１）を備え、前記画像処理部（制御部２０１）は、前記入力画像１０３における、画像内の画素値の差分（コントラスト）、および、画像間の差分（差分画像１００３）の少なくとも一方を示す差分情報に応じて、前記視覚的情報１０４を重畳する位置（重畳領域）を決定する。
【０１６５】
上記の構成によれば、視覚的情報を重畳表示する位置を画像処理によって決定する画像処理装置を提供することができる。
【０１６６】
具体的には、入力画像の差分情報に応じて、入力画像に対して視覚的情報を重畳表示する位置を決定する。
【０１６７】
本開示の態様２に係る画像処理装置１Ａは、上記態様１において、前記差分情報は、前記入力画像のコントラストを示す情報を含み、前記画像処理部（制御部２０１）は、前記コントラストが所定の基準よりも高い領域には、前記視覚的情報１０４を重畳しないように、前記視覚的情報１０４を重畳する位置を決定してもよい。
【０１６８】
入力画像内においてコントラストが高い箇所は、ユーザにとって視認したいあるいは視認すべき箇所であると考えられる。そのため、上記の構成によれば、当該箇所に視覚的情報が重畳しないよう、当該箇所以外を視覚的情報が重畳する位置として決定する。これにより、ユーザは、当該箇所を含む入力画像と、当該箇所以外に重畳された視覚的情報とを快適に視認することができる。
【０１６９】
本開示の態様３に係る画像処理装置１Ｂ，１Ｃは、上記態様１または２において、前記差分情報は、前記入力画像（第１の入力画像１００１および第２の入力画像１００２）の時間的な変化を示す情報を含み、前記画像処理部（制御部２０１）は、前記時間的な変化が所定の基準よりも大きい領域には、前記視覚的情報１０４を重畳しないように、前記視覚的情報１０４を重畳する位置を決定してもよい。
【０１７０】
撮影時刻が異なる入力画像同士の間において時間的な変化が大きい領域は、何らかの有意な情報を含むと考えることができる。例えば、動く実物体を撮影している可能性がある。そのような領域は、ユーザが視認すべき領域であるといえる。したがって、上記の構成によれば、そのような領域には視覚的情報を重畳しない構成となっている。これにより、ユーザが入力画像において視認すべき情報を視認できるとともに、重畳された視覚的情報も視認することができる。
【０１７１】
本開示の態様４に係る画像処理装置１Ｃは、上記態様１から３において、前記差分情報は、前記入力画像の焦点位置（合焦位置）の変位を示す情報を含み、前記画像処理部は、前記焦点位置（合焦位置）の変位が所定の基準よりも小さい場合には、前記視覚的情報１０４を重畳する位置を変化させない。
【０１７２】
上記の構成によれば、ズームの調整時等、合焦位置が変化せず、ユーザの視線が変わらないときに、視覚的情報の重畳位置が移動することによる視覚的情報の視認性の低下を抑えることができる。
【０１７３】
本開示の態様５に係る画像処理装置１Ａ，１Ｂ，１Ｃは、上記態様１から４において、前記入力画像１０３に、前記視覚的情報に随伴させて付加画像（吹き出し画像１０４ａ、指示線１０４ｂ、１０４ｄ）を重畳し、決定した前記視覚的情報を重畳する位置に応じて、前記付加画像（吹き出し画像１０４ａ、指示線１０４ｂ、１０４ｄ）の形状を変化させる。
【０１７４】
上記の構成によれば、被写体と重畳されている視覚的情報１０４との関連性を、ユーザが容易に認識することができる。
【０１７５】
本開示の態様６に係る画像処理装置１Ａ，１Ｂ，１Ｃは、上記態様１から５において、前記視覚的情報１０４、１０４ｃは、前記入力画像中の特定の部位（コップ１６０１、大皿１８０１）と関連しており、前記画像処理部（制御部２０１）は、前記付加画像（吹き出し画像１０４ａ、指示線１０４ｂ、１０４ｄ）の形状を、前記特定の部位（コップ１６０１、大皿１８０１）と前記視覚的情報１０４、１０４ｃとを結ぶような形状に変化させる。
【０１７６】
上記の構成によれば、被写体と重畳されている視覚的情報１０４との関連性を、ユーザがより容易に認識することができる。
【０１７７】
本開示の態様７に係る画像処理装置１Ａ，１Ｂ，１Ｃは、上記態様１から６において、前記画像処理部（制御部２０１）は、前記入力画像１０３に複数の前記視覚的情報（指示線１０４ｂ、１０４ｄ）を重畳し、前記視覚的情報（指示線１０４ｂ、１０４ｄ）の各々は、前記入力画像１０３中の互いに異なる部位（コップ１６０１、大皿１８０１）と関連しており、前記画像処理部（制御部２０１）は、前記視覚的情報（指示線１０４ｂ、１０４ｄ）の各々の重畳位置が、当該視覚的情報以外の前記視覚的情報に関連する前記部位よりも、当該視覚的情報に関連する前記部位に近い位置になるように、前記視覚的情報の各々の重畳位置を決定する。
【０１７８】
上記の構成によれば、複数種の視覚的情報が重畳表示された場合であっても、混乱なくそれぞれの視覚的情報を視認することができる。
【０１７９】
本開示の態様８に係る画像処理装置１Ａ，１Ｂ，１Ｃは、入力画像１０３に視覚的情報１０４を重畳する画像処理部（制御部２０１）を備え、前記画像処理部（制御部２０１）は、前記入力画像１０３における、画像内の画素値の差分、および、画像間の差分の少なくとも一方を示す差分情報に応じて、前記視覚的情報を重畳しない範囲（非重畳領域）を決定する。
【０１８０】
上記の構成によれば、視覚的情報を重畳表示しない範囲を画像処理によって決定する画像処理装置を提供することができる。
【０１８１】
具体的には、入力画像の差分情報に応じて、入力画像に対して視覚的情報を重畳表示しない範囲を決定することができる。これにより、決定した重畳表示しない範囲を除く領域を、視覚的情報を重畳表示できる領域として決定し、当該領域に視覚的情報を重畳表示させることができる。
【０１８２】
本開示の態様９に係る画像処理装置１Ｂ、１Ｄは、入力画像１０３に視覚的情報１０４を重畳する画像処理部（制御部２０１）を備え、前記画像処理部（制御部２０１）は、前記入力画像１０３から移動体（車両２０００）を検出し、検出した移動体（車両２０００）の位置および移動方向の少なくとも一方に応じて、前記視覚的情報（ボウリングピン型の視覚的情報１０４）を重畳するか否かを切り替える。
【０１８３】
上記の構成によれば、移動体に対するユーザの視認性を確保することができる。
【０１８４】
本開示の態様１０に係る画像処理装置１Ｄは、上記態様９において、前記検出した移動体（車両２０００）の位置が、前記視覚的情報を重畳されている領域内である場合に、前記視覚的情報（ボウリングピン型の視覚的情報１０４）を重畳しないように切り替える。
【０１８５】
上記の構成によれば、視覚的情報に隠されている移動体に対するユーザの視認性を確保することができる。
【０１８６】
本開示の態様１１に係る画像処理装置１Ｄは、上記態様９において、前記検出した移動体（車両２０００）の位置が、前記視覚的情報を重畳されている領域内であり、前記検出した移動体（車両２０００）の移動方向が、前記入力画像１０３手前側に向かう方向である場合に、前記視覚的情報（ボウリングピン型の視覚的情報１０４）を重畳しないように切り替える。
【０１８７】
上記の構成によれば、視覚的情報に隠されており、かつ、ユーザに近づく方向に移動する移動体に対するユーザの視認性を確保することができる。
【０１８８】
本開示の態様１２に係る画像処理装置１Ｅは、上記態様９において、前記検出した移動体（自転車２１００）の移動方向が、前記入力画像１０３手前側に向かう方向である場合に、前記視覚的情報を重畳しないように切り替える。
【０１８９】
上記の構成によれば、ユーザに近づく方向に移動する移動体に対するユーザの視認性を確保することができる。
【０１９０】
さらに、本開示の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本開示の範疇に入る。
【０１９１】
すなわち、本開示の態様１３に係る画像処理プログラムは、入力画像に視覚的情報を重畳する画像処理装置であって、プロセッサを備える画像処理装置の前記プロセッサに、前記入力画像における、画像内の画素値の差分、および、画像間の差分の少なくとも一方を示す差分情報に応じて、前記視覚的情報を重畳する位置を決定する重畳位置決定処理を実行させるための画像処理プログラムである。
【０１９２】
また、本開示の態様１４に係る画像処理プログラムは、入力画像に視覚的情報を重畳する画像処理装置であって、プロセッサを備える画像処理装置の前記プロセッサに、前記入力画像における、画像内の画素値の差分、および、画像間の差分の少なくとも一方を示す差分情報に応じて、前記視覚的情報を重畳しない範囲を決定する非重畳領域決定処理を実行させるための画像処理プログラムである。
【０１９３】
また、本開示の態様１５に係る画像処理プログラムは、入力画像に視覚的情報を重畳する画像処理装置であって、プロセッサを備える画像処理装置の前記プロセッサに、前記入力画像から移動体を検出し、検出した移動体の位置および移動方向の少なくとも一方に応じて、前記視覚的情報を重畳するか否かを切り替える重畳切り替え処理を実行させるための画像処理プログラムである。
【０１９４】
本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【０１９５】
〔関連出願の相互参照〕
本出願は、2017年2月10日に出願された日本国特許出願：特願2017-023586に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
【符号の説明】
【０１９６】
１Ａ、１Ｂ、１Ｃ、１Ｄ、１Ｅ  画像処理装置
１０１  カメラ
１０２  撮影対象
１０３  入力画像
１０４ａ  吹き出し画像（付加画像）
１０４、１０４ｃ、１０４’  視覚的情報
１０４ｂ、１０４ｄ  指示線（付加画像）
２００  撮像部
２０１  制御部
２０２、８０２、１３０２  差分情報取得部
２０３、３０２  コントラスト算出部
２０３、８０２、８０３、１３０２、１３０３  非重畳領域取得部
２０４  重畳領域決定部
２０５  重畳情報取得部
２０６  描画部
２０７  表示部
２０８  保存部
３０１  入力画像分割部
５０１  分割領域
６０１  分割領域群
６０２  重畳領域
９０１、１４０１  入力画像読込部
９０２、１４０２  差分画像生成部
１００１  第１の入力画像
１００２  第２の入力画像
１００３  差分画像
１１０１  領域
１４０３  合焦位置変動算出部
【図１】
0006708760.tif 000006
【図２】
0006708760.tif 000007
【図３】
0006708760.tif 000008
【図４】
0006708760.tif 000009
【図５】
0006708760.tif 000010
【図６】
0006708760.tif 000011
【図７】
0006708760.tif 000012
【図８】
0006708760.tif 000013
【図９】
0006708760.tif 000014
【図１０】
0006708760.tif 000015
【図１１】
0006708760.tif 000016
【図１２】
0006708760.tif 000017
【図１３】
0006708760.tif 000018
【図１４】
0006708760.tif 000019
【図１５】
0006708760.tif 000020
【図１６】
0006708760.tif 000021
【図１７】
0006708760.tif 000022
【図１８】
0006708760.tif 000023
【図１９】
0006708760.tif 000024
【図２０】
0006708760.tif 000025
【図２１】
0006708760.tif 000026
【図２２】
0006708760.tif 000027