(57)【要約】【課題】撮像装置の撮像方向を容易に所定の方向に合わせる。【解決手段】本発明の表示制御装置は、撮像装置により撮像された撮像画像を取得する入力手段と、前記撮像画像に関連する画像である記録画像および前記撮像画像のうちいずれか一方の画像である透過対象画像の面積に対する透過領域全体の面積の比率を受け付ける受付手段と、前記比率に基づいて、前記透過対象画像の一部の領域である複数の透過領域を設け、前記複数の透過領域のそれぞれに対して透過度を設定した画像である透過画像を生成する透過画像生成手段と、前記記録画像および前記撮像画像のうち前記透過対象画像ではない画像と前記透過画像とを重畳した画像である重畳画像を生成する重畳画像生成手段と、を有する。【選択図】図１
2020141372.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された撮像画像を取得する入力手段と、
前記撮像画像に関連する画像である記録画像および前記撮像画像のうちいずれか一方の画像である透過対象画像の面積に対する透過領域全体の面積の比率を受け付ける受付手段と、
前記比率に基づいて、前記透過対象画像の一部の領域である複数の透過領域を設け、前記複数の透過領域のそれぞれに対して透過度を設定した画像である透過画像を生成する透過画像生成手段と、
前記記録画像および前記撮像画像のうち前記透過対象画像ではない画像と前記透過画像とを重畳した画像である重畳画像を生成する重畳画像生成手段と、
を有することを特徴とする表示制御装置。
【請求項２】
前記透過対象画像に基づいて前記複数の透過領域のそれぞれのサイズを決定する決定手段をさらに有する、
ことを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記決定手段は、前記透過対象画像において高周波成分が多いほど、前記複数の透過領域のそれぞれのサイズを小さくする、
ことを特徴とする請求項２に記載の表示制御装置。
【請求項４】
前記決定手段は、前記透過対象画像の輝度または色ヒストグラムに基づいて、前記複数の透過領域のそれぞれのサイズを決定する、
ことを特徴とする請求項２に記載の表示制御装置。
【請求項５】
前記決定手段は、前記撮像画像と前記記録画像との一致度が高いほど、前記複数の透過領域のそれぞれのサイズを小さくする、
ことを特徴とする請求項２から４のいずれか一項に記載の表示制御装置。
【請求項６】
前記決定手段は、前記比率、前記複数の透過領域のそれぞれのサイズ、および前記透過対象画像のサイズに基づいて前記透過領域間の間隔を決定する、
ことを特徴とする請求項２から５のいずれか一項に記載の表示制御装置。
【請求項７】
前記記録画像は、前記撮像画像を撮像する位置と同じ位置で撮像された画像である、
ことを特徴とする請求項１から６のいずれか一項に記載の表示制御装置。
【請求項８】
前記受付手段は、第１の透過度を受け付け、
前記透過画像生成手段は、前記複数の透過領域のそれぞれを前記第１の透過度にする、
ことを特徴とする請求項１から７のいずれか一項に記載の表示制御装置。
【請求項９】
前記受付手段は、前記透過領域の透過度より小さい第２の透過度を受け付け、
前記透過画像生成手段は、前記透過領域以外の領域の透過度を前記第２の透過度にする、
ことを特徴とする請求項１から８のいずれか一項に記載の表示制御装置。
【請求項１０】
前記透過領域は、帯状の領域であって、
透過画像生成手段は、前記帯状の方向を前記撮像装置の移動方向と同じ方向にする、
ことを特徴とする請求項１から９のいずれか一項に記載の表示制御装置。
【請求項１１】
透過画像生成手段は、複数のフレーム間における前記撮像画像のシフト方向に基づいて
前記撮像装置の移動方向を決定する、
ことを特徴とする請求項１０に記載の表示制御装置。
【請求項１２】
前記透過領域は、帯状の領域であって、
透過画像生成手段は、前記帯状の方向を前記撮像画像と前記記録画像とのズレ方向と同じ方向にする、
ことを特徴とする請求項１から９のいずれか一項に記載の表示制御装置。
【請求項１３】
前記記録画像を保持する記憶手段をさらに有する、
ことを特徴とする請求項１から１０のいずれか一項に記載の表示制御装置。
【請求項１４】
撮像装置により撮像された撮像画像を取得する入力手段と、
前記撮像画像に関連する画像である記録画像および前記撮像画像のうちいずれか一方の画像である透過対象画像における透過度の平均値を受け付ける受付手段と、
前記透過度の平均値に基づいて、前記透過対象画像の面積に対する透過領域全体の面積の比率、および前記透過対象画像の透過度を求め、前記比率に基づいて、前記透過対象画像の一部の領域である複数の透過領域を設け、前記複数の透過領域のそれぞれに対して透過度を設定した画像である透過画像を生成する透過画像生成手段と、
前記記録画像および前記撮像画像のうち前記透過対象画像ではない画像と前記透過画像とを重畳した画像である重畳画像を生成する重畳画像生成手段と、
を有することを特徴とする表示制御装置。
【請求項１５】
前記透過画像生成手段は、前記透過度を固定にして前記比率を求め、前記比率が所定の値より大きい場合は、前記比率を前記所定の値に固定して前記透過度を求める、
ことを特徴とする請求項１４に記載の表示制御装置。
【請求項１６】
請求項１から１５のいずれか一項に記載の表示制御装置と、
前記重畳画像を表示する表示手段と、
を有することを特徴とする表示装置。
【請求項１７】
撮像装置により撮像された撮像画像を取得する入力ステップと、
前記撮像画像に関連する画像である記録画像および前記撮像画像のうちいずれか一方の画像である透過対象画像の面積に対する透過領域全体の面積の比率を受け付ける受付ステップと、
前記比率に基づいて、前記透過対象画像の一部の領域である複数の透過領域を設け、前記複数の透過領域のそれぞれに対して透過度を設定した画像である透過画像を生成する透過画像生成ステップと、
前記記録画像および前記撮像画像のうち前記透過対象画像ではない画像と前記透過画像とを重畳した画像である重畳画像を生成する重畳画像生成ステップと、
を有することを特徴とする表示装置の制御方法。
【請求項１８】
撮像装置により撮像された撮像画像を取得する入力ステップと、
前記撮像画像に関連する画像である記録画像および前記撮像画像のうちいずれか一方の画像である透過対象画像における透過度の平均値を受け付ける受付ステップと、
前記透過度の平均値に基づいて、前記透過対象画像の面積に対する透過領域全体の面積の比率、および前記透過対象画像の透過度を求め、前記比率に基づいて、前記透過対象画像の一部の領域である複数の透過領域を設け、前記複数の透過領域のそれぞれに対して透過度を設定した画像である透過画像を生成する透過画像生成ステップと、
前記記録画像および前記撮像画像のうち前記透過対象画像ではない画像と前記透過画像とを重畳した画像である重畳画像を生成する重畳画像生成ステップと、
を有することを特徴とする表示装置の制御方法。
【請求項１９】
コンピュータを、請求項１から１５のいずれか一項に記載された表示制御装置の各手段として機能させるためのプログラム。
【請求項２０】
請求項１９に記載のプログラムを記憶するコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示装置、表示装置の制御方法、プログラムおよび記憶媒体に関する。
【背景技術】
【０００２】
撮影現場では、複数日に渡って同じ位置から同じ方向（以下、撮像方向、画角とも称する。）に向かって撮影を行う「定点撮影」が行われることがある。公共の場所で定点観測を行う場合は、撮影が終わるとカメラなどの機材を一旦撤収する必要があるため、次に撮影する場合はカメラを前回の撮影時と同じ位置かつ同じ撮像方向に設定する必要がある。
【０００３】
そのため、前回撮影した画像（以下、記録画像と称する。）とカメラの映像（以下、撮像画像と称する。）とを比較しながら撮像方向を合わせることが行われている。例えば、表示装置に記録画像と撮像画像とを並べて表示（マルチ表示）したり、記録画像に透過率を設定して、撮像画像に重畳表示（アルファブレンド表示）することが行われている。しかし、マルチ表示では、記録画像と撮像画像との間に一定の距離が存在するため、厳密な調整は困難である。また、アルファブレンド表示では、重畳表示によって混色が生じるため、記録画像と撮像画像との区別が困難である。
【０００４】
ここで、記録画像における撮像対象物の輪郭線や一部の画素のみを撮像画像に重畳表示することで定点撮影時の撮像方向合わせを容易にする技術が開示されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−０９４８５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された技術では、記録画像の間引き方によっては、余計な物体が見えやすくなってしまい、かえって撮像方向を合わせることが困難になることがある。例えば、間引いた結果、記録画像内の空間周波数が高い箇所に対応する画素が多く含まれる場合が挙げられる。
【０００７】
そこで、本発明の目的は、撮像装置の撮像方向を容易に所定の方向に合わせることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様は、
撮像装置により撮像された撮像画像を取得する入力手段と、
前記撮像画像に関連する画像である記録画像および前記撮像画像のうちいずれか一方の画像である透過対象画像の面積に対する透過領域全体の面積の比率を受け付ける受付手段と、
前記比率に基づいて、前記透過対象画像の一部の領域である複数の透過領域を設け、前記複数の透過領域のそれぞれに対して透過度を設定した画像である透過画像を生成する透過画像生成手段と、
前記記録画像および前記撮像画像のうち前記透過対象画像ではない画像と前記透過画像
とを重畳した画像である重畳画像を生成する重畳画像生成手段と、
を有することを特徴とする表示制御装置である。
【０００９】
本発明の一態様は、
撮像装置により撮像された撮像画像を取得する入力手段と、
前記撮像画像に関連する画像である記録画像および前記撮像画像のうちいずれか一方の画像である透過対象画像における透過度の平均値を受け付ける受付手段と、
前記透過度の平均値に基づいて、前記透過対象画像の面積に対する透過領域全体の面積の比率、および前記透過対象画像の透過度を求め、前記比率に基づいて、前記透過対象画像の一部の領域である複数の透過領域を設け、前記複数の透過領域のそれぞれに対して透過度を設定した画像である透過画像を生成する透過画像生成手段と、
前記記録画像および前記撮像画像のうち前記透過対象画像ではない画像と前記透過画像とを重畳した画像である重畳画像を生成する重畳画像生成手段と、
を有することを特徴とする表示制御装置である。
【００１０】
本発明の一態様は、
上記の表示制御装置と、
前記重畳画像を表示する表示手段と、
を有することを特徴とする表示装置である。
【００１１】
本発明の一態様は、
撮像装置により撮像された撮像画像を取得する入力ステップと、
前記撮像画像に関連する画像である記録画像および前記撮像画像のうちいずれか一方の画像である透過対象画像の面積に対する透過領域全体の面積の比率を受け付ける受付ステップと、
前記比率に基づいて、前記透過対象画像の一部の領域である複数の透過領域を設け、前記複数の透過領域のそれぞれに対して透過度を設定した画像である透過画像を生成する透過画像生成ステップと、
前記記録画像および前記撮像画像のうち前記透過対象画像ではない画像と前記透過画像とを重畳した画像である重畳画像を生成する重畳画像生成ステップと、
を有することを特徴とする表示装置の制御方法である。
【００１２】
本発明の一態様は、
撮像装置により撮像された撮像画像を取得する入力ステップと、
前記撮像画像に関連する画像である記録画像および前記撮像画像のうちいずれか一方の画像である透過対象画像における透過度の平均値を受け付ける受付ステップと、
前記透過度の平均値に基づいて、前記透過対象画像の面積に対する透過領域全体の面積の比率、および前記透過対象画像の透過度を求め、前記比率に基づいて、前記透過対象画像の一部の領域である複数の透過領域を設け、前記複数の透過領域のそれぞれに対して透過度を設定した画像である透過画像を生成する透過画像生成ステップと、
前記記録画像および前記撮像画像のうち前記透過対象画像ではない画像と前記透過画像とを重畳した画像である重畳画像を生成する重畳画像生成ステップと、
を有することを特徴とする表示装置の制御方法である。
【００１３】
本発明の一態様は、コンピュータを、上記の表示制御装置の各手段として機能させるためのプログラムである。
【００１４】
本発明の一態様は、上記プログラムを記憶するコンピュータが読み取り可能な記憶媒体である。
【発明の効果】
【００１５】
本発明によれば、撮像装置の撮像方向を容易に所定の方向に合わせることができる。
【図面の簡単な説明】
【００１６】
【図１】実施形態１に係る表示装置の機能ブロック図の一例を示す図である。
【図２】実施形態１に係る処理の一例を示すフローチャートである。
【図３】実施形態１に係る重畳画像の一例を示す図である。
【図４】実施形態１に係る透過領域の一例を示す図である。
【図５】実施形態２に係る表示装置の機能ブロック図の一例を示す図である。
【図６】実施形態２に係る処理の一例を示すフローチャートである。
【図７】実施形態２に係る重畳画像の一例を示す図である。
【発明を実施するための形態】
【００１７】
（実施形態１）
＜概要＞
以下、本実施形態に係る表示装置について説明する。本実施形態に係る表示装置は、撮像装置により撮像された撮像画像に対して、撮像画像に関連する画像（以下、記録画像と称する。）を重畳表示する。記録画像は、例えば、撮像画像を撮像する位置を同じ位置で撮像された画像が挙げられる。また、表示装置は、記録画像に対して複数の透過領域（以下、穴とも称する。）を設け、当該透過領域を透明にする。本実施形態では、透過領域の透過度は１００％である例について説明する。これにより、表示装置の表示部には、透過領域には撮像画像の一部が表示され、透過領域以外の領域には記録画像の一部が表示される。これにより、例えば、定点観測を行う場合にユーザが撮像装置の位置および撮像方向を前回の撮影時の位置および方向に容易に合わせることができる。定点観測とは、複数日に渡って同じ位置から同じ方向に向かって撮影を行うことを示す。なお、撮像画像は、撮像画像によって撮像された静止画であってもよく、撮像画像によって撮像された動画のフレームであってもよい。以下、本実施形態に係る表示装置の全体構成、処理内容について順に説明する。
【００１８】
図１は、本実施形態に係る表示装置１００の機能ブロック図を示す。表示装置１００は、演算装置（プロセッサ）、メモリ、記憶装置、入出力装置等を含む情報処理装置（コンピュータ）と捉えることもできる。記憶装置に格納されたプログラムを表示装置１００が実行することで、入力部１０１、記憶部１０２、穴比率受付部１０３、穴情報決定部１０４、穴開き画像生成部１０５、重畳画像生成部１０６、表示部１０７等の各機能が提供される。それらの機能の一部または全部は、ＡＳＩＣやＦＰＧＡなどの専用の論理回路により実現されてもよい。
【００１９】
入力部１０１は、デジタルカメラ（ビデオカメラを含む）等で撮像された映像信号（撮像画像）を取得する機能部である。その際、入力部１０１は、必要に応じて撮像画像の解像度変換や色補正、ガンマ変換などの信号処理を行い、重畳画像生成部１０６に出力する。
【００２０】
記憶部１０２は、撮像画像に関連する画像である記録画像を保持する内部メモリである。定点観測を行う場合、記録画像として前回以前に撮像された画像を用いることで、ユーザは、撮像装置の撮像方向を目標とする方向（以下、目標方向と称する。）に合わせる。なお、記憶部１０２として、ＳＤカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  Ｃａｒｄ）やＵＳＢメモリ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ  Ｍｅｍｏｒｙ）などの外部メモリを用いても良い。
【００２１】
穴比率受付部１０３は、穴比率Ｈｒを受け付ける機能部である。穴比率Ｈｒは、記録画
像の総面積に対する、複数の穴の総面積（以下、穴総面積Ｈｔと称する。）の割合である。穴総面積Ｈｔは、透過領域全体の面積と捉えることもできる。本実施形態では、穴比率Ｈｒは、ユーザ操作によって設定される。なお、穴比率Ｈｒは、あらかじめ定められた値を用いてもよい。穴比率受付部１０３は、穴比率Ｈｒを穴情報決定部１０４へ出力する。
【００２２】
穴情報決定部１０４は、記録画像および穴比率Ｈｒに基づいて、穴情報を決定する機能部である。穴情報には、穴サイズＨｓおよび穴間隔Ｈｄ等が含まれる。本実施形態では、複数の穴は全て同サイズの円形の領域である例について説明する。ここで、穴サイズＨｓは、複数の穴それぞれの半径（ピクセル数）を示す。また、穴間隔Ｈｄは、複数の穴間（透過領域間）の距離を示す。穴情報決定部１０４は、穴情報を穴開き画像生成部１０５に出力する。
【００２３】
穴開き画像生成部１０５は、記録画像および穴情報（穴サイズＨｓ、穴間隔Ｈｄ）に基づいて、穴開き画像を生成する機能部である。穴開き画像生成部１０５は、透過画像を生成する透過画像生成部と捉えることもできる。穴開き画像は、記録画像に対して複数の穴を設け、当該穴を透明にすることで生成される。穴開き画像生成部１０５は、穴開き画像を重畳画像生成部１０６へ出力する。
【００２４】
重畳画像生成部１０６は、撮像画像に穴開き画像を重畳した画像である重畳画像を生成する機能部である。なお、本実施形態では、撮像画像および穴開き画像は、同サイズである例について説明する。サイズが異なる場合は、重畳画像生成部１０６は、一方の画像のサイズを他方の画像のサイズに合わせた上で重畳画像を生成するとよい。重畳画像生成部１０６は、重畳画像を表示部１０７へ出力する。
【００２５】
表示部１０７は、重畳画像を表示するディスプレイである。なお、表示装置１００には、画像信号を出力するためのインターフェースを設け、表示装置１００とは別体のディスプレイ（テレビ等）に画像信号を出力してもよい。
【００２６】
＜処理内容＞
図２は、本実施形態に係る表示処理のフローチャートである。本実施形態では、記録画像は、あらかじめ記憶部１０２に格納されているものとする。また、本実施形態では、記録画像および撮像画像は同じ解像度を有する画像であって、水平方向の画素数Ｎｘが３８４０、垂直方向の画素数Ｎｙが２１６０である例について説明する。なお、記録画像と撮像画像との解像度が異なる場合は、同一の解像度にする画像処理を行った後に本処理を行うとよい。本実施形態では、表示装置１００は、ユーザ操作により撮像方向を合わせるモードが選択させると、以下に示す表示処理を開始する。
【００２７】
ステップＳ２０１では、穴比率受付部１０３は、ユーザによって設定される穴比率Ｈｒを受け付ける。ここで、穴比率受付部１０３は、ユーザから穴比率Ｈｒの値を入力として受け付けてもよく、穴比率Ｈｒの属するレンジ（例えば、「大」、「中」、「小」など）を入力として受け付けてもよい。穴比率受付部１０３は、穴比率Ｈｒを記憶部１０２に保持する。穴比率Ｈｒは、記録画像全体に対する穴全体の面積比を示す。また、本実施形態では、記録画像に対して、複数の穴（透過領域）を設ける。本実施形態では、穴比率Ｈｒとして２０％が設定された例について説明する。なお、穴比率Ｈｒは、固定値でもよい。また、穴比率Ｈｒが一度設定された後は、表示装置１００は、前回設定された穴比率Ｈｒを用いてもよい。
【００２８】
ステップＳ２０２では、穴情報決定部１０４は、穴比率Ｈｒに基づいて、穴総面積Ｈｔを決定する。穴総面積Ｈｔは、以下の式１によって求められる。例えば、記録画像の画素数（Ｎｘ、Ｎｙ）＝（３８４０、２１６０）、穴比率Ｈｒ＝２０％の場合、穴総面積Ｈｔ
は１６５８８８０である。
【数１】
2020141372.tif 000003
【００２９】
ステップＳ２０３では、穴情報決定部１０４は、記録画像に基づいて、穴サイズＨｓを決定する。穴サイズＨｓとは、記録画像に設ける穴それぞれのサイズである。本実施形態では、各穴のサイズは同一であって、各穴の半径を穴サイズＨｓと称する。穴サイズ決定処理の詳細は後述する。
【００３０】
ステップＳ２０４では、穴情報決定部１０４は、穴間隔Ｈｄを決定する。本実施形態では、表示装置１００は、記録画像に対して複数の穴を、水平方向および垂直方向に均等に設ける例について説明する。穴間隔決定処理の詳細は後述する。
【００３１】
ステップＳ２０５では、穴開き画像生成部１０５は、穴開き画像を生成する。本実施形態では、穴開き画像生成部１０５は、記録画像に対して、穴サイズＨｓ、穴間隔Ｈｄ、穴総個数Ｈｎ等に基づく穴を設ける。穴開き画像は、例えば、穴に該当する画素の透過率が１００％である画像である。
【００３２】
ステップＳ２０６では、重畳画像生成部１０６は、穴開き画像を撮像画像に重畳して重畳画像を生成する。
【００３３】
ステップＳ２０７では、表示装置１００は、重畳画像を表示部１０７に表示する。
【００３４】
≪穴サイズ決定処理（Ｓ２０３）≫
穴サイズ決定処理について説明する。本実施形態では、穴情報決定部１０４は、記録画像における空間周波数に基づいて穴サイズＨｓを決定する。具体的には、穴情報決定部１０４は、記録画像において高周波成分が多いほど穴サイズＨｓを小さくする。ここで、空間周波数とは、単位長に含まれる濃淡の変化の数を示す。例えば、画像において濃淡が急速に変化する領域では空間周波数が高く、濃淡がなだらかに変化する領域では空間周波数が低い。
【００３５】
具体的な処理について説明する。まず、穴情報決定部１０４は、記録画像に対してフーリエ変換を行うことで空間周波数を算出する。そして、穴情報決定部１０４は、空間周波数に対してハイパスフィルタ処理を施す。例えば、穴情報決定部１０４は、ハイパスフィルタの一種である３×３のソーベルフィルタを用いることができる。なお、フィルタの種類は上記に限定されない。そして、穴情報決定部１０４は、ハイパスフィルタ処理後の信号に対して逆フーリエ変換を施す。上記処理によって記録画像のうち低周波成分が除去されるので、穴情報決定部１０４は、記録画像における高周波成分の割合を評価することができる。穴情報決定部１０４は、高周波成分に対応する画素である高周波画素（画素値が０ではない画素）の画素数Ｎｈ（以下、高周波画素数Ｎｈと称する。）を求める。そして、穴情報決定部１０４は、記録画像の全画素数Ｒｅに対する高周波画素数Ｎｈの比に応じて穴サイズＨｓを決定する。本実施形態では、全画素数Ｒｅおよび高周波画素数Ｎｈと穴サイズＨｓとの対応関係は式２を用いて決定される。
【数２】
2020141372.tif 000004
【００３６】
空間周波数を用いて穴サイズＨｓを決定する理由について説明する。一般的にユーザが撮像方向を合わせる場合、記録画像および撮像画像におけるエッジ（例えば、物体の輪郭など）を合わせることが想定される。ここで、記録画像中の高周波画素が多い場合、細かなエッジが多く含まれている画像である可能性が高い。この場合、記録画像と同様に撮像画像にも高周波画素が多く含まれることが想定される。そのため、穴サイズＨｓを大きくしてしまうと、細かなエッジが誇張されて表示されてしまい、ユーザに対して妨害感を抱かせる恐れがある。一方、記録画像中に高周波画素が少ない場合は、太いエッジが多く含まれている画像である可能性が高い。太いエッジは、ユーザにとって見えやすく、撮像方向を合わせるために適しているが穴サイズＨｓを小さくすると太いエッジが見えにくくなってしまう。そこで、本実施形態では、妨害感を低減させるために、記録画像中の高周波画素が多い場合は穴サイズＨｓを小さくする。記録画像中の高周波画素が多い場合の、穴サイズＨｓと妨害感との関係について図を用いて詳しく説明する。
【００３７】
図４Ａは、撮像画像の一例を示す図である。図４Ｂおよび図４Ｃは、図４Ａに示す撮像画像に対して記録画像を重畳した重畳画像を示す図である。図４Ｂおよび図４Ｃでは、穴を透過した撮像画像の妨害感を比較するため、記録画像を白抜きで表示している。図４Ｂでは穴サイズＨｓが大きい状態の穴開き画像を重畳表示した例を示し、図４Ｃでは穴サイズＨｓが小さい状態の穴開き画像を重畳表示した例を示す。
【００３８】
図４Ｂに示すように穴サイズＨｓが大きい場合、太いエッジが視認できるため撮像方向を合わせることができる一方で、細かなエッジが見えやすくなっており妨害感が大きい。図４Ｃに示すように穴サイズＨｓが小さい場合、太いエッジは視認できる一方、細かなエッジが見えにくくなっているため妨害感が小さい。
【００３９】
≪穴間隔決定処理（Ｓ２０４）≫
穴間隔決定処理について説明する。本実施形態では、穴情報決定部１０４は、穴総面積Ｈｔおよび穴サイズＨｓに基づいて、穴間隔Ｈｄを決定する。以下の説明において、水平方向の穴個数をＨｎｘ、垂直方向の穴個数をＨｎｙと記載する。また、一時的に求める水平方向の穴間隔をＨｄｘ、垂直方向の穴間隔をＨｄｙと記載する。
【００４０】
まず、穴情報決定部１０４は、穴総面積Ｈｔおよび穴サイズＨｓに基づいて、穴総個数Ｈｎを求める（式３）。
【数３】
2020141372.tif 000005
【００４１】
次に、穴情報決定部１０４は、穴総個数Ｈｎおよび記録画像のアスペクト比に基づいて、水平方向の穴個数Ｈｎｘおよび垂直方向の穴個数Ｈｎｙを求める（式４，式５）。なお、本実施形態では、穴は面内で均一に配置（例えば、正方格子状に配置）される例について説明する。
【数４】
2020141372.tif 000006
【数５】
2020141372.tif 000007
【００４２】
そして、穴情報決定部１０４は、穴サイズＨｓ、水平方向の穴個数Ｈｎｘ、垂直方向の穴個数Ｈｎｙ、水平方向の穴個数Ｈｎｘおよび垂直方向の穴個数Ｈｎｙに基づいて、水平方向の穴間隔Ｈｄｘおよび垂直方向の穴間隔Ｈｄｙを求める（式６，式７）。
【数６】
2020141372.tif 000008
【数７】
2020141372.tif 000009
【００４３】
最後に、穴情報決定部１０４は、水平方向の穴間隔Ｈｄｘおよび垂直方向の穴間隔Ｈｄｙに基づいて、穴間隔Ｈｄを求める。本実施形態では、穴情報決定部１０４は、実際に設けられる穴の間隔を均一にするため、水平方向の穴間隔Ｈｄｘおよび垂直方向の穴間隔Ｈｄｙのうち小さい方の値を穴間隔Ｈｄとして決定する（式８）。なお、穴間隔は、水平方向の穴間隔Ｈｄｘおよび垂直方向の穴間隔Ｈｄｙの平均値や、大きい方の値であってもよい。また、水平方向と垂直方向の穴間隔は均一でなくてもよく、水平方向は穴間隔Ｈｄｘを、垂直方向は穴間隔Ｈｄｙをそれぞれ用いてもよい。
【数８】
2020141372.tif 000010
【００４４】
以上の処理によって、穴情報決定部１０４は、穴間隔Ｈｄを決定する。ここで、本実施形態に基づく具体的な計算によると、穴サイズＨｓおよび穴間隔Ｈｄは以下の通りとなる。すなわち、穴比率Ｈｒが同一の場合、記録画像中の高周波画素数Ｎｈが多い程、穴サイズＨｓは小さく、穴間隔Ｈｄは大きくなる。
Ｈｒ＝２０％、Ｎｈ／Ｒｅ＝０．２の場合：Ｈｓ＝３５、Ｈｄ＝６５
Ｈｒ＝２０％、Ｎｈ／Ｒｅ＝０．５の場合：Ｈｓ＝２０、Ｈｄ＝３８
【００４５】
＜表示例＞
図３Ａ〜図３Ｄは、記録画像および撮像画像に基づいて重畳画像を生成する一連の流れを示す図である。
【００４６】
図３Ａは、記憶部１０２に記憶される記録画像を示す図である。図３Ｂは、撮像装置により撮像された撮像画像を示す図である。両画像における実線は、共に建物における輪郭の一部を示す。図３Ｃは、穴開き画像を示す図である。本実施形態では、穴開き画像は、
記録画像に対して複数の透過領域（穴）を設け、当該透過領域を透明にした画像である。図３Ｄは、穴開き画像を撮像画像に重畳することにより生成された重畳画像を示す図である。
【００４７】
＜本実施形態の有利な効果＞
本実施形態に係る表示装置では、撮像方向を合わせる場合に、ユーザは記録画像および撮像画像の双方について確認することができる。また、表示装置は、記録画像に設ける穴のサイズを記録画像に応じて適切なサイズにしている。そのため、例えば大きな建物のエッジなどが見える一方で、自転車や窓の輪郭など細かなエッジについては誇張されないような画像が表示される。これにより、ユーザに与える妨害感を低減し、かつユーザは容易に撮像方向を調整することができる。
【００４８】
＜実施形態１の変形例＞
上述の実施形態では、記録画像に対して正方格子状に穴を配置した穴開き画像を生成したが、穴の配置は上記に限定されず例えば六角格子状に配置されてもよい。また、撮像範囲内の物体の輪郭を注視しながら撮像方向を合わせることが想定されるため、物体の輪郭部に限定して穴を設けてもよい。すなわち、記録画像中にエッジが存在する場合は、上述の処理によって決定された穴のうち輪郭がある部分のみを対象に穴を設けてもよい。さらに、複数の穴の透過度は同一でなくてもよい。例えば、記録画像中にエッジが存在する場合は、上述の処理によって決定された穴のうち輪郭がある部分の透過度を高く、その他の部分の透過度を低く設定してもよい。物体の輪郭を取得する方法は特に限定されず、ユーザによって指定されてもよく、ハイパスフィルタなどで抽出してもよい。また、記録画像と撮像画像との色を比較しながら撮像方向を合わせることも想定されるため、記録画像の色に応じて穴の配置を変更してもよい。例えば、赤色や青色などの原色に近い色の周辺部のみに穴を設けてもよい。このように、記録画像内の各所における穴の密度は、記録画像に応じて決定することもできる。
【００４９】
上述の実施形態では、透過領域の形状が円形（穴）である例について説明したが、形状は特に限定されない。例えば、透過領域は、楕円形、多角形または星形等でもよい。その際、透過領域のサイズは中心から当該透過領域のうち最遠部までの距離として定義することができる。
【００５０】
上述の実施形態では、記録画像の高周波画素数に応じて穴サイズを決定したが、穴サイズの決定方法は上記に限定されない。例えば、穴サイズは、空間周波数のピーク値、極大値、平均値などの統計量に応じて決定されてもよい。また、空間周波数の周波数ごとに複数の周波数レンジを設けて、記録画像における空間周波数の極大値が属する周波数レンジに応じて穴サイズが決定されてもよい。
【００５１】
また、記録画像の輝度または色成分に基づいて穴サイズを決定してもよい。すなわち、輝度または色ヒストグラムにおけるピーク値、極大値、平均値、分散、標準偏差などの統計量に複数のレンジを設けて、当該統計量が属するレンジに応じて穴サイズが決定されてもよい。例えば、色ヒストグラム（ＲＧＢヒストグラム）の極大値に基づいて穴サイズを決定する場合は、色ヒストグラムの極大値が大きいほど穴サイズを小さくして、色ヒストグラムの極大値が小さいほど穴サイズを大きくしてもよい。色ヒストグラムの極大値が大きい場合、すなわち色の階調値が高い画素が多く色鮮やかな場合は、色同士の差分がわかりやすいと考えられるため穴サイズを小さくする（通常サイズ）。一方で、色ヒストグラムの極大値が小さい場合、すなわち色の階調値が低い場合は、色同士の差分がわかりにくいと考えられるため穴サイズを大きくする。これにより、ユーザは容易に撮像方向を調整することができる。また、例えば、色ヒストグラムの平均値に基づいて穴サイズを決定する場合は、色ヒストグラムの平均値が所定のレンジ内である場合は穴サイズを小さくして
、色ヒストグラムの平均値が所定のレンジ内ではない場合は穴サイズを大きくしてもよい。これは、色ヒストグラムの平均値が所定のレンジ内ではない場合、すなわち平均輝度が高すぎるまたは低すぎる場合は、階調の変化があまりなく見えにくいと考えられるため、穴サイズを大きくすることで、撮像画像を大きく見せる。これにより、ユーザは容易に撮像方向を調整することができる。さらに、ヒストグラムの分散が大きい程、穴サイズを小さくしてもよい。これは、分散が大きい程、色成分のばらつきが大きく差分がわかりやすいと考えられるためである。
【００５２】
また、記録画像と撮像画像との一致度に応じて穴サイズを決定してもよい。例えば、記録画像および撮像画像のそれぞれの輝度または色のヒストグラムの相関値に基づいて穴サイズを決定してもよい。具体的には、上記ヒストグラムの相関値に対応する穴サイズを定めた対応テーブルを予め用意し、上記の相関が高い程、穴サイズを小さく設定する。これにより、記録画像と撮像画像との一致が高く、記録画像と撮像画像の区別が困難な状況において、妨害感を低減した穴開き画像を生成することができる。
【００５３】
また、穴開き画像に対して透過度を設定してもよい。例えば、ユーザの設定や記録画像の特徴量に応じて、穴開き画像における透過領域および／または透過領域以外の領域に対して、透過度を設定してもよい。具体的には、表示装置がユーザ等から透過度（第１の透過度と称する）を受け付け、透過領域を当該第１の透過度にしてもよい。同様に、表示装置がユーザ等から透過度（第２の透過度と称する）を受け付け、透過領域以外の領域を当該第２の透過度にしてもよい。この時、第２の透過度は、第１の透過度より小さくするとよい。
【００５４】
上述の実施形態では、透過領域の比率を受け付ける例について説明したが、透過領域における透過度の平均値αａｖｇ（以下、平均透過度αａｖｇと称する）を受け付けてもよい。そして、表示装置は、平均透過度αａｖｇに基づいて、以下の式９を満たすように透過領域の比率Ｈ１と透過領域の透過度α１とを決定してもよい。例えば、表示装置は、透過領域の透過度α１を所定の透過度α０で固定値にして、平均透過度αａｖｇに基づいて比率Ｈｒを決定する。そして、決定された比率Ｈ１が所定の閾値Ｔ０以上である場合は、比率Ｈ１をＴ０で固定にして、平均透過度αａｖｇに基づいて透過度α１を決定する。
【数９】
2020141372.tif 000011
【００５５】
なお、表示装置は、透過領域の透過度α１を１．０（１００％）で固定値にして、平均透過度αａｖｇに基づいて、以下の式１０を満たすように透過領域の比率Ｈ２と透過領域以外の領域における透過度α２とを決定してもよい。例えば、表示装置は、透過領域の透過度α１を１００（％）、透過領域以外の領域における透過度α２を０（％）で固定にして、平均透過度αａｖｇに基づいて比率Ｈ２を決定する。そして、決定された比率Ｈ２が所定の閾値Ｔ０以上である場合は、比率Ｈ２をＴ０で固定にして、平均透過度αａｖｇに基づいて透過度α２を決定する。
【数１０】
2020141372.tif 000012
【００５６】
上述の実施形態では、穴サイズは記録画像に含まれる画素情報に基づいて決定されたが、記録画像ではなく撮像画像の画素情報に基づいて決定されてもよい。または、ユーザによって設定されてもよく、初期値として表示装置内の内部メモリに設定することも可能で
ある。
【００５７】
上述の実施形態では、撮像方向を合わせるモードにおいて、重畳画像を表示する例について説明したが、記録画像と撮像画像との一致度に応じて、マルチ表示と重畳画像の表示（以下、重畳画像表示と称する）とを切り替えてもよい。マルチ表示では、記録画像および撮像画像が並べて表示される。一致度は、上述と同様に輝度または色ヒストグラムの相関値等を用いることができる。これにより、マルチ表示によって撮像方向を大まかに合わせ、重畳画像表示によって撮像方向を細かく合わせることができる。さらに、重畳画像の種類は、記録画像に基づいて異なってもいてもよい。例えば、記録画像に基づいて穴開き画像とアルファブレンドされた画像とを切り替えてもよい。アルファブレンドされた画像とは、全体に所定の透過度が設定された記録画像が撮像画像に重畳された画像である。例えば、記録画像の色ヒストグラムのレンジが所定の値より広い場合は穴開き画像を重畳表示し、所定の値より狭い場合はアルファブレンドされた画像を重畳表示する。これにより、重畳表示を行った際に混色が生じるような場合（レンジが広い場合）には穴を設けて撮像画像を見やすくすることができる。
【００５８】
上述の実施形態では、記録画像に対して透過領域を設ける例について説明したが、透過領域を設ける対象の画像（透過対象画像とも称する。）は撮像画像であってもよい。この場合、撮像画像に対して透過領域を設けて透過画像を生成し、当該透過画像を撮像画像に重畳することにより重畳画像を生成してもよい。
【００５９】
上述の実施形態では、表示装置単体で表示制御をおこなう例について説明したが、表示装置とは別体の表示制御装置を用いて上述の処理を行ってもよい。
【００６０】
（実施形態２）
本実施形態では、記録画像に対してストライプ状（帯状）の透過領域を設けて、撮像画像に重畳（表示）する。また、本実施形態では、表示装置は、撮像画像の移動方向に基づいて、ストライプの向き（以下、ストライプ方向Ｓｃ）を決定する。例えば、ストライプの方向を撮像装置の移動方向と同じ方向にする。本実施形態では、表示装置は、複数のフレーム間における撮像画像内の対象物のシフト方向（以下、シフト方向Ｒｃと称する。）に基づいて、撮像画像の移動方向求める。複数のフレームは、例えば、撮像画像における現フレームと一つ前のフレームとが挙げられる。一般に、定点観測においてユーザが撮像方向を合わせる場合、撮像画像および記録画像にそれぞれ表示されている目印になる対象物（例えば、建物等）同士を結ぶ線に沿う方向に撮像装置の向きを移動させることが想定される。そのため、本実施形態における撮像方向を合わせるモードでは、シフト方向Ｒｃに上記ストライプの向きを合わせる例について説明する。
【００６１】
図５は、本実施形態に係る表示装置５００の機能ブロック図を示す。表示装置５００は、演算装置（プロセッサ）、メモリ、記憶装置、入出力装置等を含む情報処理装置（コンピュータ）と捉えることもできる。記憶装置に格納されたプログラムを表示装置５００が実行することで、後述する機能部の各機能が提供される。それらの機能の一部または全部は、ＡＳＩＣやＦＰＧＡなどの専用の論理回路により実現されてもよい。なお、実施形態１と同様の機能を有する機能部については、同様の符号を付して説明を省略する。
【００６２】
シフト方向取得部５０８は、入力部１０１から出力された撮像画像に基づいて、撮像装置のシフト方向Ｒｃを取得する機能部である。本実施形態では、シフト方向取得部５０８は、入力部１０１によって取得されるライブビュー画像におけるフレーム間の差分に基づいて、シフト方向Ｒｃを取得する。シフト方向取得部５０８は、取得したシフト方向Ｒｃをストライプ情報決定部５０４に出力する。シフト方向Ｒｃの決定処理の詳細は後述する。
【００６３】
ストライプ比率受付部５０３は、実施形態１の穴比率受付部１０３と同様に、記録画像の全画素数Ｒｅに対する透過領域の比率（ストライプ比率Ｓｒ）を受け付ける機能部である。本実施形態では、透過領域は帯状の形状（ストライプ形状）をした領域である。また、当該透過領域の面積をストライプ面積とも称する。なお、ストライプ比率Ｓｒは、あらかじめ決められた初期値を用いても良いし、外部機器に対するユーザ操作により指定されてもよい。ストライプ比率受付部５０３は、取得したストライプ比率Ｓｒをストライプ情報決定部５０４に出力する。
【００６４】
ストライプ情報決定部５０４は、シフト方向Ｒｃおよびストライプ比率Ｓｒに基づいて、ストライプ情報を決定する。ストライプ情報には、ストライプの面積および形状が含まれる。ストライプ情報決定部５０４は、決定したストライプ情報をストライプ画像生成部５０５に出力する。
【００６５】
ストライプ画像生成部５０５は、記録画像およびストライプ情報に基づいて、記録画像をストライプ状の複数の透過領域を設けた画像であるストライプ画像を生成する機能部である。ストライプ画像生成部５０５は、ストライプ画像を重畳画像生成部１０６に出力する。
【００６６】
＜処理内容＞
図６は、本実施形態に係る表示処理のフローチャートを示す。表示処理はユーザが撮像方向を合わせるモードを選択すると開始される。
【００６７】
ステップＳ６０１では、ストライプ比率受付部５０３は、ユーザ設定に応じてストライプ比率Ｓｒを受け付ける。ストライプ比率受付部５０３は、ストライプ比率Ｓｒを記憶部１０２に格納する。ストライプ比率Ｓｒは、記録画像全体に対するストライプ全体の面積比を示す。また、本実施形態では、記録画像に対して、複数のストライプ領域（透過領域）を設ける。なお、ストライプ比率Ｓｒは、固定値でもよい。また、ストライプ比率Ｓｒが一度設定された後は、表示装置５００は、前回設定されたストライプ比率Ｓｒを用いてもよい。
【００６８】
ステップＳ６０２では、ストライプ情報決定部４０４は、ストライプ比率Ｓｒに基づいて、ストライプ総面積Ｓｔを決定する。
【００６９】
ステップＳ６０３では、ストライプ情報決定部５０４は、撮像装置のシフト方向Ｒｃを取得する。本実施形態では、ストライプ情報決定部５０４は、撮像画像（映像信号）の特徴点を抽出し、前のフレームと現在のフレームにおける特徴点座標に基づいてシフト方向Ｒｃを取得する。記録画像における特徴点の決定方法は特に限定されないが、例えば、ユーザによって設定されてもよい。また、特徴点は、輪郭の大きい（例えば、太い）箇所をハイパスフィルタ等を用いて抽出することにより決定されてもよい。本実施形態では、特徴点の座標は、画像の表示面内の左下から数えた画素の位置とし、ｘｙ座標系で表される。また、本実施形態では、シフト方向Ｒｃは角度で表され、−９０°〜９０°で表される。すなわち、Ｎ−１フレームにおける特徴点Ｐの座標を（ｘ１，ｙ１）、Ｎフレームにおける特徴点Ｐの座標を（ｘ２，ｙ２）とすると、シフト方向Ｒｃ（−９０≦Ｒｃ≦９０）は、次のように求められる（式１１）。例えば、（ｘ１，ｙ１）＝（１００，２００）、（ｘ２，ｙ２）＝（１５０，２８０）の場合、シフト方向Ｒｃは５８である。
【数１１】
2020141372.tif 000013
【００７０】
ステップＳ６０４では、ストライプ情報決定部５０４は、ストライプ方向Ｓｃを決定する。ストライプ方向Ｓｃとは、記録画像に設けられるストライプ（帯状の透過領域）の向きである。本実施形態では、ストライプ情報決定部５０４は、シフト方向Ｒｃと同一の値をストライプ方向Ｓｃとして決定する。
【００７１】
本実施形態では、ストライプ間隔Ｓｄは固定（例えば、１００）である例について説明する。この場合、ストライプ情報決定部５０４は、ストライプ総面積Ｓｔおよびストライプ間隔Ｓｄに基づいて、ストライプ幅Ｓｓを求める。ここで、ストライプ方向が垂直方向または水平方向でない場合は、例えば、垂直方向のストライプを設ける場合のストライプ幅Ｓｓを求めてから、上記のストライプ方向Ｓｃに応じてストライプの向きを変えるとよい。なお、ストライプ幅Ｓｓおよびストライプ間隔Ｓｄの算出方法は特に限定されない。例えば、ストライプ情報決定部５０４は、上述の実施形態１と同様に、記録画像における高周波成分が多い場合はストライプ幅Ｓｓを小さく、高周波成分が少ない場合はストライプ幅Ｓｓを大きくしてもよい。この場合、ストライプ情報決定部５０４は、ストライプ比率Ｓｒおよびストライプ幅Ｓｓに基づいてストライプ間隔Ｓｄを決定することができる。
【００７２】
ステップＳ６０５では、ストライプ画像生成部５０５は、ストライプ画像を生成する。本実施形態では、ストライプ画像生成部５０５は、記録画像に対してストライプ幅Ｓｓ、ストライプ間隔Ｓｄ、ストライプ方向Ｓｃ等に基づく領域を設けることでストライプ画像を生成する。ストライプ画像は、例えば、ストライプ（帯）に対応する画素の透過率が１００％に設定された画像である。
【００７３】
ステップＳ６０６では、重畳画像生成部１０６は、ストライプ画像を撮像画像に重畳して重畳画像を生成する。
【００７４】
ステップＳ６０７では、表示装置１００は、重畳画像を表示部１０７に表示する。
【００７５】
＜表示例＞
図７Ａ〜図７Ｃは、本実施形態に係る記録画像（図７Ａ）、撮像画像（図７Ｂ）および重畳画像（図７Ｃ）の一例を示す図である。図７Ａ〜図７Ｃに示す例では、記録画像では上部に位置していた対象物（例えば、車）が、撮像画像では下部に位置している。この場合、ユーザは撮像装置を下向きに移動させることが想定される。下向きすなわち、シフト方向Ｒｃは９０°である。そのため、ストライプ方向Ｓｃは垂直方向に決定される。
【００７６】
＜本実施形態の有利な効果＞
以上のように、撮像方向の変化に応じて帯状の透過領域を設けることで、ユーザはストライプ方向のずれを視認しやすくなり、撮像方向を容易に合わせることが可能となる。
【００７７】
＜実施形態２の変形例＞
上述の実施形態では、ストライプ幅をストライプ総面積から決定する例について説明したが、ストライプ幅はユーザによって設定されてもよく、上述の実施形態１と同様に記録画像または撮像画像の特徴量（例えば、空間周波数）に基づいて決定されてもよい。
【００７８】
上述の実施形態では、複数のフレーム間における撮像画像のシフト方向に基づいて撮像装置の移動方向を決定したが、例えば、撮像装置に設けられる加速度センサの出力値に基づいて撮像装置の移動方向を決定してもよい。また、撮像装置から受信する映像信号のメタデータ等に基づいて撮像装置の移動方向を決定してもよい。
【００７９】
上述の実施形態では、撮像画像に基づいてストライプ方向を決定する例について説明したが、記録画像と撮像画像とのズレ方向に基づいてストライプ方向を決定してもよい。例えば、記録画像と撮像画像それぞれの特徴点を取得し、それぞれの特徴点を結ぶ線に沿った方向をズレ方向として決定する。そして、ストライプ方向を当該ズレ方向と同一の方向にするとよい。
【００８０】
（その他）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８１】
１００：表示装置          １０１：入力部          １０２：記憶部
１０３：穴比率受付部      １０４：穴情報決定部    １０５：穴開き画像生成部
１０６：重畳画像生成部    １０７：表示部
【図１】
2020141372.tif 000014
【図２】
2020141372.tif 000015
【図３】
2020141372.tif 000016
【図４】
2020141372.tif 000017
【図５】
2020141372.tif 000018
【図６】
2020141372.tif 000019
【図７】
2020141372.tif 000020