(57)【要約】【課題】  撮像装置で撮像されることにより生成される画像の撮像方向をユーザが判断できるようにする。【解決手段】  撮像装置１１０の撮像方向の範囲と表示パターンとを相互に対応付けて記憶する。パノラマ画像のそれぞれの領域（座標）を撮像した際の撮像装置１１０の撮像方向を特定する。そして、特定した撮像装置１１０の撮像方向に対応する表示パターン８０１〜８０５を元のパノラマ画像の少なくとも一部の領域が視認可能になるように当該パノラマ画像上に重ねて表示する。【選択図】  図８
2017103651.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で撮像されることにより生成される画像、または、撮像装置で撮像されることにより生成される画像を選択するためのオブジェクトと共に、当該画像が撮像された際の前記撮像装置の撮像方向を示す情報を表示するための処理を行う処理手段を有することを特徴とする情報処理装置。
【請求項２】
前記画像は、前記撮像装置により異なる撮像方向で撮像された複数の領域を有し、
前記処理手段は、前記画像の複数の領域のそれぞれについて、当該領域が撮像された際の前記撮像装置の撮像方向を特定し、当該特定した撮像方向を示す情報を、前記画像の複数の領域のそれぞれについて表示するための処理を行うことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記処理手段は、前記画像の複数の領域のそれぞれに、当該領域が撮像された際の前記撮像装置の撮像方向を示す情報として、当該撮像方向に応じて予め定められた表示パターンを重ねて表示するための処理を行うことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記画像は、パノラマ画像であることを特徴とする請求項２または３に記載の情報処理装置。
【請求項５】
前記画像は、複数のフレームの画像であり、
前記処理手段は、前記画像が撮像された際の前記撮像装置の撮像方向を前記複数のフレームの画像のそれぞれについて特定し、当該特定した撮像方向を示す情報を、前記複数のフレームの画像のそれぞれについて表示するための処理を行うことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記オブジェクトは、前記複数のフレームの画像に対応する領域を有し、
前記処理手段は、前記フレームの画像が撮像された際の前記撮像装置の撮像方向を示す情報として、当該撮像方向に応じて予め定められた表示パターンを、前記オブジェクトの当該フレームの画像に対応する領域に重ねて表示するための処理を行うことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記オブジェクトは、前記画像の再生位置を指定するためのタイムラインであることを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記撮像装置の撮像方向についての駆動範囲を複数に分割した範囲ごとに、前記撮像装置の撮像方向を示す情報が定められることを特徴とする請求項１〜７の何れか１項に記載の情報処理装置。
【請求項９】
前記撮像装置で撮像された画像に対する画像処理の結果に基づいて、前記撮像装置の撮像方向に対する駆動範囲を複数に分割する分割手段をさらに有することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
撮像装置で撮像されることにより生成される画像、または、撮像装置で撮像されることにより生成される画像を選択するためのオブジェクトと共に、当該画像が撮像された際の前記撮像装置の撮像方向を示す情報を表示するための処理を行う処理工程を有することを特徴とする情報処理方法。
【請求項１１】
請求項１〜９の何れか１項に記載の情報処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、撮像装置で撮像されることにより生成される画像を表示するために用いて好適なものである。
【背景技術】
【０００２】
撮像装置の撮像可能な範囲をパノラマ画像として表示し、撮像装置に設定されている情報を当該パノラマ画像上に表示する技術がある。特許文献１には、注目している撮像装置の録画映像が存在する期間と、他の撮像装置の録画映像が存在する期間とをタイムライン上に表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１７１７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された技術では、ユーザは、自身が所望する撮像方向で撮像された録画映像がタイムライン上のどの期間に存在するのかを把握することが難しい。
本発明は、以上の課題を解決するためになされたものであり、撮像装置で撮像されることにより生成される画像の撮像方向をユーザが判断できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の情報処理装置は、撮像装置で撮像されることにより生成される画像、または、撮像装置で撮像されることにより生成される画像を選択するためのオブジェクトと共に、当該画像が撮像された際の前記撮像装置の撮像方向を示す情報を表示するための処理を行う処理手段を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、撮像装置で撮像されることにより生成される画像の撮像方向をユーザが判断することができる。
【図面の簡単な説明】
【０００７】
【図１】表示システムの構成を示す図である。
【図２】撮像装置の構成を示す図である。
【図３】クライアント装置の構成を示す図である。
【図４】クライアント装置の処理の第１の例を示すフローチャートである。
【図５】撮像装置の撮像方向と表示パターンとの関係を示す図である。
【図６】撮像装置が設置されている状況を示す図である。
【図７】パノラマ画像を示す図である。
【図８】撮像装置の撮像方向が重ね合わせられたパノラマ画像を示す図である。
【図９】クライアント装置の処理の第２の例を示すフローチャートである。
【図１０】タイムラインを示す図である。
【図１１】撮像装置の撮像方向が重ね合わせられたタイムラインを示す図である。
【発明を実施するための形態】
【０００８】
以下に、添付の図面に基づいて実施形態を詳細に説明する。第１の実施形態では、パノラマ画像上に撮像装置の撮像方向を表示する方法の一例について説明する。また、第２の実施形態では、撮像装置の録画映像のタイムライン上に撮像装置の撮像方向を表示する方法の一例について説明する。
【０００９】
（第１の実施形態）
第１の実施形態を説明する。前述したように本実施形態では、パノラマ画像上に撮像装置の撮像方向を表示する方法の一例について説明する。
図１は、本実施形態における表示システムの構成の一例を示すブロック図である。
図１において、表示システムは、撮像装置１１０、クライアント装置１２０、入力装置１３０、および表示装置１４０を有する。撮像装置１１０とクライアント装置１２０は、ネットワーク１５０を介して相互に通信可能に接続される。
【００１０】
撮像装置１１０は、被写体を撮像する。撮像装置１１０は、撮像方向および画角を変更する機能を有する。クライアント装置１２０は、撮像装置１１０の撮像方向および画角の情報と、パノラマ画像を取得する。入力装置１３０は、マウスやキーボード等から構成され、クライアント装置１２０に対するユーザによる入力操作を受け付ける。表示装置１４０は、クライアント装置１２０が出力した内容を表示する。図１では、クライアント装置１２０と表示装置１４０とを独立した装置として示す。しかし、クライアント装置１２０と表示装置１４０とを一体化して構成しても良い。ネットワーク１５０は、撮像装置１１０とクライアント装置１２０とを相互に接続する。ネットワーク１５０は、例えば、Ethernet（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。尚、撮像装置１１０とクライアント装置１２０とが相互に通信を行うことができれば、ネットワーク１５０の通信規格、規模、および構成は問わない。例えば、ネットワーク１５０は、インターネット、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ（Wireless LAN）、ＷＡＮ（Wide Area Network）等により構成されても良い。
【００１１】
まず、撮像装置１１０の機能構成の一例を説明する。
撮像部１１１は、撮像素子と、撮像素子上に被写体像を結像する光学系とを有する。撮像部１１１は、光学系の光軸と撮像素子との交点を撮像中心として固体撮像素子上に撮像を行う。固体撮像素子は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサあるいはＣＣＤ（Charged Coupled Device）等の撮像素子である。
【００１２】
信号処理部１１２は、撮像部１１１によって撮像された画像信号に対する処理を行う。信号処理部１１２は、例えば、撮像部１１１によって撮像された画像信号に対して符号化を行う。符号化方式として、例えば、ＪＰＥＧ（Joint Photographic Experts Group）を用いることができる。また、符号化方式として、例えば、H.264/MPEG-4 AVCを用いることができる。その他、符号化方式として、ＨＥＶＣ（High Efficiency Video Coding符号化方式）を用いることができる。ただし、符号化方式はこれらに限らない。また、信号処理部１１２は、複数の符号化方式の中から符号化方式を選択して符号化を行うこととしても良い。また、信号処理部１１２は、例えば、次の画像処理も行う。即ち、信号処理部１１２は、処理を行った画像信号を繋ぎ合わせてパノラマ画像を作成する処理と、処理を行った画像信号に対するフィルタ処理とを含む処理も行う。
【００１３】
駆動制御部１１３は、撮像部１１１の撮像方向および画角を変更させる制御を行う。本実施形態では、撮像部１１１は、パン方向およびチルト方向に撮像方向を変更することができ、且つ、撮像画角を変更することができる場合について説明する。
【００１４】
情報保持部１１４は、例えば、信号処理部１１２で処理が行われた画像信号（撮像画像）として前述のパノラマ画像を、撮像時の撮像方向、撮像時の画角、および撮像時刻等の情報と共に録画映像として保存する。
【００１５】
本実施形態では、撮像装置１１０は、天井に設置されているものとする。撮像装置１１０（撮像部１１１）のパン方向の駆動範囲は、−１８０°以上、１７９°以下であり、チルト方向の駆動範囲は０°以上、９０°以下であるとする。撮像装置１１０のチルトの値（角度）が９０°の場合、撮像装置１１０（撮像部１１１）は、設置されている空間の床に垂直な方向（即ち真下の方向）を向くこととする。
【００１６】
通信制御部１１５は、信号処理部１１２で処理が行われた画像信号（撮像画像）をクライアント装置１２０に送信する。送信される撮像画像に関して、例えば各撮像画像フレームのヘッダに撮像時刻、撮像方向（パン、チルト角）、撮像画角に関する情報が格納される。さらに通信制御部１１５は、クライアント装置１２０から撮像装置１１０に対する制御命令を受信する。また、通信制御部１１５は、クライアント装置１２０から指示を受け、情報保持部１１４に保存されている録画映像（パノラマ画像）の各フレームの情報を取り出し、クライアント装置１２０へ送信する。
【００１７】
次に、クライアント装置１２０の機能構成の一例を説明する。
クライアント装置１２０内の記憶部１２１は、プログラムの内容、およびプログラム中の処理に用いる各種データ等を記憶する。制御部１２２は、記憶部１２１に記憶されたプログラムを読み出して実行することにより、後述するフローチャートによる処理を行う。入力情報取得部１２４は、入力装置１３０を用いたユーザによる入力操作の内容を入力する。表示制御部１２５は、制御部１２２が行ったプログラムの処理結果に従い、映像を表示装置１４０へ出力する。
【００１８】
図２は、撮像装置１１０のハードウェアの構成の一例を示す図である。
撮像装置１１０は、撮像ユニット２０１と、アクチュエータユニット２０２と、ＲＡＭ２０３と、ＣＰＵ２０４と、ＲＯＭ２０５と、インターフェース（ＩＦ）２０６とを有する。
図２において、被写体像は、光学系からなる撮影レンズユニット２１１と、絞りユニット２１２とを通って光学センサ２１３に結像される。撮影レンズユニット２１１は、例えば、焦点を合わせるために、モータ等を用いてレンズ群を移動する。絞りユニット２１２は、絞りが制御可能な機構を有する。撮影レンズユニット２１１、絞りユニット２１２の動作制御は、駆動回路２１６が行う。
【００１９】
従って、駆動回路２１６が撮影レンズユニット２１１および絞りユニット２１２を制御することで、光学センサ２１３に到達（結像）する光量が調整される。光学センサ２１３は、前述した固体撮像素子によって構成され、入射した光を光量に応じて電荷に変換、蓄積する。光学センサ２１３は、蓄積された電荷を読み出し、画像信号としてＡ／Ｄコンバータ２１４に出力する。
【００２０】
光学センサ２１３の動作は、駆動回路２１７が出力するパルス信号等によって制御される。即ち、光学センサ２１３は、駆動回路２１７により指示されたタイミングで指示された時間の間に蓄積された電荷を読み出す一連の動作を連続する。これにより、連続した画像（動画像）が得られる。尚、本実施形態の撮像装置１１０は、静止画像の撮像も行える。
【００２１】
Ａ／Ｄコンバータ２１４は、光学センサ２１３から受けた画像信号に対してＡ／Ｄ変換を行い、ディジタルデータ（画像データ）として画像処理回路２１５に出力する。画像処理回路２１５は、Ａ／Ｄコンバータ２１４から受けた画像データを用いて、ホワイトバランス補正やガンマ補正といった画像補正を行う。また、画像処理回路２１５は、画像補正を行った画像データに対して符号化を行う。符号化方式の一例は前述した通りである。また、画像処理回路２１５は、前述したパノラマ画像の生成や、フィルタ処理も行う。
【００２２】
ＣＰＵ（Central Processing Unit）２０４は、撮像装置１１０を統括制御する。ＣＰＵ２０４は、例えば、ＲＯＭ（Read Only Memory）２０５に記憶されたプログラムを、ＲＡＭ（Random Access Memory）２０３を用いて実行することにより撮像装置１１０の全体の動作を制御する。ＣＰＵ２０４は、例えば、情報の演算や加工、各ハードウェアの制御を行う。ＲＡＭ２０３は、ＣＰＵ２０４の主メモリとして、プログラムのロードやプログラム実行に必要なワークメモリとして機能する。ＲＯＭ２０５は、ＣＰＵ２０４の動作処理手順を規定するプログラムを記憶する。ＲＯＭ２０５には、コンピュータシステムの機器制御を行うシステムプログラムである基本ソフト（ＯＳ）を記録したプログラムＲＯＭとシステムを稼働するために必要な情報等が記録されたデータＲＯＭとがある。
【００２３】
インターフェース（ＩＦ）２０６は、ユーザインターフェースおよび通信インターフェースを有する。ユーザインターフェースは、例えば、ボタンおよびダイヤル等を有し、ユーザによる撮像装置１１０に対する入力操作を受け付ける。通信インターフェースは、ネットワーク１５０に接続されたクライアント装置１２０等の外部装置と相互に通信する際に送受信されるデータの入出力制御を行う。
【００２４】
ネットワーク１５０上の機器またはインターフェース２０６（ユーザインターフェース）から、撮像ユニット２０１を移動・回転させる要求が撮像装置１１０に入力されると、ＣＰＵ２０４は、指示された移動・回転を行うよう駆動回路２２３に指示する。駆動回路２２３は、この指示に基づいてアクチュエータ２２１を制御する。アクチュエータ２２１は、駆動回路２２３による制御に従って、サーボモータや超音波モータ等を用いて、撮像ユニット２０１を回転および移動させる。動き検出回路２２２は、アクチュエータ２２１の動き量（移動・回転量）を検出し、検出した動き量を所定タイミング毎にＲＡＭ２０３に記録する。
尚、撮像装置１１０のハードウェアは、例えば、パン方向およびチルト方向の動作を行う公知のカメラのハードウェアを用いて実現することができ、図２に示すものに限定されない。
【００２５】
図３は、クライアント装置１２０のハードウェアの構成の一例を示す図である。
ＣＰＵ３０１は、クライアント装置１２０を統括制御する。ＣＰＵ３０１は、例えば、ＲＯＭ３０３あるいはＨＤＤ３０５に記憶されたプログラムを、ＲＡＭ３０２を用いて実行することによりクライアント装置１２０の全体の動作を制御する。ＣＰＵ３０１は、例えば、情報の演算や加工、各ハードウェアの制御を行う。ＲＡＭ３０２は、ＣＰＵ３０１の主メモリとして、プログラムのロードやプログラム実行に必要なワークメモリとして機能する。
【００２６】
ＲＯＭ３０３は、ＣＰＵ３０１の動作処理手順を規定するプログラムを記憶する。ＲＯＭ３０３には、コンピュータシステムの機器制御を行うシステムプログラムである基本ソフト（ＯＳ）を記録したプログラムＲＯＭとシステムを稼働するために必要な情報等が記録されたデータＲＯＭとがある。ＲＯＭ３０３の代わりに後述のＨＤＤ３０５を用いる場合もある。
【００２７】
インターフェース３０４は、通信インターフェースと、入力インターフェースと、表示インターフェースとを有する。通信インターフェースは、ネットワーク１５０に接続された撮像装置１１０等の外部装置と相互に通信する際に送受信されるデータの入出力制御を行う。入力インターフェースは、入力装置１３０とクライアント装置１２０とのインターフェースである。表示インターフェースは、表示装置１４０とクライアント装置１２０とのインターフェースである。
ＨＤＤ（Hard Disk Drive）３０５は、図４および図９に記載のフローチャートの処理を実行するアプリケーションプログラム等のデータを保存する。入出力バス３０６は、前述した各ユニット間を接続するためのものである。入出力バス３０６は、例えばアドレスバス、データバス、および制御バスを有する。
尚、クライアント装置１２０のハードウェアは、例えば、パーソナルコンピュータ等の公知の情報処理装置のハードウェアを用いて実現することができ、図３に示すものに限定されない。
【００２８】
次に、図４のフローチャートを参照しながら、クライアント装置１２０の処理の一例を説明する。ここでは、クライアント装置１２０が、撮像装置１１０で作成されたパノラマ画像の各領域に、当該領域を撮像した際の撮像装置１１０の撮像方向をパターンで表示する方法の一例を説明する。図４のフローチャートによる処理は、例えば、ＣＰＵ３０１がＲＯＭ３０３あるいはＨＤＤ３０５に記憶されたプログラムを、ＲＡＭ３０２を用いて実行することにより実現される。
【００２９】
本実施形態では、制御部１２２は、Ｓ４００の前処理として、撮像装置１１０の撮像方向（パン、チルトの値）に対応する表示パターンを設定する。その後、制御部１２２は、Ｓ４０１〜Ｓ４０５における処理として、前述の撮像方向を表す表示パターンをパノラマ画像上に表示するための処理を行う。以下、各処理の一例を詳しく説明する。
【００３０】
まず、制御部１２２は、撮像装置１１０の撮像方向（パン、チルトの値）に対応する表示パターンを設定する（Ｓ４００）。本実施形態では、制御部１２２は、撮像装置１１０の駆動範囲を以下の（１）〜（５）の５つに分割し、５つの駆動範囲のそれぞれに対応する表示パターンを自動で設定する。
（１）パン（−１８０°以上、−９０°未満）且つチルト（０°以上、４５°未満）
（２）パン（−９０°以上、０°未満）且つチルト（０°以上、４５°未満）
（３）パン（０°以上、９０°未満）且つチルト（０°以上、４５°未満）
（４）パン（９０°以上、１７９°以下）且つチルト（０°以上、４５°未満）
（５）パン（−１８０°以上、１７９°以下）且つチルト（４５°以上、９０°以下）
【００３１】
図５は、撮像装置１１０の撮像方向（パン、チルトの値）と表示パターンとの関係の一例を表形式で示す図である。図５に示す関係が、Ｓ４００の処理によってＨＤＤ３０５に記憶される。
図５に示す表示パターン５０１〜５０５は、それぞれ、前述した（１）〜（５）の駆動範囲に対応づけられた表示パターンを表す。
【００３２】
本実施形態では、パノラマ画像に対して表示する表示パターンとして、点や線から構成されるパターンを用いる場合を例に挙げて示す。しかし、パノラマ画像に対して表示するパターンは、この限りでは無い。表示パターンは、例えば、図形でも良いし、色でも良いし、撮像装置１１０の撮像方向を特徴付ける文字列でも良い。また、それらのうちの少なくとも何れか２つを組み合わせたものでも良い。
【００３３】
また、本実施形態では、撮像装置１１０で撮像された画像に対する画像処理の結果に基づいて撮像装置１１０の駆動範囲を分割し、分割したそれぞれの駆動範囲への表示パターンの対応付けを自動で行う場合を例に挙げて示す。しかし、撮像装置１１０の駆動範囲とパターンとの対応付けは、この限りでは無い。例えば、入力装置１３０を介したユーザの入力操作に基づき、撮像装置１１０の駆動範囲のそれぞれに対応する表示パターンの種類と、分割後の撮像装置１１０の駆動範囲の少なくとも何れか１つを決定しても良い。また、後述する撮像画像の撮像方向と、座標とが相互に対応付けられたパノラマ画像を予め作成し利用しても良い。例えば、パノラマ画像に対して、グラフカットやｗａｔｅｒｓｈｅｄ等の領域セグメンテーションアルゴリズムを適用し、セグメント化した領域から、撮像装置１１０の撮像方向を計算することで、各領域に撮像装置１１０の駆動範囲を対応付けても良い。
【００３４】
次に、制御部１２２は、パノラマ画像上に表示パターンを表示するための処理を行う（Ｓ４０１〜Ｓ４０５）。図６は、窓と扉とが存在する部屋において、部屋の内部に撮像装置１１０が設置されている状況を横側から見た様子の一例を示す図である。また、図７は、図６に示す環境において、パン方向およびチルト方向に撮像装置１１０を駆動させることにより生成されたパノラマ画像７００の一例を示す図である。図７に示すパノラマ画像７００では、横軸がパン方向の駆動範囲に対応し、縦軸がチルト方向の駆動範囲に対応する。また、パノラマ画像７００の左上７０１を座標の原点とし、左から右方向をｘ軸、上から下方向をｙ軸とする二次元座標系を定義する。そうすると、パノラマ画像７００上の任意の座標は、二次元座標（ｘ、ｙ）で表すことができる。
【００３５】
パノラマ画像を走査し、パノラマ画像上にパターンを表示するまでの処理の流れの一例は以下の通りである。
＜処理１＞
制御部１２２は、パノラマ画像上の各画素を二次元座標に割り当て、画素の配列の先頭を指定する（Ｓ４０１）。本実施形態では、クライアント装置１２０は、情報保持部１１４に保存されているパノラマ画像を受信し、当該パノラマ画像に対する処理を行う場合を例に挙げて説明する。しかし、必ずしもこのようにする必要はない。例えば、クライアント装置１２０は、Ｓ４０１（処理１）を行う前に、パン、チルトの値を変えながら撮像装置１１０で撮像された画像データを取得し、クライアント装置１２０の内部でパノラマ画像を生成しても良い。
【００３６】
＜処理２＞
制御部１２２は、パノラマ画像５００に対して指定している現在の画素の配列位置（座標）に対応する、撮像装置１１０のパンおよびチルトの値を取得する（Ｓ４０２）。本実施形態では、図７に示す通り、横軸がパン、縦軸がチルトに対応するパノラマ画像を使用する。そのため、パノラマ画像７００上の任意の座標（ｘ、ｙ）に対して、以下に示す式（１）を使用することにより、座標（ｘ、ｙ）に対応する撮像装置１１０のパンおよびチルトの値を計算することが可能である。
【００３７】
【数１】
2017103651.tif 000003
【００３８】
式（１）中のＷ、Ｈはそれぞれ、パノラマ画像７００の幅、高さを表す。また、Ｐｍａｘ、Ｐｍｉｎはそれぞれ、撮像装置１１０のパン方向の駆動範囲の最大値、最小値を表す。また、Ｔｍａｘ、Ｔｍｉｎはそれぞれ、撮像装置１１０のチルト方向の駆動範囲の最大値、最小値を表す。本実施形態では、パノラマ画像の幅、高さ、および座標から、撮像装置１１０のパン、チルトの値を計算する場合を例に挙げて説明する。しかし、撮像装置１１０のパン、チルトの値を導出する方法は、この限りでは無い。その一例を説明すると、まず、パノラマ画像の作成時に、パノラマ画像の各座標と、撮像装置１１０のパンおよびチルトの値とを相互に関連付けて記憶するテーブルを作成しておく。このテーブルは、撮像装置１１０で作成してもクライアント装置１２０で作成してもよい。そして、Ｓ４０２において、制御部１２２は、前記テーブルを参照することにより、撮像装置１１０のパン、チルトの値（撮像装置１１０の撮像方向）を導出する。
【００３９】
＜処理３＞
制御部１２２は、Ｓ４００にて設定した、撮像装置１１０の撮像方向（パン、チルトの値）に対応する表示パターンを参照し、Ｓ４０２（処理２）において導出した撮像装置１１０のパン、チルトの値に対応する表示パターン決定する。その後、制御部１２２は、パノラマ画像５００に対して指定している現在の画素の配列位置（座標）に、決定した表示パターンを割り当てる（Ｓ４０３）。
【００４０】
＜処理４＞
制御部１２２は、パノラマ画像５００に対して指定している現在の配列（座標）が、配列（座標）の最後尾であるか否かを判断する（Ｓ４０４）。この判断の結果、パノラマ画像５００に対して指定している現在の画素の配列位置（座標）が、画素の配列（座標）の最後尾であれば、図４のフローチャートによる処理を終了する。
【００４１】
一方、パノラマ画像５００に対して指定している現在の画素の配列位置（座標）が、画素の配列位置（座標）の最後尾でなければ、制御部１２２は、次の画素の配列位置（座標）を指定する（Ｓ４０５）。そして、制御部１２２は、指定した画素の配列位置（座標）に対して前述したＳ４０２、Ｓ４０３の処理を行う。以上のようにして、パノラマ画像５００に対する全ての画素の配列位置（座標）に対して表示パターンを割り当てるまで、Ｓ４０２〜Ｓ４０５の処理を繰り返し行う。
【００４２】
本実施形態では、以上の図４の処理の終了後、表示制御部１２５は、当該処理を行ったパノラマ画像（表示パターンが重ね合わせられたパノラマ画像）を表示装置１４０へ表示する。これにより、撮像装置１１０の撮像方向を表す表示パターンが表示されたパノラマ画像をユーザへ提示することが可能になる。
【００４３】
以上のように本実施形態では、撮像装置１１０の撮像方向の範囲と表示パターンとを相互に対応付けて記憶する。パノラマ画像のそれぞれの領域（座標）を撮像した際の撮像装置１１０の撮像方向を特定する。そして、特定した撮像装置１１０の撮像方向に対応する表示パターン８０１〜８０５を元のパノラマ画像の少なくとも一部の領域が視認可能になるように当該パノラマ画像上に重ねて表示する。図８は、撮像装置１１０の撮像方向を表す表示パターンが表示されたパノラマ画像８００の一例を示す図である。図８に示すように、表示パターン８０１〜８０５は、半透明であり、元のパノラマ画像の少なくとも一部の領域が視認可能になるように当該パノラマ画像上に重ねて表示される。
【００４４】
図８に示す表示パターン８０１〜８０５はそれぞれ、前述した撮像装置１１０の駆動範囲（１）〜（５）に対応する表示パターンを表す。このようなパノラマ画像８００を表示する画面を提示することによって、ユーザは、例えば、部屋の中の扉は、撮像装置１１０の駆動範囲（２）内に存在すると判断することができる。なお、図５に示す表も図８の表示パターン付きのパノラマ画像とともに表示画面に表示させてもよい。
【００４５】
本実施形態では、横軸がパン方向の駆動範囲に、縦軸がチルト方向の駆動範囲にそれぞれ対応したパノラマ画像に対して、撮像装置１１０の撮像方向を表す表示パターンを表示する場合を例に挙げて説明した。しかし、パノラマ画像は、この限りでは無い。例えば、魚眼レンズで撮像されたパノラマ画像でも良いし、一部分のみを切り出したパノラマ画像でも良い。
【００４６】
また、本実施形態では、パン駆動およびチルト駆動が可能な撮像装置１１０における処理の方法を例に挙げて説明した。しかし、撮像装置１１０は、パン駆動およびチルト駆動が可能なものに限らない。例えば、パン駆動およびチルト駆動を行う機能が存在しない撮像装置に対しては、本実施形態の説明において、パノラマ画像を撮像画像に置き換え、パン、チルトの値を、撮像画像上の座標に置き換えることによって適用可能である。
【００４７】
また、本実施形態では、パノラマ画像上に表示パターンを重ね合わせる場合を例に挙げて説明した。しかし、必ずしも、パノラマ画像上に表示パターンを重ね合わせる必要はない。例えば、撮像装置１１０の撮像方向を特徴付ける文字列を表示パターンとして表示する場合には、次のようにしてもよい。即ち、パノラマ画像の表示領域と表示パターンの表示領域とを一つの画面内に別々に設け、撮像装置１１０の撮像方向と当該撮像方向の座標範囲とを示す文字列を表示パターンとして表示パターンの表示領域に表示してもよい。また、このようにせずに、撮像装置１１０の撮像方向を特徴付ける文字列をパノラマ画像上に表示してもよい。
【００４８】
（第２の実施形態）
次に、第２の実施形態を説明する。前述したように本実施形態では、撮像装置の録画映像のタイムライン上に撮像装置の撮像方向を表示する方法の一例について説明する。このように本実施形態と第１の実施形態とは、撮像装置の撮像方向の表示対象が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図８に付した符号と同一の符号を付す等して詳細な説明を省略する。例えば、本実施形態における撮像表示システム、撮像装置１１０、およびクライアント装置１２０の構成を示す図（図１〜図３）は、第１の実施形態と同様なため、その詳細な説明を省略する。また、本実施形態において、撮像装置１１０が設置されている空間、場所、およびパン、チルト方向の駆動範囲は、第１の実施形態と同様とする。
【００４９】
まず、図９のフローチャートを参照しながら、クライアント装置１２０の処理の一例を説明する。ここでは、クライアント装置１２０が、録画映像のタイムライン上に、撮像装置１１０の撮像方向を表示パターンにより表示する方法の一例を説明する。図９のフローチャートによる処理は、例えば、ＣＰＵ３０１がＲＯＭ３０３あるいはＨＤＤ３０５に記憶されたプログラムを、ＲＡＭ３０２を用いて実行することにより実現される。
【００５０】
本実施形態では、制御部１２２は、Ｓ９００で前処理として、撮像装置１１０の撮像方向（パン、チルトの値）に対応する表示パターンを設定する。その後、制御部１２２は、Ｓ９０１〜Ｓ９０５における処理として、第１の実施形態で説明した撮像装置１１０の撮像方向を表す表示パターンを録画映像のタイムライン上に表示する。以下、本実施形態における各処理の一例を詳しく説明する。
【００５１】
まず、制御部１２２は、撮像装置１１０の撮像方向（パン、チルトの値）に対応する表示パターンを設定する（Ｓ９００）。制御部１２２は、例えば、第１の実施形態で説明した図４のＳ４００と同様の処理を行い、図５に示す関係をＨＤＤ３０５に記憶する。
【００５２】
次に、制御部１２２は、タイムライン上に表示パターンを表示する（Ｓ９０１〜Ｓ９０５）。図１０は、タイムラインと、タイムラインに対して指定した時刻（再生位置）における録画映像を表示するためのユーザインターフェースの一例を示す図である。表示制御部１２５は、制御部１２２による制御に従って、以下の処理を行う。即ち、表示制御部１２５は、タイムライン１００２の上部に、録画時間を表す録画時間表示部１００１を表示する。また、表示制御部１２５は、録画映像が存在するか否かを表す録画期間表示部１００３と、録画映像表示部１０００に表示する録画映像の録画時間を指定する録画時間指定部１００４を、タイムライン１００２上に表示する。表示制御部１２５は、録画時間指定部１００４で指定された録画時間における録画映像を、録画映像表示部１０００に表示する。
【００５３】
タイムライン１００２上に表示パターンを表示するまでの処理の流れの一例は以下の通りである。
＜処理１＞
制御部１２２は、録画映像のフレームの先頭を指定する（Ｓ９０１）。本実施形態では、クライアント装置１２０は、情報保持部１１４に保存されている録画映像を受信し、当該録画映像に対する処理を行う場合を例に挙げて説明する。しかし、必ずしもこのようにする必要はない。例えば、クライアント装置１２０は、Ｓ９０１（処理１）を行う前に、撮像装置１１０で撮像された画像データを取得し、クライアント装置１２０の内部で録画映像を保存しても良い。
【００５４】
＜処理２＞
制御部１２２は、録画映像に対して指定しているフレームが撮像された際の撮像装置１１０のパンおよびチルトの値を取得する（Ｓ９０２）。本実施形態では、制御部１２２は、録画映像の各フレームのヘッダにメタデータとして撮像装置１１０側で予め保存されたパンおよびチルトの値を取得するものとする。しかし、撮像装置１１０のパンおよびチルトの値を取得する方法は、この限りでは無い。その一例を説明すると、撮像画像の録画時に、録画映像の各フレームと、撮像装置１１０のパンおよびチルトの値とを相互に関連付けて記憶するテーブルを作成しておく。このテーブルは、撮像装置１１０で作成してもクライアント装置１２０で作成してもよい。そして、Ｓ９０２において、制御部１２２は、前記テーブルを参照することにより、撮像装置１１０のパンおよびチルトの値（撮像装置１１０の撮像方向）を導出する。
【００５５】
＜処理３＞
制御部１２２は、Ｓ９００にて設定された、撮像装置１１０の撮像方向（パン、チルトの値）に対応する表示パターンを参照し、Ｓ９０２（処理２）において取得した撮像装置１１０のパン、チルトの値に対応する表示パターン決定する。その後、制御部１２２は、録画映像に対して指定している現在の配列（フレーム）を表すタイムライン１００２上の領域に、決定した表示パターンを割り当てる（Ｓ９０３）。
【００５６】
＜処理４＞
制御部１２２は、録画映像に対して現在指定されたフレームが、最後尾のフレームであるか否かを判断する（Ｓ９０４）。この判断の結果、録画映像に対して指定されている現在のフレームが、最後尾であれば、図９のフローチャートによる処理を終了する。
【００５７】
一方、録画映像に対して現在指定されているフレームが、最後尾でなければ、制御部１２２は、次のフレームを指定する（Ｓ９０５）。そして、制御部１２２は、指定されたフレームに対して前述したＳ９０２、Ｓ９０３の処理を行う。以上のようにして、録画映像に対する全てのフレームに対して表示パターンを割り当てるまで、Ｓ９０２〜Ｓ９０５の処理を繰り返し行う。
【００５８】
本実施形態では、以上の図１０の処理の終了後、表示制御部１２５は、当該処理を行ったタイムライン（表示パターンが重ね合わせられたタイムライン）を表示装置１４０へ表示する。これにより、撮像装置１１０の撮像方向を表す表示パターンが表示されたタイムラインをユーザへ提示することが可能になる。
【００５９】
以上のように本実施形態では、録画映像のそれぞれのフレームを撮像した際の撮像装置１１０の撮像方向を特定する。そして、特定した撮像装置１１０の撮像方向に対応する表示パターン１１０１〜１１０５を、元のタイムラインの内容や録画時間指定部１００４の少なくとも一部が視認可能になるように当該タイムライン上に重ねて表示する。図１１は、撮像装置１１０の撮像方向を表すパターンが表示されたタイムライン１１００の一例を示す図である。
【００６０】
図１１に示す表示パターン１１０１〜１１０５はそれぞれ、第１の実施形態で説明した撮像装置１１０の駆動範囲（１）〜（５）に対応する表示パターンを表す。このようなタイムライン１１００を表示する画面を提示することによって、ユーザは、例えば、駆動範囲（４）の方向を向いた状態で撮像された録画映像は、タイムライン１１００上に表示されている表示パターン１１０４内に存在すると判断することができる。
【００６１】
本実施形態では、連続する複数のフレームの画像（録画映像）のタイムラインを、画像を選択するためのオブジェクトの一例として表示する場合を例に挙げて説明した。しかし、必ずしも、連続する複数のフレームの画像を表示の対象にする必要も、タイムラインを表示する必要もない。例えば、複数の画像のそれぞれのサムネイル画像を、当該複数の画像の何れかを選択するオブジェクトの一例として表示してもよい。複数の画像は、動画像の各フレームの画像でも静止画像でもよい。この場合、複数のサムネイル画像のそれぞれに対し、当該サムネイル画像に対応する画像を撮像した際の撮像装置１１０の撮像方向に応じて、前述した表示パターンを重ねて表示する。そして、複数のサムネイル画像からユーザにより選択された画像を拡大して表示する。このとき、複数のサムネイル画像の１つのみを選択できるようにしても、少なくとも２つを同時に選択できるようにしてもよい。
また、本実施形態においても、第１の実施形態で説明した変形例を採用することができる。
【００６２】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００６３】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００６４】
１１０：撮像装置、１２０：クライアント装置、１３０：入力装置、１４０：表示装置、１５０：ネットワーク
【図１】
2017103651.tif 000004
【図２】
2017103651.tif 000005
【図３】
2017103651.tif 000006
【図４】
2017103651.tif 000007
【図５】
2017103651.tif 000008
【図６】
2017103651.tif 000009
【図７】
2017103651.tif 000010
【図８】
2017103651.tif 000011
【図９】
2017103651.tif 000012
【図１０】
2017103651.tif 000013
【図１１】
2017103651.tif 000014