(57)【要約】【課題】  所望する領域が映し出されている画像を直感的に特定できるようにする。【解決手段】  パノラマ画像に対してユーザにより指定された領域と表示パターンとを相互に対応付けて記憶する。パノラマ画像に対してユーザにより指定された領域を特定する。そして、特定した領域に対応する表示パターン１００１〜１００３を、元のタイムラインの内容や録画時間指定部１００４の少なくとも一部が視認可能になるように当該タイムライン上に重ねて表示する。【選択図】  図１０
2017103652.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で撮像されることにより生成される画像を選択するためのオブジェクトと共に、ユーザによって指定された領域が映し出されている画像を特定するための情報を表示するための処理を行う処理手段を有することを特徴とする情報処理装置。
【請求項２】
撮像方向を異ならせて前記撮像装置により撮像される画像の少なくとも１つの領域と、当該領域に対応する表示パターンとを相互に関連付ける関連付け手段をさらに有し、
前記処理手段は、前記ユーザによって指定された領域が映し出されている画像を特定するための情報として、当該領域に関連付けられた前記表示パターンを表示するための処理を行うことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記画像は、複数のフレームの画像であり、
前記オブジェクトは、前記複数のフレームの画像の何れかを選択するためのオブジェクトであることを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記オブジェクトは、前記複数のフレームの画像に対応する領域を有し、
前記処理手段は、前記ユーザによって指定された領域が映し出されているフレームの画像を特定するための情報として、当該領域に応じて予め定められた表示パターンを、前記オブジェクトの当該フレームの画像に対応する領域に重ねて表示するための処理を行うことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記オブジェクトは、前記画像の再生位置を指定するためのタイムラインであり、
前記ユーザによって指定された領域が映し出されている画像を特定するための情報は、ユーザによって指定された領域が映し出されている期間を示す情報であることを特徴とする請求項３または４に記載の情報処理装置。
【請求項６】
前記フレームのそれぞれには、当該フレームの画像が撮像された際の前記撮像装置の撮像方向が対応付けられており、
前記処理手段は、前記撮像装置の撮像方向に基づいて、前記複数のフレームのうち、前記ユーザによって指定された領域が映し出されているフレームを特定することを特徴とする請求項３〜５の何れか１項に記載の情報処理装置。
【請求項７】
前記撮像装置における撮像方向と撮像範囲とを含む複数の設定情報の中からユーザによって指定された設定情報に基づいて、前記ユーザによって指定された領域を導出する導出手段をさらに有することを特徴とする請求項１〜６の何れか１項に記載の情報処理装置。
【請求項８】
前記撮像装置で撮像されることにより生成される画像に対して、ユーザによって指定された領域を描画する描画手段をさらに有することを特徴とする請求項１〜６の何れか１項に記載の情報処理装置。
【請求項９】
前記画像は、パノラマ画像であることを特徴とする請求項１〜８の何れか１項に記載の情報処理装置。
【請求項１０】
撮像装置で撮像されることにより生成される画像を選択するためのオブジェクトと共に、ユーザによって指定された領域が映し出されている画像を特定するための情報を表示するための処理を行う処理工程を有することを特徴とする情報処理方法。
【請求項１１】
請求項１〜９の何れか１項に記載の情報処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、タイムラインを表示するために用いて好適なものである。
【背景技術】
【０００２】
撮像装置の録画映像が保存されている期間をタイムライン上に表示することにより、撮像装置の録画映像が存在する期間をユーザに提示する技術がある。特許文献１には、タイムライン上に、注目している撮像装置の録画映像が存在する期間と、その他の撮像装置の録画映像が存在する期間とを表示する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１７１７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、ユーザは、自身が所望する撮像方向の録画映像が、タイムライン上のどの時刻に存在するのかを直感的に把握するしくみは開示されていない。
本発明は、以上の課題を解決するためになされたものであり、所望する領域が映し出されている画像を直感的に特定できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の情報処理装置は、撮像装置で撮像されることにより生成される画像を選択するためのオブジェクトと共に、ユーザによって指定された領域が映し出されている画像を特定するための情報を表示するための処理を行う処理手段を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、表示する画像を選択するに際し、所望する領域が映し出されている画像をユーザに特定させることができる。
【図面の簡単な説明】
【０００７】
【図１】表示システムの構成を示す図である。
【図２】撮像装置の構成を示す図である。
【図３】クライアント装置の構成を示す図である。
【図４】クライアント装置の処理の第１の例を示すフローチャートである。
【図５】撮像装置が設置されている状況を示す図である。
【図６】パノラマ画像を示す図である。
【図７】パノラマ画像の座標の範囲と表示パターンとの関係を示す図である。
【図８】表示パターンを重ね合わせて表示したパノラマ画像を示す図である。
【図９】タイムラインを示す図である。
【図１０】指定した範囲の映像の録画期間が示されたタイムラインを示す図である。
【図１１】クライアント装置の処理の第２の例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下に、添付の図面に基づいて実施形態を詳細に説明する。第１の実施形態では、ユーザがパノラマ画像上に矩形を描くことで撮像装置の撮像方向を指定し、指定した撮像方向の映像が録画されている期間を録画映像のタイムライン上に表示する方法の一例について説明する。また、第２の実施形態では、撮像方向および撮像範囲をプリセット情報として保存することが可能な撮像装置を用いる場合について説明する。即ち、このような撮像装置において、ユーザがプリセット番号を指定し、指定したプリセット番号に対応する撮像方向および撮像範囲で撮像された映像が録画されている期間を撮像装置の録画映像のタイムライン上に表示する方法の一例について説明する。
【０００９】
（第１の実施形態）
第１の実施形態を説明する。前述したように本実施形態では、ユーザがパノラマ画像上に矩形を描くことで撮像装置の撮像方向を指定し、指定した撮像方向の映像が録画されている期間を録画映像のタイムライン上に表示する方法の一例について説明する。
図１は、本実施形態における表示システムの構成の一例を示すブロック図である。
図１において、表示システムは、撮像装置１１０、クライアント装置１２０、入力装置１３０、および表示装置１４０を有する。撮像装置１１０とクライアント装置１２０は、ネットワーク１５０を介して相互に通信可能に接続される。
【００１０】
撮像装置１１０は、被写体を撮像する。撮像装置１１０は、撮像方向および画角を変更する機能を有する。クライアント装置１２０は、撮像装置１１０の撮像方向および画角の情報と、パノラマ画像を取得する。入力装置１３０は、マウスやキーボード等から構成され、クライアント装置１２０に対するユーザによる入力操作を受け付ける。表示装置１４０は、クライアント装置１２０が出力した内容を表示する。図１では、クライアント装置１２０と表示装置１４０とを独立した装置として示す。しかし、クライアント装置１２０と表示装置１４０とを一体化して構成しても良い。ネットワーク１５０は、撮像装置１１０とクライアント装置１２０とを相互に接続する。ネットワーク１５０は、例えば、Ethernet（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。尚、撮像装置１１０とクライアント装置１２０とが相互に通信を行うことができれば、ネットワーク１５０の通信規格、規模、および構成は問わない。例えば、ネットワーク１５０は、インターネットや有線ＬＡＮ（Local Area Network）、無線ＬＡＮ（Wireless LAN）、ＷＡＮ（Wide Area Network）等により構成されても良い。
【００１１】
まず、撮像装置１１０の機能構成の一例を説明する。
撮像部１１１は、撮像素子と、撮像素子上に被写体像を結像する光学系とを有する。撮像部１１１は、光学系の光軸と撮像素子との交点を撮像中心として固体撮像素子上に撮像を行う。固体撮像素子は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）あるいはＣＣＤ（Charged Coupled Device）等の撮像素子である。
【００１２】
信号処理部１１２は、撮像部１１１によって撮像された画像信号に対する処理を行う。信号処理部１１２は、例えば、撮像部１１１によって撮像された画像信号に対して符号化を行う。符号化方式として、例えば、ＪＰＥＧ（Joint Photographic Experts Group）を用いることができる。また、符号化方式として、例えば、H.264/MPEG-4 AVCを用いることができる。その他、符号化方式として、ＨＥＶＣ（High Efficiency Video Coding符号化方式）を用いることができる。ただし、符号化方式はこれらに限らない。また、信号処理部１１２は、複数の符号化方式の中から符号化方式を選択して符号化を行うこととしても良い。また、信号処理部１１２は、例えば、次の画像処理も行う。即ち、信号処理部１１２は、処理を行った撮像画像を繋ぎ合わせパノラマ画像を作成する処理と、処理を行った画像信号に対するフィルタ処理とを含む処理も行う。
【００１３】
駆動制御部１１３は、撮像部１１１の撮像方向および画角を変更させる制御を行う。本実施形態では、撮像部１１１は、パン方向およびチルト方向に撮像方向を変更することができ、且つ、撮像画角を変更することができる場合について説明する。
【００１４】
情報保持部１１４は、例えば、信号処理部１１２で処理が行われた画像信号（撮像画像）として前述のパノラマ画像を、撮像時の撮像方向、撮像時の画角、および撮像時刻等の情報と共に録画映像として保存する。
【００１５】
また、本実施形態では、撮像装置１１０は、天井に設置されているものとする。撮像装置１１０（撮像部１１１）のパン方向の駆動範囲は、−１８０°以上、１７９°以下であり、チルト方向の駆動範囲は０°以上、９０°以下であるとする。撮像装置１１０のチルトの値（角度）が９０°の場合、撮像装置１１０（撮像部１１１）は、設置されている空間の床に垂直な方向（即ち真下の方向）を向くこととする。
【００１６】
通信制御部１１５は信号処理部１１２で処理が行われた画像信号（撮像画像）をクライアント装置１２０に送信する。送信される撮像画像に関して、例えば各撮像画像フレームのヘッダに撮像時刻、撮像方向（パン、チルト角）、撮像画角に関する情報が格納される。さらに通信制御部１１５は、クライアント装置１２０から撮像装置１１０に対する制御命令を受信する。また、通信制御部１１５は、クライアント装置１２０から指示を受け、情報保持部１１４に保存されている、録画映像（パノラマ画像）の各フレームの情報を取り出し、クライアント装置１２０へ送信する。
【００１７】
次に、クライアント装置１２０の機能構成の一例を説明する。
クライアント装置１２０内の記憶部１２１は、プログラムの内容、およびプログラム中の処理に用いる各種データ等を記憶する。制御部１２２は、記憶部１２１に記憶されたプログラムを読み出して実行することにより、後述するフローチャートによる処理を行う。入力情報取得部１２４は、入力装置１３０を用いたユーザによる入力操作の内容を入力する。表示制御部１２５は、制御部１２２が行ったプログラムの処理結果に従い、映像を表示装置１４０へ出力する。
【００１８】
図２は、撮像装置１１０のハードウェアの構成の一例を示す図である。
撮像装置１１０は、撮像ユニット２０１と、アクチュエータユニット２０２と、ＲＡＭ２０３と、ＣＰＵ２０４と、ＲＯＭ２０５と、インターフェース（ＩＦ）２０６とを有する。
図２において、被写体像は、光学系からなる撮影レンズユニット２１１と、絞りユニット２１２とを通って光学センサ２１３に結像される。撮影レンズユニット２１１は、例えば、焦点を合わせるために、モータ等を用いてレンズ群を移動する。絞りユニット２１２は、絞りが制御可能な機構を有する。撮影レンズユニット２１１、絞りユニット２１２の動作制御は、駆動回路２１６が行う。
【００１９】
従って、駆動回路２１６が撮影レンズユニット２１１および絞りユニット２１２を制御することで、光学センサ２１３に到達（結像）する光量が調整される。光学センサ２１３は、前述した固体撮像素子によって構成され、入射した光を光量に応じて電荷に変換、蓄積する。光学センサ２１３は、蓄積された電荷を読み出し、画像信号としてＡ／Ｄコンバータ２１４に出力する。
【００２０】
光学センサ２１３の動作は、駆動回路２１７が出力するパルス信号等によって制御される。即ち、光学センサ２１３は、駆動回路２１７により指示されたタイミングで指示された時間の間に蓄積された電荷を読み出す一連の動作を連続する。これにより、連続した画像（動画像）が得られる。尚、本実施形態の撮像装置１１０は、静止画像の撮像も行える。
【００２１】
Ａ／Ｄコンバータ２１４は、光学センサ２１３から受けた画像信号に対してＡ／Ｄ変換を行い、ディジタルデータ（画像データ）として画像処理回路２１５に出力する。画像処理回路２１５は、Ａ／Ｄコンバータ２１４から受けた画像データを用いて、ホワイトバランス補正やガンマ補正といった画像補正を行う。また、画像処理回路２１５は、画像補正を行った画像データに対して符号化を行う。符号化方式の一例は前述した通りである。また、画像処理回路２１５は、前述したパノラマ画像の生成や、フィルタ処理も行う。
【００２２】
ＣＰＵ（Central Processing Unit）２０４は、撮像装置１１０を統括制御する。ＣＰＵ２０４は、例えば、ＲＯＭ（Read Only Memory）２０５に記憶されたプログラムを、ＲＡＭ（Random Access Memory）２０３を用いて実行することにより撮像装置１１０の全体の動作を制御する。ＣＰＵ２０４は、例えば、情報の演算や加工、各ハードウェアの制御を行う。ＲＡＭ２０３は、ＣＰＵ２０４の主メモリとして、プログラムのロードやプログラム実行に必要なワークメモリとして機能する。ＲＯＭ２０５は、ＣＰＵ２０４の動作処理手順を規定するプログラムを記憶する。ＲＯＭ２０５には、コンピュータシステムの機器制御を行うシステムプログラムである基本ソフト（ＯＳ）を記録したプログラムＲＯＭとシステムを稼働するために必要な情報等が記録されたデータＲＯＭとがある。
【００２３】
インターフェース（ＩＦ）２０６は、ユーザインターフェースおよび通信インターフェースを有する。ユーザインターフェースは、例えば、ボタンおよびダイヤル等を有し、ユーザによる撮像装置１１０に対する入力操作を受け付ける。通信インターフェースは、ネットワーク１５０に接続されたクライアント装置１２０等の外部装置と相互に通信する際に送受信されるデータの入出力制御を行う。
【００２４】
ネットワーク１５０上の機器またはインターフェース２０６（ユーザインターフェース）から、撮像ユニット２０１を移動・回転させる要求が撮像装置１１０に入力されると、ＣＰＵ２０４は、指示された移動・回転を行うよう駆動回路２２３に指示する。駆動回路２２３は、この指示に基づいてアクチュエータ２２１を制御する。アクチュエータ２２１は、駆動回路２２３による制御に従って、サーボモータや超音波モータ等を用いて、撮像ユニット２０１を回転および移動させる。動き検出回路２２２は、アクチュエータ２２１の動き量（移動・回転量）を検出し、検出した動き量を所定タイミング毎にＲＡＭ２０３に記録する。
尚、撮像装置１１０のハードウェアは、例えば、パン方向およびチルト方向の動作を行う公知のカメラのハードウェアを用いて実現することができ、図２に示すものに限定されない。
【００２５】
図３は、クライアント装置１２０のハードウェアの構成の一例を示す図である。
ＣＰＵ３０１は、クライアント装置１２０を統括制御する。ＣＰＵ３０１は、例えば、ＲＯＭ３０３に記憶されたプログラムを、ＲＡＭ３０２を用いて実行することによりクライアント装置１２０の全体の動作を制御する。ＣＰＵ３０１は、例えば、情報の演算や加工、各ハードウェアの制御を行う。ＲＡＭ３０２は、ＣＰＵ３０１の主メモリとして、プログラムのロードやプログラム実行に必要なワークメモリとして機能する。
【００２６】
ＲＯＭ３０３は、ＣＰＵ３０１の動作処理手順を規定するプログラムを記憶する。ＲＯＭ３０３には、コンピュータシステムの機器制御を行うシステムプログラムである基本ソフト（ＯＳ）を記録したプログラムＲＯＭとシステムを稼働するために必要な情報等が記録されたデータＲＯＭとがある。ＲＯＭ３０３の代わりに後述のＨＤＤ３０５を用いる場合もある。
【００２７】
インターフェース３０４は、通信インターフェースと、入力インターフェースと、表示インターフェースとを有する。通信インターフェースは、ネットワーク１５０に接続された撮像装置１１０等の外部装置と相互に通信する際に送受信されるデータの入出力制御を行う。入力インターフェースは、入力装置１３０とクライアント装置１２０とのインターフェースである。表示インターフェースは、表示装置１４０とクライアント装置１２０とのインターフェースである。
【００２８】
ＨＤＤ（Hard Disk Drive）３０５は、図４および図１１に記載のフローチャートの処理を実行するアプリケーションプログラム等のデータを保存する。入出力バス３０６は、前述した各ユニット間を接続するためのものである。入出力バス３０６は、例えばアドレスバス、データバス、および制御バスを有する。
尚、クライアント装置１２０のハードウェアは、例えば、パーソナルコンピュータ等の公知の情報処理装置のハードウェアを用いて実現することができ、図３に示すものに限定されない。
【００２９】
次に、図４のフローチャートを参照しながら、クライアント装置１２０の処理の一例を説明する。ここでは、クライアント装置１２０が、ユーザが指定したパノラマ画像上の座標の範囲を含む映像が録画されている期間を録画映像のタイムライン上に表示する方法の一例を説明する。図４のフローチャートによる処理は、例えば、ＣＰＵ３０１がＲＯＭ３０３あるいはＨＤＤ３０５に記憶されたプログラムを、ＲＡＭ３０２を用いて実行することにより実現される。
【００３０】
まず、入力情報取得部１２４は、ユーザによるパノラマ画像上の座標の指定を受け付ける（Ｓ４００）。本実施形態では、ユーザは、パノラマ画像上の所望の範囲を指定し、指定した範囲内の複数の座標を一つの座標集合として扱うものとする。座標集合には、座標が一つのみ存在しても良い。
【００３１】
図５は、窓と扉とが存在する部屋において、部屋の内部に撮像装置１１０が設置されている状況を横側から見た様子の一例を示す図である。また、図６は、図５に示す環境において、パン方向およびチルト方向に撮像装置１１０を駆動させることにより生成されたパノラマ画像６００の一例を示す図である。図６に示すパノラマ画像６００では、横軸がパン方向の駆動範囲に対応し、縦軸がチルト方向の駆動範囲に対応する。また、パノラマ画像６００の左上６０１を座標の原点とし、左から右方向をｘ軸、上から下方向をｙ軸とする二次元座標系を定義する。そうすると、パノラマ画像６００上の任意の座標は、二次元座標（ｘ、ｙ）で表すことができる。
【００３２】
本実施形態では、ユーザが入力装置１３０を操作することによりパノラマ画像６００に対してドラッグを行うと、入力情報取得部１２４は、その位置の情報を入力する。表示制御部１２５は、ドラッグの始点と終点とを繋ぐ直線を対角線とするような矩形を描画して表示装置１４０に表示させる。また、制御部１２２は、その矩形の内側に存在する座標の集合を特定する。ユーザが指定したパノラマ画像上の座標の集合を特定する方法は、この限りでは無い。
【００３３】
例えば、制御部１２２は、ユーザがパノラマ画像６００に対して行ったドラッグの軌跡の内側に存在する座標の集合を特定しても良い。また、ユーザがパノラマ画像６００に対してクリックを繰り返し行うようにしても良い。この場合、入力情報取得部１２４は、そのクリックされた位置の情報を入力する。表示制御部１２５は、そのクリックされた位置に対応する曲線（スプライン曲線、ベジェ曲線等）を描画して表示装置１４０に表示させる。制御部１２２は、当該曲線の内側に存在する座標の集合を特定する。この他、表示制御部１２５は、矩形や丸型等の様々な図形のパターンを予めパノラマ画像６００上に描画して表示装置１４０に表示させ、それらの図形に対してユーザにより行われたドラッグ操作に基づいて当該図形を変形および移動させるようにしても良い。この場合、制御部１２２は、当該変形および移動がなされた図形の内側に存在する座標の集合を特定する。
【００３４】
また、本実施形態では、ユーザは、前述の方法でパノラマ画像６００上の座標集合の指定を繰り返し行うことで、パノラマ画像６００に対し複数の座標集合を指定することができるものとする。ただし、この場合、各座標集合は、相互に異なる座標の集合であるとする。
【００３５】
次に、表示制御部１２５は、Ｓ４００で受け付けられた、パノラマ画像６００上の座標に表示パターンを表示する（Ｓ４０１）。図７は、Ｓ４００で受け付けられたパノラマ画像６００上の座標の範囲と、当該範囲に表示する表示パターンとの関係の一例を表形式で示す図である。
【００３６】
本実施形態では、パノラマ画像６００へ表示する表示パターンとして、点や線から構成されるパターンを用いる場合を例に挙げて示す。しかし、表示パターンは、この限りでは無い。表示パターンは、図形でも良いし、色でも良いし、文字列でも良いし、これらの少なくとも２つの組み合わせでも良い。
【００３７】
また、本実施形態では、制御部１２２は、表示パターン７０４〜７０６と、パノラマ画像６００上の座標の範囲７０１〜７０３とを自動で対応付ける。ただし、表示パターン７０４〜７０６と、パノラマ画像６００上の座標の範囲７０１〜７０３とを対応付ける方法は、この限りでは無い。例えば、制御部１２２は、パノラマ画像６００の座標の範囲の重心座標から、後述する変換方法を用いて撮像装置１１０の撮像方向（パン、チルトの値）を計算しても良い。この場合、制御部１２２は、計算したパンの値に基づいて表示パターンの縞の傾きを決定し、チルトの値に基づいて表示パターンの縞の間隔を決定することができる。また、制御部１２２は、入力装置１３０を介したユーザの入力操作に基づき、表示パターンを決定したり、表示パターンと、パノラマ画像上の座標の範囲との対応付けを決定したりすることができる。
【００３８】
図８は、パノラマ画像６００上の座標の範囲８０１〜８０３のそれぞれに、表示パターンを重ね合わせて表示したパノラマ画像８００の一例を示す図である。パノラマ画像６００上の座標の範囲８０１〜８０３は、Ｓ４００でユーザにより指定された範囲である。ここでは、範囲８０１〜８０３のそれぞれに表示パターン７０４〜７０６が対応づけられているものとする。図８に示すように、元のパノラマ画像の少なくとも一部の領域が視認可能になるように、パノラマ画像６００上の座標の範囲８０１〜８０３のそれぞれに、表示パターンが重ね合わせられる。
【００３９】
次に、制御部１２２は、タイムライン上に表示パターンを表示するための処理を行う（Ｓ４０２〜Ｓ４０７）。図９は、タイムラインと、タイムラインに対して指定した時刻（再生位置）における録画映像を表示するためのユーザインターフェースの一例を示す図である。表示制御部１２５は、制御部１２２による制御に従って、以下の処理を行う。即ち、表示制御部１２５は、タイムライン９０２の上部に、録画時間を表す録画時間表示部９０１を表示する。また、表示制御部１２５は、録画映像が存在するか否かを表す録画期間表示部９０３と、録画映像表示部９００に表示する録画映像の録画時間を指定する録画時間指定部９０４を、タイムライン９０２上に表示する。表示制御部１２５は、録画時間指定部９０４で指定された録画時間における録画映像を、録画映像表示部９００に表示する。
【００４０】
タイムライン９０２上に表示パターン（ユーザが指定した範囲の映像が録画されている期間を示す表示パターン）を表示するまでの処理の流れの一例は以下の通りである。
＜処理１＞
制御部１２２は、録画映像のフレームの先頭を指定する（Ｓ４０２）。本実施形態では、クライアント装置１２０は、情報保持部１１４に保存されている録画映像を受信し、当該録画映像に対する処理を行う場合を例に挙げて説明する。しかし、必ずしもこのようにする必要はない。例えば、例えば、クライアント装置１２０は、Ｓ４０２（処理１）を行う前に、撮像装置１１０で撮像された画像データを取得し、クライアント装置１２０の内部で録画映像を保存しても良い。
【００４１】
＜処理２＞
制御部１２２は、録画映像に対して現在指定しているフレームを撮像した際の撮像装置１１０のパンおよびチルトの値を取得する（Ｓ４０３）。本実施形態では、制御部１２２は、録画映像の各フレームのヘッダにメタデータとして撮像装置１１０側で予め保存されたパンおよびチルト角の値を取得するものとする。しかし、撮像装置１１０のパンおよびチルトの値を取得する方法は、この限りでは無い。その一例を説明すると、撮像画像の録画時に、録画映像の各フレームと、撮像装置１１０のパンおよびチルトの値とを相互に関連付けて記憶するテーブルを作成しておく。このテーブルは、撮像装置１１０で作成してもクライアント装置１２０で作成してもよい。そして、Ｓ４０３において、制御部１２２は、前記テーブルを参照することにより、撮像装置１１０のパンおよびチルトの値（撮像装置１１０の撮像方向）を導出する。
【００４２】
＜処理３＞
制御部１２２は、Ｓ４０３（処理２）で取得されたパンおよびチルトの値を、パノラマ画像６００上の座標に変換する（Ｓ４０４）。本実施形態では、図６に示す通り、横軸がパンに対応し、縦軸がチルトに対応するパノラマ画像を使用する。そのため、制御部１２２は、撮像装置１１０のパンおよびチルト角の値に対して、以下に示す式（１）および式（２）を使用することにより、撮像装置１１０のパンおよびチルトの値に対応するパノラマ画像６００上の座標（ｘ、ｙ）を計算することが可能である。
【００４３】
【数１】
2017103652.tif 000003
【００４４】
式（１）および式（２）中のＷ、Ｈはそれぞれ、パノラマ画像６００の幅、高さを表す。また、Ｐｍａｘ、Ｐｍｉｎはそれぞれ、撮像装置１１０のパン方向の駆動範囲の最大値、最小値を表し、Ｔｍａｘ、Ｔｍｉｎはそれぞれ、撮像装置１１０のチルト方向の駆動範囲の最大値、最小値を表す。Ｐａｎ、Ｔｉｌｔはそれぞれ、パンの値、チルトの値を表す。本実施形態では、パノラマ画像の幅、高さ、および座標から、撮像装置１１０のパンおよびチルトの値に対応するパノラマ画像６００上の座標（ｘ、ｙ）を計算する場合を例に挙げて説明する。しかし、撮像装置１１０のパンおよびチルトの値に対応するパノラマ画像６００上の座標（ｘ、ｙ）を導出する方法は、この限りでは無い。その一例を説明すると、まず、パノラマ画像の作成時に、パノラマ画像の各座標と、撮像装置１１０のパンおよびチルトの値とを相互に関連付けて記憶するテーブルを作成しておく。このテーブルは、撮像装置１１０で作成してもクライアント装置１２０で作成してもよい。そして、Ｓ４０４において、制御部１２２は、前記テーブルを参照することにより、撮像装置１１０のパンおよびチルトの値に対応するパノラマ画像６００上の座標（ｘ、ｙ）を導出する。
【００４５】
＜処理４＞
制御部１２２は、パノラマ画像６００上の座標の範囲と、パノラマ画像６００上に表示する表示パターンとの関係を用いて（図７を参照）、処理３（Ｓ４０４）で変換したパノラマ画像上の座標（ｘ、ｙ）に対応する表示パターンを参照する。その後、制御部１２２は、現在指定しているフレームを表すタイムライン９０２上の領域に、制御部１２２により参照された表示パターンを割り当てる（Ｓ４０５）。尚、処理３（Ｓ４０４）で変換したパノラマ画像上の座標（ｘ、ｙ）に対応する表示パターンがない場合、当該座標（ｘ、ｙ）には表示パターンは割り当てない。
【００４６】
＜処理５＞
制御部１２２は、録画映像に対して現在指定されたフレームが、最後尾であるか否かを判断する（Ｓ４０６）。この判断の結果、録画映像に対して現在指定している現在のフレームが、最後尾であれば、図４のフローチャートによる処理を終了する。
【００４７】
一方、録画映像に対して現在指定されたフレームが、最後尾でなければ、制御部１２２は、次のフレームを指定する（Ｓ４０７）。そして、制御部１２２は、指定したフレームに対して前述したＳ４０３〜Ｓ４０５の処理を行う。以上のようにして、録画映像を構成する全てのフレームに対応するタイムライン上の領域に表示パターンを割り当てるまで、Ｓ９０２〜Ｓ９０５の処理を繰り返し行う。
【００４８】
本実施形態では、以上の図４の処理の終了後、表示制御部１２５は、当該処理を行ったタイムライン（表示パターンが重ね合わせられたタイムライン）を表示装置１４０へ表示する。
【００４９】
以上のように本実施形態では、パノラマ画像に対してユーザにより指定された領域と表示パターンとを相互に対応付けて記憶する。パノラマ画像に対してユーザにより指定された領域を特定する。そして、特定した領域に対応する表示パターン１００１〜１００３を、元のタイムラインの内容や録画時間指定部９０４の少なくとも一部が視認可能になるように当該タイムライン上に重ねて表示する。図１０は、ユーザが指定したパノラマ画像上の座標の範囲８０１〜８０３の映像が保存されている期間が表示されたタイムライン１０００の一例を示す図である。
【００５０】
図１０に示す表示パターン１００１〜１００３はそれぞれ、パノラマ画像上の座標の範囲８０１〜８０３に対応する表示パターンを表す。このようなタイムライン１０００を表示する画面を提示することによってユーザは、例えば、パノラマ画像の座標の範囲８０１を録画した映像が、タイムライン１０００上に表示されている表示パターン１００１で示される期間に存在すると判断することができる。よって、ユーザは、所望する領域が映し出されている画像を直感的に特定することができる。
【００５１】
本実施形態では、連続する複数のフレームの画像（録画映像）のタイムラインを、画像を選択するためのオブジェクトの一例として表示する場合を例に挙げて説明した。しかし、必ずしも、連続する複数のフレームの画像を表示の対象にする必要も、タイムラインを表示する必要もない。例えば、複数の画像のそれぞれのサムネイル画像を、当該複数の画像の何れかを選択するオブジェクトの一例として表示してもよい。複数の画像は、動画像の各フレームの画像でも静止画像でもよい。この場合、例えば、サムネイル画像に対応する画像にユーザが指定した領域が映し出されている場合、当該領域に応じた表示パターンを、当該サムネイル画像に重ねて表示することができる。そして、複数のサムネイル画像からユーザにより選択された画像を拡大して表示する。このとき、複数のサムネイル画像の１つのみを選択できるようにしても、少なくとも２つを同時に選択できるようにしてもよい。
【００５２】
また、本実施形態では、タイムライン上に表示パターンを重ね合わせる場合を例に挙げて説明した。しかし、必ずしも、タイムライン上に表示パターンを重ね合わせる必要はない。例えば、パノラマ画像上の座標の範囲７０１〜７０３と、当該範囲の録画期間とを示す文字列を表示パターンとして表示する場合には、当該文字列をタイムラインの外（例えば下）に表示してもよい。
【００５３】
（第２の実施形態）
次に、第２の実施形態を説明する。前述したように本実施形態では、撮像方向および撮像範囲をプリセット情報として保存することが可能な撮像装置を用いる場合について説明する。即ち、このような撮像装置において、ユーザがプリセット番号を指定し、指定したプリセット番号に対応する撮像方向および撮像範囲で撮像された映像が録画されている期間を撮像装置の録画映像のタイムライン上に表示する方法の一例について説明する。このように本実施形態と第１の実施形態は、パノラマ画像上の座標の範囲を指定する方法が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図１０に付した符号と同一の符号を付す等して詳細な説明を省略する。例えば、本実施形態における撮像表示システム、撮像装置１１０、およびクライアント装置１２０の構成を示す図（図１〜図３）は、第１の実施形態と同様なため、その詳細な説明を省略する。また、本実施形態において、撮像装置１１０が設置されている空間、場所、およびパン、チルト方向の駆動範囲は、第１の実施形態と同様とする。
【００５４】
まず、図１１のフローチャートを参照しながら、クライアント装置１２０の処理の一例を説明する。ここでは、クライアント装置１２０が、ユーザが指定したプリセット番号に基づいて撮像装置１１０の撮像方向を計算し、計算した撮像方向の映像が録画されている期間を録画映像のタイムライン上に表示する方法の一例を説明する。図１１のフローチャートによる処理は、例えば、ＣＰＵ３０１がＲＯＭ３０３あるいはＨＤＤ３０５に記憶されたプログラムを、ＲＡＭ３０２を用いて実行することにより実現される。
【００５５】
まず、入力情報取得部１２４は、ユーザによるプリセット番号の指定を受け付ける（Ｓ１１００）。通信制御部１２３は、制御部１２２による制御に従って、撮像装置１１０に対し、受け付けたプリセット番号に対応するプリセット情報を要求する。情報保持部１１４は、撮像装置１１０の撮像方向および撮像範囲を含むプリセット情報を、設定情報の一例として保存する。通信制御部１１５は、クライアント装置１２０から指示を受け、情報保持部１１４に保存されている、録画映像（パノラマ画像）の各フレームの情報と、プリセット情報とを取り出し、クライアント装置１２０へ送信する。このように本実施形態では、クライアント装置１２０はユーザが指定したプリセット番号に対応するプリセット情報を撮像装置１１０から受信する場合を例に挙げて説明する。しかし、プリセット情報を取得する方法は、この限りではない。プリセット情報をクライアント装置１２０に保存していても良い。
【００５６】
次に、表示制御部１２５は、Ｓ１１００で受け付けられたプリセット番号に対応するプリセット情報（撮像方向および撮像範囲）を撮像装置１１０に適用した際に映し出される範囲をパノラマ画像上に表示する（Ｓ１１０１）。本実施形態では、制御部１２２は、プリセット情報内に保存されている撮像方向（パンおよびチルトの値）を、式（１）および式（２）を用いてパノラマ画像上の座標（ｘ、ｙ）へ変換する。その後、制御部１２２は、プリセット情報内に保存されている撮像範囲の情報を取り出し、以下の式（３）および式（４）を用いてパノラマ画像上の範囲の幅と高さを決定する。本実施形態では、以上のようにして、プリセット番号に対応する領域の位置と大きさとが特定される。
【００５７】
【数２】
2017103652.tif 000004
【００５８】
式（３）および式（４）中のＷは、パノラマ画像６００の幅を表す。また、Ｐｍａｘ、Ｐｍｉｎはそれぞれ、撮像装置１１０のパン方向の駆動範囲の最大値、最小値を表す。また、Ｒは、撮像画像の縦横比を表す。ｚｏｏｍは、撮像装置１１０におけるズーム倍率である。
表示制御部１２５は、座標（ｘ、ｙ）を中心に、幅をｗｉｄｔｈ、高さをｈｅｉｇｈｔとした矩形をパノラマ画像６００上に描画して表示装置１４０に表示させる。
【００５９】
次に、制御部１２２は、Ｓ１１０１で表示した矩形内の座標集合に表示パターンを割り当てる。そして、表示制御部１２５は、制御部１２２により割り当てられた表示パターンをパノラマ画像６００上の各範囲に描画して表示装置１４０に表示させる（Ｓ１１０２）。本実施形態においても、第１の実施形態と同様に、矩形に存在する座標を集合で管理し、図７に示すように、パノラマ画像６００上の座標の範囲と、パノラマ画像６００上の各範囲に表示する表示パターンとの関係を作成する。このようにすることにより、パノラマ画像６００上の範囲と、パノラマ画像６００上の各範囲に表示する表示パターンとを相互に対応付けることができる。
【００６０】
次に、制御部１２２は、タイムライン上に表示パターンを表示するための処理を行う（Ｓ１１０３〜Ｓ１１０８）。本実施形態では、第１の実施形態と同様に、録画映像のフレームに保存されている撮像方向が、パノラマ画像６００上表示されている範囲に含まれているかを比較する。即ち、Ｓ１１０３〜Ｓ１１０８の処理は、それぞれＳ４０２〜Ｓ４０７の処理により実現することができる。そのため、これらの処理の詳細な説明を省略する。
以上のようにしても第１の実施形態で説明した効果を奏する。また、本実施形態においても第１の実施形態で説明した変形例を採用することができる。
【００６１】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００６２】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００６３】
１１０：撮像装置、１２０：クライアント装置、１３０：入力装置、１４０：表示装置、１５０：ネットワーク
【図１】
2017103652.tif 000005
【図２】
2017103652.tif 000006
【図３】
2017103652.tif 000007
【図４】
2017103652.tif 000008
【図５】
2017103652.tif 000009
【図６】
2017103652.tif 000010
【図７】
2017103652.tif 000011
【図８】
2017103652.tif 000012
【図９】
2017103652.tif 000013
【図１０】
2017103652.tif 000014
【図１１】
2017103652.tif 000015