(57)【要約】【課題】過去の画像の確認を容易にすること。【解決手段】現在の画像及び過去の画像を並行して表示し、過去の画像と過去の画像中の地点の位置を算出するために必要となる演算情報とを対応付けて記録し、ユーザーによって指定された過去の時点の画像を表示するのと同期してこの画像中の代表地点の位置を算出して出力し、過去の時点の画像において任意の地点又は任意の領域が指定された場合は指定された地点又は領域の位置を、表示と同期して出力された代表地点の位置に基づいて算出する。【選択図】図１
2011091683.tif 000002
【特許請求の範囲】
【請求項１】
第一表示領域及び第二表示領域を有し、前記第一表示領域及び前記第二表示領域における表示を並行して行う表示装置と、
撮像装置によって撮像された画像と、撮像された画像中の地点の位置を算出するために必要となる演算情報とを、それぞれが取得されたタイミングに対応付けて記憶する記憶部と、
前記撮像装置によって撮像された画像を前記表示装置の前記第一表示領域に表示させると共に、当該画像と前記演算情報とを対応付けて前記記憶装置に記録する現在画像処理部と、
ユーザーによって指定された過去の時点の画像を前記表示装置の第二表示領域に表示させる過去画像表示部と、
前記過去画像表示部によって前記第二表示領域に表示される画像中の代表地点の位置を、前記第二表示領域に表示される画像と対応付けて前記記憶部に記憶されている演算情報に基づいて算出し、前記第二表示領域の表示と同期させて出力する過去画像位置算出部と、
前記第二表示領域に表示されている画像中の任意の地点又は任意の領域の指定をユーザーから受け付け、指定された地点又は領域の位置を、前記指定が受け付けられた際の前記第二表示領域の画像に同期させて前記過去画像位置算出部によって出力された前記代表地点の位置に基づいて算出する目標位置算出部と、
を備える表示システム。
【請求項２】
第一表示領域及び第二表示領域を有し、前記第一表示領域及び前記第二表示領域における表示を並行して行う表示装置と、撮像装置によって撮像された画像と、撮像された画像中の地点の位置を算出するために必要となる演算情報とを、それぞれが取得されたタイミングに対応付けて記憶する記憶部と、を備える表示システムが、
前記撮像装置によって撮像された画像を前記表示装置の前記第一表示領域に表示させると共に、当該画像と前記演算情報とを対応付けて前記記憶装置に記録する現在画像処理ステップと、
ユーザーによって指定された過去の時点の画像を前記表示装置の第二表示領域に表示させる過去画像表示ステップと、
前記過去画像表示ステップにおいて前記第二表示領域に表示される画像中の代表地点の位置を、前記第二表示領域に表示される画像と対応付けて前記記憶部に記憶されている演算情報に基づいて算出し、前記第二表示領域の表示と同期させて出力する過去画像位置算出ステップと、
前記第二表示領域に表示されている画像中の任意の地点又は任意の領域の指定をユーザーから受け付け、指定された地点又は領域の位置を、前記指定が受け付けられた際の前記第二表示領域の画像に同期させて前記過去画像位置算出ステップにおいて出力された前記代表地点の位置に基づいて算出する目標位置算出ステップと、
を備える表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現在の画像や過去の画像を表示する技術に関する。
【背景技術】
【０００２】
従来、カメラによって対象物や対象エリアを撮像し、撮像された画像をリアルタイムに表示することによって、監視や観測を行う技術が提案されている（特許文献１参照）。このような技術では、原則的には撮像した画像をすぐに表示し（以下、このような表示を「リアルタイム表示」という。）、この処理と並行してストレージに対する画像の記録を行っていた。そのため、過去に撮像された画像を確認する必要がある場合には、表示をリアルタイム表示から過去の画像の表示（以下、このような表示を「フォロー表示」という。）に切り換えて確認していた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−０７８７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、フォロー表示を行う際にはリアルタイム表示が行われないため、フォロー表示を確認している間はリアルタイム表示による監視や観測がおろそかになってしまうという問題があった。また、フォロー表示とリアルタイム表示とを見比べることが難しいという問題もあった。
【０００５】
上記事情に鑑み、本発明は、過去の画像の確認を容易にする表示システム、表示方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一態様は、表示システムであって、第一表示領域及び第二表示領域を有し、前記第一表示領域及び前記第二表示領域における表示を並行して行う表示装置と、撮像装置によって撮像された画像と、撮像された画像中の地点の位置を算出するために必要となる演算情報とを、それぞれが取得されたタイミングに対応付けて記憶する記憶部と、前記撮像装置によって撮像された画像を前記表示装置の前記第一表示領域に表示させると共に、当該画像と前記演算情報とを対応付けて前記記憶装置に記録する現在画像処理部と、ユーザーによって指定された過去の時点の画像を前記表示装置の第二表示領域に表示させる過去画像表示部と、前記過去画像表示部によって前記第二表示領域に表示される画像中の代表地点の位置を、前記第二表示領域に表示される画像と対応付けて前記記憶部に記憶されている演算情報に基づいて算出し、前記第二表示領域の表示と同期させて出力する過去画像位置算出部と、前記第二表示領域に表示されている画像中の任意の地点又は任意の領域の指定をユーザーから受け付け、指定された地点又は領域の位置を、前記指定が受け付けられた際の前記第二表示領域の画像に同期させて前記過去画像位置算出部によって出力された前記代表地点の位置に基づいて算出する目標位置算出部と、を備える。
【０００７】
本発明の一態様は、表示方法であって、第一表示領域及び第二表示領域を有し、前記第一表示領域及び前記第二表示領域における表示を並行して行う表示装置と、撮像装置によって撮像された画像と、撮像された画像中の地点の位置を算出するために必要となる演算情報とを、それぞれが取得されたタイミングに対応付けて記憶する記憶部と、を備える表示システムが、前記撮像装置によって撮像された画像を前記表示装置の前記第一表示領域に表示させると共に、当該画像と前記演算情報とを対応付けて前記記憶装置に記録する現在画像処理ステップと、ユーザーによって指定された過去の時点の画像を前記表示装置の第二表示領域に表示させる過去画像表示ステップと、前記過去画像表示ステップにおいて前記第二表示領域に表示される画像中の代表地点の位置を、前記第二表示領域に表示される画像と対応付けて前記記憶部に記憶されている演算情報に基づいて算出し、前記第二表示領域の表示と同期させて出力する過去画像位置算出ステップと、前記第二表示領域に表示されている画像中の任意の地点又は任意の領域の指定をユーザーから受け付け、指定された地点又は領域の位置を、前記指定が受け付けられた際の前記第二表示領域の画像に同期させて前記過去画像位置算出ステップにおいて出力された前記代表地点の位置に基づいて算出する目標位置算出ステップと、を備える。
【発明の効果】
【０００８】
本発明により、過去の画像の確認が容易となる。
【図面の簡単な説明】
【０００９】
【図１】表示システムのシステム構成図である。
【図２】表示装置の表示内容の概略を示す図である。
【図３】記憶装置の記憶内容の一態様を示す図である。
【図４】表示システムの動作の流れを表すフローチャートである。
【発明を実施するための形態】
【００１０】
図１は、表示システム１のシステム構成図である。表示システム１は、撮像装置によって撮像された画像と、撮像された対象物又は対象領域に関する情報とに基づいて処理を行うシステムである。例えば、表示システム１は、撮像装置によって地上を撮像する航空機に搭載され、撮像された対象物の位置を検出するシステムとして実装される。以下、表示システム１が上記のように実装された場合を具体例として、表示システム１の構成及び動作について説明する。
【００１１】
表示システム１は、撮像装置１１、リアルタイム処理装置１２、記憶装置１３、フォロー再生装置１４、データ処理装置１５、目標標定装置１６、表示装置１７を備える。リアルタイム処理装置１２、フォロー再生装置１４、データ処理装置１５、目標標定装置１６は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などをそれぞれ備え、メモリに記憶されたプログラムを実行することによって動作する。なお、上述した各装置の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）等のハードウェアを用いて実現されても良い。また、上述した各装置の全て又は一部は、一つの装置として一体化して構成されても良い。以下、上述した各装置について説明する。
【００１２】
撮像装置１１は、撮像素子としてＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）が用いられたデジタルカメラによって構成される。撮像装置１１は、撮像対象となっている物や、撮像対象となっている領域を撮像し画像の信号を生成する。
【００１３】
また、撮像装置１１は、撮像によって生成された画像信号に対してタイムスタンプ情報を付加し、リアルタイム処理装置１２へ出力する。タイムスタンプ情報とは、撮像された画像の撮像日時や時刻を示す情報である。画像に対してタイムスタンプ情報を付加する処理は既存の技術により実現される。
【００１４】
また、撮像装置１１は、視線方向（指向方向）を変更可能に設計された場合には、視線方向表す信号をリアルタイム処理装置１２に常時又は撮像の度に出力する。また、撮像装置１１は、画角を変更可能に設計された場合には、画角を表す信号をリアルタイム処理装置１２に常時又は撮像の度に出力する。また、撮像装置１１は、撮像画像のピクセル数を変更可能に設計された場合には、ピクセル数を表す信号をリアルタイム処理装置１２に常時又は撮像の度に出力する。撮像装置１１は、その他撮像に関するパラメータ情報をリアルタイム処理装置１２に出力する。なお、上記各パラメータ情報（視線方向、画角、ピクセル数等）のうち変更可能に設計されておらず固定値であるものについては、リアルタイム処理装置１２が予め記憶しているように設計されても良い。
【００１５】
リアルタイム処理装置１２は、撮像装置１１から出力された画像信号を表示装置１７のリアルタイム表示領域に順次表示する。そのため、撮像装置１１によって撮像された画像が表示装置１７のリアルタイム表示領域に表示されるまでの時間は非常に短く、リアルタイム表示領域にはいわゆるリアルタイム処理による表示が行われる。また、リアルタイム処理装置１２は、撮像装置１１から出力された画像信号を、記録用のフォーマット（例えばモーションＪＰＥＧ（Joint Photographic Experts Group）や、ＭＰＥＧ４や、ＡＶＩ（Audio Video Interleave）フォーマット）のデータに変換し、記憶装置１３に順次記録する。
【００１６】
また、リアルタイム処理装置１２は、表示システム１が搭載された航空機から、現在飛行中の位置情報（例えば緯度、経度、高度）及び状態情報（例えばロール角、ピッチ角、ヨー角）を取得する。また、リアルタイム処理装置１２は、撮像装置１１から、視線方向、画角、ピクセル数等の撮像に関するパラメータ情報を取得する。以下、上記各情報をまとめて「演算情報」という。リアルタイム処理装置１２は、取得された演算情報と画像データとを記憶装置１３に記録する。このとき、リアルタイム処理装置１２は、画像データ及び演算情報を、それぞれ撮像されたタイミング及び演算情報が取得されたタイミングが一致するように対応付けて記憶装置１３に記録する。
【００１７】
また、リアルタイム処理装置１２は、演算情報に基づいて、撮像された画像の四隅（右上、右下、左上、左下）に撮像されている地点の緯度及び経度（以下、「撮像地点情報」という。）を算出する。そして、リアルタイム処理装置１２は、算出された撮像地点情報を目標標定装置１６へ出力する。このとき、リアルタイム処理装置１２は、リアルタイム表示領域に表示する画像と、目標標定装置１６に出力する撮像地点情報との同期をとる。すなわち、リアルタイム処理装置１２は、リアルタイム表示領域に表示されている画像の撮像地点情報を目標標定装置１６に出力する。なお、同期方法は既存のどのような技術が適用されても良い。例えば、同期信号を用いる方法であっても良いし、インデックスやタイムスタンプを付加する方法であっても良い。
【００１８】
また、リアルタイム処理装置１２は、ポインティングデバイスを備え、ユーザーがポインティングデバイスを用いてリアルタイム表示領域において指示した画像上の点又は領域の座標（ｘ座標及びｙ座標）の値を目標標定装置１６に出力する。
【００１９】
記憶装置１３は、磁気記憶装置や半導体記憶装置などの記憶装置を用いて構成され、リアルタイム処理装置１２によって生成された画像データ及び演算情報を、それぞれ撮像されたタイミング及び演算情報が取得されたタイミングが一致するように対応付けて記憶する。なお、このタイミングの調節は、例えばリアルタイム処理装置１２によって実現される。
【００２０】
フォロー再生装置１４は、キーボードやボタン等の入出力装置を備え、ユーザーから戻り時間の入力を受け付ける。フォロー再生装置１４は、戻り時間の入力を受け付けると、戻り時間分だけ過去に撮像された画像をデータ処理装置１５に要求し、対象となる画像をデータ処理装置１５から受信し、受信した画像を表示装置１７のフォロー表示領域に当該画像を表示させる。フォロー表示領域については後述する。
【００２１】
このとき、フォロー再生装置１４は、リアルタイム表示領域に表示されている画像から戻り時間分遅れた画像を継続的に更新して表示するように構成されても良い。この場合、フォロー再生装置１４は、リアルタイム表示領域に表示される画像が更新されると、フォロー再生表示領域に表示される画像を、リアルタイム表示領域の更新後の画像から戻り時間分遅れた画像に更新する。また、フォロー再生装置１４は、リアルタイム表示領域の画像が更新されてもフォロー表示領域の画像を更新しないように構成されても良い。また、フォロー再生装置１４は、ユーザーの指示に応じて、フォロー表示領域の画像の更新タイミングをリアルタイム表示領域の更新のタイミングとずらして更新するように構成されても良い。この場合、フォロー表示領域には、スロー再生された動画像や早送り再生された動画像が表示される。また、フォロー再生装置１４は、ユーザーの指示に応じて、フォロー表示領域の画像の更新を過去に遡って行うように構成されても良い。この場合、フォロー表示領域には、巻き戻し再生された動画像が表示される。
【００２２】
また、フォロー再生装置１４は、ポインティングデバイスを備え、ユーザーがポインティングデバイスを用いてフォロー表示領域において指示した画像上の点又は領域の座標（ｘ座標及びｙ座標）の値を目標標定装置１６に出力する。
【００２３】
データ処理装置１５は、フォロー再生装置１４から要求された画像を記憶装置１３から読み出し、フォロー再生装置１４へ出力する。また、データ処理装置１５は、フォロー再生装置１４から要求された画像に対応付けて記憶されている演算情報を記憶装置１３から読み出し、読み出された演算情報に基づいて、フォロー表示領域に表示されている画像の撮像地点情報を算出する。そして、データ処理装置１５は、算出された撮像地点情報を目標標定装置１６へ出力する。このとき、データ処理装置１５は、フォロー再生装置１４によってフォロー表示領域に表示する画像と、目標標定装置１６に出力する撮像地点情報との同期をとる。すなわち、データ処理装置１５は、フォロー表示領域に表示されている画像の撮像地点情報を目標標定装置１６に出力する。なお、同期方法は既存のどのような技術が適用されても良い。例えば、同期信号を用いる方法であっても良いし、インデックスやタイムスタンプを付加する方法であっても良い。
【００２４】
目標標定装置１６は、リアルタイム表示領域又はフォロー表示領域において指示された画像上の点又は領域に撮像されている地点の緯度及び経度を、指示された画像上の座標及び撮像地点情報に基づいて算出する。そして、算出された緯度及び経度を目標地点の位置情報として設定する。設定された目標地点の位置情報は、既存のどのようなシステムに用いられても良い。例えば、設定された目標地点の位置情報は、その画像のタイムスタンプと対応付けて履歴として蓄積されても良いし、監視対象の地点の位置情報として他のシステムに送信されても良い。
【００２５】
表示装置１７は、ＣＲＴ（Cathode Ray Tube）ディスプレイや有機ＥＬ（Organic Electro Luminescence）ディスプレイ等の表示装置を用いて構成される。図２は、表示装置１７の表示内容の概略を示す図である。表示装置１は、表示画面１７０を備え、表示画面１７０内にリアルタイム表示領域１７１及びフォロー表示領域１７２を有する。表示装置１７は、リアルタイム表示領域１７１には、リアルタイム処理装置１２から出力される画像信号に基づいた表示を行う。一方、表示装置１７は、フォロー表示領域１７２には、フォロー再生装置１４から出力される画像信号に基づいた表示を行う。
【００２６】
図３は、記憶装置１３の記憶内容の一態様を示す図である。同期方法としてタイムスタンプの付加が採用された場合、記憶装置１３は各時点のタイムスタンプに対応付けて、その時点の演算情報及び画像データを対応付けて記憶する。例えば、図３では演算情報Ｒ１とタイムスタンプＴ１とが対応付けて記憶される。この場合、タイムスタンプＴ１に対応する画像データＤ１がフォロー再生装置１４によって再生される際に、データ処理装置１５が演算情報Ｒ１に基づいて撮像地点情報を算出して目標標定装置１６に出力することによって同期が実現される。
【００２７】
図４は、表示システム１の動作の流れを表すフローチャートである。以下、図４を用いて表示システム１の動作の流れについて説明する。なお、以下の説明では、タイムスタンプを用いて同期をとる場合の例について説明する。まず、ユーザーがフォロー再生装置１４に設けられた入出力装置を用いて戻り時間Δｔを入力すると、フォロー再生装置１４がこの入力を受け付ける（ステップＳ１０１）。
【００２８】
フォロー再生装置１４は、現在のタイムスタンプ（ＨＨ：ＭＭ：ＳＳ．ＳＳＳＳ）から、Δｔ（秒）前のフォロータイムスタンプ（ｈｈ：ｍｍ：ｓｓ．ｓｓｓｓ）を算出する（ステップＳ１０２）。具体的には、（ｈｈ：ｍｍ：ｓｓ．ｓｓｓｓ）＝（ＨＨ：ＭＭ：ＳＳ．ＳＳＳＳ）−Δｔである。次に、フォロー再生装置１４は、フォロータイムスタンプ（ｈｈ：ｍｍ：ｓｓ．ｓｓｓｓ）の画像出力要求をデータ処理装置１５へ出力する（ステップＳ１０３）。
【００２９】
次に、データ処理装置１５がフォロータイムスタンプ（ｈｈ：ｍｍ：ｓｓ．ｓｓｓｓ）の画像出力要求を受信し、フォロータイムスタンプに対応する画像データ及び演算情報を記憶装置１３から読み出す。次に、データ処理装置１５が、読み出した画像データをフォロー再生装置１４へ出力する。そして、フォロー再生装置１４が、画像データを伸張し表示部１７へ出力する（ステップＳ１０４）。表示装置１７は、フォロー再生装置１４から出力された画像（フォロー画像）をフォロー表示領域１７２に表示する（ステップＳ１０５）。このとき、データ処理装置１５は、上述したようにフォロー表示領域１７２に表示される画像と同期させて撮像地点情報を目標標定装置１６に出力する。また、このような処理と並行してリアルタイム処理装置１２は画像データ及び演算情報の記録と、リアルタイム表示領域１７１への表示を順次行っている。そのため、リアルタイム表示領域１７１には、リアルタイム処理装置１２から出力された画像が順次表示されている。
【００３０】
ユーザーがフォロー再生装置１４のポインティングデバイスを操作してフォロー表示領域１７２において画像上の点又は領域を指示すると（ステップＳ１０６−ＹＥＳ）、フォロー再生装置１４は、指示された点又は領域を表す画像上の座標値を目標標定装置１６に出力する（ステップＳ１０７）。この場合、目標標定装置１６は、フォロー表示領域において指示された画像上の座標に撮像されている地点の緯度及び経度を、指示された画像上の座標及びデータ処理装置１５から同期して出力された撮像地点情報に基づいて算出する（ステップＳ１０８）。
【００３１】
なお、図４では、フォロー表示領域に表示される画像及びこれに対応する演算情報に関する処理について説明したが、図４と並行して、リアルタイム処理装置１２による処理も実行される。
【００３２】
このように構成された表示システム１では、表示装置１７の表示画面１７０にリアルタイム表示領域１７１及びフォロー表示領域１７２が構成され、撮像装置１１によって撮像されたばかりの画像（現在の画像）がリアルタイム表示領域１７１に表示されるとともに、過去に撮像された画像（過去の画像）がフォロー表示領域１７２に表示される。フォロー表示領域１７２に表示される過去の画像については、どれだけ過去に遡った画像を表示するかユーザーが指定することができる。そのため、ユーザーは、例えば見逃したとおもわれる任意の過去の画像と現在の画像とを並行して確認することが可能となり、過去の画像の確認が容易となる。また、現在の画像の監視を継続したままで任意の過去の画像を確認することが可能となる。
【００３３】
また、フォロー再生装置１４によって表示される過去の画像と、データ処理装置１５によって目標標定装置１６に出力される撮像地点情報とが同期しているため、ユーザーはフォロー表示領域１７２に表示される任意の過去の画像において画像上の地点又は領域を指定することによって、容易に目標地点の位置情報を設定することができる。
【００３４】
＜変形例＞
上述した表示システム１では、タイムスタンプ情報が撮像装置１１によって画像に付加されているが、この処理はリアルタイム処理装置１２によって行われても良い。
上述した表示システム１では、リアルタイム処理装置１２及びフォロー再生装置１４のそれぞれがポインティングデバイスを備えるが、リアルタイム処理装置１２及びフォロー再生装置１４は共通のポインティングデバイスを備えるように構成されても良い。また、ユーザーがリアルタイム表示領域１７１又はフォロー表示領域１７２において任意の点又は座標を指定することが可能であれば、ポインティングデバイスに限らず他の入力装置が用いられても良い。
【００３５】
上述した表示システム１は、航空機に搭載されるシステムのみならず、他のシステムとして用いられても良い。例えば、車両に搭載されるシステムとして用いられても良い。この場合、撮像装置１１は、車両の前方を撮像するように設置される。リアルタイム処理装置１２には、演算情報としてＧＰＳ（Global Positioning System）によって得られる車両の現在位置、進行方向、進行速度等が入力される。
【００３６】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００３７】
１…表示システム，  １１…撮像装置，  １２…リアルタイム処理装置（現在画像処理部），  １３…記憶装置（記憶部），  １４…フォロー再生装置（過去画像表示部），  １５…データ処理装置（過去画像位置算出部），  １６…目標標定装置（目標位置算出部），  １７…表示装置，  １７１…リアルタイム表示領域，  １７２フォロー表示領域
【図１】
2011091683.tif 000003
【図２】
2011091683.tif 000004
【図３】
2011091683.tif 000005
【図４】
2011091683.tif 000006