(57)【要約】【課題】同期を取るための特別な情報の無線通信を行うことなく複数の撮像装置間の撮像タイミングと無線送信タイミングを調整する。【解決手段】撮像制御回路8は、他の撮像装置における撮像タイミングと、他の撮像装置における圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データを記憶している。撮像制御回路8は、時間関係データと、自装置で無線受信された、他の撮像装置からの圧縮画像データの受信タイミングとに基づいて、他の撮像装置の撮像タイミングに合わせるよう撮像ユニット4の撮像タイミングを調整し、他の撮像装置の無線送信タイミングと異なるよう自装置の無線送信タイミングを調整する。【選択図】図2
2014078793.tif 000002
【特許請求の範囲】
【請求項１】
所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成し前記撮像データに対応する圧縮画像データを無線送信する複数の撮像装置と、無線送信された前記圧縮画像データを無線受信し、前記圧縮画像データに基づく画像を表示する表示装置と、を有する撮像表示システムであって、
複数の前記撮像装置のうち1つの撮像装置を基準撮像装置と定義するとき、
前記基準撮像装置は、
所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成して出力する撮像部と、
前記撮像部から出力される前記撮像データから前記圧縮画像データを生成するデータ処理部と、
前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信する第1の無線通信部と、
を有し、
前記基準撮像装置以外の前記撮像装置は、
前記撮像部と、前記データ処理部と、前記第1の無線通信部と、を有し、
前記第1の無線通信部はさらに、前記基準撮像装置から無線送信された前記圧縮画像データを無線受信し、
更に、
前記基準撮像装置における撮像タイミングと、前記基準撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データを記憶し、前記時間関係データと、前記第1の無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記基準撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記基準撮像装置の無線送信タイミングと異なるよう前記第1の無線通信部の無線送信タイミングを調整する制御部と、
を有し、
前記表示装置は、
前記撮像装置から無線送信された前記圧縮画像データを無線受信する第2の無線通信部と、
前記第2の無線通信部で無線受信された前記圧縮画像データに基づく画像を所定の表示周期で表示する表示部と、
を有する撮像表示システム。
【請求項２】
前記基準撮像装置の前記第1の無線通信部は、1回の撮像に対応する前記撮像データが前記表示装置で無線受信されたことを示す受信完了データを前記表示装置から無線受信し、
前記基準撮像装置の前記撮像部は、1回の撮像を行った後、前記第1の無線通信部で前記受信完了データが受信された場合、次の撮像を行い、
前記表示装置は、前記基準撮像装置の前記撮像部の1回の撮像に対応する前記撮像データが前記表示部で表示される表示タイミングと、前記第2の無線通信部で無線受信される前記撮像データの受信タイミングとに基づいて前記基準撮像装置の前記撮像部の撮像タイミングの調整時間を算出する算出部を更に有し、前記第2の無線通信部は、算出された前記調整時間に応じたタイミングで前記受信完了データを前記基準撮像装置に無線送信する請求項１に記載の撮像表示システム。
【請求項３】
前記表示装置の前記第2の無線通信部は、前記受信完了データとして、前記基準撮像装置の前記撮像部の1回の撮像に対応する前記撮像データを複数に分割した分割撮像データを含む無線パケットのうち前記基準撮像装置から最後に無線送信された無線パケットを正常に受信したことを示すデータを前記基準撮像装置に無線送信する請求項２に記載の撮像表示システム。
【請求項４】
前記表示装置の前記第2の無線通信部は、前記受信完了データとしてACKデータを前記基準撮像装置に無線送信する請求項３に記載の撮像表示システム。
【請求項５】
前記表示装置の前記第2の無線通信部は、前記基準撮像装置から最後に無線送信された無線パケットを正常に無線受信した後、前記ACKデータを無線送信するまでの間、前記基準撮像装置から再送された前記無線パケットを受信する毎にNACデータを前記基準撮像装置に無線送信する請求項４に記載の撮像表示システム。
【請求項６】
前記基準撮像装置以外の前記撮像装置の前記第1の無線通信部は、前記撮像データを前記基準撮像装置に無線送信し、
前記基準撮像装置は、前記撮像部から出力された前記撮像データと、前記第1の無線通信部で無線受信された前記撮像データとを合成する画像合成部を更に有し、
前記基準撮像装置の前記第1の無線通信部は、前記基準撮像装置以外の前記撮像装置から無線送信された前記撮像データを無線受信し、前記画像合成部で合成された前記撮像データを前記表示装置に無線送信する請求項１に記載の撮像表示システム。
【請求項７】
前記基準撮像装置の前記画像合成部は、前記撮像部から出力された前記撮像データと、当該撮像データが生成された撮像周期と同一の期間内に前記第1の無線通信部で無線受信された前記撮像データとを合成する請求項６に記載の撮像表示システム。
【請求項８】
所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成して出力する撮像部と、
前記撮像部から出力される前記撮像データから圧縮画像データを生成するデータ処理部と、
前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信し、前記撮像部及び前記データ処理部を有する他の撮像装置から無線送信された前記圧縮画像データを無線受信する無線通信部と、
前記他の撮像装置における撮像タイミングと、前記他の撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データを記憶し、前記時間関係データと、前記無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記他の撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記他の撮像装置の無線送信タイミングと異なるよう前記無線通信部の無線送信タイミングを調整する制御部と、
を有する撮像装置。
【請求項９】
前記無線通信部は、前記他の撮像装置から前記圧縮画像データを無線受信して前記圧縮画像データに基づく画像を表示する表示装置に対して、前記データ処理部で生成された前記圧縮画像データを無線送信する請求項８に記載の撮像装置。
【請求項１０】
前記無線通信部は、前記他の撮像装置において前記圧縮画像データが無線送信された後であって次の撮像が行われるまでの間のタイミングに前記表示装置に対して、前記データ処理部で生成された前記圧縮画像データを無線送信する請求項９に記載の撮像装置。
【請求項１１】
前記無線通信部は、前記データ処理部で生成された前記圧縮画像データを前記他の撮像装置に無線送信する請求項８に記載の撮像装置。
【請求項１２】
前記無線通信部は、前記データ処理部で生成された前記圧縮画像データを、前記他の撮像装置において撮像が行われた後であって当該撮像に対応する前記圧縮画像データが無線送信されるまでの間のタイミングに前記他の撮像装置に無線送信する請求項１１に記載の撮像装置。
【請求項１３】
所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成して出力する撮像部と、
前記撮像部から出力される前記撮像データから前記圧縮画像データを生成するデータ処理部と、
前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信する無線通信部と、
前記撮像部及び前記データ処理部を制御する制御部と、
を有する撮像装置の前記制御部が、
前記基準撮像装置から無線送信された前記圧縮画像データを前記無線通信部に無線受信させるステップと、
前記他の撮像装置における撮像タイミングと、前記他の撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データと、前記無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記他の撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記他の撮像装置の無線送信タイミングと異なるよう前記無線通信部の無線送信タイミングを調整するステップと、
を有する撮像方法。
【請求項１４】
所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成して出力する撮像部と、
前記撮像部から出力される前記撮像データから前記圧縮画像データを生成するデータ処理部と、
前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信する無線通信部と、
前記撮像部及び前記データ処理部を制御する制御部と、
を有する撮像装置のコンピュータに、
前記基準撮像装置から無線送信された前記圧縮画像データを前記無線通信部に無線受信させるステップと、
前記他の撮像装置における撮像タイミングと、前記他の撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データと、前記無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記他の撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記他の撮像装置の無線送信タイミングと異なるよう前記無線通信部の無線送信タイミングを調整するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像データを無線送信する複数の撮像装置と、画像データを受信して画像を表示する少なくとも1台の表示装置とを有する撮像表示システムに関する。
【背景技術】
【０００２】
従来、複数の撮像装置を有するシステムにおいて、各撮像装置に対して有線で外部同期信号を供給することにより、各撮像装置の撮像タイミングを揃えることが行われてきた。例えば、TVスタジオにおける複数のカメラを同期させる技術がこれに相当する。
【０００３】
また、無線伝送を行う撮像装置の撮像タイミングを制御する方法として、例えば特許文献1には、同期を取るための情報を周期的に同報通信により各撮像装置に通知し、各撮像装置が、通知された情報に基づいて動作することによって撮像タイミングの制御を行うことが示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第4466502号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、表示装置の高画素化に伴い、複数の撮像装置からの画像を同一画面上に表示するマルチ画面表示や、複数の撮像装置からの画像を繋げて表示するパノラマ表示が行われている。例えば、非破壊検査等の作業現場では、複数の撮像装置で撮影された構造物の内部の画像を同一画面上に並べて表示することで、関連する検査箇所を同時に観察することが可能となっている。
【０００６】
複数の撮像装置間の撮像タイミングがずれていると、表示される画像に時間ずれが起こるので、各撮像装置の撮像タイミングが同期していることが求められている。従来技術を使用した場合、同期を取るための情報を周期的に表示装置から撮像装置に供給することが必要となり、同期を取るための表示装置と撮像装置の処理が煩雑になると共に、同期を取るための情報を無線通信することが必要となり、電波の利用効率が下がる。
【０００７】
本発明は、上述した課題に鑑みてなされたものであって、同期を取るための特別な情報の無線通信を行うことなく複数の撮像装置間の撮像タイミングと無線送信タイミングを調整することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記の課題を解決するためになされたもので、所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成し前記撮像データに対応する圧縮画像データを無線送信する複数の撮像装置と、無線送信された前記圧縮画像データを無線受信し、前記圧縮画像データに基づく画像を表示する表示装置と、を有する撮像表示システムであって、複数の前記撮像装置のうち1つの撮像装置を基準撮像装置と定義するとき、前記基準撮像装置は、所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成して出力する撮像部と、前記撮像部から出力される前記撮像データから前記圧縮画像データを生成するデータ処理部と、前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信する第1の無線通信部と、を有し、前記基準撮像装置以外の前記撮像装置は、前記撮像部と、前記データ処理部と、前記第1の無線通信部と、を有し、前記第1の無線通信部はさらに、前記基準撮像装置から無線送信された前記圧縮画像データを無線受信し、更に、前記基準撮像装置における撮像タイミングと、前記基準撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データを記憶し、前記時間関係データと、前記第1の無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記基準撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記基準撮像装置の無線送信タイミングと異なるよう前記第1の無線通信部の無線送信タイミングを調整する制御部と、を有し、前記表示装置は、前記撮像装置から無線送信された前記圧縮画像データを無線受信する第2の無線通信部と、前記第2の無線通信部で無線受信された前記圧縮画像データに基づく画像を所定の表示周期で表示する表示部と、を有する撮像表示システムである。
【０００９】
また、本発明は、所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成して出力する撮像部と、前記撮像部から出力される前記撮像データから圧縮画像データを生成するデータ処理部と、前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信し、前記撮像部及び前記データ処理部を有する他の撮像装置から無線送信された前記圧縮画像データを無線受信する無線通信部と、前記他の撮像装置における撮像タイミングと、前記他の撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データを記憶し、前記時間関係データと、前記無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記他の撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記他の撮像装置の無線送信タイミングと異なるよう前記無線通信部の無線送信タイミングを調整する制御部と、を有する撮像装置である。
【００１０】
また、本発明は、所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成して出力する撮像部と、前記撮像部から出力される前記撮像データから前記圧縮画像データを生成するデータ処理部と、前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信する無線通信部と、前記撮像部及び前記データ処理部を制御する制御部と、を有する撮像装置の前記制御部が、前記基準撮像装置から無線送信された前記圧縮画像データを前記無線通信部に無線受信させるステップと、前記他の撮像装置における撮像タイミングと、前記他の撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データと、前記無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記他の撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記他の撮像装置の無線送信タイミングと異なるよう前記無線通信部の無線送信タイミングを調整するステップと、を有する撮像方法である。
【００１１】
また、本発明は、所定の撮像周期で撮像を実施し、撮像が行われる毎に、撮像データを生成して出力する撮像部と、前記撮像部から出力される前記撮像データから前記圧縮画像データを生成するデータ処理部と、前記データ処理部で生成された前記圧縮画像データを所定の送信周期で無線送信する無線通信部と、前記撮像部及び前記データ処理部を制御する制御部と、を有する撮像装置のコンピュータに、前記基準撮像装置から無線送信された前記圧縮画像データを前記無線通信部に無線受信させるステップと、前記他の撮像装置における撮像タイミングと、前記他の撮像装置における前記圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データと、前記無線通信部で無線受信された前記圧縮画像データの受信タイミングとに基づいて、前記他の撮像装置の撮像タイミングに合わせるよう前記撮像部の撮像タイミングを調整し、前記他の撮像装置の無線送信タイミングと異なるよう前記無線通信部の無線送信タイミングを調整するステップと、を実行させるためのプログラムである。
【発明の効果】
【００１２】
本発明の撮像表示システムによれば、基準撮像装置以外の撮像装置において、基準撮像装置における撮像タイミングと、基準撮像装置における圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データと、第1の無線通信部で無線受信された圧縮画像データの受信タイミングとに基づいて、基準撮像装置の撮像タイミングに合わせるよう撮像部の撮像タイミングを調整し、基準撮像装置の無線送信タイミングと異なるよう第1の無線通信部の無線送信タイミングを調整することによって、同期を取るための特別な情報の無線通信を行うことなく複数の撮像装置間の撮像タイミングと無線送信タイミングを調整することができる。
【００１３】
本発明の撮像装置、撮像方法、及びプログラムによれば、撮像装置において、他の撮像装置における撮像タイミングと、他の撮像装置における圧縮画像データの無線送信タイミングとの時間的な関係を示す時間関係データと、無線通信部で無線受信された圧縮画像データの受信タイミングとに基づいて、他の撮像装置の撮像タイミングに合わせるよう撮像部の撮像タイミングを調整し、他の撮像装置の無線送信タイミングと異なるよう無線通信部の無線送信タイミングを調整することによって、同期を取るための特別な情報の無線通信を行うことなく複数の撮像装置間の撮像タイミングと無線送信タイミングを調整することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第1の実施形態による撮像表示システムの構成を示すブロック図である。
【図２】本発明の第1の実施形態による撮像表示システムが有する撮像装置の構成を示すブロック図である。
【図３】本発明の第1の実施形態による撮像表示システムが有する表示装置の構成を示すブロック図である。
【図４】本発明の第1の実施形態による撮像表示システムが有する撮像装置の動作を示すタイミングチャートである。
【図５】本発明の第1の実施形態による撮像表示システムが有する撮像装置の動作の手順を示すフローチャートである。
【図６】本発明の第1の実施形態による撮像表示システムが有する撮像装置の動作の手順を示すフローチャートである。
【図７】本発明の第1の実施形態による撮像表示システムが有する撮像装置の動作の手順を示すフローチャートである。
【図８】本発明の第1の実施形態による撮像表示システムが有する表示装置の動作の手順を示すフローチャートである。
【図９】本発明の第2の実施形態による撮像表示システムの構成を示すブロック図である。
【図１０】本発明の第2の実施形態による撮像表示システムが有する撮像装置の構成を示すブロック図である。
【図１１】本発明の第2の実施形態における表示遅延時間の調整に関する表示装置と撮像装置の動作を示すタイミングチャートである。
【図１２】本発明の第2の実施形態における画像合成に関する撮像装置の動作を示すタイミングチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照し、本発明の実施形態を説明する。
【００１６】
（第1の実施形態）
まず、本発明の第1の実施形態を説明する。本実施形態では、撮像した画像を無線通信で伝送する2台の撮像装置と、無線伝送された画像を受信して表示する1台の表示装置とで構成される撮像表示システムに本発明を適用した場合を例に説明する。
【００１７】
図１は、本実施形態による撮像表示システムの構成を示している。まず、図1を用いて、撮像表示システムの概要を説明する。図1に示す撮像表示システムは、2台の撮像装置(撮像装置1、撮像装置2)と1台の表示装置(表示装置3)で構成されている。
【００１８】
撮像装置では、撮像処理により得られた撮像データが圧縮処理され、所定のプロトコルに従って送信データに変換された後、送信データが無線送信される。無線送信された送信データは、表示装置3により無線受信され、受信データが伸張処理され、表示用データに変換された後、画像が表示される。
【００１９】
本実施形態においては、表示装置3は2台の撮像装置と接続され、接続相手から無線送信される送信データを無線受信し、受信した送信データから得られる2台の撮像装置からの撮像データに基づく画像を同一画面上に表示している。表示装置3と最初に接続した撮像装置が、撮像処理のタイミングを決定する"親"として動作し、後から表示装置3と接続する撮像装置は、撮像処理のタイミングを"親"に合わせる"子"として動作する。本実施形態の説明においては、撮像装置1を"親"、撮像装置2を"子"として説明する。
【００２０】
図2は、撮像装置1の構成を示している。撮像装置2の構成は撮像装置1の構成と同様であるので、代表して撮像装置1の構成を説明する。図2に示すように、撮像装置1は、撮像ユニット4、圧縮回路5、ベースバンド回路6、高周波回路7、撮像制御回路8、アンテナ9で構成されている。
【００２１】
撮像ユニット4は、所定の撮像周期で撮像処理を行って(撮像データを生成し、撮像データを出力する。撮像ユニット4からは、撮像周期毎に撮像データが出力される。圧縮回路5は、撮像ユニット4から出力された撮像データをJPEG圧縮し、圧縮画像データを生成する。ベースバンド回路6は、圧縮回路5から出力された圧縮画像データに対してベースバンド処理を行い、圧縮画像データを送信データに変換する。高周波回路7は、ベースバンド回路6から出力された送信データに高周波処理を行い、アンテナ9を介して送信データを送信する。アンテナ9は、無線により送信データを送信する。撮像装置1からは所定の送信周期で送信データが無線送信される。撮像制御回路8は、撮像ユニット4、圧縮回路5、ベースバンド回路6、高周波回路7の動作を制御する。
【００２２】
また、撮像制御回路8は、撮像制御回路8の動作を制御するためのプログラムや必要なデータを記憶する。撮像装置1の機能は、撮像制御回路8の動作を制御するためのプログラムを、撮像装置1のコンピュータである撮像制御回路8が読み込んで実行することにより、実現される。また、撮像制御回路8の動作を制御するためのプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。また、上述したプログラムは、このプログラムを記憶装置等に格納したコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により撮像装置1に伝送されることで撮像装置1に入力されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように、情報を伝送する機能を有する媒体のことをいう。また、上述したプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能を、コンピュータに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００２３】
図3は、表示装置3の構成を示している。図3に示すように、表示装置3は、アンテナ10、高周波回路11、ベースバンド回路12、伸張回路13、表示処理回路14、ディスプレーユニット15、表示制御回路16で構成されている。
【００２４】
アンテナ10は、撮像装置1及び撮像装置2から無線送信された送信データを受信する。高周波回路11は、アンテナ10を介して受信された送信データの周波数変換を行う。ベースバンド回路12は、高周波回路11から出力された送信データに対してベースバンド処理を行い、送信データから圧縮画像データを再構成する。伸張回路13は、ベースバンド回路12から出力された圧縮画像データを伸張し、撮像データを再構成する。表示処理回路14は、伸張回路13から出力された撮像データを、ディスプレーユニット15に画像を表示するための表示データに変換する。ディスプレーユニット15は、表示処理回路14から出力された表示データに基づく画像を表示する。表示制御回路16は、高周波回路11、ベースバンド回路12、伸張回路13、表示処理回路14、ディスプレーユニット15の動作を制御する。
【００２５】
次に、撮像装置1と撮像装置2の動作を説明する。図4は、撮像装置1と撮像装置2の動作を示している。図4の右方向が時間の進む方向である。以下では、撮像装置1と表示装置3が接続し、撮像装置1から撮像データの無線送信が行われている状態で、新たに撮像装置2が表示装置3に接続する場合に、撮像装置2が行う撮像タイミングと無線送信タイミングについて説明する。
【００２６】
まず、撮像装置1から撮像データの無線送信が行われている状態について説明する。撮像装置1の撮像動作は所定周期(T：16.67ms=1/60s)で行われる。図4のt1-t2、t8-t13、t19-t21、t27-t31は、撮像ユニット4が撮像処理を行っている期間を示している。図中の撮像処理の終了するタイミング(t2、t13、t21、t31)が所定の撮像周期の区切りとなるため、t2-t13、t13-t21、t21-t31の期間が所定の撮像周期となる。また、撮像処理を行っている期間の先頭のタイミング(t1、t8、t19、t27)は、撮像制御回路8により撮像ユニット4に設定される露光期間に応じて可変である。
【００２７】
撮像処理が終了すると、撮像データが圧縮回路5に送られ圧縮処理が行われる。圧縮処理に必要な時間は、撮像データの状況に応じて変化する。図中のt3-t4、t14-t15、t22-t23は、圧縮回路5が圧縮処理を行っている期間を示している。また、図4では圧縮処理が最長となった場合の時間を破線(t5、t16、t24)で示している。
【００２８】
圧縮処理後の圧縮画像データは、ベースバンド回路6に送られ、所定の通信プロトコルに応じてパケット化された後、無線送信される。図4において、無線送信が行われる期間は、t6-t7、t17-t18、t25-t26で示されている。無線送信の処理時間は通信路の状態に応じて変化するが、本実施形態においては、通信状態が悪化し、通信が終了しない場合でも、通信の開始から所定時間が経過したタイミングで通信が中止される。図4において、破線で示したタイミング(t10、t20、t28)が中止のタイミングである。通信が中止された場合、表示装置3は、通信が中止となったフレームのデータを破棄し、前回のフレームのデータに基づく画像の表示を継続することで、通信の中止に対応する。
【００２９】
t1-t2の期間("撮像1")の撮像処理で生成された撮像データがt3-t4の期間("圧縮1")で圧縮処理され、その圧縮処理により生成された圧縮画像データが送信データとしてt6-t7の期間("送信1")で無線送信される。以降、同様に、撮像処理("撮像2"、"撮像3"、"撮像4"、・・・)、圧縮処理("圧縮2"、"圧縮3"、"圧縮4"、・・・)、無線送信("送信2"、"送信3"、・・・)が周期的に繰り返される。
【００３０】
図示するように、撮像装置1からの無線送信は、圧縮処理が最長となった場合の時間を過ぎた時点(t6、t17、t25)から開始されている。これらのタイミングの制御は、撮像制御回路8が行っており、露光時間に応じて変化する撮像処理の先頭タイミング(t1、t8、t19、t27)以外は固定である。つまり、撮像装置1の送信開始のタイミング(t6)を検出することにより、撮像装置1の撮像処理の終了タイミング(t2、t13、t21、t31)と送信開始/終了のタイミング(t6-t10、t17-t20、t25-t28)を検出することが可能である。
【００３１】
次に、上記の撮像装置1が無線送信を行っている状態で、撮像装置2が表示装置3と接続して無線送信を行う場合の動作を説明する。撮像装置2は、表示装置3との接続を開始する前に、無線の受信処理を行って周囲の通信状態を確認する。本説明では、撮像装置1が無線送信を行っているため、撮像装置2は撮像装置1の無線送信(t6-t7)を確認する。撮像装置2は、上記の処理により撮像装置1の送信開始タイミング(t6)を検出することで、撮像装置1の撮像終了タイミング(t2等)と送信開始/終了タイミング(t6/t10等)を検出する。
【００３２】
具体的には、撮像装置2は、撮像装置1からの送信データを受信し、送信データに含まれる、撮像装置1を示す識別子(ID)を受信した時点を基準として、撮像装置1の撮像終了タイミング(t2)と送信開始/終了タイミング(t6/t10)を検出する。撮像装置2の撮像制御回路8は、予め撮像装置1を示す識別子を記憶しており、送信データ中の識別子と、記憶している撮像装置1の識別子とを比較し、両者が一致した場合に、撮像装置1を示す識別子を受信したと判断する。
【００３３】
送信データを構成するパケットの先頭にあるヘッダに識別子が含まれており、送信データ中の識別子の位置は固定である。また、撮像装置2の撮像制御回路8は、撮像装置1の撮像終了タイミング(t2)と送信開始/終了タイミング(t6/t10)とのそれぞれの時間的な関係(例えば、各タイミングの時間差)を示すデータ(時間関係データ)を予め記憶している。撮像装置2の撮像制御回路8は、撮像装置1を示す識別子を受信したタイミングから検出した撮像装置1の送信開始タイミング(t6)と、予め記憶しているデータとから、撮像装置1の撮像終了タイミング(t2)及び送信終了タイミング(t10)を検出する。尚、撮像装置1の撮像終了タイミング(t2)及び送信開始/終了タイミング(t6/t10)に対して周期(T)の整数倍の時間を加えたタイミングを算出することで、撮像装置1の撮像終了タイミング(t13、t21、t31)及び送信開始/終了タイミング(t17/t20、t25/t28)を検出することも可能である。
【００３４】
本実施形態では、撮像装置1を示す識別子(ID)の検出タイミングを使ったタイミングの検出方法を説明したが、タイミングの検出に用いるデータは、撮像装置2が検出可能なデータであって送信タイミングが既知であれば使用することが可能である。例えば、表示装置3を示す識別子でも、撮像データの先頭を示すマーカーでも可能である。
【００３５】
撮像装置2の撮像制御回路8は、検出した撮像装置1の撮像処理の終了タイミング(t2)に周期(T)の整数倍の時間を加えたタイミングで自装置の撮像処理が終了するように撮像処理の終了タイミング(t21、t31)を設定し、撮像装置1の送信終了(t10)を待って表示装置3との接続処理を開始(t11)する。これによって、撮像装置2の撮像処理は撮像装置1の撮像処理と同じタイミングで実施される。
【００３６】
また、撮像装置2の撮像制御回路8は、撮像処理の終了タイミングに合わせて圧縮処理の開始タイミング(t22等)を設定する。さらに、撮像装置2の撮像制御回路8は、撮像処理及び圧縮処理の終了後のタイミングであって、撮像装置1の送信終了タイミング(t28)の後のタイミングで表示装置3への無線送信が実施されるように、無線送信のタイミング(t29-t32)を設定する。これによって、撮像装置2の無線送信は撮像装置1の無線送信と異なるタイミングで実施される。
【００３７】
尚、撮像装置2による撮像装置1の動作タイミングの確認処理は、接続開始直後以外にも周期的に行われ、装置内クロックのバラつきによる撮像装置間の動作速度の微妙なずれが修正される。
【００３８】
図5、図6、図7は、撮像装置の動作を示している。図5は、"親"の撮像装置と"子"の撮像装置に共通の動作を示している。図6は"親"の撮像装置の動作を示し、図7は"子"の撮像装置の動作を示している。図8は、表示装置3の動作を示している。以下、図5〜図8を用いて撮像装置と表示装置の動作を説明する。
【００３９】
本実施形態における撮像装置1と撮像装置2は同じ機能を持つ装置であり、表示装置3との接続を先に行った装置が"親"の撮像装置となる。本説明では、撮像装置1と表示装置3の無線送信が行われている状態で撮像装置2の動作が開始される場合を例に説明する。この場合、撮像装置1が"親"となる。
【００４０】
図5に示すように、撮像装置1，2の撮像制御回路8は動作を開始(ステップS1)した直後、初期設定(ステップS2)を実行する。初期設定(ステップS2)は、装置の各種動作に関するレジスタ等の初期設置を行う処理である。
【００４１】
続いて、撮像制御回路8は、通信状況確認(ステップS3)を実行する。通信状況確認(ステップS3)は、アンテナ9、高周波回路7、ベースバンド回路6を制御して装置周辺の電波状況を監視し、他の撮像装置が表示装置と通信を行っているか否かを調査する処理である。
【００４２】
他の撮像装置が表示装置と通信を行っていない場合、撮像制御回路8は"通信無"と判定し、親機設定(ステップS4)を実行する。親機設定(ステップS4)は、撮像装置を親機として動作させるための設定を行う処理である。以後、撮像装置は、"親"の撮像装置としての動作を開始(ステップS100)する。他の撮像装置が表示装置と通信を行っている場合、撮像制御回路8は"通信有"と判定し、子機設定(ステップS13)を実行する。子機設定(ステップS13)は、撮像装置を子機として動作させるための設定を行う処理である。以後、撮像装置は、"子"の撮像装置としての動作を開始(ステップS101)する。
【００４３】
本実施形態における撮像装置1の動作を説明する。本説明での撮像装置1が動作を開始した時点で他の撮像装置が表示装置3と通信を行っていないので、撮像装置1では親機設定(ステップS4)が実行される。図6に示すように、"親"の撮像装置としての動作が開始(ステップS100)されると、撮像制御回路8は表示装置接続処理(ステップS5)を実行する。表示装置接続処理(ステップS5)は、表示装置3との無線接続を行う処理である。表示装置接続処理(ステップS5)では、無線接続に伴う各種の設定(通信プロトコル等の設定)が行われる。
【００４４】
表示装置接続処理(ステップS5)の終了後、撮像制御回路8は撮像/送信タイミング設定(ステップS6)を実行する。撮像/送信タイミング設定(ステップS6)は、撮像装置1が実行する撮像や無線送信のタイミングを設定する処理であり、図4に"撮像装置1の動作タイミング"として示した各タイミング(t1〜t31)を設定する処理である。
【００４５】
具体的には、撮像制御回路8は、その内部において、所定周波数を持つ基準クロックをカウンタ回路でカウントし、カウント値を基準に所定周期(T)のタイミング信号を生成することで各タイミング(t1〜t31)を生成する。所定周期で各種タイミング信号を発生させる技術は公知であるので説明を省略する。
【００４６】
撮像/送信タイミング設定(ステップS6)が行われると、撮像ユニット4の動作が開始される。撮像/送信タイミング設定(ステップS6)の終了後、撮像制御回路8は撮像終了待ち(ステップS7)を実行する。撮像終了待ち(ステップS7)は、撮像ユニット4が1フレーム分の撮像を終了するまで次の処理の開始を待つ処理であり、待ち時間は撮像/送信タイミング設定(ステップS6)で設定された値に基づく時間である。
【００４７】
撮像ユニット4が撮像を終了すると、撮像制御回路8は圧縮開始指示(ステップS8)を実行する。圧縮開始指示(ステップS8)は、圧縮回路5に圧縮動作の開始を指示する処理である。撮像制御回路8は、圧縮処理のタイミング(図4でのt3-t5等)も把握しており、圧縮処理の終了まで送信開始待ち(ステップS9)を実行する。送信開始待ち(ステップS9)は、圧縮回路5が1フレーム分の圧縮を終了するまで次の処理の開始を待つ処理である。
【００４８】
送信開始待ち(ステップS9)の終了後、撮像制御回路8は送信開始指示(ステップS10)を実行する。送信開始指示(ステップS10)は、ベースバンド回路6、高周波回路7に無線送信の開始を指示する処理である。送信開始指示(ステップS10)に応じてベースバンド回路6は圧縮回路5からの圧縮画像データを所定の送信プロトコルで、高周波回路7、アンテナ9を介して表示装置3に送信する。
【００４９】
撮像制御回路8は、送信開始指示(ステップS10)の実行後、送信時間監視(ステップS11)を実行する。図4を用いて説明したように、無線送信の実行時間(t6-t10、t16-t19等)は制限されているため、撮像制御回路8は送信時間監視(ステップS11)により無線送信の実行時間を測定する。
【００５０】
制限時間内に無線送信が終了した場合、"時間内終了"と判断され、撮像終了待ち(ステップS7)に戻って処理が実行される。制限時間内に無線送信が終了しなかった場合、撮像制御回路8は送信中止指示(ステップS12)を行い、送信中止指示をベースバンド回路6に送り、無線送信を中止させる。その後、撮像終了待ち(ステップS7)に戻って処理が実行される。以上の動作が、本実施形態における撮像装置1の動作である。
【００５１】
次に、本実施形態における撮像装置2の動作を説明する。前述したように、撮像装置2は、撮像装置1と表示装置3とが接続された後に動作を開始する。その場合、撮像装置2の撮像制御回路8は、初期設定(ステップS2)を行った後、通信状況確認(ステップS3)において、撮像装置1と表示装置3の間の通信を検出する。そのため、撮像装置2の撮像制御回路8は"通信有"と判断し、子機設定(ステップS13)を実行した後、"子"の撮像装置としての動作を開始(ステップS101)する。
【００５２】
図7に示すように、"子"の撮像装置としての動作が開始(ステップS101)されると、撮像制御回路8は、親機通信タイミング検出処理(ステップS14)を実行する。親機通信タイミング検出処理(ステップS14)は、親機と表示装置との通信を監視して、親機からの送信開始のタイミング(図4のt6)を検出する処理である。
【００５３】
続いて、撮像制御回路8は、親機送信終了待ち(ステップS15)を行い、親機と表示装置との通信の終了を待つ。親機送信終了待ち(ステップS15)は、親機と表示装置との通信が終了するまで次の処理の開始を待つ処理である。
【００５４】
親機と表示装置との通信が終了した後、撮像制御回路8は表示装置接続処理(ステップS16)を実行する。表示装置接続処理(ステップS16)は、表示装置接続処理(ステップS5)と同様に表示装置3との無線接続を行う処理である。表示装置接続処理(ステップS16)を、親機と表示装置との通信が終了した後に実行することで、接続処理に伴う無線通信が親機の無線送信とぶつかることを回避している。
【００５５】
表示装置接続処理(ステップS16)の終了後、撮像制御回路8は撮像/送信タイミング設定(ステップS17)を実行する。撮像/送信タイミング設定(ステップS17)は、撮像装置2が実行する撮像や無線送信のタイミングを設定する処理であり、図4に"撮像装置2の動作タイミング"として示した各タイミング(t19〜t32)を設定する処理である。
【００５６】
撮像/送信タイミング設定(ステップS17)では、撮像制御回路8は、親機通信タイミング検出処理(ステップS14)で検出した親機からの送信開始のタイミング(t6)を基準に撮像装置2が撮像処理、圧縮処理、無線送信を実行するタイミングを決定する。撮像装置2の撮像制御回路8は、親機の各部の動作タイミングを把握しており、送信開始のタイミング(t6)を検出することで各動作のタイミングを把握可能となる。これは、撮像装置1が無い場合には撮像装置2が親機のタイミングで動作するためである。
【００５７】
前述したように、撮像装置2の撮像制御回路8は、撮像装置1の撮像終了タイミング(t2)と送信開始/終了タイミング(t6/t10)とのそれぞれの時間的な関係を示すデータ(時間関係データ)を予め記憶している。撮像装置1を示す識別子を検出することにより送信開始のタイミング(t6)を検出した場合、撮像制御回路8は、記憶しているデータを用いて撮像装置2の撮像終了タイミング及び送信開始タイミングを設定することが可能となる。
【００５８】
例えば、撮像終了タイミング(t2)が送信開始タイミング(t6)の3ms前(圧縮処理の時間は最大3ms)であって、最長送信時間(t6-t10)が6msに設定されている場合、撮像装置2の撮像制御回路8は、撮像装置1の送信開始タイミング(t6)を検出すると、撮像装置1の送信開始タイミング(t6)の3ms前のタイミングが撮像終了タイミング(t2)であることを検出し、撮像終了タイミング(t2)と同じタイミングに撮像装置2の撮像終了タイミングを設定する。また、撮像装置2の撮像制御回路8は、撮像装置1の送信開始タイミング(t6)の6ms後のタイミングが撮像装置1の送信終了タイミング(t10)であることを検出し、送信終了タイミング(t10)の後に撮像装置2の送信開始タイミングを設定する。その結果、撮像装置2は、撮像装置1と同じタイミングで撮像動作を行い、撮像装置1と異なったタイミングで無線送信動作を実行することが可能となる。
【００５９】
撮像/送信タイミング設定(ステップS17)の後、撮像制御回路8は、撮像終了待ち(ステップS18)、圧縮開始指示(ステップS19)を実行する。撮像終了待ち(ステップS18)、圧縮開始指示(ステップS19)は、前述した撮像終了待ち(ステップS7)、圧縮開始指示(ステップS8)と同様の処理であるので説明を省略する。
【００６０】
上記のように、撮像装置2は撮像装置1の送信開始のタイミング(t6)を検出することで撮像装置1と動作を同期させているが、長時間が経過すると、各装置に使用されている基準クロックの周波数のバラつきにより動作タイミングにズレが生じてしまう。そのため、撮像装置2は、周期的に撮像装置1の送信開始のタイミング(t6)を検出し、検出したタイミングを使って装置内部のタイミングを再設定することで上記の動作タイミングのズレを無くしている。図7中の再測定実行判断(ステップS20)が、上記の送信開始のタイミング(t6)の再測定を実行するか否かを判断する処理であり、所定周期で再測定が実行される。
【００６１】
再測定を実行する場合、撮像制御回路8は親機通信タイミング検出(ステップS21)を実行する。親機通信タイミング検出(ステップS21)は、前述した親機通信タイミング検出処理(ステップS14)と同じ処理であり、撮像装置1の送信開始のタイミングを検出する処理である。その後、撮像制御回路8は撮像/送信タイミング再設定(ステップS22)を実行することで、検出した送信開始のタイミングを基準に各種タイミングの設定を行い、上記の動作タイミングのズレを無くしている。
【００６２】
撮像/送信タイミング再設定(ステップS22)を行った場合、及び再測定実行判断(ステップS20)で再測定を実行しないと破断した場合、撮像制御回路8は送信開始待ち(ステップS23)を実行する。送信開始待ち(ステップS23)以降の、送信開始指示(ステップS24)、送信時間監視(ステップS25)、送信中止指示(ステップS26)の各処理は、図6における送信開始待ち(ステップS9)、送信開始指示(ステップS10)、送信時間監視(ステップS11)、送信中止指示(ステップS12)と同様の処理であるので、以降の説明を省略する。
【００６３】
次に、図8を用いて、表示装置3の動作を説明する。表示装置3の表示制御回路16は、動作を開始(ステップS30)すると、初期設定処理(ステップS31)を実行する。初期設定処理(ステップS31)は、装置の各種動作に関するレジスタ等の初期設置を行う処理である。初期設定処理(ステップS31)では表示に関するレジスタも設置され、所定の周期での表示処理が開始され、ディスプレーユニット15に初期画面が表示される。
【００６４】
表示制御回路16は、初期設定処理(ステップS31)の終了後、新規接続要求確認(ステップS32)により新規接続要求の有無を判断する。新規接続要求が有る場合には、表示制御回路16は接続処理(ステップS33)を実行することで、撮像装置との接続に伴う各種のパラメータの送受信処理を実行する。
【００６５】
接続処理(ステップS33)の実行後、表示制御回路16は受信タイミング設定処理(ステップS34)を実行する。受信タイミング設定処理(ステップS34)は、接続処理(ステップS33)で接続した撮像装置との通信処理の実行タイミングを設定する処理であり、接続処理(ステップS33)で撮像装置から要求されたタイミングに沿うように実行タイミングの設定が行われる。
【００６６】
新規接続要求が無い場合、及び受信タイミング設定処理(ステップS34)が終了した後、表示制御回路16は撮像装置との接続の有無を判定する接続有無判定(ステップS35)を実行する。接続が無い場合、新規接続要求確認(ステップS32)に戻って処理が実行される。接続が有る場合、表示制御回路16は受信開始待ち(ステップS36)を行い、撮像装置からの送信を待つ。
【００６７】
撮像装置からの送信が開始された時点で、表示制御回路16は受信開始待ち(ステップS36)を終了し、受信時間監視(ステップS37)を実行する。受信時間監視(ステップS37)は、受信処理の実行時間を監視する処理である。表示制御回路16は、受信処理の経過時間が所定の最長実行時間を越えた場合、"時間超過"と判定し、受信中止指示(ステップS38)を実行する。受信中止指示(ステップS38)は、受信中止指示をベースバンド回路12に送り、無線受信を中止させる処理である。
【００６８】
受信処理が時間内で終了した場合、及び受信中止指示(ステップS38)の実行後、表示制御回路16は次装置受信確認(ステップS39)を実行する。次装置受信確認(ステップS39)は、表示画面に画像を表示するために接続中の全ての撮像装置からの送信データの受信処理が終了したか否かをフレーム毎に判断する処理である。
【００６９】
本実施形態の場合、表示装置3は最初に撮像装置1と接続され、その後、撮像装置2とも接続される。表示装置3が撮像装置1とだけ接続している場合、表示制御回路16は撮像装置1からの送信データの受信処理の終了を受信時間監視(ステップS37)で監視しており、受信処理が終了した時点で次装置受信確認(ステップS39)を実行する。表示制御回路16は、接続中の撮像装置が撮像装置1だけであることを認識しており、その時点で"次装置無"と判定する。"次装置無"と判定されると、新規接続要求確認(ステップS32)に戻って処理が実行される。次装置受信確認(ステップS39)は、例えば図4でのt7のタイミングで実行される。
【００７０】
表示装置3が撮像装置1及び撮像装置2と接続している場合、次装置受信確認(ステップS39)は撮像装置1及び撮像装置2からの送信データの受信処理が終了した時点で実行される。撮像装置1からの送信データの受信処理が終了した時点では、次装置受信確認(ステップS39)により"次装置有"と判定され、受信開始待ち(ステップS36)に戻って処理が実行され、撮像装置2からの送信データの受信処理が終了した時点では、次装置受信確認(ステップS39)により"次装置無"と判定され、新規接続要求確認(ステップS32)に戻って処理が実行される。次装置受信確認(ステップS39)は、例えば図4でのt26のタイミングで実行されて"次装置有"と判定され、続いてt30のタイミングで実行されて"次装置無"と判定される。
【００７１】
図4に示したように、撮像装置1と撮像装置2が接続している場合、同じタイミングで撮像が行われた後、撮像装置1からの無線送信が行われ、その後、撮像装置2からの無線送信が行われる。そのため、撮像装置1からの無線送信の後に行われる次装置受信確認(ステップS39)では受信開始待ち(ステップS36)に処理が戻り、撮像装置2からの無線送信の後に行われる次装置受信確認(ステップS38)では新規接続要求確認(ステップS32)に処理が戻る。
【００７２】
本実施形態の撮像装置1は、最上位概念の本発明における基準撮像装置に対応し、撮像装置2は、最上位概念の本発明における基準撮像装置以外の撮像装置に対応し、表示装置3は最上位概念の本発明における表示装置に対応する。本発明における基準撮像装置は、例えば撮像ユニット4を撮像部とし、圧縮回路5をデータ処理部とし、ベースバンド回路6及び高周波回路7を無線通信部とすることで構成可能である。また、本発明における基準撮像装置以外の撮像装置は、例えば撮像ユニット4を撮像部とし、圧縮回路5をデータ処理部とし、ベースバンド回路6及び高周波回路7を無線通信部とし、撮像制御回路8を制御部とすることで構成可能である。また、本発明における表示装置は、例えば高周波回路11及びベースバンド回路12を無線通信部とし、ディスプレーユニット15を表示部とすることで構成可能である。
【００７３】
最上位概念の本発明における基準撮像装置を構成する場合、基準撮像装置以外の撮像装置が行う処理は必須ではないので、例えば図7に示す処理を行わないように基準撮像装置が構成されていてもよい。また、最上位概念の本発明における基準撮像装置以外の撮像装置を構成する場合、基準撮像装置が行う処理は必須ではないので、例えば図6に示す処理を行わないように基準撮像装置以外の撮像装置が構成されていてもよい。
【００７４】
上述したように、本実施形態によれば、親撮像装置(撮像装置1)の送信タイミングから親撮像装置の撮像タイミングを子撮像装置(撮像装置2)が検出し、子撮像装置が自身の撮像タイミングを親撮像装置の撮像タイミングと同一になるように制御するとともに子撮像装置が自身の送信タイミングを親撮像装置の送信タイミングと異なるように制御することが可能となる。そのため、同期を取るための特別な情報の無線通信を行うことなく複数の撮像装置間の撮像タイミングと無線送信タイミングを調整することができる。
【００７５】
（第2の実施形態）
次に、本発明の第2の実施形態を説明する。本実施形態の撮像装置は、別の撮像装置からの画像を受信し、受信した画像と自身が撮像した画像とを合成し、合成した1枚の画像を表示装置に送信する画像合成機能を有している。また、本実施形態の表示装置は、撮像装置からの撮像データの受信開始タイミングと、自身の表示開始タイミングとから表示遅延時間を検出し、目標とする遅延時間と、検出した表示遅延時間との差分である調整時間を撮像装置に通知する通知機能を持つ。撮像装置が表示装置から通知された調整時間に基づいて撮像タイミングを調整することで、表示遅延時間を最短時間に制御することが可能である。
【００７６】
図9は、本実施形態による撮像表示システムの構成を示している。まず、図9を用いて、撮像表示システムの概要を説明する。図9に示す撮像表示システムは、2台の撮像装置(撮像装置17、撮像装置2)と1台の表示装置(表示装置20)で構成されている。
【００７７】
本実施形態では、撮像装置17と表示装置20の機能が第1の実施形態における撮像装置1と表示装置3の機能と一部異なっている。表示装置20は、一部の機能が追加されているだけで、装置の内部構成は表示装置3と同じであるので、図3の表示装置3の構成を用いて本実施形態の表示装置20を説明する。
【００７８】
図9に示すように、撮像装置2は撮像装置17と接続され、撮像装置2で撮像された画像のデータを含む送信データが撮像装置17へ無線送信される。撮像装置2で撮像された画像のデータと、撮像装置17で撮像された画像のデータとが撮像装置17で合成され、合成されたデータを含む送信データが表示装置20に無線送信され、表示装置20で合成画像が表示される。また、他の撮像装置と接続する機能を持つ撮像装置17が"親"として動作し、撮像装置2は、撮像処理のタイミングを"親"に合わせる"子"として動作する。
【００７９】
図10は、撮像装置17の構成を示している。本実施形態の撮像装置2の構成は第1の実施形態の撮像装置2の構成と同一であるので、撮像装置2の構成については説明を省略する。図10に示すように、撮像装置17は、撮像ユニット4、圧縮/伸張回路18、ベースバンド回路19、高周波回路7、撮像制御回路8、アンテナ9で構成されている。第1の実施形態の撮像装置1の構成とは、圧縮/伸張回路18及びベースバンド回路19が異なっている。
【００８０】
ベースバンド回路19は、第1の実施形態のベースバンド回路12が有する機能に対して、他の撮像装置との接続処理を実行し、他の撮像装置から受信した圧縮画像データを圧縮/伸張回路18に出力する機能が追加されている。圧縮/伸張回路18(画像合成部)は、ベースバンド回路19から出力された他の撮像装置からの圧縮画像データに伸張処理を行い、伸張処理後の撮像データと、撮像装置17の撮像ユニット4から出力された撮像データとを合成処理した後、合成処理した撮像データに圧縮処理を行って圧縮画像データを生成し、ベースバンド回路19に出力する機能を持つ点が第1の実施形態の圧縮回路5と異なっている。
【００８１】
次に、図11を用いて、本実施形態における表示遅延時間の調整に関する表示装置20と撮像装置17の動作を説明する。図11は、撮像装置17に対して表示装置20が行う表示遅延時間の調整処理を示している。図11の右方向が時間の進む方向である。図11に示す状態は、撮像装置17が撮像装置2との接続する以前の状態である。撮像装置17と撮像装置2との接続は、図11を用いて説明する表示遅延時間の調整を行った後に行われる。撮像装置17と撮像装置2が接続した状態の説明は、後に図12を用いて行う。
【００８２】
表示装置20は、第1の実施形態の表示装置3と同様に、初期設置が行われた後に所定の表示周期で表示処理を行う。図11のt1-t11(t11-t19、t19-t28)の時間が1周期の時間であり、t1-t9(t11-t16、t19-t26、t28-t29)が表示期間、t9-t11(t16-t19、t26-t28)がブランキング期間である。図11は、表示装置20及び撮像装置17の状態が表示遅延時間の調整前の状態から表示遅延時間の調整後の状態に移る様子を示している。表示遅延時間の調整は、撮像装置17の撮像タイミングを表示装置20の表示タイミングに合わせて調整することで実行される。
【００８３】
最初に、表示装置20が行う表示遅延時間の測定について説明する。表示遅延時間は、撮像装置で撮像処理が実行されてから表示装置で表示処理が実行されるまでの時間である。本実施形態では、表示遅延時間を、撮像装置の撮像処理の終了時点から表示装置の表示開始時点までの時間と定義して説明する。撮像装置17で撮像処理により得られた撮像データは、圧縮処理、送信処理が行われた後、表示装置20に伝送される。表示装置20では、受信処理、伸張処理の後、表示処理が行われる。
【００８４】
図11に示すように、撮像処理から伸張処理までの処理は、撮像処理の終了を起点とした一連の処理となっており、表示処理は別のタイミングで行われている。例えば、撮像処理(t3-t5)、圧縮処理(t6-t7)、無線送信・無線受信(t8-t14)、伸張処理(t5-t18)は一連の処理となっている。また、伸張処理(t5-t18)の後、表示処理(t16-t26)が行われて画像が表示される。撮像処理の終了タイミング(t5)から表示処理の開始タイミング(t19)までの時間が現表示遅延時間として示されている。
【００８５】
表示遅延時間が最短となる条件は、伸張処理が表示処理の開始直前に終了することである。上記の条件を達成するため、本実施形態では、表示装置20の表示制御回路16が、ベースバンド回路12から受信開始タイミング(t8)を検出し、表示処理回路14から表示開始タイミング(t19)を検出して、現表示遅延時間(t5-t19)を検出する。図11に示すように、圧縮時間(t6-t7)は既知であり、撮像終了直後に圧縮処理が開始され(t5=t6)、圧縮処理の終了直後に無線受信が開始される(t7=t8)ため、受信開始タイミング(t8)から撮像処理の終了タイミング(t5)を推定可能である。この撮像処理の終了タイミング(t5)と表示開始タイミング(t19)との時間差を求めることにより、現表示遅延時間が求められる。
【００８６】
最短の表示遅延時間である目標表示遅延時間は既知であるので、表示制御回路16(算出部)は、現表示遅延時間-目標表示遅延時間の演算(減算)を行うことにより調整時間を算出する。本実施形態では、目標表示遅延時間は表示制御回路16内に記憶されている。
【００８７】
調整時間をデータ化して、撮像装置17に通知することも可能であるが、本実施形態では、撮像装置17の送信処理の終了タイミングを上記の調整時間分だけ遅延させる方法により表示装置20は撮像装置17に調整時間を通知する。具体的には、撮像装置17では、圧縮処理後、ベースバンド回路19が圧縮画像データを複数のデータ(分割撮像データ)に分割し、それらのデータを含む複数のパケットを送信する。送信される最後のパケットに対する表示装置20の受信処理の終了を調整時間分遅延させることで撮像装置17に対する調整時間の通知が行われる。
【００８８】
データを複数のパケットに分割して送信する方法は公知であるので説明を省略する。尚、撮像装置17から送信される複数のパケットのうち最後のパケットに対して、最後のパケットであることを示すデータが格納されており、表示装置20の表示制御回路16は、パケットからそのデータを検出した場合に、そのパケットが最後のパケットであることを検出する。
【００８９】
図11において、t10-t14が、調整時間の通知の実行を行っているタイミングである。表示装置20の表示制御回路16は、図中の現表示遅延時間と目標表示遅延時間との差分である調整時間を撮像装置17に通知することで、撮像装置17の撮像タイミングを、図中の"撮像4"で示されるt12-t13からt17-t20に変更する処理を行う。
【００９０】
具体的には、撮像装置17の撮像処理は無線送信の終了から所定の時間が経過したタイミング(t13、又は、t20のタイミング)で終了するように制御されるため、無線送信の終了タイミングを、本来のタイミング(t10)から調整時間分だけ遅らせたタイミング(t14)にすることにより、撮像処理のタイミングがt12-t13からt17-t20に調整される。
【００９１】
図11において、通常の通信では、t8-t10に実行される無線送信("送信3")はt10のタイミングで中止される。本実施形態では、調整時間の通知を行うことを撮像装置17と表示装置20で予め合意しておいて、t10のタイミングでは無線送信を中止せずに調整時間分遅延したt14まで通信を引き伸ばすことで、調整時間の通知が行われる。具体的には、表示装置20の表示制御回路16は、1回(1フレーム)の撮像に対応して撮像装置17から送信される最後のパケットの受信に成功しても、正常に受信したことを示すACK(受信完了データ)を返さず、パケットを受信する毎にNAKを返し続けるように高周波回路11及びベースバンド回路12を制御する。
【００９２】
撮像装置17の撮像制御回路8は、表示装置20からNAKが受信されると、最後のパケットの再送を行うようにベースバンド回路19及び高周波回路7を制御する。調整時間の通知が行われている間、撮像制御回路8は撮像ユニット4が撮像処理(図11の"撮像4")を開始しないように制御を行う。表示装置20の表示制御回路16は、1回(1フレーム)の撮像に対応して撮像装置17から送信される最後のパケットの受信を開始してから調整時間が経過したタイミングでACKを返して通信を終了するように高周波回路11及びベースバンド回路12を制御する。表示装置20から撮像装置17にACKが返信されることで、撮像装置17に調整時間が通知される。撮像装置17の撮像制御回路8は最後のパケットを送信したタイミングからACKを受信するまでの時間を測定することで調整時間を認識する。
【００９３】
撮像装置17の撮像制御回路8は、図11に示すように、調整時間に応じて撮像処理の終了タイミングを調整する。図11では、撮像処理の終了タイミングがt13から、調整時間分だけ遅延したt20に調整される。その結果、表示遅延時間は目標表示遅延時間に調整される。
【００９４】
最後に、図12を用いて、撮像装置17が行う画像合成処理の方法を説明する。図12は、撮像装置17が表示装置20との接続中に、新たに撮像装置2が撮像装置17に接続される場合に撮像装置17と撮像装置2が行う処理のタイミングを示している。図12の右方向が時間の進む方向である。
【００９５】
この時、撮像装置2は、第1の実施形態と同様に、撮像タイミングを撮像装置17の撮像タイミングと同じになるように調整すると共に、撮像装置17に対して所定のタイミングで無線送信を行うように送信タイミングを調整する。また、撮像装置17は撮像装置2からの撮像データを受信し、自身の撮像データと合成した後、表示装置3に送信する。
【００９６】
最初に、撮像装置2が未接続の状態での撮像装置17の動作を説明する。尚、表示装置20と撮像装置17の接続処理は完了しており、図11を用いて説明した表示遅延時間の調整も終了しているものとする。撮像装置17の撮像動作は所定周期(T：16.67ms=1/60s)で行われ、図中のt30-t31、t32-t35、t39-t43、t50-t54は撮像ユニット4が撮像処理を行っている期間を示している。図中の撮像処理の終了するタイミング(t31、t35、t43、t54)が所定の撮像周期の区切りとなり、撮像処理の期間の先頭のタイミング(t30、t32、t39、t50)は、撮像ユニット4に設定される露光期間に応じて可変である。
【００９７】
撮像処理が終了すると、所定時間後に撮像データが圧縮/伸張回路18に送られ圧縮処理が行われる。圧縮処理の処理時間は、撮像データの状況に応じて変化する。図12では圧縮処理が最長となった場合の時間(t32-t33、t40-t41、t51-t52)が示されている。上記の圧縮処理では、まだ撮像装置2が接続されていないため、撮像装置2からの撮像データが合成される部分のデータは黒画像データで置き換えられて処理される。
【００９８】
また、撮像処理終了から圧縮処理までの空き時間(t31-t32、t35-t40)は、撮像装置2が接続された場合に撮像装置2からのデータの受信処理や伸張処理に必要な処理時間である。撮像装置2が接続された場合の各処理の実施タイミングの詳細については後で説明する。圧縮処理の終了(t33)直後に無線送信(t34-t36)が開始される。図12において、"撮像1"で示したタイミングで撮像されたデータが"送信1"で示したタイミングで無線送信される。同様に、"撮像2"で示したタイミングで撮像されたデータが"送信2"で示したタイミングで無線送信され、"撮像3"で示したタイミングで撮像されたデータが"送信3"で示したタイミングで無線送信される。
【００９９】
次に、撮像装置2と撮像装置17の接続について説明する。接続開始前、撮像装置2は、第1の実施形態の場合と同様に撮像装置17と表示装置20の無線通信[図12の"送信1" (t34-t36)]で伝送された送信データを受信して撮像装置17の動作タイミングを把握し、撮像タイミングを撮像装置17と同じタイミングに調整する(同期処理を行う)と共に、撮像装置17の無線送信の終了後に接続処理(t37-t38)を実施する。撮像タイミングの同期処理と、接続処理の詳細は第1の実施形態と同じであるので説明を省略する。
【０１００】
最後に、撮像装置2との接続処理の終了後の撮像装置17の動作について説明する。前述したように、撮像装置2の撮像処理は、撮像装置17の撮像処理と同時に実施されるように調整されている。図12には、"撮像3"(t39-t43)のタイミングで撮像装置2の撮像処理を行う例が示されている。
【０１０１】
撮像装置2では、撮像処理(t39-t43)の直後に圧縮処理(t44-t46)が実行され、圧縮処理の直後に撮像装置17への無線送信(t47-t48)が実行される。撮像装置17では、撮像装置2からの送信データの無線受信(t47-t48)の後、高周波回路7が送信データの周波数変換を行い、ベースバンド回路19が送信データから圧縮画像データを再構成して圧縮/伸張回路18に出力する。圧縮/伸張回路18は、伸張処理(t49-t51)により、圧縮画像データを通常の撮像データに戻した後、撮像ユニット4での撮像処理["撮像3"(t39-t43)]により生成された撮像データと合成する。その後、圧縮/伸張回路18は、圧縮処理(t51-t52)を行い、2画面分の画像を合成した後の圧縮画像データを生成する。尚、合成処理は伸張処理の過程におけるデータの書込み位置の制御により行われるため、図12では合成処理が伸張処理に含まれて表示されている。圧縮処理(t51-t52)の終了後に、ベースバンド回路19は表示装置20への送信処理(t53-t56)を実行する。
【０１０２】
上述したように、本実施形態によれば、表示装置が決定した調整時間に基づいて、撮像装置が行う撮像処理の実施タイミングを調整することで、撮像から表示までの経過時間である表示遅延時間を最短時間となるように制御することができる。
【０１０３】
また、無線通信で通信エラーが発生しない状況で、1回(1フレーム)の撮像で生成された撮像データを分割したデータを含む複数パケットのうち最終パケットの送信終了タイミングを調整時間に応じて遅延させることで、撮像装置は調整時間を検出することができる。さらに、調整時間の通知を通常のプロトコルの無線通信により行うことができる。
【０１０４】
また、子撮像装置の撮像データと親撮像装置の撮像データを合成して生成した撮像データを親撮像装置が表示装置に送信することで、表示装置が特別な処理を行わずに合成画像を表示することができる。このことにより、表示装置が標準的な携帯端末であっても合成画像の受信/表示が可能となる。
【０１０５】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【０１０６】
1，2，17  撮像装置、4  撮像ユニット、5  圧縮回路、6，12，19  ベースバンド回路、7，11  高周波回路、8  撮像制御回路、9，10  アンテナ、13  伸張回路、14  表示処理回路、15  ディスプレーユニット、16  表示制御回路、18  圧縮/伸張回路
【図１】
2014078793.tif 000003
【図２】
2014078793.tif 000004
【図３】
2014078793.tif 000005
【図４】
2014078793.tif 000006
【図５】
2014078793.tif 000007
【図６】
2014078793.tif 000008
【図７】
2014078793.tif 000009
【図８】
2014078793.tif 000010
【図９】
2014078793.tif 000011
【図１０】
2014078793.tif 000012
【図１１】
2014078793.tif 000013
【図１２】
2014078793.tif 000014