(57)【要約】【課題】  相手の端末ＩＤがわからなくてもメッセージ送信先を指定できるようにする。【解決手段】  この発明に係るメッセージ通信装置は、撮影した映像を入力する映像入力手段と、映像の撮像情報を生成する撮像情報生成手段と、撮像情報に対応する映像中から所定の配置で目印が設けられた標示板を検出し、標示板の画面座標と見え方の情報を出力する標示板検出手段と、標示板を検出した映像に対応する撮像情報を付加した撮像情報メッセージを子機に送信する撮像情報送信手段と、子機から撮像情報に基づいて推定した標示板の見え方の情報を含んだ返信メッセージを受信するメッセージ受信手段と、検出した標示板の見え方の情報のうち、返信メッセージに含まれる標示板の見え方の情報が一致する標示板を対応付ける対応付け手段と、対応付けた標示板を検出した映像に、返信メッセージの本文を、標示板の画面座標の位置に関連付けて合成して表示する表示手段とを備えた。【選択図】          図２
2014106858.tif 000002
【特許請求の範囲】
【請求項１】
撮影した映像を入力する映像入力手段と、
前記映像の撮像情報を生成する撮像情報生成手段と、
前記撮像情報に対応する前記映像中から所定の配置で目印が設けられた標示板を検出し、検出した前記標示板の画面座標と見え方の情報を出力する標示板検出手段と、
前記標示板検出手段が前記標示板を検出した前記映像に対応する前記撮像情報を付加した撮像情報メッセージを子機に送信する撮像情報送信手段と、
前記子機から該子機が受信した前記撮像情報に基づいて推定した標示板の見え方の情報を含んだ返信メッセージを受信するメッセージ受信手段と、
前記標示板検出手段が検出した前記標示板の見え方の情報のうち、前記返信メッセージに含まれる前記標示板の見え方の情報が一致する標示板を対応付ける対応付け手段と、
前記対応付け手段が対応付けた前記標示板を検出した前記映像に、前記返信メッセージの本文を、前記対応付け手段が対応付けた前記標示板の画面座標の位置に関連付けて合成して表示する表示手段と
を備えたメッセージ通信装置。
【請求項２】
撮影した映像を入力する映像入力手段と、
前記映像の撮像情報を生成する撮像情報生成手段と、
前記撮像情報に対応する前記映像中から所定の配置で目印が設けられた標示板を検出し、検出した前記標示板の画面座標と見え方の情報を出力する標示板検出手段と、
前記標示板検出手段が前記標示板を検出した前記映像に対応する前記撮像情報を付加した撮像情報メッセージを子機に送信する撮像情報送信手段と、
前記子機に送信した前記撮像情報に対応した前記映像を表示する表示手段と、
前記表示手段の表示画面上の画面座標を指定する座標指定手段と、
前記表示手段に表示された前記映像に対応して前記標示板検出手段が検出した前記標示板の画面座標のうち、当該映像に対して前記座標指定手段が指定した前記画面座標と一致する標示板を指定する標示板指定手段と、
前記標示板指定手段が指定した前記標示板の見え方の情報を送信メッセージに付加して前記子機に送信するメッセージ送信手段と
を備えたメッセージ通信装置。
【請求項３】
撮影した映像を入力する映像入力手段と、
前記映像の撮像情報を生成する撮像情報生成手段と、
した撮像情報メッセージを子機に送信する撮像情報送信手段と、
前記子機から該子機が受信した前記撮像情報に基づいて推定した標示板の見え方の情報を含んだ返信メッセージを受信するメッセージ受信手段と、
前記撮像情報に対応する前記映像中から所定の配置で目印が設けられた標示板を検出し、検出した前記標示板の画面座標と見え方の情報を出力する標示板検出手段と、
前記標示板検出手段が検出した前記標示板の見え方の情報のうち、前記返信メッセージに含まれる前記標示板の見え方の情報が一致する標示板を対応付ける対応付け手段と、
前記対応付け手段が対応付けた前記標示板を検出した前記映像に、前記返信メッセージの本文を、前記対応付け手段が対応付けた前記標示板の画面座標の位置に関連付けて合成して表示する表示手段と
を備えたメッセージ通信装置。
【請求項４】
前記標示板検出手段は、前記メッセージ受信手段が受信した標示板の見え方の情報に基づいて、前記前記撮像情報に対応する前記映像中から前記標示板を検出する探索範囲を設定する請求項３に記載のメッセージ通信装置。
【請求項５】
前記映像の前記撮像情報は、前記映像の撮像位置と撮像時刻の少なくとも１つを含む請求項１ないし請求項３のいずれか１項に記載のメッセージ通信装置。
【請求項６】
前記標示板の前記見え方の情報は、前記標示板から前記映像の前記撮像情報に含まれる前記撮像位置への仰角と方位角である請求項５に記載のメッセージ通信装置。
【請求項７】
前記標示板の前記見え方の情報は、前記映像の前記撮像情報に含まれる前記撮像時刻における前記標示板の前記目印の点灯・消灯状態を示す情報である請求項５に記載のメッセージ通信装置。
【請求項８】
所定の配置で目印を設けた標示板と、
親機から該親機が撮影した映像の前記撮像情報を付加された撮像情報メッセージを受信する撮像情報受信手段と、
前記撮像情報受信手段が受信した前記撮像情報に基づいて前記標示板の見え方の情報を推定する見え方推定手段と、
前記見え方推定手段が推定した前記標示板の見え方の情報を付加した返信メッセージを前記親機に送信するメッセージ送信手段と
を備えたメッセージ通信装置。
【請求項９】
所定の配置で目印を設けた標示板と、
親機から該親機が撮影した映像の撮像情報を付加された撮像情報メッセージを受信する撮像情報受信手段と、
前記撮像情報受信手段が受信した前記撮像情報に基づいて前記標示板の見え方の情報を推定する見え方推定手段と、
前記親機からメッセージを受信し、受信したメッセージに前記見え方推定手段が推定した前記標示板の見え方の情報が付加されている場合に、メッセージ本文を出力するメッセージ受信手段と、
前記メッセージ受信手段が出力した前記メッセージ本文を表示するメッセージ表示手段と
を備えたメッセージ通信装置。
【請求項１０】
前記映像の前記撮像情報は、前記映像の撮像位置と撮像時刻の少なくとも１つを含む請求項８または請求項９記載のメッセージ通信装置。
【請求項１１】
前記標示板の前記見え方の情報は、前記標示板から前記映像の前記撮像情報に含まれる前記撮像位置への仰角と方位角である請求項１０に記載のメッセージ通信装置。
【請求項１２】
前記標示板は、前記目印が点灯・消灯し、
前記標示板の前記見え方の情報は、前記映像の前記撮像情報に含まれる前記撮像時刻における前記標示板の前記目印の点灯・消灯状態を示す情報である請求項１０に記載のメッセージ通信装置。
【請求項１３】
請求項１に記載のメッセージ通信装置と請求項８に記載のメッセージ通信装置から構成されるメッセージ通信システム。
【請求項１４】
請求項２に記載のメッセージ通信装置と請求項９に記載のメッセージ通信装置から構成されるメッセージ通信システム。
【請求項１５】
請求項３に記載のメッセージ通信装置と請求項８に記載のメッセージ通信装置から構成されるメッセージ通信システム。
【請求項１６】
メッセージ通信装置の親機が、
撮影した映像を入力する映像入力ステップと、
前記映像の撮像情報を生成する撮像情報生成ステップと、
前記撮像情報に対応する前記映像中から所定の配置で目印が設けられた標示板を検出し、検出した標示板の画面座標と前記撮像情報に基づく前記標示板の見え方の情報を出力する標示板検出ステップと、
前記撮像情報をメッセージ通信装置の子機に送信する撮像情報送信ステップと、
前記メッセージ通信装置の子機が、
前記メッセージ通信装置の親機から該親機が撮影した前記映像の撮像情報を受信する撮像情報受信ステップと、
受信した前記撮像情報に基づいて前記標示板の見え方の情報を推定する見え方推定ステップと、
推定した前記標示板の見え方の情報を付加した返信メッセージを送信するメッセージ送信ステップと、
前記メッセージ通信装置の親機が、
前記メッセージ通信装置の子機から該子機が受信した前記撮像情報に基づいて推定した標示板の見え方の情報を含んだ返信メッセージを受信するメッセージ受信ステップと、
検出した前記標示板の見え方の情報のうち、前記返信メッセージに含まれる前記標示板の見え方の情報が一致する標示板を対応付ける対応付けステップと、
対応付けた前記標示板を検出した前記映像に、前記返信メッセージの本文を、対応付けた前記標示板の画面座標の位置に関連付けて合成して表示する表示ステップと
を有するメッセージ通信方法。
【請求項１７】
メッセージ通信装置の親機が、
撮影した映像を入力する映像入力ステップと、
前記映像の撮像情報を生成する撮像情報生成ステップと、
前記撮像情報に対応する前記映像中から所定の配置で目印が設けられた標示板を検出し、検出した標示板の画面座標と前記撮像情報に基づく前記標示板の見え方の情報を出力する標示板検出ステップと、
前記撮像情報をメッセージ通信装置の子機に送信する撮像情報送信ステップと、
前記メッセージ通信装置の子機が、
前記メッセージ通信装置の親機から該親機が撮影した前記映像の撮像情報を受信する撮像情報受信ステップと、
受信した前記撮像情報に基づいて前記標示板の見え方の情報を推定する見え方推定ステップと、
前記メッセージ通信装置の親機が、
前記映像を表示する表示ステップと、
前記子機に送信した撮像情報に対応した前記映像を表示する表示ステップと、
前記映像の表示画面上の画面座標を指定する座標指定ステップと、
前記映像に対応して検出した前記標示板の画面座標のうち、当該映像に対して指定した前記画面座標と一致する標示板を指定する標示板指定ステップと、
指定した前記標示板の見え方の情報を送信メッセージに付加して前記メッセージ通信装置の子機に送信するメッセージ送信ステップと、
前記メッセージ通信装置の子機が、
前記親機からメッセージを受信し、受信したメッセージに推定した前記標示板の見え方の情報が付加されている場合に、メッセージ本文を出力するメッセージ受信ステップと、
出力した前記メッセージ本文を表示するメッセージ表示ステップと
を有するメッセージ通信方法。
【請求項１８】
メッセージ通信装置の親機が、
撮影した映像を入力する映像入力ステップと、
前記映像の撮像情報を生成する撮像情報生成ステップと、
前記撮像情報をメッセージ通信装置の子機に送信する撮像情報送信ステップと、
前記メッセージ通信装置の子機が、
前記メッセージ通信装置の親機から該親機が撮影した前記映像の撮像情報を受信する撮像情報受信ステップと、
受信した前記撮像情報に基づいて所定の配置で目印を設けた標示板の見え方の情報を推定する見え方推定ステップと、
推定した前記標示板の見え方の情報を付加した返信メッセージを送信するメッセージ送信ステップと、
前記メッセージ通信装置の親機が、
前記メッセージ通信装置の子機から該子機が受信した前記撮像情報に基づいて推定した標示板の見え方の情報を含んだ返信メッセージを受信するメッセージ受信ステップと、
受信した前記標示板の見え方の情報に基づいて、前記撮像情報に対応する前記映像中から前記標示板を検出する探索範囲を絞り込んで前記標示板を検出し、検出した標示板の画面座標と前記撮像情報に基づく前記標示板の見え方の情報を出力する標示板検出ステップと、
検出した前記標示板の見え方の情報のうち、前記返信メッセージに含まれる前記標示板の見え方の情報が一致する標示板を対応付ける対応付けステップと、
対応付けた前記標示板を検出した前記映像に、前記返信メッセージの本文を、対応付けた前記標示板の画面座標の位置に関連付けて合成して表示する表示ステップと
を有するメッセージ通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像した映像を解析して検出された相手の見え方と位置情報から識別してメッセージ交換を確立するメッセージ通信装置およびメッセージ通信システムに関するものである。
【背景技術】
【０００２】
従来のメッセージ通信装置は、災害時に救助される側の端末から救助する側の端末へ位置情報を送信し、救助する側の端末で地図上に位置を表示することにより、救助する人を救助される人のところまで誘導するように構成されたものがあった（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−１２２８９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来のメッセージ通信装置は、上記のように構成されているため、例えば地震などで建物が倒壊した場合には、平常時の地図と災害時の現場との対応を付けるのが難しく、救助される側の端末の位置が地図上に表示されても実際の場所を特定しにくいという課題があった。また、遠方に相手が見えている場合にその相手にメッセージを送るためにはメッセージ送信先を指定する必要があるが、相手の端末ＩＤがわからないとメッセージを送信できないという問題があった。また、端末ＩＤがわかったとしても、ＩＤを指定する操作が煩雑になる、という問題があった。
【０００５】
この発明は、上記のような問題点を解決するためになされたもので、メッセージを実際の映像の該当位置に重畳して表示することにより相手の居場所を容易に特定でき、また、相手の端末ＩＤがわからなくても、実際の映像上で送信先を指し示すなど簡単な操作でメッセージ送信先を指定することができるメッセージ通信装置およびメッセージ通信システムを得ることを目的としている。
【課題を解決するための手段】
【０００６】
この発明に係るメッセージ通信装置は、撮影した映像を入力する映像入力手段と、前記映像の撮像情報を生成する撮像情報生成手段と、前記撮像情報に対応する前記映像中から所定の配置で目印が設けられた標示板を検出し、検出した前記標示板の画面座標と見え方の情報を出力する標示板検出手段と、前記標示板検出手段が前記標示板を検出した前記映像に対応する前記撮像情報を付加した撮像情報メッセージを子機に送信する撮像情報送信手段と、前記子機から該子機が受信した前記撮像情報に基づいて推定した標示板の見え方の情報を含んだ返信メッセージを受信するメッセージ受信手段と、前記標示板検出手段が検出した前記標示板の見え方の情報のうち、前記返信メッセージに含まれる前記標示板の見え方の情報が一致する標示板を対応付ける対応付け手段と、前記対応付け手段が対応付けた前記標示板を検出した前記映像に、前記返信メッセージの本文を、前記対応付け手段が対応付けた前記標示板の画面座標の位置に関連付けて合成して表示する表示手段とを備える。
【０００７】
また、この発明に係るメッセージ通信装置は、撮影した映像を入力する映像入力手段と、前記映像の撮像情報を生成する撮像情報生成手段と、前記撮像情報に対応する前記映像中から所定の配置で目印が設けられた標示板を検出し、検出した前記標示板の画面座標と見え方の情報を出力する標示板検出手段と、前記標示板検出手段が前記標示板を検出した前記映像に対応する前記撮像情報を付加した撮像情報メッセージを子機に送信する撮像情報送信手段と、前記映像入力手段が入力した前記映像を表示する表示手段と、前記表示手段の表示画面上の画面座標を指定する座標指定手段と、前記表示手段に表示された前記映像に対応して前記標示板検出手段が検出した前記標示板の画面座標のうち、当該映像に対して前記座標指定手段が指定した前記画面座標と一致する標示板を指定する標示板指定手段と、前記標示板指定手段が指定した前記標示板の見え方の情報を送信メッセージに付加して前記子機に送信するメッセージ送信手段とを備える。
【発明の効果】
【０００８】
この発明のメッセージ通信装置によれば、相手の端末ＩＤがわからないときでも、親機が検出した標示板に対応する画像の撮像情報を子機に送り、子機から標示板の見え方の情報を付加してメッセージを返信してもらい、見え方の情報を照合するようにしたので、親機は検出した標示板が複数あっても正確に子機を対応付け、標示板の画面座標の位置をメッセージ送信元の子機の位置として画像上で把握することができるという効果がある。
【０００９】
また、この発明のメッセージ通信装置によれば、相手の端末ＩＤがわからないときでも、親機が検出した標示板に対応する画像の撮像情報を子機に送り、子機自身が推定した標示板の見え方の情報をその後の親機から受信したメッセージに付加された見え方の情報と照合するようにしたので、子機は受信したメッセージに付加された標示板の見え方の情報が子機自身のものであれば、当該子機宛てのメッセージとしてメッセージ本文を表示して確認できるという効果がある。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１に係るメッセージ通信装置の一例を示す構成図である。
【図２】この発明の実施の形態１に係るメッセージ通信装置（親機）の一例を示す機能ブロック図である。
【図３】この発明の実施の形態１に係るメッセージ通信装置（親機）の管理テーブルの一例を示す説明図である。
【図４】この発明の実施の形態１に係るメッセージ通信装置の親機から子機に送信する撮像情報を付加したメッセージの一例である。
【図５】この発明の実施の形態１に係るメッセージ通信装置の子機から親機に送信する撮像情報を付加した返信メッセージの一例である。
【図６】この発明の実施の形態１に係るメッセージ通信装置の親機における標示板とメッセージを画像に合成した表示例である。
【図７】この発明の実施の形態１に係るメッセージ通信装置（子機）の一例を示す機能ブロック図である。
【図８】この発明の実施の形態１に係る標示板の一例を示す説明図である。
【図９】この発明の実施の形態１に係る標示板と撮像位置の仰角および方位角について説明する説明図である。
【図１０】この発明の実施の形態１に係るメッセージ通信システムに係るメッセージ交換処理の一例を示すシーケンス図である。
【図１１】この発明の実施の形態１に係るメッセージ通信装置の親機に係る標示板の見え方の情報の算出処理の一例を示す説明図である。
【図１２】この発明の実施の形態１に係るメッセージ通信システムに係るメッセージ交換処理の第１の変形例を示すシーケンス図である。
【図１３】この発明の実施の形態１に係るメッセージ通信システムに係るメッセージ交換処理の第２の変形例を示すシーケンス図である。
【図１４】この発明の実施の形態２に係るメッセージ通信装置（親機）の一例を示す機能ブロック図である。
【図１５】この発明の実施の形態２に係るメッセージ通信装置（親機）の管理テーブルの一例を示す説明図である。
【図１６】この発明の実施の形態２に係るメッセージ通信装置の親機から子機に送信する見え方の情報を付加したメッセージの一例である。
【図１７】この発明の実施の形態２に係るメッセージ通信装置（子機）の一例を示す機能ブロック図である。
【図１８】この発明の実施の形態２に係る標示板の点灯状態と消灯状態について説明する説明図である。
【図１９】この発明の実施の形態２に係るメッセージ通信システムに係るメッセージ交換処理の一例を示すシーケンス図である。
【図２０】この発明の実施の形態２に係るメッセージ通信システムに係るメッセージ交換処理の変形例を示すシーケンス図である。
【図２１】この発明の実施の形態３に係るメッセージ通信装置（親機）の一例を示す機能ブロック図である。
【図２２】この発明の実施の形態３に係るメッセージ通信装置（子機）の一例を示す機能ブロック図である。
【発明を実施するための形態】
【００１１】
以下、この発明の実施の形態に係るメッセージ通信装置およびメッセージ通信システムについて説明する。
【００１２】
実施の形態１．
この発明の実施の形態１では、子機から親機へ標示板の見え方の情報を付加したメッセージを送信して、親機で子機を示す標示板と受信したメッセージを対応付けて画面に合成して確認するものを説明する。
【００１３】
図１は、この発明の実施の形態１に係るメッセージ通信システムの一例を示す構成図である。メッセージ通信システムは、例えば災害等の発生時に救助する側となるメッセージ通信装置（以下、親機という）１０と救助される側となるメッセージ通信装置（以下、子機という）２０から構成される。親機１０は、情報処理装置１１、メッセージ入力用キーボード１２、表示装置１３、測位用アンテナ１４、通信用アンテナ１５、カメラ１６を備える。子機２０は、情報処理装置２１、メッセージ入力用キーボード２２、表示装置２３、測位用アンテナ２４、通信用アンテナ２５、標示板２６を備える。
【００１４】
図において、メッセージ通信装置の親機１０と子機２０は、無線通信でメッセージを交換するメッセージ通信システムを構成する。ここでは、メッセージ通信システムを親機１０と子機２０の１対１の構成で説明するが、１台の親機１０に対して複数の子機２０の構成、複数の子機２０に対して複数の１台の親機１０の構成、また複数対複数の構成で運用されることもありうる。情報処理装置１１、２１にコンピュータを採用してメッセージ通信装置を構成する場合、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）によりプログラムにより実行しても、拡張した専用のハードウェアで実行しても構わない。
【００１５】
親機、子機の内部構成の各要素は、明示的に結線して示したが、必ずしも通信ケーブルによる結線を意味するものではなく、無線通信を利用することもできる。なお、図示したような個別の装置、デバイスを接続するのではなく、少なくとも一部を内蔵、統合した形態や一体化した形態の構成をとっても構わない。
【００１６】
親機は、例えば救難用のヘリコプターなどに搭載される。親機側にはカメラが接続され、災害発生箇所の映像を取得する。親機の表示装置は、カメラ映像や複数の子機とのメッセージを表示できる程度の画面のものを用意し、マウスやキーボードを介さずに各種入力を行えるタッチパネル機能を備えていてもよく、画面タッチして位置を指定できればマウス（図示せず）を省略できる。また、画面上のソフトウェアキーボードを採用することで、メッセージ入力用キーボードを省略してもよい。
【００１７】
また、子機は、例えば災害発生箇所の避難所などに設置される。子機側では、標示板を遠方からでも撮像しやすいように屋上などに掲げておく。子機の測位アンテナ２４は、子機や標示板が固定設置であれば、常時必要とはならない。設置当初に測位した位置情報を記憶して利用してもよい。子機の表示装置２３は、必ずしも親機の表示装置のような高機能なものでなくてもよく、例えば設置スペースや配備コスト、発生リスクなどの関係で、親機とメッセージの交換ができる比較的小規模な表示デバイスで適宜構成してもよい。さらに、映像が表示できないテキストベースのメッセージ表示デバイスで構成することも可能である。標示板を除く子機の構成は、携帯電話、スマートホン（多機能携帯電話）、タブレット型コンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）などに内蔵される形態でもよい。
【００１８】
図２は、この発明の実施の形態１に係るメッセージ通信装置（親機）の一例を示す機能ブロック図である。図において、親機１００ａは、映像入力手段１０１、撮像情報生成手段１０２、標示板検出手段１０３、撮像情報送信手段１０４、メッセージ受信手段１０５、対応付け手段１０６、表示手段１０７ａを備える。
【００１９】
メッセージ通信装置の親機１００ａにおいて、映像入力手段１０１は、撮影した映像を入力する。撮像情報生成手段１０２は、映像の撮像情報を生成する。標示板検出手段１０３は、撮像情報に対応する映像中から所定の配置で目印が設けられた標示板を検出し、検出した標示板の画面座標と見え方の情報を出力する。撮像情報送信手段１０４は、標示板検出手段１０３が標示板を検出した映像に対応する撮像情報を付加した撮像情報メッセージを子機に送信する。メッセージ受信手段１０５は、子機から該子機が受信した撮像情報に基づいて推定した標示板の見え方の情報を含んだ返信メッセージを受信する。対応付け手段１０６は、標示板検出手段１０３が検出した標示板の見え方の情報のうち、返信メッセージに含まれる標示板の見え方の情報が一致する標示板を対応付ける。表示手段１０７ａは、対応付け手段１０６が対応付けた標示板を検出した映像に、返信メッセージの本文を、対応付け手段１０６が対応付けた標示板の画面座標の位置に関連付けて合成して表示する。
【００２０】
以下、親機１００ａを構成する各処理手段を詳しく説明する。
【００２１】
［映像入力手段１０１］
映像入力手段１０１は、例えばヘリコプターの機体や車両の車体などに取り付けたカメラであり、撮像した映像を入力する。
【００２２】
［撮像情報生成手段１０２］
撮像情報生成手段１０２は、例えば撮像情報に撮像した位置（撮像位置）を含める場合は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）衛星やＧＰＳ補完衛星（準天頂衛星）等が発する測位信号から測位用アンテナを介して測位した緯度・経度・高度で示される撮像位置データを測位する手段で構成する。また、例えば撮像情報に撮像した時刻（撮像時刻）を含める場合は、衛星が発する測位信号、または電波時計のような地上局からの標準電波に基づく正確な標準時刻を受信する手段として構成する。このように得られる撮像情報によって、メッセージ通信装置の親機と子機の間で処理や判定の同期を図れるようにする。撮像情報として、撮像位置と撮像時刻の両方を適用してもよい。ここでは、撮像位置と撮像時刻の両方を適用するものとして説明する。
【００２３】
［標示板検出手段１０３］
標示板検出手段１０３は、映像入力手段１０１から入力された映像を解析し、映像に映っている標示板を検出する。映像の解析は、情報処理装置を構成するコンピュータがプログラムを実行して処理してもよいし、また解析処理回路を用意して行ってもよい。映像のフレーム（以下、画像ともいう。）または連続するフレーム群を解析して標示板を検出し、撮像情報生成手段１０２が生成した撮像情報に基づく見え方の情報と画面座標を内部の記憶手段１５１（図示せず）に記憶し、標示板に対応して出力する。ここでは、見え方の情報として方位角と仰角を用いるものとするが、これらの算出の詳細については後述の親機による標示板検出処理で説明する。連続するフレーム群に対しては、見え方の情報が共通となる標示板を追跡して対応付けておいてもよい。
【００２４】
［記憶手段１５１］
記憶手段１５１は、標示板検出手段１０３が検出した標示板の見え方と画面座標に撮像情報生成手段１０２が生成した撮像情報を管理するテーブルと、テーブルの情報に対応した画像、映像入力手段１０１で撮像された映像などを記憶する。記録する映像は、映像入力手段１０１が撮像したすべての映像でなくてもよく、例えば親機のオペレータが必要と判断した映像シーンのみを記録するようにするなど、記憶容量に応じた記録を行っても構わない。管理テーブルには、１枚の画像に複数の標示板が検出されて登録される場合もある。テーブルの情報に対応した画像は、映像中から対応フレームを抽出することで管理してもよい。なお、撮像時刻には時分秒だけによって運用してもよいし、システム運用が長引く場合は年月日も合わせて運用してもよく、また、秒より細かい単位まで管理してもよい。
【００２５】
図３は、この発明の実施の形態１に係るメッセージ通信装置（親機）の管理テーブルの一例を示す説明図である。図において、撮像情報は、撮像位置（変数＃ｐｏｓｉｔｉｏｎ）として、緯度、経度、高度、撮像時刻として、年月日（変数＃ｄａｔｅ）、時分秒（変数＃ｔｉｍｅ）を登録する。見え方の情報は、方位角（変数＃ａｚｉｍｕｔｈ）、仰角（変数＃ｅｌｅｖａｔｉｏｎ）を登録する。画面座標は、標示板を検出した画像上の水平方向の座標Ｘと垂直方向の座標Ｙを登録する。なお、メッセージに付加される際の項目名を＃で始まる変数で示した。
【００２６】
［撮像情報送信手段１０４］
撮像情報送信手段１０４は、標示板検出手段１０３が標示板を検出した画像に対応する撮像位置および撮像時刻を含む撮像情報を付加したメッセージを無線通信により子機に対して一斉同報送信する。ここで、親機は、標示板の見え方の情報を送信先として特定される子機にメッセージを送信するが、一斉同報送信を用いている。
【００２７】
図４は、この発明の実施の形態１に係るメッセージ通信装置の親機から子機に送信する撮像情報を付加したメッセージの一例である。ここでは、撮像情報として撮像位置と撮像時刻（以下、メッセージに付加する撮像時刻の年月日は省略して説明する。）の情報を空のメッセージに付加する。
【００２８】
［メッセージ受信手段１０５］
メッセージ受信手段１０５は、撮像情報送信手段１０４から子機に送信した撮像情報を付加したメッセージに対して、子機が無線通信により返信したメッセージを受信する。この子機からの返信メッセージには、返信元の子機を識別する標示板の見え方の情報が付加されている。子機が受信した撮像情報の撮像時刻が付加されて返信された場合は、親機に記憶された画像をより正確に対応させるために用いることができる。
【００２９】
図５は、この発明の実施の形態１に係るメッセージ通信装置の子機から親機に送信する撮像情報を付加した返信メッセージの一例である。返信メッセージには、例えば「水が不足しています」などのメッセージ本文が付加されている。ここで、子機は、標示板の見え方の情報を返信元として示してメッセージを返信してきている。
【００３０】
［対応付け手段１０６］
対応付け手段１０６は、標示板検出手段１０３が検出した標示板の見え方の情報とメッセージ受信手段１０５が子機から受信した返信メッセージに付加された標示板の見え方の情報とを照合する。標示板の見え方の情報が一致する場合には両者を対応付ける。この照合処理により、返信されたメッセージと返信元である子機を示す標示板が対応付けられ、返信メッセージに付加された撮像時刻で特定された画像上の標示板の画面座標を得ることができる。
【００３１】
ここで、先に説明した撮像情報送信手段１０４が送信するメッセージとメッセージ受信手段１０５が受信するメッセージには撮像時刻が付加されているが、親機が子機の標示板が検出された画像を特定できる場合は、撮像時刻が付加されずに返信されても構わない。これは、親機から画像を限定して撮像情報を送信する場合、また撮像情報の送信間隔を広く取ってその返信の時刻制限を設けた場合などは、撮像時刻が付加されず返信されても画像の特定ができるようになる。
【００３２】
なお、照合処理では、親機と子機の見え方の情報の検出精度が異なる場合を考慮して、完全一致でなくても、所定の閾値内の誤差であれば一致と判断してもよい。このとき、以降の同一子機からのメッセージに付加される標示板の見え方の情報は同一内容となると考えられるため、標示板検出手段１０３が検出した標示板の見え方の情報をメッセージ受信手段１０５が子機から受信した返信メッセージに付加された標示板の見え方の情報に修正してもよい。
【００３３】
［表示手段１０７ａ］
表示手段１０７ａは、映像入力手段１０１が撮像した映像、標示板検出手段１０３が解析して標示板を検出した画像を表示する。また、標示板を検出した画像に対して、例えば指定された座標位置に標示板のマークやアイコン（以下、マークと総称する。）、また当該標示板のマークと標示板に対応した子機から受信したメッセージ本体を合成して表示する。
【００３４】
図６は、この発明の実施の形態１に係るメッセージ通信装置の親機における標示板とメッセージを画像に合成した表示例である。親機において、標示板検出手段１０３が解析して標示板を検出した画像（上）と、標示板を検出した画面座標にマークとメッセージ枠を合成した画像（下）を示す。この合成画像では、２つの子機（標示板１、標示板２）が検出され、標示板からメッセージを受信した場合を示している。表示する標示板のマークは、標示板が複数ある場合には、メッセージを受信したものや、標示板までの距離などの観点から大きさや強調度、輝度、点滅などで特徴付けて変化を持たせてもよい。
【００３５】
表示手段１０７ａの画面上に表示する受信メッセージ本体は、標示板の画面座標上またはその付近に表示し、例えばメッセージ枠内に表示し、対応する標示板の位置を示す画面座標に対して、メッセージ枠を吹き出し形状にしたり、または画面座標とメッセージ枠を引出し線で結ぶことで、画面上の標示板の検出位置を隠さないように対応を明示してもよい。さらに、メッセージ枠の背景は、メッセージの文字色が明確に表示されるように色付けてもよく、また画面の表示を妨げない透過色としてもよい。
【００３６】
このように、標示板を検出した画像と受信したメッセージを対応させ、合成表示することで、複数の標示板が検出されていたとしても、親機のオペレータは実際の映像の中にメッセージ送信元の居場所を位置づけて把握することができるようになる。
【００３７】
図７は、この発明の実施の形態１に係るメッセージ通信装置（子機）の一例を示す機能ブロック図である。図において、子機２００ａは、標示板２０１、撮像情報受信手段２０２、見え方推定手段２０３、メッセージ送信手段２０４を備える。
【００３８】
メッセージ通信装置の子機２００ａにおいて、標示板２０１は、平面上に所定の配置で目印を設けて標示するものである。撮像情報受信手段２０２は、親機から該親機が撮影した映像の撮像情報を付加された撮像情報メッセージを受信する。見え方推定手段２０３は、撮像情報受信手段２０２が受信した撮像情報に基づいて標示板の見え方の情報を推定する。メッセージ送信手段２０４は、見え方推定手段２０３が推定した標示板の見え方の情報を付加した返信メッセージを親機に送信する。
【００３９】
以下、子機２００ａを構成する各処理手段を詳しく説明する。
【００４０】
［標示板２０１］
標示板２０１は、平面上に所定の配置で目印を設けて標示した盤であるが、その構成を説明する。
【００４１】
図８は、この発明の実施の形態１に係る標示板の一例を示す説明図である。図において、標示板は板の上に描いた円形のマークと、円形マークの中心および周上に目印として配置した４つの発光素子から構成される。この標示板は、遠方から撮像しやすい形態とし、建物の屋上などに設置する。標示板は、例えば災害発生時になって掲示するのではなく、避難所に指定された主要な建物の屋上など常時設置しておいても構わない。
【００４２】
標示板の具体的な掲示方法として、例えば標示板は水平に設置し、この際、円形のマークの周上の発光素子Ｎ、Ｅ、Ｗがそれぞれ中心の発光素子Ｏから見て北方向、東方向、西方向となるように方位を合わせて配置するものとする。このように構成することで、円周上の３つの発光素子の見え方は撮像位置の方位角によって変化して見える。南方向には発光素子を配置しないので、異なる方位角から撮像した見え方が同じになることはない。
【００４３】
なお、ここでは、標示板の上に円形のマークを描き、周上に発光素子を配置するものとしたが、円形のマークの代わりに、例えば正方形や正多角形などの図形のマークを適用しても構わない。図形のマークの周上に目印とする発光素子は、円形のマークと同様に撮像された映像から方位を判定することができるように配置しておけばよい。
【００４４】
［撮像情報受信手段２０２］
撮像情報受信手段２０２は、親機１００ａの撮像情報送信手段１０３から無線通信により一斉同報送信された撮像情報が付加されたメッセージを受信する（図４）。
【００４５】
［見え方推定手段２０３］
像推定手段２０３は、撮像情報受信手段２０２が受信した撮像情報に示された撮像位置および撮像時刻の情報に基づき、標示板の見え方の情報を推定し、内部の記憶手段２５１（図示せず）に記憶し、また出力する。ここでは、見え方の情報として親機と同様に方位角と仰角を用いるものとするが、これらの算出の詳細については後述の子機による見え方推定処理で説明する。
【００４６】
図９は、この発明の実施の形態１に係る標示板と撮像位置の仰角および方位角について説明する説明図である。図において、例えば災害時の救助ヘリコプターに搭載された親機のカメラ（映像入力手段１０１）により斜め上方から表示板を撮像したとすると、円形のマークや周上の発光素子の配置は歪んで見えるが、その見かけ上の歪みの程度は標示板から撮像位置を見る仰角によって変化する。なお、方位角は、例えば北方向を基準として示すものとする。
【００４７】
［記憶手段２５１］
記憶手段２５１は、見え方推定手段２０３が推定した標示板の見え方と撮像情報受信手段２０２が受信したメッセージに付加された撮像情報を記憶する。ここでは、撮像情報は、時分秒（変数＃ｔｉｍｅ）を記憶する。見え方の情報は、方位角（変数＃ａｚｉｍｕｔｈ）、仰角（変数＃ｅｌｅｖａｔｉｏｎ）を記憶する。なお、撮像情報の撮像位置（変数＃ｐｏｓｉｔｉｏｎ）として、緯度、経度、高度、撮像時刻として、年月日（変数＃ｄａｔｅ）は、親機へ送信するメッセージに含めない運用であるときでも、記憶するようにしてもよい。
【００４８】
［メッセージ送信手段２０４］
メッセージ送信手段２０４は、見え方推定手段２０３が推定した標示板の見え方の情報を送信元の識別情報としてメッセージに付加して親機１００ａに無線通信により送信する（図５）。
【００４９】
次に、図１０は、この発明の実施の形態１に係るメッセージ通信システムに係るメッセージ交換処理の一例を示すシーケンス図である。このシーケンスに沿って、この発明のメッセージ通信システムの親機１００ａ、子機２００ａの動作について説明する。
【００５０】
［標示板設置］
メッセージ通信装置の子機側では、親機から映像撮影される前に、発光素子Ｎ、Ｅ、Ｗの方位を合わせて標示板２０１を設置しておく。
【００５１】
［映像撮影処理］
メッセージ通信装置の親機の映像入力手段１０１（カメラ）は映像を撮影し、撮像情報生成手段１０２は撮像情報を生成する。
【００５２】
［標示板検出処理］
親機の標示板検出手段１０３は、カメラ（映像入力手段１０１）で撮像した映像中から標示板を検出する。
【００５３】
まず、親機においてカメラから映像中の１フレームの画像をディジタル化された２次元画像データとして取り込む。
【００５４】
次に、画像を構成する画素の２次元配列を解析し、円形のマークおよびその周上に３つの発光素子が検出された場合にこれを標示板とみなす。円形のマークは、斜め上方から撮像すると楕円形になるため、楕円形を検出する処理を行う。楕円形の検出方法としては、ハフ変換による方法などが知られている。また、発光素子は、周囲と比べて特に輝度の高い箇所を抽出することにより検出する。例えば、輝度の高い画素が複数集中してあるとき、集中した部分の画素座標の平均や重心を発光素子の位置としてもよい。
【００５５】
図１１は、この発明の実施の形態１に係るメッセージ通信装置の親機に係る標示板の見え方の情報の算出処理の一例を示す説明図である。図において、画像中に検出した標示板の見え方の情報は、例えば仰角と方位角として算出するものとする。
【００５６】
まず、仰角を算出する方法について説明する。標示板の円形マークは、斜め上空から撮影されることで、通常は画像中に楕円形状で検出される。楕円の形状は、撮像位置の仰角によって歪みの程度が異なる。図１１（ａ）に示すように、撮像された楕円の長軸の長さをａ、短軸の長さをｂとし、仰角αを次式（式１）によって計算する。ここで、ａｒｃｓｉｎは逆正弦関数を示す。
【００５７】
【数１】
2014106858.tif 000003
【００５８】
次に、方位角を算出する方法について説明する。標示板の円形マークの周上の３つの発光素子は図１１（ｂ）に示すように楕円形の周上に存在するが、図１１（ｃ）に示すように標示板を真上から見たときの配置を（式１）で計算した仰角αに基づいて推定する。このとき、標示板中心から見て北方向にある発光素子Ｎに着目し、発光素子Ｎの位置を標示板の中心を原点とした画像平面上での相対座標（ｘ，ｙ）により表現する。ここで、例えば図１１（ｂ）では、ｘ軸は画像の右方向、ｙ軸は画像の上方向をそれぞれ正の方向とする。また、図１１（ｃ）では、標示板の中心を原点とする水平面を座標平面とし、原点からカメラを見る方向をＹ軸、原点からカメラに向かって右手の方向をＸ軸とする座標（Ｘ，Ｙ）により表現する。このように表現したｘｙ座標系の座標（ｘ，ｙ）からＸＹ座標系の座標（Ｘ，Ｙ）への変換を次式（式２）によって定義する。ここで、ｓｉｎは正弦関数を示す。
【００５９】
【数２】
2014106858.tif 000004
【００６０】
さらに、図１１（ｃ）に示す方位角βを次式（式３）によって計算する。ここで、ａｒｃｔａｎは逆正接関数を示す。
【００６１】
【数３】
2014106858.tif 000005
【００６２】
このように、撮像された円形マークの歪みから仰角、また円周上の発光素子の配置から方位角を決定することができる。
【００６３】
なお、カメラで撮像された画像上の位置を示す座標と、実空間における撮像対象の位置を示す座標の間の座標変換を行うためには投影モデルを規定する必要がある。ここでは、標示板検出手段１０３において仰角や方位角を推定する際に正射投影モデルを仮定した。この正射投影モデルは画角が広くなるとずれが大きくため、親機と子機の距離が近くなると誤差が大きくなる可能性がある。その場合は、透視投影モデルを用いると、より精度良く仰角や方位角を推定することができる。
【００６４】
なお、標示板に円形マークを描かず、４つの目印となる発光素子だけが存在する場合でも、描かれていない円マークを想定し、標示板上に直角二等辺三角形に配置された発光素子Ｎ、Ｅ、Ｗを判別することができる。例えば、図８に示されるような発光素子の４点のうち、直線状に並ぶ３点Ｅ、Ｏ、Ｗによる直線ＥＷを底辺とし、残る点Ｎを直角の頂点とする直角二等辺三角形とみなし、３点Ｎ、Ｅ、Ｗが周上に収まる楕円を仮想的に設定することで、図１１（ａ）で説明した仰角αを算出し、続けて方位角βも算出できる。
【００６５】
このように、標示板検出手段１０３は、画像を解析して映っている標示板を検出し、検出した標示板についてカメラの方位角・仰角等の見え方の情報と画面座標を出力する。
【００６６】
［記憶処理（親機）］
親機の標示板検出手段１０３内部の記憶手段１５１は、撮像された映像、標示板が検出された画像、撮像情報、標示板の見え方の情報、画面座標等の管理情報を管理テーブルに記憶する。
【００６７】
［撮像情報送信処理］
親機の撮像情報送信手段１０４は、撮像情報を付加したメッセージを子機に向けて無線通信により送信する。
【００６８】
［撮像情報受信処理］
子機の撮像情報受信手段２０２は、撮像情報を付加したメッセージを親機から無線通信により受信する。
【００６９】
［見え方推定処理］
子機の見え方推定手段２０３は、受信した撮像情報に基づき見え方の情報を推定する。例えば次の手順により方位角と仰角を推定する。
【００７０】
１）撮像位置の取得
親機から受信した撮像情報から緯度・経度・高度により表現された撮像位置を得る。
【００７１】
２）標示板の位置の取得
ＧＰＳ等を用いた測位手段により、標示板の位置を緯度・経度・高度により表現する。子機の測位手段を常備するときには、子機または標示板に接続する。また、例えば標示板を常備するときには、設置時に、衛星が発する測位信号等から測位して設置位置の情報を記憶しておくこともでき、また地図上から設置位置の情報を読み取って記憶しておいてもよい。
【００７２】
３）方位角と仰角の算出
標示板の位置を原点とし、東をＸ軸、北をＹ軸、天頂方向をＺ軸とする直交座標系を考え、親機から受信した撮像情報の撮像位置の緯度・経度・高度をこの座標系に変換する。方位角は、次式（式４）により算出する。ここで、ａｒｃｔａｎは逆正接関数を示す。
【００７３】
【数４】
2014106858.tif 000006
【００７４】
また、仰角は、次式（式５）により算出する。ここで、ａｒｃｃｏｓは逆余弦関数を示す。
【００７５】
【数５】
2014106858.tif 000007
【００７６】
このように、見え方推定手段２０３は、撮像情報に基づき、仰角、方位角による標示板の見え方の情報を推定することで、この子機自身の標示板が親機の映像にどのように映っているかを推定する。
【００７７】
［記憶処理（子機）］
子機の見え方推定手段２０３内部の記憶手段２５１は、見え方推定手段２０３が推定した子機（標示板）の見え方の情報と親機から撮像情報受信手段２０２が受信した撮像情報などを記憶する。記憶した見え方の情報と撮像情報の撮像時刻は、親機に送信する返信メッセージに付加される。
【００７８】
［メッセージ送信処理（子機）］
子機のメッセージ送信手段２０４は、親機に向けて標示板の見え方の情報と撮像時刻を付加した返信メッセージを無線通信により送信する。
【００７９】
［メッセージ受信処理（親機）］
親機のメッセージ受信手段１０５は、子機から標示板の見え方の情報を付加した返信メッセージを無線通信により受信する。
【００８０】
［対応付け処理］
親機の対応付け手段１０６は、子機から受信した返信メッセージに付加された標示板の見え方の情報と標示板検出手段１０３が検出した標示板の見え方の情報と撮像時刻を照合し、一致した両者を対応付ける。対応付けられた標示板検出手段１０３が検出した標示板の画面座標と子機から受信したメッセージ本文が関係付けられる。
【００８１】
［合成表示処理］
親機の表示手段１０７ａは、対応付け手段１０６が対応付けた標示板について、標示板検出手段がその標示板を検出した画像上の画面座標にメッセージ本文を合成して表示する。
【００８２】
ここで、この発明の実施の形態１では、第１の変形例として、映像入力手段１０１（カメラ）は映像を撮影し、撮像情報生成手段１０２は撮像情報を生成し、撮像情報送信手段１０４が子機に撮像情報を送信し、記憶手段１５１が撮像情報とその撮像情報を記憶しておき、メッセージ受信手段１０５が子機から返信メッセージを受信した後、標示板検出手段１０３が画像から標示板を検出するようにしてもよい。図１２は、この発明の実施の形態１に係るメッセージ通信システムに係るメッセージ交換処理の第１の変形例を示すシーケンス図であるが、先に説明した図１０の映像撮像処理と標示板検出処理の間には、撮像情報とその撮像情報を記憶する第１の記憶処理（記憶処理（１））を行い、メッセージ受信処理と対応付け処理の間に、返信メッセージに対応する画像から標示板の見え方の情報と画面座標を検出する標示板検出処理と、標示板の見え方の情報と画面座標を記憶する第２の記憶処理（記憶処理（２））を行い、返信メッセージに付加された見え方の情報に基づいて、画像の探索範囲、標示板の楕円の扁平率の対応範囲を限定することが可能となる。標示板の楕円の扁平率を絞り込むことで、テンプレートマッチングなどの単純で負荷の小さい手法が利用でき、また同時に探索範囲を小さく絞り込むことで、より確実に、また短時間で標示板を検出することができる。また、標示板検出処理と第２の記憶処理が完了した時点で、次の対応付け処理も完了することになり、その対応付けの処理も簡略化し、処理時間の短縮が図れる。
【００８３】
また、第２の変形例として、撮像情報送信手段１０４は、撮像情報生成手段１０２が生成した撮像情報を送信だけし、この時点では映像の撮像は行わず、メッセージ受信手段１０５が子機から返信メッセージを受信した後、映像入力手段１０１（カメラ）は映像を撮影し、撮像情報生成手段１０２は撮像情報を生成し、標示板検出手段１０３が画像から標示板を検出するようにしてもよい。図１３は、この発明の実施の形態１に係るメッセージ通信システムに係るメッセージ交換処理の第２の変形例を示すシーケンス図であるが、先に説明した図１０の映像撮像処理から標示板検出処理の間には、図示しない撮像情報生成処理と生成した撮像処理の記憶処理のみ行い、メッセージ受信処理と対応付け処理の間に、返信メッセージに対応する標示板の見え方の情報から撮像すべき地点を推定して標示板を撮像する映像撮影処理と、返信メッセージに対応する標示板の見え方の情報とあらたに撮像した画像から標示板の見え方の情報と画面座標を検出する標示板検出処理と、映像、画像、標示板の見え方の情報、画面座標を記憶する記憶処理を行い、返信メッセージに付加された見え方の情報に基づいて、画像の探索範囲、標示板の楕円の扁平率の対応範囲を前後２つの撮像情報間で補正して限定して標示板を検出することが可能となる。よって、第１の変形例と同様の効果が得られる。また、返信メッセージを送付してきた子機（標示板）が存在する地点が映るように撮像できるようになる。
【００８４】
ここで、この発明の実施の形態１に係るメッセージ通信システムにおいては、親機が撮像位置および撮像時刻の少なくとも１つを含む撮像情報を付加した撮像情報メッセージを子機へ送信し、子機が見え方の情報と撮像時刻を付加した返信メッセージを親機へ送信するものについて説明した。この発明のメッセージ通信システムの運用構成別にメッセージに付加する撮像情報と見え方の情報を考える。
【００８５】
親機が１台の場合、親機が１枚の画像に対する撮像情報を付加した撮像情報メッセージを子機へ送信するときには、撮像情報は一意に決まるので、返信メッセージと画像が１対１で対応可能であり、返信メッセージに撮像情報がなくても、見え方の情報に基づいて得られる画面座標に標示板とメッセージ本文を画像上に合成することができる。
【００８６】
一方、親機が複数の画像に対する撮像情報を付加した撮像情報メッセージを子機へ送信するときには、返信メッセージが対応する撮像情報メッセージを撮像時刻で特定すればよく、返信メッセージに見え方の情報とともに少なくとも撮像時刻が付加されることで親機が画像を特定できるようになり、同様に画面上に合成できる。
【００８７】
さらに、親機が２台以上の場合、撮像情報メッセージを送信した親機も返信メッセージから特定しなければならないため、各親機が送信する撮像情報メッセージの数によらず、返信メッセージに見え方の情報とともに撮像位置と撮像時刻が付加されることで親機自身が返信先か判断でき、親機自身宛であれば撮像時刻から画像を特定でき、同様に画面上に合成できる。
【００８８】
このように、この発明の実施の形態１に係るメッセージ通信システムによれば、親機が検出した標示板に対応する画像の撮像情報を子機に送り、子機から標示板の見え方の情報を付加してメッセージを返信してもらい、見え方の情報を照合するようにしたので、親機は検出した標示板が複数あっても正確に子機を対応付け、標示板の画面座標の位置をメッセージ送信元の子機の位置として画像上で把握することができる。
【００８９】
また、この発明の実施の形態１に係るメッセージ通信システムによれば、画面上に表示されたメッセージ送信元の子機と送信してきたメッセージ本文を合成して表示するようにしたので、子機周辺の状況、環境を見ながら子機の要求を確認することができる。
【００９０】
実施の形態２．
先に説明したこの発明の実施の形態１では、子機から親機へ標示板の見え方の情報を付加したメッセージを送信して、親機で子機を示す標示板と受信したメッセージを対応付けて画面に合成して確認するものを説明した。この発明の実施の形態２では、子機から親機へメッセージを送信せず、最初に受信した撮像情報から子機自身を示す標示板の見え方を推定し、以降の親機からの受信メッセージに推定した標示板の見え方が付加されているときに当該子機に宛てたメッセージと判断し、メッセージを表示して確認するものを説明する。また、この発明の実施の形態２では、標示板上の目印である発光素子の点灯・消灯状態の情報を追加検出して、標示板の見え方の情報とするものについて説明する。
【００９１】
図１４は、この発明の実施の形態２に係るメッセージ通信装置（親機）の一例を示す機能ブロック図である。図において、親機１００ｂは、映像入力手段１０１、撮像情報生成手段１０２、標示板検出手段１０３、撮像情報送信手段１０４、表示手段１０７ｂ、座標指定手段１０８、標示板指定手段１０９、メッセージ送信手段１１０を備える。
【００９２】
メッセージ通信装置の親機１００ｂにおいて、表示手段１０７ｂは、子機に送信した撮像情報に対応した映像を表示する。座標指定手段１０８は、表示手段１０７ｂの表示画面上の画面座標を指定する。標示板指定手段１０９は、表示手段１０７ｂに表示された映像に対応して標示板検出手段１０３が検出した標示板の画面座標のうち、当該映像に対して座標指定手段１０８が指定した画面座標と一致する標示板を指定する。メッセージ送信手段１１０は、標示板指定手段１０９が指定した標示板の見え方の情報を送信メッセージに付加して子機に送信する。ここで、映像入力手段１０１、撮像情報生成手段１０２、標示板検出手段１０３、撮像情報送信手段１０４は、図２に示したこの発明の実施の形態１に係るメッセージ通信装置（親機）において、同一符号を付した各手段に相当するものであるので、その説明を一部省略する。
【００９３】
以下、親機１００ｂを構成する各処理手段を詳しく説明する。
【００９４】
［標示板検出手段１０３］
標示板検出手段１０３は、映像入力手段１０１から入力された映像を解析し、映像に映っている標示板を検出する。画像または連続する画像群を解析して標示板を検出し、撮像情報生成手段１０２が生成した撮像情報に基づく見え方の情報と画面座標を内部の記憶手段１５１（図示せず）に記憶し、標示板に対応して出力する。ここでは、見え方の情報として実施の形態１で説明した方位角と仰角、また標示板上の目印である発光素子の点灯・消灯状態の情報を用いるものとするが、点灯・消灯状態の情報の詳細については後述の親機による標示板検出処理で説明する。
【００９５】
図１５は、この発明の実施の形態２に係るメッセージ通信装置（親機）の管理テーブルの一例を示す説明図である。図において、この発明の実施の形態１に係る管理テーブル（図３）の見え方の情報を示す項目に、点灯／消灯（＃ｌｉｇｈｔ）を追加登録する。
【００９６】
［撮像情報送信手段１０４］
撮像情報送信手段１０４は、標示板検出手段１０３が標示板を検出した画像に対応する撮像位置および撮像時刻を含む撮像情報を付加したメッセージ（例えば、図４）を無線通信により子機に対して一斉同報送信する。
【００９７】
なお、画像に複数の標示板が検出されているとき、点灯／消灯状態を示す見え方の情報が点灯または消灯が１つのみとなる標示板の組合せの画像を選択して、その撮像時刻の撮像情報を送信することで、後のメッセージ送信で１つのみの点灯または消灯している標示板を宛先に特定しやすくしてもよい。
【００９８】
［表示手段１０７ｂ］
表示手段１０７ｂは、標示板検出手段１０３が標示板を検出した画像を表示する。標示板検出手段１０３によって検出された標示板の画面座標に標示板を示す図形やマークを明示してもよい。
【００９９】
［座標指定手段１０８］
座標指定手段１０８は、例えばタッチパネルやマウスなどのポインティングデバイスにより親機のオペレータが指し示した映像中の一点の画面座標を入力して指定する。標示板は、例えば親機のオペレータが表示手段１０７ｂの画面上に視認した標示板に位置を入力してもよいが、標示板検出手段１０３によって検出された標示板の画面座標に標示板を示す図形やマークを明示しておく場合は、マーク上やその近傍の位置を入力された標示板を選択する。
【０１００】
［標示板指定手段１０９］
標示板指定手段１０９は、標示板検出手段１０３が検出した標示板の画面座標と座標指定手段１０８が指定した画面座標を比較することにより標示板を特定し、特定した標示板の見え方の情報を出力する。例えば、親機のオペレータが指定した映像中の一点から許容される誤差の範囲内に含まれる標示板候補を選択する。また、この誤差の範囲を円や楕円などの図形で明示し、その図形内部に含まれる標示板候補が選択されるようにしてもよい。
【０１０１】
［メッセージ送信手段１１０］
メッセージ送信手段１１０は、標示板指定手段１０９が特定した標示板の見え方の情報と撮像情報の撮像時刻をメッセージに付加したメッセージを無線通信により送信する。
【０１０２】
図１６は、この発明の実施の形態２に係るメッセージ通信装置の親機から子機に送信する見え方の情報を付加したメッセージの一例である。また、メッセージには、例えば「今から救助に行きます」などのメッセージ本文が付加する。ここで、親機は、標示板の点灯／消灯状態を含めた見え方の情報を送信先として示してメッセージを送信している。
【０１０３】
図１７は、この発明の実施の形態２に係るメッセージ通信装置（子機）の一例を示す機能ブロック図である。図において、子機２００ｂは、標示板２０１、撮像情報受信手段２０２、見え方推定手段２０３、メッセージ受信手段２０５、メッセージ表示手段２０６を備える。
【０１０４】
メッセージ通信装置の子機２００ｂにおいて、メッセージ受信手段２０５は、親機からメッセージを受信し、受信したメッセージに見え方推定手段２０３が推定した標示板の見え方の情報が付加されている場合に、メッセージ本文を出力する。メッセージ表示手段２０６は、メッセージ受信手段２０５が出力したメッセージ本文を表示する。ここで、標示板２０１、撮像情報受信手段２０２、見え方推定手段２０３は、図７に示したこの発明の実施の形態１に係るメッセージ通信装置（子機）において、同一符号を付した各手段に相当するものであるので、その説明を一部省略する。
【０１０５】
以下、子機を構成する各処理手段を詳しく説明する。
【０１０６】
［撮像情報受信手段２０２］
撮像情報受信手段２０２は、親機１００ｂの撮像情報送信手段１０３から無線通信により一斉同報送信された撮像情報が付加されたメッセージを受信する（図１４）。
【０１０７】
［見え方推定手段２０３］
像推定手段２０３は、撮像情報受信手段２０２が受信した撮像情報に示された撮像位置および撮像時刻の情報に基づき、標示板の見え方の情報を推定し、内部の記憶手段２５１（図示せず）に親機から受信した撮像情報に含まれる撮像時間から判定した子機（標示板）自身の点灯／消灯状態を加えた見え方の情報を記憶し、また出力する。ここでは、見え方の情報として親機と同様に方位角と仰角、また標示板上の目印である発光素子の点灯・消灯状態の情報を用いるものとする。
【０１０８】
また、図１８は、この発明の実施の形態１に係る標示板の点灯状態と消灯状態について説明する説明図である。図において、４つの発光素子は常時点灯させておいてもよいが、発光素子のうち、円形マークの周上の発光素子Ｎ、Ｅ、Ｗは常時点灯させておき、中心部の発光素子Ｏを点灯（ＯＮ）または消灯（ＯＦＦ）させ、遠方から点灯または消灯の状態を視認できるようにしてもよい。このとき、発光素子Ｏの点灯と消灯は、例えば子機から制御し、時刻を指定すればその時点の点灯と消灯の状況がわかるようにしておく。
【０１０９】
ここで、子機から標示板の発光素子Ｏの点灯／消灯を制御して、例えば毎分０秒から６０秒の間を５秒毎に１２の時間帯にわけ、子機(標示板)ごとに決まった時間帯だけ点灯するようにする。即ち、例えばある標示板は毎分０秒から５秒まで、別の標示板は毎分１５秒から２０秒まで点灯するようにする。このように構成すれば、子機によって各時刻の点灯・消灯の状態は異なる見え方となる。
【０１１０】
［メッセージ受信手段２０５］
メッセージ受信手段２０５は、親機から送信されたメッセージに付加された見え方の情報を子機自身の見え方の情報と比較して、見え方の情報が一致するとき、メッセージ本文を出力する（図１６）。
【０１１１】
なお、比較処理では、見え方の情報のうち、仰角と方位角については、親機と子機の検出精度が異なる場合を考慮して、完全一致でなくても、所定の閾値内の誤差であれば一致と判断してもよい。このとき、以降の親機からのメッセージに付加される標示板の見え方の情報は同一内容となると考えられるため、見え方推定手段１０３が推定した標示板の見え方の情報をメッセージ受信手段２０５が親機から受信したメッセージに付加された標示板の見え方の情報に修正してもよい。
【０１１２】
［メッセージ表示手段２０６］
メッセージ表示手段２０６は、メッセージ受信手段２０５が出力したメッセージ本文を表示する。例えば、受信したメッセージに付加された「今から救助に行きます」などのメッセージ本文を表示する。
【０１１３】
次に、この発明のメッセージ通信システムの親機、子機の動作について説明する。まず、図１９は、この発明の実施の形態２に係るメッセージ通信システムに係るメッセージ交換処理の一例を示すシーケンス図である。子機による見え方の推定処理までの処理は、図１０に示したこの発明の実施の形態１に係るメッセージ通信システムに係るメッセージ交換処理において同一名称を付した処理に相当するものであり、その説明を一部省略する。
【０１１４】
［標示板検出処理］
親機の標示板検出手段１０３は、カメラ（映像入力手段１０１）で撮像した映像中から標示板を検出する。見え方の情報の仰角と方位角は、この発明の実施の形態１に係るメッセージ通信システムの標示板検出処理で説明した手順で同様に算出する。
【０１１５】
見え方の情報の点灯／消灯状態を判定する。先に説明した図１８に示すように標示板の中心の発光素子Ｏが点灯しているかどうかにより標示板の点灯状態と消灯状態を区別する。例えば円形マークの外接長方形を手がかりに、その対角線の交点を調べ、発光素子Ｏの点灯／消灯の状態を判定する。また、検出された標示板の円形マーク（画像上では楕円形）の外接長方形の対角線の交点（中心）を標示板の画面座標とする。
【０１１６】
このように、標示板検出手段１０３は、画像を解析して映っている標示板を検出し、検出した標示板についてカメラの方位角・仰角、発光素子の点灯／消灯の区別等の見え方の情報と画面座標を出力する。
【０１１７】
［撮像情報送信処理］
親機の撮像情報送信手段１０４は、撮像情報を付加したメッセージを子機に向けて無線通信により送信する。
【０１１８】
［撮像情報受信処理］
子機の撮像情報受信手段２０２は、撮像情報を付加したメッセージを親機から無線通信により受信する。
【０１１９】
［見え方推定処理］
子機の見え方推定手段２０３は、受信した撮像情報に基づき見え方の情報を推定する。見え方の情報の仰角と方位角は、この発明の実施の形態１に係るメッセージ通信システムの見え方推定処理で説明した手順で同様に算出する。
【０１２０】
見え方の情報の点灯／消灯状態は、子機に対応する標示板自身における過去の点灯および消灯の記録と、受信した撮像情報の撮像時刻の情報を照合し、撮像時刻に標示板が点灯していたか、消灯していたかを判定する。
【０１２１】
このように、見え方推定手段２０３は、撮像情報に基づき、仰角、方位角、点灯・消灯の区別による標示板の見え方の情報を推定することで、この子機自身の標示板が親機の映像にどのように映っているかを推定する。
【０１２２】
［記憶処理（子機）］
子機の見え方推定手段２０３内部の記憶手段２５１は、見え方推定手段が推定した子機（標示板）の見え方の情報と親機から撮像情報受信手段が受信した撮像情報の撮像時刻を記憶する。記憶した見え方の情報と撮像時刻は、親機から受信するメッセージに付加された情報と照合して、子機自身に宛てられたメッセージであるか否かを判断する際に参照される。
【０１２３】
［標示板指定処理］
親機の表示手段１０７ｂは、標示板検出手段１０３が標示板を検出した画像を表示する。標示板検出手段１０３によって検出された標示板の画面座標に標示板を示す図形やマークを明示してもよい。座標指定手段１０８は、親機のオペレータが指し示した画像中の一点の画面座標を入力して指定する。
【０１２４】
親機の標示板指定手段１０９は、標示板検出手段１０３が検出した標示板の画面座標と座標指定手段１０８が指定した画面座標を比較することにより標示板を特定し、特定した標示板の見え方の情報を出力する。
【０１２５】
［メッセージ送信処理（親機）］
親機のメッセージ送信手段１１０は、標示板の見え方の情報と撮像情報の撮像時刻を付加したメッセージを子機に向けて無線通信により送信する。このメッセージには、メッセージ本文が添えられている。ここで、親機は、標示板の見え方の情報を送信先として示してメッセージを送信している。
【０１２６】
［メッセージ受信処理（子機）］
子機のメッセージ受信手段２０５は、標示板の見え方の情報と撮像情報の撮像時刻を付加したメッセージを親機から無線通信により受信し、受信した見え方の情報と撮像時刻から子機自身に宛てられたメッセージであると判断されるとき、メッセージに添えられたメッセージ本文を出力する。
【０１２７】
［メッセージ表示処理］
子機のメッセージ表示手段２０６は、メッセージ受信手段２０５から出力されたメッセージ本文を表示する。
【０１２８】
ここで、この発明の実施の形態２では、変形例として、座標指定手段１０８、標示板指定手段１０９により親機のオペレータに画面座標を先に指定させ、標示板検出手段１０３は、指定された画面座標の近傍領域から標示板を検出するようにしてもよい。図２０は、この発明の実施の形態２に係るメッセージ通信システムに係るメッセージ交換処理の変形例を示すシーケンス図であるが、先に説明した図１９の映像撮像処理と標示板検出処理の間にも、標示板指定処理（２）相当の処理である標示板指定処理（１）を行い、指定された画面座標に基づいて、標示板を検出するための探索範囲を小さくすることが可能となる。探索範囲を小さく絞り込むことで、より確実に、また短い処理時間で標示板を検出することができる。なお、この発明の実施の形態１においても、この発明の実施の形態２の座標指定手段１０８、標示板指定手段１０９相当の手段を備えることで、標示板検出処理の前に同様の処理を行うことができる。
【０１２９】
この発明の実施の形態２に係るメッセージ通信システムにおいては、親機が撮像位置および撮像時刻の少なくとも１つを含む撮像情報を付加した撮像情報メッセージを子機へ送信した後、親機が見え方の情報と撮像時刻を付加したメッセージを子機へ送信するものについて説明した。ここで、この発明のメッセージ通信システムの運用構成別にメッセージに付加する撮像情報と見え方の情報を考える。
【０１３０】
親機が１台の場合、親機が１枚の画像に対する撮像情報を付加した撮像情報メッセージを子機へ送信するときには、送信元と撮像情報は一意に決まるので、子機は以降のメッセージに撮像情報がなくても、見え方の情報が付加されたメッセージが子機自身に宛てられたものか判断できる。
【０１３１】
一方、親機が複数の画像に対する撮像情報を付加した撮像情報メッセージを子機へ送信するときには、子機は以降のメッセージが対応する撮像情報メッセージを撮像時刻で特定すればよく、メッセージに見え方の情報とともに少なくとも撮像時刻が付加されることで子機自身に宛てられたものか判断できる。
【０１３２】
さらに、親機が２台以上の場合、メッセージを送信した親機も特定しなければならないため、各親機が送信する撮像情報メッセージの数によらず、メッセージに撮像位置と撮像時刻が付加されることで子機自身に宛てられたものか判断できる。
【０１３３】
このように、この発明の実施の形態２に係るメッセージ通信システムによれば、親機が検出した標示板に対応する画像の撮像情報を子機に送り、子機自身が推定した標示板の見え方の情報をその後の親機から受信したメッセージに付加された見え方の情報と照合するようにしたので、子機は受信したメッセージに付加された標示板の見え方の情報が子機自身のものであれば、当該子機宛てのメッセージとしてメッセージ本文を表示して確認できる。
【０１３４】
また、この発明の実施の形態２に係るメッセージ通信システムによれば、親機側で送信先の子機の端末ＩＤを知らなくても、目的とする子機にメッセージを届けることができる。
【０１３５】
実施の形態３．
先に説明したこの発明の実施の形態１では、子機から親機へ標示板の見え方の情報を付加したメッセージを送信して、親機で子機を示す標示板と受信したメッセージを対応付けて画面に合成して確認するものを説明した。また、この発明の実施の形態２では、子機から親機へメッセージを送信せず、最初に受信した撮像情報から子機自身を示す標示板の見え方を推定し、以降の受信メッセージに推定した標示板の見え方が付加されているときに当該子機に宛てたメッセージと判断し、メッセージを表示して確認するものを説明した。
【０１３６】
この発明の実施の形態３では、この発明の実施の形態１と同様に、子機から親機へ標示板の見え方の情報を付加したメッセージを送信して、親機で子機を示す標示板と受信したメッセージを対応付けて画面に合成して確認し、その後、この発明の実施の形態２と同様に、親機は子機から受信したメッセージに付加された見え方の情報を子機への宛先としてメッセージを送信するものを説明する。
【０１３７】
図２１は、この発明の実施の形態３に係るメッセージ通信装置（親機）の一例を示す機能ブロック図である。図において、親機１００ｃは、映像入力手段１０１、撮像情報生成手段１０２、標示板検出手段１０３、撮像情報送信手段１０４、メッセージ受信手段１０５、対応付け手段１０６、表示手段１０７ｃ、座標指定手段１０８、標示板指定手段１０９、メッセージ送信手段１１０、メッセージ入力手段１１１を備える。
【０１３８】
図において、映像入力手段１０１、撮像情報生成手段１０２、標示板検出手段１０３、撮像情報送信手段１０４は、この発明の実施の形態１（図２）およびこの発明の実施の形態２（図１４）で同一符号を付した処理手段、またメッセージ受信手段１０５、対応付け手段１０６は、この発明の実施の形態１で同一符号を付した処理手段、さらに座標指定手段１０８、標示板指定手段１０９、メッセージ送信手段１１０は、この発明の実施の形態２で同一符号を付した処理手段であり、説明を省略する。また、表示手段１０７ｃは、この発明の実施の形態１の表示手段１０７ａおよびこの発明の実施の形態２の表示手段１０７ｂの処理を適宜行い動作する。メッセージ入力手段１１１は、撮像情報送信手段１０４から送信する撮像情報メッセージやメッセージ送信手段１１０から送信するメッセージに対するメッセージ本文を入力する。
【０１３９】
メッセージ入力手段１１１は、親機１００ｃのオペレータがメッセージ本文を自由に編集するインタフェースを提供する。また、例えば、幾つかの例示されたメッセージ本文の候補から選択してメッセージ本文に含めることで、メッセージ入力の負荷軽減、簡易化を図ってもよい。
【０１４０】
撮像情報送信手段１０４は、例えばメッセージ入力手段１１１から入力されたメッセージ本文を標示板検出手段１０３が検出した特定の標示板に向けて送信するとき、その標示板の見え方の情報を付加して撮像情報メッセージを送信する。また、メッセージ本文を標示板検出手段１０３が検出した複数の標示板に向けて送信するとき、標示板を特定する見え方の情報を付加せずに撮像情報メッセージを送信する。
【０１４１】
メッセージ送信手段１１０は、標示板指定手段１０９が特定した標示板の見え方の情報と撮像情報の撮像時刻を例えばメッセージ入力手段１１１から入力されたメッセージ本文に付加したメッセージを無線通信により子機に送信する。
【０１４２】
図２２は、この発明の実施の形態３に係るメッセージ通信装置（子機）の一例を示す機能ブロック図である。図において、子機２００ｃは、標示板２０１、撮像情報受信手段２０２、見え方推定手段２０３、メッセージ送信手段２０４、メッセージ受信手段２０５、メッセージ表示手段２０６、メッセージ入力手段２０７を備える。
【０１４３】
図において、標示板２０１、撮像情報受信手段２０２、見え方推定手段２０３は、この発明の実施の形態１（図７）およびこの発明の実施の形態２（図１７）で同一符号を付した処理手段、またメッセージ送信手段２０４は、この発明の実施の形態１で同一符号を付した処理手段、さらにメッセージ受信手段２０５、メッセージ表示手段２０６は、この発明の実施の形態２で同一符号を付した処理手段であり、説明を省略する。メッセージ入力手段２０７は、メッセージ送信手段２０４から送信するメッセージに対するメッセージ本文を入力する。
【０１４４】
メッセージ入力手段２０７は、子機２００のオペレータがメッセージ本文を自由に編集するインタフェースを提供する。また、例えば、幾つかの例示されたメッセージ本文の候補から選択してメッセージ本文に含めるインタフェースを提供する。より具体的には、必要物資や人員情報などの情報をリスト選択してメッセージ本文に含めることで、メッセージ入力の負荷軽減、簡易化を図ってもよい。
【０１４５】
撮像情報受信手段２０２は、メッセージ本文がある撮像情報メッセージを受信し、見え方の情報が付加されていないとき、メッセージ本文を出力する。また、見え方の情報が付加されているとき、撮像情報から見え方推定手段２０３に見え方の情報を推定させて、メッセージに付加された見え方の情報を見え方推定手段２０３が推定した見え方の情報と比較して、見え方の情報が一致するとき、メッセージ本文を出力する。
【０１４６】
メッセージ送信手段２０４は、見え方推定手段２０３が推定した標示板の見え方の情報とメッセージ受信手段２０５が受信した撮像情報の撮像時刻を例えばメッセージ入力手段２０７から入力されたメッセージ本文に付加したメッセージを無線通信により親機に送信する。
【０１４７】
この発明の実施の形態３に係るメッセージ通信装置は、図２１のような構成をもつ親機と図２２のような構成をもつ子機の間で、この発明の実施の形態１に係るメッセージ交換処理（図１０）とこの発明の実施の形態２に係るメッセージ交換処理（図１９）の両方のシーケンスに沿った動作を行うことができる。
【０１４８】
この発明の実施の形態３に係るメッセージ通信装置では、この発明の実施の形態１および実施の形態２に係るメッセージ通信装置と同様に、メッセージに見え方の情報を付加して送信することにより、メッセージ送信元の子機の位置を映像中に的確に位置付けて表示し、またメッセージ送信先の子機を指定することでメッセージ交換を可能とするものを説明した。
【０１４９】
ここで、例えば見え方の情報をメッセージに付加する代わりに、地理座標をメッセージに付加する方法も考えられる。すなわち、メッセージに付加された地理座標を、カメラの位置、向きなどのパラメータをもとに投影モデルに従って、画面座標に変換すれば、本発明と同等の効果を得ることが期待できるが、このメッセージに地理座標を付加する方法では、カメラの位置、向きなどのパラメータに誤差がある場合に、画像から検出した標示板に基づいて得られる画面座標にも誤差が生じてしまうことがある。
【０１５０】
一方、メッセージに見え方の情報を付加して送信し、撮像された映像から検出した同じ見え方の標示板を対応付けるこの発明の実施の形態に係るメッセージ通信装置では、標示板が正しく検出できれば画面座標の誤差も小さく抑えられる。また、子機の地理座標を無線で送信する必要が無いので、システム運用の場面や状況にもよるが、仮に被災者のプライバシーを保護するため等の理由で地理座標の漏洩を避けたい場合でも対応しやすい。
【０１５１】
よって、メッセージに見え方の情報と地理座標の両方を付加する方法であれば、地理座標の情報を手がかりに標示板を検出する際の探索範囲を小さくすることが可能となり、効率的に（少ない処理量で正確に）目的の画面座標を求めることができる。
【０１５２】
このように、この発明の実施の形態３に係るメッセージ通信システムによれば、この発明の実施の形態１に係るメッセージ通信システムと同様に、親機が検出した標示板に対応する画像の撮像情報を子機に送り、子機から標示板の見え方の情報を付加してメッセージを返信してもらい、見え方の情報を照合するようにしたので、親機は検出した標示板が複数あっても正確に子機を対応付け、標示板の画面座標の位置をメッセージ送信元の子機の位置として画像上で把握することができる。
【０１５３】
また、この発明の実施の形態３に係るメッセージ通信システムによれば、この発明の実施の形態１に係るメッセージ通信システムと同様に、画面上に表示されたメッセージ送信元の子機と送信してきたメッセージ本文を合成して表示するようにしたので、子機周辺の状況、環境を見ながら子機の要求を確認することができる。
【０１５４】
このように、この発明の実施の形態３に係るメッセージ通信システムによれば、この発明の実施の形態２に係るメッセージ通信システムと同様に、親機が検出した標示板に対応する画像の撮像情報を子機に送り、子機自身が推定した標示板の見え方の情報をその後のメッセージに付加された見え方の情報と照合するようにしたので、子機は受信したメッセージに付加された標示板の見え方の情報が子機自身のものであれば、当該子機宛てのメッセージとしてメッセージ本文を表示して確認する。
【０１５５】
また、この発明の実施の形態３に係るメッセージ通信システムによれば、この発明の実施の形態２に係るメッセージ通信システムと同様に、親機側で送信先の子機の端末ＩＤを知らなくても、目的とする子機にメッセージを届けることができる。
【０１５６】
以上のように、この発明の実施の形態に係るメッセージ通信システムにおいて、親機から子機に対しては一斉同報通信によるメッセージ送信を行い、子機から親機に対しては一対一通信によるメッセージ送信を行う一例について説明した。無線通信においては、多くの場合、一斉同報通信と一対一通信で必要とする帯域は同等であるので、子機から親機への一対一通信の数を減らすことが帯域の節約につながる。例えば、標示板の見え方の情報を付加して撮像情報を送信し、見え方の情報が一致した子機から返信メッセージを親機に送信させ、また親機から子機（標示板）が見えていないことが推定された場合に子機からの返信を制限することでも、通信帯域を節約することができる効果がある。
【０１５７】
まず、この発明の実施の形態１に係るメッセージ通信システムにおいて、親機が画像から標示板を検出したとき、標示板を不特定のまま、撮像情報を子機に送信するように説明したが、標示板ごとに見え方の情報を付加して撮像情報を送信して、見え方の情報が一致した子機から返信メッセージを親機に送信させるようにしてもよい。
【０１５８】
また、この発明の実施の形態１に係るメッセージ通信システムにおいて、親機が画像から標示板を検出したとき、撮像情報を送信する前の段階でも、この発明の実施の形態２相当の座標指定手段、標示板指定手段を使用して、複数の標示板を表示した画面から先に標示板を特定して、その見え方の情報を付加して撮像情報を送信し、子機は受信した撮像情報から推定した見え方の情報と受信した見え方の情報を比較して一致したときに、返信メッセージを親機に送信するようにしてもよい。
【０１５９】
このように、この発明の実施の形態１および実施の形態２に係るメッセージ通信システムにおいて、親機は、見え方の情報も含めた撮像情報を親機から子機へ送信することによって、親機が画像から検出できた標示板の子機のみを対象に通知できる効果がある。また、この発明の実施の形態１に係るメッセージ通信システムにおいて、子機は、映像の撮像位置から親機が撮像している方向の情報が撮像情報を付加したメッセージに含まれていないことで、撮像されていない方向にいて画像に収まっていないことが判断できないが、子機（標示板）自身の見え方の情報により撮像できていることを判断できるようになり、子機自身宛のメッセージのみにメッセージを返信することができる。すなわち、子機自身の標示板が検出されていない状態で親機に返信することが抑えられ、通信量を削減できる効果がある。
【０１６０】
また、この発明の実施の形態１および実施の形態２に係るメッセージ通信システムにおいて、標示板の見え方の情報も含めた撮像情報を親機から子機へ送信することで、子機は撮像情報を受信し、見え方の情報の一致を確認した段階で、通信量削減というシステム運用面の効果とは別に、当該子機の標示板が親機に検出されているという安心感を得られるという効果がある。この発明のメッセージ通信システムが、例えば災害救助の場面に運用されることを想定すれば、早期に子機側の被災者が親機側の救助隊に発見されていることを認識することは重要である。
【０１６１】
また、この発明の実施の形態１に係るメッセージ通信システムにおいて、親機における子機の検出が撮像位置から広範囲に及ぶことを抑制するのであれば、子機が推定した見え方の情報において、例えば仰角の値で返信を制限するようにしてもよい。子機からの仰角が高い場合には、親機が視界に入る近い位置におり、仰角が低い場合には、親機が視界に入りにくい遠い位置にいると判定し、例えば所定の閾値より仰角が大きいときに返信するようにすることで、遠い位置の子機がメッセージを返信してくることを抑えることができる。また、距離を直接的に制限して子機がメッセージを返信してくることを抑えてもよい。このように、子機からの不要な返信を抑えることで、通信量を削減できる効果がある。また、例えば撮像情報メッセージに返信すべき仰角や方位角の範囲を示し、その範囲に子機が推定した見え方の情報が収まる子機に返信させることで、映像の撮像方向を撮像情報に示さなくても画像から検出可能な標示板（子機）を判断できるようにしてもよい。
【０１６２】
また、この発明の実施の形態１に係るメッセージ通信システムにおいて、映像の撮像位置から親機が撮像している方向の情報が撮像情報を付加したメッセージに含まれていないことで、撮像されていない方向にいて画像に収まっていないことが判断できない子機が返信することを排除しない場合は、画像上に検出されていない子機の映像情報のリストを作成することで、撮像が漏れた撮像地点を特定し、あらためて撮像しながらメッセージ交換を試みるようにしてもよい。撮像されなかった子機（標示板）をあらためて検出することで、子機の位置の検出漏れを少なくすることができる効果がある。また、あらためて撮像できる場合には、最初の撮像情報の送信段階では、実際の画像を撮像せず、撮像情報を送信して、子機の返信してくる情報収集のみ行うようにしてもよい。
【０１６３】
なお、この発明の実施の形態１および実施の形態２の合わせた構成を備えて動作する実施の形態３に係るメッセージ通信システムにおいても、これらの実施の形態における効果が得られることは自明である。
【符号の説明】
【０１６４】
１０  メッセージ通信装置（親機）、１１  情報処理装置、１２  メッセージ入力用キーボード、１３  表示装置、１４  測位用アンテナ、１５  通信用アンテナ、１６  カメラ、２０  メッセージ通信装置（子機）、２１  情報処理装置、２２  メッセージ入力用キーボード、２３  表示装置、２４  測位用アンテナ、２５  通信用アンテナ、２６  標示板、１００ａ、１００ｂ、１００ｃ  メッセージ通信装置（親機）、１０１  映像入力手段、１０２  撮像情報生成手段、１０３  標示板検出手段、１０４  撮像情報送信手段、１０５  メッセージ受信手段、１０６  対応付け手段、１０７ａ、１０７ｂ、１０７ｃ  表示手段、１０８  座標指定手段、１０９  標示板指定手段、１１０  メッセージ送信手段、１１１  メッセージ入力手段、１５１  記憶手段、２００ａ、２００ｂ、２００ｃ  メッセージ通信装置（子機）、２０１  標示板、２０２  撮像情報受信手段、２０３  見え方推定手段、２０４  メッセージ送信手段、２０５  メッセージ受信手段、２０６  メッセージ表示手段、２０７  メッセージ入力手段、２５１  記憶手段。
【図１】
2014106858.tif 000008
【図２】
2014106858.tif 000009
【図３】
2014106858.tif 000010
【図４】
2014106858.tif 000011
【図５】
2014106858.tif 000012
【図６】
2014106858.tif 000013
【図７】
2014106858.tif 000014
【図８】
2014106858.tif 000015
【図９】
2014106858.tif 000016
【図１０】
2014106858.tif 000017
【図１１】
2014106858.tif 000018
【図１２】
2014106858.tif 000019
【図１３】
2014106858.tif 000020
【図１４】
2014106858.tif 000021
【図１５】
2014106858.tif 000022
【図１６】
2014106858.tif 000023
【図１７】
2014106858.tif 000024
【図１８】
2014106858.tif 000025
【図１９】
2014106858.tif 000026
【図２０】
2014106858.tif 000027
【図２１】
2014106858.tif 000028
【図２２】
2014106858.tif 000029