(57)【要約】【課題】広いエリアの任意の位置での盛り上がりがより的確に検出可能とする。【解決手段】実施形態に係る撮像制御装置は、無線通信を行う通信部と、位置情報を取得する位置情報取得部と、周囲の音を取得する音取得部と、音の音圧レベルに対して閾値判定を行い、判定結果に基づき、少なくとも音圧レベルが閾値以上であることを示す情報と位置情報とを含む通知を通信部により送信する音処理部と、他の機器から送信され通信部が受信した通知を記憶する記憶部と、現在の時間から予め定められた時間だけ過去の時間までの期間に記憶部に記憶された通知の数が予め定められた数以上である場合に、通知に対応する位置情報に基づき盛り上がりが発生している盛り上がり領域が存在するか否かを判定する判定部と、判定部により盛り上がり領域が存在すると判定された場合に、撮像を行うように撮像部を制御する撮像制御部とを備える。【選択図】図４
2016178566.tif 000002
【特許請求の範囲】
【請求項１】
無線通信を行う通信部と、
位置情報を取得する位置情報取得部と、
周囲の音を取得する音取得部と、
前記音の音圧レベルに対して閾値判定を行い、判定結果に基づき、少なくとも該音圧レベルが閾値以上であることを示す情報と前記位置情報とを含む通知を前記通信部により送信する音処理部と、
他の機器から送信され前記通信部が受信した前記通知を記憶する記憶部と、
現在の時間から予め定められた時間だけ過去の時間までの期間に前記記憶部に記憶された前記通知の数が予め定められた数以上である場合に、該通知に対応する該位置情報に基づき盛り上がりが発生している盛り上がり領域が存在するか否かを判定する判定部と、
前記判定部により前記盛り上がり領域が存在すると判定された場合に、撮像を行うように撮像部を制御する撮像制御部と
を備える撮像制御装置。
【請求項２】
前記位置情報に基づきクラスタリングを行い、クラスタリングされた各クラスタのうち、クラスタに含まれる前記位置情報の数とクラスタの広がりとを求める位置情報処理部をさらに備え、
前記判定部は、
前記各クラスタのうち、前記数と前記広がりとがそれぞれ一定以上であるクラスタを、前記盛り上がり領域であると判定する
請求項１に記載の撮像制御装置。
【請求項３】
前記位置情報処理部は、
起動時に前記位置情報を前記通信部により送信し、
前記他の機器から送信され前記通信部が受信した、起動時に送信された前記位置情報を用いて前記クラスタを更新し、
前記判定部は、
前記各クラスタに含まれる前記位置情報の数に対する、前記各クラスタの前記期間に前記記憶部に記憶された前記通知の数の比が一定以上の場合に、前記判定を行う
請求項２に記載の撮像制御装置。
【請求項４】
前記通信部は、
前記他の機器から受信した前記通知をさらに送信する
請求項１乃至請求項３の何れか１項に記載の撮像制御装置。
【請求項５】
前記音処理部は、
前記判定結果に基づく前記通知毎に異なる識別情報を前記通知に付加して前記通信部により送信する
請求項１乃至請求項４の何れか１項に記載の撮像制御装置。
【請求項６】
前記通信部は、
前記他の機器から受信した前記通知に付加される前記識別情報が、前記記憶部に記憶される前記通知に付加される前記識別情報と異なる場合に、該他の機器から受信した該通知および該位置情報をさらに送信する
請求項５に記載の撮像制御装置。
【請求項７】
無線通信を行う通信ステップと、
位置情報を取得する位置情報取得ステップと、
周囲の音を取得する音取得ステップと、
前記音の音圧レベルに対して閾値判定を行い、判定結果に基づき、少なくとも該音圧レベルが閾値以上であることを示す情報と前記位置情報とを含む通知を前記通信ステップにより送信する音処理ステップと、
他の機器から送信され前記通信部が受信した前記通知を記憶部に記憶する記憶ステップと、
現在の時間から予め定められた時間だけ過去の時間までの期間に前記記憶部に記憶された前記通知の数が予め定められた数以上である場合に、該通知に対応する該位置情報に基づき盛り上がりが発生している盛り上がり領域が存在するか否かを判定する判定ステップと、
前記判定ステップにより前記盛り上がり領域が存在すると判定された場合に、撮像を行うように撮像部を制御する撮像制御ステップと
をコンピュータに実行させるための撮像制御プログラム。
【請求項８】
無線通信を行う通信ステップと、
位置情報を取得する位置情報取得ステップと、
周囲の音を取得する音取得ステップと、
前記音の音圧レベルに対して閾値判定を行い、判定結果に基づき、少なくとも該音圧レベルが閾値以上であることを示す情報と前記位置情報とを含む通知を前記通信ステップにより送信する音処理ステップと、
他の機器から送信され前記通信部が受信した前記通知を記憶部に記憶する記憶ステップと、
現在の時間から予め定められた時間だけ過去の時間までの期間に前記記憶部に記憶された前記通知の数が予め定められた数以上である場合に、該通知に対応する該位置情報に基づき盛り上がりが発生している盛り上がり領域が存在するか否かを判定する判定ステップと、
前記判定ステップにより前記盛り上がり領域が存在すると判定された場合に、撮像を行うように撮像部を制御する撮像制御ステップと
を備える撮像制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像制御装置、撮像制御プログラムおよび撮像制御方法に関する。
【背景技術】
【０００２】
スタジアムでスポーツ観戦をしているときなど、観客が盛り上がっているシーンを撮影したい場合がある。ユーザは、例えば観客の歓声に応じてスタジアム内の何処で盛り上がっているかを判断し、撮影を行う。特許文献１には、周囲の入力音の音圧レベルが所定以上になった場合に、自動的に撮影を行うようにした技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１の技術により、単一の機器を用いて入力音の音圧レベルに基づき盛り上がりを判定する場合、ユーザの近くで単独で発生した音、例えばくしゃみや呼びかけ声などの、個人が発生源となるような音と、多数の観客が一斉に歓声を上げる音とを区別することが困難である。
【０００４】
そのため、従来の技術では、盛り上がりとは関係の無いシーンであっても撮影が行われてしまうという問題点があった。また、ユーザの位置から遠い位置で盛り上がりがあり歓声が上がっていても、この歓声による音は、ユーザの位置では低い音圧レベルの音として検出され、盛り上がりとしては判定されないという問題点もあった。
【０００５】
本発明は、上記に鑑みてなされたものであって、広いエリアの任意の位置での盛り上がりをより的確に検出可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明は、無線通信を行う通信部と、位置情報を取得する位置情報取得部と、周囲の音を取得する音取得部と、音の音圧レベルに対して閾値判定を行い、判定結果に基づき、少なくとも音圧レベルが閾値以上であることを示す情報と位置情報とを含む通知を通信部により送信する音処理部と、他の機器から送信され通信部が受信した通知を記憶する記憶部と、現在の時間から予め定められた時間だけ過去の時間までの期間に記憶部に記憶された通知の数が予め定められた数以上である場合に、通知に対応する位置情報に基づき盛り上がりが発生している盛り上がり領域が存在するか否かを判定する判定部と、判定部により盛り上がり領域が存在すると判定された場合に、撮像を行うように撮像部を制御する撮像制御部とを備える。
【発明の効果】
【０００７】
本発明によれば、広いエリアの任意の位置での盛り上がりがより的確に検出可能になるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、盛り上がり領域について説明するための図である。
【図２】図２は、実施形態に係る撮像制御装置を備えたカメラを用いた場合の例を示す図である。
【図３】図３は、実施形態に係る端末装置の一例の構成を示すブロック図である。
【図４】図４は、実施形態に係る端末装置の機能を示す一例の機能ブロック図である。
【図５】図５は、音圧レベルの時間推移の例を模式的に示す図である。
【図６】図６は、実施形態に係る、音処理部による判定処理を示す一例のフローチャートである。
【図７】図７は、実施形態に係る、送信部に送信される通知の一例の構成を示す図である。
【図８】図８は、実施形態に係る撮像制御処理を示す一例のフローチャートである。
【図９】図９は、実施形態に係る通信処理について説明するための図である。
【図１０】図１０は、実施形態に係るマッピングの例を示す図である。
【図１１】図１１は、実施形態に係る、クラスタに対する条件判定について説明するための図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、撮像制御装置、撮像制御プログラムおよび撮像制御方法の実施形態を詳細に説明する。
【００１０】
実施形態に係る撮像制御装置は、盛り上がりが発生している領域を高精度に検出し、検出された盛り上がり領域の撮像を可能とする。
【００１１】
先ず、図１を用いて、盛り上がり領域について説明する。例えば野球場やスタジアムなど、ある程度の広さを持ち、多数の人（観客）が含まれるフィールド１０を考える。このフィールド１０内で、領域１１において多数の人が歓声を上げているものとする。また、フィールド１０内の位置１２および１３において、それぞれ個人により大きな音（図１の例では、くしゃみや呼びかけ）が発生されたものとする。これらの、領域１１における歓声、ならびに、位置１２および１３における音は、何れも大きな音として認識できる。
【００１２】
ここで、フィールド１０内の盛り上がりが発生している場面を、カメラ２を用いて撮像したいと考えているユーザ１を考える。ユーザ１は、多数の人が歓声を上げている領域１１が盛り上がっていると判断し、カメラ２により領域１１の方向に向けて撮像を行う。一方、ユーザ１は、くしゃみや呼びかけなど、個人により発生された大きな音は、盛り上がりとして認識せず、撮像も行わないと考えられる。すなわち、ある程度以上の大きな音が、一定の位置的な広がりを持って同時に発生しているという条件を満たした場合に、その領域が盛り上がっていると認識できると考えられる。
【００１３】
一方、領域１１は、ユーザ１の位置から遠いので、ユーザ１は、歓声が聞こえず、盛り上がりを認識できない可能性がある。この場合、ユーザ１は、盛り上がりが発生している場面の撮像チャンスを逃してしまうことになる。
【００１４】
図２は、上述した図１の状況において、実施形態に係る撮像制御装置を備えたカメラ（端末装置）を用いた場合の例を示す。図２において、ユーザ１は、実施形態に係る撮像制御装置としての端末装置１００を保持している。また、フィールド１０内には、同様の端末装置１００を保持している他のユーザ（観客）が複数、存在しているものとする。なお、端末装置１００を保持する他のユーザは、フィールド１０内の所定の範囲（例えば観客席）内のランダムな位置に存在するものとする。
【００１５】
端末装置１００は、例えばマイクロホンを備え、収音を行うことができるようになっている。また、端末装置１００は、例えば数１０ｍの範囲内で通信が可能な通信手段をさらに備える。端末装置１００は、例えば多機能携帯電話（スマートフォン）である。これに限らず、端末装置１００は、通信機能およびマイクロホンを備えるディジタルカメラであってもよい。また、端末装置１００は、通信機能およびマイクロホンを備えるタブレット端末であってもよい。
【００１６】
端末装置１００は、マイクロホンにより収音された音の音圧レベルが一定以上になった場合に、通信手段により、音圧レベルが一定以上になった旨を示す情報（オン情報と呼ぶ）と、端末装置１００の位置情報とを少なくとも含む通知１６を送信（ブロードキャスト）する。また、端末装置１００は、他の端末装置１００から送信された通知１６、１６、…を受信する。端末装置１００は、受信された通知１６に基づき盛り上がりの条件を満たしている領域を判定し、判定結果に基づき撮像を制御する。
【００１７】
図２の例では、領域１１が、ある程度以上の大きな音が、一定の位置的な広がりを持って同時に発生しているので、盛り上がりの条件を満たす。そのため、端末装置１００は、領域１１に対する盛り上がりの検出に応じて撮像を行う。一方、位置１２や位置１３は、ある程度以上大きな音である点は満たしているが、音の発生が点的であり一定の位置的な広がりを持たないので、盛り上がりの条件を満たさず、盛り上がっているとは判定されない。そのため、端末装置１００は、位置１２や位置１３で発生した音に応じた撮像は行わない。
【００１８】
（実施形態に係る構成）
図３は、実施形態に係る端末装置１００の一例の構成を示す。図３において、端末装置１００は、ＣＰＵ(Central  Processing  Unit)１１０と、ＲＯＭ(Read  Only  Memory)１１１と、ＲＡＭ(Random  Access  Memory)１１２と、表示制御部１１３と、ストレージ１１５と、データＩ／Ｆ１１６と、入力デバイス１１７と、通信Ｉ／Ｆ１１８と、ＧＰＳ(Global  Positioning  System)部１２０と、撮像部１２１と、音声取得部１２３と、音声処理部１２４とを備え、これらがバス１０１により互いに通信可能に接続される。
【００１９】
ＣＰＵ１１０は、ＲＯＭ１１１やストレージ１１５に予め記憶されたプログラムに従い、ＲＡＭ１１２をワークメモリとして用いて、この端末装置１００の全体の動作を制御する。ストレージ１１５は、フラッシュメモリなどの不揮発性の半導体メモリである。ストレージ１１５をハードディスクドライブを用いて構成してもよい。表示制御部１１３は、ＣＰＵ１１０がプログラムに従い生成した表示制御信号に従い、表示デバイス１１４により表示可能な表示信号を生成する。表示デバイス１１４は、例えばＬＣＤおよびＬＣＤを駆動する駆動回路を含み、表示制御部１１３から供給された表示信号に応じた画面を表示する。
【００２０】
入力デバイス１１７は、ユーザ操作による入力を受け付けるもので、例えば表示デバイス１１４と一体的に構成されたタッチパネルである。データＩ／Ｆ１１６は、例えば数１０ｍ程度の範囲で無線通信１３０によるデータ通信が可能なインタフェースであって、例えばＢｌｕｅｔｏｏｔｈ（登録商標）に準拠した通信を行う。通信Ｉ／Ｆ１１８は、ＬＡＮ(Local  Area  Network)はインターネットといったネットワークとの間で無線通信を行う。
【００２１】
ＧＰＳ部１２０は、ＧＰＳによる信号を受信し、現在の位置を緯度・経度情報として取得する。撮像部１２１は、ＣＣＤ(Charge  Coupled  Device)などのイメージセンサと、イメージセンサに光を照射させる光学系と、イメージセンサの駆動回路と、イメージセンサから出力された信号を画像データに変換する画像処理部とを含む。撮像部１２１は、ＣＰＵ１１０の指示に従い撮像を行い、画像データを出力する。
【００２２】
音声取得部１２３は、マイクロホン１２２から出力されたアナログ方式の音信号が入力され、入力された音信号をディジタル方式の音データに変換して出力する。音声処理部１２４は、音声取得部１２３から出力された音データに対して、ＣＰＵ１１０の指示に従い処理を施す。
【００２３】
図４は、実施形態に係る端末装置１００の機能を示す一例の機能ブロック図である。図４において、端末装置１００は、受信部１０００と、送信部１００１と、保存部１００２と、撮像制御部１００３と、音処理部１００４と、位置情報取得部１００５と、比較部１００６と、位置情報処理部１００７と、判定部１００８とを含む。これら受信部１０００、送信部１００１、保存部１００２、撮像制御部１００３、音処理部１００４、位置情報取得部１００５、比較部１００６、位置情報処理部１００７および判定部１００８は、ＣＰＵ１１０上で動作するプログラム（撮像制御アプリとする）により実現される。これに限らず、これら各部の一部または全部を、独立したハードウェアにより構成してもよい。
【００２４】
受信部１０００は、他の機器から送信された通知をデータＩ／Ｆ１１６により受信する。送信部１００２は、データＩ／Ｆ１１６により通知を送信する。保存部１００２は、受信部１０００により受信された通知をストレージ１１５やＲＡＭ１１２に保存する。撮像制御部１００３は、撮像部１２１を制御して撮像を行う。音処理部１００４は、音声処理部１２４により処理された音データに対して解析処理などを行う。
【００２５】
位置情報取得部１００５は、ＧＰＳ部１２０を制御して位置情報を取得する。比較部１００６は、受信部１０００に受信された通知と、保存部１００２に保存されている通知とを比較する。位置情報処理部１００７は、位置情報取得部１００５で取得された位置情報に対して、所定の処理を行う。判定部１００８は、音処理部１００４の処理結果、位置情報処理部１００７の処理結果などを用いて、盛り上がり領域が存在するか否かを判定する。
【００２６】
これら受信部１０００、送信部１００１、保存部１００２、撮像制御部１００３、音処理部１００４、位置情報取得部１００５、比較部１００６、位置情報処理部１００７および判定部１００８は、例えばストレージ１１５やＲＯＭ１１１に記憶され、ＣＰＵ１１０上で動作する撮像制御アプリにより実現される。この撮像制御アプリは、インストール可能な形式また実行可能な形式のファイルでＣＤ(Compact  Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital  Versatile  Disk)などのコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００２７】
また、実施形態の端末装置１００で実行される撮像制御アプリを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供するように構成してもよい。また、実施形態の端末装置１００で実行される撮像制御アプリをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。さらに、実施形態の撮像制御アプリを、ＲＯＭ１１１などに予め組み込んで提供するように構成してもよい。
【００２８】
実施形態の端末装置１００で実行される撮像制御アプリは、上述した各部（受信部１０００、送信部１００１、保存部１００２、撮像制御部１００３、音処理部１００４、位置情報取得部１００５、比較部１００６、位置情報処理部１００７および判定部１００８）を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１１０がストレージ１１５やＲＯＭ１１１などの記憶媒体から当該撮像制御アプリを読み出して実行することにより、上述した各部がＲＡＭ１１２などの主記憶装置上にロードされ、受信部１０００、送信部１００１、保存部１００２、撮像制御部１００３、音処理部１００４、位置情報取得部１００５、比較部１００６、位置情報処理部１００７および判定部１００８が主記憶装置上に生成されるようになっている。
【００２９】
（実施形態に係る処理）
実施形態に係る端末装置１００は、上述したように、周囲の音を検出し、検出結果に応じた通知を送信すると共に、他の端末装置１００において行われた音検出の結果に基づく通知を受信する。図５および図６を用いて、実施形態に係る端末装置１００における音処理について説明する。
【００３０】
図５は、マイクロホン１２２に収音された音による音圧レベルの時間推移の例を模式的に示す。図５において、縦軸が音圧レベル、横軸が時間ｔをそれぞれ示す。図５の例では、音圧レベルは、特性線２００で示されるように、微小に上下しながらあるレベルから上がり、その後、最初のレベルに下がっている。ここで、図５の範囲２０１1と範囲２０１3の音圧レベルは、例えば、観客のざわめきなど、定常的に発生しているノイズ成分であると考えられる。また、範囲２０１1および範囲２０１3の間の範囲２０１2は、定常ノイズに対して音圧レベルが高く、盛り上がりに伴った音圧レベルの可能性がある。
【００３１】
音処理部１００４は、例えばＲＡＭ１１２の所定領域をバッファメモリとして用いて、予め定められた時間ｔavg（例えば数秒）分の音データをバッファメモリに溜め込み、バッファメモリに溜め込まれた音データに対して解析処理を行う。ここでは、音処理部１００４は、バッファメモリに溜め込まれた時間ｔavg分の音データについて、音圧レベルの平均値ａｖｇを算出する。そして、音処理部１００４は、算出した平均値ａｖｇに対して閾値判定を行う。
【００３２】
図６は、実施形態に係る、音処理部１００４による判定処理を示す一例のフローチャートである。音処理部１００４は、先ず、ステップＳ１０で、フラグFLAGの値を０に設定する。次のステップＳ１１で、音処理部１００４は、現時点でバッファメモリに溜め込まれている音データに対して、音圧レベルの平均値ａｖｇを算出する。次のステップＳ１２で、音処理部１００４は、算出した平均値ａｖｇが閾値ｔｈを超えるか否かを判定する。
【００３３】
音処理部１００４は、音圧レベルの平均値ａｖｇが閾値ｔｈを超えると判定した場合、処理をステップＳ１３に移行させる。ステップＳ１３で、音処理部１００４は、フラグFLAGの値を確認する。音処理部１００４は、フラグFLAGの値が１であると判定した場合、処理をステップＳ１１に戻す。
【００３４】
一方、音処理部１００４は、ステップＳ１３でフラグFLAGの値が０であると判定した場合、処理をステップＳ１４に移行させる。この場合、例えば図５の時間ｔ0で示される、音圧レベルの平均値ａｖｇが閾値ｔｈ以下の状態から閾値ｔｈを超える状態に変化したと判断できる。そのため、ステップＳ１４で、音処理部１００４は、音圧レベルの平均値ａｖｇが、閾値ｔｈを音圧レベルが高くなる方向に超えたことを示すオン情報を含む通知を送信部１００１により送信する。すなわち、オン情報は、音圧レベルの平均値ａｖｇが上昇した立ち上がりのタイミングを示している。そして、音処理部１００４は、ステップＳ１５でフラグFLAGの値を１に更新し、処理をステップＳ１１に戻す。
【００３５】
音処理部１００４は、上述のステップＳ１２で音圧レベルの平均値ａｖｇが閾値ｔｈ以下であると判定した場合、処理をステップＳ１６に移行させる。ステップＳ１６で、音処理部１００４は、フラグFLAGの値を確認する。音処理部１００４は、フラグFLAGの値が０であると判定した場合、処理をステップＳ１１に戻す。
【００３６】
一方、音処理部１００４は、ステップＳ１６でフラグFLAGの値が１であると判定した場合、処理をステップＳ１７に移行させる。この場合、例えば図５の時間ｔ1で示される、音圧レベルの平均値ａｖｇが閾値ｔｈを超えた状態から閾値ｔｈ以下の状態に変化したと判断できる。そのため、ステップＳ１７で、音処理部１００４は、音圧レベルの平均値ａｖｇが、閾値ｔｈを音圧レベルが低くなる方向に超えたことを示すオフ情報を含む通知を送信部１００１により送信する。すなわち、オフ情報は、音圧レベルの平均値ａｖｇが下降した立ち下がりのタイミングを示している。そして、音処理部１００４は、ステップＳ１８でフラグFLAGの値を０に更新し、処理をステップＳ１１に戻す。
【００３７】
なお、閾値ｔｈは、予め定められた値を用いることができる。これに限らず、閾値ｔｈは、ユーザ操作に応じて設定することも可能である。さらに、閾値ｔｈは、例えば音圧レベルを一定時間測定した結果に基づきキャリブレーションして決定してもよい。
【００３８】
図７は、実施形態に係る、送信部１００１に送信される通知の一例の構成を示す。図７において、通知５０は、アプリ識別情報５００と、起動フラグ５０１と、オン／オフ情報５０２と、検出ＩＤ５０３と、端末識別情報５０４と、位置情報５０５とを含む。
【００３９】
アプリ識別情報５００は、図４で示した端末装置１００の各機能を含むアプリケーションプログラム（以下、撮像制御アプリと呼ぶ）に共通の識別情報である。起動フラグ５０１は、１ビットの情報であって、この通知５０が撮像制御アプリの起動時に送信されたものであるか否かを示す。オン／オフ情報５０２は、１ビットの情報であって、上述したオン情報およびオフ情報の何れかが適用される。検出ＩＤ５０３は、オン情報が含まれる通知５０の送信毎に異なる値であって、例えば乱数を用いて生成される。端末識別情報５０４は、端末装置１００を識別する情報であって、例えば端末装置１００のデバイスＩＤを用いることができる。位置情報５０５は、位置情報取得部１００５により取得された位置情報（緯度および経度）である。
【００４０】
この通知５０の送信には、例えば米国アップル社により提供されるｉＢｅａｃｏｎの技術を用いることができる。ｉＢｅａｃｏｎは、Ｂｌｕｅｔｏｏｔｈ（登録商標）  Ｌｏｗ  Ｅｎｅｒｇｙを用いてブロードキャストを行う。ｉＢｅａｃｏｎでは、送信される電波に、ＵＵＩＤ(Universally  Unique  Identifier)と、メジャー値と、マイナー値とを乗せる。ＵＵＩＤは、１２８ビットの値であって、メジャー値およびマイナー値は、それぞれ１６ビットの整数値である。実施形態では、例えば、アプリ識別情報５００をＵＵＩＤに従い決定する。また、起動フラグ５０１およびオン／オフ情報５０２と、検出ＩＤ５０３と、端末識別情報５０４とをメジャー値に含める。また、位置情報５０５をマイナー値に含める。
【００４１】
図８は、実施形態に係る撮像制御処理を示す一例のフローチャートである。ステップＳ３０でユーザ操作などにより実施形態に係る撮像制御アプリが起動されると、次のステップＳ３１で、撮像制御アプリは、位置情報取得部１００５により位置情報を取得して、取得した位置情報を通知５０に含めて送信部１００１により送信する。このとき、送信部１００１は、起動フラグ５０１を、当該通知５０が起動時に送信された通知であることを示す値にして、通知５０を送信する。
【００４２】
次のステップＳ３２で、撮像制御アプリは、受信部１０００により他の端末装置１００からの通知５０を受信したか否かを判定する。受信していないと判定した場合、処理をステップＳ３２に戻す。一方、撮像制御アプリは、他の端末装置１００からの通知５０を受信したと判定した場合、処理をステップＳ３３に移行させる。
【００４３】
ステップＳ３３で、撮像制御アプリは、比較部１００６により、受信した通知５０に含まれる検出ＩＤ５０３が、既に取得されている検出ＩＤ５０３と異なるか否かを判定する。撮像制御アプリは、比較部１００６の比較結果に従い異ならない、すなわち、受信した通知５０に含まれる検出ＩＤ５０３と同一の検出ＩＤ５０３を含む通知５０を既に受信していると判定した場合、処理をステップＳ３２に戻す。このとき、受信した通知５０は、捨てられる。
【００４４】
一方、撮像制御アプリは、ステップＳ３３で、比較部１００６の比較結果に従い異なると判定した場合、処理をステップＳ３４に移行させる。ステップＳ３４で、撮像制御アプリは、送信部１００１により、ステップＳ３２で受信した通知５０を、そのまま再送信する。そして、次のステップＳ３５で、撮像制御アプリは、保存部１００２により、ステップＳ３２で受信した通知５０を、当該通知５０を受信した時間を示すタイムスタンプと関連付けて、例えばＲＡＭ１１２に保存する。
【００４５】
図９を用いて、ステップＳ３２〜ステップＳ３５の処理について、より詳細に説明する。一例として、それぞれ端末装置１００の機能を有する端末装置ａ〜ｆを考える。このとき、端末装置ａが、上述した図６のフローチャートに従い、ステップＳ１４でオン情報を含む、図７の通知５０に対応する通知３００を、検出ＩＤ＝ＩＤ1、位置情報＝ｐｏｓ1として送信したものとする。この通知３００は、例えば端末装置ｂ、ｃおよびｆに受信される（ステップＳ３２）。
【００４６】
例えば端末装置ｃにおいて、受信した通知３００の検出ＩＤ＝ＩＤ1と同一の検出ＩＤを含む通知を過去に受信していない、すなわちステップＳ３５で過去に保存されていないと判定した場合、この通知３００を、そのまま検出ＩＤ＝ＩＤ1、位置情報＝ｐｏｓ1である通知３０１として再送信する（ステップＳ３４）。また、端末装置ｃは、通知３００を、タイムスタンプと関連付けて保存する（ステップＳ３５）。
【００４７】
端末装置ｃから再送信された通知３０１は、例えば端末装置ｅおよびｄに受信される（ステップＳ３２）。例えば端末装置ｅは、上述と同様にして、受信した通知３０１の検出ＩＤ＝ＩＤ1と同一の検出ＩＤを含む通知を過去に受信していない、すなわちステップＳ３５で過去に保存されていないと判定した場合（ステップＳ３３）、この通知３０１を、そのまま検出ＩＤ＝ＩＤ1、位置情報＝ｐｏｓ1である通知３０２として再送信する（ステップＳ３４）。
【００４８】
この通知３０２は、例えば端末装置ｃ、ｄおよびｆに受信される。ここで、端末装置ｃは、受信した通知３０２の検出ＩＤ＝ＩＤ1と同一の検出ＩＤを含む通知を、通知３００として過去に受信している。したがって、端末装置ｃは、ステップＳ３３の判定に従い、新たに受信した通知３０２を捨てる。
【００４９】
このように、例えば端末装置ａから送信された通知３００は、その内容を維持しつつ、通信が可能な他の端末装置に順次にリレーされる。したがって、各端末装置ａ〜ｆは、各端末装置ａ〜ｆ間で通知内容を共有できる。
【００５０】
なお、図９の例では、端末装置ｆは、端末装置ａおよびｅから、それぞれ検出ＩＤ＝ＩＤ1を含む通知３００および３０２を受信している。この場合、通知３００と通知３０２とでは、通知がリレーされる経路が異なることから、経由する各端末装置における通信処理による遅延などにより、端末装置ｆは、通知３００と通知３０２とを異なるタイミングで受信すると考えられる。したがって、端末装置ｆは、先に受信された通知を保存し、後に受信された通知を捨てることになり、検出ＩＤが同一の通知を重複して持つことが避けられる。
【００５１】
次のステップＳ３６で、撮像制御アプリは、位置情報処理部１００７により、ステップＳ３２で受信した通知５０に含まれる起動フラグ５０１の値に基づき、当該通知５０が他の端末装置１００における撮像制御アプリの起動時に送信された通知５０であるか否かを判定する。撮像制御アプリは、起動時に送信された通知５０であると判定した場合、処理をステップＳ３７に移行させる。
【００５２】
ステップＳ３７で、撮像制御アプリは、位置情報処理部１００７により、ステップＳ３２で受信した通知５０に含まれる位置情報５０５に基づき、マップを更新する。そして、次のステップＳ３８で、撮像制御アプリは、位置情報処理部１００７により、更新されたマップに基づきクラスタリング処理を行う。
【００５３】
ステップＳ３７およびステップＳ３８の処理について、より詳細に説明する。位置情報処理部１００７は、ステップＳ３５で保存した通知５０に含まれる位置情報５０５に基づき、マッピングを行う。図１０は、実施形態に係るマッピングの例を示す。図１０に示される各点は、それぞれ位置情報５０５に対応し、図１０は、各通知５０に含まれる位置情報５０５における緯度および経度を、ｘｙ座標上の点として示している。
【００５４】
位置情報処理部１００７は、マッピングされた情報に基づきクラスタリング処理を行い、各位置情報５０５をクラスタに分類する。図１０の例では、各位置情報５０５がクラスタ４００、４０１および４０２の３つのクラスタに分類された様子が示されている。なお、クラスタリング処理の手法としては、ＮＮ(Nearest  Neighbor)法、Ｋ−ＮＮ(K  Nearest  Neighbor)法といった、既存の技術を用いることができる。位置情報処理部１００７は、ステップＳ３６で、通知５０が起動時送信のものであると判定した場合に、このステップＳ３７およびステップＳ３８での処理を実行する。
【００５５】
撮像制御アプリは、ステップＳ３８の処理の終了後、処理をステップＳ３２に戻す。
【００５６】
上述のステップＳ３６で、撮像制御アプリは、位置情報処理部１００７により、ステップＳ３２で受信した通知５０が起動時に送信された通知５０ではないと判定した場合、処理をステップＳ４０に移行させる。ステップＳ４０で、撮像制御アプリは、ステップＳ３２で受信した通知５０に含まれるオン／オフ情報５０２がオン情報およびオフ情報の何れを示しているかを判定する。
【００５７】
撮像制御アプリは、通知５０に含まれるオン／オフ情報５０２がオフ情報を示していると判定した場合、処理をステップＳ５０に移行させる。撮像制御アプリは、ステップＳ５０で、上述のステップＳ３５で保存されている通知５０のうち、オフ情報を示していると判定した通知５０に含まれる検出ＩＤと同一の検出ＩＤを持つ通知５０を削除する。ステップＳ５０の処理後、撮像制御アプリは、処理をステップＳ３２に戻す。
【００５８】
一方、撮像制御アプリは、ステップＳ４０で通知５０に含まれるオン／オフ情報５０２がオン情報を示していると判定した場合、処理をステップＳ４１に移行させる。ステップＳ４１で、撮像制御アプリは、位置情報処理部１００７により、過去の所定時間内に、オン情報を含む一定以上の数の通知５０を受信したか否かを判定する。撮像制御アプリは、受信していないと判定した場合、処理をステップＳ３２に戻す。なお、ステップＳ４１の判定条件となる一定以上の数は、ステップＳ３７で更新されたマップに含まれる位置情報５０５の数を母数としたときの比として決めることが考えられる。
【００５９】
撮像制御アプリは、ステップＳ４１で、過去の所定時間内に、オン情報を含む一定以上の数の通知５０を受信したと判定した場合、処理をステップＳ４２に移行させる。ステップＳ４２で、撮像制御アプリは、位置情報処理部１００７によりマップ更新を行い、次のステップＳ４３でクラスタリング処理を行う。このステップＳ４２およびステップＳ４３の処理は、上述したステップＳ３７およびステップＳ３８の処理と同一なので、ここでの説明を省略する。
【００６０】
次のステップＳ４４で、撮像制御アプリは、判定部１００８により、ステップＳ４３でのクラスタリング処理の結果分類されたクラスタが、所定の条件（盛り上がり条件）を満たすか否かを判定する。
【００６１】
図１１を用いて、実施形態に係る、クラスタに対する条件判定について説明する。図１１は、上述の図１０に対応するもので、ステップＳ４３のクラスタリング処理により  各位置情報５０５がクラスタ４００、４０１’および４０２’の３つのクラスタに分類された様子を示している。なお、図１１の例は、上述の図１０で示したクラスタ４０１および４０２に、位置情報５０５が追加され、クラスタ４０１’および４０２’となっている。
【００６２】
盛り上がりの条件を、上述したように、ある程度以上の大きな音が、一定の位置的な広がりを持って同時に発生しているとした場合、位置情報処理部１００７は、例えば、クラスタに含まれる位置情報５０５の数と、位置情報５０５に基づくクラスタの広がりとを条件として判定を行うことが考えられる。
【００６３】
図１１の例では、クラスタ４００、４０１’および４０２’は、それぞれ４個、１０個および６個の位置情報を含んでいる。クラスタに含まれる位置情報５０５の数に対する閾値を８個とした場合、クラスタ４００および４０２’は条件を満たさないので、除外する。
【００６４】
判定部１００８は、残るクラスタ４０１’について広がりを判定する。例えば、判定部１００８は、クラスタ４０１’に含まれる各位置情報５０５が含まれる範囲４１０について、ｘ座標の最大値ｘ1および最小値ｘ0と、ｙ座標の最大値ｙ1および最小値ｙ0とを求め、求めた各座標値に基づき広がりの判定を行う。一例として、ｘ座標の最大値ｘ1および最小値ｘ0の差と、ｙ座標の最大値ｙ1および最小値ｙ0の差をそれぞれ求め、何れか一方が閾値を超えている場合に、広がりの条件を満たしていると判定することが考えられる。
【００６５】
なお、盛り上がり条件は、クラスタに含まれる位置情報５０５の数および広がりに限られない。例えば、クラスタに係る面積や、クラスタに含まれる位置情報５０５の密度などを盛り上がり条件とすることも考えられる。
【００６６】
撮像制御アプリは、ステップＳ４４で、判定部１００８により所定の条件を満たさないと判定された場合、処理をステップＳ３２に戻す。一方、撮像制御アプリは、ステップＳ４４で判定部１００８により所定の条件を満たすと判定された場合、処理をステップＳ４５に移行させる。ステップＳ４５で、撮像制御アプリは、撮像制御部１００３により撮像部１２１を制御して、撮像処理を行う。
【００６７】
このとき、撮像制御アプリは、撮像部１２１の向きが盛り上がりの条件を満たすクラスタ４０１’に対応する方向を向いる場合に、撮像を行うようにすると好ましい。例えば、図１１の例では、端末装置１００は、撮像部１２１がクラスタ４０１’の方を向いているので、撮像制御アプリにより撮像が行われる。一方、撮像制御アプリは、例えば、撮像部１２１が向いていな方向のクラスタ４０２’が盛り上がりの条件を満たす場合、撮像を行わない。撮像部１２１の方向は、例えば、端末装置１００内にジャイロなどを用いた方向検知機構を設けて検知することが考えられる。
【００６８】
撮像制御アプリは、ステップＳ４５で撮像処理がなされると、処理をステップＳ３２に戻す。
【００６９】
上述したように、実施形態に係る端末装置１００は、複数の他の端末装置１００による音の検知結果に基づき盛り上がりの有無および盛り上がりが発生している場所（方向）を判定している。そのため、盛り上がりの判定をより的確に行うことが可能であると共に、遠くの位置で発生した盛り上がりにも対応できる。
【００７０】
なお、上述の実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。
【符号の説明】
【００７１】
５０，３００，３０１，３０２  通知
１００  端末装置
１１０  ＣＰＵ
１１２  ＲＡＭ
１１６  データＩ／Ｆ
１２０  ＧＰＳ部
１２１  撮像部
１２２  マイクロホン
１２３  音声取得部
１２４  音声処理部
４００，４０１，４０１’，４０２，４０２’  クラスタ
５００  アプリ識別情報
５０１  起動フラグ
５０２  オン／オフ情報
５０３  検出ＩＤ
５０４  端末識別情報
５０５  位置情報
１０００  受信部
１００１  送信部
１００２  保存部
１００３  撮像制御部
１００４  音処理部
１００５  位置情報取得部
１００６  比較部
１００７  位置情報処理部
１００８  判定部
【先行技術文献】
【特許文献】
【００７２】
【特許文献１】特開平４−３１７０３９号公報
【図１】
2016178566.tif 000003
【図２】
2016178566.tif 000004
【図３】
2016178566.tif 000005
【図４】
2016178566.tif 000006
【図５】
2016178566.tif 000007
【図６】
2016178566.tif 000008
【図７】
2016178566.tif 000009
【図８】
2016178566.tif 000010
【図９】
2016178566.tif 000011
【図１０】
2016178566.tif 000012
【図１１】
2016178566.tif 000013