(57)【要約】【課題】撮像装置により撮影された画像における前景領域の画質の監視を支援することを目的とする。【解決手段】撮像装置により撮影された画像から分離された前景領域を取得し、取得された前景領域における各画素の明るさを示す指標値の分布を示すオブジェクトを表示部に表示する。【選択図】図８
2020008935.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮影された画像から分離された前景領域を取得する取得手段と、
前記取得手段により取得された前記前景領域における各画素の明るさを示す指標値の分布を示すオブジェクトを表示部に表示する表示制御手段と、
を有する情報処理装置。
【請求項２】
前記表示制御手段は、前記オブジェクトとして、前記指標値の取り得る値と前記取得手段により取得された前記前景領域において前記指標値が前記取り得る値である画素が出現する頻度との対応を示すヒストグラムを前記表示部に表示する請求項１記載の情報処理装置。
【請求項３】
前記表示制御手段は、前記オブジェクトとして、前記指標値の取り得る値と前記取得手段により取得された前記前景領域において前記指標値が前記取り得る値である画素が出現する頻度との関係を示し、長手方向の位置が前記指標値の値を示し、前記前景領域における前記指標値が前記取り得る値である画素が出現する頻度を色で示す棒状のオブジェクトを前記表示部に表示する請求項１記載の情報処理装置。
【請求項４】
前記表示制御手段は、前記取得手段により取得された前記前景領域のうち指定された領域に含まれる領域における前記指標値の分布を示す前記オブジェクトを前記表示部に表示する請求項１乃至３何れか１項記載の情報処理装置。
【請求項５】
前記取得手段は、複数の前記撮像装置それぞれにより撮影された複数の画像それぞれから分離された複数の前記前景領域を取得し、
前記表示制御手段は、前記取得手段により取得された複数の前記前景領域それぞれにおける前記指標値の分布の状況を示す複数の前記オブジェクトを、複数の前記撮像装置それぞれの配置位置に応じた表示態様で、前記表示部に表示する請求項１乃至４何れか１項記載の情報処理装置。
【請求項６】
前記表示制御手段は、撮影対象の領域に応じて複数のグループにグループ分けされた複数の前記撮像装置それぞれにより撮影された複数の画像それぞれについて前記取得手段により取得された複数の前記前景領域それぞれにおける前記指標値の分布の状況を示す前記複数の前記オブジェクトを、前記複数の撮像装置それぞれの前記複数のグループにおけるグループ毎の配置位置に応じた表示態様で、前記表示部に表示する請求項５記載の情報処理装置。
【請求項７】
前記表示制御手段は、複数の前記撮像装置それぞれにより撮影された複数の画像それぞれについて前記取得手段により取得された複数の前記前景領域それぞれにおける前記指標値の分布を示す複数のオブジェクトを、前記表示部に表示された一方の軸が撮像装置の配置位置を示し、他方の軸が前記指標値の値を示す２次元平面上に配置することで表示する請求項３記載の情報処理装置。
【請求項８】
前記表示制御手段は、前記取得手段により取得された前記前景領域における前記撮像装置の露出値に基づいて補正された前記指標値の分布を示す前記オブジェクトを前記表示部に表示する請求項１乃至７何れか１項記載の情報処理装置。
【請求項９】
撮像装置により撮影された画像から分離された前景領域を取得する取得手段と、
前記取得手段により取得された前記前景領域における各画素の明るさを示す指標値の分布を示すオブジェクトを表示部に表示する表示制御手段と、
を有するシステム。
【請求項１０】
情報処理装置が実行する情報処理方法であって、
撮像装置により撮影された画像から分離された前景領域を取得する取得ステップと、
前記取得ステップで取得された前記前景領域における各画素の明るさを示す指標値の分布を示すオブジェクトを表示部に表示する表示制御ステップと、
を含む情報処理方法。
【請求項１１】
システムが実行する情報処理方法であって、
撮像装置により撮影された画像から分離された前景領域を取得する取得ステップと、
前記取得ステップで取得された前記前景領域における各画素の明るさを示す指標値の分布を示すオブジェクトを表示部に表示する表示制御ステップと、
を含む情報処理方法。
【請求項１２】
コンピュータを、請求項１乃至８何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、システム、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
昨今、複数の撮像装置を異なる位置に配置して多視点で同期撮影し、撮影した複数の視点からの画像を用いて仮想視点コンテンツを生成する技術が注目されている。上記のようにして複数の視点から撮影された複数の画像から仮想視点コンテンツを生成する技術によれば、例えば、以下のようなことができる。即ち、サッカーやバスケットボール等のスポーツの試合のハイライトシーン等を様々な角度から視聴することができるため、通常の画像と比較してユーザにより高い臨場感を与えることができる。
一方、このような仮想視点コンテンツの生成及び閲覧は、複数の撮像装置が撮影した画像を、画像処理を行うサーバ等に集約し、このサーバ等にて、三次元モデル生成、レンダリング等の処理を施し、ユーザ端末に伝送を行うことで実現できる。
このような仮想視点コンテンツの提供を支援する技術には、特許文献１がある。特許文献１には、複数の撮像装置により撮影された画像における前景領域のデータ及び背景領域のデータを取得し、その前景領域のデータ及び背景領域のデータから被写体の三次元形状を推定することについて記載されている。
仮想視点コンテンツとして適切な画像を生成するためには、各撮像装置の露出が適切に調整されている必要がある。特に画像に白飛びや黒潰れ等が存在すると、仮想視点コンテンツに白飛びや黒潰れが発生するだけでなく、三次元モデル生成が正常に行われず、大きな画質の乱れが生じる可能性がある。
そのため、従来、仮想視点コンテンツの生成に用いられる画像を撮影する撮像装置それぞれにより撮影された画像について、横軸を画素値、縦軸をその画像における各画素値の画素が出現する頻度としたヒストグラムを表示することが行われていた。これにより、ユーザは、表示されたヒストグラムを視認することで、白飛びや黒潰れが発生しているか否か等の画質を監視できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２５４５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
サッカーのピッチ等のように領域全体を撮影するために複数の撮像装置を要する程に広大な領域についての仮想視点コンテンツを生成する場合、各撮像装置の画角は広めにするのが望ましい。仮に撮像装置の画角が狭いと、領域全体をカバーするために膨大な台数の撮像装置が必要になり、また、選手が映っていない撮像装置も多くなり、費用対効果の点で好ましくないためである。
カメラの画角が広い程、背景画像（例えば、芝生等）の画素数に対する前景領域（例えば、選手やボール等の領域）の画素数は非常に少なくなる。そのため、撮影された画像について、横軸を画素値、縦軸をその画像における各画素値の画素が出現する頻度としたヒストグラムは、ほとんど背景画像に依存したヒストグラムになる。
しかし、スポーツの試合等の仮想視点コンテンツを視聴する場合は、前景の画質（例えば、選手やボール等）が高いことが要求される。また、前景に白飛びや黒潰れが発生すると映像の立体感が失われたり、三次元モデルが正常な形状にならなかったりして、仮想視点コンテンツの質が低下してしまうこととなる。
そこで、撮像装置により撮影された画像における前景領域の画質の監視を支援したいという要望があった。
しかしながら、従来表示されていたヒストグラムは、ほとんど背景領域に依存したヒストグラムであり、前景領域に含まれる被写体（例えば、選手の顔やユニフォーム等）に白飛びや黒潰れが発生してもヒストグラムからはわかりにくい。そのため、従来表示されていたヒストグラムでは、撮像装置により撮影された画像における前景領域の画質の監視を支援できなかった。
【課題を解決するための手段】
【０００５】
本発明の情報処理装置は、撮像装置により撮影された画像から分離された前景領域を取得する取得手段と、前記取得手段により取得された前記前景領域における各画素の明るさを示す指標値の分布を示すオブジェクトを表示部に表示する表示制御手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、撮像装置により撮影された画像における前景領域の画質の監視を支援することができる。
【図面の簡単な説明】
【０００７】
【図１Ａ】監視システムの一例を説明する図である。
【図１Ｂ】監視システムの一例を説明する図である。
【図２】撮像装置が配置された状況の一例を示す図である。
【図３】オブジェクトの表示態様の一例を示す図である。
【図４】画素値の分布の状況を示すオブジェクトの一例を説明する図である。
【図５】領域分離処理の一例について説明する図である。
【図６】切り出された領域の一例を示す図である。
【図７】送信されるデータの形式の一例を説明する図である。
【図８】監視装置の処理の一例を示すフローチャートである。
【図９】撮像装置が配置された状況の一例を示す図である。
【図１０】撮像装置が配置された状況の一例を示す図である。
【図１１】撮像装置が配置された状況の一例を示す図である。
【図１２】オブジェクトの表示態様の一例を示す図である。
【図１３】監視システムのシステム構成要素の機能構成等の一例を示す図である。
【図１４】撮像装置が配置された状況の一例を示す図である。
【図１５】撮影された画像の一例を示す図である。
【図１６】監視装置の処理の一例を示すフローチャートである。
【図１７】オブジェクトの表示態様の一例を示す図である。
【図１８】オブジェクトの表示態様の一例を示す図である。
【図１９】撮像装置が配置された状況の一例を示す図である。
【図２０】監視装置の処理の一例を示すフローチャートである。
【図２１】監視システムのシステム構成要素の機能構成等の一例を示す図である。
【図２２】露出値に基づく画素値の補正の一例を説明する図である。
【図２３】オブジェクトの表示態様の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下に、本発明の実施の形態の一例を、図面に基づいて詳細に説明する。
【０００９】
＜実施形態１＞
図１Ａは、本実施形態の監視システムのシステム構成等の一例を示す図である。監視システムは、複数のカメラ１、複数のカメラアダプタ２、生成装置３、監視装置４を含む。本実施形態の監視システムは、撮像装置により撮影された画像の前景領域における各画素の画素値の分布の状況を示すオブジェクトを表示することでユーザに提示し、ユーザによる撮像装置により撮影された画像の前景領域の画質の監視を支援するシステムである。図１Ａの例では、監視システムは、カメラ１、カメラアダプタ２をそれぞれ３台ずつ含むとするが、４台以上（例えば、１２台、数十台等）含むこととしてもよいし、２台含むこととしてもよい。
カメラ１それぞれは、レンズ、撮像素子を含み、入光した光を電気信号に変換することで、画像のデータを生成し、生成した画像のデータを対応するカメラアダプタ２に送信する撮像装置である。入光した光から画像のデータを生成することを撮影とする。カメラ１は、動画像、静止画像等の画像を撮影し、カメラアダプタ２へ撮影した画像のデータを出力する。カメラ１は、同期信号、画像のデータ（例えば、画像の各カラーチャンネルの強度を示すカラー信号等）、マイクを介して取得された音声、撮影パラメータ等の付加情報を示すアンシラリ信号等を含むデジタルデータを出力できる。
【００１０】
カメラアダプタ２それぞれは、１台のカメラ１と接続され、接続された１台のカメラ１を制御する情報処理装置である。本実施形態では、カメラ１とカメラアダプタ２とは、別個の装置であるとする。しかし、例えば、カメラ１が、カメラアダプタ２のハードウェアと機能とを含むこととしてもよい。その場合、監視システムは、カメラアダプタ２を含まないこととなる。
生成装置３は、カメラアダプタ２それぞれから出力されたカメラ１により撮影された画像のデータに基づいて、仮想視点映像を生成するパーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置等の情報処理装置である。
監視装置４は、カメラ１それぞれで撮影された画像の状態の監視のための各種情報を表示するＰＣ、サーバ装置、タブレット装置等の情報処理装置である。また、監視装置４は、カメラ１それぞれに対して、露出や同期等の制御信号を送信する。
【００１１】
図１Ｂ（ａ）は、監視装置４のハードウェア構成の一例を示す図である。監視装置４は、ＣＰＵ１４０１、主記憶装置１４０２、補助記憶装置１４０３、操作部１４０４、表示部１４０５、デバイスＩ／Ｆ１４０６、ネットワークＩ／Ｆ１４０７を含む。各要素は、システムバスを介して、相互に通信可能に接続されている。
ＣＰＵ１４０１は、監視装置４を制御する中央演算装置である。主記憶装置１４０２は、ＣＰＵ１４０１のワークエリアやデータの一時的な記憶領域として機能するＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。補助記憶装置１４０３は、各種プログラム、各種設定情報、カメラ１により撮影された画像のデータ等を記憶する記憶装置である。補助記憶装置１４０３は、例えば、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ等である。
操作部１４０４は、キーボード、ポインティングデバイス、その他のコントローラ等のカメラ１の操作等に用いられる入力装置である。表示部１４０５は、カメラ１により撮影された画像、カメラ１により撮影された画像についての画素値の分布を示すオブジェクト等が表示されるモニタ、タッチパネルの表示部等の表示装置である。
【００１２】
デバイスＩ／Ｆ１４０６は、カメラアダプタ２、生成装置３等の外部のデバイスとの間の接続に用いられるインターフェースである。本実施形態では、ＣＰＵ１４０１は、デバイスＩ／Ｆ１４０６を介して、カメラアダプタ２、生成装置３との間で情報の入出力を行うこととする。
ネットワークＩ／Ｆ１４０７は、インターネット、ＬＡＮ等のネットワークへの接続に用いられるインターフェースである。監視装置４は、ネットワークＩ／Ｆ１４０７を介して、ネットワーク経由で、カメラアダプタ２、生成装置３と接続されることとしてもよい。その場合、ＣＰＵ１４０１は、ネットワークＩ／Ｆ１４０７を介して、ネットワーク経由で、カメラアダプタ２、生成装置３との間で情報の入出力を行うこととなる。
ＣＰＵ１４０１が、補助記憶装置１４０３に記憶されたプログラムにしたがって処理を実行することで、図１Ａに示される監視装置４の機能、図８、１６、２０で後述するフローチャートの処理等の監視装置４の処理が実現される。
本実施形態では、生成装置３のハードウェア構成は、図１Ｂ（ａ）に示す監視装置４のハードウェア構成と同様であるとする。
【００１３】
図１Ｂ（ｂ）は、カメラアダプタ２のハードウェア構成の一例を示す図である。カメラアダプタ２は、ＣＰＵ１２０１、主記憶装置１２０２、補助記憶装置１２０３、カメラＩ／Ｆ１２０４、デバイスＩ／Ｆ１２０５、ネットワークＩ／Ｆ１２０６を含む。各要素は、システムバスを介して相互に通信可能に接続されている。
ＣＰＵ１２０１は、カメラアダプタ２を制御する中央演算装置である。主記憶装置１２０２は、ＣＰＵ１２０１のワークエリアやデータの一時的な記憶領域として機能するＲＡＭ等の記憶装置である。補助記憶装置１２０３は、各種プログラム、各種設定情報、カメラ１により撮影された画像のデータ等を記憶するＲＯＭ、ＨＤＤ、ＳＳＤ、フラッシュメモリ等の記憶装置である。
【００１４】
カメラＩ／Ｆ１２０４は、カメラ１との接続に用いられるインターフェースである。ＣＰＵ１２０１は、カメラＩ／Ｆ１２０４を介して、カメラ１との間で情報の入出力を行う。デバイスＩ／Ｆ１２０５は、生成装置３、監視装置４等の外部のデバイスとの間の接続に用いられるインターフェースである。本実施形態では、ＣＰＵ１２０１は、デバイスＩ／Ｆ１２０５を介して、他のカメラアダプタ２、生成装置３、監視装置４との間で情報の入出力を行うこととする。
ネットワークＩ／Ｆ１２０６は、インターネット、ＬＡＮ等のネットワークへの接続に用いられるインターフェースである。カメラアダプタ２は、ネットワークＩ／Ｆ１２０６を介して、ネットワーク経由で、他のカメラアダプタ２、生成装置３、監視装置４と接続されることとしてもよい。その場合、ＣＰＵ１２０１は、ネットワークＩ／Ｆ１２０６を介して、ネットワーク経由で、他のカメラアダプタ２、生成装置３、監視装置４との間で情報の入出力を行うこととなる。
ＣＰＵ１２０１が、補助記憶装置１２０３に記憶されたプログラムにしたがって処理を実行することで、図１Ａに示されるカメラアダプタ２の機能、カメラアダプタ２の処理が実現される。
【００１５】
図１Ａを用いて、カメラアダプタ２、監視装置４の機能構成の一例について説明する。
カメラアダプタ２は、分離部２１、カメラ制御部２２、伝送部２３を含む。
分離部２１は、カメラ１から送信されたデータが示す画像を、その画像における前景領域と、その画像における背景領域と、に分離する。
カメラ制御部２２は、カメラＩ／Ｆ１２０４を介して、露出値の設定、同期等を指示する制御信号をカメラ１へ送信する。露出値とは、絞り値（Ｆ値）と露光時間（シャッタースピード）とから定まる撮影の際の露出の度合いを示す指標である。
伝送部２３は、外部の装置との間で、画像や制御信号等の情報の通信を行う。本実施形態では、複数のカメラアダプタ２は、それぞれのデバイスＩ／Ｆ１２０５を介して、デイジーチェーン接続されており、情報が伝送されていく順番が定められているとする。伝送部２３は、前段のカメラアダプタ２から送信されたデータに、生成したデータを加えて、後段のカメラアダプタ２へ送信する。
【００１６】
監視装置４は、画像取得部４１、画素値取得部４２、カウント部４３、レイアウト部４４、描画部４５、表示制御部４６、操作制御部４７、カメラ制御部４８を含む。
画像取得部４１は、カメラアダプタ２それぞれから出力されたカメラ１により撮影された画像の情報（例えば、画像全体を示す情報、画像の前景領域を示す情報、画像の背景領域を示す情報等）を取得する。
画素値取得部４２は、画像取得部４１により取得されたカメラ１により撮影された画像に基づいて、画像中の各画素の画素値を取得する。画素値は、画像中の画素の明るさの程度を示す指標値の一例である。
カウント部４３は、画像取得部４１により取得された画像の前景領域を示す情報毎に、情報が示す領域における画素値の下限値から上限値までの各値の出現回数をカウントする。
レイアウト部４４は、表示部１４０５に表示される各ＧＵＩ（グラフィカルユーザインタフェース）オブジェクトの表示位置や表示サイズを決定する。
【００１７】
描画部４５は、表示部１４０５に描画されるカメラ１により撮影された画像毎の画素値の分布の状況を示すオブジェクトを生成し、表示部１４０５への表示を表示制御部４６に指示する。
表示制御部４６は、描画部４５により生成されたオブジェクトを、レイアウト部４４により決定された表示態様で、表示部１４０５に表示する。
操作制御部４７は、操作部１４０４を介したユーザからの入力を受付ける。操作制御部４７は、例えば、カメラ１の操作指示等を受付ける。
カメラ制御部４８は、カメラ１やカメラアダプタ２を制御するための制御信号を各カメラアダプタへ送信する。
【００１８】
図２は、複数のカメラ１が配置された状況の一例を示す図である。図２の状況は、サッカーのピッチ１００の周囲に１２台のカメラ１が配置された状況である。
カメラ１それぞれには、配置位置に応じて、（１）〜（１２）の番号が付与されている。図２の例では、ピッチ１００を取り囲むように配置された１２台のカメラ１のうち任意のカメラ１の番号を（１）として、（１）のカメラ１から反時計回りに（２）、（３）、・・・、（１２）と付番されている。数十台のカメラ１がピッチ１００の周囲に配置されることとしてもよい。
図３は、画素値の分布の状況を示すオブジェクトの表示態様の一例を示す図である。図３の状況は、表示部１４０５に表示される画面２００に、図２に示されるピッチ１００の周囲に配置されたカメラ１それぞれにより撮影された画像の前景領域それぞれにおける画素値の分布の状況を示すオブジェクト２０１が表示されている状況を示す。図３の例では、画像の前景領域における画素値の分布の状況を示すオブジェクトとして、横軸が画素値の値を示し、縦軸がその前景領域に存在する対応する画素値を持つ画素の個数を示すヒストグラムが表示されている。
図３の例では、レイアウト部４４は、カメラ１それぞれの配置位置に応じて付与された番号順に並べて、各カメラ１に対応するオブジェクトを表示する表示態様を決定している。そのため、各カメラ１に対応するオブジェクトは、付与された番号順に並んで表示されている。
【００１９】
図４は、前景領域に基づくオブジェクト２０１の一例を説明する図である。
本実施形態では、描画部４５は、カメラ１により撮影された画像中の前景領域について、画素値の分布を示すオブジェクトを生成する。本実施形態では、描画部４５は、このオブジェクトとして、横軸が画素値を示し、縦軸がその前景領域内に存在する対応する画素値を持つ画素の個数（出現度数）を示すヒストグラムを生成する。サッカーの試合が撮影される場合、カメラアダプタ２それぞれの分離部２１は、例えば、対応するカメラ１により撮影された画像から、ピッチ内の選手、ボール、審判等の領域を前景として分離する。
そのため、図４に示されるヒストグラムでは、選手のユニフォーム（シャツ、パンツ、ソックス）、肌（顔、腕、脚）、髪、ボール等の色についての画素値の影響が主に表れる。
例えば、画素値が１０ビット値とし、有効な値が４〜１０１９の範囲であるとする。図４（ａ）の例では、対応する前景領域における全ての画素が、画素値が下限値４以上、上限値１０１９以下の範囲に収まっている画素である。したがって、この前景領域においては、白飛びや黒潰れは生じていない。
【００２０】
図４（ｂ）の例では、対応する前景領域に、上限値である１０１９の画素値を有する画素の出現度数が他の画素値を有する画素の出現度数に比べて多くなっている。画素値が上限値１０１９である画素には、実際には画素値１０１９が示す明るさよりももっと明るい部分に対応する画素も含まれると推定される。そのため、図４（ｂ）の例では、対応する前景領域に白飛びが生じていると推定できる。
図４（ｃ）の例では、対応する前景領域に、下限値である４の画素値を有する画素の出現度数が他の画素値を有する画素の出現度数に比べて多くなっている。画素値が下限値４である画素には、実際には画素値４が示す明るさよりももっと暗い部分に対応する画素も含まれると推定される。そのため、図４（ｃ）の例では、対応する前景領域に黒潰れが生じていると推定できる。
白飛びや黒潰れが生じると、本来、被写体が持っている階調が表現できないので、画質が低下する。また、画像から前景領域、背景領域を分離する処理やさまざまな画像処理を行う際にも、白飛びや黒潰れの部分については処理が正しく行われない可能性がある。
【００２１】
そこで、ユーザは、表示部１４０５に表示されたヒストグラムを確認することで、画像における前景領域における画素値の分布の状況を監視する。そして、ユーザは、図４（ｂ）、（ｃ）のようなヒストグラムが表示されたら、カメラの露出を調整して白飛びや黒潰れを解消させることとなる。また、ユーザは、現在白飛びや黒潰れが発生していなくても、画素値の上限値や下限値に近い値が存在するときは、今後被写体の明るさの変化によって白飛びや黒潰れが発生するおそれがあるため、事前にカメラの露出を調整することが望ましい。
このように、本実施形態の監視システムは、カメラ１により撮影された画像のうち良好な画質を維持することが望ましい前景領域について、画素値の分布の状況を示すオブジェクトを表示部１４０５に表示する。これにより、監視システムは、このオブジェクトをユーザに提示することができる。ユーザは、提示されたオブジェクトを確認することで、カメラ１により撮影された画像の前景領域について、画素値の分布の状況を監視することができる。したがって、監視システムは、ユーザによるカメラ１により撮影された画像における前景領域の画質の監視を支援できることとなる。
【００２２】
図５は、画像から背景領域や前景領域を分離する領域分離処理の一例について説明する図である。図５を用いて、領域分離処理について説明する。
図５（ａ）は、１台のカメラ１で撮影された画像３００の一例を示す図である。画像３００には、被写体として、４人の選手１０１とボール１０２とが映っている。本実施形態では、カメラ１は、画像３００を示すＲＡＷ画像情報を、カメラアダプタ２へ送信する。
ＲＡＷ画像情報は、カメラ１の撮像センサのカラーフィルタ配列（ベイヤー配列）に基づいた画像の情報であり、１画素あたりＲ（赤）、Ｇ（緑）、Ｂ（青）の何れか１つのカラーチャンネルの値を１０ビットで表す。どの画素が、どのカラーチャンネルの色に対応するかは、画素の座標位置によって定められている。
まず、分離部２１は、カメラ１から送信された情報が示す画像３００から、図５（ｂ）に示すように、前景領域に対応する画素を１、背景領域に対応する画素を０とした２値画像（画像３１０）を生成する。
【００２３】
分離部２１は、例えば、カメラ１から送信された画像と、予め撮影された背景画像と、を比較して、各画素の画素値の差が、予め定められた閾値以上の画素を前景画素とする。背景画像は、補助記憶装置１２０３に記憶されているとする。また、分離部２１は、領域分離処理により、分離された背景領域に基づいて、補助記憶装置１２０３に記憶されている背景画像のデータを更新する。
また、分離部２１は、画像３１０における前景領域のうち１つの塊となっている画素の領域（領域３０１）それぞれを特定する。
更に、分離部２１は、特定した領域３０１それぞれについて、前景領域である領域３０１を含む矩形の領域である矩形領域３０２を決定する。以下では、１塊の前景領域を含むように決定された矩形領域を前景矩形領域とする。
そして、分離部２１は、画像３００と画像３１０とのそれぞれにおける全ての矩形領域３０２（前景矩形領域）内のデータをそれぞれ切り出して、伝送部２３へ送信する。伝送部２３は、送信された画像３００と画像３１０とのそれぞれにおける全ての矩形領域３０２内のデータを、監視装置４に送信する。
本実施形態では、分離部２１がカメラ１により撮影された画像から前景領域、背景領域を分離することとしたが、監視装置４がカメラ１により撮影された画像から前景領域、背景領域を分離することとしてもよい。その場合、伝送部２３は、例えば、カメラ１により撮影された画像全体の情報を、監視装置４に送信する。そして、画像取得部４１は、例えば、取得した情報が示す画像から分離部２１と同様の処理で前景領域と背景領域とを分離する。
【００２４】
図６は、画像３００から切り出された領域の一例を示す図である。図６の状況は、カメラ１が撮影する動画像における１フレーム（静止画像）である画像３００から矩形領域３０２が示す領域が切り出された状況を示す。
生成装置３は、矩形領域３０２のＲＡＷ画像の情報を現像（ディベイヤー）してから領域３０１（シルエット映像の１の画素の領域）を切り抜くことで、フルカラーの前景映像を得ることができる。
伝送部２３は、伝送データ量を削減するために、背景画像のフレームを間引き、更に圧縮して出力することとしてもよい。例えば、動画像が６０フレーム毎秒でカメラ１により撮影された場合、伝送部２３は、前景領域の情報を６０フレーム毎秒で伝送し、背景領域の情報を、１フレーム毎秒で伝送することとしてもよい。
【００２５】
図７は、伝送部２３により送信される画像の情報の形式の一例を説明する図である。伝送部２３は、カメラ１により撮影される６０フレーム毎秒の動画像の情報を送信する。伝送部２３は、１フレームの背景領域の情報と、６０フレームの前景領域の情報と、が含まれる情報を、１秒分の動画像の情報として送信する。伝送部２３は、例えば、フレーム毎に、画像の情報を監視装置４に送信する。即ち、伝送部２３は、カメラ１により６０フレーム毎秒の動画像が撮影される場合、毎秒６０回、１フレーム毎の画像の情報を監視装置４に送信する処理を行う。図７の例では、伝送部２３は、フレーム１、６１については、前景領域の情報と併せて背景領域の情報も送信する。それ以外のフレームについては、伝送部２３は、背景領域の情報のみを送信する。
１フレームの前景領域の情報には、カメラ１により撮影された画像における前景矩形領域の情報、カメラ１により撮影された画像のうち前景領域を１として背景領域を０として２値化された２値化画像における前景矩形領域の情報が含まれる。前景矩形領域の個数は、０個以上である。例えば前景領域がない場合、前景矩形領域の個数は、０個となる。
１フレームの前景領域の情報には、例えば、前景矩形領域の左上端のｘ座標、ｙ座標、前景矩形領域の幅（ｗｉｄｔｈ）、高さ（ｈｅｉｇｈｔ）が含まれる。また、１フレームの前景領域の情報には、例えば、カメラ１により撮影された画像における前景矩形領域の情報、カメラ１により撮影された画像のうち前景領域を１として背景領域を０として２値化された２値化画像における前景矩形領域の情報が含まれる。
【００２６】
図８は、監視装置４の処理の一例を示すフローチャートである。監視装置４は、カメラ１それぞれについて、送信された画像の情報に対して、図８の処理を実行する。
Ｓ１００１において、画像取得部４１は、カメラアダプタ２からカメラ１により撮影された１フレームの画像の情報を取得する。
Ｓ１００２において、カウント部４３は、例えば、各画素値（４〜１０１９）の出現度数それぞれのカウントに用いられる主記憶装置１２０２に記憶された変数であるカウンタの値を、初期化（例えば、値を０に）する。
Ｓ１００３において、画像取得部４１は、Ｓ１００１で取得した１フレームの画像の情報から１つの前景矩形領域の情報を選択する。以下では、Ｓ１００３で選択された情報が示す前景矩形領域を、選択矩形領域とする。
【００２７】
Ｓ１００４において、画素値取得部４２は、Ｓ１００３で取得した前景矩形領域に含まれる画素から、選択したことのない画素を、１つを選択する。以下では、Ｓ１００４で選択された画素を選択画素とする。画素値取得部４２は、Ｓ１００１で取得された情報が示すカメラ１により撮影された画像の前景領域における選択画素の画素値を取得する。
ここでは取得したＲＡＷ映像信号値（Ｒ、Ｇ、Ｂのいずれかのカラーチャンネルの値）をそのまま使用するが、後述のように１つないし複数のＲＡＷ映像信号値に対して所定の演算を行ってもよい。
Ｓ１００５において、カウント部４３は、Ｓ１００１で取得された情報が示す２値化画像における選択画素の画素値が１であるか否かを判定する。カウント部４３は、１であると判定した場合、Ｓ１００６の処理に進み、１でない（０である）と判定した場合、Ｓ１００７の処理に進む。
Ｓ１００６において、カウント部４３は、Ｓ１００４で取得した選択画素の画素値に対応する出現度数のカウンタの値を１つカウントアップする。
【００２８】
Ｓ１００７において、カウント部４３は、選択矩形領域内の全ての画素について、Ｓ１００４で選択画素として選択され、Ｓ１００４から後のＳ１００７までの処理が完了したか否かを判定する。カウント部４３は、完了したと判定した場合、Ｓ１００８の処理に進み、完了以していないと判定した場合、Ｓ１００４の処理に進む。
Ｓ１００８において、カウント部４３は、Ｓ１００１で取得した情報が示す全ての前景矩形領域について、Ｓ１００３で選択矩形領域として選択され、Ｓ１００３から後のＳ１００８までの処理が完了したか否かを判定する。カウント部４３は、完了したと判定した場合、Ｓ１００９の処理に進み、完了していないと判定した場合、Ｓ１００３の処理に進む。
Ｓ１００９において、描画部４５は、主記憶装置１４０２に記憶されたカウンタに基づいて、横軸を画素値、縦軸を前景領域に存在する対応する画素値の画素の出現度数としたヒストグラムを生成し、表示制御部４６に生成したヒストグラムの表示を指示する。表示制御部４６は、描画部４５により生成されたヒストグラムを表示部１４０５に表示する。
監視装置４は、Ｓ１００９の処理の完了後に再度、Ｓ１００１で別の１フレームの画像の情報を取得し、図８の処理を繰り返すこととなる。
監視装置４は、各カメラ１からの画像に対して図８の処理を実行することで、図３のような画面を表示部１４０５に表示することとなる。
【００２９】
以下で、本実施系多の変形例について説明する。
図９、図１０、図１１は、それぞれ、ピッチ１００の周囲に１２台のカメラ１が配置された状況の一例を示す図である。各カメラ１には、図２と同様に、配置位置に応じて、Ｎｏ．（１）〜Ｎｏ．（１２）の番号が付与されている。
図９に示されるように、番号（１）、（４）、（７）、（１０）の４台のカメラ１は、ピッチ１００の左エリアを撮影対処とする。図１０に示されるように、番号（２）、（５）、（８）、（１１）の４台のカメラ１は、ピッチ１００の右エリアを撮影対象とする。図１１に示されるように、番号（３）、（６）、（９）、（１２）の４台のカメラ１は、ピッチ１００の中央エリアを撮影対象とする。
レイアウト部４４は、例えば、１２台のカメラ１を、ピッチ１００の左エリアを撮影するグループＡと、ピッチ１００の右エリアを撮影するグループＢと、ピッチ１００の中央エリアを撮影するグループＣと、にグループ分けする。
【００３０】
そして、レイアウト部４４は、各カメラ１により撮影された画像から図８の処理で生成されるオブジェクトを、対応するカメラ１のグループに応じた表示態様で表示するよう決定する。例えば、レイアウト部４４は、図１２に示すように、同じグループに属する各カメラ１に対応するオブジェクトをグルーピングして、表示するよう決定する。図１２の例では、同じグループに属する各カメラ１に対応するオブジェクトは、同じ枠の内部に表示されている。
これにより、ユーザの利便性をより向上できる。同じエリアを撮影しているカメラ１群について、撮影された画像における画素値の分布の状況をまとめて監視したいという場合があるためである。また、異なるエリアを撮影するカメラ１よりも、同じエリアを撮影するカメラ１の方が映像の類似度が高いためである（カメラの台数が多いほど、その傾向が強い）。
また、複数人で、カメラ１により撮影された画像の画素値の分布の状況を監視する場合、表示制御部４６は、グルーピングされたカメラ１毎に、その複数人それぞれが視認する異なる表示装置に対応するヒストグラムを表示することとしてもよい。
【００３１】
また、本実施形態では、描画部４５は、４、５、６、・・・、１０１８、１０１９の１０１６個の画素値それぞれに対応する出現頻度を示すヒストグラムを生成した。描画部４５は、例えば、Ｓ１００９で、ヒストグラムの表示サイズに応じて、画素値を、指定された精度に丸めた上で、ヒストグラムを生成してもよい。また、描画部４５は、例えば、Ｓ１００９で、ヒストグラムの表示サイズに関係なく、画素値を、指定された精度に丸めた上で、ヒストグラムを生成してもよい。
描画部４５は、例えば、画素値を連続する４つの値毎にまとめて、（４〜７）、（８〜１１）、（１２〜１５）、・・・、（１０１２〜１０１５）、（１０１６〜１０１９）の２５４個のグループを求める。そして、描画部４５は、例えば、この２５４個のグループ毎に、出現頻度を集計し、これらのグループと出現頻度との対応を示すヒストグラムを生成することとしてもよい。
【００３２】
また、本実施形態では、カウント部４３は、Ｓ１００６で、選択画素がどのカラーチャンネル（Ｒ、Ｇ、Ｂ）に対応する画素であるかに関わりなく、選択画素の画素値に対応する出現度数のカウンタの値を１つカウントアップすることとした。しかし、例えば、主記憶装置１４０２が、カラーチャンネル（Ｒ、Ｇ、Ｂ）それぞれに対応するカウンタが記憶されているとする。即ち、主記憶装置１４０２は、Ｒ、Ｇ、Ｂそれぞれについて、４〜１０１９の画素値の出現頻度を格納するためのカウンタが記憶されているとする。この場合、カウント部４３は、Ｓ１００６で、選択画素がどのカラーチャンネル（Ｒ、Ｇ、Ｂ）に属するかを特定し、特定したカラーチャンネルに対応するカウンタに対して、選択画素の画素値に対応する出現度数の値を１つカウントアップする。
そして、描画部４５は、Ｓ１００９で、カラーチャンネル毎に、対応するカウンタに基づいて、ヒストグラムを生成することとして、表示制御部４６に対して、表示部１４０５への表示を指示することとしてもよい。
また、監視システムは、ＲＡＷ画像の代わりに、現像（ディベイヤー）後のＲＧＢ信号や輝度色差信号（ＹＣｂＣｒ信号）に基づいて、ヒストグラムを生成し、表示するようにしてもよい。
【００３３】
以上、本実施形態では、監視システムは、カメラ１により撮影された画像から前景領域を分離し、分離した前景領域について、画素値の分布の状況を示すヒストグラムを生成し、表示部１４０５に表示することとした。これにより、監視システムは、ユーザに対して、前景領域における画素値の分布の状況を示すヒストグラムを提示できる。ユーザは、提示されたヒストグラムを確認することで、カメラ１により撮影された画像における前景領域の画素値の分布の状況を監視できる。例えば、ユーザは、良好な画質が求められる前景領域について、白飛びや黒潰れが発生しているか（または発生しそうか）の判断を容易にできる。このように、監視システムは、ユーザによるカメラ１により撮影された画像における前景領域の画質の監視を支援できる。
【００３４】
＜実施形態２＞
本実施形態では、監視システムがカメラ１により撮影された画像において指定された領域から分離された前景領域について、画素値の分布の状況を示すオブジェクトを表示する処理について説明する。
本実施形態の監視システムのシステム構成は、実施形態１と同様である。また、本実施形態の監視システムの各システム構成要素のハードウェア構成は、実施形態１と同様である。
図１３は、本実施形態の監視システムのシステム構成要素の機能構成等の一例を示す図である。本実施形態の監視システムの各システム構成要素の機能構成は、監視装置４に領域指定部４９が含まれる点で実施形態１と異なる。
領域指定部４９は、操作部１４０４を介したユーザによる操作に基づいて、カメラ１により撮影された画像中の領域の指定を受付ける。
【００３５】
図１４は、サッカーのピッチ１００の周囲に１２台のカメラ１が配置された状況の一例を示す図である。各カメラ１には、図２と同様に、配置位置に応じて、Ｎｏ．（１）〜Ｎｏ．（１２）の番号が付与されている。
図１４の例では、更にピッチ１００の周囲に、電光看板１１０、１１１、１１２、１１３が存在する。これらの電光看板の一部がカメラ１により撮影された画像に映る場合がある。
電光看板１１０、１１１、１１２、１１３それぞれは、グラフィックスを動画として表示する。カメラ１により撮影される画像における電光看板の部分は、動画を滑らかに表現するために、前景領域として分離され、背景領域の情報よりも高いフレームレートで監視装置４に伝送されることが望ましい。そこで、本実施形態では、分離部２１は、カメラ１から取得した画像から、電光看板の表示部を、前景領域として分離する。
【００３６】
電光看板に表示されるグラフィックスは、明るく鮮やかな色が多用されるので、白飛びを起こしやすい。しかしながら、もし電光看板が白飛びを起こさないように露出調整を行うと、選手やボール等の被写体が暗くなりすぎて黒潰れを起こしやすくなる。
また、電光看板は複数のカメラ１のうち、電光看板の表側に位置するカメラ１にしか映らないので、カメラ１の位置によって電光看板の明るさの影響の受け方が異なる。晴れているときは、順光側のカメラ１により撮影された画像には、白飛びが生じやすく、逆光側のカメラ１により撮影された画像には、黒潰れが生じやすいことに留意して露出調整を行うことが好ましいが、太陽の向きによらず電光看板の向きによって画素値の分布が影響されてしまうのは好ましくない。そこで、電光看板の影響を除きたいという要望があった。
そこで、本実施形態では、監視システムは、カメラ１により撮影された画像における領域指定部４９により受付けられた指定が示す領域から前景領域を分離する。そして、監視委ステムは、分離した前景領域について、画素値の分布の状況を示すオブジェクトを生成し、表示部１４０５に表示する。これにより、監視システムは、指定された領域以外の領域を除いた上で、前景領域を分離でき、指定された領域以外の領域の影響を除いた上で、画素値の分布の状況を示すオブジェクトを生成し、表示できる。
【００３７】
図１５は、１台のカメラ１により撮影された画像の一例を示す図である。図１６は、監視装置４の処理の一例を示すフローチャートである。
本実施形態では、監視システムは、図８の処理の代わりに、図１６の処理を実行する。また、本実施形態では、領域指定部４９は、図１６の処理の開始前に、カメラ１により撮影された画像における、画素値の分布の状況が検出される対象となる領域（以下では、検出対象領域とする）の指定を受付ける。領域指定部４９は、例えば、あるカメラ１により撮影された画像として図１５の画像３００を、表示部１４０５に表示するよう表示制御部４６に指示する。そして、ユーザは、表示部１４０５に表示された画像３００を確認して、どの領域を検出対象領域とするかを判断する。ユーザは、例えば、操作部１４０４を操作することで、画像３００上に、電光看板を含まない領域３０３を指定する。ユーザは、例えば、指定する領域の頂点となる複数の点（領域３０３の各頂点）の指定を行う。領域指定部４９は、操作部１４０４を介したユーザによる操作を受付けて、領域３０３の指定を受付ける。領域指定部４９は、例えば、領域の頂点となる複数の点の指定を受付けた場合、各頂点を繋いだ領域の指定を受付けることとなる。そして、領域指定部４９は、受け付けた指定が示す領域３０３を、そのカメラ１により撮影された画像における検出対象領域として決定する。領域指定部４９は、以上の処理を、各カメラ１に対して実行する。
【００３８】
図１６を用いて、本実施形態の監視装置４の処理について説明する。
図１６の処理は、実施形態１の図８の処理と比べて、Ｓ１００５の処理の代わりに、Ｓ２００１の処理が実行される点で異なる。Ｓ２００１の処理の前にＳ１００４の処理で、選択画素が選択されている。
Ｓ２００１においては、カウント部４３は、Ｓ１００１で取得された情報が示す２値化画像における選択画素の画素値が１であり、かつ、選択画素が領域指定部４９により決定された検出対象領域に含まれているか否かを判定する。カウント部４３は、Ｓ１００１で取得された情報が示す２値化画像における選択画素の画素値が１であり、かつ、選択画素が領域指定部４９により決定された検出対象領域に含まれていると判定した場合、Ｓ１００６の処理に進む。カウント部４３は、Ｓ１００１で取得された情報が示す２値化画像における選択画素の画素値が０である、又は、選択画素が領域指定部４９により決定された検出対象領域に含まれていないと判定した場合、Ｓ１００７の処理に進む。
図１６の処理によって、カメラ１により撮影された画像における検出対象領域から分離された前景領域についての画素値の分布の状況を示すオブジェクトが生成され、表示部１４０５に表示される。
【００３９】
以上、本実施形態の処理により、監視システムは、カメラ１により撮影された画像における検出対象領域から分離された前景領域について、画素値の分布の状況を示すオブジェクトを表示した。これにより、監視システムは、ユーザに対して、指定された領域以外の領域の影響を除いた上で、前景領域の画素値の分布の状況を提示できる。
【００４０】
＜実施形態３＞
カメラ１の台数が膨大である場合、図３のように画面上に多数のヒストグラムを表示すると、個々のヒストグラム表示が非常に小さくなって見にくくなる。
そこで、本実施形態では、監視システムは、以下のような処理を行う。即ち、監視システムは、画素値の分布の状況を示すオブジェクトとして、ヒストグラムでなく、長手方向の各位置が画素値を示し、内部の色が対応する長手方向の位置が示す画素値の出現頻度を示す棒状のオブジェクトを表示する処理を行う。
本実施形態の監視システムのシステム構成は、実施形態１と同様である。また、本実施形態の監視システムの各システム構成要素のハードウェア構成、機能構成は、実施形態１と同様である。
【００４１】
図１７に、本実施形態の監視システムが表示するオブジェクトの一例を示す。図１７の例では、各オブジェクトは、対応するカメラ１に付与された番号に応じた横軸方向の位置に表示されている。監視システムは、各オブジェクトの幅を小さくするほど、より多くのオブジェクトを表示される画面内に配置できるようになる。監視システムは、例えば、カメラ１が数十台、数百台存在する場合でも、全てのカメラ１に対応するオブジェクトを、１つの画面として表示できるようになる。
また、監視システムは、図９、図１０、図１１で説明したように、同じグループに属するカメラ１に対応するオブジェクトを、まとめて表示するようにしてもよい。監視システムは、例えば、図１８に示すように、同じグループに属するカメラ１に対応するオブジェクトを同一の枠内に配置するようにして表示することとしてもよい。
【００４２】
図１９は、被写体の周囲に１２台のカメラ１が配置された状況の一例を示す図である。各カメラには、図２と同様に、配置位置に応じて、Ｎｏ．（１）〜Ｎｏ．（１２）の番号が付与されている。
図１９の例では、太陽１２０の光は、矢印の方向へ（図１９の左側から右側へ）向かって選手１０１に照射されている。したがって、図１９の例では、選手１０１の左側に配置されたカメラ１（例えば、Ｎｏ．（７）〜（１１）のカメラ１）は順光、選手１０１の右側のカメラ１（例えば、Ｎｏ．（１）〜（５）のカメラ１）は逆光となる。
順光側のカメラ１により撮影された画像では、逆光側のカメラ１により撮影された画像に比べて、人物等の被写体が明るくなる場合がある。そのため、図１７に示すように、順光側のカメラ１に対応するオブジェクトは、逆光側のカメラ１に対応するオブジェクトと比べて、より高い画素値の出現度数がより多いことを示すオブジェクトとなる。即ち、図１７のような、本実施形態で表示されるオブジェクトを見ることで、ユーザは、カメラ１の配置位置に応じた被写体の明るさの傾向を把握しやすくなる。
【００４３】
本実施形態の監視装置４の処理は、Ｓ１００９の処理の内容が異なる点が、実施形態１の図８の処理と異なる。
図２０は、監視装置４の処理の一例を示すフローチャートである。本実施形態のＳ１００９の処理の詳細を、図２０を用いて説明する。図２０の処理は、図８の処理と同様に、各カメラ１から送信された画像の情報それぞれについて、実行される処理である。描画部４５は、オブジェクトを表示するための画面として、一方の軸がカメラ１に付与された番号を示し、他方の軸が画素値を示す２次元の画面を生成する。以下では、生成されたこの画面を表示用画面とする。本実施形態では、描画部４５は、オブジェクトを表示するための表示用画面として、横軸がカメラ１に付与された番号を示し、縦軸が画素値を示す２次元の画面を生成することとする。しかし、描画部４５は、オブジェクトを表示するための表示用画面として、縦軸がカメラ１に付与された番号を示し、横軸が画素値を示す２次元の画面を生成することとしてもよい。その場合、監視システムは、画素値の分布の状況を示す棒状の各オブジェクトを、図１７の場合と異なり、各オブジェクトの長手方向が水平方向と平行となるように表示することとなる。
【００４４】
Ｓ３００１において、描画部４５は、Ｓ１００１で取得した情報が示す画像を撮影したカメラ１に付与された番号に基づいて、そのカメラ１に対応する棒状のオブジェクトの横軸上の配置位置（Ｘ座標）を決定する。描画部４５は、例えば、レイアウト部４４から取得した座標を算出するためのパラメータに基づいて、このＸ座標を決定する。そして、描画部４５は、表示用画面の決定したＸ座標の位置に、棒状のオブジェクトを配置する。描画部４５は、このオブジェクトの幅を、予め定められた値とする。描画部４５は、このオブジェクトの高さを、表示用画面における画素値の最小値に対応する縦軸上の位置から画素値の最大値に対応する縦軸上の位置までの高さとする。また、描画部４５は、このオブジェクトの縦軸上の位置を、底の高さが、画素値の最小値に対応する縦軸上の位置となるようにする。
Ｓ３００２において、描画部４５は、画素値の値を格納するための変数Ｖを、主記憶装置１４０２に記憶し、Ｖに画素値の下限値（画素値の範囲が４〜１０１９ならば４）を代入する。以下では、描画部４５は、Ｖの値を更新しながら、Ｓ３００１で配置したオブジェクトのＶの値に対応する高さの領域に対して、対応する画素値の出現頻度に応じた着色を行う。
【００４５】
Ｓ３００３において、描画部４５は、Ｖの値に基づいて、Ｓ３００１で配置されたオブジェクトのＶの値の画素値に対応する領域の表示用画面の縦軸上の位置（Ｙ座標）を決定する。座標を算出するためのパラメータは、レイアウト部４４から取得する。
Ｓ３００４において、描画部４５は、Ｖの値の画素値の出現度数を示す主記憶装置１４０２に記憶されたカウンタの値（出現度数）に基づいて、Ｓ３００１で配置されたオブジェクトにおけるＶに対応する高さの領域の色を決定する。描画部４５は、この領域の色を、出現度数が高いほど、コントラストが高い色となるように決定する。例えば、描画部４５は、この領域の色を、表示用画面の背景色が黒色の場合は出現度数が高いほど明るい色となるように決定し、表示用画面の背景色が白色の場合は出現度数が高いほど暗い色となるように決定する。
また、描画部４５は、白飛びや黒潰れの可能性のある画素値（画素値の最大値、最小値）や、その画素値に近似する画素値（例えば、最大値や最小値と予め定められた閾値以下の差がある画素値）に対して、対応する領域の色を、以下のように決定してもよい。即ち、描画部４５は、Ｓ３００１で配置したオブジェクトにおけるこれらの画素値に対応する領域の色を、警告のために予め定められた目立つ色相で表示するようにしてもよい。
【００４６】
Ｓ３００５において、描画部４５は、Ｓ３００１で配置されたオブジェクトにおける座標（Ｘ、Ｙ）の領域に、Ｓ３００４で決定した色で着色する。
Ｓ３００６において、描画部４５は、変数Ｖの値が、画素値の上限値であるか否かを判定する。描画部４５は、変数Ｖの値が画素値の上限値であると判定した場合、図２０の処理を終了し、変数Ｖの値が画素値の上限値でないと判定した場合、Ｓ３００７の処理に進む。
Ｓ３００７において、描画部４５は、変数Ｖに１を加えて、Ｓ３００３の処理に進む。
【００４７】
以上、本実施形態の処理により、監視システムは、カメラ１により撮影された画像から分離された前景領域における画素値の分布の状況を示すオブジェクトとして、ヒストグラムでなく、図１７等に示すような棒状のオブジェクトを表示することとした。これにより、監視システムは、ヒストグラムを表示する場合に比べて、より多くのオブジェクトを表示できるようになる。そのため、監視システムは、カメラ１の台数が増加した場合でも、各カメラ１に対応するオブジェクトを１つの画面内に表示できるようにできる。
【００４８】
＜実施形態４＞
図１９の例において、選手１０１の身体のうち太陽が当たっている部分と当たっていない部分との明暗差が大きいほど、以下のようになりうる。即ち、全部のカメラ１の露出を同一にした場合、順光のカメラ１により撮影される画像で生じる白飛びを解消させるために露出を調整すると、逆光のカメラ１により撮影される画像で黒潰れが生じうる。
このような場合は、一部のカメラのみ露出を調整する必要がある。
カメラ１の数が膨大である場合、オペレータが１台１台のカメラ１に対応する画素値の分布の状況を示すオブジェクトを見ながら露出を個別に調整すると、時間がかかる上に、操作ミスが起きる可能性が高まる。
そこで、位置が近く、かつ、同一エリアを撮影しているカメラ１同士は、撮影する画像における被写体の明るさが近い傾向にあるので、これらのカメラ１の露出をまとめて調整することが望ましい。
【００４９】
例えば、図１７のように各カメラ１に対応するオブジェクトがカメラ１の配置位置に応じた順序で並んでいる場合、ユーザは、例えば、以下のようにする。即ち、ユーザは、操作部１４０４を介して、監視システムに対して、まとめて露出を調整したいカメラ１を選択し、選択したカメラ１に同様の露出値の調整を指示する。監視装置４は、操作部１４０４を介したユーザの操作に基づいて、カメラ１に対する露出値の調整の指示を、受け付け、カメラ制御部４８を介して、指定されたカメラ１に対して露出値の調整を指示する。図１８のように、グループ毎にまとめられたオブジェクトが表示されていると、ユーザは、まとめて露出値を調整すべきカメラ１をどれにするかをより容易に判断できる。
ところが、一部のカメラ１の露出値が変更された場合、監視システムが、改めて、図１７のようなオブジェクトを表示すると、元のオブジェクトと変わってしまうため、被写体の明るさの傾向がわかりにくくなってしまう。同じ明るさの被写体でも、より高い露出値のカメラ１により撮影された画像における被写体の方が、より低い露出値のカメラ１により撮影された画像における被写体よりも、対応する画素値は高くなる。
【００５０】
そこで、本実施形態では、監視システムは、一部のカメラ１の露出値が変更された場合でも、ユーザに被写体の明るさの傾向を把握させやすくするため、カメラ１の露出値に基づいて、カメラ１により撮影された画像の前景領域の画素値を補正する処理を実行する。
本実施形態の監視システムのシステム構成は、実施形態１と同様である。また、本実施形態の監視システムの各システム構成要素のハードウェア構成は、実施形態１と同様である。
図２１は、本実施形態の監視システムのシステム構成要素の機能構成等の一例を示す図である。本実施形態の監視システムの各システム構成要素の機能構成は、監視装置４に露出値取得部５０が含まれる点で実施形態１と異なる。
露出値取得部５０は、カメラアダプタ２からカメラ１の露出値の情報を取得する。カメラアダプタ２は、例えば、画像情報のアンシラリ情報として、カメラ１の露出値の情報を、監視装置４に送信する。
本実施形態では、画素値取得部４２は、露出値取得部５０により取得された露出値に基づいて、カメラ１により撮影された画像から分離された前景領域の各画素を補正する処理を行う。
【００５１】
図２２（ａ）は、露出値がそれぞれ異なる場合の被写体輝度とカメラ１の撮像センサが出力する各画素の画素値との関係を示したグラフの一例を示す図である。
カメラ１の撮像センサが出力する画素値は、被写体輝度に対して線形（リニア）である。ただし、所定の輝度で撮像センサが飽和し、それ以上被写体輝度が高くても、カメラ１の撮像センサから出力される画素値は一定（上限値）となる。
図２２（ａ）の例では、ＩＳＯ感度がＩＳＯ３２００のとき、被写体輝度がＬのときに撮像センサが飽和する。図２２の各グラフの点線部分は、撮像センサが飽和している状態（白飛び部分）を示す。露出値を１ｓｔｏｐ下げてＩＳＯ感度がＩＳＯ１６００となる場合、被写体輝度が２Ｌのときに撮像センサが飽和することとなる。露出を更に１ｓｔｏｐ下げてＩＳＯ感度をＩＳＯ８００とすると、被写体輝度が４Ｌのときに撮像センサが飽和することとなる。
【００５２】
図２２（ｂ）は、露出値がそれぞれ異なる場合の被写体輝度とカメラ１から出力される画像の各画素の画素値との関係を示したグラフである。カメラ１は、図２２（ａ）に示される露出値を図２２（ｂ）に示される露出値のように補正した上で、カメラアダプタ２に対して出力する。カメラ１は、画像の各画素の画素値の情報をより少ないビット数で伝送可能にするために、撮像センサから出力された画素値に対数関数（または対数関数に近い関数）をかけて、補正しているとする。
本実施形態では、画素値取得部４２は、Ｓ１００４で、カメラアダプタ２から取得した図２２（ｂ）に示されるような画素値を、図２２（ｃ）のようにカメラ１の露出値に依存せず被写体輝度に比例する（ただし白飛び部分を除く）ように補正する。より具体的には、画素値取得部４２は、実施形態１と同様に選択画素を選択し、選択した選択画素に対して、カメラ１が撮像センサから出力された画素にかけた関数の逆関数をかけて、図２２（ａ）のような画素値に戻す。そして、画素値取得部４２は、その画素値に対して、更に露出値取得部５０が取得した露出値に応じた係数を乗算することで、図２２（ｃ）のような画素値に補正する。この係数は、露出１ｓｔｏｐ低下に対して２倍の比率の値とする。例えば、ＩＳＯ３２００のときに係数＝１６とすると、ＩＳＯ１６００のときは係数＝３２、ＩＳＯ８００のときは係数＝６４とする。同様に絞りを、Ｆ値１．４倍絞ったとき、シャッター速度を２倍速くしたとき、ＮＤフィルタを１段濃くしたときは、それぞれ露出が１ｓｔｏｐ低下するので、露出値取得部５０はこれらの露出値も取得する。そして、画素値取得部４２は、露出値取得部５０により取得されたこれらの露出値に応じた係数を決定する。
【００５３】
描画部４５は、図２２（ｃ）の特性を持つ画素値に基づいて、そのままオブジェクトを生成すると、生成されたオブジェクトでは、画素値が高くなるほど出現度数が極端に少なくなっていく（低い映像信号値に出現度数が集中する）。そのため、ユーザは、どのような状態を示すオブジェクトであるかを把握しにくくなる。
そこで、画素値取得部４２は、求めた図２２（ｃ）の特性を持つ画素値を、図２２（ｄ）に示すように、２の対数の値に変換する（ｓｔｏｐ値で表わす）。そして、描画部４５は、画素値取得部４２により図２２（ｄ）の特性を持つように変換された画素値に基づいて、オブジェクトを生成する。これにより、オブジェクトがより見やすくすることができる。ｓｔｏｐ値は、１ｓｔｏｐ毎に被写体輝度が２倍になることを表す。ｓｔｏｐ値は、固定小数点形式、又は浮動小数点形式の数値である。
図２３は、本実施形態で表示されたオブジェクトの一例を示す図である。図２３の例では、各オブジェクトは、横軸がカメラ配置位置を示し、縦軸が図２２（ｄ）のｓｔｏｐ値に変換された画素値を示す２次元平面上に、配置されている。本実施形態では、図１６で用いられるカウンタは、予め定められたストップ値の取り得る値の複数の範囲それぞれについて用意されているとする。そして、カウント部４３は、Ｓ１００６で、選択画素の画素値（ストップ値）が属する範囲に対応するカウンタに１を加える。そして、描画部４５は、図２０のフローチャートの処理を実行する際に、オブジェクトを生成する。しかし、Ｓ３００７において、描画部４５は、Ｖを、この予め定められた複数の範囲それぞれを示す情報として用いる。描画部４５は、Ｓ３００２で、Ｖを、この複数の範囲のうち、最も値の小さいものを示す情報にする。また、描画部４５は、Ｓ３００７で、Ｖを、現在のＶが示す範囲よりも１つだけ大きい範囲を示す情報に更新する。また、描画部４５は、Ｓ３００６で、現在のＶが示す範囲が、最も値の大きい範囲であるか否かを判定する。
【００５４】
また、描画部４５は、各カメラ１に対応するオブジェクトと併せて、画素値の上限値に対応するｓｔｏｐ値に線２０３、下限値に対応するｓｔｏｐ値に線２０４を、表示用画面上に配置することとしてもよい。画素値（ストップ）の分布が線２０３に達していると白飛び、線２０４に達していると黒潰れがそれぞれ発生していることを示す。これにより、ユーザは、より容易に白飛びや黒潰れの発生を把握できるようになる。
線２０３及び線２０４の縦軸方向の位置は、カメラ１の露出値によって定まるので、ユーザは、線２０３と線２０４との位置を見ることで、対応するカメラ１の露出値の大小を把握できる。また、描画部４５は、図２３に示すように、同一の露出値のカメラグループに属するカメラ１に対応するオブジェクトであることを示すアイコン２０５（図２３の例では露出パラメータを示す）を、表示用画面上に配置してもよい。
太陽は１時間に角度１５度の速度で時計回りに移動するので、時間の経過によって、カメラ１のグループ分けを変更されることもありうる。そのような場合でも、図２３のような表示態様のオブジェクトを見ることで、ユーザは、カメラ１それぞれの配置の状況に応じた被写体の明るさの傾向を把握できるので、次にどのカメラ１で白飛びや黒潰れが発生しそうかを予測しやすくなる。
【００５５】
以上、本実施形態の処理によれば、監視システムは、カメラ１により撮影された画像の前景領域における各画素の画素値を、カメラ１の露出値に基づいて補正することとした。これにより、カメラ１の露出値が変更された場合であっても、被写体の明るさの傾向を把握しやすいように、複数のカメラ１それぞれに対応するオブジェクトを表示できる。ユーザは、例えば、複数のカメラ１の露出をまとめて変更する際の目安として、表示された画面を確認できる。
【００５６】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５７】
例えば、上述した監視システムの機能構成の一部又は全てをハードウェアとして監視装置４に実装してもよい。
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせたり、適宜変更してもよい。
【符号の説明】
【００５８】
１  カメラ
２  カメラアダプタ
３  生成装置
４  監視装置
【図１Ａ】
2020008935.tif 000003
【図１Ｂ】
2020008935.tif 000004
【図２】
2020008935.tif 000005
【図３】
2020008935.tif 000006
【図４】
2020008935.tif 000007
【図５】
2020008935.tif 000008
【図６】
2020008935.tif 000009
【図７】
2020008935.tif 000010
【図８】
2020008935.tif 000011
【図９】
2020008935.tif 000012
【図１０】
2020008935.tif 000013
【図１１】
2020008935.tif 000014
【図１２】
2020008935.tif 000015
【図１３】
2020008935.tif 000016
【図１４】
2020008935.tif 000017
【図１５】
2020008935.tif 000018
【図１６】
2020008935.tif 000019
【図１７】
2020008935.tif 000020
【図１８】
2020008935.tif 000021
【図１９】
2020008935.tif 000022
【図２０】
2020008935.tif 000023
【図２１】
2020008935.tif 000024
【図２２】
2020008935.tif 000025
【図２３】
2020008935.tif 000026