(57)【要約】【課題】複数の撮像装置から並行して供給される複数系統の撮影画像のうちで品質のよりよい撮影画像をより的確に選択する。【解決手段】  画像データの出力開始後（ＳＡ１，ＳＡ２）、既定時間が経過する毎に、各撮像装置から供給される各撮像装置のブレ量を確認し、ブレ量が最も少ない系統の撮影画像を品質が最も高い撮影画像であるとして、当該系統の画像データを、優先度が最も高い系統の画像データであると決定する（ＳＡ５）。当該系統の画像データが出力中でなければ（ＳＡ６：ＮＯ）、出力中の画像データを当該系統の画像データに切り替える（ＳＡ７）、切り替え後の経過時間のカウントを開始する（ＳＡ８）。以後、経過時間が規定時間に達する毎に（ＳＡ９：ＮＯ、ＳＡ４：ＹＥＳ、）、ブレ量に基づき、優先度が最も高い系統の画像データを決定する処理等を逐次繰り返す。【選択図】図３
2014030069.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置から並行して逐次供給される複数系統の撮影画像を取得する取得手段と、
実際の撮影画像を解析して得られた撮影画像の品質、又は撮影画像の実際の撮影時の撮影状態により判断される撮影画像の品質を表す画像品質情報を前記複数系統毎に取得する画質情報取得手段と、
前記画質情報取得手段により系統毎に取得された画像品質情報によりそれぞれ示される品質に基づいて、前記取得手段により取得される複数系統の撮影画像のうちから所定の撮影画像を逐次選択する選択手段と
を備えることを特徴とする画像選択装置。
【請求項２】
前記選択手段により選択される撮影画像を出力する出力手段を更に備えることを特徴とする請求項１記載の画像選択装置。
【請求項３】
前記画像品質情報によりそれぞれ示される品質に基づいて、前記複数系統の撮影画像のうちで優先度が最も高い撮影画像を逐次決定する優先度決定手段を更に備え、
前記選択手段は、前記優先度決定手段により優先度が最も高いと決定された撮影画像を逐次選択する
ことを特徴とする請求項１又は２記載の画像選択装置。
【請求項４】
前記画質情報はブレ量を示す情報であることを特徴とする請求項１又は２，３記載の画像選択装置。
【請求項５】
前記画質情報取得手段は、前記画像品質情報として、前記複数の撮像装置において、実際の撮影画像を解析して得られた撮影画像の品質、又は撮影画像の実際の撮影時の撮影状態により判断される撮影画像の品質として取得され、かつ前記複数系統の撮影画像と共に逐次供給される所定の情報を取得することを特徴とする請求項１乃至４いずれか記載の画像選択装置。
【請求項６】
前記画質情報取得手段は、前記複数系統の画像品質情報のいずれかが取得できない場合、取得できない画像品質情報を当該系統の撮影画像から取得することを特徴とする請求項５記載の画像選択装置。
【請求項７】
前記画質情報取得手段は、前記画像品質情報を前記複数系統の撮影画像の各々から取得することを特徴とする請求項１乃至４いずれか記載の画像選択装置。
【請求項８】
前記画質情報取得手段により取得される前記各系統の画像品質情報には、各系統の撮影画像における特定の被写体領域のみの品質を直接表す画像品質情報が含まれることを特徴とする請求項１乃至７いずれか記載の画像選択装置。
【請求項９】
前記画質情報取得手段は、前記画像品質情報として複数項目からなる画像品質情報を系統毎に取得し、
前記各項目の画像品質情報に、所定の条件に応じた重みを項目毎に設定する重付手段を更に備え、
前記優先度決定手段は、前記各系統の撮影画像について、各項目の画像品質情報により示される品質を項目毎に評価し、項目毎の評価結果を前記重付手段により項目毎に設定された重みを付けて集計するとともに、重みを付けを伴った系統毎の集計結果に基づいて、前記複数系統の撮影画像のうちで優先度が最も高い撮影画像を逐次決定する
ことを特徴とする請求項３乃至８いずれか記載の画像選択装置。
【請求項１０】
前記選択手段は、前記優先度決定手段により優先度が最も高いと決定される撮影画像に関する前記画質情報取得手段により取得された画像品質情報により示される品質が所定の閾値以上であることを条件として、前記優先度決定手段により優先度が最も高いと決定された撮影画像を逐次選択することを特徴とする請求項３乃至９いずれか記載の画像選択装置。
【請求項１１】
前記選択手段における所定の撮影画像の選択動作を、前回の選択動作が行われてから規定時間が経過するまで停止させる選択動作制御手段を更に備えたことを特徴とする請求項１乃至１０いずれか記載の画像選択装置。
【請求項１２】
複数の撮像装置から並行して逐次供給される複数系統の撮影画像のうちから所定の撮影画像を逐次選択する方法において、
実際の撮影画像を解析して得られた撮影画像の品質、又は撮影画像の実際の撮影時の撮影状態により判断される撮影画像の品質を表す画像品質情報を前記複数系統毎に逐次取得する工程と、
系統毎に取得した画像品質情報によりそれぞれ示される品質に基づいて、前記複数系統の撮影画像のうちから所定の撮影画像を逐次選択する工程と
を含むことを特徴とする画像選択方法。
【請求項１３】
複数の撮像装置から並行して逐次供給される複数系統の撮影画像のうちから所定の撮影画像を選択逐次する画像選択装置が有するコンピュータを、
実際の撮影画像を解析して得られた撮影画像の品質、又は撮影画像の実際の撮影時の撮影状態により判断される撮影画像の品質を表す画像品質情報を前記複数系統毎に取得する画質情報取得手段と、
前記画質情報取得手段により系統毎に取得された画像品質情報によりそれぞれ示される品質に基づいて、前記取得手段により取得される複数系統の撮影画像のうちから所定の撮影画像を逐次選択する選択手段と
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像装置から並行して供給される複数系統の撮影画像のうちから所定の撮影画像を逐次選択する技術に関するものである。
【背景技術】
【０００２】
従来、複数のカメラから並行して供給される撮影画像のうちから所定の撮影画像を逐次選択する技術として、例えば下記特許文献には、複数のカメラからなる監視装置において、各カメラの被写体に装着された無線タグから無線信号を受信し、無線信号の受信強度が最もよい被写体が撮影された監視用画像を選択する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１０１０２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の技術は、複数のカメラから供給される複数の監視用画像の撮像状態を、各被写体に装着された無線タグから受信される無線信号の受信強度によって推測しているだけであり、複数系統の撮影画像の中から必ずしも品質のよい画像が選択されるとは限らないとう問題があった。
【０００５】
本発明は、かかる従来の課題に鑑みてなされたものであり、複数の撮像装置から並行して供給される複数系統の撮影画像のうちでよりよい品質の撮影画像をより的確に選択することができる画像選択装置、画像選択方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、本発明にあっては、複数の撮像装置から並行して逐次供給される複数系統の撮影画像を取得する取得手段と、実際の撮影画像を解析して得られた撮影画像の品質、又は撮影画像の実際の撮影時の撮影状態により判断される撮影画像の品質を表す画像品質情報を前記複数系統毎に取得する画質情報取得手段と、前記画質情報取得手段により系統毎に取得された画像品質情報によりそれぞれ示される品質に基づいて、前記取得手段により取得される複数系統の撮影画像のうちから所定の撮影画像を逐次選択する選択手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数の撮像装置から並行して供給される複数系統の撮影画像のうちでよりよい品質の撮影画像をより的確に選択することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】各実施形態に共通する本発明に係る画像選択装置として例示するスイッチャーを示す図である。
【図２】第１の実施形態におけるスイッチャーを示すブロック図である。
【図３】第１の実施形態における画像切替処理を示すフローチャートである。
【図４】第２の実施形態におけるスイッチャーを示すブロック図である。
【図５】得点テーブルを示す図である。
【図６】第２の実施形態における画像切替処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
（実施形態１）
以下、本発明の第１の実施形態について説明する。図１は、本発明に係る画像選択装置として例示するスイッチャー１を示すブロック図である。
【００１０】
スイッチャー１は、複数台のカメラＡ〜Ｄにおいて撮影され並行して供給される複数系統の映像を適宜切り替えて選択的に外部へ出力する構成を備えている。ここで、複数系統の映像は動画像であり、スイッチャー１には、各カメラＡ〜Ｄにおいて所定のフレームレートで撮像される被写体の撮影画像のデータ（以下、画像データと称す）が逐次入力される。
【００１１】
複数台のカメラＡ〜Ｄは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal oxide Semiconductor）型の撮像センサを備えた任意の撮像装置であり、例えばデジタルビデオカメラ、動画撮影機能を有するデジタルカメラ、携帯電話端末等の任意の装置に内蔵されたカメラである。
【００１２】
各カメラＡ〜Ｄにはジャイロセンサ１０１がそれぞれ搭載されており、スイッチャー１には、各カメラＡ〜Ｄにおいて逐次取得される各カメラのブレ量を示すブレ量データが画像データに付随して入力される。
【００１３】
スイッチャー１と各カメラＡ〜Ｄとの接続形態は、例えば有線接続、無線接続、又は任意の通信ネットワークを経由したネットワーク接続である。また、スイッチャー１が画像データを出力する対象は、例えば汎用のパーソナルコンピュータを含む種々の画像処理装置や、ネットワーク上に設けられた画像記憶装置である。
【００１４】
一方、図２は、スイッチャー１の電気的構成の概略を示すブロック図である。図２に示したようにスイッチャー１は、カメラ入力Ｉ／Ｆ１１、映像出力Ｉ／Ｆ１２、制御部１３、プログラム記憶部１４、操作部１５を備えている。
【００１５】
カメラ入力Ｉ／Ｆ１１は、各カメラＡ〜Ｄから、各系統の画像データ、及びブレ量データが逐次入力されるインターフェースである。カメラ入力Ｉ／Ｆ１１に入力する各系統の画像データ、及びブレ量データは制御部１３へ逐次供給される。
【００１６】
映像出力Ｉ／Ｆ１２は、制御部１３において逐次選択されるいずれかの系統の画像データを外部へ出力するインターフェースである。
【００１７】
制御部１３は、ＣＰＵ（Central Processing Unit）、及びその周辺回路等や、ＲＡＭ（Random Access memory）等の作業用の内部メモリを含み、スイッチャー１の動作を制御する。
【００１８】
プログラム記憶部１４は、例えばＲＯＭ（Read Only Memory）や、フラッシュメモリ等の記憶データが随時書き換え可能な不揮発性メモリにより構成される。プログラム記憶部１４には、制御部１３に、映像出力Ｉ／Ｆ１２が外部に出力する画像データを、各系統の画像データに付随するブレ量データに基づいて適宜切り替える後述の画像切替処理を行わせるためのプログラムが予め記憶されている。
【００１９】
操作部１５は、ユーザがスイッチャー１の電源をオンオフするための電源スイッチや、映像の出力が開始、及び終了の指示に使用するスイッチ等の各種スイッチから構成される。
【００２０】
一方、図３は、スイッチャー１に接続された各カメラＡ〜Ｄが動作している間、ユーザからの映像の出力開始指示に伴い、制御部１３が、プログラム記憶部１４に記憶されたプログラムに従い実行する画像切替処理の内容を示したフローチャートである。
【００２１】
制御部１３は、動作開始とともに各カメラＡ〜Ｄからの複数系統の画像データ、及びブレ量データの受信を開始し（ステップＳＡ１）、初期状態で決められている既定の系統の画像データ、例えばカメラＡから供給される画像データの出力を開始する（ステップＳＡ２）。
【００２２】
そして、制御部１３は、内蔵クロックを用いたタイマ機能によって、画像データの出力を開始してからの経過時間のカウントを開始する（ステップＳＡ３）。以後、画像データを出力している間には、以下の処理を繰り返し行う。
【００２３】
まず、制御部１３は、カウント中の経過時間が、予め決められている既定時間となったか否かを確認する（ステップＳＡ４）。処理開始当初においてステップＳＡ４で確認する経過時間は、既定の系統の画像データの出力を開始してからの経過時間である。また、上記の既定時間は数秒（例えば５秒）である。
【００２４】
そして、制御部１３は、係る経過時間が既定時間に達するまでの間は処理待ちを行い、（ステップＳＡ４：ＮＯ）、既定の系統の画像データを継続して出力させる。
【００２５】
その後、経過時間が既定時間に達すると（ステップＳＡ４：ＹＥＳ）、制御部１３は、各系統の画像データに付随して供給されたブレ量データによってそれぞれ示される各カメラＡ〜Ｄのブレ量を確認し、ブレ量が最も少ない各カメラＡ〜Ｄから供給されているいずれかの系統の画像データを画像品質が最も高い撮影画像のデータであるとして、当該系統の画像データを優先度が最も高い画像データとして決定する（ステップＳＡ５）。
【００２６】
次に、制御部１３は、優先度が最も高い画像データとして決定した系統の画像データが現在出力中であるか否かを確認し、現在出力中である場合は（ステップＳＡ６：ＹＥＳ）、そのままステップＳＡ４の処理に戻る。その後は、既定の系統の画像データの出力を開始してから既に既定時間に達しているので（ステップＳＡ４：ＹＥＳ）、制御部１３は、直ちにステップＳＡ５の処理を再び行う。
【００２７】
一方、制御部１３は、ステップＳＡ５での処理で優先度が最も高い画像データとして決定した系統の画像データが現在出力中でなければ（ステップＳＡ６：ＮＯ）、出力対象とする撮影データを、優先度が最も高い新たな系統の画像データに切り替える（ステップＳＡ７）。つまり新たに優先度が最も高い画像データとして決定した系統の画像データを新たな出力対象として選択し、それを現在出力中の系統の画像データと切り替えて映像出力Ｉ／Ｆ１２から出力させる。
【００２８】
これに伴い、スイッチャー１から任意の機器等に出力中の撮影画像が、複数系統の撮影画像のうちで、その時点におけるブレ量（カメラぶれ）が最も少ない新たな撮影画像、つまり最も品質のよい撮影画像に切り替えられる。
【００２９】
そして、制御部１３は、出力対象の撮影データの切り替えを行った後には、直ちに係る時点からの経過時間のカウントを開始する（ステップＳＡ８）。
【００３０】
引き続き、制御部１３は、ユーザから映像の出力終了指示があるまでは（ステップＳＡ９：ＮＯ）、ステップＳＡ４の処理に戻り、出力対象の撮影データを切り替えてから既定時間が経過するまで（ステップＳＡ４：ＮＯ）、再び処理待ちを行う。
【００３１】
つまり、制御部１３は、以前とは異なる系統の撮影データの出力を新たに開始した後には、常に一定時間は同一の系統の撮影データを継続して出力させる。
【００３２】
以後、制御部１３は、出力対象の撮影データの前回の切替時点から既定時間を経過すると（ステップＳＡ４：ＹＥＳ）、再びステップＳＡ５〜ステップＳＡ８の処理を繰り返す。その後、制御部１３は、ユーザから映像の出力終了指示があれば（ステップＳＡ９：ＹＥＳ）、その時点で画像切替処理を終了する。
【００３３】
以上の処理を制御部１３が行うことにより、本実施形態のスイッチャー１においては各カメラＡ〜Ｄにおいて撮影され並行して供給される複数系統の撮影画像（映像）を選択的に外部へ出力する動作を繰り返す間、常に、複数系統の撮影画像のうちでよりよい品質の撮影画像を選択して外部へ出力することができる。
【００３４】
しかも、本実施形態のスイッチャー１においては、優先度の最も高い撮影画像が、各カメラＡ〜Ｄにおいて逐次取得され画像データに付随して供給される、各カメラのブレ量を示すブレ量データに基づき決定される。つまり最も品質のよい撮影画像が、各系統の撮影画像の品質を直接表す情報であって、撮影画像の実際の撮影時の撮影状態により判断される撮影画像の品質を表す情報（画像品質情報）に基づき決定される。
【００３５】
したがって、本実施形態のスイッチャー１によれば、複数系統の撮影画像のうちでよりよい品質の撮影画像をより的確に選択して外部へ出力することができる。
【００３６】
また、本実施形態においては、以前とは異なる系統の撮影データの出力が新たに開始された後には、常に一定時間は同一の系統の撮影データが継続して出力される構成とした。したがって、本実施形態によれば、外部へ出力される撮影画像が、各系統間における相対的な品質の変化に伴い瞬時に他の系統の撮影画像に切り替わることを防止することができる。その結果、複数系統の撮影画像をより自然な状態で切り替えることができる。
【００３７】
また、本実施形態においては、各カメラＡ〜Ｄから各系統の画像データに付随して供給されるブレ量データを、各系統の撮影画像の品質を直接表す情報として使用するため、最も品質のよい撮影画像の特定、すなわち複数系統の画像データから優先度が最も高い画像データの決定を、単純な処理によって行うことができる。
【００３８】
ここで、本実施形態においては、スイッチャー１に、各カメラＡ〜Ｄにおいて逐次取得されるブレ量データが各系統の画像データに付随して供給される場合について説明した。しかし、スイッチャー１には、ブレ量データが取得できないカメラが接続される場合も想定される。
【００３９】
したがって、本発明の実施に際しては、制御部１３に以下の処理を行わせることが望ましい。例えば制御部１３には、各カメラＡ〜Ｄからの複数系統の画像データ、及びブレ量データの受信を開始した後（ステップＳＡ１）、系統毎に画像データに付随するブレ量データが取得できたか否かを確認し、ブレ量データが取得できない系統が存在する場合には、その系統の識別情報を記憶する処理を行わせる。
【００４０】
その後、制御部１３には、ブレ量データが取得できない系統が存在する場合には、図３に示したステップＳＡ５の処理、すなわち優先度が最も高い画像データを決定する処理に先立ち、上記の識別情報で示される系統の画像データからブレ量データを直接取得する処理を行わせる。
【００４１】
なお、画像データからブレ量データを直接取得する具体的な処理については任意の方法を採用することができる。ブレ量データの取得方法としては、例えば処理対象の系統の画像データについて、連続する複数フレーム分の画像データを一時記憶しておくものとし、相前後するフレームの画像間において１又は特徴点の動きベクトルを検出し、動きベクトルの大きさ（特徴点の移動量）をブレ量として取得する方法がある。
【００４２】
しかる後、制御部１３には、画像データに付随したブレ量データと、画像データから直接取得したブレ量データとに基づき、優先度が最も高い画像データを決定する処理を行わせる。
【００４３】
上記のように、複数系統の画像データにブレ量データが付随しない系統の画像データが含まれる場合には、その系統の画像データから直接ブレ量データを取得する処理を制御部１３に行わせれば、複数系統の画像データの供給元となるカメラの一部、又は全部がブレ量データを取得できない場合であっても、複数系統の撮影画像のうちでよりよい品質の撮影画像をより的確に選択して出力することができる。
【００４４】
また、本実施形態においては、外部へ出力する撮影データを他の系統の撮影データに切り替えた後、その系統の撮影データの出力を最低限継続させる時間を予め決められた固定時間とする構成について説明したが、最低限の継続時間をユーザが自由に設定できるようにしてもよい。
【００４５】
また、以上の説明においては、各カメラＡ〜Ｄにおいて逐次取得され画像データに付随して供給される情報（画像品質情報）が、各カメラのブレ量を示すブレ量データである場合について説明した。
【００４６】
しかし、本発明の実施に際して、複数系統の撮影画像のうちで優先度の最も高い撮影画像を決定する際に使用する情報は、各カメラのブレ量を示すブレ量データに限らず、例えば明るさ、ホワイトバランス、画素数等であってもよい。また、優先度の最も高い撮影画像を決定する際に使用する情報（画像品質情報）は、撮影画像の品質を直接表す情報であれば任意の情報とすることができる。撮影画像の品質を直接表す情報としては、例えば画像のボケ度合や、撮影時に人物等の主たる被写体の動きが速いことに起因して生じる主たる被写体のブレ量等のように、各カメラにおいて実際の撮影画像を解析して得られる情報であってもよい。
【００４７】
さらに、実際の撮影画像を解析して得られる情報には、第２の実施形態で後述する撮影画像における特定の被写体の有無等も含まれる。すなわち本発明において、撮影画像の品質には、一般に画質と称される画像本来の品質に限らず、例えば画像を利用する者の要求をどの程度満足するかといった、画像の用途等に応じて異なる品質も含まれる。
【００４８】
（実施形態２）
次に、本発明の第２の実施形態について説明する。本実施形態は、第１の実施形態で説明したものと同様、複数台のカメラＡ〜Ｄにおいて撮影され並行して供給される複数系統の映像、すなわち撮影画像を適宜切り替えて選択的に外部へ出力するスイッチャーに関するものである。ただし、本実施形態は、各カメラＡ〜Ｄからスイッチャーには撮影画像のみが送られることを前提としたものである。
【００４９】
図４は、本実施形態におけるスイッチャー５１を示すブロック図である。本実施形態のスイッチャー５１は、第１の実施形態で説明した構成に加え、顔認識部１６と、顔データ記憶部１７とを更に備えている。
【００５０】
顔認識部１６は、各カメラＡ〜Ｄからスイッチャー５１に送られる画像データに対し、二値化や輪郭抽出、パターンマッチング等による画像認識処理によって、特定の人物の顔（以下、単に特定の顔という。）を認識する顔認識処理を行い、複数項目からなる顔認識情報を制御部１３へ供給する。
【００５１】
本実施形態において、顔認識部１６が制御部１３へ供給する顔認識情報は、撮影画像における特定の顔の有無を示す第１の顔認識情報と、撮影画像に特定の顔が存在する場合の顔の向きに関する第２の顔認識情報と、撮影画像に特定の顔が存在する場合の顔部分の明るさに関する第３の顔認識情報である。
【００５２】
具体的に述べると、第１の顔認識情報は、「特定の顔がある」又は「ない」のいずれかである。また、第２の顔認識情報は、顔の向きを予め決められた基準に従い３種類に区分したとき該当する向きであり「正面」、「斜め」、「横」いずれかである。また、第３の顔認識情報は、顔部分の明るさを予め決められた基準に従い３段階に評価したとき該当する明るさの状態であり「正常」、「明るい（露出オーバー）」、「暗い（露出アンダー）」のいずれかである。
【００５３】
顔データ記憶部１７は、顔認識部１６が検出すべき特定の顔であって、ユーザによってスイッチャー５１に予め登録されている顔の画像データが記憶されている。なお、スイッチャー５１における特定の顔を登録（顔の画像データを記憶）する方法については任意である。
【００５４】
一例としては、スイッチャー５１にカメラＡ〜Ｄ等から特定の顔がアップで撮影した撮影画像が入力されている間に、ユーザによる所定のスイッチ操作に応じて、画像内における任意の人物の顔部分を単純な画像認識により自動的に認識し、認識した顔部分の画像データを自動的に切り出して記録する方法がある。
【００５５】
また、本実施形態においては、プログラムがプログラム記憶部１４に、第１の実施形態と異なる後述する画像切替処理を制御部１３に行わせるためのプログラムが記憶されている。
【００５６】
さらにプログラム記憶部１４には、画像切替処理に際して制御部１３が参照する図５（ａ）〜図５（ｃ）に示した第１の得点テーブル６１〜第３の得点テーブル６３を構成するデータも記憶されている。
【００５７】
第１の得点テーブル６１は、顔認識部１６において取得される既説した第１の顔認識情報の内容（「特定の顔がある」、又は「ない」）に応じた評価得点を示すテーブルである。第２の得点テーブル６２は、顔認識部１６において取得される既説した第２の顔認識情報の内容（「正面」、「斜め」、「横」のいずれか）に応じた評価得点を示すテーブルである。第３の得点テーブル６３は、顔認識部１６において取得される既説した第３の顔認識情報の内容（「正常」、「明るい（露出オーバー）」、「暗い（露出アンダー）」のいずれか）に応じた評価得点を示すテーブルである。
【００５８】
ここで、第１の得点テーブル６１〜第３の得点テーブル６３において示される評価得点は、制御部１３が後述する画像切替処理において、各系統の撮影画像の画像品質を、第１の顔認識情報〜第３の顔認識情報に基づき定量化するため使用される値である。
【００５９】
なお、これ以外のスイッチャー５１の各部については、第１の実施形態のスイッチャー１の各部と同様であるため、各部に同一の符号を付すことにより説明を省略する。
【００６０】
図６は、本実施形態において、スイッチャー１に接続された各カメラＡ〜Ｄが動作している間、ユーザからの映像の出力開始指示に伴い、制御部１３がプログラム記憶部１４に記憶されたプログラムに従い実行する画像切替処理の内容を示したフローチャートである。
【００６１】
本実施形態において、制御部１３は、動作開始とともに各カメラＡ〜Ｄからの複数系統の画像データの受信を開始した後（ステップＳＢ１）、初期状態で決められている既定の系統の画像データ、例えばカメラＡから供給される画像データの出力を開始する（ステップＳＢ２）。
【００６２】
次に、制御部１３は、各系統の画像データを対象として、スイッチャー１に登録されている（顔データ記憶部１７に画像データが記憶されている）特定の顔を認識する顔認識処理を顔認識部１６に行わせ、前述した第１の顔認識情報〜第３の顔認識情報からなる複数項目の顔認識情報を系統毎に取得する（ステップＳＢ３）。
【００６３】
引き続き、制御部１３は、各系統の画像データについて、図５（ａ）〜図５（ｃ）に示した第１の得点テーブル６１〜第３の得点テーブル６３を用いて、ステップＳＢ３の処理で取得した複数項目の顔認識情報に応じた評価得点を項目毎に取得する（ステップＳＢ４）。
【００６４】
具体的に説明すると、例えばある系統の撮影画像が、正面を向いた状態にある特定の顔が存在しており、かつ顔認識部１６において特定の顔の明るさが正常であると評価されているものである場合、制御部１３は、第１の顔認識情報に応じた評価得点として「１０」を取得し、第２の顔認識情報に応じた評価得点として「３」を取得し、第３の顔認識情報に応じた評価得点として「３」を取得する。
【００６５】
次に、制御部１３は、各系統の画像データ毎に第１の顔認識情報〜第３の顔認識情報の全項目の評価得点を合計し、系統毎の合計得点を取得する（ステップＳＢ５）。
【００６６】
このとき、制御部１３によって取得される合計得点は、先に一例として述べたように、ある系統の撮影画像が、正面を向いた状態にある特定の顔が存在しており、かつ顔認識部１６において特定の顔の明るさが正常であると評価されているものである場合には「１６」となる。
【００６７】
次に、制御部１３は、ステップＳＢ５で取得した系統毎の合計得点の最大が、予め決められている閾値以上であるか否かを確認する（ステップＳＢ６）。係る処理で使用される閾値は予め決められている所定の画像品質に対応する既定の得点である。
【００６８】
そして、制御部１３は、系統毎の合計得点の最大が閾値以上でなく、合計得点が最大である系統の撮影画像の品質が予め決められている所定の画像品質よりも低いと判断できるときには（ステップＳＢ６：ＮＯ）、そのままステップＳＢ３の処理に戻り、ステップＳＢ５までの処理を繰り返す。
【００６９】
また、制御部１３は、系統毎の合計得点の最大が閾値以上であって、合計得点が最大である系統の撮影画像の品質が、予め決められている所定の画像品質、又はよりも高いと判断できるときには（ステップＳＢ６：ＹＥＳ）、合計得点が最大である系統の画像データを、複数系統の画像データのうちで優先度が最も高い画像データとして決定する（ステップＳＢ７）。
【００７０】
引き続き、制御部１３は、優先度が最も高い系統の画像データを現在出力中であるか否かを確認し、現在出力中であれば（ステップＳＢ８：ＹＥＳ）、そのままステップＳＢ３の処理に戻り、ステップＳＢ７までの処理を繰り返す。
【００７１】
一方、制御部１３は、ステップＳＢ７で決定した優先度が最も高い系統の画像データを現在出力中でなければ（ステップＳＢ８：ＮＯ）、出力対象とする撮影データを、優先度が最も高い新たな系統の画像データに切り替える（ステップＳＢ９）。つまり新たに優先度が最も高い画像データとして決定した系統の画像データを新たな出力対象として選択し、それを現在出力中の系統の画像データと切り替えて映像出力Ｉ／Ｆ１２から出力させる。
【００７２】
これに伴い、スイッチャー１から任意の機器等に出力中の撮影画像が、その時点において複数系統の撮影画像のうちで最も品質がよく、かつ一定以上の品質を備えた撮影画像に切り替えられる。
【００７３】
以後、制御部１３は、ユーザから映像の出力終了指示があるまでは（ステップＳＢ１０：ＮＯ）、前述したステップＳＢ３以降の処理を繰り返し、ユーザから映像の出力終了指示があれば（ステップＳＢ１０：ＹＥＳ）、その時点で画像切替処理を終了する。
【００７４】
以上の処理を制御部１３が行うことにより、本実施形態のスイッチャー５１においても、各カメラＡ〜Ｄにおいて撮影され並行して供給される複数系統の撮影画像（映像）を選択的に外部へ出力する動作を繰り返す間、常に、複数系統の撮影画像のうちでよりよい品質の撮影画像を選択して外部へ出力することができる。
【００７５】
しかも、本実施形態のスイッチャー５１においては、優先度の最も高い撮影画像が、逐次供給される各系統の撮影画像について、予め登録されている特定の顔を認識することにより取得される複数項目からなる顔認識情報に基づき決定される。つまり最も品質のよい撮影画像が、各系統の撮影画像の品質を直接表す情報であって、実際の撮影画像を解析して得られた情報（画像品質情報）に基づき決定される。
【００７６】
したがって、本実施形態のスイッチャー５１によれば、複数系統の撮影画像のうちでよりよい品質の撮影画像をより的確に選択して外部へ出力することができる。
【００７７】
また、本実施形態においては、任意の系統の撮影画像の出力中に新たに出力を開始する撮影画像を、複数系統の撮影画像のうちで最も品質がよく、かつ一定以上の画像品質を備えたものに限定した。言い換えると、一定以上の画像品質を備えたものであることを条件として、各系統の撮影画像のうちで最も品質のよい撮影画像を新たに出力させるようにした。したがって、本実施形態によれば、外部へ出力される撮影画像が、各系統間における相対的な品質の変化に伴い頻繁に他の系統の撮影画像に切り替わることを防止することができる。
【００７８】
すなわち、複数系統の撮影画像の画像品質が全体的に低い場合には、各系統間における撮影画像の品質の幅が狭いため、各系統間における撮影画像の品質の順位が頻繁に入れ替わる、つまり各系統の撮影画像のうちで最も品質のよい撮影画像が頻繁に入れ替わることが予想される。
【００７９】
これに対し、本実施形態においては、一定以上の画像品質を備えたものであることを条件として、その時点の各系統の撮影画像のうちで最も品質のよい撮影画像を新たに出力させる。したがって、上記のように複数系統の撮影画像の画像品質が全体的に低い場合、各系統の撮影画像のうちで最も品質のよい撮影画像が頻繁に入れ替わるような場合であっても、外部へ出力される撮影画像が頻繁に他の系統の撮影画像に切り替わることを防止することができる。その結果、複数系統の撮影画像をより自然な状態で切り替えることができる。
【００８０】
なお、本実施形態においては、任意の時点で新たに出力させる撮影画像の基準となる画像品質、つまり前述したステップＳＢ６の処理において使用される閾値が予め固定的に決められているものについて説明したが、係る閾値はユーザが事前に設定できる構成としてもよい。さらに、スイッチャー５１がいずれかの系統の撮影画像を外部へ出力している間に、上記の閾値をユーザが所定のスイッチ操作によってリアルタイムに変更することができる構成としてもよい。
【００８１】
また、本実施形態においては、各系統の撮影画像を解析して得られる情報が、第１の顔認識情報〜第３の顔認識情報の複数項目からなる顔認識情報とした場合について説明したが、顔認識情報の項目数は必要に応じて増減させることができる。
【００８２】
また、本実施形態においては、顔認識情報に基づいて各系統の撮影画像の画像品質を定量化する際、各系統の画像データ毎に第１の顔認識情報〜第３の顔認識情報の各項目の評価得点を単に合計したが、各項目に所定の重みを設定し、各項目の評価得点を重み付け合計するようにしてもよい。
【００８３】
各項目の評価得点を重み付け合計する場合、各項目に設定する重みは、スイッチャー５１が撮影画像を出力する対象に応じて設定することが考えられる。一例を示すと以下の通りである。
【００８４】
ここでは、顔認識情報に第１の顔認識情報〜第３の顔認識情報に加え、撮影画像内における特定の顔の大きさを示す第４の顔認識情報が含まれ、その内容が、顔の大きさを３段階に区分したとき該当する大きさである「大」、「中」、「小」のいずれかであることを前提とする。また、第４の顔認識情報に応じた評価得点を示す第４の得点テーブルが用意されており、第４の得点テーブルに示される評価得点が、例えば顔の大きさが「大」に対応するもの「３」、「中」に対応するものが「２」、「小」に対応するものが「１」であることを前提とする。さらに、撮影画像を出力する対象が撮影画像（映像）を表示する任意の表示画面を備えた外部装置であることを前提とする。
【００８５】
以上を前提とした場合については、顔認識情報の各項目には、上記の表示画面の解像度に応じた重みをつけることが考えられる。より具体的には、制御部１３に、外部装置における表示画面の解像度を任意の手法により取得させる。そして、制御部１３に、第１〜第３の顔認識情報には表示画面の解像度に関係なく重みとして１倍をそれぞれ設定するものとし、解像度が所定の基準よりも高い場合には、第４の顔認識情報（顔の大きさ）に重みとして３倍を設定し、逆に解像度が所定の基準よりも低い場合には、第４の顔認識情報に重みとして１倍を設定する処理を行わせる。
【００８６】
この場合、撮影画像（映像）を表示する表示画面の解像度が基準よりも低い場合においては、本実施形態のものと比べ、撮影画像内における特定の顔が大きいものほど品質が高い撮影画像として選択されやすくなる。つまり表示画面上で顔が確認しやすい撮影画像ほど高い頻度で出力させることができる。その結果、複数系統の撮影画像のうちでよりよい品質の撮影画像を、より一層的確に選択して外部へ出力することができる。
【００８７】
なお、ここでは、主として各系統の撮影画像を解析して得られる情報（画像品質情報）が、顔認識情報である場合について説明したが、各系統の撮影画像を解析して得られる情報が顔認識情報以外の情報であっても、それが複数項目の情報である場合には、各系統の撮影画像の画像品質を定量化する際には、各項目に所定の重みを設定し、各項目の評価得点を重み付け合計するようにしてもよい。
【００８８】
また、本実施形態においては、各系統の撮影画像を解析して得られる情報を、特定の顔部分の品質を表す顔認識情報とした場合について説明したが、各系統の撮影画像を解析して得られる情報は、顔以外の他の特定の被写体領域のみの品質を表す情報であっても構わない。また、各系統の撮影画像を解析して得られる情報は、当然、撮影画像の全体の品質を表す情報とすることもできる。
【００８９】
また、本実施形態においては、特定の顔部分の品質を表す顔認識情報を、スイッチャー５１（制御部１３）が各系統の撮影画像から取得するものについて説明した。しかし、顔認識情報や顔以外の他の特定の被写体領域のみの品質を表す情報は、その全部、又は一部をカメラＡ〜Ｄから取得しても構わない。
【００９０】
また、本実施形態においては、制御部１３に、任意の系統の撮影画像の出力中に新たに出力を開始する撮影画像を、複数系統の撮影画像のうちで最も品質がよく、かつ一定以上の画像品質を備えたものに限定する処理（以下、品質限定処理という。）を行わせる場合について説明した。
【００９１】
しかし、制御部１３には、係る品質限定処理と並行して、又は係る品質限定処理に代えて、第１の実施形態で説明したように、以前とは異なる系統の撮影データの出力を新たに開始した後、常に一定時間は同一の系統の撮影データが継続して出力する処理（以下、出力保持処理という。）を行わせてもよい。
【００９２】
また、係る点については、先に説明した第１の実施形態においても同様である。すなわち第１の実施形態における制御部１３には、上記の出力保持処理と並行して、又は上記の出力保持処理に代えて、第２の実施形態で説明した品質限定処理を行わせてもよい。
【００９３】
また、第１の実施形態、及び第２の実施形態においては、スイッチャー１，５１が、複数のカメラＡ〜Ｄから並行して逐次供給される複数系統の撮影データのうちから、優先度が最も高いと決定した系統の画像データ（撮影画像）のみを逐次選択して出力する場合について説明した。
【００９４】
しかし、本発明の実施に際しては、複数系統の撮影データのうちから２以上の画像データを選択して出力する構成を採用してもよい。例えば複数系統の画像データのうちから優先度に応じた優先順位が１番目の系統の画像データと２番目の系統の画像データとを逐次選択して出力する構成を採用してもよい。
【００９５】
さらに、２以上の系統の画像データを出力する構成においては、各々の画像データの画像サイズ（画素数）を優先度に応じた画像サイズにそれぞれ変換して出力させたり、各々の画像データに優先度を示す優先度情報を付加して出力させたりしてもよい。その場合には、２以上の系統の画像データに基づく複数の撮影画像を表示する際、優先度が相対的に高い撮影画像ほど、より大きなサイズで表示させることができる。
【００９６】
以上、本発明のいくつかの実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。
【００９７】
以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
複数の撮像装置から並行して逐次供給される複数系統の撮影画像を取得する取得手段と、実際の撮影画像を解析して得られた撮影画像の品質、又は撮影画像の実際の撮影時の撮影状態により判断される撮影画像の品質を表す画像品質情報を前記複数系統毎に取得する画質情報取得手段と、前記画質情報取得手段により系統毎に取得された画像品質情報によりそれぞれ示される品質に基づいて、前記取得手段により取得される複数系統の撮影画像のうちから所定の撮影画像を逐次選択する選択手段とを備えることを特徴とする画像選択装置。
［請求項２］
前記選択手段により選択される撮影画像を出力する出力手段を更に備えることを特徴とする請求項１記載の画像選択装置。
［請求項３］
前記画像品質情報によりそれぞれ示される品質に基づいて、前記複数系統の撮影画像のうちで優先度が最も高い撮影画像を逐次決定する優先度決定手段を更に備え、前記選択手段は、前記優先度決定手段により優先度が最も高いと決定された撮影画像を逐次選択することを特徴とする請求項１又は２記載の画像選択装置。
［請求項４］
前記画質情報はブレ量を示す情報であることを特徴とする請求項１又は２，３記載の画像選択装置。
［請求項５］
前記画質情報取得手段は、前記画像品質情報として、前記複数の撮像装置において、実際の撮影画像を解析して得られた撮影画像の品質、又は撮影画像の実際の撮影時の撮影状態により判断される撮影画像の品質として取得され、かつ前記複数系統の撮影画像と共に逐次供給される所定の情報を取得することを特徴とする請求項１乃至４いずれか記載の画像選択装置。
［請求項６］
前記画質情報取得手段は、前記複数系統の画像品質情報のいずれかが取得できない場合、取得できない画像品質情報を当該系統の撮影画像から取得することを特徴とする請求項５記載の画像選択装置。
［請求項７］
前記画質情報取得手段は、前記画像品質情報を前記複数系統の撮影画像の各々から取得することを特徴とする請求項１乃至４いずれか記載の画像選択装置。
［請求項８］
前記画質情報取得手段により取得される前記各系統の画像品質情報には、各系統の撮影画像における特定の被写体領域のみの品質を直接表す画像品質情報が含まれることを特徴とする請求項１乃至７いずれか記載の画像選択装置。
［請求項９］
前記画質情報取得手段は、前記画像品質情報として複数項目からなる画像品質情報を系統毎に取得し、前記各項目の画像品質情報に、所定の条件に応じた重みを項目毎に設定する重付手段を更に備え、前記優先度決定手段は、前記各系統の撮影画像について、各項目の画像品質情報により示される品質を項目毎に評価し、項目毎の評価結果を前記重付手段により項目毎に設定された重みを付けて集計するとともに、重みを付けを伴った系統毎の集計結果に基づいて、前記複数系統の撮影画像のうちで優先度が最も高い撮影画像を逐次決定することを特徴とする請求項３乃至８いずれか記載の画像選択装置。
［請求項１０］
前記選択手段は、前記優先度決定手段により優先度が最も高いと決定される撮影画像に関する前記画質情報取得手段により取得された画像品質情報により示される品質が所定の閾値以上であることを条件として、前記優先度決定手段により優先度が最も高いと決定された撮影画像を逐次選択することを特徴とする請求項３乃至９いずれか記載の画像選択装置。
［請求項１１］
前記選択手段における所定の撮影画像の選択動作を、前回の選択動作が行われてから規定時間が経過するまで停止させる選択動作制御手段を更に備えたことを特徴とする請求項１乃至１０いずれか記載の画像選択装置。
［請求項１２］
複数の撮像装置から並行して逐次供給される複数系統の撮影画像のうちから所定の撮影画像を逐次選択する方法において、実際の撮影画像を解析して得られた撮影画像の品質、又は撮影画像の実際の撮影時の撮影状態により判断される撮影画像の品質を表す画像品質情報を前記複数系統毎に逐次取得する工程と、系統毎に取得した画像品質情報によりそれぞれ示される品質に基づいて、前記複数系統の撮影画像のうちから所定の撮影画像を逐次選択する工程とを含むことを特徴とする画像選択方法。
［請求項１３］
複数の撮像装置から並行して逐次供給される複数系統の撮影画像のうちから所定の撮影画像を選択逐次する画像選択装置が有するコンピュータを、実際の撮影画像を解析して得られた撮影画像の品質、又は撮影画像の実際の撮影時の撮影状態により判断される撮影画像の品質を表す画像品質情報を前記複数系統毎に取得する画質情報取得手段と、前記画質情報取得手段により系統毎に取得された画像品質情報によりそれぞれ示される品質に基づいて、前記取得手段により取得される複数系統の撮影画像のうちから所定の撮影画像を逐次選択する選択手段として機能させることを特徴とするプログラム。
【符号の説明】
【００９８】
１    スイッチャー
９    操作部
１１    カメラ入力Ｉ／Ｆ
１２    映像出力Ｉ／Ｆ
１３    制御部
１４    プログラム記憶部
１５    操作部
１６    顔認識部
１７    顔データ記憶部
５１    スイッチャー
６１    第１の得点テーブル
６２    第２の得点テーブル
６３    第３の得点テーブル
１０１    ジャイロセンサ
Ａ〜Ｄ    カメラ
【図１】
2014030069.tif 000003
【図２】
2014030069.tif 000004
【図３】
2014030069.tif 000005
【図４】
2014030069.tif 000006
【図５】
2014030069.tif 000007
【図６】
2014030069.tif 000008