(57)【要約】本発明は、簡単にターゲットの位置を検出して、精度よくターゲットを追尾できる追尾撮影制御装置、追尾撮影システム、カメラ、端末装置、追尾撮影方法、追尾撮影プログラムを提供する。本発明の好ましい態様では、ターゲットを設定するターゲット設定部と、ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、ターゲットの色の情報を取得するターゲット色情報取得部と、ターゲットの色の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する第１ターゲット検出部と、ターゲットの色以外の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する第２ターゲット検出部と、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させる追尾制御部と、を備え、追尾制御部は、ターゲット色比率が閾値以下の場合は、第１ターゲット検出部で検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御し、ターゲット色比率が閾値を超える場合は、第２ターゲット検出部で検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御する。
2016132623.tif 000002
【特許請求の範囲】
【請求項１】
パン機能及び／又はチルト機能を備えたカメラのパン及び／又はチルトの動作を制御して、前記カメラにターゲットを追尾した撮影を実行させる追尾撮影制御装置であって、
前記ターゲットを設定するターゲット設定部と、
前記ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、
前記ターゲットの色の情報を取得するターゲット色情報取得部と、
前記ターゲットの色の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する第１ターゲット検出部と、
前記ターゲットの色以外の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する第２ターゲット検出部と、
前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、
前記ターゲット色比率が閾値以下の場合は、前記第１ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させ、前記ターゲット色比率が前記閾値を超える場合は、前記第２ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させる追尾制御部と、
を備えた追尾撮影制御装置。
【請求項２】
前記第２ターゲット検出部は、前記ターゲットの輝度又は明度の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する、
請求項１に記載の追尾撮影制御装置。
【請求項３】
前記カメラは、
レンズを介して被写体の光学像を撮像する撮像部と、
前記撮像部をパン及び／又はチルト可能に支持する支持部と、
を備えた請求項１又は２に記載の追尾撮影制御装置。
【請求項４】
前記カメラは、
魚眼レンズを介して被写体の光学像を撮像する撮像部と、
前記撮像部で撮像された画像の一部を切り出す画像切り出し部と、
を備え、前記画像切り出し部で画像を切り出す位置を変えることにより、パン機能及び／又はチルト機能を実現する、
請求項１又は２に記載の追尾撮影制御装置。
【請求項５】
前記ターゲットを追尾する範囲を追尾範囲として設定する追尾範囲設定部を更に備えた、
請求項１から４のいずれか１項に記載の追尾撮影制御装置。
【請求項６】
前記追尾範囲設定部は、前記カメラのパン及び／又はチルトの可動範囲を前記追尾範囲に設定する、
請求項５に記載の追尾撮影制御装置。
【請求項７】
前記カメラのパン及び／又はチルトの可動範囲を設定する可動範囲設定部を更に備えた、
請求項６に記載の追尾撮影制御装置。
【請求項８】
前記色相ヒストグラム作成部は、前記ターゲットを追尾する範囲の全体を前記カメラで撮影して得られる画像データに基づいて、前記ターゲットを追尾する範囲の色相の前記ヒストグラムを作成する、
請求項１から７のいずれか１項に記載の追尾撮影制御装置。
【請求項９】
前記カメラで撮影された画像を表示する表示部と、
前記表示部の画面上で位置を指定する入力部と、
を更に備え、
前記ターゲット設定部は、前記入力部で指定された位置の被写体を前記ターゲットに設定する、
請求項１から８のいずれか１項に記載の追尾撮影制御装置。
【請求項１０】
前記カメラで撮影された画像から人物の顔を検出する顔検出部を更に備え、
前記ターゲット設定部は、前記顔検出部で検出された人物の顔を前記ターゲットに設定する、
請求項１から８のいずれか１項に記載の追尾撮影制御装置。
【請求項１１】
前記カメラで撮影された画像から動体を検出する動体検出部を更に備え、
前記ターゲット設定部は、前記動体検出部で最初に検出された動体を前記ターゲットに設定する、
請求項１から８のいずれか１項に記載の追尾撮影制御装置。
【請求項１２】
前記色相ヒストグラム作成部は、前記ターゲットを追尾する範囲を複数のブロックに分割し、前記ブロックごとに色相の前記ヒストグラムを作成し、
前記ターゲット色比率演算部は、前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合を前記ターゲット色比率とし、前記ターゲット色比率を前記ブロックごとに算出し、
前記追尾制御部は、前記ターゲット色比率が閾値以下の前記ブロックは、前記第１ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御し、前記ターゲット色比率が前記閾値を超える前記ブロックは、前記第２ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御し、前記カメラに前記ターゲットを追尾させる、
請求項１から１１のいずれか１項に記載の追尾撮影制御装置。
【請求項１３】
パン機能及び／又はチルト機能を備えたカメラと、前記カメラと通信可能に接続され、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラにターゲットを追尾した撮影を実行させる端末装置と、を備えた追尾撮影システムであって、
前記端末装置は、
前記ターゲットを設定するターゲット設定部と、
前記ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、
前記ターゲットの色の情報を取得するターゲット色情報取得部と、
前記ターゲットの色の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する第１ターゲット検出部と、
前記ターゲットの色以外の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する第２ターゲット検出部と、
前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、
前記ターゲット色比率が閾値以下の場合は前記第１ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて前記カメラのパン及び／又はチルトの動作を制御し、前記ターゲット色比率が前記閾値を超える場合は前記第２ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させる追尾制御部と、
を備えた追尾撮影システム。
【請求項１４】
レンズを介して被写体の光学像を撮像する撮像部と、
前記撮像部をパン及び／又はチルト可能に支持する支持部と、
ターゲットを設定するターゲット設定部と、
前記ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、
前記ターゲットの色の情報を取得するターゲット色情報取得部と、
前記ターゲットの色の情報に基づいて、前記撮像部で撮影された画像から前記ターゲットの位置を検出する第１ターゲット検出部と、
前記ターゲットの色以外の情報に基づいて、前記撮像部で撮影された画像から前記ターゲットの位置を検出する第２ターゲット検出部と、
前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、
前記ターゲット色比率が閾値以下の場合は、前記第１ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて、前記撮像部のパン及び／又はチルトを制御し、前記ターゲット色比率が前記閾値を超える場合は、前記第２ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて、前記撮像部のパン及び／又はチルトを制御して、前記ターゲットを追尾させる追尾制御部と、
を備えたカメラ。
【請求項１５】
魚眼レンズを介して被写体の光学像を撮像する撮像部と、
前記撮像部で撮像された画像の一部を切り出す画像切り出し部と、
ターゲットを設定するターゲット設定部と、
前記ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、
前記ターゲットの色の情報を取得するターゲット色情報取得部と、
前記ターゲットの色の情報に基づいて、前記撮像部で撮影された画像から前記ターゲットの位置を検出する第１ターゲット検出部と、
前記ターゲットの色以外の情報に基づいて、前記撮像部で撮影された画像から前記ターゲットの位置を検出する第２ターゲット検出部と、
前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、
前記ターゲット色比率が閾値以下の場合は、前記第１ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて、前記画像切り出し部を制御し、前記ターゲット色比率が前記閾値を超える場合は、前記第２ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて、前記画像切り出し部を制御して、前記ターゲットを追尾させる追尾制御部と、
を備えたカメラ。
【請求項１６】
パン機能及び／又はチルト機能を備えたカメラと通信可能に接続され、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラにターゲットを追尾した撮影を実行させる端末装置であって、
前記ターゲットを設定するターゲット設定部と、
前記ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、
前記ターゲットの色の情報を取得するターゲット色情報取得部と、
前記ターゲットの色の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する第１ターゲット検出部と、
前記ターゲットの色以外の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する第２ターゲット検出部と、
前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、
前記ターゲット色比率が閾値以下の場合は前記第１ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて前記カメラのパン及び／又はチルトの動作を制御し、前記ターゲット色比率が前記閾値を超える場合は前記第２ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させる追尾制御部と、
を備えた端末装置。
【請求項１７】
パン機能及び／又はチルト機能を備えたカメラのパン及び／又はチルトの動作を制御して、前記カメラにターゲットを追尾した撮影を実行させる追尾撮影方法であって、
前記ターゲットを設定する工程と、
前記ターゲットを追尾する範囲の色相のヒストグラムを作成する工程と、
前記ターゲットの色の情報を取得する工程と、
前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合をターゲット色比率として算出する工程と、
前記ターゲット色比率が閾値以下の場合は、前記ターゲットの色の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出し、検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させ、前記ターゲット色比率が前記閾値を超える場合は、前記ターゲットの色以外の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出し、検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させる工程と、
を有する追尾撮影方法。
【請求項１８】
パン機能及び／又はチルト機能を備えたカメラのパン及び／又はチルトの動作を制御して、前記カメラにターゲットを追尾した撮影を実行させる追尾撮影プログラムであって、
前記ターゲットを設定する機能と、
前記ターゲットを追尾する範囲の色相のヒストグラムを作成する機能と、
前記ターゲットの色の情報を取得する機能と、
前記ターゲットの色の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する機能と、
前記ターゲットの色以外の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する機能と、
前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合をターゲット色比率として算出する機能と、
前記ターゲット色比率が閾値以下の場合は、前記ターゲットの色の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出し、検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させ、前記ターゲット色比率が前記閾値を超える場合は、前記ターゲットの色以外の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出し、検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させる機能と、
をコンピュータに実現させる追尾撮影プログラム。
【請求項１９】
パン機能及び／又はチルト機能を備えたカメラのパン及び／又はチルトの動作を制御して、前記カメラにターゲットを追尾した撮影を実行させる追尾撮影プログラムであって、
前記ターゲットを設定する機能と、
前記ターゲットを追尾する範囲の色相のヒストグラムを作成する機能と、
前記ターゲットの色の情報を取得する機能と、
前記ターゲットの色の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する機能と、
前記ターゲットの色以外の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する機能と、
前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合をターゲット色比率として算出する機能と、
前記ターゲット色比率が閾値以下の場合は、前記ターゲットの色の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出し、検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させ、前記ターゲット色比率が前記閾値を超える場合は、前記ターゲットの色以外の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出し、検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させる機能と、
をコンピュータに実現させる追尾撮影プログラムを記録したコンピュータ読み取り可能な非一時的有形媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パン及び／又はチルトの機能を備えたカメラのパン及び／又はチルトの動作を制御して、ターゲットを自動で追尾しながら撮影する追尾撮影制御装置、追尾撮影システム、カメラ、端末装置、追尾撮影方法、追尾撮影プログラムに関する。
【背景技術】
【０００２】
一般に追尾撮影では、カメラで撮影された画像からターゲットの位置を検出し、検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御して、ターゲットを追尾する。この追尾撮影において、画像からターゲットの位置を検出する方法の１つとして、ターゲットの色情報を利用する方法が知られている（たとえば、特許文献１など）。この方法では、あらかじめターゲットの色情報を取得しておき、そのターゲットの色と同一の色の被写体を画像から検出して、画像からターゲットの位置を検出する。【０００３】
しかしながら、ターゲットの色情報を利用して画像からターゲットの位置を検出する方法は、背景にターゲットと似た色が多く含まれていると、ターゲットを誤検出しやすいという問題がある。【０００４】
このような問題を解決するために、特許文献２では、画像からターゲットの候補となる被写体を検出し、その被写体の情報を検出し、検出した被写体の情報に基づいて、ターゲットの位置を求めるための複数の方法の中から最適な方法を選択して、ターゲットの位置を検出する方法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１６９１６９号公報
【特許文献２】特開２０１２−８５０９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２の方法は、逐次ターゲットの候補となる被写体の情報を検出しなければならないため、処理の負荷が大きいという欠点がある。【０００７】
本発明は、このような事情に鑑みてなされたもので、簡単にターゲットの位置を検出して、精度よくターゲットを追尾できる追尾撮影制御装置、追尾撮影システム、カメラ、端末装置、追尾撮影方法、追尾撮影プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するための手段は、次のとおりである。【０００９】
［１］パン機能及び／又はチルト機能を備えたカメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾した撮影を実行させる追尾撮影制御装置であって、ターゲットを設定するターゲット設定部と、ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、ターゲットの色の情報を取得するターゲット色情報取得部と、ターゲットの色の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する第１ターゲット検出部と、ターゲットの色以外の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する第２ターゲット検出部と、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、ターゲット色比率が閾値以下の場合は、第１ターゲット検出部で検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させ、ターゲット色比率が閾値を超える場合は、第２ターゲット検出部で検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させる追尾制御部と、を備えた追尾撮影制御装置。【００１０】
本態様によれば、ターゲットの位置を検出する手段として、第１ターゲット検出部及び第２ターゲット検出部が備えられる。第１ターゲット検出部は、ターゲットの色の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する。第２ターゲット検出部は、ターゲットの色以外の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する。第１ターゲット検出部及び第２ターゲット検出部は、ターゲットの色と背景の色との関係に基づいて使い分けられる。すなわち、背景がターゲットの色及びその近似色を多く含む場合は、色に基づくターゲットの検出は困難と判断し、第２ターゲット検出部の検出結果に基づいてターゲットを追尾する。それ以外の場合は、色に基づくターゲットの検出が可能と判断し、第１ターゲット検出部の検出結果に基づいてターゲットを追尾する。背景がターゲットの色及びその近似色を多く含むか否かは、ターゲットを追尾する範囲の色相のヒストグラムを作成し、そのヒストグラムからターゲット色比率を算出して判断する。ターゲット色比率は、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合として算出する。このターゲット色比率が閾値を超える場合は、背景がターゲットの色及びその近似色を多く含むと判断し、第２ターゲット検出部の検出結果に基づいてターゲットを追尾する。一方、ターゲット色比率が閾値以下の場合は、ターゲットの色及びその近似色が少ないと判断し、第１ターゲット検出部の検出結果に基づいてターゲットを追尾する。このように、本態様によれば、ターゲット色比率を算出し、算出したターゲット色比率に基づいて、第１ターゲット検出部及び第２ターゲット検出部の結果を使い分ける。これにより、簡単にターゲットの位置を検出でき、精度よくターゲットを追尾できる。【００１１】
［２］第２ターゲット検出部は、ターゲットの輝度又は明度の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する、上記［１］の追尾撮影制御装置。【００１２】
本態様によれば、第２ターゲット検出部は、ターゲットの輝度又は明度の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する。これにより、背景がターゲットの色及びその近似色を多く含む場合であっても、色の情報によらずに画像からターゲットの位置を検出できる。【００１３】
［３］カメラは、レンズを介して被写体の光学像を撮像する撮像部と、撮像部をパン及び／又はチルト可能に支持する支持部と、を備えた上記［１］又は［２］の追尾撮影制御装置。【００１４】
本態様によれば、カメラは、レンズを介して被写体の光学像を撮像する撮像部と、その撮像部をパン及び／又はチルト可能に支持する支持部と、を備えて構成される。ターゲットを追尾する場合は、撮像部をパン及び／又はチルトさせて、撮影方向（レンズの光軸の方向）を変えることにより、ターゲットを追尾する。【００１５】
［４］カメラは、魚眼レンズを介して被写体の光学像を撮像する撮像部と、撮像部で撮像された画像の一部を切り出す画像切り出し部と、を備え、画像切り出し部で画像を切り出す位置を変えることにより、パン機能及び／又はチルト機能を実現する、上記［１］又は［２］の追尾撮影制御装置。【００１６】
本態様によれば、カメラは、魚眼レンズを介して被写体の光学像を撮像する撮像部と、撮像部で撮像された画像の一部を切り出す画像切り出し部と、を備えて構成される。ターゲットを追尾する場合は、画像切り出し部で画像を切り出す位置を変えることにより、ターゲットを追尾する。【００１７】
［５］ターゲットを追尾する範囲を追尾範囲として設定する追尾範囲設定部を更に備えた、上記［１］から［４］のいずれか一の追尾撮影制御装置。【００１８】
本態様によれば、追尾範囲設定部が更に備えられる。追尾範囲設定部は、ターゲットを追尾する範囲を追尾範囲として設定する。これにより、必要な領域のみを追尾範囲に設定でき、効率よくターゲットを検出できる。また、効率よくヒストグラムを作成できる。【００１９】
［６］追尾範囲設定部は、カメラのパン及び／又はチルトの可動範囲を追尾範囲に設定する、上記［５］の追尾撮影制御装置。【００２０】
本態様によれば、追尾範囲設定部は、カメラのパン及び／又はチルトの可動範囲を追尾範囲に設定する。これにより、追尾範囲を設定する手間を省ける。【００２１】
［７］カメラのパン及び／又はチルトの可動範囲を設定する可動範囲設定部を更に備えた、上記［６］の追尾撮影制御装置。【００２２】
本態様によれば、カメラのパン及び／又はチルトの可動範囲を設定するための可動範囲設定部が更に備えられる。これにより、カメラのパン及び／又はチルトの可動範囲を設定すると、自動的に追尾範囲を設定でき、追尾範囲を設定する手間を省ける。また、必要な領域のみパン及び／又はチルトさせることができ、効率よくターゲットを追尾できる。【００２３】
［８］色相ヒストグラム作成部は、ターゲットを追尾する範囲の全体をカメラで撮影して得られる画像データに基づいて、ターゲットを追尾する範囲の色相のヒストグラムを作成する、上記［１］から［７］のいずれか一の追尾撮影制御装置。【００２４】
本態様によれば、ターゲットを追尾する範囲の全体をカメラで撮影して得られる画像データに基づいて、ターゲットを追尾する範囲の色相のヒストグラムが作成される。【００２５】
［９］カメラで撮影された画像を表示する表示部と、表示部の画面上で位置を指定する入力部と、を更に備え、ターゲット設定部は、入力部で指定された位置の被写体をターゲットに設定する、上記［１］から［８］のいずれか一の追尾撮影制御装置。【００２６】
本態様によれば、カメラで撮影された画像を表示する表示部と、表示部の画面上で位置を指定する入力部と、が更に備えられ、入力部で指定された位置の被写体がターゲットに設定される。これにより、ターゲットを簡単に設定できる。【００２７】
［１０］カメラで撮影された画像から人物の顔を検出する顔検出部を更に備え、ターゲット設定部は、顔検出部で検出された人物の顔をターゲットに設定する、上記［１］から［８］のいずれか一の追尾撮影制御装置。【００２８】
本態様によれば、カメラで撮影された画像から人物の顔を検出する顔検出部が更に備えられ、顔検出部で検出された人物の顔がターゲットに設定される。これにより、ターゲットを簡単に設定できる。【００２９】
［１１］カメラで撮影された画像から動体を検出する動体検出部を更に備え、ターゲット設定部は、動体検出部で最初に検出された動体をターゲットに設定する、上記［１］から［８］のいずれか一の追尾撮影制御装置。【００３０】
本態様によれば、カメラで撮影された画像から動体を検出する動体検出部が更に備えられ、動体検出部で最初に検出された動体がターゲットに設定される。これにより、ターゲットを簡単に設定できる。【００３１】
［１２］色相ヒストグラム作成部は、ターゲットを追尾する範囲を複数のブロックに分割し、ブロックごとに色相のヒストグラムを作成し、ターゲット色比率演算部は、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率とし、ターゲット色比率をブロックごとに算出し、追尾制御部は、ターゲット色比率が閾値以下のブロックは、第１ターゲット検出部で検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御し、ターゲット色比率が閾値を超えるブロックは、第２ターゲット検出部で検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御し、カメラにターゲットを追尾させる、上記［１］から［１１］のいずれか一の追尾撮影制御装置。【００３２】
本態様によれば、ターゲットを追尾する範囲が複数のブロックに分割され、ブロックごとにターゲット色比率が算出される。そして、ブロックごとにターゲットの位置を検出する手段の結果が使い分けられる。すなわち、ターゲット色比率が閾値以下のブロックは、第１ターゲット検出部で検出されたターゲットの位置の情報に基づいてターゲットを追尾し、ターゲット色比率が閾値を超えるブロックは、第２ターゲット検出部で検出されたターゲットの位置の情報に基づいてターゲットを追尾する。これにより、背景の色が変化する場合であっても、適切にターゲットの位置を検出できる。【００３３】
［１３］パン機能及び／又はチルト機能を備えたカメラと、カメラと通信可能に接続され、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾した撮影を実行させる端末装置と、を備えた追尾撮影システムであって、端末装置は、ターゲットを設定するターゲット設定部と、ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、ターゲットの色の情報を取得するターゲット色情報取得部と、ターゲットの色の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する第１ターゲット検出部と、ターゲットの色以外の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する第２ターゲット検出部と、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、ターゲット色比率が閾値以下の場合は第１ターゲット検出部で検出されたターゲットの位置の情報に基づいてカメラのパン及び／又はチルトの動作を制御し、ターゲット色比率が閾値を超える場合は第２ターゲット検出部で検出されたターゲットの位置の情報に基づいてカメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させる追尾制御部と、を備えた追尾撮影システム。【００３４】
本態様によれば、ターゲット色比率を算出し、算出したターゲット色比率に基づいて、第１ターゲット検出部及び第２ターゲット検出部の結果を使い分ける。これにより、簡単にターゲットの位置を検出でき、精度よくターゲットを追尾できる。【００３５】
［１４］レンズを介して被写体の光学像を撮像する撮像部と、撮像部をパン及び／又はチルト可能に支持する支持部と、ターゲットを設定するターゲット設定部と、ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、ターゲットの色の情報を取得するターゲット色情報取得部と、ターゲットの色の情報に基づいて、撮像部で撮影された画像からターゲットの位置を検出する第１ターゲット検出部と、ターゲットの色以外の情報に基づいて、撮像部で撮影された画像からターゲットの位置を検出する第２ターゲット検出部と、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、ターゲット色比率が閾値以下の場合は、第１ターゲット検出部で検出されたターゲットの位置の情報に基づいて、撮像部のパン及び／又はチルトを制御し、ターゲット色比率が閾値を超える場合は、第２ターゲット検出部で検出されたターゲットの位置の情報に基づいて、撮像部のパン及び／又はチルトを制御して、ターゲットを追尾させる追尾制御部と、を備えたカメラ。【００３６】
本態様によれば、ターゲット色比率を算出し、算出したターゲット色比率に基づいて、第１ターゲット検出部及び第２ターゲット検出部の結果を使い分ける。これにより、簡単にターゲットの位置を検出でき、精度よくターゲットを追尾できる。【００３７】
［１５］魚眼レンズを介して被写体の光学像を撮像する撮像部と、撮像部で撮像された画像の一部を切り出す画像切り出し部と、ターゲットを設定するターゲット設定部と、ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、ターゲットの色の情報を取得するターゲット色情報取得部と、ターゲットの色の情報に基づいて、撮像部で撮影された画像からターゲットの位置を検出する第１ターゲット検出部と、ターゲットの色以外の情報に基づいて、撮像部で撮影された画像からターゲットの位置を検出する第２ターゲット検出部と、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、ターゲット色比率が閾値以下の場合は、第１ターゲット検出部で検出されたターゲットの位置の情報に基づいて、画像切り出し部を制御し、ターゲット色比率が閾値を超える場合は、第２ターゲット検出部で検出されたターゲットの位置の情報に基づいて、画像切り出し部を制御して、ターゲットを追尾させる追尾制御部と、を備えたカメラ。【００３８】
本態様によれば、ターゲット色比率を算出し、算出したターゲット色比率に基づいて、第１ターゲット検出部及び第２ターゲット検出部の結果を使い分ける。これにより、簡単にターゲットの位置を検出でき、精度よくターゲットを追尾できる。【００３９】
［１６］パン機能及び／又はチルト機能を備えたカメラと通信可能に接続され、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾した撮影を実行させる端末装置であって、ターゲットを設定するターゲット設定部と、ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、ターゲットの色の情報を取得するターゲット色情報取得部と、ターゲットの色の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する第１ターゲット検出部と、ターゲットの色以外の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する第２ターゲット検出部と、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、ターゲット色比率が閾値以下の場合は第１ターゲット検出部で検出されたターゲットの位置の情報に基づいてカメラのパン及び／又はチルトの動作を制御し、ターゲット色比率が閾値を超える場合は第２ターゲット検出部で検出されたターゲットの位置の情報に基づいてカメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させる追尾制御部と、を備えた端末装置。【００４０】
本態様によれば、ターゲット色比率を算出し、算出したターゲット色比率に基づいて、第１ターゲット検出部及び第２ターゲット検出部の結果を使い分ける。これにより、簡単にターゲットの位置を検出でき、精度よくターゲットを追尾できる。【００４１】
［１７］パン機能及び／又はチルト機能を備えたカメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾した撮影を実行させる追尾撮影方法であって、ターゲットを設定する工程と、ターゲットを追尾する範囲の色相のヒストグラムを作成する工程と、ターゲットの色の情報を取得する工程と、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率として算出する工程と、ターゲット色比率が閾値以下の場合は、ターゲットの色の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出し、検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させ、ターゲット色比率が閾値を超える場合は、ターゲットの色以外の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出し、検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させる工程と、を有する追尾撮影方法。【００４２】
本態様によれば、ターゲット色比率を算出し、算出したターゲット色比率に基づいて、ターゲットの位置を検出する方法を切り替える。これにより、簡単にターゲットの位置を検出でき、精度よくターゲットを追尾できる。【００４３】
［１８］パン機能及び／又はチルト機能を備えたカメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾した撮影を実行させる追尾撮影プログラムであって、ターゲットを設定する機能と、ターゲットを追尾する範囲の色相のヒストグラムを作成する機能と、ターゲットの色の情報を取得する機能と、ターゲットの色の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する機能と、ターゲットの色以外の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する機能と、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率として算出する機能と、ターゲット色比率が閾値以下の場合は、ターゲットの色の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出し、検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させ、ターゲット色比率が閾値を超える場合は、ターゲットの色以外の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出し、検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させる機能と、をコンピュータに実現させる追尾撮影プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な非一時的有形媒体。【００４４】
本態様によれば、ターゲット色比率を算出し、算出したターゲット色比率に基づいて、ターゲットの位置を検出する方法を切り替える。これにより、簡単にターゲットの位置を検出でき、精度よくターゲットを追尾できる。
【発明の効果】
【００４５】
本発明によれば、簡単にターゲットを検出して、精度よくターゲットを追尾できる。
【図面の簡単な説明】
【００４６】
【図１】追尾撮影システムの一実施形態を示すシステム構成図
【図２】カメラのシステム構成を示すブロック図
【図３】端末装置のシステム構成を示すブロック図
【図４】追尾撮影制御装置として機能する端末装置のシステム構成を示すブロック図
【図５】ターゲット設定時におけるディスプレイの画面表示例を示す図
【図６】可動範囲の設定時におけるディスプレイの画面表示例を示す図
【図７】追尾範囲の画像データの一例を示す図
【図８】色相のヒストグラムの一例を示す図
【図９】ターゲット色比率の算出方法の概念図
【図１０】追尾撮影システムによる追尾撮影の処理の手順を示すフローチャート
【図１１】ブロックごとに第１ターゲット検出部及び第２ターゲット検出部を使い分けて、ターゲットを追尾する場合の概念図
【図１２】電子的にパン及びチルトの機能を実現するカメラのシステム構成を示すブロック図
【図１３】画像切り出し部による画像の切り出しの概念図
【図１４】端末装置のディスプレイの画面表示例を示す図
【発明を実施するための形態】
【００４７】
以下、添付図面に従って本発明を実施するための好ましい形態について詳説する。
【００４８】
《システム構成》
図１は、本発明に係る追尾撮影システムの一実施形態を示すシステム構成図である。
【００４９】
図１に示すように、本実施の形態の追尾撮影システム１は、パン機能及びチルト機能を備えたカメラ１０と、そのカメラ１０の動作を制御する端末装置１００と、を備えて構成される。
【００５０】
〈カメラ〉
カメラ１０は、図１に示すように、被写体を撮像する撮像部１２と、撮像部１２をパン及びチルト可能に支持する支持部１４と、を備えて構成される。
【００５１】
撮像部１２は、レンズ１６と、レンズ１６を通した光を受光するイメージセンサ２０（図２参照）と、を備えて構成される。レンズ１６及びイメージセンサは、ハウジング１２Ａに収容されてユニット化される。
【００５２】
レンズ１６は、フォーカス機能及びズーム機能を有する。レンズ１６は、その光学系の一部を光軸Ｌに沿って前後移動させることにより、フォーカスが調節される。また、その光学系の一部を光軸Ｌに沿って前後移動させることにより、ズームが調節される。レンズ１６は、レンズ駆動部１６Ａ（図２参照）に駆動されて、フォーカス、ズーム、及び、絞りが調節される。
【００５３】
イメージセンサ２０は、ＣＣＤイメージセンサ（ＣＣＤ：Charge Coupled Device）やＣＭＯＳイメージセンサ（ＣＭＯＳ：Complementary Metal Oxide Semiconductor）などの二次元イメージセンサで構成される。
【００５４】
支持部１４は、撮像部１２をチルト軸Ｔまわりに回転可能に支持する撮像部支持フレーム１４Ａと、その撮像部支持フレーム１４Ａをパン軸Ｐまわりに回転可能に支持する架台１４Ｂと、を備えて構成される。
【００５５】
架台１４Ｂは、おおよそ矩形の箱形状を有する。架台１４Ｂは、中央に垂直なパン軸Ｐを有し、パン軸Ｐまわりに撮像部支持フレーム１４Ａを回転可能に支持する。架台１４Ｂには、操作パネル１８を有する。操作パネル１８には、電源ボタン等の各種操作ボタン類が備えられる。カメラ１０は、この操作パネル１８を介して各種操作が行われる。
【００５６】
撮像部支持フレーム１４Ａは、おおよそＵ字形状を有する。撮像部支持フレーム１４Ａは、溝状の空間に撮像部１２を収容して、撮像部１２をチルト軸Ｔまわりに回転可能に支持する。チルト軸Ｔは、パン軸Ｐと直交して設定される。撮像部支持フレーム１４Ａに支持された撮像部１２は、そのレンズ１６の光軸Ｌが、チルト軸Ｔ及びパン軸Ｐと直交する。
【００５７】
撮像部支持フレーム１４Ａには、撮像部１２をチルト軸Ｔまわりに回転させるチルト駆動部２２Ｔ（図２参照）が備えられる。また、架台１４Ｂには、撮像部支持フレーム１４Ａをパン軸Ｐまわりに回転させるパン駆動部２２Ｐ（図２参照）が備えられる。チルト駆動部２２Ｔは、チルトモータ（不図示）を有し、このチルトモータを駆動することにより、撮像部１２がチルト軸Ｔまわりに回転してチルトする。パン駆動部２２Ｐは、パンモータ（不図示）を有し、このパンモータを駆動することにより、撮像部１２がパン軸Ｐまわりに回転してパンする。
【００５８】
撮像部１２がパン可能な角度は、たとえば、２７０度（±１３５度）であり、チルト可能な角度は、１３５度（−４５度〜＋９０度）である。
【００５９】
図２は、カメラのシステム構成を示すブロック図である。
【００６０】
同図に示すように、カメラ１０には、ＡＦＥ（Analog Front End：アナログフロントエンド）２４と、カメラ制御部３０と、メモリ５０と、無線ＬＡＮ通信部（ＬＡＮ：Local Area Network）５２と、が備えられる。
【００６１】
ＡＦＥ２４は、イメージセンサ２０から出力される信号（画像信号）に対して、たとえば、ノイズ除去、信号増幅、Ａ／Ｄ変換（Ａ／Ｄ：Analog/Digital）などの信号処理を施す。ＡＦＥ２４で生成されるデジタルの画像信号は、カメラ制御部３０に出力される。
【００６２】
カメラ制御部３０は、ＣＰＵ（Central Processing Unit）及びメモリを備えたマイクロコンピュータで構成され、所定のプログラムを実行することにより、画像信号処理部３２、撮像制御部３４、レンズ制御部３６、パン制御部３８Ｐ、チルト制御部３８Ｔ、通信制御部４０、カメラ動作制御部４２として機能する。
【００６３】
画像信号処理部３２は、ＡＦＥ２４から取得されるデジタルの画像信号に対して所要の信号処理を施し、デジタルの画像データを生成する。たとえば、輝度信号（Ｙ）の画像データと色差信号（Ｃｒ、Ｃｂ）の画像データとからなるデジタルの画像データを生成する。
【００６４】
撮像制御部３４は、イメージセンサ２０の駆動を制御して、イメージセンサ２０による撮像を制御する。
【００６５】
レンズ制御部３６は、レンズ駆動部１６Ａを制御して、レンズ１６のフォーカス、ズーム、絞りの動作を制御する。
【００６６】
パン制御部３８Ｐは、パン駆動部２２Ｐの駆動を制御して、撮像部１２のパン軸Ｐまわりの回転（パン）を制御する。
【００６７】
チルト制御部３８Ｔは、チルト駆動部２２Ｔの駆動を制御して、撮像部１２のチルト軸Ｔまわりの回転（チルト）を制御する。
【００６８】
通信制御部４０は、無線ＬＡＮ通信部５２を制御して、外部機器との間の無線ＬＡＮ通信を制御する。本実施の形態の追尾撮影システム１では、外部機器である端末装置１００との間の通信を制御する。
【００６９】
カメラ動作制御部４２は、操作パネル１８及び端末装置１００からの指示に応じて、カメラ全体の動作を統括制御する。
【００７０】
メモリ５０は、各種データの記憶部として機能し、カメラ動作制御部４２からの要求に応じてデータの読み書きが行われる。
【００７１】
無線ＬＡＮ通信部５２は、アンテナ５２Ａを介して、無線ＬＡＮアクセスポイントや無線ＬＡＮ通信が可能な外部機器との間で所定の無線ＬＡＮ規格（たとえば、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ規格〔ＩＥＥＥ：The Institute of Electrical and Electronics Engineers, Inc.／米国電子技術者協会〕）に従った無線ＬＡＮ通信を行う。
【００７２】
〈端末装置〉
端末装置１００は、図１に示すように、いわゆるスマートフォンで構成され、矩形の平板状の筐体１０１にディスプレイ１０２、操作ボタン１０３、スピーカー１０４、マイクロフォン１０５（図３参照）、内蔵カメラ１０６等を備えて構成される。
【００７３】
図３は、端末装置のシステム構成を示すブロック図である。
【００７４】
同図に示すように、端末装置１００は、端末装置１００の全体の動作を制御するＣＰＵ１１０を備え、このＣＰＵ１１０にシステムバス１１２を介して、メインメモリ１１４、不揮発性メモリ１１６、モバイル通信部１１８、無線ＬＡＮ通信部１２０、近距離無線通信部１２２、表示部１２４、タッチパネル入力部１２６、キー入力部１２８、音声処理部１３０、画像処理部１３２等が接続されて構成される。
【００７５】
ＣＰＵ１１０は、不揮発性メモリ１１６に記憶された動作プログラム（ＯＳ（Operating System）、及び、そのＯＳ上で動作するアプリケーションプログラム）、及び、定型データ等を読出し、メインメモリ１１４に展開して、当該動作プログラムを実行することにより、この端末装置全体の動作を制御する制御部として機能する。
【００７６】
メインメモリ１１４は、たとえば、ＲＡＭ（Random Access Memory）で構成され、ＣＰＵ１１０のワークメモリとして機能する。
【００７７】
不揮発性メモリ１１６は、たとえば、フラッシュＥＥＰＲＯＭ（ＥＥＰＲＯＭ：Electrically Erasable Programmable Read Only Memory）で構成され、上述した動作プログラムや各種定型データを記憶する。また、不揮発性メモリ１１６は、端末装置１００の記憶部として機能し、各種データを記憶する。
【００７８】
モバイル通信部１１８は、ＩＭＴ−２０００規格（International Mobile Telecommunication-2000）に準拠した第３世代移動通信システム、及び、ＩＭＴ−Ａｄｖａｎｃｅ規格（International Mobile Telecommunications-Advanced）に準拠した第４世代移動通信システムに基づき、アンテナ１１８Ａを介して、最寄りの図示しない基地局との間でデータの送受を実行する。
【００７９】
無線ＬＡＮ通信部１２０は、アンテナ１２０Ａを介して、無線ＬＡＮアクセスポイントや無線ＬＡＮ通信が可能な外部機器との間で所定の無線ＬＡＮ通信規格（たとえば、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ規格）に従った無線ＬＡＮ通信を行う。
【００８０】
近距離無線通信部１２２は、アンテナ１２２Ａを介して、たとえばクラス２（半径約１０ｍ内）の範囲内にある他のＢｌｕｅｔｏｏｔｈ（登録商標）規格の機器とデータの送受を実行する。
【００８１】
表示部１２４は、ディスプレイ１０２を構成するカラー液晶パネルと、その駆動回路と、で構成され、各種画像を表示する。
【００８２】
タッチパネル入力部１２６は、入力部の一例である。タッチパネル入力部１２６は、透明電極を用いてディスプレイ１０２と一体的に構成され、ユーザーのタッチ操作に対応した２次元の位置座標情報を生成して出力する。
【００８３】
キー入力部１２８は、端末装置１００の筐体１０１に備えられた操作ボタン１０３を含む複数のキースイッチと、その駆動回路と、で構成される。
【００８４】
音声処理部１３０は、システムバス１１２を介して与えられるデジタル音声データをアナログ化してスピーカー１０４から出力する。また、音声処理部１３０は、マイクロフォン１０５から入力されたアナログの音声信号をサンプリングし、デジタルデータ化して出力する。
【００８５】
画像処理部１３２は、レンズ及びイメージセンサを備えた内蔵カメラ１０６から出力されるアナログの画像信号をデジタル化し、所要の信号処理を施して出力する。
【００８６】
〈追尾撮影制御装置〉
本実施の形態の追尾撮影システム１では、端末装置１００のＣＰＵ１１０が、所定の追尾撮影プログラムを実行することにより、端末装置１００が追尾撮影制御装置２００として機能する。
【００８７】
図４は、追尾撮影制御装置として機能する端末装置のシステム構成を示すブロック図である。
【００８８】
追尾撮影制御装置２００は、ターゲット設定部２１０と、追尾範囲設定部２１２、可動範囲設定部２１４、色相ヒストグラム作成部２１６と、ターゲット色情報取得部２１８と、第１ターゲット検出部２２０と、第２ターゲット検出部２２２と、ターゲット色比率演算部２２４と、追尾制御部２２６と、を備えて構成される。
【００８９】
ターゲット設定部２１０は、ターゲット、すなわち、追尾対象とする被写体を設定する。ターゲット設定部２１０は、カメラ１０で撮影された画像をディスプレイ１０２に表示し、画面上でユーザーにタッチされた被写体をターゲットに設定する。
【００９０】
図５は、ターゲット設定時におけるディスプレイの画面表示例を示す図である。
【００９１】
同図に示すように、ターゲット設定時、ディスプレイ１０２には、カメラ１０で撮影された画像が表示される。ターゲット設定部２１０は、カメラ１０から画像データを取得し、ディスプレイ１０２に表示させる。
【００９２】
ユーザーは、ディスプレイ１０２の画面表示を確認し、追尾対象とする被写体を画面上でタッチする。ターゲット設定部２１０は、タッチパネル入力部１２６からの出力に基づいて、タッチされた位置を中心に矩形状の追尾枠Ｆを設定する。そして、その追尾枠Ｆを画像に重ねてディスプレイ１０２に表示する。追尾枠F内の被写体がターゲットに設定される。
【００９３】
追尾範囲設定部２１２は、ターゲットを追尾する範囲（追尾範囲）を設定する。追尾範囲は、カメラ１０のパン及びチルトの可動範囲として設定される。したがって、パン及びチルトの可動範囲が制限されていない場合、パン及びチルトの全可動範囲が追尾範囲となる。
【００９４】
可動範囲設定部２１４は、カメラ１０のパン及びチルトの可動範囲を設定する。可動範囲設定部２１４は、ユーザーからパン及びチルトの可動範囲の指定を受け付けて、パン及びチルトの可動範囲を設定する。パン及びチルトの可動範囲は、それぞれ回転のプラス方向の移動端及びマイナス方向の移動端を定めて設定する。その設定は、実際にカメラ１０をパン及びチルトさせて行う。
【００９５】
図６は、可動範囲の設定時におけるディスプレイの画面表示例を示す図である。
【００９６】
同図に示すように、パン及びチルトの可動範囲の設定時、ディスプレイ１０２には、撮影中の画像がライブビューで表示される。ディスプレイ１０２の画面には、このライブビューの画像に重ねて、プラス方向へのパンを指示する矢印Ｐ（＋）、マイナス方向へのパンを指示する矢印Ｐ（−）、プラス方向へのチルトを指示する矢印Ｔ（＋）、マイナス方向へのチルトを指示する矢印Ｔ（−）が表示される。
【００９７】
矢印Ｐ（＋）がタッチされると、カメラ１０にプラス方向へのパンが指示され、矢印Ｐ（−）がタッチされると、カメラ１０にマイナス方向へのパンが指示される。また、矢印Ｔ（＋）がタッチされると、カメラ１０にプラス方向へのチルトが指示され、矢印Ｔ（−）がタッチされると、カメラ１０にマイナス方向へのチルトが指示される。可動範囲設定部２１４は、タッチパネル入力部１２６からの出力に応じて、カメラ１０にパン及びチルトの指示を出力する。
【００９８】
ユーザーは、ディスプレイ１０２の表示を確認しながら、カメラ１０に対してパン及びチルトを指示し、パンのプラス方向の回転の移動端、パンのマイナス方向の回転の移動端、チルトのプラス方向の回転の移動端、及び、チルトのマイナス方向の回転の移動端を決定する。可動範囲設定部２１４は、指定された各回転の移動端に基づいて、パン及びチルトの可動範囲を設定する。
【００９９】
追尾範囲設定部２１２は、パン及びチルトの可動範囲が設定されると、設定されたパン及びチルトの可動範囲を追尾範囲に設定する。
【０１００】
色相ヒストグラム作成部２１６は、追尾範囲の画像データを取得して、追尾範囲の色相のヒストグラムを作成する。
【０１０１】
図７は、追尾範囲の画像データの一例を示す図である。また、図８は、色相のヒストグラムの一例を示す図である。
【０１０２】
図７に示すように、色相ヒストグラム作成部２１６は、追尾範囲全体の画像データを取得し、その色相のヒストグラムを作成する。このため、色相ヒストグラム作成部２１６は、カメラ１０を可動範囲でパン及びチルトさせて、追尾範囲全体の画像データを取得する。
【０１０３】
色相のヒストグラムは、図８に示すように、横軸を色相値、縦軸を画素値として、色相値ごとの画素数の分布として表現される。
【０１０４】
作成された追尾範囲のヒストグラムのデータは、メインメモリ１１４に格納される。
【０１０５】
ターゲット色情報取得部２１８は、ターゲットの色の情報を取得する。ターゲット色情報取得部２１８は、ターゲットを選択したときの画像データからターゲットの色相のヒストグラムのデータを作成し、ターゲットの色の情報を取得する。ターゲットの色相のヒストグラムのデータは、追尾枠Ｆ内の画像の色相のヒストグラムを作成して取得する。ターゲット色情報取得部２１８は、作成したターゲットの色相のヒストグラムのデータから最も画素値の大きい色相値を検出して、ターゲットの色である色相値を求める。作成されたターゲットの色相のヒストグラムのデータ、及び、ターゲットの色相値の情報は、ターゲット色情報としてメインメモリ１１４に格納される。
【０１０６】
第１ターゲット検出部２２０は、ターゲット色情報取得部２１８で取得したターゲット色情報に基づいて、カメラ１０で撮影された画像からターゲットの位置を検出する。色の情報を利用したターゲットの位置の検出は、既知の手法が用いられる。以下、この色の情報を利用したターゲットの位置の検出方法について簡単に説明する。
【０１０７】
まず、１フレーム分の画像データをカメラ１０から取得する。この画像データを第１画像データとする。次に、所定時間経過後、第１画像データと同様に１フレーム分の画像データをカメラ１０から取得する。この画像を第２画像データとする。次に、第１画像データと第２画像データとの差を求める。求めた画像データを差画像データとする。次に、差画像データを２値化する。これにより、理想的には移動している被写体の画素のみが１の画像データが生成される。次に、２値化した差画像データに基づいて、一体とみなされる被写体ごとにラベリングする。次に、ラベリングした被写体の面積を求め、それぞれを閾値と比較する。そして、閾値よりも大きい被写体だけを選出する。これにより、閾値よりも小さな被写体や動きの少ない被写体が除外される。次に、選出された被写体ごとに１次モーメントを求め、選出された各被写体の重心位置を求める。この重心位置は、たとえば、画面上に想定された縦横の座標値によって表される。次に、選出された被写体の画素範囲について、第２画像データから色相のヒストグラムを作成する。そして、ターゲットの色相のヒストグラムに最も近い被写体を１つ選出する。そして、選出した被写体をターゲットと認定し、その重心位置をターゲットの位置と認定する。
【０１０８】
このように、第１ターゲット検出部２２０は、ターゲット色情報取得部２１８で取得したターゲット色情報に基づいて、カメラ１０で撮影された画像からターゲットの位置を検出する。
【０１０９】
第２ターゲット検出部２２２は、ターゲットの色以外の情報に基づいて、カメラ１０で撮影された画像からターゲットの位置を検出する。本実施の形態では、テンプレートを利用した既知のブロックマッチングによりターゲットの位置を検出する。ブロックマッチングでは、時系列的に得られる複数の画像データ間において、テンプレートを利用してターゲットの動きベクトルを求めることにより、ターゲットの位置を求める。この場合、たとえば、設定された追尾枠内の画像をテンプレート画像として利用し、ターゲットの位置を求める。
【０１１０】
ターゲット色比率演算部２２４は、ターゲット色比率Ｘを算出する。ターゲット色比率Ｘは、ターゲットに似た色が背景中に含まれる割合を示す。ターゲット色比率Ｘは、次のように算出される。
【０１１１】
図９は、ターゲット色比率の算出方法の概念図である。
【０１１２】
ターゲット色比率Ｘは、追尾範囲の色相のヒストグラムにおいて、ターゲットに似た色相の画素が全体に占める割合として算出される。ターゲットに似た色相の範囲は、ターゲットの色相値がＴＨ°であるとすると、その前後一定範囲（ＴＨ±α／２°）に設定される。すなわち、ＴＨ−α／２°からＴＨ＋α／２°の範囲に設定される。αは、似た色相と認定する範囲であり、一例として、１５°である。この場合、ＴＨ±７．５°の範囲がターゲットに似た色相の範囲とされる。
【０１１３】
ターゲット色比率演算部２２４は、追尾範囲の色相のヒストグラムにおいて、色相値がＴＨ±α／２°の範囲の画素の数が、追尾範囲全体の画素数に占める割合を算出して、ターゲット色比率Ｘを算出する。したがって、ターゲット色比率演算部２２４は、ターゲット色比率Ｘを算出する際、色相ヒストグラム作成部２１６から追尾範囲の色相のヒストグラムデータを取得し、かつ、ターゲット色情報取得部２１８からターゲットの色相値の情報を取得して、ターゲット色比率Ｘを算出する。算出したターゲット色比率Ｘは、メインメモリ１１４に格納される。
【０１１４】
追尾制御部２２６は、第１ターゲット検出部２２０及び第２ターゲット検出部２２２で検出されるターゲットの位置の情報に基づいて、カメラ１０のパン及びチルトの動作を制御し、カメラ１０にターゲットを追尾させる。本実施の形態では、ターゲットが画面中央に撮影されるように、カメラ１０をパン及び／又はチルトさせる。したがって、追尾制御部２２６は、ターゲットを画面中央に位置させるために必要なパン方向の回転角度及びチルト方向の回転角度をターゲットの位置情報に基づいて算出し、カメラ１０に出力する。
【０１１５】
ところで、本実施の形態の追尾撮影システム１では、カメラ１０で撮影された画像からターゲットの位置を検出する手段として、第１ターゲット検出部２２０及び第２ターゲット検出部２２２が備えられている。追尾制御部２２６は、この第１ターゲット検出部２２０及び第２ターゲット検出部２２２をターゲット色比率演算部２２４で算出されるターゲット色比率Ｘに応じて使い分ける。すなわち、ターゲット色比率演算部２２４で算出されるターゲット色比率Ｘが閾値以下の場合は、第１ターゲット検出部２２０を使用し、ターゲット色比率Ｘが閾値を超える場合は第２ターゲット検出部２２２を使用して、ターゲットを検出する。ターゲット色比率Ｘが閾値以下の場合とは、ターゲットに似た色が背景中に含まれる割合が少ない場合である。したがって、この場合は、第１ターゲット検出部２２０を使用し、色情報を利用してターゲットを検出する。一方、ターゲット色比率Ｘが閾値を超える場合とは、ターゲットに似た色が背景中に含まれる割合が多い場合である。したがって、この場合は、第２ターゲット検出部２２２を使用し、ブロックマッチングによりターゲットを検出する。閾値は、色情報を利用してターゲットを検出できるか否かの観点から定められ、シミュレーションなどの結果から最適な数値が定められる。
【０１１６】
追尾制御部２２６は、ターゲット色比率演算部２２４からターゲット色比率Ｘの情報を取得して閾値と比較する。そして、ターゲット色比率が閾値以下の場合は、第１ターゲット検出部２２０で検出されたターゲットの位置の情報に基づいて、カメラ１０のパン及び／又はチルトの動作を制御して、カメラ１０にターゲットを追尾させ、ターゲット色比率が閾値を超える場合は、第２ターゲット検出部２２２で検出されたターゲットの位置の情報に基づいて、カメラ１０のパン及び／又はチルトの動作を制御して、カメラ１０にターゲットを追尾させる。
【０１１７】
《追尾撮影方法》
図１０は、本実施の形態の追尾撮影システムによる追尾撮影の処理の手順を示すフローチャートである。
【０１１８】
追尾撮影は、端末装置１００のＣＰＵ１１０に追尾撮影プログラムを実行させ、端末装置１００を追尾撮影制御装置２００として機能させることにより行われる。
【０１１９】
まず、カメラ１０と端末装置１００とを相互に通信可能に接続する。このために、カメラ１０と端末装置１００との通信を確立させる（ステップＳ１０）。カメラ１０と端末装置１００とが相互に通信可能に接続されることにより、端末装置１００側でカメラ１０のコントロールが可能になる。また、カメラ１０で撮影した画像を端末装置１００のディスプレイ１０２に表示したり、不揮発性メモリ１１６に記録したりすることが可能になる。
【０１２０】
次に、追尾範囲の設定が行われる（ステップＳ１１）。ユーザーは、必要に応じてカメラ１０のパン及びチルトの可動範囲を設定し、追尾範囲を設定する。設定された追尾範囲（パン及びチルトの可動範囲）の情報は、メインメモリ１１４に格納される。
【０１２１】
次に、追尾範囲の色相のヒストグラムを作成するために、追尾範囲の画像データが取得される（ステップＳ１２）。端末装置１００は、設定された追尾範囲の情報に基づいて、カメラ１０をパン及びチルトさせ、カメラ１０から追尾範囲全体の画像データを取得する。
【０１２２】
追尾範囲全体の画像データが取得されると、その画像データに基づいて、追尾範囲の色相のヒストグラムが作成される（ステップＳ１３）。作成されたヒストグラムのデータは、メインメモリ１１４に格納される。
【０１２３】
次に、ターゲットの設定が行われる（ステップＳ１４）。ターゲットの設定時、ディスプレイ１０２にはカメラ１０で経時的に撮影された画像がリアルタイムに表示される。ユーザーは、ディスプレイ１０２に表示された画像を確認し、ターゲットとする被写体を画面上でタッチして選択する。ターゲットが選択されると、そのターゲット選択時の画像データがメインメモリ１１４に格納される。また、タッチされた位置を基準に追尾枠Ｆが設定され、ディスプレイ１０２に表示された画像に重ねて表示される（図５参照）。
【０１２４】
次に、ターゲットの色の情報が取得される（ステップＳ１５）。端末装置１００は、ターゲット選択時の画像データからターゲットの色相のヒストグラムを作成し、作成したヒストグラムからターゲットの色相値を求めて、ターゲットの色の情報を取得する。作成したターゲットの色相のヒストグラムのデータ、及び、ターゲットの色相値の情報は、ターゲット色情報としてメインメモリ１１４に格納される。
【０１２５】
次に、ターゲットの色相値の情報及び追尾範囲の色相のヒストグラムのデータに基づいて、ターゲット色比率Ｘが算出される（ステップＳ１６）。算出されたターゲット色比率Ｘは、メインメモリ１１４に格納される。
【０１２６】
次に、算出されたターゲット色比率Ｘに基づいて、ターゲットを検出する手段が決定される（ステップＳ１７）。すなわち、ターゲット色比率Ｘが閾値と比較され、ターゲット色比率Ｘが閾値以下か否かが判定される。ターゲット色比率Ｘが閾値以下の場合は、第１ターゲット検出部２２０が選択され、ターゲット色比率Ｘが閾値を超える場合は、第２ターゲット検出部２２２が選択される。
【０１２７】
ターゲットを検出する手段が決定すると、決定した手段でターゲットの位置が検出され、検出された位置の情報に基づいて、追尾処理が行われる（ステップＳ１８）。すなわち、カメラ１０から連続的に取得される画像データに基づいて、ターゲットの位置が検出され、ターゲットが画面中央に撮影されるように、カメラ１０のパン及び／又はチルトを制御する。
【０１２８】
この後、ユーザーは、必要に応じて端末装置１００に画像の記録を指示し、端末装置１００にカメラ１０で撮影された画像を記録させる。
【０１２９】
このように、本実施の形態の追尾撮影システム１によれば、ターゲットに似た色が背景中に含まれる割合を算出し、その割合に応じてターゲットの位置を検出する手段を使い分けて、ターゲットを追尾する。これにより、精度よくターゲットを検出でき、誤追尾を防止できる。また、あらかじめ追尾範囲の色相のヒストグラムを取得し、事前にターゲットの位置を検出するための手段を定めるため、追尾動作中も処理に負荷をかけずに簡単にターゲットの位置を検出できる。
【０１３０】
なお、パン及びチルトの可動範囲全体を追尾範囲とする場合は、追尾範囲を設定する工程を省くことができる。
【０１３１】
また、上記の処理手順では、追尾範囲の設定後、ターゲットを設定しているが、ターゲットの設定後、追尾範囲を設定することもできる。
【０１３２】
《変形例》
〈追尾制御の変形例（１）〉
上記実施の形態では、ターゲット色比率Ｘに基づいて、第１ターゲット検出部２２０及び第２ターゲット検出部２２２を使い分ける構成としているが、ターゲット色比率Ｘに基づいて、第１ターゲット検出部２２０及び第２ターゲット検出部２２２の結果を使い分ける構成とすることもできる。すなわち、位置の検出処理自体は、第１ターゲット検出部２２０及び第２ターゲット検出部２２２の双方で実施し、いずれの結果を利用するかをターゲット色比率Ｘに基づいて決定する。この場合、第１ターゲット検出部２２０によるターゲットの位置の検出処理と、第２ターゲット検出部２２２によるターゲットの位置の検出処理とが並列して実施される。
【０１３３】
〈追尾制御の変形例（２）〉
上記実施の形態では、追尾範囲全体の色相との関係で第１ターゲット検出部２２０及び第２ターゲット検出部２２２を使い分けているが、追尾範囲を複数のブロックに分割し、ブロックごとに第１ターゲット検出部２２０及び第２ターゲット検出部２２２を使い分ける構成とすることもできる。
【０１３４】
図１１は、ブロックごとに第１ターゲット検出部及び第２ターゲット検出部を使い分けて、ターゲットを追尾する場合の概念図である。
【０１３５】
この場合、色相ヒストグラム作成部２１６は、追尾範囲を複数のブロックに分割し、ブロックごとに色相のヒストグラムを作成する。なお、図１１に示す例では、追尾範囲を４つのブロックＢ１〜Ｂ４に分割した例を示している。この場合、各ブロックＢ１〜Ｂ４の色相のヒストグラムＨＵＥ（１）〜ＨＵＥ（４）が個別に作成される。
【０１３６】
ターゲット色比率演算部２２４は、ブロックＢ１〜Ｂ４ごとにターゲット色比率Ｘ１〜Ｘ４を算出する。
【０１３７】
追尾制御部２２６は、ブロックごとにターゲットの位置を検出する手段を設定する。すなわち、ターゲット色比率が閾値以下のブロックは、第１ターゲット検出部２２０を使用する設定とし、ターゲット色比率が閾値を超えるブロックは、第２ターゲット検出部２２２を使用する設定とする。そして、ターゲットの現在位置に基づいて、第１ターゲット検出部２２０及び第２ターゲット検出部２２２を切り替えて、ターゲットの位置を検出し、その検出結果に基づいて、カメラ１０のパン及び／又はチルトの動作を制御して、カメラ１０にターゲットを追尾させる。
【０１３８】
なお、分割するブロックの数については、ユーザーが任意に設定できる構成としてもよいし、追尾範囲の大きさに応じて自動で設定する構成としてもよい。また、パン方向にのみ分割する構成としてもよいし、パン方向とチルト方向の分割数を変えてもよい。
【０１３９】
〈追尾制御の変形例（３）〉
上記実施の形態では、画面中央にターゲットが位置するように、カメラ１０のパン及び／又はチルトを制御しているが、画面上でユーザーが指定した位置にターゲットが位置するように、カメラ１０のパン及び／又はチルトを制御する構成としてもよい。
【０１４０】
〈第２ターゲット検出部の変形例〉
上記実施の形態では、第２ターゲット検出部２２２がブロックマッチングによりターゲットの位置を検出する構成としているが、第２ターゲット検出部２２２は、色以外の特徴量を利用して、ターゲットの位置を検出できればよい。たとえば、ターゲットの輝度又は明度の情報に基づいて、カメラ１０で撮影された画像からターゲットの位置を検出する構成とすることもできる。具体的には、既知のパーティクルフィルタを用いた物体追跡のアルゴリズムや、既知の勾配法を利用した物体追跡のアルゴリズムなどを利用して、ターゲットの位置を検出することができる。
【０１４１】
〈カメラの変形例（１）〉
上記実施の形態では、機械的な構成でパン及びチルトの機能を実現させているが、電子的にパン及びチルトの機能を実現することもできる。すなわち、撮影した画像の一部を切り出して、出力用の画像データを生成する構成とし、その出力用の画像を切り出す範囲を変えることにより、パン及び／又はチルトの機能を電子的に実現する。
【０１４２】
図１２は、電子的にパン及びチルトの機能を実現するカメラのシステム構成を示すブロック図である。
【０１４３】
このカメラ３００は、魚眼レンズ３１６を介して被写体の光学像を撮像する撮像部３１２と、ＡＦＥ３２４と、カメラ制御部３３０と、メモリ３５０と、無線ＬＡＮ通信部３５２と、を備えて構成される。
【０１４４】
撮像部３１２は、魚眼レンズ３１６と、魚眼レンズ３１６を通した光を受光するイメージセンサ３２０と、レンズ駆動部３１６Ａと、を備えて構成される。
【０１４５】
魚眼レンズ３１６は、フォーカス機能を有し、レンズ駆動部３１６Ａに駆動されて、フォーカス、及び、絞りが調節される。魚眼レンズ３１６は、たとえば、対角魚眼レンズで構成される。
【０１４６】
イメージセンサ３２０は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの二次元イメージセンサで構成される。
【０１４７】
ＡＦＥ３２４は、イメージセンサ３２０から出力される信号（画像信号）に対して、たとえば、ノイズ除去、信号増幅、Ａ／Ｄ変換などの信号処理を施す。ＡＦＥ３２４で生成されるデジタルの画像信号は、カメラ制御部３３０に出力される。
【０１４８】
メモリ３５０は、各種データの記憶部として機能し、カメラ動作制御部３４２からの要求に応じてデータの読み書きが行われる。
【０１４９】
無線ＬＡＮ通信部３５２は、アンテナ３５２Ａを介して、無線ＬＡＮアクセスポイントや無線ＬＡＮ通信が可能な外部機器との間で所定の無線ＬＡＮ規格に従った無線ＬＡＮ通信を行う。
【０１５０】
カメラ制御部３３０は、ＣＰＵ及びメモリを備えたマイクロコンピュータで構成され、所定のプログラムを実行することにより、画像信号処理部３３２、撮像制御部３３４、レンズ制御部３３６、通信制御部３４０、カメラ動作制御部３４２、画像切り出し部３４４として機能する。
【０１５１】
画像信号処理部３３２は、ＡＦＥ３２４から取得されるデジタルの画像信号に対して所要の信号処理を施し、デジタルの画像データを生成する。たとえば、輝度信号（Ｙ）の画像データと色差信号（Ｃｒ、Ｃｂ）の画像データとかなるデジタルの画像データを生成する。
【０１５２】
撮像制御部３３４は、イメージセンサ３２０の駆動を制御して、イメージセンサ３２０による撮像を制御する。
【０１５３】
レンズ制御部３３６は、レンズ駆動部３１６Ａを制御して、魚眼レンズ３１６のフォーカス、及び、絞りの動作を制御する。
【０１５４】
通信制御部３４０は、無線ＬＡＮ通信部３５２を制御して、外部機器との間の無線ＬＡＮ通信を制御する。
【０１５５】
カメラ動作制御部３４２は、図示しないカメラ３００の操作部及び端末装置からの指示に応じて、カメラ全体の動作を統括制御する。
【０１５６】
画像切り出し部３４４は、画像信号処理部３３２で生成された画像データを取得し、その画像の一部を切り出して、出力用の画像データを生成する。画像切り出し部３４４は、カメラ動作制御部３４２からの指令に応じて、画像を切り出し、出力用の画像データを生成する。たとえば、指示された座標位置を中心として、指示されたアスペクト比の画像を指示されたサイズで切り出して、出力用の画像データを生成する。
【０１５７】
図１３は、画像切り出し部による画像の切り出しの概念図である。
【０１５８】
同図において、画像Ｉ１は、魚眼レンズ３１６を介してイメージセンサ３２０で撮像される画像である。画像切り出し部３４４は、この画像Ｉ１の一部を切り出して出力用の画像Ｉ２を生成する。
【０１５９】
カメラ３００は、画像切り出し部３４４で切り出した画像Ｉ２を出力用の画像とし、端末装置１００に出力する。
【０１６０】
図１４は、端末装置のディスプレイの画面表示例を示す図である。
【０１６１】
同図に示すように、端末装置１００のディスプレイ１０２には、魚眼レンズ３１６を介して撮像された画像Ｉ１から切り出した画像Ｉ２が、カメラ３００で撮影された画像として表示される。
【０１６２】
このように、電子的にパン及びチルトの機能を実現するカメラ３００では、実際に撮影された画像の一部を切り出して、画像データを出力する構成とし、その切り出す位置を変えてパン及び／又はチルトする構成とされる。
【０１６３】
なお、上記の例では、１つの撮像部で撮像された画像の一部を切り出して、出力用の画像データを取得する構成としているが、カメラに複数の撮像部を備え、その複数の撮像部で撮像された画像を繋ぎ合わせて１つの画像を生成し、その画像の一部を切り出して、出力用の画像データを取得する構成とすることもできる。たとえば、前方を撮影する第１の撮像部、及び、後方を撮像する第２の撮像部を備え、第１の撮像部で撮像された画像と第２の撮像部で撮像された画像とを繋ぎ合わせて１つの画像を生成することにより、パン方向に３６０°撮影可能なカメラを構成し、その一部を切り出して、出力用の画像データを取得する構成とすることもできる。
【０１６４】
〈カメラの変形例（２）〉
上記実施の形態のカメラ１０は、パン及びチルトの機能が備えられているが、カメラは、少なくともパン又はチルトの機能が備えられていればよい。パン機能のみが備えられたカメラの場合、パン動作のみでターゲットの追尾が行われる。同様に、チルト機能のみが備えられたカメラの場合、チルト動作のみでターゲットの追尾が行われる。
【０１６５】
〈ターゲット設定部の変形例〉
上記実施の形態では、カメラ１０で撮影された画像をディスプレイ１０２に表示し、画面上でユーザーにタッチされた被写体をターゲットに設定する構成としているが、ターゲットを設定する方法は、これに限定されるものではない。
【０１６６】
たとえば、追尾撮影制御装置の機能として、カメラで撮影された画像から人物の顔を自動で検出する機能（顔検出部の機能）を付加し、その機能で検出された人物の顔を自動的にターゲットに設定する構成とすることもできる。これにより、ターゲットを簡単に設定できる。
【０１６７】
なお、この場合、複数の顔が検出されることもあるが、この場合は、たとえば、検出結果をユーザーに表示し、ターゲットとする被写体を選択させる構成とすることができる。また、検出された顔のサイズや位置から自動でターゲットを決定する構成とすることもできる。たとえば、画面中央に位置する顔ほど主要被写体らしい、サイズの大きい顔ほど主要被写体らしい、との判断基準の下、主要被写体を決定し、ターゲットを自動で決定する。
【０１６８】
また、たとえば、追尾撮影制御装置の機能として、カメラで撮影された画像から動体を検出する機能（動体検出部の機能）を付加し、その機能を利用して最初に検出された動体をターゲットに設定する構成とすることができる。これにより、ターゲットを簡単に設定できる。
【０１６９】
なお、この場合、複数の動体が同時に検出されることもあるが、この場合もユーザーにターゲットとする被写体を選択させる構成とすることができる。あるいは、検出された動体のサイズや位置から自動でターゲットを決定する構成とすることもできる。
【０１７０】
また、上記実施の形態では、タッチされた位置情報を基に一定サイズの追尾枠が設定される構成としているが、追尾枠の位置、サイズをユーザーが調整できるようにしてもよい。
【０１７１】
また、追尾枠は、自動で位置、サイズを調整するようにしてもよい。たとえば、タッチされた位置を基準に動体を抽出し、その動体を囲うように追尾枠を設定するようにしてもよい。あるいは、タッチされた位置を基準に人物の顔を抽出し、その顔を囲うように追尾枠を設定するようにしてもよい。
【０１７２】
また、上記実施の形態では、端末装置側のディスプレイにカメラで撮影された画像をリアルタイムに表示して、ターゲットを選択させる構成としているが、静止画を撮影し、その静止画をディスプレイに表示させて、ターゲットを選択させる構成とすることもできる。
【０１７３】
更に、あらかじめターゲットの画像を登録しておき、その画像を読み出してターゲットを設定する構成とすることもできる。
【０１７４】
〈ターゲット色比率の算出の変形例〉
上記実施の形態では、ターゲットの色相値をＴＨ°としたとき、ＴＨ±α／２°の範囲をターゲットに似た色相の範囲として、ターゲット色比率を算出している。そして、αの一例として、１５°としている。このターゲットに似た色相の範囲として設定するαについては、固定値としてもよいし、任意に設定できるようにしてもよい。また、追尾範囲に含まれるターゲットに似た色の割合に応じて、αの値を自動で設定する構成としてもよい。たとえば、追尾範囲のヒストグラムを解析し、ターゲットに似た色相の割合が高いほど、αの値を小さく設定する。すなわち、ターゲットに似た色が、背景である追尾範囲に多く含まれるほど、αの値を小さく設定する。
【０１７５】
なお、このようにαを変更すると、ターゲット色比率Ｘが変化し、色情報を利用してターゲットの位置を検出する頻度が変化する。そこで、αを変化させる場合は、色情報を利用してターゲットの位置を検出する頻度が変化しないように、αの変化に連動して閾値を変化させる。すなわち、αを小さくした場合は、これに連動して閾値も小さくし、αを大きくした場合は、これに連動して閾値も大きくする。これにより、色情報を利用したターゲットの位置検出と色以外の情報を利用したターゲットの位置検出とを適切に使い分けることができる。
【０１７６】
〈追尾範囲の設定方法の変形例〉
上記実施の形態では、パン及びチルトの可動範囲を追尾範囲に設定しているが、追尾範囲を設定する方法は、これに限定されるものではない。たとえば、カメラ１０のパン及びチルトの機能を利用して、ユーザーが撮影した範囲を追尾範囲として設定することもできる。この場合、事前の設定動作として、ユーザーが、カメラ１０のパン及びチルトの機能を利用して、追尾範囲とする範囲を撮影する。なお、このように、ユーザーが撮影した範囲を追尾範囲とする場合、色相ヒストグラムの作成に必要な追尾範囲全体の画像を同時に取得できる。
【０１７７】
パン及びチルトの可動範囲を設定する場合も、ユーザーが撮影した範囲をパン及びチルトの可動範囲とすることができる。
【０１７８】
〈追尾撮影機能を具備したカメラ〉
上記実施の形態では、端末装置が追尾撮影制御装置として機能し、端末装置がターゲットの位置を検出して、カメラのパン及びチルトを制御する構成としているが、カメラに追尾撮影制御装置の機能を搭載し、カメラ側でターゲットの位置を検出して、自身のパン及びチルトを制御する構成とすることもできる。この場合、カメラにターゲット設定部、色相ヒストグラム作成部、第１ターゲット検出部、第２ターゲット検出部、ターゲット色比率演算部、追尾制御部の機能を搭載する。これらの機能は、カメラ制御部の機能として提供できる。すなわち、カメラ制御部を構成するマイクロコンピュータが、所定の追尾撮影プログラムを実行することにより、カメラ制御部をターゲット設定部、色相ヒストグラム作成部、第１ターゲット検出部、第２ターゲット検出部、ターゲット色比率演算部、追尾制御部として機能させることができる。
【０１７９】
なお、このように、カメラに追尾撮影制御装置の機能を搭載した場合、端末装置は、カメラで撮影された画像の表示のみ、又は、表示及び画像の記録のみを行う構成とすることができる。あるいは、ターゲットの設定のみを行う構成とすることができる。
【０１８０】
また、このようにカメラに追尾撮影制御装置の機能を搭載する場合、カメラ単体で動作させて、追尾撮影を行うこともできる。この場合、カメラに表示部及びタッチパネル入力部を備えることが好ましい。
【０１８１】
〈カメラと端末装置との接続形態〉
上記実施の形態では、カメラと端末装置とを無線で通信可能に接続する構成としているが、カメラと端末装置とは、相互に通信可能に接続されていればよい。したがって、有線で通信可能に接続する構成としてもよい。また、通信の規格等についても特に限定されない。また、カメラと端末装置とを直接接続する形態ではなく、たとえば、インターネットを介して接続する形態とすることもできる。
【０１８２】
〈端末装置〉
上記実施の形態では、端末装置としてスマートフォンを採用しているが、端末装置の形態は特に限定されるものではない。したがって、端末装置は、パーソナルコンピュータやタブレット端末などで構成することもできる。また、専用の装置として構成することもできる。
【０１８３】
〈追尾範囲の色相のヒストグラムの表示〉
上記実施の形態では、作成した追尾範囲の色相のヒストグラムのデータをターゲット色比率の算出にのみ使用しているが、追尾範囲の色相のヒストグラムを作成後、そのデータを表示部に表示するようにしてもよい。これにより、ユーザーが、ターゲットを設定する際の判断材料に役立てることができる。このヒストグラムのデータは、たとえば、ターゲットの設定時の画面に重ねて表示することができる。
【０１８４】
〈検出可能な色の提示〉
追尾範囲の色相のヒストグラムのデータを取得することにより、色の情報を利用してターゲットの位置を検出できる色を事前に求めることができる。すなわち、追尾範囲の色相のヒストグラムのデータを取得することにより、そのデータからターゲット色比率が閾値以下となる色相値を求めることができる。したがって、追尾範囲の色相のヒストグラムのデータを取得することにより、色の情報を利用してターゲットの位置を検出できる色を事前に求めることができる。このように、追尾範囲の色相のヒストグラムのデータからターゲットの位置を検出できる色を事前に求め、求めた色の情報をターゲットの設定時にユーザーに提示するようにしてもよい。たとえば、色情報を利用してターゲットの位置を検出できる色（色相）の情報をターゲットの設定時の画面に重ねて表示することができる。これにより、ユーザーが、ターゲットを設定する体の判断材料に役立てることができる。
【符号の説明】
【０１８５】
１…追尾撮影システム、１０…カメラ、１２…撮像部、１２Ａ…ハウジング、１４…支持部、１４Ａ…撮像部支持フレーム、１４Ｂ…架台、１６…レンズ、１６Ａ…レンズ駆動部、１８…操作パネル、２０…イメージセンサ、２２Ｐ…パン駆動部、２２Ｔ…チルト駆動部、３０…カメラ制御部、３２…画像信号処理部、３４…撮像制御部、３６…レンズ制御部、３８Ｐ…パン制御部、３８Ｔ…チルト制御部、４０…通信制御部、４２…カメラ動作制御部、５０…メモリ、５２…無線ＬＡＮ通信部、５２Ａ…アンテナ、１００…端末装置、１０１…筐体、１０２…ディスプレイ、１０３…操作ボタン、１０４…スピーカー、１０５…マイクロフォン、１０６…内蔵カメラ、１１０…ＣＰＵ、１１２…システムバス、１１４…メインメモリ、１１６…不揮発性メモリ、１１８…モバイル通信部、１１８Ａ…アンテナ、１２０…無線ＬＡＮ通信部、１２０Ａ…アンテナ、１２２…近距離無線通信部、１２２Ａ…アンテナ、１２４…表示部、１２６…タッチパネル入力部、１２８…キー入力部、１３０…音声処理部、１３２…画像処理部、２００…追尾撮影制御装置、２１０…ターゲット設定部、２１２…追尾範囲設定部、２１４…可動範囲設定部、２１６…色相ヒストグラム作成部、２１８…ターゲット色情報取得部、２２０…第１ターゲット検出部、２２２…第２ターゲット検出部、２２４…ターゲット色比率演算部、２２６…追尾制御部、３００…カメラ、３１２…撮像部、３１６…魚眼レンズ、３１６Ａ…レンズ駆動部、３２０…イメージセンサ、３３０…カメラ制御部、３３２…画像信号処理部、３３４…撮像制御部、３３６…レンズ制御部、３４０…通信制御部、３４２…カメラ動作制御部、３４４…画像切り出し部、３５０…メモリ、３５２…無線ＬＡＮ通信部、３５２Ａ…アンテナ、Ｆ…追尾枠
【図１】
2016132623.tif 000003
【図２】
2016132623.tif 000004
【図３】
2016132623.tif 000005
【図４】
2016132623.tif 000006
【図５】
2016132623.tif 000007
【図６】
2016132623.tif 000008
【図７】
2016132623.tif 000009
【図８】
2016132623.tif 000010
【図９】
2016132623.tif 000011
【図１０】
2016132623.tif 000012
【図１１】
2016132623.tif 000013
【図１２】
2016132623.tif 000014
【図１３】
2016132623.tif 000015
【図１４】
2016132623.tif 000016
【国際調査報告】
2016132623.tif 000017
2016132623.tif 000018
2016132623.tif 000019
2016132623.tif 000020