(57)【要約】【課題】  カメラ制御に際して生じる画像の揺れを低減するようにした撮影制御装置、その撮影方法及びプログラム、及びシステムを提供する。【解決手段】  カメラによる撮影に基づく画像を表示器に出力する撮影制御装置は、カメラによる撮影の範囲を制御し、カメラにより撮影された画像から特定パターンを認識し、当該認識された特定パターンに基づいて撮影ターゲットを決定する決定し、カメラが制御されている間、当該決定された撮影ターゲットの位置又は大きさに基づいてカメラにより撮影される画像を処理する。表示器には、カメラが制御されている間、撮影ターゲットの位置又は大きさに基づいて画像処理がなされた整形画像が表示され、それ以外には、カメラにより撮影された画像が表示される。【選択図】  図１
2010016699.tif 000002
【特許請求の範囲】
【請求項１】
カメラによる撮影に基づく画像を表示器に出力する撮影制御装置であって、
前記カメラによる撮影の範囲を制御する制御手段と、
前記カメラにより撮影された画像から特定パターンを認識する認識手段と、
前記認識手段により認識された特定パターンに基づいて撮影ターゲットを決定する決定手段と、
前記制御手段によりカメラが制御されている間、前記決定手段により決定された撮影ターゲットの位置又は大きさに基づいて前記カメラにより撮影された画像を処理する画像処理手段と
を具備し、
前記表示器には、
前記制御手段により前記カメラが制御されている間、前記画像処理手段により前記撮影ターゲットの位置又は大きさに基づいて画像処理がなされた画像が表示される
ことを特徴とする撮影制御装置。
【請求項２】
前記画像処理手段は、
前記カメラにより撮影された画像内における前記撮影ターゲットの位置又は大きさが一定になるべく前記カメラにより撮影された画像を処理する
ことを特徴とする請求項１に記載の撮影制御装置。
【請求項３】
前記画像処理手段は、
前記制御手段によるカメラの制御の開始に際して、該カメラの制御が開始する前の画像内における前記撮影ターゲットの位置又は大きさに合わせるべく、前記カメラにより撮影された画像を処理する
ことを特徴とする請求項２に記載の撮影制御装置。
【請求項４】
前記画像処理手段は、
前記制御手段によるカメラの制御中に、前記決定手段により決定される撮影ターゲットが変更された場合、該変更された撮影ターゲットが前記カメラにより撮影された画像内で所定の位置又は大きさになるべく、前記カメラにより撮影された画像を処理する
ことを特徴とする請求項１に記載の撮影制御装置。
【請求項５】
前記制御手段は、
前記カメラの角度を調整する制御、前記カメラのズームを調整する制御の少なくとも１つを行なう
ことを特徴とする請求項１に記載の撮影制御装置。
【請求項６】
前記カメラの設定に係わるパラメータを設定するパラメータ設定手段
を更に具備し、
前記制御手段は、
前記パラメータ設定手段により設定されたパラメータに基づいて前記カメラの制御を行なう
ことを特徴とする請求項１に記載の撮影制御装置。
【請求項７】
前記画像処理手段は、
前記カメラにより撮影された画像内における前記撮影ターゲットの位置又は大きさが一定になるべく前記パラメータ設定手段により設定されたパラメータの変化に基づいて前記カメラにより撮影された画像を処理する
ことを特徴とする請求項６に記載の撮影制御装置。
【請求項８】
音の方向を検知する音方向検知手段
を更に具備し、
前記制御手段は、
前記音方向検知手段により音の方向が検知されると、該方向に前記カメラを向けるように制御する
ことを特徴とする請求項１に記載の撮影制御装置。
【請求項９】
前記認識手段は、
前記音方向検知手段により検知された方向をカメラにより撮影した画像内から特定パターンを認識し、
前記決定手段は、
前記認識手段により認識された特定パターンを撮影ターゲットとして決定する
ことを特徴とする請求項８に記載の撮影制御装置。
【請求項１０】
前記画像処理手段は、
前記制御手段によりカメラが制御されている間、該カメラにより撮影された画像を処理した後の画像を、該カメラが制御される前の画像を用いて画質補正する
ことを特徴とする請求項１に記載の撮影制御装置。
【請求項１１】
前記画像処理手段は、
前記カメラにより撮影された画像を保持し、前記制御手段によりカメラが制御されている間に該カメラにより撮影された画像内に前記撮影ターゲットが存在しない場合には、該保持した画像の中から撮影ターゲットが存在する画像を選択し、該選択した画像を処理する
ことを特徴とする請求項１に記載の撮影制御装置。
【請求項１２】
前記特定パターンは、
人の顔であることを特徴とする請求項１乃至１１のいずれか１項に記載の撮影制御装置。
【請求項１３】
カメラによる撮影に基づく画像を表示器に出力する撮影制御装置における撮影方法であって、
前記カメラによる撮影の範囲を制御する制御工程と、
前記カメラにより撮影された画像から特定パターンを認識する認識工程と、
前記認識された特定パターンに基づいて撮影ターゲットを決定する決定工程と、
前記カメラが制御されている間、前記決定された撮影ターゲットの位置又は大きさに基づいて前記カメラにより撮影される画像を処理する画像処理工程と
を含み、
前記表示器には、
前記カメラが制御されている間、前記画像処理工程により前記撮影ターゲットの位置又は大きさに基づいて画像処理がなされた整形画像が表示され、それ以外には、前記カメラにより撮影された画像が表示される
ことを特徴とする撮影制御装置の撮影方法。
【請求項１４】
カメラによる撮影に基づく画像を表示器に出力する撮影制御装置に内蔵されたコンピュータを、
前記カメラによる撮影の範囲を制御する制御手段、
前記カメラにより撮影された画像から特定パターンを認識する認識手段、
前記認識手段により認識された特定パターンに基づいて撮影ターゲットを決定する決定手段、
前記制御手段によりカメラが制御されている間、前記決定手段により決定された撮影ターゲットの位置又は大きさに基づいて前記カメラにより撮影される画像を処理する画像処理手段
として機能させ、
前記表示器には、
前記制御手段により前記カメラが制御されている間、前記画像処理手段により前記撮影ターゲットの位置又は大きさに基づいて画像処理がなされた整形画像が表示され、それ以外には、前記カメラにより撮影された画像が表示される
ことを特徴とするプログラム。
【請求項１５】
カメラによる撮影の範囲を制御する制御手段と、
前記カメラにより撮影された画像から特定パターンを認識する認識手段と、
前記認識手段により認識された特定パターンに基づいて撮影ターゲットを決定する決定手段と、
前記制御手段によりカメラが制御されている間、前記決定手段により決定された撮影ターゲットの位置又は大きさに基づいて前記カメラにより撮影される画像を処理する画像処理手段と、
前記制御手段により前記カメラが制御されている間、前記画像処理手段により前記撮影ターゲットの位置又は大きさに基づいて画像処理がなされた整形画像を表示し、それ以外には、前記カメラにより撮影された画像を表示する表示手段と
を具備することを特徴とする撮影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮影する撮影制御装置に関する。
【背景技術】
【０００２】
近年、テレビ会議システムが広く使われるようになっている。テレビ会議システムでは、参加者の各拠点にディスプレイ、カメラ、マイク等を設置し、互いの映像及び音声の通信を行なう。これにより、遠隔地にいても互いの表情やホワイトボードの板書を見ながら会議を行なうことができる。
【０００３】
カメラの撮影対象は、その時々において変化し、例えば、参加者の拡大画像を映す場合もあれば、ホワイトボードや会議室全体を映す場合もある。テレビ会議システムの多くは、リモコンなどを用いてカメラを動かすことができるが、その反面、リモコンなどを用いた場合、カメラを手動で動かさなければならず手間がかかる。そのため、カメラの回転、ズームなどを手動で修正する間、操作者は会議に集中できなくなってしまう。
【０００４】
そこで、参加者の音声の音方向や、画像内の顔パターンを認識してカメラを自動的に制御するシステムがある。特許文献１では、検出した音方向にカメラを制御すると共に、人物などの特徴領域のフレーム間変動に基づいてカメラを制御し人物などを追尾する技術が提案されている。
【特許文献１】特開２０００−０９９３８０号公報
【特許文献２】特開２０００−１５６８４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、カメラ制御中にもカメラは画像を撮影し続けるため、カメラが動くのに応じて画像も動いてしまう。特に、カメラの角度が変動すると撮影画像が大きく変化してしまう。更に、近年のＴＶ会議システムのカメラでは、パラメータを高速に変動させることができるため、撮影画像は一層大きく揺れ動くことになる。撮影画像が大きく揺れ動いてしまうと、その画像を見るユーザに不快感を与えてしまう。従って、音方向検知や特徴パターン抽出によってカメラを動かしながらも、撮影対象が動かずに安定した画像を表示することが望ましい。
【０００６】
このような撮影画像のぶれを防ぐ技術として、特許文献２には、携帯カメラ使用時における手ぶれに対処するために、顔画像領域を切り出して顔画像領域の位置を補正する技術が提案される。しかし、特許文献２の技術では、角度やズーム等のカメラ制御に伴って画像を補正することについては考慮されていない。
【０００７】
そこで、本発明は、上記課題に鑑みてなされたものであり、カメラ制御に際して生じる画像の揺れを低減するようにした撮影制御装置、その撮影方法及びプログラム、及びシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一態様は、カメラによる撮影に基づく画像を表示器に出力する撮影制御装置であって、前記カメラによる撮影の範囲を制御する制御手段と、前記カメラにより撮影された画像から特定パターンを認識する認識手段と、前記認識手段により認識された特定パターンに基づいて撮影ターゲットを決定する決定手段と、前記制御手段によりカメラが制御されている間、前記決定手段により決定された撮影ターゲットの位置又は大きさに基づいて前記カメラにより撮影された画像を処理する画像処理手段とを具備し、前記表示器には、前記制御手段により前記カメラが制御されている間、前記画像処理手段により前記撮影ターゲットの位置又は大きさに基づいて画像処理がなされた画像が表示されることを特徴とする。
【０００９】
また、本発明の一態様は、カメラによる撮影に基づく画像を表示器に出力する撮影制御装置における撮影方法であって、前記カメラによる撮影の範囲を制御する制御工程と、前記カメラにより撮影された画像から特定パターンを認識する認識工程と、前記認識された特定パターンに基づいて撮影ターゲットを決定する決定工程と、前記カメラが制御されている間、前記決定された撮影ターゲットの位置又は大きさに基づいて前記カメラにより撮影される画像を処理する画像処理工程とを含み、前記表示器には、前記カメラが制御されている間、前記画像処理工程により前記撮影ターゲットの位置又は大きさに基づいて画像処理がなされた整形画像が表示され、それ以外には、前記カメラにより撮影された画像が表示されることを特徴とする。
【００１０】
また、本発明の一態様によるプログラムは、カメラによる撮影に基づく画像を表示器に出力する撮影制御装置に内蔵されたコンピュータを、前記カメラによる撮影の範囲を制御する制御手段、前記カメラにより撮影された画像から特定パターンを認識する認識手段、前記認識手段により認識された特定パターンに基づいて撮影ターゲットを決定する決定手段、前記制御手段によりカメラが制御されている間、前記決定手段により決定された撮影ターゲットの位置又は大きさに基づいて前記カメラにより撮影される画像を処理する画像処理手段として機能させ、前記表示器には、前記制御手段により前記カメラが制御されている間、前記画像処理手段により前記撮影ターゲットの位置又は大きさに基づいて画像処理がなされた整形画像が表示され、それ以外には、前記カメラにより撮影された画像が表示されることを特徴とする。
【００１１】
また、本発明の一態様は、カメラによる撮影の範囲を制御する制御手段と、前記カメラにより撮影された画像から特定パターンを認識する認識手段と、前記認識手段により認識された特定パターンに基づいて撮影ターゲットを決定する決定手段と、前記制御手段によりカメラが制御されている間、前記決定手段により決定された撮影ターゲットの位置又は大きさに基づいて前記カメラにより撮影される画像を処理する画像処理手段と、前記制御手段により前記カメラが制御されている間、前記画像処理手段により前記撮影ターゲットの位置又は大きさに基づいて画像処理がなされた整形画像を表示し、それ以外には、前記カメラにより撮影された画像を表示する表示手段とを具備することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、カメラ制御に際して生じる画像の揺れを低減できるため、安定した画像をユーザに表示できる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明に係わる撮影制御装置、その撮影方法及びプログラム、及びシステムの実施形態について添付図面を参照して詳細に説明する。
【００１４】
図１は、本発明の実施の一形態に係わる撮影制御装置１０を配して構成した撮影システムの構成の一例を示す図である。
【００１５】
撮影システムは、撮影制御装置１０と、表示装置２０とを具備して構成される。
【００１６】
撮影制御装置１０は、表示装置２０と接続されている。表示装置２０は、ディスプレイ等の表示器から構成され、撮影制御装置１０から出力される画像に基づいて表示を行なう。なお、図１の構成では、撮影制御装置１０の外部に表示装置２０が設けられているが、表示装置２０が撮影制御装置１０の内部に実現されてもかまわない。
【００１７】
ここで、撮影制御装置１０の構成について説明する。１０１は、カメラであり、画像を撮影する。なお、本実施形態で言うカメラとは、撮影機能を有する装置の総称であり、画像を撮影する装置であれば何でもよい。また、図１の構成では、カメラ１０１が撮影制御装置１０の内部に設けられているが、カメラ１０１は、撮影制御装置１０の外部に実現されてもかまわない。
【００１８】
１０２は、音方向検知部であり、マイクなどによって音を取得し、その音の到来方向を検知する。１０３は、パターン認識部であり、カメラ１０１から取得した画像から特定パターン（本実施形態においては、顔とする）を認識する。１０４は、撮影ターゲット決定部であり、パターン認識部１０３が認識したパターンの中からカメラ１０１により撮影するターゲットを決定する。１０５は、パラメータ設定部であり、カメラ１０１の設定に係わるパラメータ、例えば、角度やズームに係わるパラメータを設定する。１０６は、カメラ制御部であり、パラメータ設定部１０５により設定されたパラメータに基づいてカメラ１０１による撮影の範囲（例えば、角度、ズーム等）を制御する。１０７は、画像処理部であり、撮影された画像を例えば、整形して処理する。
【００１９】
以上が、撮影システムの構成についての説明である。なお、撮影制御装置１０、表示装置２０は、コンピュータを含んで構成される。コンピュータには、例えば、ＣＰＵ等の主制御手段、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶手段が具備される。また、コンピュータには、通信手段、操作ボタン、ディスプレイ又はタッチパネル等の入出力手段等、が具備されていてもよい。なお、これら各構成手段は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。
【００２０】
図２は、図１に示す撮影制御装置１０における処理の一例を示すフローチャートである。なお、ここでは、画像の撮影中に音声を検知してカメラ制御を行なう場合の処理の流れについて説明する。
【００２１】
撮影制御装置１０は、カメラ１０１により撮影された画像（以下、撮影画像と呼ぶ場合もある）を表示装置２０に出力している（ステップＳ２０１）。ここで、音方向検知部１０２において、音を検知した場合（ステップＳ２０２でＹＥＳ）、撮影制御装置１０は、その音方向を推定する（ステップＳ２０３）。音方向の推定には、既存の技術を用いればよい。例えば、複数マイクを用いてマイク間の音の遅延に基づいて方向を推定する方法などがある。
【００２２】
音方向の推定が済むと、撮影制御装置１０は、パラメータ設定部１０５において、推定された音方向に基づいてカメラパラメータを設定する（ステップＳ２０４）。例えば、音方向にカメラ１０１を向け、広角にズームアウトするようにパラメータ設定を行なう。パラメータの設定が済むと、撮影制御装置１０は、カメラ制御部１０６において、当該設定されたカメラパラメータに基づいたカメラ１０１の制御を開始する（ステップＳ２０５）。
【００２３】
カメラ制御が開始すると、撮影制御装置１０は、パターン認識部１０３において、カメラ１０１により撮影された画像を取得し、その画像から顔パターンの検出を行なう（ステップＳ２０６）。ここで、画像内に顔パターンが存在しなければ（ステップＳ２０７でＮＯ）、再度、ステップＳ２０６の処理に戻る。一方、顔パターンが存在すれば（ステップＳ２０７でＹＥＳ）、撮影制御装置１０は、撮影ターゲット決定部１０４において、その顔パターンを撮影ターゲットとして決定する（ステップＳ２０８）。なお、撮影された画像内に複数の人物がおり、顔パターンが複数存在する場合には、詳細は後述するが、１つ以上の顔パターンの中から１つの顔パターンを選択し、それを撮影ターゲットとして決定することになる。
【００２４】
撮影ターゲットが決定すると、撮影制御装置１０は、画像処理部１０７において、撮影ターゲットに基づいて画像を整形する（ステップＳ２０９）。この画像の整形は、撮影ターゲットの位置又は大きさに基づいて行なわれる。そして、撮影制御装置１０は、この整形後の画像をカメラ１０１から撮影された画像に切り替えて表示装置２０に出力する（ステップＳ２１０）。すなわち、表示装置２０には、撮影された画像に切り替えて、画像処理部１０７により整形された画像（以下、整形画像と呼ぶ場合もある）が表示される。このステップＳ２０６〜ステップＳ２１０の処理は、カメラ制御が終了するまで繰り返し行なわれる（ステップＳ２１４でＮＯ）。なお、ここでは、説明を省略するが、後述する処理において、表示装置２０へ出力する画像を元に戻し、整形画像から撮影画像に切り替えることになる。この切り替え時に両者の画像が極端に異なるのを吸収するために、特に、この切り替えに際しては、撮影画像を考慮した画像処理を行なうようにする。
【００２５】
一方、カメラ制御については、ステップＳ２１１〜ステップＳ２１３の処理を行なう。撮影制御装置１０は、撮影ターゲット決定部１０４において、決定した撮影ターゲットが音方向の撮影ターゲットであるか否かを確認する（ステップＳ２１１）。撮影ターゲットが音方向にあるのか別の方向にあるのかは、カメラ制御中の各時点でのカメラパラメータ（角度、ズーム等）と、ステップＳ２０３で求めた音方向と、撮影ターゲットの画像中心位置からのずれとから算出する。例えば、カメラが音方向の角度まで制御されていれば、音方向の撮影ターゲットは、画像中心位置付近に存在する。カメラが音方向を向いていなければ、その角度差とズームのパラメータとから、音方向の撮影ターゲットが存在する画像内の位置を算出できることになる。
【００２６】
ここで、撮影ターゲットが音方向であれば（ステップＳ２１１でＹＥＳ）、撮影制御装置１０は、パラメータ設定部１０５において、当該撮影ターゲットに基づいてカメラパラメータを再設定する（ステップＳ２１２）。ここで行なうカメラパラメータの再設定は、カメラ１０１により撮影された画像内の撮影ターゲットを所定の位置・大きさにするべく調整するために行なう。一方、撮影ターゲットが音方向になければ（ステップＳ２１１でＮＯ）、ステップＳ２０４で設定した音方向に基づくカメラパラメータを維持する。そして、音方向に基づくカメラパラメータを再設定した場合、或いはそうでない場合のいずれであっても、撮影制御装置１０は、カメラ制御部１０６において、その時点で設定されているカメラパラメータに基づいてカメラ制御を行なう（ステップＳ２１３）。カメラ制御が終了すると（ステップＳ２１４でＹＥＳ）、再度、ステップＳ２０１に戻り、撮影制御装置１０は、カメラ１０１からの撮影画像を表示装置２０に出力する。
【００２７】
ここで、図３、図４を用いて、カメラ１０１から撮影された画像内に複数の顔パターンが検出された場合の撮影ターゲットの決定の仕方について説明する。
【００２８】
図３は、撮影画像の一例を示す図である。ここで、この画像内には人物が３人おり、これら人物の顔が顔パターンとしてパターン認識部１０３により検出される。矩形で囲まれた領域が、パターン認識部１０３により検出された顔パターンである。そして、これらの顔パターンの中から画像を整形するための撮影ターゲットが撮影ターゲット決定部１０４により１つ決定される。
【００２９】
図４は、複数の顔パターンの中から撮影ターゲットを決定する際の処理の一例を示すフローチャートである。なお、上述した通り、この処理は主に、撮影ターゲット決定部１０４において行なわれる。
【００３０】
撮影ターゲット決定部１０４は、音方向検知部１０２により検知された音方向が画像内の画角に入り、かつ音方向に顔パターンが存在するか否かを判定する。音方向に顔パターンが存在する場合は（ステップＳ４０１でＹＥＳ）、撮影ターゲット決定部１０４は、音方向に最も一致する位置に存在する顔パターンを撮影ターゲットとして決定する（ステップＳ４０２）。
【００３１】
一方、音方向が画像の画角に入らない、或いは音方向に顔パターンが存在しない場合（ステップＳ４０１でＮＯ）、撮影ターゲット決定部１０４は、カメラパラメータの変更中、すなわち、カメラ制御中（例えば、カメラが動いている）であるか否かを判定する。カメラ制御中であれば（ステップＳ４０３でＹＥＳ）、前フレームの撮影ターゲットと距離が最も近い顔パターンを撮影ターゲットとして決定する（ステップＳ４０４）。なお、距離ではなく顔パターンの特徴量が最も近い顔パターンを撮影ターゲットとして選んでもよい。
【００３２】
また、ステップＳ４０３において、カメラ制御中でなければ（ステップＳ４０３でＮＯ）、撮影ターゲット決定部１０４は、予め決められた位置、例えば、画像内心に最も近い顔パターンを撮影ターゲットとして決定する（ステップＳ４０５）。
【００３３】
なお、図４では、撮影ターゲットの決定方法の一例として３通りの決定方法を例に挙げて説明したが、撮影ターゲットの決定の仕方は、ここに挙げた方法に限られず、これ以外の方法を用いて撮影ターゲットを一つに絞り込むようにしても勿論構わない。
【００３４】
続いて、図２のステップＳ２０９における画像処理について詳しく説明する。図５は、画像処理部１０７において、撮影ターゲットの位置又は大きさに合わせて画像を整形する際の処理の一例を示す図である。
【００３５】
５０１は、カメラ制御部１０６がカメラを制御する前（例えば、カメラ制御の直前）、すなわち、カメラ制御前の撮影画像である。画像処理部１０７は、カメラ制御前の撮影画像５０１から当該画像内における撮影ターゲットの位置（Ｘ１、Ｙ１）、大きさ（Ｗ１、Ｈ１）を記憶する。
【００３６】
また、５０２は、カメラ制御中の撮影画像である。撮影制御装置１０は、画像処理部１０７において、撮影画像５０２から撮影ターゲットの位置（Ｘ２、Ｙ２）、大きさ（Ｗ２、Ｈ２）を測定し、カメラ制御中の画像内における撮影ターゲットの位置（Ｘ１、Ｙ１）、大きさ（Ｗ１、Ｈ１）を整形する。具体的には、カメラ制御中の画像内における撮影ターゲットの位置、大きさを、カメラ制御前の位置、大きさとが一定となるように、画像全体を拡大縮小又はシフトさせる。その上で、画像処理部１０７は、整形画像の画像領域からはみ出した画像を切り取る。逆に、整形により存在しなくなってしまった領域は、空白若しくは予め保有する背景画像などを用いて補間する。この結果、撮影ターゲットの位置又は大きさに基づいて整形した整形画像５０３が得られる。
【００３７】
ここで、図６を用いて、カメラ制御中に表示装置２０に表示される画像について説明する。６０１は、カメラ１０１により実際に撮影される撮影画像であり、６０２は、表示装置２０に表示される画像である。
【００３８】
ここでまず、カメラ制御が開始したとする、この制御では、上述した通り、例えば、検知された音方向にカメラが向けられ、また、広角にズームアウト等される。その時、実際にカメラ１０１により撮影された撮影画像は、６０１に示すように、撮影ターゲットの画像内における位置や大きさが変化する。
【００３９】
これに対し、表示装置２０には、整形画像６０２に示すように、カメラ制御前と現在の撮影ターゲットとに基づいて整形された画像が出力されるため、カメラパラメータが変わっても撮影ターゲットの位置や大きさが安定した表示がなされる。
【００４０】
ここで、図６に示す４フレーム目において、音方向へカメラ１０１が向き、そこで撮影された画像内から顔パターンが検出されたとする。すると、撮影制御装置１０は、撮影ターゲット決定部１０４において、当該画像内の顔パターン（画像内の左側の顔）に撮影ターゲットを切り替える。このようにして撮影ターゲットが見つかると、撮影制御装置１０は、パラメータ設定部１０５において、当該撮影ターゲットが画像内の所定の位置、大きさになるように、方向パラメータやズーム等を設定する。そして、カメラ制御部１０６は、このパラメータに従ってカメラ１０１を制御する。
【００４１】
これに伴って、撮影制御装置１０は、画像処理部１０７において、当該撮影ターゲットの位置又は大きさがカメラ１０１により撮影される画像内で所定の位置又は大きさとなるように画像を整形する。そして、カメラ制御が終了すると、撮影制御装置１０は、画像処理部１０７において、画像の整形を行なわず、撮影画像をそのまま表示装置２０に出力する。
【００４２】
以上説明したように、本実施形態によれば、カメラ制御に際して、カメラパラメータの変動による画像の揺れを低減し、安定して撮影ターゲットを追尾した画像を提示することができる。
【００４３】
以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。
【００４４】
例えば、上述した説明では、特定パターンとして人物の顔を認識する場合を例に挙げて説明したが、これ以外を特定パターンとして検出するようにしても構わない。例えば、人物（顔以外）や自動車などを特定パターンとして認識するようにしてもよい。
【００４５】
また、上述した説明では、撮影ターゲットの位置又は大きさが一定になるように画像を整形する処理について説明したが、この処理は、例えば、カメラパラメータの変化に基づいて行なわれてもよい。例えば、各フレームで画像を取得した時のカメラパラメータに基づいて画像の整形を行なう。具体的には、図６の１フレーム目と３フレーム目とに示すように、これらフレームでは、カメラ制御によりカメラの角度やズームのパラメータが変わっている。これらカメラパラメータの差分、すなわち、カメラパラメータの変化に基づいて撮影ターゲットの位置又は大きさが一定になるよう画像を整形する。
【００４６】
また、上述した説明では、音方向を検知すると、その方向にカメラの角度を回転させ、更に広角にズームアウトするようにカメラパラメータを変更させていたが、必ずしもこれら全てを行なう必要はなく、少なくともいずれかの制御を行なえばよい。例えば、角度に対応するパラメータのみ変更しカメラを制御するようにしてもよい。
【００４７】
また、上述した説明では、音方向の検知によりカメラ制御が開始する場合を例に挙げて説明したが、これに限られない。例えば、ユーザがリモコン等である方向に向くように指定した場合や、画像認識等でカメラを動かす方向を決定した場合をトリガーとしてカメラ制御が始まる場合もある。なお、この場合、図１の構成から音方向検知部１０２を取り除くことができる。そして、パラメータ設定部１０５は、ユーザ指定、画像認識などの何らかの手段に基づいてカメラ制御のためにカメラパラメータを設定することになる。
【００４８】
また、画像処理部１０７が撮影画像を拡大する場合に、画像の解像度が粗くなり、画質が劣化することがある。また、撮影画像をシフトや縮小すると、撮影画像に含まれない空白領域ができることがある。このような画像を、カメラ制御直前の未整形の画像に基づいて画質補正するようにしてもよい。例えば、図６に示す１フレーム目ではカメラ制御直前で、撮影画像がそのまま整形画像となっているため画質劣化がない。これに対し、図６に示す３フレーム目の整形画像は、撮影画像を拡大しているため解像度が粗くなってしまう場合がある。そこで、１フレーム目の撮影画像を保持し、これに基づいて３フレーム目の整形画像を補正する。補正にはどのような手法を用いてもよい。例えば、整形画像と保持した画像とを細かい領域に分割し、整形画像と保持した画像との差分が小さい領域は、保持した画像の領域で整形画像を置き換えるといった補正方法が考えられる。
【００４９】
また、音方向に向けてカメラ制御する間に、撮影ターゲットが一つも存在しなくなる場合がある。この場合、撮影ターゲットが存在していたときの画像（例えば、最後の画像）を保持しておくようにし、撮影ターゲットが存在しない間、その画像に基づいて処理した画像を整形画像として出力するようにしてもよい。この場合、撮影ターゲットが存在しなくなると、ユーザには、撮影ターゲットが映っていた最後の画像で停止しているように見える。しかしそれでも、カメラ制御によって画像が揺れ動くことなく、安定して撮影ターゲットを映した画像をユーザに提示できることになる。
【００５０】
なお、本発明は、例えば、システム、装置、方法、プログラム若しくは記録媒体等としての実施態様を採ることもできる。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００５１】
また、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置に内蔵されたコンピュータが該供給されたプログラムコードを読み出して実行することにより実施形態の機能が達成される場合をも含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。
【００５２】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳ（Operating System）に供給するスクリプトデータ等の形態であってもよい。
【００５３】
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記録媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【００５４】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００５５】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
【００５６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部又は全部を行ない、その処理によって前述した実施形態の機能が実現される。
【００５７】
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ（Central Processing Unit）などが実際の処理の一部又は全部を行なう。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施の一形態に係わる撮影制御装置１０を配して構成した撮影システムの構成の一例を示す図である。
【図２】図１に示す撮影制御装置１０における処理の一例を示すフローチャートである。
【図３】撮影画像の一例を示す図である。
【図４】複数の顔パターンの中から撮影ターゲットを決定する際の処理の一例を示すフローチャートである。
【図５】撮影ターゲットの位置又は大きさに合わせて画像を整形する際の処理の一例を示す図である。
【図６】カメラ制御中に表示装置２０に表示される画像と実際にカメラにより撮影される画像との関係の一例を示す図である。
【符号の説明】
【００５９】
１０    撮影装置
２０    表示装置
１０１    カメラ
１０２    音方向検知部
１０３    パターン認識部
１０４    撮影ターゲット決定部
１０５    パラメータ設定部
１０６    カメラ制御部
１０７    画像処理部
【図１】
2010016699.tif 000003
【図２】
2010016699.tif 000004
【図３】
2010016699.tif 000005
【図４】
2010016699.tif 000006
【図５】
2010016699.tif 000007
【図６】
2010016699.tif 000008