(57)【要約】本発明は、レコーディングされたシーンのコンテンツに基づいて高質且つ好ましく見ることができる画像を捕捉するためにシーン内の画像のコンピュータレンダリングされた表示を含む既知の映画撮影手順を含む。本発明は、コンピュータ決定されたシーンコンテンツに基づいて既知のカメラ動きシーケンスを実施するためにカメラ動きを制御するのに必要な基準を動的に決定する。例えば、シーン中のオブジェクトの数及び位置を知ることによって、既知のカメラ動きシーケンスを実現するためのカメラ動きを制御する基準が決定され得る。
2004518161.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つのカメラ又はカメラレンズによって見られるシーンの視野を変えるために上記少なくとも一つのカメラ又はカメラレンズの動きを自動的に制御する方法であって、
上記少なくとも一つのカメラ又はカメラレンズの動きを制御するための命令を与える、複数のカメラパラメトリックの既知のシーケンスから少なくとも一つのカメラパラメトリックの既知のシーケンスを選択する段階と、
上記シーンに含まれる高レベルパラメータに応答し、上記カメラパラメトリックの選択された既知のシーケンスを実行するための基準を決定する段階と、
上記決定された基準に応答して上記少なくとも一つのカメラ又はカメラレンズの動きを調節する段階とを有する方法。
【請求項２】
上記少なくとも一つのカメラパラメトリックの既知のシーケンスは、スキャン、ズーム、チルト、方向付け、パン、フェード、ズーム・アンド・プルバック、フェード・イン、フェード・アウトを含むカメラ動きの群から選択される請求項１記載の方法。
【請求項３】
上記高レベルパラメータは、上記シーン内のオブジェクトの数を含む請求項１記載の方法。
【請求項４】
上記高レベルパラメータは、上記シーン内のオブジェクトの位置を含む請求項１記載の方法。
【請求項５】
上記高レベルパラメータは、上記シーン内のオブジェクトの音声認識を含む請求項１記載の方法。
【請求項６】
上記高レベルパラメータは、上記シーン内のオブジェクトのオーディオ入力を含む請求項１記載の方法。
【請求項７】
少なくとも一つのカメラ又はカメラレンズによって見られるシーンの視野を変えるために上記少なくとも一つのカメラ又はカメラレンズの動きを自動的に制御する装置であって、
上記少なくとも一つのカメラ又はカメラレンズの動きを制御するために命令を与える、複数のカメラパラメトリックの既知のシーケンスから少なくとも一つのカメラパラメトリックの既知のシーケンスを選択する第１の入力を受信し、
上記シーンに含まれる高レベルパラメータを含む第２の入力を受信し、
上記高レベルパラメータに応答し、上記カメラパラメトリックの選択された既知のシーケンスを実行するための基準を決定するよう動作するプロセッサと、
上記決定された基準に応答して上記少なくとも一つのカメラ又はカメラレンズの動きを調節する手段とを有する装置。
【請求項８】
上記第１の入力は、スキャン、チルト、方向付け、パン、フェード、ズーム、ズーム・アンド・プルバック、フェード・イン、フェード・アウトを含むカメラ動きの群から選択される請求項７記載の装置。
【請求項９】
上記高レベルパラメータは、上記シーン内のオブジェクトの数を含む請求項７記載の装置。
【請求項１０】
上記高レベルパラメータは、上記シーン内のオブジェクトの位置を含む請求項７記載の装置。
【請求項１１】
上記高レベルパラメータは、上記シーン内のオブジェクトの音声認識を含む請求項７記載の装置。
【請求項１２】
上記高レベルパラメータは、上記シーン内のオブジェクトのオーディオ入力を含む請求項７記載の装置。
【請求項１３】
上記カメラ動きを調節する手段は、直列接続で上記基準を出力することを含む請求項７記載の装置。
【請求項１４】
上記カメラ動きを調節する手段は、並列接続で上記基準を出力することを含む請求項７記載の装置。
【請求項１５】
上記カメラ動きを調節する手段は、ネットワーク上で上記基準を出力することを含む請求項７記載の装置。
【請求項１６】
上記カメラ動きは、電子的に実現される請求項７記載の装置。
【請求項１７】
上記カメラ動きは、機械的に実現される請求項７記載の装置。
【発明の詳細な説明】
【０００１】
［発明の分野］
本発明は、カメラ制御に関わる。より特定的には、本発明は、見ているシーンのコンテンツに基づいてカメラの動きシーケンスを制御するために使用される動的決定基準に関わる。
【０００２】
［発明の背景］
映画撮影法は、技術において周知である。多くの映画撮影技術は、最初の映画カメラの開発以来常に発展し続けている。その結果、多くの技術が実験的に開発され、任意のシーン又は画像を好ましく見ることができるようなレコーディングが実現された。パンニングの持続時間、ズーム度及び速度、並びに、カメラのチルト角等における技術は、観察する側にとって好ましい画像を実現するパンニング率、ズーム率、及び、チルト角を見つけるために変えられてテストされる。
【０００３】
映画撮影産業に新しい革新が起こると、映画撮影者は任意のシーンを捕捉し表示する異なる方法を実験し続ける。例えば、任意のシーンに対する視聴者の視点を変えるために異なるカメラ角でシーンが捕捉されてもよい。更に、視聴者の注意を引くか、シーン中の特定のオブジェクトに視聴者の注意を集中させるために異なるレコーディング時間が使用されてもよい。
【０００４】
カメラ技術の発展におけるこのような多くの実験により、フィルム、磁気テープ、又は、例えば、テレビジョン伝送における実時間伝送で任意のシーンを捕捉する特定の面に関して、実験的に得た標準が明らかとなる。これら実験的に得た標準は、経験を積んだ熟練者には周知であるが、平均的又は不定期的なユーザには一般的に知られていない。従って、シーンをパンニングすることを望む平均的な又は不定期的なカメラユーザによる進め具合は、早すぎるか遅すぎる場合がある。いずれの場合でも結果として得られる捕捉された画像は、非常に短期間或いは非常に長期間にわたって見せられているため、見るのに好ましくない。従って、高質且つ見るのに好ましい画像をレコーディングするためには、ユーザは、これら実験的に得た標準を実行するに必要なスキルを習得するよう相当量の時間及び努力を費やさなくてはならない。或いは、不定期的なユーザは、得た標準に従ってカメラ機器を操作するのに必要なスキルを既に習得している人を探し雇わなくてはならない。スキルを習得する場合、必要なスキルを習得するのに費やす時間及び努力は煩わしく、そのスキルを常に練習し磨かなくてはならないため無駄である。スキルを持っている人を雇う場合、比較的ルーティン化された周知のタスクを実施するために熟練者が常に必要とされる。従って、過度の負担及び経験を必要とすることなく、高質且つ見るのに好ましい画像を生成することをユーザに可能にさせる、実験的に得た標準を用いた映画撮影技術をカメラ機器に組み込む必要がある。
【０００５】
［発明の要約］
本発明は、レコーディングされたシーンのコンテンツに基づいて高質且つ好ましく見ることができる画像を形成するために、シーン内の画像のコンピュータレンダリングされた表示を有する映画撮影手順を含む。本発明は、既知のカメラの自動制御に対して基準を決定する方法及び装置を有する。より特定的には、複数のカメラパラメトリックの既知のシーケンスから少なくとも１つのカメラパラメトリックの既知のシーケンスを選択するために第１の入力が受信され、このとき選択されたカメラパラメトリックは既知のカメラ動きを実施するための一般化された命令を与える。シーン中のオブジェクトを表示する高レベルパラメータを含む第２の入力も本発明における入力である。本発明は、高レベルパラメータに応答して、カメラパラメトリックの選択された既知のシーケンスを実行するための基準を決定し、シーケンス基準に応答してカメラ動きを調節する少なくとも１つの出力を供給する。
【０００６】
［発明の詳細な説明］
図面は、本発明の概念を例示することを目的にするに過ぎず、本発明を制限するレベルとして意図されてはならないことに注意する。同じ参照記号、可能性として、適当なところでは参照文字で補足されている記号が、対応する部分を表すために全体的に使用されていることが認識されるであろう。
【０００７】
図１は、本発明の原理に従ってカメラシーケンスを制御する方法をブロック図の形態で示す。ビデオ画像１００は、ブロック１１０によって表示されるように、従来のコンピュータ評価技法を用いて解析され、ビデオ画像１００内のオブジェクトの高レベルパラメータ１４０を決定する。コンピュータ評価技法は、シーンを評価するために使用され、シーン中の画像を知覚することを計算システムに可能にさせる。シーンで認識された画像又はオブジェクトは、エンハンスメント、フィルタ処理、色付け等のような後の処理のために記録され得る。高レベルパラメータ１４０は、例えば、ビデオ画像１００内のオブジェクトの数及び位置を含んでもよい。更に、例示するとおり、高レベルパラメータ１４０は、音声認識１２０及びオーディオ位置処理１３０を含んでもよい。音声認識１２０は、シーン内で話している特定のオブジェクトを決定するために使用され得る。オーディオ位置１３０は、シーン内での音源を決定するために使用され得る。
【０００８】
一般的カメラシーケンス規則又はパラメトリック１６０は、決定されたシーンの高レベルシーンパラメータ１４０に基づいてユーザ選択されたカメラシーケンスを実施するために必要な既知の処理段階を実行するために必要な基準を決定する。カメラシーケンス規則は、カメラシーケンスセレクタ１５０を用いて選択され得る。カメラ方向１７０によって表示される動作コマンドは、選択されたカメラシーケンス及び決定された基準に従って選択されたカメラ又はカメラレンズを移動又は位置決めするために出力される。
【０００９】
１．既知のカメラシーケンスに対する一般規則
本発明の原理によると、規則１６０として前に参照したカメラシーケンスの一般規則又はパラメトリックは、例えば、選択されたカメラに指定の動作を自動的に実施させ実行させる計算システムの中に予めロードされていてもよい。指定されたシーンからの情報アイテムが供給されたとき、既知のカメラシーケンスパラメトリックは、所望の動作を実現するに必要なカメラ動きに対する基準を決定する。例えば、典型的なクローズアップシーケンスと関連付けられるカメラ動きに対する例示的な規則又はパラメトリックを、表１に示す。
【００１０】
【表１】
2004518161.tif 000003
この例示的な例では、カメラズームレベル又は位置は、見るのに好ましいシーン遷移を生成するためにその現在のレベルから第２のレベルに、既知の変化率で変化され得る。この場合、段階１において、オブジェクトが画像内で位置探しされる。段階２では、中心に最も近いオブジェクトが決定される。段階３では、オブジェクトの周りのフレーム、即ち、シーンの割合が決定される。段階４では、現在のカメラ位置又はズームレベルが決定され、段階５では、見るのに好ましいクローズアップの実験的に得た標準が得られる。例えば、見るのに好ましいクローズアップは、オブジェクトがフレームの７５パーセントを占めることを必要としてもよい。段階６では、既知のクローズアップ標準を達成するためのカメラの位置又はズームレベルの変化に関して決定がなされる。段階７において、カメラの位置又はズームレベルの変化の既知の変化率が得られる。例えば、ズームレベル変化率標準は、既知の期間、例えば、２秒で画像の大きさが２倍になることを必要とする場合もある。段階８では、識別されたクローズアップ域の初期の大きさ、識別されたクローズアップの最終的な大きさ、及び、既知の変化率に基づいてクローズアップを実施する時間が決定されてもよい。段階９では、カメラ動きを方向付けるかカメラレンズのズームレベルを変えるためのコマンドは、指定されたカメラ又はカメラのレンズ或いは電子ズーム能力を調節するカメラモータに出力される。
【００１１】
図２ａ及び図２ｂは、表１に示す既知のカメラシーケンスを用いる本発明の使用例を示す図である。図２ａは、少なくとも５つのコンピュータ−ビジョン認識可能な又は決定されたオブジェクト、即ち、人Ａ４１０、人Ｂ４２０、長いす４５０、テーブル４３０、及び、いす４４０を夫々含む典型的なシーンを示す。更に、人Ｂ４２０の周りの域４２５は、指定されたクローズアップ域として識別される。図２ｂは、クローズアップカメラシーケンスが人Ｂ４２０として示されるオブジェクトに対して要求されるとき見ることができる画像を示す。この場合、現在のレベルから、指定された域がビューイングフレームの既知の割合を占めるレベルまでカメラレンズのズームレベルを変えるためにカメラ制御が発せられる。
【００１２】
第２の例として、表２は、左から右へのパンニングシーケンスを実施する一般規則又はパラメトリックを示す。
【００１３】
【表２】
2004518161.tif 000004
記録されたシーンのコンテンツに基づいてカメラ制御基準を決定するために使用され得るフェード・イン、フェード・アウト、パンレフト及びライト、逆配置、ズーム、及び、プルバック等のような同様の、より複雑なカメラシーケンスが明確に表されることが認識されるであろう。更に、カメラシーケンス規則は、連続して又は組み合わせて実行されてもよい。例えば、パンレフト・ツー・ライトとクローズアップは、カメラが左から右にパンニングする一方で選択されたオブジェクトがビューイングフレームの既知の割合を占めるようズームレベルを動的に変化させることで、組み合わせて実行され得る。
【００１４】
２．規則ベースのカメラシーケンスパラメトリックを用いる方法
図３ａは、図１に示す段階をより詳細に示す例示的な処理のフローチャートを示す。この例示的な処理では、ブロック５００において、既知のカメラ動きシーケンスのリストから任意の既知のカメラ動きシーケンスがユーザによって選択される。ブロック５１０及びブロック５２０において、シーン中のオブジェクトの数及び位置のような高レベルシーンパラメータが夫々決定される。シーン中のオブジェクトの数及び位置のような高レベルシーンパラメータの決定に応答して、ブロック５５０において、カメラ又はカメラレンズ動き制御に対する基準が動的に決定される。ブロック５６０において、所望の動きを実行するために、カメラ又はカメラレンズ動き制御が選択されたカメラ又はカメラレンズに送られる。
【００１５】
図３ｂは、図２ａ及び図２ｂに例示するシーン、即ち、表１に示す例示的なカメラシーケンスを用いる、人Ｂ４２０を表示するオブジェクトの周りの域４２５のクローズアップに関して、カメラ動きを制御する基準を決定する例示的な処理のフローチャートを示す。この場合、ブロック５５２において、オブジェクト人Ｂ４２０の現在の位置及び指定された域４２５が決定される。更に、ブロック５５４において、オブジェクト人Ｂ４２０の所望のクローズアップ域が占めるシーンの最初の割合が決定される。ブロック５５６において、好ましいクローズアップビューイングに対する既知の最終的な割合が選択されたカメラシーケンス「ズームイン」に対して得られる。更に、ブロック５５８において、フレームの占有率を既知の程度増加させるために既知のズーミング率が得られる。ブロック５５９において、ユーザ選択された「クローズアップ」を実現するためにカメラ動き又はカメラレンズズームレベルを制御するズームイン時間の合計、カメラセンタリング、カメラズームレベル変化率等が決定される。
【００１６】
３．本発明による方法を利用する装置及びシステム
図４ａは、本発明の原理を利用する例示的な装置２００、例えば、キャムコーダ、ビデオレコーダーを示す。この例示的な例では、プロセッサ２１０は、カメラレンズ２７０の例えば、角度、向き、ズームレベル等を制御するためにカメラレンズ２７０と通信している。カメラレンズ２７０は、シーンの画像を捕捉し、表示装置２８０で画像を表示する。更に、カメラレンズ２７０は、見た画像をレコーディング装置２６５に伝送することができる。プロセッサ２１０は、カメラレンズ２７０によって見られる画像のレコーディングを制御するためにレコーディング装置２６５とも通信している。
【００１７】
装置２００は、プロセッサ２１０と通信しているカメラシーケンス規則１６０及びシーン評価器１１０も含む。カメラシーケンス規則１６０は、表１及び表２に示す例示的なカメラシーケンスに示すように、カメラの位置、移動方向、シーンの持続時間、カメラの向き等、又は、カメラレンズの動きを制御するために使用される一般化された規則又は指示を含む。カメラシーケンス又は技術は、カメラシーケンスセレクタ１５０を用いて選択され得る。
【００１８】
シーン評価器１１０は選択されたカメラによって受信した画像を評価し、表示された画像中のオブジェクトの数及び位置のようなシーンの高レベルパラメータを決定する。高レベルパラメータは、位置決め及び位置決め選択されたカメラ、又は、ユーザ選択されたカメラシーケンス規則に従うカメラレンズの調節に対する基準を動的に決定するためにプロセッサ２１０によって使用される。
【００１９】
図４ｂは、本発明の原理を用いる例示的なシステムを示す。この例示的な例では、プロセッサ２１０は複数のカメラ、例えば、カメラＡ２２０、カメラＢ２３０、カメラＣ２４０、及び、レコーディング装置２６５と通信している。各カメラは、モニタリング装置とも通信している。この例示的な例では、カメラＡ２２０はモニタ装置２２５、カメラＢ２３０はモニタ装置２３５、カメラＣ２４０はモニタ装置２４５と通信している。更に、選択されたモニタ装置の画像を選択し、見るためにこの画像をモニタリング装置２４５に供給するよう、切換器２５０が使用可能である。モニタ２４５で見られる画像は、プロセッサ２１０の制御下にあるレコーダー２６５にレコーディングされてもよい。
【００２０】
更に、シーン評価器１１０は、高レベルシーンパラメータを決定する。本例では、モニタ装置２４５で見られる画像である。本発明の別の面によると、シーン評価器１１０は、カメラＡ２２０、カメラ２３０、及び、カメラＣ２４０によって収集される画像を使用し得る。少なくとも１つの画像の高レベルパラメータがプロセッサ２１０に供給される。更に、記憶されたカメラシーケンス規則１６０からの少なくとも１つの一般カメラシーケンス規則がカメラシーケンスセレクタ１５０を用いて選択され得る。
【００２１】
プロセッサ２１０は、選択されたカメラシーケンスと、選択されたシーン中のオブジェクトを表示する高レベルパラメータが与えられると、選択されたカメラの動きを指示するカメラ動き制御を決定する。例えば、プロセッサ２１０は、カメラＡ２２０を選択してから、シーン中のオブジェクトに対して選択されたカメラの位置、角度、向き等を制御してもよい。別の面では、プロセッサ２１０は、選択されたカメラレンズのズームイン及びズームアウト機能を制御するか、捕捉される光の量を増加又は減少させるためにレンズの口径を変えることで画像のフレーミングを決定することができる。
【００２２】
図４ｂの例示的なシステムの例は、テレビジョン制作ブースである。本例では、ディレクター又はプロデューサーは、個々のカメラを選択し、既知のカメラシーケンスを実施するよう選択されたカメラを監督することで複数のカメラ夫々を直接的に制御することができる。従って、ディレクターは、カメラ及びカメラ動きシーケンスを選択し、選択されたカメラによって捕捉された画像をレコーディング装置若しくは伝送装置（図示せず）に向けることで各カメラを制御することができる。この場合、ディレクターは、熟練のカメラ操作者によって実行されるカメラ動きを言葉で指示する代わりに、カメラ及びその後に捕捉されるカメラ画像を直接的に制御する。
【００２３】
本発明は、ある程度の独自性を有して好ましい形態で説明し図示したが、好ましい形態の本開示は、例示的に過ぎず、構造の細部、及び、構成要素の組み合わせ及び配置における多数の変化が添付の特許請求の範囲の精神及び範囲から逸脱することなくなされることを理解すべきである。
【００２４】
同様の結果を得るために略同様の方法で略同様の機能を実施する構成要素及び／又は方法の段階の全ての組み合わせが本発明の範囲内であることは、特に意図すべきである。本特許は、本願の発明において特許になり得る新規性の特徴が、添付の特許請求の範囲における適当な表現によって含まれることを意図する。
【図面の簡単な説明】
【図１】
本発明の原理による処理を示すブロック図である。
【図２ａ】
認識可能なシーンのオブジェクトを示す例示的な画像を示す図である。
【図２ｂ】
本発明の原理による図２ａに示すオブジェクトのカメラのビューにおける変化を示す図である。
【図３ａ】
本発明の原理による例示的な処理のフローチャートである。
【図３ｂ】
本発明の原理によるカメラ制御基準を決定する例示的な処理のフローチャートである。
【図４ａ】
本発明の例示的な実施例を示す図である。
【図４ｂ】
本発明の第２の例示的な実施例を示す図である。
【図１】
2004518161.tif 000005
【図３ａ】
2004518161.tif 000006
【図３ｂ】
2004518161.tif 000007
【図４ａ】
2004518161.tif 000008
【図４ｂ】
2004518161.tif 000009
【国際公開パンフレット】
2004518161.tif 000010
2004518161.tif 000011
2004518161.tif 000012
2004518161.tif 000013
2004518161.tif 000014
2004518161.tif 000015
2004518161.tif 000016
2004518161.tif 000017
2004518161.tif 000018
2004518161.tif 000019
2004518161.tif 000020
2004518161.tif 000021
2004518161.tif 000022
2004518161.tif 000023
2004518161.tif 000024
【国際公開パンフレット（コレクトバージョン）】
2004518161.tif 000025
【国際調査報告】
2004518161.tif 000026
2004518161.tif 000027