(57)【要約】【課題】映像文法に基くショットの型をユーザの身に付けさせると共に、ビデオカメラの撮影時に、ユーザのカメラワークに対して、リアルタイムに注意を喚起する。【解決手段】ビデオカメラを用いてユーザが撮影を行うときに、映像文法に基くショットの型をユーザに提示するためのナビゲーション画面９が出力されるので、ユーザが映像文法に基くショットの型を身に付け易くなる。また、動画像を撮影した際のカメラワークがリアルタイムに解析されるので、この解析結果を用いることにより、ユーザのカメラワークに対して、リアルタイムに注意を喚起することができる。【選択図】図３
2007325065.tif 000002
【特許請求の範囲】
【請求項１】
ユーザのビデオカメラによる撮影をナビゲートするためにプロセッサを、
前記ビデオカメラから入力された動画像を構成する各フレーム画像間における水平方向及び垂直方向の濃淡値の投影量を比較することにより、前記動画像を撮影した際のカメラワークをリアルタイムに解析するカメラワーク解析手段、及び
前記ビデオカメラを用いてユーザが撮影を行うときに、ユーザがその意図を視聴者に正確に伝えるのに必要とされる普遍的な規則である映像文法に基くショットの型をユーザに提示するためのナビゲーション用の映像を含む映像を出力する出力手段
として機能させるための撮影ナビゲーションプログラム。
【請求項２】
前記カメラワーク解析手段は、投影法とテンソル・ヒストグラムとを用いて、パン動作とズーム動作とを含むカメラワークを解析することを特徴とする請求項１に記載の撮影ナビゲーションプログラム。
【請求項３】
前記カメラワーク解析手段は、投影法により推定された水平方向及び垂直方向のズーム動作量の片方のみが０である場合や、投影法により推定された水平方向のズーム動作量と垂直方向のズーム動作量の符号が一致しない場合に、テンソル・ヒストグラムを用いて推定したズーム動作量を利用してカメラワークを解析することを特徴とする請求項２に記載の撮影ナビゲーションプログラム。
【請求項４】
前記プロセッサを、さらに、前記カメラワーク解析手段による解析により得られた、その時点の動画像に基くカメラワークの種類と、前記ナビゲーション用の映像において提示されるカメラワークの種類とが異なるか否かを判定する相違判定手段として機能させ、
前記相違判定手段によりカメラワークの種類が異なると判定されたときに、前記出力手段が、前記相違判定手段によりカメラワークの種類が異なると判定された時間的な区間を明示するための映像をリアルタイムに出力することを特徴とする請求項１乃至３のいずれか一項に記載の撮影ナビゲーションプログラム。
【請求項５】
前記プロセッサを、さらに、前記カメラワーク解析手段による解析結果として得られたカメラワークについて、注意を喚起するための警告が必要か否かを判定する警告判定手段として機能させ、
前記出力手段は、前記ビデオカメラを用いたユーザによる撮影中に、前記警告判定手段により警告が必要であると判定されたときに、該当のカメラワークについての警告をユーザに提示するための警告用の映像をリアルタイムに出力することを特徴とする請求項１乃至４のいずれか一項に記載の撮影ナビゲーションプログラム。
【請求項６】
前記警告判定手段は、前記カメラワーク解析手段による解析結果として得られたカメラワークについて、少なくとも、手ぶれに相当する部分が存在する場合、パン動作時におけるビデオカメラの回転操作の速度が速すぎる場合、ズーム動作時におけるズームの速度が速すぎる場合、パン動作時におけるビデオカメラの回転操作の速度のばらつき、又はズーム動作時におけるズームの速度のばらつきが所定の閾値の範囲外である場合（以下、「パン動作時又はズーム動作時において速度のゆらぎがある場合」という）、パン動作時におけるビデオカメラの回転操作の加速度、又はズーム動作時におけるズームの加速度の大きさが所定の閾値を超えた場合（以下、「急激な速度変化がある場合」という）、パン動作時におけるビデオカメラの回転方向が急激に変化した場合（鋭角な動きがあった場合）、及びパン動作時におけるビデオカメラの回転方向にゆらぎがある場合（蛇行があった場合）に、これらのカメラワークについて、注意を喚起するための警告が必要であると判定することを特徴とする請求項５に記載の撮影ナビゲーションプログラム。
【請求項７】
コンピュータと、ビデオカメラと、ＨＭＤ（Head Mount Display）とを含み、ユーザのビデオカメラによる撮影をナビゲートする撮影ナビゲーションシステムにおいて、
前記コンピュータと前記ビデオカメラと前記ＨＭＤとは、通信可能であり、
前記コンピュータは、
前記ビデオカメラから入力された動画像を構成する各フレーム画像間における水平方向及び垂直方向の濃淡値の投影量を比較することにより、前記動画像を撮影した際のカメラワークをリアルタイムに解析するカメラワーク解析手段と
前記ビデオカメラを用いてユーザが撮影を行うときに、ユーザがその意図を視聴者に正確に伝えるのに必要とされる普遍的な規則である映像文法に基くショットの型をユーザに提示するためのナビゲーション用の映像を含む映像を出力する出力手段とを備え、
前記ＨＭＤは、前記コンピュータの出力手段から出力された、前記ナビゲーション用の映像を含む映像を表示するための表示手段を備えることを特徴とする撮影ナビゲーションシステム。
【請求項８】
前記コンピュータのカメラワーク解析手段は、投影法とテンソル・ヒストグラムとを用いて、パン動作とズーム動作とを含むカメラワークを解析することを特徴とする請求項７に記載の撮影ナビゲーションシステム。
【請求項９】
前記コンピュータのカメラワーク解析手段は、投影法により推定された水平方向及び垂直方向のズーム動作量の片方のみが０である場合や、投影法により推定された水平方向のズーム動作量と垂直方向のズーム動作量の符号が一致しない場合に、テンソル・ヒストグラムを用いて推定したズーム動作量を利用してカメラワークを解析することを特徴とする請求項８に記載の撮影ナビゲーションシステム。
【請求項１０】
前記コンピュータは、
前記カメラワーク解析手段による解析により得られた、その時点の動画像に基くカメラワークの種類と、前記ナビゲーション用の映像において提示されるカメラワークの種類とが異なるか否かを判定する相違判定手段をさらに備え、
前記相違判定手段によりカメラワークの種類が異なると判定されたときに、前記出力手段が、前記相違判定手段によりカメラワークの種類が異なると判定された時間的な区間を明示するための映像をリアルタイムに出力することを特徴とする請求項７乃至９のいずれか一項に記載の撮影ナビゲーションシステム。
【請求項１１】
前記コンピュータは、
前記カメラワーク解析手段による解析結果として得られたカメラワークについて、注意を喚起するための警告が必要か否かを判定する警告判定手段をさらに備え、
前記出力手段は、前記ビデオカメラを用いたユーザによる撮影中に、前記警告判定手段により警告が必要であると判定されたときに、該当のカメラワークについての警告をユーザに提示するための警告用の映像をリアルタイムに出力することを特徴とする請求項７乃至１０のいずれか一項に記載の撮影ナビゲーションシステム。
【請求項１２】
前記コンピュータの警告判定手段は、前記カメラワーク解析手段による解析結果として得られたカメラワークについて、少なくとも、手ぶれに相当する部分が存在する場合、パン動作時におけるビデオカメラの回転操作の速度が速すぎる場合、ズーム動作時におけるズームの速度が速すぎる場合、パン動作時におけるビデオカメラの回転操作の速度のばらつき、又はズーム動作時におけるズームの速度のばらつきが所定の閾値の範囲外である場合（以下、「パン動作時又はズーム動作時において速度のゆらぎがある場合」という）、パン動作時におけるビデオカメラの回転操作の加速度、又はズーム動作時におけるズームの加速度の大きさが所定の閾値を超えた場合（以下、「急激な速度変化がある場合」という）、パン動作時におけるビデオカメラの回転方向が急激に変化した場合（鋭角な動きがあった場合）、及びパン動作時におけるビデオカメラの回転方向にゆらぎがある場合（蛇行があった場合）に、これらのカメラワークについて、注意を喚起するための警告が必要であると判定することを特徴とする請求項１１に記載の撮影ナビゲーションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザのビデオカメラによる撮影をナビゲートするための撮影ナビゲーションプログラム及び撮影ナビゲーションシステムに関する。
【背景技術】
【０００２】
近年、安価のディジタルビデオカメラが広く普及して、一般ユーザが、気軽に動画像を撮影することができるようになった。また、ディジタル化によって動画像をノンリニアに取り扱うことが可能になり、さまざまな動画像編集ソフトも販売されている。しかしながら、一般ユーザが編集作業を行うのは稀で、各家庭で大量の動画像が未編集のまま残されているのが現状である。これには２つの原因が考えられる。
【０００３】
まず、１つ目の原因は、動画像編集の知識がないことである。動画像編集作業では、まず撮影で失敗したショットを除外し、次に、複数のショットの中から、前後のショットとの関係を考慮した上で１つのショットを選択する。そして、そのショットを、情報量を失わず、かつ冗長性のない適切な長さに切り取って、ショットの接続を行う。これらのショットの選択、及びショットの長さの決定の仕方は無限に存在するが、制作者側の意図することを視聴者に正確に伝えることを目的として編集した場合、ある普遍的な規則が存在する。これを映像文法と呼ぶ。しかしながら、一般ユーザは、この映像文法を学習する機会がなく、編集に際してどのショットを使用したらいいのか、またどのショットを何秒ほど用いればいいのかが分からないため、動画像編集は困難なものとなっている。
【０００４】
そして、２つ目の原因は、撮影された動画像中に編集に適した動画像が少ないことである。本来、動画像は、前述した映像文法を考慮して撮影されるべきであるが、一般ユーザが編集を意識して撮影するのは非常に困難である。そのため、撮影した動画像を編集する段階になって、撮影した動画像中に編集に適したショットがないことに気がつくことになる。
【０００５】
これに対して、本出願人は、撮影した動画像中に編集に適した（映像文法に基く）ショットを増やすことを目的として、下記の特許文献１に示される発明を提案したが、この特許文献１に記載された発明では、映像文法に基くショットの型をユーザの身に付けさせることができなかった。
【特許文献１】特開２００５−３４８３２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記の問題を解決するためになされたものであり、映像文法に基くショットの型をユーザの身に付けさせると共に、ビデオカメラの撮影時に、ユーザのカメラワークに対して、リアルタイムに注意を喚起することが可能な撮影ナビゲーションプログラム及び撮影ナビゲーションシステムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために請求項１の発明は、ユーザのビデオカメラによる撮影をナビゲートするためにプロセッサを、前記ビデオカメラから入力された動画像を構成する各フレーム画像間における水平方向及び垂直方向の濃淡値の投影量を比較することにより、前記動画像を撮影した際のカメラワークをリアルタイムに解析するカメラワーク解析手段、及び前記ビデオカメラを用いてユーザが撮影を行うときに、ユーザがその意図を視聴者に正確に伝えるのに必要とされる普遍的な規則である映像文法に基くショットの型をユーザに提示するためのナビゲーション用の映像を含む映像を出力する出力手段として機能させるための撮影ナビゲーションプログラムである。
【０００８】
請求項２の発明は、請求項１に記載の撮影ナビゲーションプログラムにおいて、前記カメラワーク解析手段は、投影法とテンソル・ヒストグラムとを用いて、パン動作とズーム動作とを含むカメラワークを解析するものである。
【０００９】
請求項３の発明は、請求項２に記載の撮影ナビゲーションプログラムにおいて、前記カメラワーク解析手段は、投影法により推定された水平方向及び垂直方向のズーム動作量の片方のみが０である場合や、投影法により推定された水平方向のズーム動作量と垂直方向のズーム動作量の符号が一致しない場合に、テンソル・ヒストグラムを用いて推定したズーム動作量を利用してカメラワークを解析するものである。
【００１０】
請求項４の発明は、請求項１乃至３のいずれか一項に記載の撮影ナビゲーションプログラムにおいて、前記プロセッサを、さらに、前記カメラワーク解析手段による解析により得られた、その時点の動画像に基くカメラワークの種類と、前記ナビゲーション用の映像において提示されるカメラワークの種類とが異なるか否かを判定する相違判定手段として機能させ、前記相違判定手段によりカメラワークの種類が異なると判定されたときに、前記出力手段が、前記相違判定手段によりカメラワークの種類が異なると判定された時間的な区間を明示するための映像をリアルタイムに出力するものである。
【００１１】
請求項５の発明は、請求項１乃至４のいずれか一項に記載の撮影ナビゲーションプログラムにおいて、前記プロセッサを、さらに、前記カメラワーク解析手段による解析結果として得られたカメラワークについて、注意を喚起するための警告が必要か否かを判定する警告判定手段として機能させ、前記出力手段は、前記ビデオカメラを用いたユーザによる撮影中に、前記警告判定手段により警告が必要であると判定されたときに、該当のカメラワークについての警告をユーザに提示するための警告用の映像をリアルタイムに出力するものである。
【００１２】
請求項６の発明は、請求項５に記載の撮影ナビゲーションプログラムにおいて、前記警告判定手段は、前記カメラワーク解析手段による解析結果として得られたカメラワークについて、少なくとも、手ぶれに相当する部分が存在する場合、パン動作時におけるビデオカメラの回転操作の速度が速すぎる場合、ズーム動作時におけるズームの速度が速すぎる場合、パン動作時におけるビデオカメラの回転操作の速度のばらつき、又はズーム動作時におけるズームの速度のばらつきが所定の閾値の範囲外である場合（以下、「パン動作時又はズーム動作時において速度のゆらぎがある場合」という）、パン動作時におけるビデオカメラの回転操作の加速度、又はズーム動作時におけるズームの加速度の大きさが所定の閾値を超えた場合（以下、「急激な速度変化がある場合」という）、パン動作時におけるビデオカメラの回転方向が急激に変化した場合（鋭角な動きがあった場合）、及びパン動作時におけるビデオカメラの回転方向にゆらぎがある場合（蛇行があった場合）に、これらのカメラワークについて、注意を喚起するための警告が必要であると判定するものである。
【００１３】
請求項７の発明は、コンピュータと、ビデオカメラと、ＨＭＤ（Head Mount Display）とを含み、ユーザのビデオカメラによる撮影をナビゲートする撮影ナビゲーションシステムにおいて、前記コンピュータと前記ビデオカメラと前記ＨＭＤとは、通信可能であり、前記コンピュータは、前記ビデオカメラから入力された動画像を構成する各フレーム画像間における水平方向及び垂直方向の濃淡値の投影量を比較することにより、前記動画像を撮影した際のカメラワークをリアルタイムに解析するカメラワーク解析手段と前記ビデオカメラを用いてユーザが撮影を行うときに、ユーザがその意図を視聴者に正確に伝えるのに必要とされる普遍的な規則である映像文法に基くショットの型をユーザに提示するためのナビゲーション用の映像を含む映像を出力する出力手段とを備え、前記ＨＭＤは、前記コンピュータの出力手段から出力された、前記ナビゲーション用の映像を含む映像を表示するための表示手段を備えるものである。
【００１４】
請求項８の発明は、請求項７に記載の撮影ナビゲーションシステムにおいて、前記コンピュータのカメラワーク解析手段は、投影法とテンソル・ヒストグラムとを用いて、パン動作とズーム動作とを含むカメラワークを解析するものである。
【００１５】
請求項９の発明は、請求項８に記載の撮影ナビゲーションシステムにおいて、前記コンピュータのカメラワーク解析手段は、投影法により推定された水平方向及び垂直方向のズーム動作量の片方のみが０である場合や、投影法により推定された水平方向のズーム動作量と垂直方向のズーム動作量の符号が一致しない場合に、テンソル・ヒストグラムを用いて推定したズーム動作量を利用してカメラワークを解析するものである。
【００１６】
請求項１０の発明は、請求項７乃至９のいずれか一項に記載の撮影ナビゲーションシステムにおいて、前記コンピュータは、前記カメラワーク解析手段による解析により得られた、その時点の動画像に基くカメラワークの種類と、前記ナビゲーション用の映像において提示されるカメラワークの種類とが異なるか否かを判定する相違判定手段をさらに備え、前記相違判定手段によりカメラワークの種類が異なると判定されたときに、前記出力手段が、前記相違判定手段によりカメラワークの種類が異なると判定された時間的な区間を明示するための映像をリアルタイムに出力するものである。
【００１７】
請求項１１の発明は、請求項７乃至１０のいずれか一項に記載の撮影ナビゲーションシステムにおいて、前記コンピュータは、前記カメラワーク解析手段による解析結果として得られたカメラワークについて、注意を喚起するための警告が必要か否かを判定する警告判定手段をさらに備え、前記出力手段は、前記ビデオカメラを用いたユーザによる撮影中に、前記警告判定手段により警告が必要であると判定されたときに、該当のカメラワークについての警告をユーザに提示するための警告用の映像をリアルタイムに出力するものである。
【００１８】
請求項１２の発明は、請求項１１に記載の撮影ナビゲーションシステムにおいて、前記コンピュータの警告判定手段は、前記カメラワーク解析手段による解析結果として得られたカメラワークについて、少なくとも、手ぶれに相当する部分が存在する場合、パン動作時におけるビデオカメラの回転操作の速度が速すぎる場合、ズーム動作時におけるズームの速度が速すぎる場合、パン動作時におけるビデオカメラの回転操作の速度のばらつき、又はズーム動作時におけるズームの速度のばらつきが所定の閾値の範囲外である場合（以下、「パン動作時又はズーム動作時において速度のゆらぎがある場合」という）、パン動作時におけるビデオカメラの回転操作の加速度、又はズーム動作時におけるズームの加速度の大きさが所定の閾値を超えた場合（以下、「急激な速度変化がある場合」という）、パン動作時におけるビデオカメラの回転方向が急激に変化した場合（鋭角な動きがあった場合）、及びパン動作時におけるビデオカメラの回転方向にゆらぎがある場合（蛇行がある場合）に、これらのカメラワークについて、注意を喚起するための警告が必要であると判定するものである。
【発明の効果】
【００１９】
請求項１及び７の発明によれば、ビデオカメラを用いてユーザが撮影を行うときに、映像文法に基くショットの型をユーザに提示するためのナビゲーション用の映像が出力されるので、ユーザが映像文法に基くショットの型を身に付け易くなる。また、動画像を撮影した際のカメラワークがリアルタイムに解析されるので、この解析結果を用いることにより、ユーザのカメラワークに対して、リアルタイムに注意を喚起することができる。
【００２０】
請求項２及び８の発明によれば、投影法とテンソル・ヒストグラムとを用いて、パン動作とズーム動作とを含むカメラワークを解析するようにしたことにより、従来の投影法のみを用いた解析方法と比べて、ユーザのカメラワークを正確に解析することができる。
【００２１】
請求項３及び９の発明によれば、投影法により推定された水平方向及び垂直方向のズーム動作量の片方のみが０である場合や、投影法により推定された水平方向のズーム動作量と垂直方向のズーム動作量の符号が一致しない場合に、テンソル・ヒストグラムを用いて推定したズーム動作量を利用してカメラワークを解析するようにしたことにより、パンとズームの識別能力を高めると共に、ズーム動作に対する解析を正確に行うことができる。
【００２２】
請求項４及び１０の発明によれば、その時点で撮影された動画像を解析して得られたカメラワークの種類と、ナビゲーション用の映像において提示されるカメラワークの種類とが異なるときに、カメラワークの種類が異なると判定された時間的な区間を明示するための映像が、リアルタイムに出力される。これにより、ビデオカメラの撮影時に、ユーザのカメラワークに対して、リアルタイムに注意を喚起することができる。
【００２３】
請求項５及び１１の発明によれば、ビデオカメラを用いたユーザによる撮影中に、警告が必要であると判定されたときに、該当のカメラワークについての警告をユーザに提示するための警告用の映像がリアルタイムに出力される。これにより、ユーザのカメラワークに対して、リアルタイムに注意を喚起することができる。
【００２４】
請求項６及び１２の発明によれば、ユーザによる撮影中に、カメラワークについて、手ぶれに相当する部分が存在する場合、パン動作時におけるビデオカメラの回転操作の速度が速すぎる場合、ズーム動作時におけるズームの速度が速すぎる場合、パン動作時又はズーム動作時において速度のゆらぎがある場合、パン動作時又はズーム動作時において急激な速度変化がある場合、パン動作時において鋭角な動きがあった場合、及びパン動作時において蛇行があった場合に、該当のカメラワークについての警告をユーザに提示するための警告用の映像がリアルタイムに出力される。
【発明を実施するための最良の形態】
【００２５】
本発明を実施するための最良の形態について図面を参照して説明する。本発明は、ユーザのビデオカメラによる撮影をナビゲートするための撮影ナビゲーションプログラム及び撮影ナビゲーションシステムに関するものである。本実施形態では、本発明による撮影ナビゲーションプログラムをパソコン内に格納した場合の例について説明する。なお、以下に記載した実施形態は、本発明を網羅するものではなく、本発明は、下記の形態だけに限定されない。
【００２６】
図１は、本実施形態による撮影ナビゲーションシステム１の構成を示す。この撮影ナビゲーションシステム１は、撮影に用いられるビデオカメラ２と、このビデオカメラ２から入力された動画像が入力されるパソコン３と、このパソコン３から出力される映像を表示するためのＨＭＤ１０（Head Mount Display）とから構成されている。ビデオカメラ２とパソコン３とは、ＩＥＥＥ１３９４シリアルバスケーブル（以下、バスケーブルという）５で接続されており、このバスケーブル５を介して相互にデータの送受信を行うことが可能である。また、パソコン３とＨＭＤ１０とは、ビデオ信号ケーブル６で接続されており、このビデオ信号ケーブル６を介してパソコン３からＨＭＤ１０へＲＧＢのアナログ信号が送信される。
【００２７】
パソコン３は、装置全体の制御を行うＣＰＵ３０と、バスケーブル５を介してビデオカメラ２との間で各種のデータを入出力するためのＩＥＥＥ１３９４ディジタル・インタフェース３１（以下、ディジタルＩＦという）と、バスケーブル５とディジタルＩＦ３１とを介してビデオカメラ２との間で動画像の入出力を行うための画像入出力ボード３２と、各種のプログラムやデータがローディングされるメモリ３３と、各種のプログラムやデータを記憶したハードディスク３４と、各種の指示を入力するためのマウス、キーボード等からなる操作部３５と、ディスプレイ３６とを備えている。パソコン３のＣＰＵ３０は、ビデオカメラ２を用いてユーザが撮影を行うときに、ビデオカメラ２から取り込んだ動画像に基づいて、ユーザがその意図を視聴者に正確に伝えるのに必要とされる普遍的な規則である映像文法に基くショットの型をユーザに提示するためのナビゲーション用の映像をビデオ信号ケーブル６を介してＨＭＤ１０に出力する。ＣＰＵ３０は、請求項におけるカメラワーク解析手段、相違判定手段、及び警告判定手段として機能する。また、ＣＰＵ３０と画像入出力ボード３２とが請求項における出力手段に相当する。
【００２８】
上記のハードディスク３４には、ビデオカメラ２からディジタルビデオ信号の形式の動画像の取り込みと再生を行うためのディジタル動画取込再生プログラム（ディジタル動画取込再生ＰＧ）３７と、ユーザが動画像を撮影した際のカメラワークの解析、及びこの解析結果の映像やナビゲーション用の映像を含む映像の生成・出力を行うためのカメラワーク解析表示プログラム（カメラワーク解析表示ＰＧ：請求項における撮影ナビゲーションプログラム）３８等のプログラムや、これらのプログラムで使用される参照データ等が格納されている。
【００２９】
パソコン３のＣＰＵ３０は、上記のカメラワーク解析表示ＰＧ３８により生成された映像のビデオ信号を、Ｄ／Ａコンバータ３９でアナログ信号の形式にコンバートした後、ＲＧＢポート４０とビデオ信号ケーブル６とを介してＨＭＤ１０に出力する。
【００３０】
上記のＨＭＤ１０は、図２に示されるように、パソコン３から送信されたビデオ信号を取り込むためのビデオ信号入力部１１と、ビデオ信号入力部１１により取り込んだビデオ信号を処理するためのビデオ信号処理部１２と、ビデオ信号処理部１２による処理後のビデオ信号を出力表示するための液晶表示部１３（表示手段）と、ビデオ信号処理部１２に対して各種の指示入力を行うための操作部１４とを有している。
【００３１】
図３は、ＨＭＤ１０の液晶表示部１３上に表示されるナビゲーション画面９を示す。このナビゲーション画面９は、学習者がビデオカメラ２のファインダーの代わりに見るＧＵＩ（Graphic User Interface）である。ナビゲーション画面９は、上部中央に設けられたメイン・ウィンドウ４１と、上部左側に設けられたアラート・ウィンドウ４２と、上部右側に設けられたバリュー・ウィンドウ４３と、下部に設けられたナビゲーション・ウィンドウ４４とを有している。メイン・ウィンドウ４１は、その時点でビデオカメラ２が撮影している映像を表示し、アラート・ウィンドウ４２は、その時点で撮像された映像についてのカメラワークの六つの不要な動きを警告するための映像を表示する。バリュー・ウィンドウ４３は、その時点で撮像された映像についてのカメラワーク解析値について時間経緯を表示する。ナビゲーション・ウィンドウ４４は、映像文法に基くショットの型をユーザに提示すると共に、撮影された映像中における問題となる区間（部分）を表示する。ナビゲーション画面９は、640x480（ピクセル）のサイズで実現されており、学習者がＨＭＤ１０により見るのは、この映像のみである。
【００３２】
次に、図３中のアラート・ウィンドウ４２について説明する。このアラート・ウィンドウ４２における警告は、撮影中にリアルタイムに行われる。アラート・ウィンドウ４２中における６つの小ウィンドウ４２ａ〜４２ｆは、図中の上の方から、それぞれ（１）手ぶれ、（２）早すぎる動き、（３）速度のゆらぎ、（４）急激な加速、（５）急峻な方向転換、（６）蛇行(方向のゆらぎ)に対応しており、これらの６つの状態のうち、いずれかが発生した場合、各小ウィンドウ４２ａ〜４２ｆの背景が白く反転する。また，各小ウィンドウ４２ａ〜４２ｆの右側に位置する黄色で満たされた各四角形４５は、それぞれの問題（各小ウィンドウ４２ａ〜４２ｆに表示される警告）が発生するたびに高さが低くなり、黄色の部分が減っていく。この提示法により、各学習者は、撮影で何が問題になっているかについて、その傾向と使用不能な区間を知ることができる。
【００３３】
図４は、ショットの型をユーザに提示するためのナビゲーション・ウィンドウ４４をナビゲーション画面９上に表示せず、上記のアラート・ウィンドウ４２に類似した画面を用いてカメラワークの問題点のみを警告するようにした試作システムを用いた場合に、グループ（１）の学習者（被験者Ａ，Ｂ，Ｃ，Ｄ）が撮影の度(横軸１、２、３）に、２．５秒以上のＦＩＸショット４６と２．５秒に満たないＳｈｏｒｔ  ＦＩＸショット４７を撮影した頻度を示したものである。また、図５は、試作システムを使用しなかったグループ（２）の学習者（被験者Ｅ，Ｆ，Ｇ，Ｈ）が撮影の度(横軸１、２、３）に、２．５秒以上のＦＩＸショット４６と２．５秒に満たないＳｈｏｒｔ  ＦＩＸショット４７を撮影した頻度を示したものである。図４から分かるように、試作システムを用いる度にＦＩＸショット４６を撮影する頻度が上昇する被験者（例えば被験者Ａ）も存在するが、そうでない被験者も多い。
【００３４】
この実験に参加した被験者により撮影された映像は、映像内のＦＩＸ区間数が最大のものでも全体の１割にも満たず、そのほとんどが無作為なカメラワークであり、初心者がカメラワークの意味を考えず、乱用する傾向にあることが分かった。このように、教科書などを用いた事前学習や事前の説明を前提とせず、上記のアラート・ウィンドウ４２に類似した画面を用いて、撮影した映像のカメラワークの問題点を指摘するだけでは、撮影の学習者にＦＩＸショットという概念が定着しないことが分かった。そこで、本撮影ナビゲーションシステム１では、訓練指向の撮影ナビゲーション法を採用する。訓練指向とは、ある型に沿って繰り返し実習することで、意味を考える前に、まず型を覚えさせてしまうという学習法の立場を示している。本撮影ナビゲーションシステム１では、この訓練指向の撮影ナビゲーション法を実現するために、ショットの型をユーザに提示するためのナビゲーション・ウィンドウ４４をナビゲーション画面９上に表示する。
【００３５】
図６は、ナビゲーション・ウィンドウ４４の４つの状態（State A〜State D)の変遷を示している。ナビゲーション・ウィンドウ４４内のショット型欄５１には、訓練対象となるショットの型が示される。表示対象となるショットの型は、映像文法によって導き出された型としてのＦＩＸショット、及びカメラワークの前後にＦＩＸショットが含まれるショットである。また、ナビゲーション・ウィンドウ４４内のショット型欄５１には、図６に示される例では、ＰＡＮ＿ＬＥＦＴが表示されているが、両端にあるＦＩＸを含め、ＰＡＮ＿ＲＩＧＨＴ、ＰＡＮ＿ＵＰ、ＰＡＮ＿ＤＯＷＮ、ＺＯＯＭ＿ＩＮ、ＺＯＯＭ＿ＯＵＴの合計７種類のショットが表示され得る。カメラワークパターン欄５２には、ショット型欄５１内に表示されたショットの型を構成する各カメラワークが表示される。カメラワーク時間欄５３には、各ショットの型における各カメラワークの時間が秒単位で表示される。判定結果欄５４には、リアルタイムに各フレーム毎に判定されたカメラワークが随時表示される。
【００３６】
タイムカウンタ表示欄５５内には、ナビゲーション画面９を用いた撮影訓練開始までの時間が表示される。この撮影訓練開始までの時間は、信号表示欄５６に表示される赤・黄・緑の円形の信号と連動している。タイムカウンタ表示欄５５内に２０（秒）から１０（秒）が表示されているときには、State Aの状態となり、信号表示欄５６には赤色が表示される。タイムカウンタ表示欄５５内に１０（秒）から１（秒）が表示されているときには、State Bの状態となり、信号表示欄５６には黄色が表示される。そして、タイムカウンタ表示欄５５内に何も表示されない状態になると、State Cの状態となり、信号表示欄５６には緑色が表示されて、撮影訓練が開始される。
【００３７】
信号表示欄５６に緑色が表示された時点で、ショット型欄５１内の各カメラワークパターン欄５２は、カメラワークがＦＩＸの部分については、その背景が青色で塗りつぶされ、それ以外のカメラワークの部分については、その背景が黄色で塗りつぶされる。そして、時間が経過するにつれて、図中の現在位置インジケータ５７（青色及び黄色で塗りつぶされた部分のうちの左端の部分）が右方向に移動し、ショット型欄５１内の青色及び黄色で塗りつぶされた部分の面積が減っていく。学習者は、現在位置インジケータ５７の現在位置に対応するカメラワークを、ビデオカメラ２で実現する。図６に示される例では、学習者は、現在位置インジケータ５７に合わせて、ＦＩＸショットを１秒、左方向のＰＡＮショットを３秒、最後にＦＩＸショットを１秒行えばよい。もし，学習者が実現しているカメラワークの判定結果である判定結果欄５４内のカメラワークと、現在位置インジケータ５７に対応したカメラワークとが相違する場合、図に示されるように、ショット型欄５１内の相違する区間の上半分に赤紫色の相違区間表示５８が表示される。また、学習者のカメラワークに関してアラート・ウィンドウ４２内に何らかの警告があったときには、ショット型欄５１内の警告に対応した区間の下半分に赤色の警告区間表示５９が表示される。
【００３８】
上記のように、学習者は、現在位置インジケータ５７が提示されたショットの右端へ到達したState Dの状態になったときに、相違区間表示５８や警告区間表示５９が残らないよう、ゲーム感覚で繰り返し撮影を行うことにより撮影訓練を行う。図７は、ナビゲーション・ウィンドウ４４の状態と撮影訓練の流れを示す。
【００３９】
また、図３に示されるバリュー・ウィンドウ４３には、カメラワーク解析値がリアルタイムで表示されていくが、これは解析の様子を目視できるようにする程度の意味しかない。しかし、このバリュー・ウィンドウ４３に表示されるカメラワーク解析値は、誤認識も含んでいるとはいえ、カメラワークの動作量の変遷を表すので、学習者は、このカメラワーク解析値を見て、自分のカメラワークの動作や速度になめらかさや一定性があるか否かを確認することができる。
【００４０】
また、メイン・ウィンドウ４１には、上記のカメラワーク解析値（カメラワーク解析結果）を利用して、ＰＡＮの方向と速度とが矢印の向きと大きさで示される。メイン・ウィンドウ４１上の矢印は、図８に示されるように、ＺＯＯＭ＿ＩＮの場合は、内向きで、速度量に比例して大きくなる（長くなる）矢印として表され、ＺＯＯＭ＿ＯＵＴの場合は、外向きで、速度量に比例して大きくなる（長くなる）矢印として表される。従って、システムが現在どのような解析を行っているかについて、学習者が矢印の向きと大きさで確認できるようになっている。例えば、図３に示されるメイン・ウィンドウ４１には、ＰＡＮの方向と速度を表す矢印が表示されている。
【００４１】
ナビゲーション・ウィンドウ４４内の判定結果欄５４に各フレーム毎に判定されたカメラワーク（ＦＩＸ、ＰＡＮ＿ＬＥＦＴ、ＰＡＮ＿ＲＩＧＨＴ、ＰＡＮ＿ＵＰ、ＰＡＮ＿ＤＯＷＮ、ＺＯＯＭ＿ＩＮ、ＺＯＯＭ＿ＯＵＴの合計７種類のカメラワーク）を表示したり、アラート・ウィンドウ４２内に、（１）手ぶれ、（２）早すぎる動き、（３）速度のゆらぎ、（４）急激な加速、（５）急峻な方向転換、（６）蛇行(方向のゆらぎ)に対応した小ウィンドウ４２ａ〜４２ｆを表示するためには、動的で連続的な精度の良いカメラワーク動作量を得る手法が必要となる。本出願人は、上記特許文献１に示される出願において、動的で連続的なカメラワーク動作量を精度良く推定する方法として、濃淡値の投影量を平行移動、もしくは拡大縮小することでＰＡＮやＺＯＯＭの動作量の推定値を得る投影法という方法を採用した。しかし、この方法のみでは、カメラワーク動作量に関して比較的精度の良い推定値が得られるものの、ＰＡＮやＺＯＯＭの動作量の推定値は独立して計算されるため、ＰＡＮ動作とＺＯＯＭ動作を判別するには工夫が必要である。特に、ＰＡＮの動作量の推定値はＺＯＯＭ動作に伴って増加するおそれがあり、ＺＯＯＭの動作量の推定値はＰＡＮ動作に伴って増加するおそれがあるため、本来のカメラワーク（ＰＡＮ動作又はＺＯＯＭ動作）に伴って増加する、他のカメラワーク（ＺＯＯＭ動作又はＰＡＮ動作）の動作量の推定値を抑える手法が必要となる。本撮影ナビゲーションシステム１は、投影法を用いて推定されたカメラワーク動作量と構造テンソルを用いたカメラワーク推定法とを併用することで、上記の課題を解決する。
【００４２】
まず、投影法を用いたＰＡＮやＺＯＯＭの動作量の推定方法について説明する。以下の説明で述べる投影法を用いたＰＡＮやＺＯＯＭの動作量の推定方法は、原則として、本出願人が上記特許文献１に記載した「パン量やズーム量の推定処理方法」と同様である。ただし、上記特許文献１に記載した「パン量やズーム量の推定処理方法」では、動画像を構成する各フレーム画像間における水平方向及び垂直方向の「輝度投影量」を比較することにより、動画像を撮影した際のカメラワークを解析したが、本実施形態による撮影ナビゲーションシステム１は、動画像を構成する各フレーム画像間における水平方向及び垂直方向の「濃淡値の投影量」を比較することにより、動画像を撮影した際のカメラワークをリアルタイムに解析する点が相違する。もっとも、この相違点は、微差にすぎず、本撮影ナビゲーションシステム１において、動画像を構成する各フレーム画像間における水平方向及び垂直方向の「輝度投影量」を比較することにより、動画像を撮影した際のカメラワークをリアルタイムに解析するようにしてもよい。
【００４３】
上述したように、本実施形態では、動画像を構成する各フレーム画像間における水平方向及び垂直方向の「濃淡値の投影量」を比較することにより、動画像を撮影した際のカメラワークをリアルタイムに解析する。具体的には、我々は、濃淡値の投影量を平行移動、もしくは拡大縮小することで、ＰＡＮやＺＯＯＭの動作量の推定値を得る投影法を採用している。しかし、この投影法では、ＰＡＮやＺＯＯＭの動作量に関して比較的精度の良い推定値が得られるものの、ＰＡＮとＺＯＯＭの動作量は、独立して計算され、これらの動作量に基いてＰＡＮやＺＯＯＭが判別されるため、ＰＡＮとＺＯＯＭとを判別するには工夫が必要である。特に、ＺＯＯＭ動作があった場合には、ＰＡＮ動作量も発生し、ＰＡＮ動作があった場合には、ＺＯＯＭ動作量も発生する傾向があるため、ＺＯＯＭ動作に伴うＰＡＮ動作量の発生や、ＰＡＮ動作に伴うＺＯＯＭ動作量の発生を抑える手法が必要となる。本実施形態では、投影法を用いて推定されたカメラワーク動作量と、構造テンソルによる（テンソル・ヒストグラムを用いた）カメラワーク推定法とを併用することで、この問題を解決する。
【００４４】
次に、本実施形態における投影法を用いたカメラワーク動作量の推定方法について述べる。まず、ＰＡＮ動作の推定方法について述べる。
【００４５】
ビデオカメラ２から入力された動画像を構成するフレーム画像ｆの横軸（水平方向）の投影量ＰＨ（ｆ、ｉ）と縦軸（垂直方向）の投影量Ｐｖ（ｆ、ｊ）は、下記の式（１）、（２）で求められる。ただし、Ｇｒａｙ（ｆ，ｉ，ｊ）は、縦ｈ、横ｗのフレームｆ上の位置ｉ，ｊでの濃淡値である。
【数１】
2007325065.tif 000003
【００４６】
本撮影ナビゲーションシステム１では、リングバッファを用いて常に数秒程度の投影量が蓄積されている。左右方向（水平方向）、上下方向（垂直方向）のＰＡＮ動作量は，現在（位置）と過去の投影量を用い、式（３）、（４）を距離関数として、式（５）と式（６）によって求められる。
【数２】
2007325065.tif 000004
2007325065.tif 000005
【００４７】
ただし、Direct X（登録商標）等のディジタル動画取込再生ＰＧ３８を経由して得られる映像の各フレームは、フレームレートが一定であるとはかぎらないため、上記のＰＡＮ動作量の推定値を対応する時間間隔で除算し、式（７）により速度として計算する。
【数３】
2007325065.tif 000006
2007325065.tif 000007
【００４８】
ＺＯＯＭ動作量の推定値については、δｚｈ、δｚｕを変化させることにより式（９）（１０）によって得られる、拡大・縮小された投影量を用いて計算される。ただし、本実施形態では、ＺＯＯＭの形式を最も基本的な画像の中心を軸としたＺＯＯＭに限定しており、ＰＡＮとＺＯＯＭが同時に起こるような場合は想定していない。式（９）（１０）は、その画像の中心を軸とする濃淡値の投影量の拡大縮小関数である。
【数４】
2007325065.tif 000008
【００４９】
ＺＯＯＭでは、縦横の動作量の推定値は基本的に同じ値になるはずである。本ナビゲーションシステム１では、縦横の動作量の推定値の符号が一致しない場合など、推定値に矛盾が起きている場合は無効とするよう、下記で説明する判定基準を用いるため、縦横両方のＺＯＯＭ動作量の推定値を計算する。
【数５】
2007325065.tif 000009
【００５０】
ＺＯＯＭ動作量の推定値についても、ＰＡＮ動作量の推定値と同様に時間変動を考慮して、速度で表現することが望ましいが、ＰＡＮ動作量の推定のときと同じ手法で得られたＺＯＯＭ動作量については、ＰＡＮ動作時に、大きなＺＯＯＭ動作量として湧き出し(誤推定量)が頻繁に発生するため、下記で説明する構造テンソルによるカメラワーク判定法と統合する中で、最終的に時間変動を反映したＺＯＯＭ動作量の推定値を決定する。また、ＰＡＮ動作量の推定においても、若干ながら、ＺＯＯＭが起こっている際に湧き出しが発生する。これらの誤推定量は、カメラワークの不必要な動きとして判定されてしまうことから、カメラワークの問題点を指摘する撮影ナビゲーションの立場では、致命的な問題となる。そこで、ＰＡＮ動作量についても、カメラワークの判定法の中で最終的な推定値を決定する。
【００５１】
次に、構造テンソルによる（テンソル・ヒストグラムを用いた）カメラワーク推定法について説明する。図９は、動画像を構成する各フレーム画像における水平方向（横軸）及び垂直方向（縦軸）の濃淡値の投影量を、時間方向であるフレーム番号の方向へ並べて作成した投影量・時間画像(Projection-temporal image)６１ａ，６１ｂとカメラワーク（ＦＩＸ，ＬＥＦＴ＿ＰＡＮ等）との対応関係を示すと共に、各投影量・時間画像６１ａ，６１ｂに対応したテンソルヒストグラム６２ａ，６２ｂを示す。投影量・時間画像６１ａ，６１ｂは、本出願人が先に提案した特開２００５−３４８３２８号公報の図５の説明（段落番号[００５２]等）で開示されている方法と同様な方法で求めた、水平方向と垂直方向の濃淡値を、各フレームの番号ｆの順に並べた画像である。また、各テンソルヒストグラム６２ａ，６２ｂは、その左側の投影量・時間画像６１ａ，６１ｂについてｘ軸方向の太線Ａ，Ｂに沿って計算されたものである。
【００５２】
図９において、対象となるカメラワークがＦＩＸの場合、横軸の投影量・時間画像６１ａと縦軸の投影量・時間画像６１ｂとは、共に垂直方向の縞模様となる。下記図１０の説明で述べるが、テンソルヒストグラムとは、構造テンソルによって推定された、上記の縞模様の方向(角度)の頻度分布であり、横軸は−π／２〜π／２、縦軸は頻度を示す。各テンソルヒストグラム６２ａ，６２ｂにおいて、横軸の角度は、縞模様の方向と図中のフレーム番号ｆの方向とが成す角度を示す。図９に示されるように、ＦＩＸの場合は、投影量・時間画像６１ａ，６１ｂにおける縞模様が垂直方向に揃っているため、テンソルヒストグラム６２ａ，６２ｂにおける角度の頻度分布は中央の０（度又はラジアン）に集中する。
【００５３】
また、ＰＡＮ＿ＬＥＦＴ等の横方向のＰＡＮでは、基本的に横軸の投影量・時間画像６１ａのみ、その縞模様が傾斜するような画像となる。この場合、対応するテンソルヒストグラム６２ａは縞模様の傾斜角度がほぼ同じことから、傾斜角度の値がある角度に集中することが分かる。また、逆に、ＰＡＮ＿ＵＰ等の縦方向のＰＡＮでは、縦軸の投影量・時間画像６１ｂのみ、その縞模様が傾斜するような画像となる。また、本発明で取り扱う中心を軸とするＺＯＯＭでは、縦軸、横軸いずれの投影量・時間画像６１ａ，６１ｂもｘ方向の中間位置６３ａ，６３ｂを中心に角度分布が広がり、ＺＯＯＭに対応するテンソルヒストグラム６２ａ，６２ｂでは、ＦＩＸやＰＡＮの時に出現する、尖度の高い傾斜角度の値のピークがなくなる。このようなテクスチャ解析を行うことによってＰＡＮ動作とＺＯＯＭ動作を識別できることから、まず構造テンソルによる窓領域の主方向推定法について説明する。なお、以下の説明において、投影量・時間画像６１とは、縦軸と横軸の投影量・時間画像６１ａ，６１ｂをまとめたものを意味する。
【００５４】
まず、投影量・時間画像６１をＨとして、画像Ｈ上のある点におけるｘ方向の偏微分
Ｈｘとｆ方向の偏微分Ｈｆを要素に持つベクトルｚ＝（Ｈｘ，Ｈｆ）Ｔを考え、ある窓領域のz を対象とした分散・共分散行列として得られる式(１３）のΓを構造テンソルとする。本実施形態では、窓サイズｗ（図１０参照）を５ｘ５（ピクセル）とした。
【数６】
2007325065.tif 000010
【００５５】
そして、このΓは、対称行列であるため、式（１４）のような主軸を（ｌ１，ｌ２）とする回転行列Ｒによって式（１５）のΛのように対角化が可能である。
【数７】
2007325065.tif 000011
【００５６】
上記式（１４）におけるθは、Γの窓ｗ における主方向の回転角を表しており、式（１５）から導出される式（１６）により、上記の主方向の回転角θを計算することができる。ここで、「主方向」とは、構造テンソルの計算対象となる領域（例えば、窓ｗ）内で、複数の方向が存在する場合に、最も影響のある方向のことをいう。また、式（１６）で求めたθについては、水平方向が０度になるため、垂直方向を０度とするため、下記の式（１７）により、上記のθを主方向の角度φに変換する。
【数８】
2007325065.tif 000012
【００５７】
ただし、本出願の発明者は、主方向の角度推定精度を高めるため、構造テンソルを計算する過程で、微分演算についても検討を行った。微分演算は、実装上、差分演算となる。画像処理では、比較的精度の高い数値微分演算子としてSobelフィルタが知られているが、このSobelフィルタについては、数値微分上の自己矛盾の含有が指摘されている。これに対して、本出願の発明者は、自己矛盾をSobelフィルタに比べて３分の１程度に減じることのできる数値偏微分演算子、ｈｘ(式（１８））、ｈｆ（式（１９））を用いて、上記のｘ方向の偏微分Ｈｘとｆ方向の偏微分Ｈｆを計算した。
【数９】
2007325065.tif 000013
【００５８】
次に、テンソル・ヒストグラムを用いたＺＯＯＭ動作量の推定法について説明する。テンソルヒストグラムＭ（φ，ｆ）は、図１０に示される投影量・時間画像６１上の部分領域ｗを投影量・時間画像６１のｘ軸方向へ１画素ずつシフトして得られる（濃度の縞模様の）主方向の角度φの頻度分布であり、下記の式（２０）で表される。
【数１０】
2007325065.tif 000014
【００５９】
式（２０）に用いられるｃは、式（２１）により導かれる重みであるが、λｘ＝０またはλｆ＝０のように、空間軸ｘ，時間軸ｆに対して主方向が一方向に定まっているときは、ｃ＝１となり、λｘ＝λｆのように、方向が空間軸にも時間軸にも同程度存在するときは、ｃ＝０となる確信度として利用でき、ｃ＝［0,1］となる。ただし、上記の式（２０）では、実質的にｃを頻度値として計算することになり、各主方向の角度φに対応するｃの総和が、あるフレームｆでのテンソルヒストグラムの頻度となる。
【数１１】
2007325065.tif 000015
【００６０】
本実施形態では、特にフレームｆの中心を軸とするＺＯＯＭ動作量を精度よく判定するために、図１０のように、投影量・時間画像６１を右側と左側に分離し、右領域の主方向をφＲ、左領域の主方向をφＬとして、それぞれの領域のテンソルヒストグラムを計算する。
【数１２】
2007325065.tif 000016
【００６１】
また、式（２２）、（２３）の括弧内の条件式の意味は、以下の通りである。式（２２）、（２３）の括弧内の条件式は、左領域の主方向φＬの平均値ｍｅａｎ（φＬ）、及び右領域の主方向φＲの平均値ｍｅａｎ（φＲ）を求める上で、φＬ、φＲの全ての値をそのまま使って平均値を求めるのではなく、外乱を省いたφＬ、φＲを計算に用いるということを意味する。すなわち、φＬ（又はφＲ）が正規分布に従うと仮定して、φＬ（又はφＲ）の平均値μと標準偏差δＬ（又はδＲ）とを求め、μ±３δＬ（又はμ±３δＲ）の範囲内に９８％のφＬ（又はφＲ）が含まれるという統計学上の概念を利用して、μ±３δＬ（又はμ±３δＲ）の範囲内に含まれないφＬ（又はφＲ）を外乱とみなして、計算対象に含まないことを意味する。
【００６２】
また、上記式（１１）（１２）によって（投影法により）得られた水平方向のＺＯＯＭ動作推定量と垂直方向のＺＯＯＭ動作推定量とは、フレームの中心を軸とするズームの場合、基本的に同程度の値となるはずである。つまり、水平方向のＺＯＯＭ動作推定量と垂直方向のＺＯＯＭ動作推定量のうちの片方が０である場合、又はこれらのＺＯＯＭ動作推定量の符合が一致しない場合は、矛盾するものとして、検出されたＺＯＯＭ動作推定量を無効とする。
【数１３】
2007325065.tif 000017
【００６３】
【数１４】
2007325065.tif 000018
【００６４】
図１１のフローチャートは、ナビゲーション・ウィンドウ４４で用いられる７種類(例外としての「その他」を含めれば８種類）の離散的なカメラワークの判定法と、アラート・ウィンドウ４２で用いられる６種類の警告内容を判定する処理を示す。まず、６種類の警告内容判定法を示す。
（１）手ぶれ(Hand Shake)
【数１５】
2007325065.tif 000019
【００６５】
【数１６】
2007325065.tif 000020
【００６６】
（２）速度超過（Too Fast Motion）
【数１７】
2007325065.tif 000021
【００６７】
（３）速度のゆらぎ（Speed Flunctuation）
ＰＡＮ動作，ＺＯＯＭ動作のいずれについても、動作がなめらか、もしくは一定の場合は、動作量の時間方向の差分絶対値平均からの差分絶対値和が小さい値を示す。
【数１８】
2007325065.tif 000022
【００６８】
（４）急激な速度変化（Rapid Speed）
急激な速度変化は、ＰＡＮ，ＺＯＯＭ動作量の推定値の加速度の大きさが、閾値θrsを超えた場合として、式（３９）により判定される。
【数１９】
2007325065.tif 000023
【００６９】
（５）鋭角な動き（Too Sharp Curve）
【数２０】
2007325065.tif 000024
【００７０】
（６）蛇行（Serpentine Motion）
【数２１】
2007325065.tif 000025
【００７１】
次に、本撮影ナビゲーションシステム１におけるカメラワーク判定方法について、図１１のフローチャートの右側の部分を参照して説明する。この判定方法により判定されたカメラワークは、上記図６中のナビゲーション・ウィンドウ４４の判定結果欄５４に表示されると共に、相違区間表示５８の表示の元になる判定処理に用いられる。
【００７２】
カメラワークの判定において、例えば撮影者の実現したＰＡＮが速すぎたり、急加速した場合でも、撮影者本人はＰＡＮを実現しようとしているため、これはＰＡＮと判定すべきである。そこで、図６中の相違区間表示５８においてカメラワークの動作が警告されるような動作であっても、７種類ある型通りのカメラワーク・インデックスとして判定する必要があるので、図１１のフローチャートにおいて、カメラワークの判定（図１１中のナビゲーション・ウィンドウの部分）と警告内容の判定（図１１中のアラート・ウィンドウの部分）とは、独立に処理を行った。
【００７３】
ＰＡＮよりＺＯＯＭが優先されている理由は、ゆっくりとしたＺＯＯＭ動作の最中に、孤立した（離散的で）小さなＰＡＮ動作量の湧き出しが発生することが多い。しかし、カメラワークの判定では、いずれかのカメラワークとして判定しなければならない。そこで、ＰＡＮよりもＺＯＯＭを優先することで、ＰＡＮ動作とＺＯＯＭ動作が同時に発生している場合、判定結果はＺＯＯＭとなるようにした。
【００７４】
下記の式（４７）（４８）（４９）に、投影法と構造テンソルによるテンソル・ヒストグラムを用いて計算されたカメラワーク動作量を用いてカメラワーク・インデックスを判定する条件を示す。式（４９）においては、ＰＡＮを４つの方向へ離散化（分類）しているが、調整値αを用いて、特に上下のＰＡＮとして判定される範囲を狭めている。これは、上下のＰＡＮを意識してカメラを動作させる場合は、比較的垂直にカメラを動かす傾向があるのに対し、左右のＰＡＮ動作については大きく斜め方向に動作させていても左右に動作させている感覚があるため、左右のＰＡＮ動作として判定される角度範囲を広げたためであり、α＝π／１８を用いている。
【数２２】
2007325065.tif 000026
【００７５】
ここで，カメラワークの判定精度を把握するために、図６中のナビゲーション・ウィンドウ４４において用いられる７種類のカメラワークについて、３回ずつそれぞれ６秒の時間長を与えた２１ショットを対象に、それぞれの正常な範囲のカメラワークを実現して判定実験を行った結果について説明する。図１２は、上記実験におけるカメラワークの判定精度を示す。図１２において、Ｃは正解を検出できた数、Ｄは正解を検出できなかった数（「未検出数」）、Ｅは正解でないものを過剰に検出した数（「過剰検出数」）、Recallは再現率＝Ｃ／（Ｃ＋Ｄ）、Precisionは適合率＝Ｃ／（Ｃ＋Ｅ）を示す。再現率は、検出対象を漏れなく検出できたかという完全性を表現し、適合率は、検出結果の中にどれだけ必要な対象が存在するかという正確性を表現する指標である。システムの性能を評価する場合、漏れがなく、必要な対象だけを抽出することが目的となるため、この再現率と適合率が共に高い値を示すことが求められる。図１２より、どのカメラワークについても比較的高い精度が得られていることが分かる。
【００７６】
また、それぞれの警告内容に対応する試験的な映像を作成し、それらの映像に対し警告判定を行った結果を図１３に示す。ただし、６つの警告内容は、それぞれ瞬時的に発生するものと、ある時間窓を通じて判定できるものとが混在している。そこで、警告内容の判定においては、フレーム単位ではなく、長すぎず短すぎない区間長を実験的に２０フレームと定め、区間単位で判定精度を計算した。
【００７７】
図１３に示されるように、この計算結果を見ると、湧き出しよりも（検出対象でないものを検出しないようにすることよりも）、未見出の少なさを優先した精度となっている。これは、撮影者が発生させた、警告が必要なカメラワークについての検出精度を優先したためである。
【００７８】
図１４に示される行列は、図１３中のＥ（過剰検出数)の内訳を示し、縦軸に示される各警告内容の過剰検出が、他のどの警告内容の場合に過剰検出されているかを示すものである。この行列中の各列の番号は、各行の番号と同じ内容を表し、１、２、３、４、５、６の各行及び各列は、それぞれ「手ぶれ」、「速度超過」、「速度のゆらぎ」、「急激な速度変化」、「鋭角な動き」、「蛇行」を示す。例えば、４行目の「急激な速度変化」は、２の列、つまり「速度超過」の状態で１０回過剰反応している。この理由は、速い動きをしている最中には急激な速度変化が起こる場合があるからである。また、５行目の「鋭角な動き」は、６列目の「蛇行」の際に過剰反応している。この理由は、短い時間内で蛇行すれば、急激な方向変化として判定される場合があるからである。このように、警告内容の検出では、それぞれ完全に独立した動作としては区別できないこともあり、（過剰警告の）湧き出しが増えてしまう。しかし、湧き出しが起きているとしても、何らかの問題のある動きが生じているという意味において、図６中の警告区間表示５９における警告区間の判定法として採用した。
【００７９】
図１５は、カメラワークの判定実験において各フレームごとの処理に要する処理時間のヒストグラムを示す。図中のreal timeは、映像のフレームレートとして一般的な30fpsの場合における33.3msに相当する位置を示している。判定実験で得られた処理時間の分布には、広がりがあるものの、その平均値は、real timeより短く、総合的には30fps程度の実時間処理が可能であることがわかる。
【００８０】
本撮影ナビゲーションシステム１は、三脚を使うなど、設備の整った撮影環境だけではなく、手持ちで撮影する際にも対応することができることが望ましい。そこで、４人の被験者（Ａ〜Ｄ）にビデオカメラ２を手で持って撮影してもらい、図１６に示される、映像文法に従った９種類の指定ショットを２回ずつ、合計１８ショットを１セットとして、３回の撮影試行実験を行った。
【００８１】
本発明の最大の目的は、撮影者が映像文法に従ったショットを撮影できるようになることである。その意味においては、カメラワーク実行前のＦＩＸショット（ＰＲＥ−ＦＩＸ）とカメラワーク実行後のＦＩＸショット（ＰＯＳＴ−ＦＩＸ）の実現が課題となる。
【００８２】
図１７は、被験者Ａ〜Ｄについての、ＰＲＥ−ＦＩＸ区間でのカメラワーク一致度を示し、図１８は、被験者Ａ〜Ｄについての、ＰＯＳＴ−ＦＩＸ区間でのカメラワーク一致度を示す。図１７に示されるように、カメラワーク実行前のＦＩＸショットについては、初回から比較的高い成績を示しているが、図１８に示されるように、カメラワーク実行後のＦＩＸショットについては、１回目の低い成績から、２回目、３回目と試行回数を増やすごとに成績が上がっている。これは、カメラの操作に慣れないうちは、カメラワーク実行後にビデオカメラ２を固定することが難しいからである。特に、ＺＯＯＭ＿ＩＮ後はＺＯＯＭ＿ＩＮ前より手ぶれが大きな動作として表現されるため、ＰＡＮに判定されるような動作になることもある。このため、撮影者は、ビデオカメラ２を固定するための工夫を試行錯誤で行うことになる。図１８では、試行回数を増やすごとにその問題を克服していく様子が伺える。また、２回目で成績が下がり、３回目で挽回する場合がある。これらは、例えば１回目ではＰＲＥ−ＦＩＸに注目できていたが、２回目では、他のカメラワークやＰＯＳＴ−ＦＩＸの改善に気を取られてしまったためにＰＲＥ−ＦＩＸでのカメラワークが不注意になってしまった場合や、１回目ではビデオカメラ２を慎重に動かしていたが、２回目でより大きな動きを試すことで動作が乱れた場合などが考えられる。このように、比較的単純であるかのように見える映像文法に従ったショットも、実際に撮影を行ってみると、いくつかの難しさに直面するため、撮影者が本撮影ナビゲーションシステム１を用いて型通りのショットを撮影する訓練を行うことで、ショットを撮影する上での基本技術を学習できる。
【００８３】
また、図１９、２０、２１は、それぞれショットの型がＦＩＸショット、ＰＡＮショット（ＰＡＮ＿ＬＥＦＴ、ＰＡＮ＿ＲＩＧＨＴ、ＰＡＮ＿ＵＰ、ＰＡＮ＿ＤＯＷＮ）、ＺＯＯＭショット（ＺＯＯＭ＿ＩＮ、ＺＯＯＭ＿ＯＵＴ）である場合における被験者Ａ〜Ｄのカメラワーク一致度を示す。これらの図に示されるように、ＦＩＸショットについては１回目から比較的高い成績を示しているが、ＰＡＮショット、ＺＯＯＭショットの順に成績（カメラワークの一致度）が低迷する。特にＺＯＯＭショットについては、機械操作上の慣れの問題もあり、本実験で用いたビデオカメラ２では、右手でビデオカメラ２を持ちながら右手の指でＺＯＯＭの操作を行うため、慣れないと、指の操作時にビデオカメラ２が大きく揺れ、ＰＡＮ動作が加わってしまう。
【００８４】
図２２は、３回の判定実験における被験者Ａ〜Ｄのスコアを示す。このスコアは、警告がなくなると１００％になる。この図に示されるように、被験者Ｄは、３回目で大きく問題を解決し、被験者Ｃは２回目で問題を解決したが、３回目では成績が伸びておらず、被験者Ａは、緩やかに問題を解決している様子が伺える。また、被験者Ｂは初回は慎重であったが、２回目以降、動作の大きいカメラワークに挑戦し、いくつかの警告を受けて改善を試みたが、３回目ではあまり改善が見られなかった。このように、カメラワークの動作や、ＰＡＮやＺＯＯＭの前後にビデオカメラを固定する映像文法に従った撮影法は、初心者には難しく、何度も訓練を繰り返すことで次第に問題を克服していく様子が示された。
【００８５】
また、映像の撮影に関する初心者は、ショット時間長やカメラワークの動作、及び映像文法に従うショットの型などについて知識がなく、どのような撮影が望ましいのかを判断する素養が身についていない。しかし、本撮影ナビゲーションシステム１では、映像文法に従ったショットを撮影する意味を撮影者に伝えることはできないものの、ナビゲーション・ウィンドウ４４内にショットの型やカメラワークの時間長を表示することで、撮影者に映像文法に従うショットの時間長やショットの型を潜在的に知らしめることができる。
【００８６】
上記のように、本実施形態による撮影ナビゲーションシステム１によれば、ビデオカメラ２を用いてユーザが撮影を行うときに、映像文法に基くショットの型をユーザに提示するためのナビゲーション用の映像が出力されるので、ユーザが映像文法に基くショットの型を身に付け易くなる。また、動画像を撮影した際のカメラワークがリアルタイムに解析されるので、この解析結果を用いることにより、ユーザのカメラワークに対して、リアルタイムに注意を喚起することができる。
【００８７】
また、投影法とテンソル・ヒストグラムとを用いて、パン動作とズーム動作とを含むカメラワークを解析するようにしたことにより、従来の投影法のみを用いた解析方法と比べて、ユーザのカメラワークを正確に解析することができる。
【００８８】
また、投影法により推定された水平方向及び垂直方向のズーム動作量の片方のみが０である場合や、投影法により推定された水平方向及び垂直方向のズーム動作量の符号が一致しない場合に、テンソル・ヒストグラムを用いて推定したズーム動作量を利用してカメラワークを解析するようにしたことにより、パンとズームの識別能力を高めると共に、ズーム動作に対する解析を正確に行うことができる。
【００８９】
また、その時点で撮影された動画像を解析して得られたカメラワークの種類（ナビゲーション・ウィンドウ４４内の判定結果欄５４に表示されるカメラワークの種類）と、ナビゲーション用の映像において提示されるカメラワークの種類（ナビゲーション・ウィンドウ４４内のカメラワークパターン欄５２に表示されるカメラワークの種類）とが異なるときに、カメラワークの種類が異なると判定された時間的な区間を明示するための映像（相違区間表示５８）が、リアルタイムで出力される。これにより、ビデオカメラの撮影時に、ユーザのカメラワークに対して、リアルタイムに注意を喚起することができる。
【００９０】
ビデオカメラを用いたユーザによる撮影中に、警告が必要であると判定されたときに、該当のカメラワークについての警告をユーザに提示するための警告用の映像（警告区間表示５９）がリアルタイムで出力される。これにより、ユーザのカメラワークに対して、リアルタイムに注意を喚起することができる。
【００９１】
また、ユーザによる撮影中に、カメラワークについて、手ぶれに相当する部分が存在する場合、パン動作時におけるビデオカメラ２の回転操作の速度が速すぎる場合、ズーム動作時におけるズームの速度が速すぎる場合、パン動作時又はズーム動作時において速度のゆらぎがある場合、パン動作時又はズーム動作時において急激な速度変化がある場合、パン動作時において鋭角な動きがあった場合、及びパン動作時において蛇行があった場合に、該当のカメラワークについての警告をユーザに提示するための警告用の映像（小ウィンドウ４２ａ〜４２ｆ）がリアルタイムで出力される。
【００９２】
なお、本発明は、上記実施形態に限られるものではなく、様々な変形が可能である。例えば、上記実施形態では、ＨＭＤ１０の液晶表示部１３にナビゲーション画面９を表示する場合の例を示したが、ビデオカメラのファインダーにナビゲーション画面を表示してもよい。
【図面の簡単な説明】
【００９３】
【図１】本実施形態による撮影ナビゲーションシステムの構成図。
【図２】図１中のＨＭＤの電気的ブロック構成図。
【図３】上記ＨＭＤの液晶表示部上に表示されるナビゲーション画面を示す図。
【図４】上記ナビゲーション画面上にナビゲーション・ウィンドウを表示しない場合におけるＦＩＸショットとＳｈｏｒｔ  ＦＩＸショットの撮影頻度を示すグラフ。
【図５】上記撮影ナビゲーションシステムを使用しない場合におけるＦＩＸショットとＳｈｏｒｔ  ＦＩＸショットの撮影頻度を示すグラフ。
【図６】上記ナビゲーション・ウィンドウの４つの状態（State A〜State D)の変遷を示す図。
【図７】上記ナビゲーション・ウィンドウの状態と撮影訓練の流れを示す説明図。
【図８】上記ナビゲーション・ウィンドウのメイン・ウィンドウ上に表示される矢印の説明図。
【図９】投影量・時間画像とテンソルヒストグラムとカメラワークとの対応関係を示す図。
【図１０】テンソルヒストグラムの説明図。
【図１１】ナビゲーション・ウィンドウで用いられるカメラワークと警告内容の判定処理のフローチャート。
【図１２】カメラワークの判定実験における判定精度を示す表。
【図１３】各警告内容に対応する試験的な映像を作成し、それらの映像に対し警告判定を行った結果を示す表。
【図１４】図１３中のＥ（過剰検出数)の内訳を示す表。
【図１５】上記カメラワークの判定実験における各フレームごとの処理に要する処理時間のヒストグラム。
【図１６】撮影試行実験における指定ショットを示す表。
【図１７】各被験者についての、ＰＲＥ−ＦＩＸ区間でのカメラワーク一致度を示すグラフ。
【図１８】各被験者についての、ＰＯＳＴ−ＦＩＸ区間でのカメラワーク一致度を示すグラフ。
【図１９】ショットの型がＦＩＸショットである場合におけるカメラワーク一致度を示すグラフ。
【図２０】ショットの型がＰＡＮショットである場合におけるカメラワーク一致度を示すグラフ。
【図２１】ショットの型がＺＯＯＭショットである場合におけるカメラワーク一致度を示すグラフ。
【図２２】３回の判定実験における各被験者のスコアを示すグラフ。
【符号の説明】
【００９４】
１    撮影ナビゲーションシステム
２    ビデオカメラ
３    パソコン（コンピュータ）
１０  ＨＭＤ
１３  液晶表示部（表示手段）
３０  ＣＰＵ（プロセッサ、カメラワーク解析手段、相違判定手段、警告判定手段、出力手段）
３２  画像入出力ボード（出力手段）
３８  カメラワーク解析表示プログラム（撮影ナビゲーションプログラム）
【図１】
2007325065.tif 000027
【図２】
2007325065.tif 000028
【図８】
2007325065.tif 000029
【図１１】
2007325065.tif 000030
【図１２】
2007325065.tif 000031
【図１３】
2007325065.tif 000032
【図１４】
2007325065.tif 000033
【図１６】
2007325065.tif 000034
【図１７】
2007325065.tif 000035
【図１８】
2007325065.tif 000036
【図１９】
2007325065.tif 000037
【図２０】
2007325065.tif 000038
【図２１】
2007325065.tif 000039
【図２２】
2007325065.tif 000040
【図３】
2007325065.tif 000041
【図４】
2007325065.tif 000042
【図５】
2007325065.tif 000043
【図６】
2007325065.tif 000044
【図７】
2007325065.tif 000045
【図９】
2007325065.tif 000046
【図１０】
2007325065.tif 000047
【図１５】
2007325065.tif 000048