【手続補正書】
【提出日】平成19年7月18日(2007.7.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
表示画面に主領域と前記主領域より小さい１つ以上の副領域とを設け、前記主領域および前記１つ以上の副領域にそれぞれの映像を表示する映像表示ステップと、
前記映像表示ステップで前記表示画面に表示された映像を見る視聴者を複数のカメラにより撮影する視聴者撮影ステップと、
前記視聴者撮影ステップで撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識ステップと、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像が注視する前記映像を検出し、検出された前記映像に基づいて前記映像の表示を欲する表示欲求度を算出する表示欲求度算出ステップと、
前記表示欲求度算出ステップで算出された表示欲求度を比較し、表示欲求度が最も高い前記映像が前記主領域に表示されるように前記主領域および前記１つ以上の副領域に表示された映像を切り替える映像切り替えステップと、
を含むことを特徴とする映像表示方法。
【請求項２】
前記視聴者撮影ステップは、前記複数のカメラにより一定時間に動画像を撮影し、
前記顔画像認識ステップは、前記視聴者撮影ステップで撮影された動画像を構成するフレーム毎に前記顔画像を認識し、
前記表示欲求度算出ステップは、前記顔画像認識ステップで認識された各フレームのそれぞれの顔画像に基づいて前記表示欲求度を算出することを特徴とする請求項１記載の映像表示方法。
【請求項３】
前記表示欲求度算出ステップは、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像の前記表示画面に対する位置座標を検出する顔座標検出ステップと、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像の視線方向を検出する視線方向検出ステップと、
前記視線方向検出ステップで検出された前記顔画像の視線方向と前記顔座標検出ステップで検出された対応する前記顔画像の位置座標とに基づいて前記顔画像が注視する前記表示画面の位置座標を検出する注視座標検出ステップと、
前記注視座標検出ステップで検出された位置座標に基づいて前記顔画像が注視する前記主領域および前記副領域のいずれかの領域を検出する注目映像検出ステップとを含み、
前記注目映像検出ステップで検出された検出情報に基づいて前記主表示領域および前記１つ以上の副表示領域のそれぞれの映像の前記表示欲求度を算出することを特徴とする請求項１記載の映像表示方法。
【請求項４】
前記表示欲求度算出ステップは、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像の前記表示画面に対する位置座標を検出する顔座標検出ステップと、
前記顔座標検出ステップで検出された顔画像の位置座標に基づいて前記顔画像の移動量を検出する移動量検出ステップと、
前記移動量検出ステップで検出された移動量に基づいて前記顔画像の満足度を算出する満足度算出ステップと、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像の視線方向を検出する視線方向検出ステップと、
前記視線方向検出ステップで検出された前記顔画像の視線方向と前記顔座標検出ステップで検出された対応する前記顔画像の位置座標とに基づいて前記顔画像が注視する前記表示画面の位置座標を検出する注視座標検出ステップと、
前記注視座標検出ステップで検出された位置座標に基づいて前記顔画像が注視する前記主領域および前記副領域のいずれかの領域を検出する注目映像検出ステップとを含み、
前記注目映像検出ステップで検出された検出情報、前記移動量検出ステップで検出された移動量および前記満足度算出ステップで算出された満足度に基づいて前記主表示領域および前記１つ以上の副表示領域のそれぞれの映像の前記表示欲求度を算出することを特徴とする請求項１記載の映像表示方法。
【請求項５】
前記複数のカメラは、２台のカメラからなり、
前記２台のカメラは、前記表示画面の水平方向の両端側のそれぞれに前記水平方向に設けられることを特徴とする請求項１記載の映像表示方法。
【請求項６】
表示画面に主領域と前記主領域より小さい１つ以上の副領域とを設け、前記主領域および前記１つ以上の副領域にそれぞれの映像を表示する映像表示部と、
前記表示画面に表示された映像を見る視聴者を撮影する複数のカメラと、
前記複数のカメラにより撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識手段と、
前記顔画像認識手段により認識された顔画像に基づいて前記顔画像が注視する前記映像を検出し、検出された前記映像に基づいて前記映像の表示を欲する表示欲求度を算出する表示欲求度算出手段と、
前記表示欲求度算出手段により算出された表示欲求度を比較し、表示欲求度が最も高い前記映像が前記主領域に表示されるように前記主領域および前記１つ以上の副領域に表示された映像を切り替える映像切り替え手段と、
を備えたことを特徴とする映像表示装置。
【請求項７】
第１のカメラにより第１の映像を撮影する第１の映像撮影ステップと、
前記第１の映像撮影ステップで撮影される第１の映像の一部の領域である第２の映像を第２のカメラにより撮影する第２の映像撮影ステップと、
前記第１の映像撮影ステップで撮影された第１の映像および前記第２の映像撮影ステップで撮影された第２の映像を映像表示部により表示する映像表示ステップとを含み、
前記映像表示ステップは、
前記第１の映像撮影ステップで撮影された第１の映像を前記表示画面に表示する第１の映像表示ステップと、
前記第１の映像表示ステップで前記表示画面に表示された映像を見る視聴者を複数の視聴者用カメラにより撮影する視聴者撮影ステップと、
前記視聴者撮影ステップで撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識ステップと、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出ステップと、
前記表示欲求度算出ステップで算出された表示欲求度に基づいて前記第２の映像撮影ステップで撮影すべき前記領域を選択する領域選択ステップと、
前記領域選択ステップで選択された選択情報に応じて前記第２の映像撮影ステップで撮影された第２の映像を前記映像表示部により表示する第２の映像表示ステップとを含み、
前記第２の映像撮影ステップは、前記領域選択ステップで選択された選択情報に従って前記領域を第２のカメラにより撮影する、
ことを特徴とする映像表示方法。
【請求項８】
前記第２の映像表示ステップは、前記表示画面に主領域と前記主領域より小さい副領域とを設け、前記主領域に前記第２の映像を表示し、前記副領域に前記第１の映像を表示することを特徴とする請求項７記載の映像表示方法。
【請求項９】
前記領域選択ステップは、選択された前記領域が複数の場合、前記領域の大きい順に前記複数の領域の優先順位を決定し、
前記第２の映像表示ステップは、前記優先順位に従って前記複数の領域を表示することを特徴とする請求項７記載の映像表示方法。
【請求項１０】
前記領域選択ステップは、
選択された領域の動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップで検出された動きベクトルに基づいて前記領域が動きのある映像かどうかを判定する動き判定ステップと、
前記動き判定ステップで前記領域が動きのある映像と判定されたとき、前記領域の選択情報に前記動きベクトルを付加する情報付加ステップとを含み、
前記第２の映像撮影ステップは、前記選択情報に付加された前記動きベクトルに基づいて前記領域を変更してトラッキングを行うことを特徴とする請求項７記載の映像表示方法。
【請求項１１】
前記視聴者撮影ステップは、前記複数の視聴者用カメラにより一定時間に動画像を撮影し、
前記顔画像認識ステップは、前記視聴者撮影ステップで撮影された動画像を構成するフレーム毎に前記顔画像を認識し、
前記表示欲求度算出ステップは、前記顔画像認識ステップで認識された各フレームのそれぞれの顔画像に基づいて前記表示欲求度を算出することを特徴とする請求項７記載の映像表示方法。
【請求項１２】
前記表示欲求度算出ステップは、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像の前記表示画面に対する位置座標を検出する顔座標検出ステップと、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像の視線方向を検出する視線方向検出ステップと、
前記視線方向検出ステップで検出された前記顔画像の視線方向と前記顔座標検出ステップで検出された対応する前記顔画像の位置座標とに基づいて前記顔画像が注視する前記表示画面の位置座標を検出する注視座標検出ステップとを含み、
前記注視座標検出ステップで検出された前記位置座標に基づいて前記表示欲求度を算出することを特徴とする請求項７記載の映像表示方法。
【請求項１３】
前記表示欲求度算出ステップは、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像の前記表示画面に対する位置座標を検出する顔座標検出ステップと、
前記顔座標検出ステップで検出された顔画像の位置座標に基づいて前記顔画像の移動量を検出する移動量検出ステップと、
前記移動量検出ステップで検出された移動量に基づいて前記顔画像の満足度を算出する満足度算出ステップと、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像の視線方向を検出する視線方向検出ステップと、
前記視線方向検出ステップで検出された前記顔画像の視線方向と前記顔座標検出ステップで検出された対応する前記顔画像の位置座標とに基づいて前記顔画像が注視する前記表示画面の位置座標を検出する注視座標検出ステップとを含み、
前記注視座標検出ステップで検出された位置座標、前記移動量検出ステップで検出された移動量および前記満足度算出ステップで算出された満足度に基づいて前記表示欲求度を算出することを特徴とする請求項７記載の映像表示方法。
【請求項１４】
第１の映像を撮影する第１のカメラと、
前記第１の映像の一部の領域である第２の映像を撮影する第２のカメラと、
前記第１のカメラにより撮影された第１の映像および前記第２のカメラにより撮影された第２の映像を表示画面に表示する映像表示部とを備えた映像表示装置であって、
前記映像表示部は、
前記第１のカメラにより撮影された第１の映像を前記表示画面に表示する第１の映像表示手段と、
前記第１の映像表示手段により前記表示画面に表示された映像を見る視聴者を撮影する複数の視聴者用カメラと、
前記複数の視聴者撮影用カメラにより撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識手段と、
前記顔画像認識手段により認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出手段と、
前記表示欲求度算出手段により算出された表示欲求度に基づいて前記第２のカメラにより撮影すべき前記領域を選択する領域選択手段と、
前記領域選択手段により選択された前記領域の選択情報に応じて前記第２のカメラにより撮影された第２の映像を前記表示画面に表示する第２の映像表示手段とを有し、
前記第２のカメラは、前記領域選択手段により選択された選択情報に従って前記領域を撮影する、
ことを特徴とする映像表示装置。
【請求項１５】
第１のカメラにより第１の映像を撮影する第１の映像撮影ステップと、
前記第１の映像撮影ステップで撮影される第１の映像の一部の領域である第２の映像を第２のカメラにより撮影する第２の映像撮影ステップと、
前記第１の映像撮影ステップで撮影された第１の映像および前記第２の映像撮影ステップで撮影された第２の映像を第１の通信回線を介して送信する映像送信ステップと、
前記映像送信ステップで前記第１の通信回線を介して送信された第１および第２の映像を受信する映像受信ステップと、
前記映像受信ステップで受信された第１および第２の映像を映像表示部により表示画面に表示する映像表示ステップとを含み、
前記映像表示ステップは、
前記映像受信ステップで受信された第１の映像を前記表示画面に表示する第１の映像表示ステップと、
前記第１の映像表示ステップで前記表示画面に表示された映像を見る視聴者を複数の視聴者用カメラにより撮影する視聴者撮影ステップと、
前記視聴者撮影ステップで撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識ステップと、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出ステップと、
前記表示欲求度算出ステップで算出された表示欲求度に基づいて前記第２の映像撮影ステップで撮影すべき前記領域を選択する領域選択ステップと、
前記領域選択ステップで選択された前記領域の選択情報を第２の通信回線を介して送信する選択情報送信ステップと、
前記選択情報送信ステップで送信された選択情報を前記第２の通信回線を介して受信する選択情報受信ステップと、
前記選択情報受信ステップで受信された選択情報に応じて前記第２の映像撮影ステップで撮影され、前記映像送信ステップで送信され、前記映像受信ステップで受信された第２の映像を前記表示画面に表示する第２の映像表示ステップとを含み、
前記第２の映像撮影ステップは、前記選択情報受信ステップで受信された選択情報に従って前記領域を第２のカメラにより撮影する、
ことを特徴とする映像表示方法。
【請求項１６】
第１の映像を撮影する第１のカメラと、
前記第１の映像の一部の領域である第２の映像を撮影する第２のカメラと、
前記第１のカメラにより撮影された第１の映像および前記第２のカメラにより撮影された第２の映像を第１の通信回線を介して送信する映像送信手段と、
前記映像送信手段により前記第１の通信回線を介して送信された第１および第２の映像を受信する映像受信手段と、
前記映像受信手段により受信された第１および第２の映像を表示画面に表示する映像表示部とを備えた映像表示装置であって、
前記映像表示部は、
前記映像受信手段により受信された第１の映像を前記表示画面に表示する第１の映像表示手段と、
前記第１の映像表示手段により前記表示画面に表示された映像を見る視聴者を撮影する複数の視聴者用カメラと、
前記複数の視聴者撮影用カメラにより撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識手段と、
前記顔画像認識手段により認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出手段と、
前記表示欲求度算出手段により算出された表示欲求度に基づいて前記第２のカメラにより撮影すべき前記領域を選択する領域選択手段と、
前記領域選択手段により選択された前記領域の選択情報を第２の通信回線を介して送信する選択情報送信手段と、
前記選択情報送信手段により送信された選択情報に応じて前記第２のカメラにより撮影され、前記映像送信手段により送信され、前記映像受信手段により受信された第２の映像を前記表示画面に表示する第２の映像表示手段とを有し、
前記映像表示装置は、前記選択情報送信手段により前記第２の通信回線を介して送信された選択情報を受信する選択情報受信手段を有し、
前記第２のカメラは、前記選択情報受信手段により受信された選択情報に従って前記領域を撮影する、
ことを特徴とする映像表示装置。