(57)【特許請求の範囲】
【請求項１】
（ｉ）観視者が観視する画面のサイズ、（ｉｉ）複数のフレームを含む動画像に含まれる対象物が、連続する２つのフレーム間において、前記サイズを有する画面上で移動する移動距離、（ｉｉｉ）前記連続する２つのフレーム間の時間間隔、及び、（ｉｖ）前記観視者と前記画面との間の距離である観視距離を取得する取得部と、
前記移動距離をｓ、前記時間間隔をｔ、前記観視距離をｄとして、前記対象物を観視するときの前記観視者の眼球の角速度を、以下の式
（眼球角速度）＝２ａｒｃｔａｎ（ｓ／２ｄ）／ｔ
に基づいて、眼球角速度として算出する眼球角速度算出部と、
前記眼球角速度算出部によって算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であるか否かを判定する判定部と、
（ａ）前記眼球角速度算出部によって算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であると前記判定部によって判定された場合、前記動画像を停止し、又は、前記動画像を単色画像に置換し、（ｂ）前記眼球角速度算出部によって算出された眼球角速度が、前記衝動性眼球運動における眼球角速度の下限値未満であると前記判定部によって判定された場合、前記動画像を停止せず、かつ、前記動画像を単色画像に置換しない画像処理部と、
前記画像処理部によって停止された動画像若しくは置換された単色画像、又は、停止若しくは置換されなかった動画像を表示する表示部とを備える
画像表示装置。
【請求項２】
前記動画像は、複数の対象物を含み、
前記眼球角速度算出部は、前記複数の対象物の各々に対する前記観視者の眼球角速度を算出し、
前記画像処理部は、（ａ）前記眼球角速度算出部によって算出された全ての眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であると前記判定部によって判定された場合、前記動画像を停止し、又は、前記動画像を単色画像に置換し、（ｂ）前記眼球角速度算出部によって算出された眼球角速度の少なくとも１つが、衝動性眼球運動における眼球角速度の下限値未満であると前記判定部によって判定された場合には、前記動画像を停止せず、かつ、前記動画像を単色画像に置換しない
請求項１に記載の画像表示装置。
【請求項３】
さらに、
前記連続する２つのフレーム間における前記対象物の移動量及び移動方向を示す動きベクトルを決定する動きベクトル決定部と、
前記画面のサイズに基づいて、前記動きベクトルの前記画面上での大きさを、前記移動距離として計算する移動距離計算部とを備える
請求項１に記載の画像表示装置。
【請求項４】
前記動きベクトル決定部は、
前記連続する２つのフレームに含まれる画像を複数のブロックに分割し、
前記連続する２つのフレームの一方に含まれる複数の第１ブロックの各々と、前記連続する２つのフレームの他方に含まれる複数の第２ブロックの各々との間の相違度を算出し、
算出された前記相違度が最も小さくなる第１ブロック及び第２ブロックの各々の重心位置の間を結ぶベクトルを前記動きベクトルとして決定する
請求項３に記載の画像表示装置。
【請求項５】
前記動きベクトル決定部は、前記連続する２つのフレームに含まれる画像を、前記フレームの周辺部よりも前記フレームの中央部でより多くの数になるように、前記複数のブロックに分割する
請求項４に記載の画像表示装置。
【請求項６】
前記動きベクトル決定部は、前記連続する２つのフレームの一方に含まれる２つのブロックの各々の動きベクトルが類似する場合、前記２つのブロックを結合して１つのブロックにする
請求項４に記載の画像表示装置。
【請求項７】
（ｉ）観視者が観視する画面のサイズ、（ｉｉ）複数のフレームを含む動画像に含まれる対象物が、連続する２つのフレーム間において、前記サイズを有する画面上で移動する移動距離、（ｉｉｉ）前記連続する２つのフレーム間の時間間隔、及び、（ｉｖ）前記観視者と前記画面との間の距離である観視距離を取得する取得部と、
前記移動距離をｓ、前記時間間隔をｔ、前記観視距離をｄとして、前記対象物を観視するときの前記観視者の眼球の角速度を、以下の式
（眼球角速度）＝２ａｒｃｔａｎ（ｓ／２ｄ）／ｔ
に基づいて、眼球角速度として算出する眼球角速度算出部と、
前記眼球角速度算出部によって算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であるか否かを判定する判定部と、
前記眼球角速度算出部によって算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であると前記判定部によって判定された場合、前記動画像を停止させ、又は、前記動画像を単色画像に置換させるためのタグ情報を付加する画像編集部と、
前記画像編集部によって前記タグ情報が付与された動画像を出力する出力部とを備える
画像処理装置。
【請求項８】
画像処理装置であって、
（ｉ）観視者が観視する画面のサイズ、（ｉｉ）複数のフレームを含む動画像に含まれる対象物が、連続する２つのフレーム間において、前記サイズを有する画面上で移動する移動距離、（ｉｉｉ）前記連続する２つのフレーム間の時間間隔、及び、（ｉｖ）前記観視者と前記画面との間の距離である観視距離を取得する取得部と、
前記移動距離をｓ、前記時間間隔をｔ、前記観視距離をｄとして、前記対象物を観視するときの前記観視者の眼球の角速度を、以下の式
（眼球角速度）＝２ａｒｃｔａｎ（ｓ／２ｄ）／ｔ
に基づいて、眼球角速度として算出する眼球角速度算出部と、
前記眼球角速度算出部によって算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であるか否かを判定する判定部と、
前記眼球角速度算出部によって算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であると前記判定部によって判定された場合、前記動画像を停止させ、又は、前記動画像を単色画像に置換させる画像編集部と、
前記画像編集部によって前記停止され、又は、単色画像に置換された動画像を出力する出力部とを備える
画像処理装置。
【請求項９】
画像表示方法をコンピュータに実行させるためのプログラムであって、
前記画像表示方法は、
（ｉ）観視者が観視する画面のサイズ、（ｉｉ）複数のフレームを含む動画像に含まれる対象物が、連続する２つのフレーム間において、前記サイズを有する画面上で移動する移動距離、（ｉｉｉ）前記連続する２つのフレーム間の時間間隔、及び、（ｉｖ）前記観視者と前記画面との間の距離である観視距離を取得する取得ステップと、
前記移動距離をｓ、前記時間間隔をｔ、前記観視距離をｄとして、前記対象物を観視するときの前記観視者の眼球の角速度を、以下の式
（眼球角速度）＝２ａｒｃｔａｎ（ｓ／２ｄ）／ｔ
に基づいて、眼球角速度として算出する眼球角速度算出ステップと、
前記眼球角速度算出ステップにおいて算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であるか否かを判定する判定ステップと、
（ａ）前記眼球角速度算出ステップにおいて算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であると判定された場合、前記動画像を停止し、又は、前記動画像を単色画像に置換し、（ｂ）前記眼球角速度算出ステップにおいて算出された眼球角速度が、前記衝動性眼球運動における眼球角速度の下限値未満であると判定された場合、前記動画像を停止せず、かつ、前記動画像を単色画像に置換しない画像処理ステップと、
前記画像処理ステップにおいて停止された動画像若しくは置換された単色画像、又は、停止若しくは置換されなかった動画像を、表示部に表示するステップとを含む
プログラム。
【請求項１０】
画像処理方法をコンピュータに実行させるためのプログラムであって、
前記画像処理方法は、
（ｉ）観視者が観視する画面のサイズ、（ｉｉ）複数のフレームを含む動画像に含まれる対象物が、連続する２つのフレーム間において、前記サイズを有する画面上で移動する移動距離、（ｉｉｉ）前記連続する２つのフレーム間の時間間隔、及び、（ｉｖ）前記観視者と前記画面との間の距離である観視距離を取得する取得ステップと、
前記移動距離をｓ、前記時間間隔をｔ、前記観視距離をｄとして、前記対象物を観視するときの前記観視者の眼球の角速度を、以下の式
（眼球角速度）＝２ａｒｃｔａｎ（ｓ／２ｄ）／ｔ
に基づいて、眼球角速度として算出する眼球角速度算出ステップと、
前記眼球角速度算出ステップにおいて算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であるか否かを判定する判定ステップと、
前記眼球角速度算出ステップにおいて算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であると判定された場合、前記動画像を停止させ、又は、前記動画像を単色画像に置換させるためのタグ情報を付加する画像編集ステップと、
前記画像編集ステップにおいて前記タグ情報が付与された動画像を出力する出力ステップとを含む
プログラム。
【請求項１１】
画像処理方法をコンピュータに実行させるためのプログラムであって、
（ｉ）観視者が観視する画面のサイズ、（ｉｉ）複数のフレームを含む動画像に含まれる対象物が、連続する２つのフレーム間において、前記サイズを有する画面上で移動する移動距離、（ｉｉｉ）前記連続する２つのフレーム間の時間間隔、及び、（ｉｖ）前記観視者と前記画面との間の距離である観視距離を取得する取得ステップと、
前記移動距離をｓ、前記時間間隔をｔ、前記観視距離をｄとして、前記対象物を観視するときの前記観視者の眼球の角速度を、以下の式
（眼球角速度）＝２ａｒｃｔａｎ（ｓ／２ｄ）／ｔ
に基づいて、眼球角速度として算出する眼球角速度算出ステップと、
前記眼球角速度算出ステップにおいて算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であるか否かを判定する判定ステップと、
前記眼球角速度算出ステップにおいて算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であると判定された場合、前記動画像を停止させ、又は、前記動画像を単色画像に置換させる画像編集ステップと、
前記画像編集ステップにおいて前記停止され、又は、単色画像に置換された動画像を出力する出力ステップとを含む
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、動画像を表示する画像表示装置及び動画像を処理する画像処理装置に関する。
【背景技術】
【０００２】
ユーザが動画像を観視する時には、ユーザが映像酔いを起こす、又は、眼の疲労を起こす場合がある。映像酔い又は眼の疲労は、画像の動きとユーザの姿勢又は動作とのずれ、あるいは、動画像の輝度変化又はコントラスト等の特性によって起こると考えられている。例えば、動画像の撮影時の手振れは、映像酔いの原因としてよく知られている。
【０００３】
特に、例えば、小さなものを拡大して撮影した動画像、及び、遠くのものをズームで撮影した動画像などは、撮像時の拡大処理によって、手振れも大きくなる。このため、拡大又はズームをして撮像した動画像は、映像酔いが起こりやすい。
【０００４】
これに対して、例えば、特許文献１には、手振れと判定された動画像の補正を行なう撮像装置が開示されている。具体的には、特許文献１に記載された撮像装置では、変倍撮影光学系の有効像円径に応じて、手振れと、撮影者による意図的なパン又はチルトによる振れとを判別し、手振れと判定された動画像の補正を行なう。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２６６３８９号公報
【非特許文献】
【０００６】
【非特許文献１】小松崎篤、篠田義一、丸尾敏夫著、「眼球運動の神経学」、第１版、医学書院、１９８５年、ｐ８
【非特許文献２】奥富正敏編、「ディジタル画像処理」、第２版、ＣＧ−ＡＲＴＳ協会、ｐ２４３
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記従来の撮像装置では、手振れと判定された動画像の補正を行なうので、手振れに起因して発生するユーザの映像酔い及び眼の疲労を軽減することができる。しかしながら、ユーザの映像酔い及び眼の疲労は、手振れだけではなく、手振れとは異なる要因に基づいても発生する。したがって、上記従来の撮像装置では、ユーザの映像酔い及び眼の疲労を軽減することができない場合がある。
【０００８】
そこで、本開示は、上記課題を解決するためになされたものであって、ユーザの映像酔い及び眼の疲労を軽減することができる画像表示装置及び画像処理装置を提供する。
【課題を解決するための手段】
【０００９】
本開示の一態様に係る画像表示装置は、（ｉ）観視者が観視する画面のサイズ、（ｉｉ）複数のフレームを含む動画像に含まれる対象物が、連続する２つのフレーム間において、前記サイズを有する画面上で移動する移動距離、（ｉｉｉ）前記連続する２つのフレーム間の時間間隔、及び、（ｉｖ）前記観視者と前記画面との間の距離である観視距離を取得する取得部と、前記移動距離をｓ、前記時間間隔をｔ、前記観視距離をｄとして、前記対象物を観視するときの前記観視者の眼球の角速度を、以下の式：（眼球角速度）＝２ａｒｃｔａｎ（ｓ／２ｄ）／ｔに基づいて、眼球角速度として算出する眼球角速度算出部と、前記眼球角速度算出部によって算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であるか否かを判定する判定部と、（ａ）前記眼球角速度算出部によって算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であると前記判定部によって判定された場合、前記動画像を停止し、又は、前記動画像を単色画像に置換し、（ｂ）前記眼球角速度算出部によって算出された眼球角速度が、前記衝動性眼球運動における眼球角速度の下限値未満であると前記判定部によって判定された場合、前記動画像を停止せず、かつ、前記動画像を単色画像に置換しない画像処理部と、前記画像処理部によって停止された動画像若しくは置換された単色画像、又は、停止若しくは置換されなかった動画像を表示する表示部とを備える。
【００１０】
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意の組み合わせで実現されてもよい。
【発明の効果】
【００１１】
本開示によると、ユーザの映像酔い及び眼の疲労を軽減することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施の形態１に係る画像表示装置の構成の一例を示すブロック図である。
【図２Ａ】図２Ａは、移動しない対象物をカメラがパンしながら撮影する様子を模式的に示す図である。
【図２Ｂ】図２Ｂは、図２Ａに示すカメラが撮影した動画像に含まれる複数のフレームを示す図である。
【図３】図３は、画面上での対象物の移動距離と観視者の眼球を中心とした回転角との対応関係を示す模式図である。
【図４】図４は、実施の形態１に係る画像表示装置の動作の一例を示すフローチャートである。
【図５】図５は、実施の形態２に係る画像表示装置の構成の一例を示すブロック図である。
【図６】図６は、実施の形態２に係る画像表示装置の動作の一例を示すフローチャートである。
【図７】図７は、実施の形態２に係る画像表示装置による動きベクトルの決定方法の一例を示すフローチャートである。
【図８Ａ】図８Ａは、連続する２つのフレームに含まれる画像を複数のブロックに分割する例を模式的に示す図である。
【図８Ｂ】図８Ｂは、図８Ａに示す分割されたブロックの動きベクトルを決定する方法を示す図である。
【図９】図９は、実施の形態２に係る画像表示装置による移動距離の計算方法の一例を示すフローチャートである。
【図１０】図１０は、実施の形態２の変形例１に係る画像表示装置の構成の一例を示すブロック図である。
【図１１Ａ】図１１Ａは、動きを有する対象物をカメラが追随しながら撮影する様子を模式的に示す図である。
【図１１Ｂ】図１１Ｂは、図１１Ａに示すカメラが撮影した動画像に含まれる複数のフレームを示す図である。
【図１２Ａ】図１２Ａは、動きを有する対象物をカメラが追随することなく撮影する様子を模式的に示す図である。
【図１２Ｂ】図１２Ｂは、図１２Ａに示すカメラが撮影した動画像に含まれる複数のフレームを示す図である。
【図１３】図１３は、実施の形態２の変形例１に係る画像表示装置の動作の一例を示すフローチャートである。
【図１４】図１４は、実施の形態２の変形例１に係る画像表示装置による動きベクトルを用いた領域分割方法の一例を示すフローチャートである。
【図１５】図１５は、実施の形態２の変形例１において、画像を分割するサイズを異ならせる例を示す図である。
【図１６】図１６は、実施の形態２の変形例１において、複数のブロックを動きベクトルの類似度に応じて結合する例を示す図である。
【図１７】図１７は、実施の形態２の変形例２に係る画像表示装置の構成の一例を示すブロック図である。
【図１８】図１８は、実施の形態２の変形例２に係る画面のサイズと観視距離との対応関係を示した距離対応表の一例を示す図である。
【図１９】図１９は、観視者の水平視野の大きさと画面の水平方向の大きさとの関係を示す模式図である。
【図２０】図２０は、実施の形態２の変形例３に係る画像表示装置の構成の一例を示すブロック図である。
【図２１】図２１は、実施の形態２の変形例３に係る観視者の視野の大きさに対する画面のサイズの比と閾値角速度の調整比との対応関係を示した閾値調整表の一例を示す図である。
【図２２】図２２は、実施の形態２の変形例３に係る画像表示装置の動作の一例を示すフローチャートである。
【図２３】図２３は、実施の形態２の変形例３に係る画像表示装置による画面比の算出方法の一例を示すフローチャートである。
【図２４】図２４は、実施の形態３に係る画像表示システムの構成の一例を示すブロック図である。
【図２５】図２５は、実施の形態３に係る画像判定装置の構成の一例を示すブロック図である。
【図２６】図２６は、実施の形態３に係る画面のサイズと観視距離との対応関係を示した距離対応表の一例を示す図である。
【図２７】図２７は、実施の形態３に係るタグ情報の一例を示す図である。
【図２８】図２８は、実施の形態３に係る画像処理装置の動作の一例を示すフローチャートである。
【図２９】図２９は、実施の形態４に係る撮影システムの構成の一例を示すブロック図である。
【図３０】図３０は、実施の形態４に係るカメラ動作の履歴情報の一例を示す図である。
【図３１】図３１は、実施の形態４に係る撮影システムの動作の一例を示すフローチャートである。
【図３２】図３２は、実施の形態４に係るカメラ制御装置による制御信号の生成方法の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した従来の撮影装置に関し、以下の問題が生じることを見出した。
【００１４】
映像酔い及び眼の疲労は、動画像の特性にのみ依存して発生するのではなく、人間の視覚の特性にも依存して発生する。例えば、映像酔いなどは、動画像を眼球が追従したときの動きぼけによっても発生する。動きぼけは、ユーザが動画像（に含まれる対象物）を視線追従することで、注視する部分の映像について画素がかぶったように知覚される状態を指す。
【００１５】
映像酔い及び眼の疲労の軽減方法には、例えば、特許文献１に記載されているように、手の揺れのように繰り返す画面のぶれを抑制するために、手振れ補正により画面を固定する技術がある。あるいは、ユーザの眼球が追従する動画像に対しては、動きぼけを防止する技術がある。
【００１６】
しかしながら、ユーザの眼球が追従不能な速度で画像が移動する場合には、画像は、その動きによりぼけてしまう。このため、ユーザは、動きの方向だけが分かるような劣化した画像を見ることになる。
【００１７】
ところで、人間は、日常生活の中で視点を急峻に移動させることがある。例えば、人間は、自動車の運転中には、信号、歩行者、対向車、標識などへと視点をすばやく移動させる。このような眼球運動を衝動性眼球運動（Ｓａｃｃａｄｅ）という。
【００１８】
このとき、視点を動かしている最中の風景は、人間には「見えていない」。すなわち、衝動性眼球運動によってすばやく流れる風景の光刺激は、網膜には入力されているが、人間に認識されるのは、視点を動かす前と視点を動かした後との、視点を定めた時点の網膜への入力のみである。つまり、流れてぼけている風景は、人間には知覚されない。具体的には、人間の脳内の視覚系において、衝動性眼球運動の際には、視覚入力に対して知覚するか否かの閾値の上昇が起こっており、視覚が抑制されている（非特許文献１を参照）。
【００１９】
動画像を観視する際に眼球が追従できない速度、すなわち、衝動性眼球運動に相当する速度で画像が動く状態は、本来人間の視覚系においては、脳の視覚系が抑制されるはずの状態を意味する。しかしながら、動画像を観視する際には、ユーザが眼球を動かしていないために脳の視覚系が抑制されることなく、本来であれば知覚されないはずの網膜像が脳の視覚系を賦活している。このため、急峻な画像の動きは、映像酔い及び眼の疲労の原因となりうる。
【００２０】
例えば、特に、拡大又はズームしながら撮影した動画像では、撮影時における小さなパン又はチルトが、画面上で大きな急峻な動きとなって現れる。しかしながら、これらは上述した手振れ補正技術では、手振れ補正の対象とはならない。また、ユーザの眼球の追従速度に対応した動きぼけの防止技術は、衝動性眼球運動に相当する速度での画像の動きには対応していない。
【００２１】
このように、急峻な画像の動きによって、動画像を観視するユーザが映像酔い又は眼の疲労を起こすという問題があった。
【００２２】
このような問題を解決するために、本開示の一態様に係る画像表示装置は、（ｉ）観視者が観視する画面のサイズ、（ｉｉ）複数のフレームを含む動画像に含まれる対象物が、連続する２つのフレーム間において、前記サイズを有する画面上で移動する移動距離、（ｉｉｉ）前記連続する２つのフレーム間の時間間隔、及び、（ｉｖ）前記観視者と前記画面との間の距離である観視距離を取得する取得部と、前記移動距離をｓ、前記時間間隔をｔ、前記観視距離をｄとして、前記対象物を観視するときの前記観視者の眼球の角速度を、以下の式：（眼球角速度）＝２ａｒｃｔａｎ（ｓ／２ｄ）／ｔに基づいて、眼球角速度として算出する眼球角速度算出部と、前記眼球角速度算出部によって算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であるか否かを判定する判定部と、（ａ）前記眼球角速度算出部によって算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であると前記判定部によって判定された場合、前記動画像を停止し、又は、前記動画像を単色画像に置換し、（ｂ）前記眼球角速度算出部によって算出された眼球角速度が、前記衝動性眼球運動における眼球角速度の下限値未満であると前記判定部によって判定された場合、前記動画像を停止せず、かつ、前記動画像を単色画像に置換しない画像処理部と、前記画像処理部によって停止された動画像若しくは置換された単色画像、又は、停止若しくは置換されなかった動画像を表示する表示部とを備える。
【００２３】
本態様によると、対象物を観視するときの観視者の眼球角速度が、衝動性眼球運動における眼球角速度の下限値である閾値角速度以上であると判定された場合は、停止処理又は置換処理を行なって、処理された動画像を表示する。つまり、衝動性眼球運動に相当する速度で動画像中の対象物が移動し、観視者が本来知覚しないはずの光刺激が入力される恐れがある場合には、画面に表示される動画像を停止又は動画像を単色画像に置き換える。
【００２４】
ここで、動画像に含まれる対象物を観視するときの観視者の眼球角速度が閾値角速度以上になる場合は、例えば、対象物を撮影するカメラが他の対象物を撮影するためにカメラの撮影方向を急激に変更する際などに起こり得る。かかる場合、カメラが対象物から他の対象物へ撮影対象を変更する間の撮影物、すなわち、変更前の対象物から他の対象物までにカメラが撮影する景色などの撮影物は、観視者にとって不要な情報であることが多い。したがって、これらの不要な情報を、例えば、動画像をスロー再生するなどにより観視者に表示することは、観視者にとって煩わしいものであることが多く、さらに、観視者の眼の疲労にもつながる。
【００２５】
そこで、本態様では、不要な情報を観視者に表示することを避けるために、動画像を停止する停止処理又は動画像を単色画像に置き換える置換処理を行なう。これにより、観視者は、動画像中の必要な情報を効率的に観視することができる。また、眼球が衝動性眼球運動を起こす光刺激を含む動画像が画面に表示されうる場合でも、画面には、動画像の停止画像又は単色画像が表示されることになる。このため、観視者が衝動性眼球運動を起こすような光刺激を受容する恐れは低い。その結果、観視者の映像酔い及び眼の疲労を軽減することができる。
【００２６】
また、本態様によると、眼球角速度が閾値角速度以上であると判定された場合にのみ、停止処理又は置換処理が行なわれる。これにより、映像酔い及び眼の疲労を起こす恐れが高い場合にのみ、停止処理又は置換処理を行ない、映像酔い及び眼の疲労を起こす恐れが低い場合には、そのままの動画像を観視者に表示することができる。したがって、動画像の停止期間（すなわち、動画像が表示されない期間）を短くすることができ、観視者による観視の妨げになることを抑制することができる。
【００２７】
なお、本態様によると、動画像を表示する画面のサイズ及び観視距離を取得して、取得した観視距離を用いて眼球角速度を算出する。したがって、眼球角速度を精度良く算出することができ、眼球角速度の判定を高精度に行なうことができる。
【００２８】
また、例えば、前記動画像は、複数の対象物を含み、前記眼球角速度算出部は、前記複数の対象物の各々に対する前記観視者の眼球角速度を算出し、前記画像処理部は、（ａ）前記眼球角速度算出部によって算出された全ての眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であると前記判定部によって判定された場合、前記動画像を停止し、又は、前記動画像を単色画像に置換し、（ｂ）前記眼球角速度算出部によって算出された眼球角速度の少なくとも１つが、衝動性眼球運動における眼球角速度の下限値未満であると前記判定部によって判定された場合には、前記動画像を停止せず、かつ、前記動画像を単色画像に置換しなくてもよい。
【００２９】
このように、複数の対象物に対応する複数の眼球角速度の少なくとも１つが眼球角速度の下限値未満である場合には、停止処理及び置換処理のいずれも行なわない。この場合、観視者は、特定の対象物を視線追従している可能性が高く、映像酔いなどを起こす恐れは低い。つまり、観視者が観視している動画像は、追従動画像である。動画像が追従動画像である場合、停止処理又は置換処理を行なわないので、観視者による特定の対象物の観視の妨げになることを抑制することができる。
【００３０】
また、本態様によると、複数の眼球角速度の全てが眼球角速度の下限値以上である場合、停止処理又は置換処理が行なわれる。これにより、観視者による観視の妨げになることを抑制しつつ、映像酔い及び眼の疲労を起こす恐れが高い場合にのみ、停止処理又は置換処理を行なうことができる。
【００３１】
また、例えば、さらに、前記連続する２つのフレーム間における前記対象物の移動量及び移動方向を示す動きベクトルを決定する動きベクトル決定部と、前記画面のサイズに基づいて、前記動きベクトルの前記画面上での大きさを、前記移動距離として計算する移動距離計算部とを備えてもよい。
【００３２】
本態様によると、動画像に含まれる２つのフレーム間における動きベクトルに基づいて、対象物の移動距離、及び、当該移動距離に対応する眼球角速度を算出する。これにより、観視者の眼球の運動を観察することなく、眼球角速度が閾値角速度以上であるか否かを判定することができる。したがって、観視者の眼球の運動を観察するためのカメラ又はセンサなどを用いる必要がなく、簡易な構成で、観視者の映像酔い及び眼の疲労を軽減することができる。
【００３３】
また、例えば、前記動きベクトル決定部は、前記連続する２つのフレームに含まれる画像を複数のブロックに分割し、前記連続する２つのフレームの一方に含まれる複数の第１ブロックの各々と、前記連続する２つのフレームの他方に含まれる複数の第２ブロックの各々との間の相違度を算出し、算出された前記相違度が最も小さくなる第１ブロック及び第２ブロックの各々の重心位置の間を結ぶベクトルを前記動きベクトルとして決定してもよい。
【００３４】
これにより、動きベクトルを精度良く算出することができる。
【００３５】
また、例えば、前記動きベクトル決定部は、前記連続する２つのフレームに含まれる画像を、前記フレームの周辺部よりも前記フレームの中央部でより多くの数になるように、前記複数のブロックに分割してもよい。
【００３６】
これにより、観視者が追従する移動体はフレームの中央近傍に位置する場合が多いので、フレームの中央のブロック数を周辺部よりも多くすることで、中央近傍で多数の動きベクトルを算出することができる。したがって、例えば、小さな移動体を追従している場合にも対応することができ、眼球角速度の判定の精度を高めることができる。
【００３７】
また、例えば、前記動きベクトル決定部は、前記連続する２つのフレームの一方に含まれる２つのブロックの各々の動きベクトルが類似する場合、前記２つのブロックを結合して１つのブロックにしてもよい。
【００３８】
これにより、２つのブロックを１つのブロックに結合することで、処理対象となるブロックの数を減らすことができる。したがって、眼球角速度の算出に要する処理量を削減することができる。
【００３９】
また、例えば、（ｉ）観視者が観視する画面のサイズ、（ｉｉ）複数のフレームを含む動画像に含まれる対象物が、連続する２つのフレーム間において、前記サイズを有する画面上で移動する移動距離、（ｉｉｉ）前記連続する２つのフレーム間の時間間隔、及び、（ｉｖ）前記観視者と前記画面との間の距離である観視距離を取得する取得部と、前記移動距離をｓ、前記時間間隔をｔ、前記観視距離をｄとして、前記対象物を観視するときの前記観視者の眼球の角速度を、以下の式：（眼球角速度）＝２ａｒｃｔａｎ（ｓ／２ｄ）／ｔに基づいて、眼球角速度として算出する眼球角速度算出部と、前記眼球角速度算出部によって算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であるか否かを判定する判定部と、前記眼球角速度算出部によって算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であると前記判定部によって判定された場合、前記動画像を停止させ、又は、前記動画像を単色画像に置換させるためのタグ情報を付加する画像編集部と、前記画像編集部によって前記タグ情報が付与された動画像を出力する出力部とを備える。
【００４０】
これにより、眼球角速度が閾値角速度以上になる場合には、停止処理又は置換処理を行わせるためのタグ情報を動画像に付加するので、画像表示装置は、当該動画像を表示する際に、タグ情報に基づいて、停止処理又は置換処理を行うことができる。このように、動画像を表示する度に判定処理などを行う必要がなく、動画像の表示の際の処理量を削減することができる。
【００４１】
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意の組み合わせで実現されてもよい。
【００４２】
以下、本開示の一態様に係る画像表示装置及び画像処理装置などについて、図面を参照しながら具体的に説明する。
【００４３】
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４４】
（実施の形態１）
実施の形態１に係る画像表示装置は、（ｉ）観視者が観視する画面のサイズ、（ｉｉ）複数のフレームを含む動画像に含まれる対象物が、連続する２つのフレーム間において、上記サイズを有する画面上で移動する移動距離ｓ、（ｉｉｉ）連続する２つのフレームの間の時間間隔ｔ、及び、（ｉｖ）観視者と画面との間の観視距離ｄから、眼球角速度を算出する。画像表示装置は、算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値（以下、「閾値角速度」と記載する）以上であるか否かを判定し、判定結果に基づいて、画像処理を実施した動画像を表示する。具体的には、本実施の形態に係る画像表示装置は、動画像中の対象物を観視者が観視するときの眼球の回転運動の角速度が衝動性眼球運動の角速度の下限値以上である場合に、動画像を停止する停止処理又は単色画面に置き換える置き換え処理を行なう。
【００４５】
［画像表示装置の構成］
まず、実施の形態１に係る画像表示装置について、図１を用いて説明する。図１は、本実施の形態に係る画像表示装置１０の構成の一例を示すブロック図である。
【００４６】
本実施の形態に係る画像表示装置１０は、測定部２０によって測定された動画像に含まれる対象物の画面上での移動距離に基づいて、動画像の処理の可否を判定する。動画像は、複数のフレームを含む。各フレームは静止画である。
【００４７】
測定部２０は、画面に表示される動画像に含まれる対象物の移動距離を測定する。移動距離は、連続する２つのフレーム間において、対象物が画面上で移動する距離である。例えば、測定部２０は、ブロックマッチングなどの画像処理によって、動画像に含まれる対象物が所定期間内に画面上で移動した距離を、対象物の移動距離として算出する。所定期間は、具体的には、連続する２つのフレーム間の時間間隔である。すなわち、所定期間は、動画像のフレームレートの逆数である。算出された移動距離は、画像表示装置１０に出力される。
【００４８】
なお、対象物は、動画像に含まれる物体であり、例えば、動画像中で略一体となって動く物体である。具体的には、対象物は、動画像中で略同じ動きベクトルを有する画素の集まりである。
【００４９】
例えば、対象物は、カメラでの撮影対象となる所定の被写体を示す画像である。例えば、被写体は、ロボット及び人間などの可動体、並びに、背景などである。つまり、対象物は、動画像中の所定の可動体、背景、又は、可動体及び背景を含む画像全体である。例えば、カメラが可動体を撮影する場合において、当該可動体が移動しないときは、対象物は、画像全体になる。あるいは、可動体が移動するときは、対象物は、当該可動体、又は、背景になる。
【００５０】
ここで、図２Ａ及び図２Ｂを用いて、移動する対象物がない場合でも、動画像を撮影するカメラが大きくパンすることで、動画像に含まれる対象物の全てが略一体となって動く場合を模式的に説明する。
【００５１】
図２Ａは、移動しない対象物をカメラ４０がパンしながら撮影する様子を模式的に示す図である。図２Ｂは、図２Ａに示すカメラ４０が撮影した動画像に含まれる複数のフレーム４１〜４４を示す図である。
【００５２】
図２Ａには、カメラ４０から見て左側に花３１があり、正面に草３２があり、右側に左側とは種類の違う花３３がある風景を示している。左側の花３１を撮影しているカメラ４０は、大きく右側へパンして右側の花３３を撮影する。
【００５３】
図２Ｂには、図２Ａに示すように、カメラ４０が動いている間に撮影される動画像に含まれるフレーム４１〜４４を、時系列で順に並べた場合を模式的に示している。カメラ４０が撮影した画像は、左側の花３１から右側の花３３へ急峻に移動する。その際、両側の花３１及び３３の間にある草３２は、カメラ４０の左から右への動きとは逆に、右から左へ急峻に移動する。
【００５４】
測定部２０は、このような画面上での対象物の移動の速度を測定する。移動の速度は、隣接する２つのフレーム間における、画面上での対象物の移動距離である。
【００５５】
図２Ｂにおいて、フレーム４２とフレーム４３とでは、フレーム４２で画面の右端にあった草３２は、フレーム４３では画面の中央左寄りの位置に移動している。表示部１５０が例えば、横幅約８８ｃｍの４０型ディスプレイであれば、フレーム４２とフレーム４３とでの画面上での対象物（例えば、草３２）の移動距離ｓは、画面横幅の約１／２として約４４ｃｍ／フレームである。
【００５６】
なお、動画像が３０Ｈｚのフレームレートで記録されていれば、隣接する２つのフレーム間の時間間隔ｔは、約３３ｍｓ（＝１秒／３０）である。
【００５７】
図１に示すように、画像表示装置１０は、取得部１１０と、眼球角速度算出部１２０と、判定部１３０と、画像処理部１４０と、表示部１５０とを備える。
【００５８】
取得部１１０は、観視者が観視する画面のサイズを取得する。例えば、取得部１１０は、表示部１５０の画面のサイズを取得する。取得部１１０は、さらに、複数のフレームを含む動画像に含まれる対象物が、連続する２つのフレーム間において、当該サイズを有する画面上で移動する移動距離ｓを取得する。例えば、取得部１１０は、測定部２０によって測定された移動距離ｓを取得する。
【００５９】
取得部１１０は、さらに、連続する２つのフレームの間の時間間隔ｔを取得する。例えば、取得部１１０は、動画像のフレームレートの逆数を算出することで、時間間隔ｔを取得する。取得部１１０は、観視者と画面との間の距離である観視距離ｄを取得する。例えば、取得部１１０は、図示しない入力手段などを介して観視者によって入力された観視距離ｄを取得する。
【００６０】
眼球角速度算出部１２０は、取得部１１０によって取得された画面のサイズ、移動距離ｓ、時間間隔ｔ、及び、観視距離ｄを用いて、眼球角速度を算出する。眼球角速度は、画面上を動く対象物を観視者が観視するときの観視者の眼球の角速度である。
【００６１】
判定部１３０は、眼球角速度が閾値角速度以上であるか否かを判定する。閾値角速度は、衝動性眼球運動における角速度の下限値である。閾値角速度は、例えば、３５０度／秒である。例えば、判定部１３０は、表示部１５０に表示された動画像に含まれる対象物を観視者が観視する場合に、眼球角速度算出部１２０によって算出された観視者の眼球角速度が、閾値角速度以上になるか否かを判定する。
【００６２】
ここで、眼球角速度及び閾値角速度は、眼球を回転中心とした回転運動の角速度で表される。角速度は、所定期間における眼球を回転中心とした回転角である。所定期間は、例えば、連続する２つのフレームの間の時間間隔、すなわち、動画像の１フレーム期間である。
【００６３】
眼球の回転運動の角速度は、単位時間当たりの眼球の回転角であり、角度／秒で表される。図３は、画面２００上での対象物の移動距離ｓと観視者の眼球を回転中心とした回転角ｒとの対応を示す模式図である。
【００６４】
判定部１３０は、所定期間毎に、算出された眼球角速度が閾値角速度以上であるか否かを判定する。つまり、判定部１３０は、所定期間毎に判定結果を出力する。
【００６５】
以下、眼球角速度算出部１２０及び判定部１３０の具体的な処理が説明される。
【００６６】
図３に示すように、対象物が動いた画面２００上での移動距離をｓとする。画面２００から観視者２１０までの距離（観視距離）をｄとする。
【００６７】
このとき、観視者２１０の眼球２１１は、画面２００の水平方向の中心を通る直線であって、画面２００に直交する直線上にあるものとする。また、移動距離ｓは、画面水平方向の中心の点に対して左右対称な線分であるとする。したがって、観視者２１０の眼球２１１は、移動距離ｓを表す線分を含み、画面２００に直交する平面上にある。
【００６８】
観視者２１０の眼球２１１の回転中心ｃから、移動距離ｓを表す線分の一方の端（左端）へ引かれた直線と、眼球２１１の回転中心ｃから、移動距離ｓを表す線分の他方の端（右端）へ引かれた直線とによって作られる角を、眼球中心回転角ｒとする。眼球中心回転角ｒは、画面２００の中心付近に表示された場合に画面２００の正面に位置する観視者２１０が移動距離ｓに相当する動きを眼球２１１で追従する場合の回転角である。
【００６９】
このとき、移動距離ｓ、観視距離ｄ、眼球中心回転角ｒの間には、以下の（式１）の関係が成り立つ。
【００７０】
【数１】
0006037188.tif 000002
【００７１】
したがって、眼球中心回転角ｒは、以下の（式２）で表される。
【００７２】
（式２）  ｒ＝２ａｒｃｔａｎ（ｓ／２ｄ）
【００７３】
さらに、眼球角速度算出部１２０は、動きベクトルを算出する際に用いた２つのフレームの時間間隔ｔで、眼球中心回転角ｒを除することで、対象物の動きを追従する際の眼球の角速度を算出する。具体的には、１フレーム期間で眼球中心回転角ｒを除することで、対象フレームと次のフレームとの間の対象物の動きを観視者が追従する際の眼球運動の角速度、すなわち、眼球角速度が算出される。
【００７４】
上述したように、図３の画面２００が４０型ディスプレイの場合、画面の横幅は８８．３９ｃｍ、縦は４９．７８ｃｍである。図２Ｂに示すフレーム４２とフレーム４３との間で、画面２００に表示された対象物（例えば、草３２）は、画面横幅の１／２を１フレームで移動しているので、移動距離ｓは、約４４ｃｍ／フレームである。
【００７５】
したがって、画面２００上での移動距離ｓに対応する観視者２１０の眼球中心回転角ｒは、（式２）で求められる。
【００７６】
ここでは、一例として、観視者２１０が標準的な観視距離である、画面の縦の長さの３倍の観視距離を保っているものとする。４０型ディスプレイの画面の縦の長さは４９．７８ｃｍであり、３倍では１４９．３４ｃｍとなる。例えば、観視距離ｄが約１５０ｃｍの場合、（式２）より、眼球中心回転角ｒは、約１７度（＝２×ａｒｃｔａｎ（４４ｃｍ／２×１５０ｃｍ））となる。
【００７７】
動画像が３０Ｈｚのフレームレートで記録されていれば、連続する２つのフレーム間の時間間隔ｔは、約３３ｍｓである。したがって、眼球角速度は、５１５度／秒（＝１７度／０．０３３秒）となり、閾値角速度である３５０度／秒を上回る。
【００７８】
このように、本開示では、移動距離ｓ、時間間隔ｔ及び観視距離ｄの３つのパラメータから、（式３）に基づいて眼球角速度が算出される。
【００７９】
（式３）  （眼球角速度）＝２ａｒｃｔａｎ（ｓ／２ｄ）／ｔ
【００８０】
画像処理部１４０は、眼球角速度が閾値角速度以上であると判定部１３０によって判定された場合に、停止処理又は置換処理を行なう。停止処理は、動画像を停止する処理である。また、置換処理は、動画像を単色画像に置き換える処理である。
【００８１】
例えば、画像処理部１４０は、眼球角速度が閾値角速度以上になる期間のみの動画像に、停止処理又は置換処理を行なう。なお、以下では、眼球角速度が閾値角速度以上であると判定された期間を、「処理対象期間」と記載する場合がある。
【００８２】
例えば、画像処理部１４０は、処理対象期間に含まれる複数のフレームを、処理対象期間の先頭のフレーム又は処理対象期間の直前のフレームに置き換えることで、処理対象期間の動画像を停止する（停止処理）。あるいは、例えば、画像処理部１４０は、処理対象期間に含まれる複数のフレームを、単色画像のフレームに置き換えることで、処理対象期間の動画像を単色画像に置き換える（置換処理）。処理対象期間は、動画像の１フレーム期間、又は、複数フレーム期間である。なお、単色画像のフレームは、例えば、フレーム内の全ての画素が単一の輝度値（例えば、黒を示す輝度値）を有するフレームである。
【００８３】
画像処理部１４０は、眼球角速度が閾値角速度未満であると判定部１３０によって判定された場合には、停止処理及び置換処理のいずれも行なわない。すなわち、画像処理部１４０は、処理対象期間以外の期間の動画像を処理することなく、そのまま出力する。例えば、画像処理部１４０は、処理対象期間が経過した場合、処理対象期間の次のフレームには、停止処理及び置換処理のいずれも行なうことなく、出力する。
【００８４】
これにより、画像処理部１４０が出力する動画像を画面に表示させた場合、処理対象期間中のみ動画像が停止、又は、表示されなくなり（単色画像が表示される）、処理対象期間の前後では、通常の動画像が表示される。言い換えると、処理対象期間中に表示すべき動画像がスキップされて、処理対象期間経過後は、処理対象期間が経過した時点からの動画像が表示される。
【００８５】
表示部１５０は、画像処理部１４０から出力された動画像を画面に表示する。表示部１５０は、例えば、モニタ、ディスプレイなどの画像を表示する画面を有する。
【００８６】
［画像表示装置の動作］
続いて、本実施の形態に係る画像表示装置１０の動作について、図４を用いて説明する。図４は、本実施の形態に係る画像表示装置１０の動作の一例を示すフローチャートである。
【００８７】
画像表示装置１０は、図示しないスイッチ等によって処理をスタートする。
【００８８】
まず、取得部１１０は、表示部１５０に表示する動画像に含まれる対象物の画面上での移動距離を取得する（ステップＳ１１０）。次に、取得部１１０は、動画像データの１フレームを対象フレームとして取得し、対象フレームが動画像データの最終フレームであるか否かを判定する（ステップＳ１２０）。
【００８９】
対象フレームが最終フレームであると判定された場合（ステップＳ１２０においてＹｅｓ）、対象フレームすなわち最終フレームの画像を、表示部１５０が表示する（ステップＳ１９０）。そして、画像表示装置１０は、動作を終了する。
【００９０】
対象フレームが最終フレームでないと判定された場合（ステップＳ１２０においてＮｏ）、眼球角速度算出部１２０は、眼球角速度を算出する（ステップＳ１３０）。そして、判定部１３０は、眼球角速度が閾値角速度以上であるか否かを判定する（ステップＳ１６０）。
【００９１】
眼球角速度が閾値角速度以上であると判定された場合（ステップＳ１６０においてＹｅｓ）、画像処理部１４０は、停止処理又は置換処理を行なう（ステップＳ１７０）。具体的には、画像処理部１４０は、対象フレームを直前のフレームに置き換えることで、停止処理を行なう。あるいは、画像処理部１４０は、対象フレームを予め定められた単色画像のフレームに置き換えることで、置換処理を行なう。
【００９２】
眼球角速度が閾値角速度未満であると判定された場合（ステップＳ１６０においてＮｏ）、表示部１５０は、動画像の対象フレームを出力、すなわち、表示する（ステップＳ１８０）。つまり、表示部１５０は、停止若しくは置換されなかった対象フレームをそのまま表示する。
【００９３】
対象フレーム、又は、置換後のフレームを出力した後、画像表示装置１０は、次のフレームを新たな対象フレームとして取得し、ステップＳ１１０以降の処理を繰り返す。
【００９４】
［まとめ］
このようにして、画像表示装置１０は、取得した動画像に含まれる対象物を観視者が観視する場合に、眼球角速度が閾値角速度以上であるとき、停止処理又は置換処理を行なって動画像を表示する。具体的には、画像表示装置１０は、眼球角速度が衝動性眼球運動の角速度以上であると判定した処理対象期間の動画像を停止又は単色画像に置き換える処理を行なう。つまり、画像表示装置１０は、画面上で、観視者の眼球が追従不可能な衝動性眼球運動の角速度以上に速い画面上の移動が発生する場合には、動画像を停止する又は単色画像に置換する。
【００９５】
これにより、本来人間が衝動性眼球運動によって視点を移動する際には、脳の視覚系で網膜像の処理がなされないのと同様に、衝動性眼球運動の角速度の下限値以上の角速度で移動する動画像を観視者に表示しないことで、観視者の映像酔い及び眼の疲労を軽減することができる。
【００９６】
例えば、動画像を撮影する場合に、撮影用のカメラは、撮影者による操作又は自動操作プログラムによって撮影位置を移動し、あるいは、パン又はチルトのような角度を変更する動作によって撮影方向を変更する。また、撮影用のカメラでは、倍率の変更も行われる。
【００９７】
撮影された動画像は、カメラの動作に連動した動きを含んでいる。動画像を再生又は表示する際の画像の移動量は、表示する画面のサイズ、あるいは、撮影時の倍率などによって変化する。例えば、撮影時の倍率が大きい場合、カメラのわずかな動きも画面上での大きな移動となる。
【００９８】
したがって、例えば、大画面で近くから見る場合、カメラの動きが急峻な場合、あるいは、倍率が大きく結果的に表示される画像の移動が急峻な場合など、当該動画像の観視者は、画像の移動を追従できず、画像が流れた状態を見ることになる。
【００９９】
人間が眼でものを見る場合には、眼球の運動によって注視する対象を追従する運動と、急峻な運動で注視点を移動する運動とを行っている。前者は、滑動性眼球運動（Ｓｍｏｏｔｈ  Ｐｕｒｓｕｉｔ）と呼ばれ、その角速度は、大きくても９０度／秒程度である。一方、後者は、衝動性眼球運動（Ｓａｃｃａｄｅ）と呼ばれ、その角速度は、３５０度／秒程度からさらに大きな値になる。
【０１００】
滑動性眼球運動では、移動する対象物を注視した状態を維持しており、運動中の網膜の刺激は視覚系で処理されている。衝動性眼球運動では、運動中の網膜の刺激は視覚系で処理されない。したがって、衝動性眼球運動に似た急峻な動きが画面上に表示される場合、その画像は、本来人間が視覚系で処理しないはずの不適切な動画像であるといえる。動画像撮影時のカメラの倍率又は動作、さらには、表示する画面の大きさによって、本来人間が視覚系で処理しないような急峻に移動する動画像を表示する可能性がある。このような不適切な動画像は、観視者の映像酔い及び眼の疲れの原因になる。
【０１０１】
そこで、画面上での画像の移動距離が、衝動性眼球運動に相当するような急峻な移動に相当する場合は、移動部分のみ動画像の表示を停止する等の編集処理を行うことで、映像酔い及び眼の疲労の原因を軽減することができる。このように、本実施の形態に係る画像表示装置１０は、人間にとって負荷の少ない動画像を観視者に表示することができる。具体的には、本実施の形態に係る画像表示装置１０では、人間の眼球運動と視覚系の特性とに合わせて画像を判定し、編集することで、画像の急峻な移動による観視者の映像酔い及び眼の疲労を軽減することができる。
【０１０２】
（実施の形態２）
実施の形態２に係る画像表示装置は、画面上での対象物の移動距離を計算し、計算した移動距離を、観視者の眼球を中心とした角速度（眼球角速度）に変換する。そして、眼球角速度が予め定められた閾値角速度以上である期間の動画像を表示しないように処理する。
【０１０３】
なお、本実施の形態では、動画像内での対象物が１つである場合を例に説明する。具体的には、動画像の１フレームの画像全体が対象物である例について説明する。つまり、本実施の形態では、対象物、すなわち、画像全体の移動距離に基づいた判定を行なう。例えば、図２Ａ及び図２Ｂに示したように、静止している対象物をカメラが大きくパンしながら撮影することで得られた動画像を例に説明する。
【０１０４】
［画像表示装置の構成］
図５は、本実施の形態に係る画像表示装置１００の構成の一例を示すブロック図である。図５に示すように、画像表示装置１００は、画像判定装置１０１と、画像処理部１４０と、表示部１５０とを備える。画像表示装置１００は、動画像を取得し、取得した動画像を編集して表示することができる。
【０１０５】
画像判定装置１０１は、図５に示すように、取得部１１０と、眼球角速度算出部１２０と、判定部１３０と、サイズ取得部１６０と、距離取得部１７０と、閾値記憶部１８０とを備える。また、取得部１１０は、画像取得部１１１と、動きベクトル決定部１１２と、移動距離計算部１１３とを備える。
【０１０６】
画像取得部１１１は、動画像を取得する。画像取得部１１１は、図示しない画像記憶部に記憶された録画された動画像を取得してもよく、あるいは、図示しないカメラ等が備える画像センサから動画像を取得してもよい。
【０１０７】
動きベクトル決定部１１２は、画像取得部１１１によって取得された動画像に含まれる連続する２つのフレーム間における対象物の移動量及び移動方向を示す動きベクトルを決定する。動きベクトルは、例えば、所定期間での画像上の点（画素）の移動を表現したベクトルである。
【０１０８】
ここでは、例えば、所定期間は、連続する２つのフレームの時間間隔ｔ、すなわち、１フレーム期間である。動きベクトル決定部１１２は、画像を複数の領域に空間的に分割して、領域毎に動きベクトルを決定する（非特許文献２を参照）。なお、このときの領域は、後述する抽出ブロックに相当する。動きベクトル決定部１１２は、抽出ブロック毎の動きベクトルを平均することで生成される平均ベクトルを、対象フレームを代表する動きベクトルとして決定する。
【０１０９】
例えば、動きベクトル決定部１１２は、対象フレーム毎に、対象フレームと次（又は前）のフレームとを用いて動きベクトルを決定する。動きベクトル決定部１１２の詳細な動作については、図７を用いて後で説明する。
【０１１０】
移動距離計算部１１３は、画面のサイズに基づいて、動きベクトルの画面上での大きさを、移動距離ｓとして計算する。具体的には、移動距離計算部１１３は、サイズ取得部１６０によって取得されたサイズ情報と、動きベクトル決定部１１２によって決定された対象フレーム毎の動きベクトルとから、画面上での対象物の動いた距離を、対象物の移動距離ｓとして計算する。つまり、移動距離ｓは、実空間における対象物が動いた距離でも画像内で対象物が動いた距離でもなく、対象物が画面上で動いた距離である。例えば、移動距離計算部１１３は、動きベクトルのスカラー量を画面上での距離に変換することで、移動距離を計算する。移動距離計算部１１３の詳細な動作については、図９を用いて後で説明する。
【０１１１】
眼球角速度算出部１２０は、移動距離ｓと観視距離ｄとに基づいて、画面上を動く対象物を観視者が観視するときの眼球の角速度を、眼球角速度として算出する。具体的には、眼球角速度算出部１２０は、移動距離計算部１１３によって計算された移動距離と、距離取得部１７０によって取得された距離情報とを用いて、移動距離を眼球角速度に変換する。眼球角速度の算出方法の具体例については、図３を用いて上述した通りである。
【０１１２】
判定部１３０は、眼球角速度が閾値角速度以上であるか否かを判定する。具体的には、判定部１３０は、眼球角速度算出部１２０によって算出された眼球角速度が、閾値記憶部１８０に記憶された閾値角速度以上であるか否かを判定する。これにより、対象物の画面上での移動距離が大きすぎて、すなわち、対象物の画面上での移動速度が速すぎて観視者の眼球が追従できない速度であり、映像酔いの原因となる可能性があるか否かを判定する。
【０１１３】
サイズ取得部１６０は、画面のサイズを取得する。具体的には、サイズ取得部１６０は、画像取得部１１１が取得した動画像を表示する画面のサイズを示すサイズ情報を取得する。サイズ取得部１６０は、例えば、図示しない入力手段を介してユーザによって入力されたサイズ情報を取得してもよく、あるいは、図示しない記憶手段に予め記憶されたサイズ情報を読み出して取得してもよい。
【０１１４】
距離取得部１７０は、画面と観視者との距離である観視距離を取得する。具体的には、距離取得部１７０は、動画像を表示する画面と観視者との間の距離である観視距離ｄを示す距離情報を取得する。
【０１１５】
距離取得部１７０は、例えば、図示しない入力手段を介してユーザによって入力された距離情報を取得してもよく、あるいは、図示しない測距手段が測定した距離情報を取得してもよい。また、距離取得部１７０は、図示しない記憶手段に予め記憶された距離情報を読み出して取得してもよい。
【０１１６】
閾値記憶部１８０は、衝動性眼球運動（Ｓａｃｃａｄｅ）における眼球角速度の下限値である閾値角速度を記憶するメモリなどである。閾値角速度は、人間が移動対象を眼で追う場合の眼球の追従速度の限界値に相当する。つまり、閾値角速度以上の角速度で眼球が動いた場合、当該眼球運動は、衝動性眼球運動になる。
【０１１７】
なお、画像処理部１４０及び表示部１５０については、実施の形態１と同様であるので、ここでは説明を省略する。
【０１１８】
なお、眼球角速度の算出方法は、実施の形態１において図２Ａ及び図２Ｂを用いて説明した方法と同一である。
【０１１９】
［画像表示装置の動作］
続いて、本実施の形態に係る画像表示装置１００の動作について、図６を用いて説明する。図６は、本実施の形態に係る画像表示装置１００の動作の一例を示すフローチャートである。
【０１２０】
画像表示装置１００は、図示しないスイッチ等によって処理をスタートする。
【０１２１】
まず、画像取得部１１１は、図示しない画像記憶部又はカメラ等から動画像データを取得する（ステップＳ２１０）。次に、動きベクトル決定部１１２は、画像取得部１１１によって取得された動画像データの１フレームを対象フレームとして取得し、対象フレームが動画像データの最終フレームであるか否かを判定する（ステップＳ１２０）。なお、動きベクトル決定部１１２は、画像取得部１１１から、動画像に含まれるフレームを時系列順に取得する。
【０１２２】
対象フレームが最終フレームであると判定された場合（ステップＳ１２０においてＹｅｓ）、対象フレーム、すなわち、最終フレームの画像を、表示部１５０が表示する。例えば、表示部１５０は、図示しないディスプレイ等へ出力する。そして、画像表示装置１００は、動作を終了する。
【０１２３】
対象フレームが最終フレームでないと判定された場合（ステップＳ１２０においてＮｏ）、動きベクトル決定部１１２は、対象フレームの次のフレームを画像取得部１１１から取得し、対象フレームと次のフレームとの間での動きベクトルを決定する（ステップＳ２３０）。動きベクトル決定部１１２は、対象フレームを代表する１つの動きベクトルを決定する。なお、動きベクトルの計算方法については、図７を用いて後で説明する。
【０１２４】
次に、移動距離計算部１１３は、対象フレームの動きベクトルと、サイズ取得部１６０によって取得されたサイズ情報とを用いて、移動距離ｓを計算する（ステップＳ２４０）。移動距離の計算方法については、図９を用いて後で説明する。
【０１２５】
眼球角速度算出部１２０は、眼球角速度を算出する（ステップＳ２５０）。具体的には、眼球角速度算出部１２０は、まず、移動距離ｓに基づいて、観視者の眼球を中心とした回転角ｒを計算する。さらに、眼球角速度算出部１２０は、計算した回転角ｒを１フレーム期間で除することで、角速度を眼球角速度として算出する。詳細については、図３を用いて説明した通りである。
【０１２６】
続いて、判定部１３０は、眼球角速度が閾値角速度以上であるか否かを判定する（ステップＳ１６０）。具体的には、判定部１３０は、閾値記憶部１８０に記憶された閾値角速度を読み出し、眼球角速度算出部１２０によって算出された角速度（眼球角速度）が閾値角速度以上であるか否かを判定する。
【０１２７】
以降の処理については、実施の形態１と同様であるので、説明を省略する。
【０１２８】
なお、対象フレーム、又は、置換後のフレームの出力（ステップＳ１８０）後は、画像表示装置１００は、次のフレームを新たな対象フレームとして取得し、ステップＳ１２０以降の処理を繰り返す。
【０１２９】
［動きベクトルの決定］
続いて、図６に示したステップＳ２３０の動きベクトルの決定方法の詳細な動作について、図７を用いて説明する。図７は、本実施の形態に係る画像表示装置１００による動きベクトルの決定方法の一例を示すフローチャートである。なお、ここでは、ブロックマッチング法によって動きベクトルを決定する例を説明する。
【０１３０】
まず、動きベクトル決定部１１２は、対象フレームの画像を複数のブロックに分割する（ステップＳ２３１）。
【０１３１】
ここで、図８Ａは、連続する２つのフレームに含まれる画像を複数のブロックに分割する例を示す図である。図８Ｂは、図８Ａに示す分割されたブロックの動きベクトルを決定する方法を示す図である。
【０１３２】
図８Ａは、連続する２つのフレームに含まれる画像を複数のブロックに分割する例を模式的に示す図である。図８Ａの例では、対象フレーム５１及び参照フレーム５２の各々を上下に２分割、かつ、横に６分割している。すなわち、動きベクトル決定部１１２は、対象フレーム５１及び参照フレーム５２の各々を１２個のブロックに分割している。
【０１３３】
次に、動きベクトル決定部１１２は、分割された複数のブロックのうち、未処理の１つを抽出する（ステップＳ２３２）。次に、動きベクトル決定部１１２は、抽出したブロック（以降、抽出ブロックと記載）をテンプレートとして、参照フレーム５２（例えば、対象フレーム５１の直後のフレーム）中のブロックとの間で、画像データ間の相違度を計算する（ステップＳ２３３）。
【０１３４】
例えば、図８Ａに示すように、右端下のブロック５３（斜線の網掛け部）を抽出する。ブロック５３に含まれる右にやや傾いた草３２の下部の画像をテンプレートとして、参照フレーム５２に含まれる全てのブロックとの間で相違度を計算する。例えば、参照フレーム５２の右端下のブロック５４（ドットの網掛け部）には草３２が写っておらず、テンプレートの画像中の草３２に相当する部分の全てが参照フレーム５２との相違となる。一方、参照フレーム５２の左から３番目の下のブロック５５（網目の網掛け部）には、テンプレートと同一の草３２が写っており、画像の重なりが非常に多く相違が少ない。
【０１３５】
相違度は、抽出ブロックと参照フレームの所定のブロックとの違いを示す値である。相違度が小さい程、抽出ブロックと参照フレームの所定のブロックとは類似する。例えば、図８Ａにおいて、ブロック５３とブロック５５とは相違度が小さく、類似している。
【０１３６】
具体的には、相違度は、抽出ブロックと参照フレーム５２の所定のブロックとの画素値の差分に基づいて算出される。例えば、相違度の算出は、画素毎の差の二乗和を求める方法であるＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、又は、画素毎の差の絶対値の和を求める方法であるＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）などによって行われる。つまり、相違度は、例えば、抽出ブロックの差分絶対値和又は差分二乗和で示される。
【０１３７】
例えば、対象フレーム５１及び参照フレーム５２の各々に含まれる画像の画素数が、横が１２８０画素、縦が７２０画素とする。このとき、図８Ａに示すように、対象フレーム５１及び参照フレーム５２の各々を１２個のブロックに画像を分割する場合、１ブロックは、横２１３画素、縦３６０画素となる。
【０１３８】
相違度が、位置が対応する画素同士の差の絶対値の総和（ＳＡＤ）である場合、テンプレートと、ブロック５４との相違度は、例えば、２０％の画素に平均して約１６０００の差の絶対値があった場合、約２．５億となる。一方、テンプレートと同じ草３２の同じ部分が写っているブロック５５とテンプレートとの相違度は、例えば、１０％の画素に平均して８１００の差の絶対値があった場合、約０．６億となる。
【０１３９】
さらに、動きベクトル決定部１１２は、参照フレーム５２内で相違度が最も小さいブロック、すなわち、抽出ブロックと最も類似したブロックを検出する（ステップＳ２３４）。そして、動きベクトル決定部１１２は、対象フレーム５１の抽出ブロック中の特定の点の座標から、ステップＳ２３４で検出された参照フレーム５２のブロック中の対応点の座標へのベクトルを生成する。この生成されたベクトルが、抽出ブロックの動きベクトルである。なお、特定の点は、動きベクトルの始点又は終点になる位置であり、例えば、ブロックの重心位置である。
【０１４０】
図８Ｂには、参照フレーム５２の複数のブロックの各々に、対象フレーム５１のブロック５３の画像をテンプレートとしたときの相違度の値を示している。図８Ｂに示すように、テンプレートと同じ草３２の同じ部分が写っているブロック５５が、相違度が最も小さいブロックである。
【０１４１】
特定の点がブロックの重心位置である場合、図８Ｂの例では、テンプレートのブロック５３の座標位置は、ブロック５３の重心位置５３ａであり、参照フレーム５２中で検出された相違度の最も小さいブロックの重心は、ブロック５５の重心位置５５ａである。したがって、重心位置５３ａから重心位置５５ａへのベクトル５６が、抽出ブロックの動きベクトルである。
【０１４２】
なお、動きベクトル決定部１１２は、１つの抽出ブロックに対して、例えば、画素（特定点）毎に複数の動きベクトルを算出してもよく、あるいは、１つの抽出ブロックを代表する１つの動きベクトルを算出してもよい。
【０１４３】
そして、動きベクトル決定部１１２は、分割された対象フレームの全ブロックの処理が完了したか否かを判定する（ステップＳ２３６）。全ブロックの処理が完了していると判断した場合（ステップＳ２３６においてＹｅｓ）、動きベクトル決定部１１２は、全ての動きベクトルを平均することで、平均ベクトルを生成する（ステップＳ２３７）。そして、動きベクトル決定部１１２は、生成した平均ベクトルを対象フレームの動きベクトルとして、移動距離計算部１１３に出力する。
【０１４４】
全ブロックの処理が完了していないと判断した場合（ステップＳ２３６においてＮｏ）、ステップＳ２３２に戻り、動きベクトル決定部１１２は、未処理のブロックを新たな抽出ブロックとして、以降の処理を繰り返す。
【０１４５】
なお、本実施の形態に係る動きベクトル決定部１１２は、動きベクトルをブロックマッチング法で計算したが、これに限らない。動きベクトル決定部１１２は、勾配法（Ｇｒａｄｉｅｎｔ−ｂａｓｅｄ  Ｍｅｔｈｏｄ）等、他の方法でブロック内各点での動きベクトルを求めてもよい。
【０１４６】
また、本実施の形態に係る動きベクトル決定部１１２は、抽出ブロック毎に計算された複数の動きベクトルを平均した平均ベクトルを、対象フレームを代表する動きベクトルとして決定したが、これに限らない。例えば、動きベクトル決定部１１２は、複数の動きベクトルの中の絶対値が最も大きいベクトルを、対象フレームの動きベクトルとしてもよい。
【０１４７】
また、本実施の形態に係る動きベクトル決定部１１２は、対象フレームと次のフレームとの比較により動きベクトルを計算したが、これに限らない。例えば、動きベクトル決定部１１２は、対象フレームより複数フレーム後のフレーム、又は、対象フレームより前のフレーム等、連続するフレーム以外のフレームと、対象フレームとの組み合わせで計算してもよい。
【０１４８】
［移動距離の計算］
続いて、図６に示したステップＳ２４０の移動距離の計算方法の詳細な動作について、図９を用いて説明する。図９は、本実施の形態に係る画像表示装置１００による移動距離の計算方法の一例を示すフローチャートである。
【０１４９】
まず、移動距離計算部１１３は、サイズ取得部１６０からサイズ情報を取得する（ステップＳ２４１）。サイズ情報は、例えば、画面の縦横の画素数と画面の縦横の長さとである。
【０１５０】
次に、移動距離計算部１１３は、取得したサイズ情報に基づき、当該動画像を表示する画面（ディスプレイ又はモニタ）の画素間の距離（画素ピッチ）を計算する（ステップＳ２４２）。例えば、移動距離計算部１１３は、サイズ情報が示す画面の縦の長さを縦の画素数で除することで、縦方向の画素間の距離を算出する。同様に、移動距離計算部１１３は、サイズ情報が示す画面の横の長さを横の画素数で除することで、横方向の画素間の距離を算出する。
【０１５１】
例えば、画面が横８８．３９ｃｍ、縦４９．７８ｃｍの４０型ディスプレイである場合において、本実施の形態では、１フレームの画像が横１２８０画素、縦７２０画素の画像である。したがって、横方向の画素間の距離は、８８．３９ｃｍを画素数１２８０で除し、約０．７ｍｍとなる。
【０１５２】
次に、移動距離計算部１１３は、動きベクトル決定部１１２によって決定された動きベクトルと、ステップＳ２４２で計算された画素間の距離とを用いて、移動距離を計算する（ステップＳ２４３）。例えば、移動距離計算部１１３は、動きベクトル決定部１１２によって決定された動きベクトルの絶対値（すなわち、動きベクトルのスカラー量）に画素間の距離を乗ずることで、移動距離を算出する。
【０１５３】
図８Ｂに示す例では、動きベクトルは、ブロック５３（ブロック５４）の重心位置５３ａから、ブロック５５の重心位置５５ａまでのベクトルである。このベクトルの絶対値は、ちょうどブロックの横幅３つ分であり、ブロック１つ分の横幅２１３画素の３倍で、６３９画素分である。したがって、これに、横方向１画素分の距離０．７ｍｍを乗じて、移動距離は、約４４７ｍｍとなる。
【０１５４】
［まとめ］
以上のように、本実施の形態に係る画像表示装置１００は、画像取得部１１１によって取得した動画像データの対象フレームの動きベクトルを決定して、決定した動きベクトルに対応する移動距離を計算する。そして、画像表示装置１００は、計算した移動距離に基づいて眼球角速度を算出し、対象フレーム毎に、眼球角速度と閾値角速度とを比較する。
【０１５５】
眼球角速度が閾値角速度以上である場合には、画像表示装置１００は、例えば、対象フレームの画像を直前フレームの画像に置き換える、すなわち、動画像を停止させる処理を行なう。あるいは、画像表示装置１００は、対象フレームの画像を、例えば、黒色の単色画像に置き換える、すなわち、ブラックアウトさせる。
【０１５６】
これにより、観視者が眼球で追従可能な速度以上に速い移動が画面上で発生する場合には、移動の直前フレームの画像で停止する、あるいは、黒色の単色画像に置き換えることで、映像酔い及び眼の疲労を軽減することができる。つまり、本実施の形態によれば、本来人間が衝動性眼球運動によって視点を移動する際には脳の視覚系で網膜像の処理がなされないのと同様に、追従して視覚処理可能な速度以上の速度で移動する画像を観視者に表示しないことで、観視者の映像酔い及び眼の疲労を軽減することができる。
【０１５７】
（実施の形態２の変形例１）
実施の形態２の変形例１では、動画像が、複数の対象物を含んでいる場合について説明する。本変形例に係る画像表示装置は、実施の形態２の画像表示装置の機能に加えて、動きベクトルに基づいて、フレームの画像全体が同じ方向へ動く画像であるか否かを判定することによって、停止処理及び置換処理の要不要を判定する機能を持つ。これにより、映像酔い及び眼の疲労の原因となる、衝動性眼球運動に相当する画像全体の急速な移動に対してのみ動画像の処理を行ない、移動物体を追従している画像のように、注視点は急速な移動をしない画像については処理を行わない。これにより、処理による画像の劣化及び観視の妨げとなることを抑制することができる。
【０１５８】
［画像表示装置の構成］
まず、本変形例に係る画像表示装置について、図１０を用いて説明する。図１０は、本変形例に係る画像表示装置３００の構成の一例を示すブロック図である。
【０１５９】
図１０に示すように、画像表示装置３００は、画像判定装置３０１と、画像処理部１４０と、表示部１５０とを備える。画像判定装置３０１は、図５に示す画像判定装置１０１と比較して、取得部１１０、眼球角速度算出部１２０及び判定部１３０の代わりに、取得部３１０、眼球角速度算出部３２０及び判定部３３０を備える点が異なっている。また、取得部３１０は、図５に示す取得部１１０と比較して、動きベクトル決定部１１２及び移動距離計算部１１３の代わりに、動きベクトル決定部３１２及び移動距離計算部３１３を備える点が異なっている。以下では、実施の形態２と異なる点を中心に説明し、図５と同じ構成については、説明を省略する場合がある。
【０１６０】
動きベクトル決定部３１２は、動画像に含まれる複数のフレーム間における、複数の対象物それぞれの移動量及び移動方向を示す複数の動きベクトルを決定する。動きベクトル決定部３１２は、図１０に示すように、動きベクトル計算部３１２ａと、領域分割部３１２ｂとを備える。
【０１６１】
動きベクトル計算部３１２ａは、実施の形態２に係る動きベクトル決定部１１２のうち、平均ベクトルを算出する処理以外の動作を行なう。例えば、動きベクトル計算部３１２ａは、画像取得部１１１によって取得された動画像に含まれる複数のフレーム間における動きベクトルを決定する。具体的には、動きベクトル計算部３１２ａは、対象フレーム毎に、対象フレームと次（又は前）のフレームとを用いて動きベクトルを決定する。動きベクトル計算部３１２ａは、画像を複数の抽出ブロックに空間的に分割して、抽出ブロック毎に動きベクトルを決定する。具体的には、動きベクトル計算部３１２ａは、図７に示すステップＳ２３１〜Ｓ２３６の動作を行なう。
【０１６２】
領域分割部３１２ｂは、動きベクトル計算部３１２ａが計算した対象フレームの抽出ブロック毎の動きベクトルの方向と大きさとの分布に基づいて、対象フレームの領域分割を行なう。分割された複数の領域は、互いに異なる動きベクトルを有する領域である。例えば、領域分割部３１２ｂは、動きベクトルのクラスタリングによって、対象フレームの領域分割を行なう。
【０１６３】
対象フレームが複数の領域に分割されない場合、対象フレームは、画像全体にわたって同じ動きベクトルを有する。すなわち、対象フレームが、画像全体が同じ方向に動く画像であると判定することができる。あるいは、対象フレームが複数の領域に分割された場合、対象フレームには、画面全体の動きとは異なる動きをする部分があると判定することができる。
【０１６４】
例えば、カメラが所定の移動体の動きを追従して撮影する場合、移動体と背景とは、それぞれ異なる方向に移動する。この場合、複数の対象物は、移動体と背景とであり、それぞれが異なる動きベクトルを有する。したがって、例えば、画像処理により分割された複数の領域は、複数の対象物に一対一に対応する。
【０１６５】
図１１Ａは、動きを有する対象物（移動体）をカメラ４０が追随しながら撮影する様子を模式的に示す図である。ここでは、図１１Ａは、対象物として移動体と背景とがある場合を示している。具体的には、図１１Ａに示すように、蝶３４は移動体であり、左側の花３１、中央部の草３２、右側の花３３は、移動しない対象物（静止物）である。
【０１６６】
蝶３４は、左の花３１と中央の草３２との間の位置から中央の草３２と右の花３３との間の位置へ矢印のように移動する。図１１Ａに示す例では、カメラ４０は、蝶３４の左から右への移動を追随して回転する。
【０１６７】
図１１Ｂは、図１１Ａに示すカメラ４０が撮影した動画像に含まれる複数のフレームを示す図である。ここでは、フレーム６１に続いてフレーム６２が取得されたものとする。なお、図１１Ｂにおいて、蝶３４を含むブロック及び草３２の一部を含むブロックにそれぞれ、異なる網掛けを付している。
【０１６８】
移動距離計算部３１３は、画面のサイズに基づいて、画面上での複数の動きベクトルの大きさのそれぞれを、複数の対象物のそれぞれの移動距離として計算する。具体的には、移動距離計算部３１３は、サイズ取得部１６０によって取得されたサイズ情報を参照して、領域分割部３１２ｂによって分割された領域毎に、移動距離を計算する。
【０１６９】
図１１Ｂに示すように、フレーム６１で画面中央左寄りに位置する蝶３４は、次のフレーム６２で右寄りに位置している。実施の形態２で説明したようにブロックマッチング法を用いて動きベクトルを決定する。具体的には、フレーム６１の蝶３４を含むブロックから、フレーム６２の中で蝶３４を含むブロックへの動きベクトルは、動きベクトル６３となる。例えば、画像の大きさが横１２８０画素、縦７２０画素である場合、動きベクトル６３の大きさは、例えば３２０画素である。つまり、蝶３４は、フレーム６１とフレーム６２との間の時間で、画面の約１／４を移動している。
【０１７０】
また、フレーム６１で画面右端に位置する草３２は、フレーム６２では左端に位置している。フレーム６１の右端の草３２を含むブロックから、フレーム６２の草３２を含むブロックへの動きベクトルは、動きベクトル６４となる。動きベクトル６４の大きさは、例えば１１５０画素である。つまり、草３２は、カメラ４０のパンによって、フレーム６１とフレーム６２との間の時間で、画面の約９／１０を移動している。
【０１７１】
例えば、表示部１５０が４０型のディスプレイである場合、画面の横幅は８８．３９ｃｍ、縦が４９．７８ｃｍであるので、動きベクトル６３の大きさは、画面上では約２２ｃｍとなる。動きベクトル６４の大きさは画面上では約７９ｃｍとなる。
【０１７２】
つまり、本変形例に係る移動距離計算部３１３は、実施の形態２では対象フレームにつき１つの移動距離を計算したのに対して、領域分割部３１２ｂによって分割された領域毎に移動距離を計算する点が異なっている。具体的な移動距離の計算方法は、図９を用いて説明した通りである。
【０１７３】
眼球角速度算出部３２０は、複数の移動距離のそれぞれと、観視距離ｄとに基づいて、複数の眼球角速度を算出する。つまり、眼球角速度算出部３２０は、複数の対象物の各々に対する観視者の眼球の角速度を算出する。具体的には、眼球角速度算出部３２０は、距離取得部１７０によって取得された距離情報を参照して、領域分割部３１２ｂによって分割された領域毎に、眼球角速度を算出する。
【０１７４】
例えば、距離取得部１７０によって取得された距離情報により、観視者と画面との観視距離ｄが例えば１５０ｃｍであり、表示部１５０が４０型ディスプレイであるとする。動きベクトル６３として計算された動画像に含まれる蝶３４を見る際に、観視者の眼球が運動する角度は、約８度である。例えば、動画像のフレームレートが３０Ｈｚである場合、動画像に含まれる蝶３４を見る際の観視者の眼球角速度は、約２５４度／秒である。一方、観視者が動画像に含まれる草３２を見る際に、観視者の眼球が運動する角度は、約３０度であるので、眼球角速度は、約８９４度／秒である。
【０１７５】
判定部３３０は、判定部１３０の機能に加えて、さらに、動きベクトル決定部３１２によって決定された複数の動きベクトルに基づいて、動画像が追従動画像であるか否かを判定する。追従動画像は、複数の対象物のうちの特定の対象物を追従する動画像である。つまり、追従動画像は、カメラが所定の被写体を追従して撮影することで生成された動画像である。
【０１７６】
例えば、カメラがパン又はチルトにより所定の移動体を追従して撮影した場合、当該移動体に対応する画像領域では動きが少ないのに対して、周囲の背景は大きく移動する。例えば、図１１Ａ及び図１１Ｂに示す例では、蝶３４を追随して撮影している。このため、画像中の蝶３４が位置する領域では動きが少なく、それ以外の対象物、例えば、草３２のような、蝶３４以外の周囲の背景は大きく移動する。
【０１７７】
このように、移動体を追従して撮影して得られた動画像は、眼球角速度が閾値角速度未満になる領域と、眼球角速度が閾値角速度以上になる領域とを含む場合がある。したがって、判定部３３０は、例えば、領域毎に眼球角速度と閾値角速度とを比較することで、動画像が追従動画像であるか否かを判定することができる。このように、観視者の眼球の運動を観察するためのカメラ又はセンサなどを用いることなく、動画像が追従動画像であるか否かを判定することができる。
【０１７８】
つまり、本実施の形態では、判定部３３０は、眼球角速度算出部３２０によって算出された全ての眼球角速度が、衝動性眼球運動における眼球角速度の下限値（閾値角速度）以上であるか否かを判定する。具体的には、判定部３３０は、眼球角速度算出部３２０が計算した領域毎の眼球角速度のうち最小の眼球角速度が閾値記憶部１８０に記憶された閾値角速度以上であるか否かを判定する。最小の眼球角速度が閾値角速度以上であると判定された場合、全ての領域、すなわち、画像全体が衝動性眼球運動の速度以上で動いているとみなすことができる。つまり、判定部３３０は、当該動画像が、対象物を追従する追従動画像ではないと判定することができる。
【０１７９】
図１２Ａは、動きを有する対象物（移動体）をカメラ４０が追随することなく撮影する様子を模式的に示す図である。図１２Ａに示すように、移動体（蝶３４）と背景（花３１など）とが撮影の対象物となっているが、カメラ４０は移動体を追随せず、移動体の動きとは異なる動きをしている。
【０１８０】
図１２Ｂは、図１２Ａに示すカメラ４０が撮影した動画像に含まれる複数のフレームを示す図である。図１２Ｂでは、フレーム７１〜７４を時系列で順に並べている。また、図１２Ｂには、実線の矢印で動きベクトル７５〜７８を示している。なお、図１２Ｂにおいて、蝶３４を含むブロック及び草３２の一部を含むブロックにそれぞれ、異なる網掛けを付している。
【０１８１】
動きベクトル７５、７７及び７８は、背景である草３２の動きベクトルである。動きベクトル７６は、移動体である蝶３４の動きベクトルである。
【０１８２】
ここで、例えば、動きベクトル７５、７７及び７８の各々の大きさが２６０画素であり、動きベクトル７６の大きさが１０２０画素であるとする。この場合、４０型ディスプレイの画面上では、草３２の画面上での移動距離は、１フレームあたり約１８ｃｍとなる。蝶３４の画面上での移動は約７０ｃｍとなる。観視距離ｄが１５０ｃｍで、動画像のフレームレートが６０Ｈｚ、すなわち、連続する２つのフレームの時間間隔ｔが１７ｍｓであるとする。この場合、観視者が草３２を見る際の眼球角速度は、約４０４度／秒である。蝶３４を見る際の眼球角速度は約１５４５度／秒である。
【０１８３】
草３２以外の背景に対する眼球運動の角速度も、一例として計算した草３２の角速度と同等である。したがって、最小の眼球の角速度が４００度／秒であった場合、最小の眼球の角速度が閾値角速度以上であると判定される。すなわち、画像の全領域が衝動性眼球運動の速度以上で動いているとみなすことができ、当該動画像が追従動画像ではないと判定することができる。
【０１８４】
一方で、最小の眼球角速度が閾値角速度未満であると判定された場合、当該領域は少なくとも、衝動性眼球運動の速度以上では動いていないとみなすことができる。つまり、判定部３３０は、当該動画像が追従動画像であると判定することができる。
【０１８５】
図１２Ａ及び図１２Ｂの例で、フレームレートが３０Ｈｚの場合には、観視者が蝶３４を見る際の眼球角速度は、約２０２度／秒となり、閾値角速度未満である。この場合では、蝶３４の領域は、衝動性眼球運動に相当する速度以上で動いてはいないとみなすことができ、当該動画像が追従動画像であると判定することができる。
【０１８６】
なお、画像処理部１４０は、判定部３３０による判定結果に基づいて、停止処理又は置換処理を行なう。具体的には、画像処理部１４０は、眼球角速度が閾値角速度以上であると判定され、かつ、動画像が追従動画像であると判定された場合、停止処理及び置換処理のいずれも行なわない。また、画像処理部１４０は、眼球角速度が閾値角速度未満であると判定された場合には、動画像が追従動画像であるか否かに関わらず、停止処理及び置換処理のいずれも行わない。
【０１８７】
すなわち、画像処理部１４０は、眼球角速度が閾値角速度以上であると判定され、かつ、動画像が追従動画像ではないと判定された場合にのみ、停止処理又は置換処理を行なう。具体的には、画像処理部１４０は、複数の眼球角速度のうち最小の眼球角速度が閾値角速度以上であると判定された場合にのみ、停止処理又は置換処理を行なう。
【０１８８】
［画像表示装置の動作］
続いて、本変形例に係る画像表示装置３００の動作について、図１３を用いて説明する。図１３は、本変形例に係る画像表示装置３００の動作の一例を示すフローチャートである。
【０１８９】
図１３に示すように、対象フレームが最終フレームであるか否かの判定までの処理（ステップＳ２１０〜Ｓ１２０）は、図６に示す実施の形態２の画像表示装置１００の動作と同一の動作である。
【０１９０】
次に、動きベクトル計算部３１２ａは、対象フレームの次のフレームを画像取得部１１１から取得し、対象フレームと次のフレームとの間での複数の動きベクトルを決定する（ステップＳ３３０）。具体的には、図７に示すステップＳ２３１〜Ｓ２３６に従って、動きベクトル計算部３１２ａは、抽出ブロック毎に動きベクトルを計算する。
【０１９１】
次に、領域分割部３１２ｂは、動きベクトル計算部３１２ａが計算した抽出ブロック毎の動きベクトルの方向と大きさとの分布に基づき、対象フレームの領域分割を行う（ステップＳ３３５）。
【０１９２】
ここで、ステップＳ３３５の領域分割の方法の詳細について、図１４を用いて説明する。図１４は、本変形例に係る画像表示装置３００による動きベクトルを用いた領域分割方法の一例を示すフローチャートである。本変形例では、動きベクトルを用いた領域分割の一例として、複数の動きベクトルをクラスタリングによって分類する方法を説明する。
【０１９３】
まず、領域分割部３１２ｂは、複数の動きベクトルを分類する（ステップＳ３３６）。具体的には、領域分割部３１２ｂは、対象フレームの複数の抽出ブロックの動きベクトルを取得し、ベクトルの向きと大きさとに基づいて複数の動きベクトルをクラスタリングする。クラスタリングの手法は、一般的な統計手法のいずれでもよい。例えば、領域分割部３１２ｂは、最短距離法などの階層的手法、又は、ｋ−ｍｅａｎｓ法などの分割最適化手法などを、クラスタリングの手法として利用することができる。
【０１９４】
次に、領域分割部３１２ｂは、複数の動きベクトルのクラスタリング結果に従って、複数の抽出ブロックをグループ分けすることで、対象フレームを１以上の領域に分割する（ステップＳ３３７）。
【０１９５】
さらに、領域分割部３１２ｂは、分割された１以上の領域のうち、一定以上の大きさの領域を抽出する（ステップＳ３３８）。具体的には、まず、領域分割部３１２ｂは、分割された１以上の領域のそれぞれの面積（画素数）を求める。そして、領域分割部３１２ｂは、分割された１以上の領域の中から、予め定められた面積以上の連続した領域のみを抽出する。例えば、領域分割部３１２ｂは、全画面の０．１％以上の面積を持つ連続した領域を抽出する。なお、面積の基準値は、一例として０．１％としたが、これ以外の値でもよい。基準値に満たない面積の領域、すなわち、抽出しなかった領域については、以降の処理（図１４に示すステップＳ３３９、及び、図１３に示すステップＳ３４０からステップＳ１８０）を行わない。
【０１９６】
次に、領域分割部３１２ｂは、抽出した領域毎に動きベクトルを決定する（ステップＳ３３９）。つまり、領域分割部３１２ｂは、抽出した領域のそれぞれを代表する動きベクトルを決定する。例えば、領域分割部３１２ｂは、抽出した領域毎に、当該領域を構成する１以上の抽出ブロックのそれぞれの動きベクトルを平均することで、平均ベクトルを生成する。抽出した領域毎の平均ベクトルが、対応する領域を代表する動きベクトルである。
【０１９７】
図１３に戻り、移動距離計算部３１３は、ステップＳ３３５で分割され抽出された領域毎に、移動距離を計算する（ステップＳ３４０）。具体的には、抽出された領域毎の動きベクトルと、サイズ取得部１６０によって取得されたサイズ情報とを用いて、複数の動きベクトルのそれぞれに対応する移動距離を計算する。移動距離の計算については、実施の形態２の図９に示した通りである。
【０１９８】
次に、眼球角速度算出部３２０は、抽出された領域毎に、眼球角速度を算出する（ステップＳ３５０）。具体的には、眼球角速度算出部３２０は、図３を用いて説明したように、距離取得部１７０によって取得された距離情報と、複数の移動距離とに基づいて、複数の移動距離のそれぞれに対応する眼球角速度を算出する。
【０１９９】
次に、判定部３３０は、複数の眼球角速度のうち最小の眼球角速度が閾値角速度以上であるか否かを判定する（Ｓ３６０）。具体的には、判定部３３０は、閾値記憶部１８０に記憶された閾値角速度を読み出し、領域毎に算出された角速度のうち最も小さい角速度が閾値角速度以上であるか否かを判定する。
【０２００】
最小の眼球角速度が閾値角速度以上であると判定された場合（ステップＳ３６０でＹｅｓ）、画像処理部１４０は、停止処理又は置換処理を行なう（ステップＳ１７０）。最小の眼球角速度が閾値角速度未満であると判定された場合（ステップＳ３６０においてＮｏ）、表示部１５０は、動画像の対象フレームを出力、すなわち、表示する（ステップＳ１８０）。画像処理部１４０及び表示部１５０の具体的な処理は、実施の形態２と同様である。
【０２０１】
対象フレーム、又は、置換後のフレームの出力（ステップＳ１８０）後は、画像表示装置３００は、次のフレームを新たな対象フレームとして取得し、ステップＳ１２０以降の処理を繰り返す。
【０２０２】
［まとめ］
以上のように、本変形例では、画像処理部１４０は、眼球角速度算出部３２０によって算出された全ての眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であると判定部３３０によって判定された場合、動画像を停止し、又は、動画像を単色画像に置換する。具体的には、領域分割部３１２ｂが、動きベクトルを用いて対象フレームを１以上の領域に分割し、１以上の領域のうち最も動きの小さい領域に対応する眼球角速度が閾値角速度以上である場合にのみ、画像処理部１４０は、停止処理又は置換処理を行う。また、画像処理部１４０は、眼球角速度算出部３２０によって算出された眼球角速度の少なくとも１つが、衝動性眼球運動における眼球角速度の下限値未満であると判定部３３０によって判定された場合には、動画像を停止せず、かつ、動画像を単色画像に置換しない。
【０２０３】
これにより、例えば、カメラが高速移動をする移動体に追従してパン又はチルトをしている場合などでは、停止処理及び置換処理のいずれも行わない。すなわち、背景が衝動性眼球運動に対応する速度で動いていても、対象物（移動体に相当する領域）は、画像内で大きく動いていないような動画像に対しては、停止処理及び置換処理を行わない。したがって、移動する対象物に追従する動画像の劣化を抑制しつつ、画像全体が高速に移動することによる映像酔い及び眼の疲労を軽減することができる。
【０２０４】
なお、本変形例では、領域分割部３１２ｂは、複数の動きベクトルのそれぞれを、当該動きベクトルに対応する領域の画像内での位置に関わらず同様に取り扱ったが、動きベクトルに対応する画像内での位置によって重み、又は、条件をつけて領域を分割してもよい。例えば、ベクトルのクラスタリングによる領域分割において、領域分割部３１２ｂは、画像の中心部ではより小さい領域を抽出し、画像の周辺部においてはより大きい領域を抽出してもよい。また、例えば、領域分割部３１２ｂは、画像の中心部では連続した領域を抽出し、画像の周辺部では、不連続であっても、ベクトルのクラスタが同じであれば１つの領域として抽出してもよい。
【０２０５】
図１５は、本変形例において、画像を分割するサイズを異ならせる例を示す図である。具体的には、図１５に示すように、フレーム８０の中央部分では、領域（ブロック）の分割をより細かく行い、フレーム８０の周辺部では、領域の分割を粗く行っている。言い換えると、動きベクトル決定部３１２（領域分割部３１２ｂ）は、フレーム８０に含まれる画像を、フレーム８０の周辺部よりもフレーム８０の中央部でより多くの数になるように、複数のブロックに分割する。なお、図１５では、１つのフレーム８０のみを示しているが、領域分割部３１２ｂは、連続する２つのフレームに含まれる画像を同じように分割する。
【０２０６】
したがって、フレーム８０の中央部に位置するブロック８１は、フレーム８０の周辺部に位置するブロック８２より小さい。例えば、ブロック８１の縦及び横は、ブロック８２の縦及び横の１／２倍である。なお、ここでは、ブロックの縦及び横の両方の長さを異ならせたが、縦及び横の一方のみの長さを異ならせてもよい。
【０２０７】
追従動画像の場合に、追従する移動体は、フレーム８０の中央部に位置する可能性が高い。フレーム８０の中央部の領域分割を細かくすることで、多数の動きベクトルを算出することができる。これにより、例えば、カメラ４０が小さな移動体を追従している場合にも対応でき、追従動画像の判定の精度を高めることができる。
【０２０８】
図１６は、本変形例において、複数のブロックを動きベクトルの類似度に応じて結合する例を示す図である。すなわち、図１６は、動きベクトルによる領域のクラスタリングを説明するための図である。
【０２０９】
動きベクトル決定部３１２（領域分割部３１２ｂ）は、隣接する２つのブロックの各々の動きベクトルが類似する場合、隣接する２つのブロックを結合して１つのブロックにする。２つのブロックで動きベクトルが類似する場合とは、２つのブロックの各々の動きベクトルが同一、又は、略同一である場合である。具体的には、２つのブロックの各々の動きベクトルの大きさ及び方向の差分が、所定の範囲（例えば、数％）内にある場合に、２つのブロックの各々の動きベクトルは類似する。
【０２１０】
例えば、図１６の右側の草３２が位置している１６個のブロックでは、動きベクトルが略同一である。そこで、１６個のブロックを１つの領域９１として動きベクトルを１つにすることができる。
【０２１１】
さらに、隣り合う領域のみでなく、動きベクトルが同一、又は、略同一とみなせる場合には、離れた領域であっても動きベクトルを共有する領域として統一するとしてもよい。例えば、図１６では、左端に花３１が位置する３つの隣り合うブロックがある。この３つのブロックは、動きベクトルが互いに略同一であるので、１つの領域９２に統合することができる。さらには、花３１が位置する領域９２の動きベクトルは、右側の草３２の位置する領域９１の動きベクトルと略同一であるので、２つの隣り合ってはいない領域９１及び９２をも１つの領域として統合し、動きベクトルを共有してもよい。
【０２１２】
また、本変形例では、判定部３３０は、動画像が追従動画像であることを、動きベクトルによる領域分割と、領域毎の眼球角速度とのみによって判定したが、これに限らない。例えば、判定部３３０は、領域の色又は輪郭を用いた画像認識処理等により、動画像が追従動画像であるか否かを判定してもよい。
【０２１３】
また、本変形例では、領域分割部３１２ｂが領域分割し、移動距離計算部３１３が領域毎の移動距離を計算し、眼球角速度算出部３２０が領域毎の眼球角速度を計算した。そして、判定部３３０は、領域毎に計算された眼球角速度のうちの最小値を用いて判定を行った。
【０２１４】
しかしながら、眼球角速度算出部３２０は、複数の移動距離のうちの最小の移動距離と観視距離とに基づいて、眼球角速度を算出してもよい。つまり、眼球角速度算出部３２０は、最小の移動距離に対応する１つのみの眼球角速度を算出してもよい。具体的には、移動距離計算部３１３が領域毎に計算した動きベクトルの大きさ（すなわち、移動距離）のうち、最小の動きベクトルについてのみ、眼球角速度を計算してもよい。この場合には、判定部３３０は、眼球角速度算出部３２０によって計算された唯一の眼球角速度の判定を行えばよい。これにより、眼球角速度の算出に要する処理量を削減することができる。
【０２１５】
（実施の形態２の変形例２）
実施の形態２の変形例２に係る画像表示装置は、画面のサイズと観視距離とを対応付けた距離対応表を保持し、画面のサイズから観視距離を決定して眼球角速度を計算する。
【０２１６】
画面（ディスプレイ又はモニタ）のサイズと観視距離とには相関がある。例えば、一般に、標準観視距離は、画面（ディスプレイ）の高さの３倍の距離とされている。これにより、観視距離の入力又は測距が不要となり、簡易な構成で、映像酔い及び眼の疲労を軽減することができる。
【０２１７】
まず、本変形例に係る画像表示装置について、図１７を用いて説明する。図１７は、本変形例の画像表示装置４００の構成の一例を示すブロック図である。
【０２１８】
図１７に示すように、画像表示装置４００は、画像判定装置４０１と、画像処理部１４０と、表示部１５０とを備える。画像判定装置４０１は、図５に示す画像判定装置１０１と比較して、眼球角速度算出部１２０と、距離取得部１７０との代わりに、眼球角速度算出部４２０と、距離対応表４７１を記憶するための記憶部４７０とを備える点が異なっている。以下では、実施の形態２と異なる点を中心に説明し、図５と同じ構成については、説明を省略する場合がある。
【０２１９】
記憶部４７０は、距離対応表４７１を記憶するためのメモリなどである。記憶部４７０は、例えば、予め定められた距離対応表４７１を記憶している。
【０２２０】
距離対応表４７１は、１以上の画面のサイズと１以上の観視距離とを対応付けたテーブルである。具体的には、距離対応表４７１は、複数の画面のサイズと、それぞれの標準観視距離とを対応付けている。
【０２２１】
図１８は、本変形例に係る距離対応表４７１の一例を示す図である。図１８に示すように、距離対応表４７１は、例えば、画面のサイズとして、画面の縦の長さと横の長さとを含んでいる。また、距離対応表４７１は、それぞれの画面のサイズに対応する標準観視距離を含んでいる。上述したように、画面のサイズに対応付けられる観視距離は、画面のサイズの縦の長さの略３倍である。
【０２２２】
眼球角速度算出部４２０は、距離対応表４７１を参照することで、サイズ取得部１６０によって取得されたサイズに対応する観視距離を取得し、取得した観視距離と、移動距離計算部１１３によって計算された移動距離とを用いて、眼球角速度を算出する。具体的には、眼球角速度算出部４２０は、サイズ取得部１６０によって取得されたサイズ情報に対応する観視距離を、距離対応表４７１を参照して選択する。そして、眼球角速度算出部４２０は、距離対応表４７１から選択した観視距離を用いて、移動距離計算部１１３によって計算された移動距離を眼球角速度に変換する。具体的な眼球角速度の算出の方法については、実施の形態２と同様であるので説明を省略する。
【０２２３】
例えば、サイズ取得部１６０が取得した画面のサイズ情報において、画面の縦が５９７ｍｍ、横が１０６０ｍｍであった場合、眼球角速度算出部４２０は、図１８の距離対応表４７１を参照し、取得した画面サイズと等しい、４８型の画面サイズを特定する。眼球角速度算出部４２０は、特定された画面サイズに対応する観視距離である１８００ｍｍの値を取得する。
【０２２４】
このようにして、本変形例に係る画像表示装置４００では、距離対応表４７１を保持しておくことで、観視距離の入力又は測距を行なう必要がなく、観視者の入力の手間を省略することができ、ユーザ利便性を高めることができる。あるいは、測距のためのセンサ又は処理が不要になるので、簡易な構成で映像酔いなどを軽減することができる。
【０２２５】
（実施の形態２の変形例３）
上述した実施の形態及びその変形例では、判定に用いる閾値角速度が固定値である例について説明したのに対して、実施の形態２の変形例３に係る画像表示装置では、観視者の視野の大きさと画面のサイズとの比に基づいて、閾値角速度を調整する。
【０２２６】
例えば、映像酔いのように、視覚での運動の知覚と前庭感覚などの他の感覚とのずれによって起こる現象については、一般に広い視野での運動の知覚の方が、狭い視野での運動の知覚より影響が大きいとされている。本変形例に係る画像表示装置は、広い視野での運動の知覚の影響が大きく、狭い視野での運動の知覚の影響は小さいことを利用する。具体的には、本変形例に係る画像表示装置は、観視者の視野の大きさに対して画面のサイズが大きいときには停止処理などを行い、観視者の視野の大きさに対して画面のサイズが小さいときには、閾値角速度を大きな値に調整することで、映像酔いなどを起こしにくい動画像に対して不必要な処理を行わないようにする。
【０２２７】
人間の視野の大きさについては、一般に、両眼視野は、頭部が正立している場合の水平方向に１２０度程度といわれている。
【０２２８】
図１９は、観視者の水平視野と画面の水平方向の大きさとの関係を模式的に示す図である。図１９に示すように、観視者の視野の大きさに対する画面のサイズの比は、例えば、１２０度の両眼水平視野に対する、観視者２１０が観視する画面２００の水平方向の長さｗに対応する角度の比率である。
【０２２９】
［画像表示装置の構成］
図２０は、本変形例に係る画像表示装置５００の構成の一例を示すブロック図である。
【０２３０】
図２０に示すように、画像表示装置５００は、画像判定装置５０１と、画像処理部１４０と、表示部１５０とを備える。画像判定装置５０１は、図５に示す画像判定装置１０１と比較して、新たに、閾値調整表５７１を記憶するための記憶部５７０、及び、画面比計算部５９０を備える点と、判定部１３０の代わりに判定部５３０を備える点とが異なっている。以下では、実施の形態２と異なる点を中心に説明し、図５と同じ構成については、説明を省略する場合がある。
【０２３１】
画面比計算部５９０は、観視者の視野の大きさに対する、動画像が表示される画面のサイズの比（以下、画面比と記載する場合がある）を計算する。具体的には、画面比計算部５９０は、観視者の視野の大きさに対して、画面が占める大きさを計算する。
【０２３２】
画面比は、例えば、図１９に示すように、観視者２１０の両眼水平視野１２０度に対して、観視者２１０が観視する画面２００の水平方向の長さｗに対応する視野角ｘが占める割合である。例えば、画面比計算部５９０は、サイズ取得部１６０から取得した画面２００の水平方向の長さｗと、距離取得部１７０から取得した観視距離ｄとを用いて、画面比を算出する。具体的には、視野角ｘは、以下の（式４）により算出される。
【０２３３】
（式４）  ｘ＝２ａｒｃｔａｎ（ｗ／２ｄ）
【０２３４】
さらに、画面比計算部５９０は、視野角ｘを、観視者の視野の大きさである１２０度で除すことで、画面比を計算する。
【０２３５】
例えば、縦が４９．８ｃｍ、横幅が８８．４ｃｍの４０型のディスプレイを観視する例では、観視距離が、標準観視距離とされる縦の長さの３倍の距離、すなわち、約１５０ｃｍである場合、視野角は約３３度となる。したがって、画面比は、約０．２７となる。同じ４０型のディスプレイであっても、観視距離が１００ｃｍの場合には、視野角は約４８度となり、画面比は約０．４となる。このように、同じディスプレイを観視する場合であっても、観視距離に応じて視野角及び画面比は異なる。
【０２３６】
ディスプレイが小さい場合は、縦が２４．９ｃｍ、横幅が４４．２ｃｍの２０型であれば、観視距離が１００ｃｍであっても視野角は約２５度であり、画面比は約０．２である。縦が１０．０ｃｍ、横幅が１７．７ｃｍの８型の小型ディスプレイの場合は、観視距離が３０ｃｍであっても視野角は約３３度であり、画面比は０．２７である。
【０２３７】
標準的な画面比は、０．３程度である。これより画面比が小さい場合には、映像酔いを起こしにくいため、調整比を設けることで観視者の画面観視の妨げになることを抑制することができる。
【０２３８】
例えば、図２Ａ及び図２Ｂの例において、４０型のディスプレイで、観視距離が１５０ｃｍの場合、眼球角速度は５１５度／秒となり、閾値角速度である３５０度／秒を上回った。観視距離が２００ｃｍの場合であっても、眼球角速度は３８０度／秒となり、閾値角速度である３５０度／秒を上回っている。
【０２３９】
しかし、４０型のディスプレイで観視距離が２００ｃｍの場合、画面比は約０．２１である。したがって、閾値角速度の調整比１．２が適用され、閾値角速度は、３８０度／秒を１．２倍して４２０度／秒となる。
【０２４０】
図２Ａ及び図２Ｂの例では、観視距離が２００ｃｍの場合には、眼球角速度（３８０度／秒）は、調整された閾値角速度（４２０度／秒）を下回るため、画像の停止処理又は置換処理は行なわれない。
【０２４１】
記憶部５７０は、閾値調整表５７１を記憶するためのメモリなどである。記憶部５７０は、予め定められた閾値調整表５７１を記憶している。
【０２４２】
閾値調整表５７１は、観視者の視野の大きさに対する画面のサイズの１以上の比と、閾値角速度を決定するための１以上のパラメータとを対応付けたテーブルである。つまり、閾値調整表５７１は、１以上の画面比と、１以上の閾値調整用のパラメータとを対応付けている。具体的には、閾値調整表５７１は、画面比が大きくなると閾値角速度が小さくなり、画面比が小さくなると閾値角速度が大きくなるように閾値角速度を調整するためのパラメータを記憶する。
【０２４３】
図２１は、本変形例に係る閾値調整表５７１の一例を示す図である。図２１に示す例では、画面比の複数の範囲に対して、閾値角速度を調整するための調整比が対応付けられている。画面比が小さい程、大きな値の調整比が対応付けられている。
【０２４４】
なお、調整比は、予め定められた閾値角速度に乗ずる値である。つまり、調整比が大きい程、調整後の閾値角速度は大きくなる。画面比が小さい程、観視者の視野に対する画面の割合が小さく、映像酔いを起こしにくい。したがって、閾値角速度を大きな値に調整することで、映像酔いと判定されにくくすることができ、観視者による画面の観視の妨げになることを抑制することができる。
【０２４５】
判定部５３０は、判定部１３０の機能に加えて、さらに、閾値調整表５７１を参照することで、画面比計算部５９０によって計算された画面比に対応するパラメータを取得し、取得したパラメータを用いて閾値角速度を決定する。そして、判定部５３０は、眼球角速度が、決定した閾値角速度以上であるか否かを判定する。
【０２４６】
具体的には、判定部５３０は、閾値調整表５７１を参照することで、画面比計算部５９０によって算出された画面比に対応する調整比を取得し、取得した調整比を用いて、閾値記憶部１８０に記憶された閾値角速度を調整する。そして、判定部５３０は、調整後の閾値角速度と、眼球角速度算出部１２０によって算出された眼球角速度とを比較することで、動画像が映像酔い起こし得るか否かを判定する。
【０２４７】
［画像表示装置の動作］
続いて、本変形例に係る画像表示装置５００の動作について、図２２を用いて説明する。図２２は、本変形例に係る画像表示装置５００の動作の一例を示すフローチャートである。
【０２４８】
図２２に示すように、眼球角速度を算出するまでの処理（ステップＳ２１０〜Ｓ２５０）は、図６に示す実施の形態２の画像表示装置１００の動作と同一の動作である。
【０２４９】
画面比計算部５９０は、サイズ取得部１６０が取得したサイズ情報のうち画面の水平方向の長さの情報と、距離取得部１７０が取得した距離情報とに基づいて、画面比を計算する（ステップＳ４５０）。
【０２５０】
ここで、ステップＳ４５０の画面比の算出方法の詳細について、図２３を用いて説明する。図２３は、本変形例に係る画像表示装置５００による画面比の算出方法の一例を示すフローチャートである。
【０２５１】
画面比計算部５９０は、サイズ取得部１６０から、観視者が観視している画面の水平方向の長さを取得する（ステップＳ４５１）。次に、画面比計算部５９０は、距離取得部１７０から観視距離を取得する（ステップＳ４５２）。
【０２５２】
さらに、画面比計算部５９０は、ステップＳ４５１で取得した画面の水平方向の長さに対応する視野角ｘを計算する（ステップＳ４５３）。そして、画面比計算部５９０は、視野角ｘを、観視者の水平視野の大きさ、例えば、１２０度で除すことで、画面比を計算する（ステップＳ４５４）。
【０２５３】
図２２に戻り、判定部５３０は、閾値記憶部１８０に記憶された閾値角速度を調整する（ステップＳ４５５）。具体的には、まず、判定部５３０は、画面比計算部５９０によって算出された画面比に基づき、閾値調整表５７１を参照することで、閾値記憶部１８０に記憶された閾値角速度を調整するための調整比を取得する。さらに、判定部５３０は、調整比を閾値記憶部１８０に記憶された閾値角速度に乗じることで、閾値角速度を調整する。
【０２５４】
なお、本変形例では、閾値調整用のパラメータが調整比であり、判定部５３０は、閾値角速度に調整比を乗ずることで閾値の調整を行ったが、いかなる調整方法を用いてもよい。ただし、画面比が大きくなると閾値角速度が小さくなり、画面比が小さくなると閾値角速度が大きくなるように、閾値角速度を調整する。
【０２５５】
以降の処理については、実施の形態２と同様であるので、説明を省略する。
【０２５６】
［まとめ］
以上のように、本変形例に係る画像表示装置５００は、視野に対して画面が占める割合（画面比）に応じて閾値角速度を調整し、調整された閾値角速度と眼球角速度とを比較する。これにより、観視者の映像酔い及び眼の疲労を軽減し、かつ、映像酔いなどを起こしにくい画面に対して不要な処理を避けることができる。
【０２５７】
なお、本変形例において、画面比の算出（ステップＳ４５０）と閾値角速度の調整（ステップＳ４５５）とは、眼球角速度の算出（ステップＳ２５０）と閾値判定（ステップＳ１６０）との間で行なったが、これに限らない。例えば、画面比の算出（ステップＳ４５０）は、最終フレームの判定（ステップＳ１２０）以降で、閾値角速度の調整（ステップＳ４５５）以前であればいずれのタイミングで動作してもよい。また、閾値角速度の調整（ステップＳ４５５）は、画面比の算出（ステップＳ４５０）以降で、閾値判定（ステップＳ１６０）以前であればいずれのタイミングで動作してもよい。
【０２５８】
また、本変形例において、画面の水平方向の長さの取得（ステップＳ４５１）と観視距離の取得（ステップＳ４５２）との順序についても、これ以外でもよい。
【０２５９】
また、本変形例において、閾値調整用のパラメータが調整比である例について説明したが、これに限らない。例えば、パラメータは、閾値角速度を調整するための関数でもよい。
【０２６０】
（実施の形態３）
上述した実施の形態及び変形例では、動画像をフレーム毎に処理して表示する例について説明したが、実施の形態３に係る画像処理装置は、眼球角速度が閾値角速度以上であると判定された場合に、動画像を停止させ、又は、動画像を単色画像に置換させるためのタグ情報を付加する画像編集部を備える。具体的には、本実施の形態に係る画像処理装置を備える画像表示システムでは、フレーム毎の判定結果を蓄積し、動画像データの再生時の画面の大きさ等に応じて停止処理又は置換処理を行なうためのタグ情報を付加する。これにより、動画再生の度に処理を行うことなく、画像全体の急速な移動による映像酔い及び眼の疲労を軽減することのできる動画像データを生成することができる。
【０２６１】
［画像表示システムの構成］
まず、本実施の形態に係る画像表示システムについて、図２４及び図２５を用いて説明する。図２４は、本実施の形態に係る画像表示システム６００の構成の一例を示すブロック図である。図２５は、本実施の形態に係る画像判定装置７０１の構成の一例を示すブロック図である。
【０２６２】
図２４に示すように、画像表示システム６００は、画像処理装置７００と、画像表示装置６１０とを備える。画像処理装置７００は、画像判定装置７０１と、画像編集部７９０と、出力部７５０とを備える。
【０２６３】
［画像処理装置の構成］
まず、画像処理装置７００が備える画像判定装置７０１について、図２５を用いて説明する。図２５に示すように、画像判定装置７０１は、取得部７１０と、眼球角速度算出部７２０と、判定部７３０と、距離対応表７７１を記憶するための記憶部７７０と、閾値記憶部１８０とを備える。取得部７１０は、図５に示す取得部１１０と比較して、移動距離計算部１１３の代わりに移動距離計算部７１３を備える点が異なっている。以下では、実施の形態２と異なる点を中心に説明し、図５と同じ構成については、説明を省略する場合がある。
【０２６４】
移動距離計算部７１３は、所定の画面のサイズに基づいて、動きベクトルの画面上での大きさを、対象物の移動距離として計算する。具体的には、移動距離計算部７１３は、距離対応表７７１が示す画面のサイズ情報に基づいて、動きベクトル決定部１１２によって決定された動きベクトルから、画面のサイズ毎の移動距離を計算する。つまり、移動距離計算部７１３は、距離対応表７７１が示す複数の画面のサイズのそれぞれに対応する移動距離を計算する。具体的な移動距離の計算方法は、実施の形態２などと同じである。
【０２６５】
眼球角速度算出部７２０は、移動距離計算部７１３によって計算された移動距離を用いて、眼球角速度を算出する。例えば、まず、眼球角速度算出部７２０は、距離対応表７７１を参照することで、画面のサイズ毎の観視距離を取得する。そして、眼球角速度算出部７２０は、取得した画面のサイズ毎の観視距離と、移動距離計算部７１３により計算された画面のサイズ毎の移動距離とを用いて、眼球角速度を算出する。つまり、眼球角速度算出部７２０は、画面のサイズ毎に眼球角速度を算出する。具体的な眼球角速度の算出方法は、実施の形態２などと同じである。
【０２６６】
判定部７３０は、判定部１３０と同様に、眼球角速度が閾値角速度以上であるか否かを判定する。具体的には、判定部７３０は、画面のサイズ毎に算出された眼球角速度と、閾値記憶部１８０に記憶された閾値角速度とを比較することで、画面のサイズ毎に、停止処理又は置換処理を行うか否かを判定する。
【０２６７】
記憶部７７０は、距離対応表７７１を記憶するためのメモリなどである。記憶部７７０は、例えば、予め定められた距離対応表７７１を記憶している。
【０２６８】
距離対応表７７１は、１以上の画面のサイズと１以上の観視距離とを対応付けたテーブルである。具体的には、距離対応表７７１は、サイズ情報と、画面サイズに対応した観視距離とを対応付けている。
【０２６９】
図２６は、本実施の形態に係る距離対応表７７１の一例を示す図である。図２６に示すように、距離対応表７７１は、例えば、画面のサイズとして、画面の縦の画素数と、横の画素数と、縦の長さと、横の長さとを含んでいる。また、距離対応表７７１は、各画面サイズに対応する観視距離を含んでいる。このときの観視距離は、例えば、画面のサイズの縦の長さの略３倍である。
【０２７０】
続いて、画像編集部７９０の構成について、図２４を用いて説明する。画像編集部７９０は、判定蓄積部７９１と、タグ生成部７９２と、タグ付加部７９３とを備える。
【０２７１】
判定蓄積部７９１は、判定部７３０による判定結果を蓄積するためのメモリなどである。具体的には、判定蓄積部７９１は、判定部７３０から出力される、フレーム毎の眼球角速度の判定結果を蓄積する。
【０２７２】
タグ生成部７９２は、判定蓄積部７９１に蓄積された判定結果に基づいて、眼球角速度が閾値角速度以上であると判定された期間（以下では、編集区間と記載する場合がある）を示すタグ情報を生成する。具体的には、タグ生成部７９２は、判定蓄積部７９１に蓄積されたフレーム毎の判定結果に基づき、画像再生時に当該動画像を表示する画面のサイズと観視距離とに対応して、映像酔い及び眼の疲労を軽減するための停止処理又は置換処理を行うためのタグ情報を生成する。
【０２７３】
タグ付加部７９３は、動画像にタグ情報を付加する。具体的には、タグ付加部７９３は、タグ生成部７９２によって生成されたタグ情報と画像情報とを合わせて付加情報付き動画像情報（動画像データ）を生成する。
【０２７４】
図２７は、本実施の形態に係るタグ情報の一例を示す図である。例えば、図２７に示すように、動画像データ上の時間位置に対して、停止処理又は置換処理を行う条件が記載される。
【０２７５】
例えば、図２７の記述において、「ｓｔｏｐ  ｍｏｔｉｏｎ」は、停止処理を示す。「ｍｏｒｅ  ｔｈａｎ  ９００」及び「ｍｏｒｅ  ｔｈａｎ  ７００」はそれぞれ、停止処理又は置換処理を行なう条件の一例であり、例えば、横の画素数が９００画素又は７００画素以上の画面に当該動画像を表示させる場合に、停止処理を行なうこと示している。「＜ｓｔａｒｔ＞〜＜／ｅｎｄ＞」は、停止処理を行なう期間、すなわち、編集区間を示している。
【０２７６】
このように、タグ情報は、編集区間を特定するための情報と、停止処理などを行なうべき画面のサイズを特定するための情報とを含んでいる。当該画面のサイズ情報は、例えば、停止処理などを行なうべき画面の最小サイズを示す情報である。これにより、当該最小サイズより大きなサイズの画面に動画像を表示する場合には、停止処理などを行なうことができる。
【０２７７】
タグ情報は、例えば、動画像データがＭＰＥＧなどの規格で圧縮されている場合は、当該規格で定められるヘッダ部分などに付加される。
【０２７８】
出力部７５０は、タグ付加部７９３によって生成された付加情報付き動画像情報を、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などの記憶装置、又は、動画像再生装置等に出力する。本実施の形態では、出力部７５０は、付加情報付き動画像情報を画像表示装置６１０に出力する。
【０２７９】
［画像表示装置の構成］
次に、図２４に示す画像表示装置６１０について説明する。図２４に示すように、画像表示装置６１０は、動画像データ記憶部６１１と、サイズ取得部６１２と、タグ情報解析部６１３と、編集部６１４と、表示部６１５とを備える。
【０２８０】
動画像データ記憶部６１１は、画像処理装置７００が生成したタグ情報を含む動画像データを記憶するためのメモリなどである。
【０２８１】
サイズ取得部６１２は、表示部６１５の画面のサイズを取得する。具体的には、サイズ取得部６１２は、動画像を表示するディスプレイの画面のサイズを取得する。サイズ取得部６１２は、例えば、図示しない入力手段又は接続機器間の通信を介して、サイズ情報を取得してもよい。あるいは、サイズ取得部６１２は、画面が固定の場合には、予め記憶された画面のサイズ情報等を読み出して取得してもよい。
【０２８２】
タグ情報解析部６１３は、サイズ取得部６１２によって取得されたサイズを用いて、動画像に付加されたタグ情報を解析することで、停止処理又は置換処理を行なうべき期間を特定する。つまり、タグ情報解析部６１３は、眼球角速度が閾値角速度以上であると判定された期間、すなわち、編集区間を特定する。
【０２８３】
具体的には、タグ情報解析部６１３は、動画像データ記憶部６１１に記憶された動画像データのタグ情報より画像の移動距離による映像酔い又は眼の疲労を軽減するための編集区間に関する記述を抽出する。例えば、編集区間に関する記述は、図２７に示す「＜ｓｔａｒｔ＞〜＜／ｅｎｄ＞」である。
【０２８４】
編集部６１４は、タグ情報解析部６１３によって特定された編集区間の動画像を停止する停止処理、又は、当該編集区間の動画像を単色画像に置き換える置換処理を行なう。具体的な処理は、図５に示す画像処理部１４０と同様であるので、説明を省略する。
【０２８５】
表示部６１５は、動画像を表示する画面を有するモニタ又はディスプレイである。表示部６１５は、例えば、編集部６１４によって処理された動画像を画面に表示する。
【０２８６】
［画像処理装置の動作］
続いて、本実施の形態に係る画像処理装置７００の動作について、図２８を用いて説明する。図２８は、本実施の形態に係る画像処理装置７００の動作の一例を示すフローチャートである。
【０２８７】
図２８に示すように、動きベクトルを決定するまでの処理（ステップＳ２１０〜Ｓ２３０）は、図６に示す実施の形態２の画像表示装置１００の動作と同一の動作である。
【０２８８】
次に、移動距離計算部７１３は、ステップＳ２３０で決定された対象フレームの動きベクトルと、距離対応表７７１が示すサイズ情報を用いて、画面のサイズ毎に移動距離を計算する（ステップＳ５４０）。本実施の形態では、移動距離計算部７１３は、距離対応表７７１が示すサイズの全てのそれぞれに対応する移動距離を計算する。
【０２８９】
なお、移動距離計算部７１３は、距離対応表７７１が示すサイズの全てについて移動距離を計算しなくてもよい。例えば、取得した動画像の種類、又は、観視者によって予め登録された画面サイズ等に応じて、移動距離計算部７１３は、移動距離を算出すべきサイズを選択してもよい。
【０２９０】
次に、眼球角速度算出部７２０は、距離対応表７７１が示す観視距離を用いて、画面のサイズ毎に眼球角速度を算出する（ステップＳ５５０）。具体的には、眼球角速度算出部７２０は、距離対応表７７１が示すサイズ情報に対応する観視距離に基づいて、画面の各サイズに対応する眼球角速度を算出する。
【０２９１】
次に、判定部７３０は、眼球角速度が閾値角速度以上であるか否かを、画面のサイズ毎に判定する（ステップＳ５６０）。具体的には、判定部７３０は、サイズ毎に算出された眼球角速度のそれぞれが、閾値記憶部１８０に記憶された閾値角速度以上であるか否かを判定する。これにより、判定部７３０は、画面のサイズ毎に、判定結果を生成して出力する。
【０２９２】
判定蓄積部７９１は、判定部７３０による判定結果を画面サイズ毎に記憶する（ステップＳ５７０）。
【０２９３】
図２８に示すように、画像処理装置７００は、対象フレームについてサイズ毎に判定結果を記憶した後（ステップＳ５７０の後）、対象フレームの判定（ステップＳ１２０）へ戻る。画像処理装置７００は、ステップＳ１２０からステップＳ５７０の処理を繰り返すことで、動画像の全フレームに対して、サイズ毎に判定を行う。これにより、判定蓄積部７９１は、全フレームのサイズ毎の判定結果を蓄積する。
【０２９４】
ここで、対象フレームが最終フレームである場合（ステップＳ１２０でＹｅｓ）、タグ生成部７９２は、タグ情報を生成する（ステップＳ５８０）。具体的には、タグ生成部７９２は、判定蓄積部７９１にフレーム毎に記憶された、画面サイズ毎の判定結果に基づき、タグ情報を生成する。
【０２９５】
タグ情報は、例えば、動画像の編集区間の最初のフレームの番号又は最初のフレームの動画像内の時間位置と、編集区間の最後のフレームの番号又は最後のフレームの動画像内の時間位置と、停止処理とすべき画面の最小サイズを示す情報とを含む。
【０２９６】
タグ付加部７９３は、タグ生成部７９２により生成されたタグ情報を、所定の書式に従って動画像の付加情報として記述することで、付加情報付きの動画像データを生成する（ステップＳ５９０）。タグ情報は、例えば、ＭＰＥＧ又はＸＭＬのような記述方式によって記述される。
【０２９７】
ステップＳ５９０の後、画像処理装置７００は、動作を終了する。
【０２９８】
［まとめ］
以上のように、本実施の形態に係る画像処理装置７００は、画面のサイズ毎の判定結果に基づいてタグ情報を生成し、生成したタグ情報を動画像の付加情報として付加する。これにより、画像表示装置６１０による動画像の再生時には、動画像の付加情報に従い、動画像を表示する画面のサイズに応じて、停止処理又は置換処理を行なう。よって、画像表示装置６１０などの再生機は、画像処理装置７００がなくても、動画像の移動距離が大きいことによって生じる映像酔い及び眼の疲労を軽減することができる。
【０２９９】
また、一定の画面サイズの条件での判定に従って動画像を編集することで、判定時より小さい画面で観視する際に不必要に動画像が停止し、あるいは、非表示になることによる画像の劣化を抑制することができる。また、判定時より大きい画面で観視する際に、動画像の停止処理又は置換処理を行なうべき編集区間が十分でなく、映像酔い又は眼の疲労が発生することを抑制することができる。
【０３００】
なお、本実施の形態では、観視距離が、画面のサイズに対応する標準観視距離であり、再生時には画面のサイズのみにより編集区間を特定する例について説明したが、これに限らない。例えば、複数の画面サイズと複数の観視距離との組み合わせに対して眼球角速度を算出してもよい。その際には、画像表示装置６１０は、画面のサイズのみでなく、観視距離をも取得して、画面のサイズと観視距離との組み合わせに応じて、編集区間を特定する。
【０３０１】
（実施の形態４）
実施の形態４では、カメラから動画像を取得し、取得した動画像に対する画像処理結果に基づいて、カメラの動きを制御するカメラ制御装置を備える撮影システムについて説明する。本実施の形態に係る撮影システムでは、カメラによって撮影された動画像に含まれる対象物の画面上での移動距離を観視者の眼球の眼球角速度に変換し、眼球角速度が予め定められた閾値角速度以上であるか否かを判定する。そして、眼球角速度が閾値以上であると判定された場合に、眼球角速度が閾値角速度未満になるように、カメラの撮影方向及び撮影位置の少なくとも一方を制御する。
【０３０２】
［撮影システムの構成］
まず、本実施の形態に係る撮影システムについて、図２９を用いて説明する。図２９は、本実施の形態に係る撮影システム８００の構成の一例を示すブロック図である。
【０３０３】
図２９に示すように、撮影システム８００は、画像表示装置９００と、カメラ８１０と、カメラ制御装置８２０とを備える。
【０３０４】
カメラ８１０は、対象物を撮影することで、動画像を生成する。カメラ８１０は、撮影方向及び撮影位置の少なくとも一方を変更可能である。例えば、カメラ８１０は、移動可能な雲台又はアームなどに、角度（撮影方向）を変更可能な状態で固定される。
【０３０５】
撮影方向は、例えば、カメラ８１０が備えるレンズなどの光学系の光軸方向である。例えば、カメラ８１０は、パン又はチルトなどの回転動作により撮影方向を変更可能である。
【０３０６】
撮影位置は、カメラ８１０が存在する位置であり、例えば、カメラ８１０が備えるレンズなどの光学系の位置である。例えば、カメラ８１０は、ドリー撮影などの移動動作によって撮影位置を変更可能である。
【０３０７】
カメラ制御装置８２０は、カメラ８１０の撮影方向及び撮影位置の少なくとも一方を制御する。具体的には、カメラ制御装置８２０は、画像表示装置９００による眼球角速度の判定結果に基づいて、眼球角速度が閾値角速度未満になるように、カメラ８１０の撮影方向及び撮影位置の少なくとも一方を制御する。カメラ制御装置８２０は、図２９に示すように、カメラ動作制御部８２１と、カメラ動作記憶部８２２と、動作移動量対応部８２３とを備える。
【０３０８】
カメラ動作制御部８２１は、眼球角速度が閾値角速度以上であると判定された場合に、眼球角速度が閾値角速度未満になるように、カメラ８１０の撮影方向及び撮影位置の少なくとも一方を制御する。例えば、カメラ動作制御部８２１は、カメラ８１０のパン又はチルトなどの回転動作と、水平方向又は垂直方向の平行移動とを制御する。具体的には、カメラ動作制御部８２１は、回転動作の回転速度、すなわち、角速度と、平行移動の移動距離とを制御する。
【０３０９】
カメラ動作記憶部８２２は、カメラ８１０の動作を記憶するためのメモリなどである。具体的には、カメラ動作記憶部８２２は、カメラ動作制御部８２１による制御に基づいたカメラ８１０の動作を、カメラ動作情報として記憶する。
【０３１０】
カメラ動作情報は、カメラ８１０の動作の履歴を示す情報である。例えば、カメラ動作情報は、カメラ８１０の動作の種類と、その動作による移動量とを、カメラ８１０によって撮影された動画のフレームを示す情報に対応付けて示す。
【０３１１】
図３０は、本実施の形態に係るカメラ動作記憶部８２２に記憶される情報の一例である。図３０に示すように、例えば、フレーム区間と、回転動作又は平行移動等の動作の種類と、その移動量とが互いに対応付けられている。
【０３１２】
動作移動量対応部８２３は、カメラ動作記憶部８２２が記憶するカメラ８１０の動作の情報と、移動距離計算部９１３によって計算された移動距離とを対応付けることで、カメラ８１０の移動量と移動距離との対応関係を決定する。
【０３１３】
［画像表示装置の構成］
画像表示装置９００は、図２９に示すように、画像判定装置９０１と、画像処理部１４０と、表示部１５０とを備える。画像判定装置９０１は、図５に示す画像判定装置１０１と比較して、取得部１１０と、判定部１３０との代わりに、取得部９１０と、判定部９３０とを備える点が異なっている。取得部９１０は、図５に示す取得部１１０と比較して、移動距離計算部１１３の代わりに、移動距離計算部９１３を備える点が異なっている。以下では、実施の形態２と異なる点を中心に説明する。
【０３１４】
移動距離計算部９１３は、図５に示す移動距離計算部１１３と同じ処理を行なうのに加えて、計算結果である移動距離を、カメラ制御装置８２０の動作移動量対応部８２３へ出力する。
【０３１５】
判定部９３０は、図５に示す判定部１３０と同様に、眼球角速度算出部１２０によって算出された眼球角速度が閾値角速度以上であるか否かを判定する。また、判定部９３０は、カメラ制御装置８２０の動作移動量対応部８２３へ、眼球角速度算出部１２０によって算出された眼球角速度と、閾値記憶部１８０に記憶された閾値角速度とを出力する。
【０３１６】
［動作］
続いて、本実施の形態に係る撮影システム８００の動作について、図３１を用いて説明する。図３１は、本実施の形態に係る撮影システム８００の動作の一例を示すフローチャートである。
【０３１７】
撮影システム８００は、図示しないスイッチ等によって処理をスタートする。例えば、カメラ８１０の撮影開始ボタンなどが押下された場合に、処理をスタートする。
【０３１８】
まず、カメラ８１０は、カメラ動作制御部８２１による制御に基づいて撮影を開始し、同時に、カメラ動作制御部８２１は、カメラ動作記憶部８２２にカメラ８１０の動作を記憶する（ステップＳ６１０）。
【０３１９】
カメラ８１０の動作は、例えば、カメラ８１０の撮影方向及び撮影位置の少なくとも一方の変化量で表される。具体的には、カメラ８１０の動作は、カメラ８１０の回転又は平行などの移動種類及びその移動量である。例えば、カメラ動作制御部８２１は、パン若しくはチルトの角度、又は、水平方向若しくは垂直方向の移動距離を示す情報を、カメラ動作情報としてカメラ動作記憶部８２２に記憶する。
【０３２０】
次に、カメラ動作制御部８２１は、終了信号が入力されたか否かを判定する（ステップＳ６２０）。終了信号は、図示しないスイッチなどによって入力される。終了信号は、例えば、カメラ８１０による撮影を終了する信号である。終了信号が入力された場合（ステップＳ６２０でＹｅｓ）、撮影システム８００は、動画像データの最終フレームを出力し（ステップＳ１９０）、動作を終了する。
【０３２１】
次に、終了信号が入力されていない場合（ステップＳ６２０でＮｏ）、画像取得部１１１は、カメラ８１０より取得した動画像データが必要フレーム数以上のフレームを含むか否かを判定する（ステップＳ６２５）。必要フレーム数は、画像の動きベクトルを計算する際に必要なフレーム数である。例えば、必要フレーム数は、予め定められた時間間隔の２つのフレームを含むフレームの数である。本実施の形態では、動きベクトルを連続する２フレームの間で計算するので、必要フレーム数は２つである。
【０３２２】
必要フレーム数がない場合（ステップＳ６２５においてＮｏ）、ステップＳ６１０へ戻り、必要フレーム数のフレームが取得されるのを待機する。
【０３２３】
必要フレーム数以上のフレーム数があった場合（ステップＳ６２５においてＹｅｓ）、動きベクトル決定部１１２は、動きベクトルを決定する（ステップＳ２３０）。動きベクトルの決定から対象フレームを出力するまでの画像表示装置９００における処理（ステップＳ２５０〜Ｓ１８０）は、図６に示す実施の形態２に係る画像表示装置１００の動作と同一である。
【０３２４】
ここで、眼球角速度が閾値角速度以上であると判定部９３０によって判定された場合（ステップＳ１６０）、停止処理又は置換処理（ステップＳ１７０）と、対象フレームの出力（ステップＳ１８０）と並行して、カメラ制御装置８２０は、判定部９３０による判定結果と、移動距離計算部９１３による計算結果とに基づいてカメラの移動距離を制限するための制御信号を生成する（ステップＳ６７０）。制御信号の生成方法については、図３２を用いて後で説明する。
【０３２５】
次に、カメラ動作制御部８２１は、制御信号をカメラ８１０へ出力することで、カメラ８１０の移動距離を制限する（ステップＳ６８０）。カメラの移動距離を制限した後（ステップＳ６８０の後）、ステップＳ６１０へ戻り、上述した処理を繰り返す。
【０３２６】
［制御信号の生成方法］
続いて、図３１に示したステップＳ６７０の制御信号の生成方法について、図３２を用いて説明する。図３２は、本実施の形態に係るカメラ制御装置８２０による制御信号の生成方法の一例を示すフローチャートである。
【０３２７】
まず、動作移動量対応部８２３は、眼球角速度の超過量に対応する移動距離を計算する（ステップＳ６７１）。
【０３２８】
具体的には、動作移動量対応部８２３は、判定部９３０から眼球角速度と閾値角速度とを取得し、眼球角速度の超過量を算出する。眼球角速度の超過量は、眼球角速度と閾値角速度との差分によって算出される。そして、動作移動量対応部８２３は、眼球角速度に対する超過量の比率を計算する。
【０３２９】
さらに、動作移動量対応部８２３は、移動距離計算部９１３から移動距離を取得する。そして、動作移動量対応部８２３は、計算した比率を、移動距離に乗ずることで、眼球角速度の超過量に対応する移動距離を計算する。
【０３３０】
例えば、眼球角速度が４００度／秒であり、閾値角速度が３５０度／秒である場合、眼球角速度の超過量は、５０度／秒である。このとき、眼球角速度に対する超過量の比率は、５０／４００＝１／８になる。したがって、眼球角速度に対応する移動距離が１６０ｃｍである場合、超過量に対応する移動距離は、２０ｃｍになる。
【０３３１】
動作移動量対応部８２３は、カメラ動作記憶部８２２に記憶されたカメラ８１０の動作と、移動距離計算部９１３によって計算された移動距離とを対応付ける（ステップＳ６７２）。例えば、動作移動量対応部８２３は、カメラ８１０の単位動作と移動距離との対応関係を算出する。カメラ８１０の単位動作は、例えば、カメラ８１０の単位当たりの動作であり、具体的には、１度分の回転、又は、１ｃｍの平行移動などである。
【０３３２】
例えば、図３０に示す例のように、フレーム区間（図３０のフレーム区間「２３４５２８１７−２３４５３０１１」）で、カメラ８１０が右上方向に９度回転する動作が、例えば、４２インチディスプレイ（高さ５２．３ｃｍ×幅９３．０ｃｍ）の表示画面上で、４５ｃｍの移動量であった場合、画面上での移動量５ｃｍが、カメラ８１０の１度の回転に対応するとみなすことができる。
【０３３３】
次に、動作移動量対応部８２３は、カメラ動作の超過量を計算する（ステップＳ６７３）。具体的には、動作移動量対応部８２３は、ステップＳ６７２で対応付けたカメラ８１０の動作と移動距離との対応関係に従って、ステップＳ６７１で計算した角速度の超過量に対応する移動距離を、カメラ動作の超過量に変換する。
【０３３４】
ステップＳ６７２で用いた例のように、画面上での移動距離５ｃｍがカメラ８１０の１度の回転に相当する場合を例に挙げる。このとき、ステップＳ６７１で計算された眼球角速度の超過量に対応する移動距離が２０ｃｍであるとき、カメラ８１０の回転の超過量は、４度になる。
【０３３５】
次に、カメラ動作制御部８２１は、ステップＳ６７３で計算されたカメラ動作の超過量に基づいて、カメラ動作に対する制限値を決定し、決定した制限値に基づいて制御信号を生成する（ステップＳ６７４）。例えば、カメラ８１０の回転の超過量が４度である場合、元のカメラ動作が右上方向へ９度の回転であるため、回転は５度までに制限されるべきである。したがって、カメラ動作制御部８２１は、フレーム区間における右上方向への回転の最大値を５度に制限するような制限速度を決定する。そして、制限速度以上の速度のカメラ操作ができないような制御を行う制御信号を生成する。
【０３３６】
［まとめ］
以上のように、本実施の形態に係る撮影システム８００では、カメラ８１０で撮影した動画像データにおいて、画像の移動による眼球角速度が閾値角速度以上であるか否かを判定する。そして、眼球角速度が閾値角速度以上である場合、すなわち、動画像データが映像酔い及び眼の疲労の原因になる可能性がある場合には、カメラ制御装置８２０が、画像の移動の原因であるカメラ８１０の移動距離を制限する。
【０３３７】
これにより、制限後に撮影される動画像では、映像酔い及び眼の疲労を引き起こしにくい速度で画像が移動する。したがって、観視者の映像酔い及び眼の疲労を軽減することができる。なお、本実施の形態に係るカメラの制御は、例えば、極端なズームにより遠方を撮影する場合、あるいは、微細なものを拡大して撮影する場合などに有効である。
【０３３８】
（他の実施の形態）
以上、１つ又は複数の態様に係る画像表示装置、画像処理装置、画像表示システム、撮影システム及び画像処理方法について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
【０３３９】
例えば、上記の各実施の形態及びその変形例において、観視者は１名である場合を例に説明したが、観視者が複数であってもよい。観視者が複数の場合は、距離取得部１７０は、全ての観視者のそれぞれの観視距離を取得し、そのうち最も短い観視距離を出力する。これにより、観視距離が短く視野に対して画面が占める割合が最も大きくなる観視者の条件で判定を行うことになり、映像酔い及び眼の疲労の発生に対して最も安全な判定を行うことができる。
【０３４０】
また、例えば、上記の各実施の形態及びその変形例において、取得部（例えば、取得部１１０）が情報を取得する場合、ユーザ入力などによって画像表示装置の外部から情報を取得してもよく、あるいは、画像表示装置が備える記憶部から情報を読み出すことで取得してもよい。当該情報には、例えば、観視者が観視する画面のサイズ、移動距離ｓ、時間間隔ｔ及び観視距離ｄなどが含まれる。
【０３４１】
なお、上記の各実施の形態において、各構成要素は、専用のハードウェアで構成されてもよく、あるいは、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記の各実施の形態の画像表示装置又は画像処理装置を実現するソフトウェアは、次のようなプログラムである。
【０３４２】
すなわち、当該プログラムは、コンピュータに、（ｉ）観視者が観視する画面のサイズ、（ｉｉ）複数のフレームを含む動画像に含まれる対象物が、連続する２つのフレーム間において、前記サイズを有する画面上で移動する移動距離、（ｉｉｉ）前記連続する２つのフレーム間の時間間隔、及び、（ｉｖ）前記観視者と前記画面との間の距離である観視距離を取得させ、前記移動距離をｓ、前記時間間隔をｔ、前記観視距離をｄとして、前記対象物を観視するときの前記観視者の眼球の角速度を、式（眼球角速度）＝２ａｒｃｔａｎ（ｓ／２ｄ）／ｔに基づいて、眼球角速度として算出させ、算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であるか否かを判定させ、（ａ）算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であると判定された場合、前記動画像を停止し、又は、前記動画像を単色画像に置換させ、（ｂ）算出された眼球角速度が、前記衝動性眼球運動における眼球角速度の下限値未満であると判定された場合、前記動画像を停止せず、かつ、前記動画像を単色画像に置換させず、停止された動画像若しくは置換された単色画像、又は、停止若しくは置換されなかった動画像を表示させる。
【０３４３】
また、上記のプログラムを、記録媒体に記録して頒布又は流通させてもよい。例えば、頒布されたプログラムを装置類にインストールして、装置類のプロセッサに実行させることで、装置類に各種処理を行わせることが可能となる。
【０３４４】
また、上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等を含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作をすることにより、システムＬＳＩは、その機能を達成する。
【０３４５】
また、上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有してもよい。
【０３４６】
また、本開示は、コンピュータプログラム又はデジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−Ｒａｙ  Ｄｉｓｃ（登録商標））、半導体メモリ等に記録したもので実現してもよい。さらに、これらの記録媒体に記録されているデジタル信号で実現してもよい。
【０３４７】
また、本開示に係るコンピュータプログラム又はデジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。
【０３４８】
また、本開示は、プログラム又はデジタル信号を記録媒体に記録して移送することにより、又はプログラム又はデジタル信号を、ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０３４９】
また、上記実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０３５０】
また、上記の各実施の形態は、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行なうことができる。
【産業上の利用可能性】
【０３５１】
本開示は、動画像を撮影、編集、表示する装置に広く利用可能であり、例えば、ムービーカメラ、ディスプレイ、録画再生装置、ロボット操作用モニタ等の、動画像をディスプレイに出力する際に有用である。特に、例えば、拡大して撮影した動画像を大型のディスプレイに出力する際に有用である。
【符号の説明】
【０３５２】
１０、１００、３００、４００、５００、６１０、９００  画像表示装置
２０  測定部
３１、３３  花
３２  草
３４  蝶
４０  カメラ
４１、４２、４３、４４、６１、６２、７１、７２、７３、７４、８０  フレーム
５１  対象フレーム
５２  参照フレーム
５３、５４、５５  ブロック
５３ａ、５５ａ  重心位置
５６  ベクトル
６３、６４、７５、７６、７７、７８  動きベクトル
８１、８２  ブロック
９１、９２  領域
１０１、３０１、４０１、５０１、７０１、９０１  画像判定装置
１１０、３１０、７１０、９１０  取得部
１１１  画像取得部
１１２、３１２  動きベクトル決定部
１１３、３１３、７１３、９１３  移動距離計算部
１２０、３２０、４２０、７２０  眼球角速度算出部
１３０、３３０、５３０、７３０、９３０  判定部
１４０  画像処理部
１５０  表示部
１６０、６１２  サイズ取得部
１７０  距離取得部
１８０  閾値記憶部
２００  画面
２１０  観視者
２１１  眼球
３１２ａ  動きベクトル計算部
３１２ｂ  領域分割部
４７０、５７０、７７０  記憶部
４７１、７７１  距離対応表
５７１  閾値調整表
５９０  画面比計算部
６００  画像表示システム
６１１  動画像データ記憶部
６１３  タグ情報解析部
６１４  編集部
６１５  表示部
７００  画像処理装置
７５０  出力部
７９０  画像編集部
７９１  判定蓄積部
７９２  タグ生成部
７９３  タグ付加部
８００  撮影システム
８１０  カメラ
８２０  カメラ制御装置
８２１  カメラ動作制御部
８２２  カメラ動作記憶部
８２３  動作移動量対応部
【要約】
【課題】ユーザの映像酔い及び目の疲労を軽減することができる画像表示装置を提供する。
【解決手段】画像表示装置１０は、動画像に含まれる対象物が、連続する２つのフレーム間において画面上で移動する移動距離Ｓ、連続する２つのフレーム間の時間間隔ｔ、及び、観視者と画面との間の距離である観視距離ｄを用いて、対象物を観視するときの観視者の眼球角速度を、式：（眼球角速度）＝２ａｒｃｔａｎ（ｓ／２ｄ）／ｔに基づいて算出する眼球角速度算出部１２０と、算出された眼球角速度が、衝動性眼球運動における眼球角速度の下限値以上であるか否かを判定する判定部１３０と、（ａ）算出された眼球角速度が下限値以上であると判定された場合、動画像を停止し、又は、動画像を単色画像に置換し、（ｂ）算出された眼球角速度が下限値未満であると判定された場合、動画像を停止せず、かつ、動画像を単色画像に置換しない画像処理部１４０とを備える。
【選択図】図１【図１】
0006037188.tif 000003
【図２Ａ】
0006037188.tif 000004
【図２Ｂ】
0006037188.tif 000005
【図３】
0006037188.tif 000006
【図４】
0006037188.tif 000007
【図５】
0006037188.tif 000008
【図６】
0006037188.tif 000009
【図７】
0006037188.tif 000010
【図８Ａ】
0006037188.tif 000011
【図８Ｂ】
0006037188.tif 000012
【図９】
0006037188.tif 000013
【図１０】
0006037188.tif 000014
【図１１Ａ】
0006037188.tif 000015
【図１１Ｂ】
0006037188.tif 000016
【図１２Ａ】
0006037188.tif 000017
【図１２Ｂ】
0006037188.tif 000018
【図１３】
0006037188.tif 000019
【図１４】
0006037188.tif 000020
【図１５】
0006037188.tif 000021
【図１６】
0006037188.tif 000022
【図１７】
0006037188.tif 000023
【図１８】
0006037188.tif 000024
【図１９】
0006037188.tif 000025
【図２０】
0006037188.tif 000026
【図２１】
0006037188.tif 000027
【図２２】
0006037188.tif 000028
【図２３】
0006037188.tif 000029
【図２４】
0006037188.tif 000030
【図２５】
0006037188.tif 000031
【図２６】
0006037188.tif 000032
【図２７】
0006037188.tif 000033
【図２８】
0006037188.tif 000034
【図２９】
0006037188.tif 000035
【図３０】
0006037188.tif 000036
【図３１】
0006037188.tif 000037
【図３２】
0006037188.tif 000038