(57)【要約】      （修正有）【課題】観察者に対して心地よく画像を提示する。【解決手段】プロジェクタ１０は、複数の画像から所定の画像を順番に提示する画像投射部１５と、次に提示する画像を決定する制御回路１６と、複数の画像ごとに算出される顕著性マップに基づく画像間の注目点領域の移動量が、前後に提示する２つのフレーム画像間で視線移動の許容移動量以下になるように制御する制御回路１６と、を備える。【選択図】図２
2013122496.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像から所定の画像を順番に提示する画像提示手段と、
次に提示する画像を決定する提示画像決定手段と、
前記複数の画像ごとに算出される顕著度情報に基づく画像間の注目点領域の移動量が、前後に提示する２画像間で所定の移動量以下になるように前記提示画像決定手段を制御する制御手段と、
を備えることを特徴とする画像提示装置。
【請求項２】
請求項１に記載の画像提示装置において、
前記制御手段は、前記所定の移動量として、提示する画面上で縦方向の移動量より横方向の移動量を大きくするように前記提示画像決定手段を制御することを特徴とする画像提示装置。
【請求項３】
請求項１に記載の画像提示装置において、
提示する画面と観察者との距離を検出する観察距離検出手段をさらに備え、
前記制御手段は、前記観察距離が短いほど前記所定の移動量を小さくすることを特徴とする画像提示装置。
【請求項４】
請求項３に記載の画像提示装置において、
前記観察距離検出手段は、前記観察者のうち前記提示する画面に最も近い観察者の前記観察距離を検出することを特徴とする画像提示装置。
【請求項５】
請求項１に記載の画像提示装置において、
提示する画面と観察者との距離を検出する観察距離検出手段をさらに備え、
前記制御手段は、前記観察距離が長いほど前記所定の移動量を大きくすることを特徴とする画像提示装置。
【請求項６】
請求項１に記載の画像提示装置において、
前記制御手段は、提示する画面の大きさが大きいほど、前記所定の移動量である素子数（ピクセル数）を小さくすることを特徴とする画像提示装置。
【請求項７】
複数の画像から所定の画像を順番に提示する画像提示手段と、
次に提示する画像を決定する提示画像決定手段と、
前記複数の画像ごとに算出される顕著度情報に基づく画像間の注目点領域の明るさ変化であって、前後に提示する２画像間で所定の変化量以上となる変化が所定の提示間隔で連続しないように前記提示画像決定手段を制御する制御手段と、
を備えることを特徴とする画像提示装置。
【請求項８】
複数の画像を所定の画素数であらかじめ定められた順番に提示する画像提示手段と、
前記提示する画像の少なくとも１フレームの画像をクロップしてクロップ画像を生成するクロップ画像生成手段と、
前記クロップ画像を、前記所定の画素数に変換する画素数変換手段と、
前記クロップ画像が生成された場合は前記クロップ前の画像に代えて前記画素数変換後のクロップ画像を提示するとともに、前記複数の画像ごとに算出される顕著度情報に基づく画像間の注目点領域の移動量が、前後に提示する２画像間で所定の移動量以下になるように前記クロップ画像生成手段による前記画像のクロップ範囲を制御する制御手段と、
を備えることを特徴とする画像提示装置。
【請求項９】
複数の画像を所定の画素数であらかじめ定められた順番に提示する画像提示手段と、
前記提示する画像の少なくとも１フレームである第１画像をクロップして第５クロップ画像を生成するクロップ画像生成手段と、
前記第５クロップ画像を、前記所定の画素数に変換して第３画像を生成する画素数変換手段と、
前記第１画像と、当該第１画像の前または後に提示する第２画像とを提示する際に、前記第２画像および前記第３画像の顕著度情報に基づく両画像の注目点領域の移動量が所定許容移動量以下となるように、前記第１画像のクロップ範囲を設定して前記第３画像を生成し、
前記第１画像と前記第５クロップ画像との間でクロップ領域の大きさ、及び／又は位置を順次変化させた順次クロップ画像をさらに生成し、当該順次クロップ画像を前記所定の画素数に変換して順次クロップ提示画像をさらに生成し、
前記第２画像と前記第３画像とを前後して提示するとともに、前記第３画像と、前記順次クロップ画像のうち前記第３画像に対応するクロップ範囲に最も近いクロップ範囲を設定して生成されたクロップ画像に基づくクロップ提示画像とを前後して提示するように、前記クロップ画像生成手段および前記画素数変換手段をそれぞれ制御する制御手段と、
を備えることを特徴とする画像提示装置。
【請求項１０】
複数の画像から所定の画像を順番に提示する画像提示処理と、
次に提示する画像を決定する提示画像決定処理と、
前記複数の画像ごとに算出される顕著度情報に基づく画像間の注目点領域の移動量が、前後に提示する２画像間で所定の移動量以下になるように前記提示画像決定処理を行わせる制御処理と、
を行うことを特徴とする画像提示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像提示装置および画像提示方法に関する。
【背景技術】
【０００２】
スライドショーのような画像提示に際し、類似画像を表示しないように出力画像を選択する画像表示システムが知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２７８３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術では、提示する画像が時間的に変化する場合に観察者に対して心地よく見せるための考慮が不十分であった。
【課題を解決するための手段】
【０００５】
（１）本発明による画像提示装置は、複数の画像から所定の画像を順番に提示する画像提示手段と、次に提示する画像を決定する提示画像決定手段と、複数の画像ごとに算出される顕著度情報に基づく画像間の注目点領域の移動量が、前後に提示する２画像間で所定の移動量以下になるように提示画像決定手段を制御する制御手段と、を備えることを特徴とする。
（２）他の発明による画像提示装置は、複数の画像から所定の画像を順番に提示する画像提示手段と、次に提示する画像を決定する提示画像決定手段と、複数の画像ごとに算出される顕著度情報に基づく画像間の注目点領域の明るさ変化であって、前後に提示する２画像間で所定の変化量以上となる変化が所定の提示間隔で連続しないように提示画像決定手段を制御する制御手段と、を備えることを特徴とする。
（３）他の発明による画像提示装置は、複数の画像を所定の画素数であらかじめ定められた順番に提示する画像提示手段と、提示する画像の少なくとも１フレームの画像をクロップしてクロップ画像を生成するクロップ画像生成手段と、クロップ画像を、所定の画素数に変換する画素数変換手段と、クロップ画像が生成された場合はクロップ前の画像に代えて画素数変換後のクロップ画像を提示するとともに、複数の画像ごとに算出される顕著度情報に基づく画像間の注目点領域の移動量が、前後に提示する２画像間で所定の移動量以下になるようにクロップ画像生成手段による画像のクロップ範囲を制御する制御手段と、を備えることを特徴とする。
（４）他の発明による画像提示装置は、複数の画像を所定の画素数であらかじめ定められた順番に提示する画像提示手段と、提示する画像の少なくとも１フレームである第１画像をクロップして第５クロップ画像を生成するクロップ画像生成手段と、第５クロップ画像を、所定の画素数に変換して第３画像を生成する画素数変換手段と、第１画像と、当該第１画像の前または後に提示する第２画像とを提示する際に、第２画像および第３画像の顕著度情報に基づく両画像の注目点領域が略同位置となるように、第１画像のクロップ範囲を設定して第３画像を生成し、第１画像と第５クロップ画像との間でクロップ領域を順次変化させた順次クロップ画像をさらに生成し、当該順次クロップ画像を所定の画素数に変換して順次クロップ提示画像をさらに生成し、第２画像と第３画像とを前後して提示するとともに、第３画像と、順次クロップ画像のうち第３画像に対応するクロップ範囲に最も近いクロップ範囲を設定して生成されたクロップ画像に基づくクロップ提示画像とを前後して提示するように、クロップ画像生成手段および画素数変換手段をそれぞれ制御する制御手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、観察者に対して心地よく画像を提示することができる。
【図面の簡単な説明】
【０００７】
【図１】第一の実施形態による画像提示装置を例示する図である。
【図２】画像提示装置の構成を例示するブロック図である。
【図３】制御回路が実行する処理の流れを説明するフローチャートである。
【図４】観察者の視線移動量を説明する図である。
【図５】前フレーム画像における注目点領域と次フレーム画像における注目点領域を例示する図である。
【図６】解像度変換後の次フレーム画像を例示する図である。
【図７】注目点領域を有するフレーム画像を例示する図である。
【図８】注目点領域を有するフレーム画像を例示する図である。
【図９】解像度変換後の次フレーム画像を例示する図である。
【図１０】解像度変換後の次フレーム画像を例示する図である。
【図１１】解像度変換後の次フレーム画像を例示する図である。
【図１２】注目点領域を有するフレーム画像を例示する図である。
【図１３】注目点領域を有するフレーム画像を例示する図である。
【図１４】解像度変換後の次フレーム画像を例示する図である。
【図１５】解像度変換後の次フレーム画像を例示する図である。
【図１６】解像度変換後の次フレーム画像を例示する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態による画像提示装置を例示する図である。図１において、画像提示装置は、プロジェクタ１０、およびプロジェクタ１０の近傍に配設されるカメラ１９およびカメラ２０によって構成される。プロジェクタ１０は、スクリーン５０に向けて所定の画像を投射する。なお、カメラ１９，カメラ２０は、プロジェクタ１０と一体に構成されるものであってもよい。
【０００９】
観察者Ａ、観察者Ｂ、観察者Ｃ、および観察者Ｄは、投射像Ｔを観察する。プロジェクタ１０からスクリーン５０までの距離をＸとし、プロジェクタ１０からスクリーン５０に１番近い観察者Ａまでの距離をＹとする。この場合、観察者Ａからスクリーン５０までの視距離は、Ｘ−Ｙで表される。
【００１０】
図２は、画像提示装置の構成を例示するブロック図である。プロジェクタ１０は、顕著度算出回路１２と、解像度変換回路１３と、インターフェース部１４と、画像投射部１５と、制御回路１６と、提示画面大きさ算出回路１７と、視距離算出回路１８とを有し、インターフェース部１４を介して、画像記録媒体１１が装着されている。また、プロジェクタ１０は、カメラ１９およびカメラ２０とそれぞれ接続される。カメラ１９で取得した主要被写体（本例ではスクリーン５０）までの距離情報および取得画像が提示画面大きさ算出回路１７へ入力され、カメラ２０で取得した主要被写体（本例では観察者Ａ）までの距離情報が視距離算出回路１８へ入力される。
【００１１】
画像記録媒体１１は、たとえば着脱可能なメモリカードによって構成され、画像投射部１５から投射する画像のデータが記録されている。なお、画像記録媒体１１は、プロジェクタ１０本体に内蔵するように構成してもよい。
【００１２】
顕著度算出回路１２は、画像記録媒体１１から読み出した画像データに基づいて、公知の顕著性マップを生成する（特開２０１１−３４３１１号公報参照）。顕著性マップは、複数種類の特徴量から生成した特徴量マップを統合して作成されるもので、画像の中で、観察者の視覚的注意を引く可能性の高い領域（注目点領域と呼ぶ）を推定するために用いる。特徴量マップは、たとえば、画像の色相コントラスト、輝度コントラスト、方向性エッジなどの複数種類の特徴量マップに基づいて作成される。なお、顕著性マップを生成する際の特徴量マップは、提示画像中の顔領域に基づいた顔認識マップや、提示画像中の動き領域に基づいた動領域マップなど、視覚的注意の誘因に貢献する他の特徴量マップを用いるものであってもよい。
【００１３】
解像度変換処理回路１３は、画像記録媒体１１から読み出した画像データに基づいて、画像投射部１５における表示画素数に合わせて解像度変換を行う。これにより、読み出した画像を構成するピクセル数と、画像投射部１５の変調素子（たとえばＤＭＤ（Digital Micromirror Device））の素子数とが異なる場合でも適切な投射が可能になる。なお、上記顕著度算出回路１２による顕著性マップの生成は、解像度変換処理回路１３によって生成された、画像記録媒体１１から読み出した画像データを、画像投射部１５における表示画素数に合わせた解像度変換画像上で行うものであってもよい。
【００１４】
解像度変換処理回路１３はさらに、画像記録媒体１１から読み出した画像データに基づいて、画像中の主要被写体を推定することもできる。そして、当該画像の中で推定した主要被写体を含むようにクロップ範囲を決定し、該クロップ範囲に含まれるピクセル数と、画像投射部１５の変調素子の素子数とを合わせるように解像度変換を行うこともできる。
【００１５】
上述した主要被写体の推定は、たとえば、画像の中で一番大きく写っている「顔」を主要被写体と推定する。また、画像の中で個人認証をした「顔」を主要被写体と推定してもよい。画像に「顔」が含まれない場合には、画面中央部の一番大きな色の塊の領域を主要被写体と推定することもできる。さらにまた、複数フレームの画像のそれぞれで主要被写体の位置を推定し、各フレーム画像における各被写体毎の、所定位置（例えば画面中央）からの距離の累積値（あるいは平均値）が一番小さい被写体を主要被写体と推定してもよい。
【００１６】
画像投射部１５は、たとえば、レーザー光源と、上記変調素子と、投射光学系とを含む。３原色光源を構成する各色のレーザー光で変調素子を時分割で照明することにより、１つの変調素子を用いてフルカラー像をスクリーン５０へ投射する。
【００１７】
カメラ１９は、スクリーン５０を撮影画面の中央に含むようにあらかじめ配置される。カメラ１９は、たとえば、ＡＦ（オートフォーカス）処理によって取得したスクリーン５０までの距離Ｘを示す情報を提示画面大きさ算出回路１７へ送出する。カメラ２０は、１番前（スクリーン５０に近い）の観察者Ａを撮影画面の中央に含むようにあらかじめ配置される。カメラ２０は、たとえば、ＡＦ（オートフォーカス）処理によって取得した観察者Ａまでの距離Ｙを示す情報を視距離算出回路１８へ送出する。
【００１８】
提示画面大きさ算出回路１７は、カメラ１９からの距離情報、およびカメラ１９による取得画像に基づいて、プロジェクタ１０からスクリーン５０までの距離Ｘ、およびスクリーン５０上における投射像Ｔの大きさ（たとえば横○m、縦○m）をそれぞれ算出する。一般に、画像の投射は暗い室内で行われるので、カメラ１９でスクリーン５０を撮影する場合に撮影画像における投射像Ｔの領域は他の領域に比べて輝度が高い。このため、カメラ１９による取得画像にＬＰＦ（ローパスフィルタ）処理を施した上で２値化し、該２値化画像における白領域（投射像Ｔの領域に相当）のサイズに基づいて投射像Ｔの大きさを求めることができる。
【００１９】
視距離算出回路１８は、カメラ２０からの距離情報に基づいて、プロジェクタ１０から観察者Ａまでの距離Ｙを算出する。視距離算出回路１８はさらに、制御回路１６を介して提示画面大きさ算出回路１７で算出された距離Ｘを取得し、距離Ｘから距離Ｙを減じて観察者Ａからスクリーン５０までの視距離Ｘ−Ｙを算出する。
【００２０】
制御回路１６は、画像提示装置の全体の動作を制御する。本実施形態は、スクリーン５０上の投射像Ｔを観察する観察者の視線移動量を所定量以下に抑える点に特徴を有するので、以降の説明はこの点を中心に行う。
【００２１】
図３は、制御回路１６が実行する処理の流れを説明するフローチャートである。制御回路１６は、投射モードがたとえば「スライドショー」に切替えられると、図３による処理を起動する。「スライドショー」は、複数のフレーム画像を順番に切り替えて投射するモードである。
【００２２】
図３のステップＳ１０において、制御回路１６は視距離算出回路１８へ指示を送り、上述した視距離Ｘ−Ｙを算出させてステップＳ２０へ進む。ステップＳ２０において、制御回路１６は提示画面大きさ算出回路１７へ指示を送り、上述したスクリーン５０上における投射像Ｔの大きさを算出させてステップＳ３０へ進む。
【００２３】
ステップＳ３０において、制御回路１６は、画像記録媒体１１から画像データを読み出してステップＳ４０へ進む。ステップＳ４０において、制御装置１６は顕著度算出回路１２へ指示を送り、画像記録媒体１１から読み出した画像データに基づいて顕著性マップを生成させてステップＳ５０へ進む。
【００２４】
ステップＳ５０において、制御回路１６は、視距離Ｘ−Ｙ、投射像Ｔの大きさ、および顕著性マップ情報に基づいて、以下のように画像の投射順序を決定する。すなわち、フレーム画像から顕著性の高い領域を抽出し、投射順序が隣接するフレーム画像間で、当該抽出領域の位置変化量（移動量）が所定値以下になるように画像提示順序を決定してステップＳ６０へ進む。ステップＳ６０において、制御回路１６は画像投射部１５へ指示を送り、上記決定した画像提示順序で順番に画像を投射させて図３による処理を終了する。
【００２５】
上述したように、フレーム画像で顕著性の高い領域は、観察者の視覚的注意を引く注目点領域である。このため、投射順序が隣接するフレーム画像間において、観察者の視点は前フレーム画像における注目点領域から次フレーム画像における注目点領域へ移動する。この場合、スクリーン５０上において移動した注目点領域の距離が、観察者の視線移動量に相当する。
【００２６】
図４は、観察者の視線移動量を説明する図である。一般に、人は視線移動量が大きいと疲労を感じる。そして、この疲労感は水平方向の視線移動より垂直方向の視線移動の場合に生じやすい。そこで、本実施形態では、水平方向に対する視線移動の許容角度θｈ（たとえば４５度）と垂直方向に対する視線移動の許容角度θｖ（たとえば３０度）とを定め、連続するフレーム画像間の視線移動量を、これらの許容角度θｈ、θｖに対応する移動量以下に抑えるように投射する画像の順番を決める。上述したように、水平方向の視線移動より垂直方向の視線移動の場合に疲労を感じやすいので、垂直方向の視線移動の許容角度θｖを水平方向の視線移動の許容角度θｈより小さくしておく。
【００２７】
最もスクリーン５０に近い観察者Ａの視距離Ｘ−Ｙが既知であり、スクリーン５０上の投射像Ｔの大きさ（横の大きさＴｈ、縦の大きさＴｖ）が既知であれば、視線移動の許容角度θｈ、θｖを定めれば、許容角度θｈに対応するスクリーン５０上の視線移動の許容移動量Ｐｈと、許容角度θｖに対応するスクリーン５０上の視線移動の許容移動量Ｐｖとをそれぞれ求めることができる。この場合の制御回路１６は、投射する順番が連続するフレーム画像間で、顕著性が高い領域（例えば、顕著度が最大の領域、あるいは顕著度が所定値以上で、かつ所定の閾値以上の面積を有する領域）のスクリーン５０上の視線移動量が許容移動量Ｐｈおよび許容移動量Ｐｖ以下になるように、投射する画像の順序を決定する。
【００２８】
なお、投射順が連続するフレーム画像間において顕著性の高い領域（すなわち注目点領域）の位置が異なる要因は、顕著性の高い被写体が実際に移動する場合だけでなく、顕著性が高い別の被写体が次フレーム画像において画面上の別の位置に新たに出現する場合も含まれる。
【００２９】
また、スクリーン５０上における視線移動時の許容移動量Ｐｈおよび許容移動量Ｐｖを求めた場合に、画像投射部１５の変調素子の素子数が既知である場合には、視線移動の許容角度θｈおよび視線移動の許容角度θｖに対応する視線移動の許容移動量を、それぞれ素子数（ピクセル数）として算出できる。この場合の制御回路１６は、投射順が連続するフレーム画像間での視線移動量が、スクリーン５０上の視線移動の許容移動量に対応するピクセル数以下になるように、投射する画像の順序を決定する。
なお、上記実施形態に視距離情報の取得を画像提示に先立って行う構成について説明したが、視距離の算出を所定の時間毎に行って、その都度許容移動量Ｐｈ及びＰｖを求め、次に提示する画像を選択する構成としてもよい。
【００３０】
以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）プロジェクタ１０は、複数の画像から所定の画像を順番に提示する画像投射部１５と、次に提示する画像を決定する制御回路１６と、複数の画像ごとに算出される顕著性マップに基づく画像間の注目点領域の移動量が、前後に提示する２つのフレーム画像間で視線移動の許容移動量以下になるように制御する制御回路１６と、を備えるようにしたので、観察者に対して心地よく画像を提示することができる。
【００３１】
（２）上記（１）のプロジェクタ１０において、制御回路１６は、視線移動の許容移動量として、提示する画面上で縦方向の移動量より横方向の移動量を大きくするように制御するので、人は水平方向の視線移動より垂直方向の視線移動に疲労を感じやすいという特性を考慮して、心地よく画像を提示することができる。
【００３２】
（３）上記（１）のプロジェクタ１０において、スクリーン５０（画像表示画面）と観察者Ａとの距離を検出する視距離算出回路１８をさらに備え、制御回路１６は、視距離Ｘ−Ｙが短いほど上記許容移動量を小さくするようにしたので、適切に、観察者に対して画像を提示することができる。
【００３３】
（４）上記（３）のプロジェクタ１０において、視距離算出回路１８は、観察者Ａ〜Ｄのうちスクリーン５０に最も近い観察者Ａの視距離を検出するので、最も視線移動が大きくなりやすい観察者Ａに対して、適切に画像を提示することができる。
【００３４】
（５）上記（１）のプロジェクタ１０において、スクリーン５０と観察者Ａとの距離を検出する視距離算出回路１８をさらに備え、制御回路１６は、視距離Ｘ−Ｙが長いほど上記許容移動量を大きくするようにしたので、適切に、観察者に対して画像を提示することができる。
【００３５】
（６）上記（１）のプロジェクタ１０において、制御回路１６は、投射像Ｔの大きさが大きいほど、上記許容移動量である素子数（ピクセル数）を小さくするようにしたので、適切に、観察者に対して画像を提示することができる。
【００３６】
（第二の実施形態）
第二の実施形態では、画像記録媒体１１から読み出した画像データの中に、スクリーン５０上の視線移動量を許容移動量Ｐｈおよび許容移動量Ｐｖ以下にする画像が存在しない場合に制御回路１６が行う処理を説明する。
【００３７】
制御回路１６は、上述したステップＳ５０において、視距離Ｘ−Ｙ、投射像Ｔの大きさ、および顕著性マップ情報に基づいて画像の投射順序を決定する際に、スクリーン５０上の視線移動量を許容移動量Ｐｈおよび許容移動量Ｐｖ以下にする画像が存在しないと判断すると、以下の処理を行う。
【００３８】
図５は、前フレーム画像における注目点領域Ｏ１とその次のフレーム画像における注目点領域Ｏ２を例示する図である。注目点領域Ｏ１および注目点領域Ｏ２間の距離（すなわち観察者の視線移動量）を上記視線移動の許容移動量Ｐｈ以下に抑えるフレーム画像が画像記録媒体１１に記録されていない場合、制御回路１６は、注目点領域Ｏ２を含む所定範囲Ｃｐをクロップする。
【００３９】
制御回路１６は、解像度変換回路１３へ指示を送り、該クロップ範囲に含まれるピクセル数と、画像投射部１５の変調素子の素子数とを合わせるように解像度変換を行わせる。図６は、解像度変換後の次フレーム画像を例示する図である。すなわち、図５に例示した前フレーム画像（Ｏ１）の次に投射する画像を、図６に例示したフレーム画像（Ｏ２ａ）とする。図６において、注目点領域Ｏ２ａの変化量（前フレーム画像における注目点領域Ｏ１からの距離）は、クロップしない図５の場合より小さくできるので、スクリーン５０上の視線移動量を許容移動量Ｐｈ以下に抑えることが可能になる。この場合、解像度変換処理後の注目点領域Ｏ２ａのサイズは、解像度変換前（図５）の注目点領域Ｏ２に比べて大きくなっている。ここで、図６における注目点領域Ｏ２ａの大きさは、なるべく図５における注目点領域Ｏ２の大きさに近いことが好ましい。クロップ領域Ｃｐ内の注目点領域Ｏ２と、図６の投射像Ｔ領域内の注目点領域Ｏ２ａとは、各領域に対する相対的な大きさ、長さは同じである。すなわち、図５におけるクロップ領域Ｃｐを設定する場合には、クロップ領域Ｃｐを基準とした同領域内の注目点領域Ｏ２の相対的な位置を、上記の許容移動量を満たす範囲で、図５における投射像Ｔを基準とした同領域内の注目点領域Ｏ２の相対的な位置に、なるべく近くなるようにするとともに、クロップ領域Ｃｐの大きさがなるべく投射像Ｔの大きさに近くなるように、かつ、投射像Ｔの画面アスペクト比と同一のアスペクト比となるように設定することが好ましい。
【００４０】
このように、第二の実施形態で、制御回路１６は、時間的に連続して提示しようとするフレーム画像間での注目点領域の位置変化量が許容移動量Ｐｈ、Ｐｖより大きい場合、提示画面上での注目点領域Ｏ１の位置と、提示画面上での注目点領域Ｏ２ａとの位置との差に相当する視線移動量が、許容移動量Ｐｈ、及び、Ｐｖ以下となるように、注目点領域（主要な被写体であることが多い）を含む領域をクロップする構成とする。
【００４１】
以上説明した第二の実施形態によれば、次の作用効果が得られる。すなわち、プロジェクタ１０は、複数の画像を所定の画素数であらかじめ定められた順番に提示する画像投射部１５と、提示する画像の少なくとも１フレームの画像をクロップしてクロップ画像を生成する制御回路１６と、クロップ画像を、所定の画素数に変換する解像度変換処理回路１３と、クロップ画像が生成された場合はクロップ前の画像に代えて解像度数変換後のクロップ画像を提示するとともに、複数の画像ごとに算出される顕著性マップに基づく画像間の注目点領域の移動量が、前後に提示する２つのフレーム画像間で視線移動の許容移動量以下になるように画像のクロップ範囲を制御する制御回路１６と、を備えるようにしたので、観察者に対して心地よく画像を提示することができる。
【００４２】
（第三の実施形態）
第三の実施形態では、たとえば、画像記録媒体１１から読み出した画像データが同時期に撮影された画像でない場合などに好適な、制御回路１６が行う処理を説明する。この場合は、あるフレーム画像における注目点領域の被写体と、他のフレーム画像における注目点領域の被写体とは別である可能性が高い。このように、関連性に乏しいフレーム画像を連続して投射する場合に制御回路１６が行う処理を説明する。
【００４３】
制御回路１６は、上述したステップＳ５０において、視距離Ｘ−Ｙ、投射像Ｔの大きさ、および顕著性マップ情報に基づいて画像の投射順序を決定する際に、スクリーン５０上の視線移動量を許容移動量Ｐｈおよび許容移動量Ｐｖ以下にする画像が存在しないと判断すると、以下の処理を行う。
【００４４】
図７は、注目点領域Ｏ１を有するフレーム画像を例示する図である。図７の例では、注目点領域Ｏ１が、投射像Ｔ内の略中央に存在している。図８は、注目点領域Ｏ２を有するフレーム画像を例示する図である。制御回路１６は、図７のフレーム画像の次に図８のフレーム画像を投射すると、注目点領域Ｏ１および注目点領域Ｏ２間の距離（すなわち観察者の視線移動量）が上記視線移動の許容移動量Ｐｈを超えるので、注目点領域Ｏ２を、例えば略中央に含む所定範囲Ｃｐ１をクロップする。
【００４５】
制御回路１６は、解像度変換回路１３へ指示を送り、該クロップ範囲Ｃｐ１に含まれるピクセル数と、画像投射部１５の変調素子の素子数とを合わせるように解像度変換を行わせる。図９は、解像度変換後の次フレーム画像を例示する図である。すなわち、図７に例示したフレーム画像の次に投射する画像を、図９に例示したフレーム画像とする。図９において、注目点領域Ｏ２ａの変化量（前フレーム画像における注目点領域Ｏ１からの距離）は、クロップしない図８の場合より小さくできるので、スクリーン５０上の視線移動量を許容移動量Ｐｈ以下に抑えることが可能になる。この場合、解像度変換処理後の注目点領域Ｏ２ａのサイズは、解像度変換前（図８）の注目点領域Ｏ２に比べて大きくなっている。
【００４６】
制御回路１６は、図８に例示したフレーム画像において、注目点領域Ｏ２を含み、かつクロップ範囲Ｃｐ１より広いクロップ範囲Ｃｐ２を指定して、当該クロップ範囲Ｃｐ２の画像をクロップする。ここで、クロップ範囲Ｃｐ２の位置は、前フレームの投射画像（図９）における注目点領域Ｏ２ａの位置よりも、後述する次フレームの投射画像（図１０）における注目点領域Ｏ２ｂの位置が図８のフレーム画像における注目点領域Ｏ２の位置へ相対的に近くなるように設定する。制御回路１６はさらに、解像度変換回路１３へ指示を送り、該クロップ範囲Ｃｐ２に含まれるピクセル数と、画像投射部１５の変調素子の素子数とを合わせるように解像度変換を行わせる。図１０は、解像度変換後の次フレーム画像を例示する図である。すなわち、図９に例示したフレーム画像の次に投射する画像を、図１０に例示したフレーム画像とする。図１０において、注目点領域Ｏ２ｂの変化量（前フレーム画像における注目点領域Ｏ２ａからの距離）は小さくできるので、スクリーン５０上の視線移動量を許容移動量Ｐｈ以下に抑えることが可能になる。この場合、解像度変換処理後の注目点領域Ｏ２ｂのサイズは、図９の注目点領域Ｏ２ａに比べて小さくなっている。
【００４７】
制御回路１６はさらに、図８に例示したフレーム画像において、注目点領域Ｏ２を含み、かつクロップ範囲Ｃｐ２よりさらに広いクロップ範囲Ｃｐ３を指定して、当該クロップ範囲Ｃｐ３の画像をクロップする。ここで、クロップ範囲Ｃｐ３の位置は、前フレームの投射画像（図１０）における注目点領域Ｏ２ｂの位置よりも、後述する次フレームの投射画像（図１１）における注目点領域Ｏ２ｃの位置が図８のフレーム画像における注目点領域Ｏ２の位置へ相対的に近くなるように設定する。制御回路１６はさらに、解像度変換回路１３へ指示を送り、該クロップ範囲Ｃｐ３に含まれるピクセル数と、画像投射部１５の変調素子の素子数とを合わせるように解像度変換を行わせる。図１１は、解像度変換後の次フレーム画像を例示する図である。すなわち、図１０に例示したフレーム画像の次に投射する画像を、図１１に例示したフレーム画像とする。図１１において、注目点領域Ｏ２ｃの変化量（前フレーム画像における注目点領域Ｏ２ｂからの距離）は小さくできるので、スクリーン５０上の視線移動量を許容移動量Ｐｈ以下に抑えることが可能になる。この場合、解像度変換処理後の注目点領域Ｏ２ｃのサイズは、図１０の注目点領域Ｏ２ｂに比べて小さくなっている。
【００４８】
制御回路１６は、図１１に例示したフレーム画像の次に投射する画像を、図８に例示したフレーム画像とする。以上説明したように、２つのフレーム画像の関連性が乏しい場合に、クロップ処理、及び解像度変換処理により、２つフレーム画像を補間するフレーム画像を生成し、これら生成したフレーム画像を上記２つのフレーム画像の間に投射することで、スクリーン５０上の視線移動量を許容移動量Ｐｈおよび許容移動量Ｐｖ以下にする。
【００４９】
以上説明した第三の実施形態によれば、次の作用効果が得られる。すなわち、プロジェクタ１０は、複数の画像を所定の画素数であらかじめ定められた順番に提示する画像投射部１５と、提示する画像の少なくとも１フレームである第１画像（図８）をクロップして第５クロップ画像（Ｃｐ１）を生成する制御回路１６と、第５クロップ画像（Ｃｐ１）を、所定の画素数に変換して第３画像（図９）を生成する解像度変換処理回路１３と、第１画像（図８）と、当該第１画像（図８）の前に提示する第２画像（図７）とを提示する際に、第２画像（図７）および第３画像（図９）の顕著性マップに基づく両画像の注目点領域の移動量が許容移動量Ｐｈ及び許容移動量Ｐｖ以下（例えば第２画像（図７）および第３画像（図９）の顕著性マップに基づく両画像の注目点領域の位置が略同位置）となるように、第１画像（図８）のクロップ範囲を設定して第３画像（図９）を生成し、第１画像（図８）と第５クロップ画像（Ｃｐ１）との間でクロップ領域の大きさ、及び／又は位置を順次変化させた順次クロップ画像（Ｃｐ２、Ｃｐ３）をさらに生成し、当該順次クロップ画像（Ｃｐ２、Ｃｐ３）を所定の画素数に変換して順次クロップ提示画像（図１０、図１１）をさらに生成し、第２画像（図７）と第３画像（図９）とを前後して提示するとともに、第３画像（図９）と、順次クロップ画像（図１０、図１１）のうち第３画像（図９）に対応するクロップ範囲に最も近いクロップ範囲を設定して生成されたクロップ画像（Ｃｐ２）に基づくクロップ提示画像（図１０）とを前後して提示するように、制御回路１６および解像度変換処理回路１３をそれぞれ制御する制御回路１６と、を備えるようにしたので、フレーム画像を補間する画像を生成しながら、自然な視線移動が行えると共に、観察者に対して心地よく画像を提示することができる。
【００５０】
（第四の実施形態）
第四の実施形態では、第三の実施形態と同様に、特に、関連性に乏しいフレーム画像を連続して投射する場合に好適な、制御回路１６が行う処理を説明する。第三の実施形態の場合と比べると、先に投射するフレーム画像に基づいてフレーム画像を補間する点で、後に投射するフレーム画像に基づいてフレーム画像を補間する第三の実施形態と異なる。
【００５１】
図１２は、注目点領域Ｏ３を有するフレーム画像を例示する図である。図１３は、注目点領域Ｏ４を有するフレーム画像を例示する図である。制御回路１６は、図１２のフレーム画像の次に図１３のフレーム画像を投射すると、注目点領域Ｏ３および注目点領域Ｏ４間の距離（すなわち観察者の視線移動量）が上記視線移動の許容移動量Ｐｈを超えるので、図１２のフレーム画像上で、注目点領域Ｏ３を含む所定範囲Ｃｐ１をクロップする。
【００５２】
制御回路１６は、解像度変換回路１３へ指示を送り、該クロップ範囲Ｃｐ１に含まれるピクセル数と、画像投射部１５の変調素子の素子数とを合わせるように解像度変換を行わせる。図１６は、解像度変換後のフレーム画像を例示する図である。すなわち、図１３に例示したフレーム画像の前に投射する画像を、図１６に例示したフレーム画像とする。図１６において、注目点領域Ｏ３cの変化量（図１３に示す、後フレーム画像における注目点領域Ｏ４からの距離）は、クロップしない図１２の場合より小さくできるので、スクリーン５０（画像表示画面）上の視線移動量を許容移動量Ｐｈ以下に抑えることが可能になる。この場合、解像度変換処理後の注目点領域Ｏ３cのサイズは、解像度変換前（図１２）の注目点領域Ｏ３に比べて大きくなっている。
【００５３】
制御回路１６は、図１２に例示したフレーム画像において、注目点領域Ｏ３を含み、かつクロップ範囲Ｃｐ１より広いクロップ範囲Ｃｐ２を指定して、当該クロップ範囲Ｃｐ２の画像をクロップする。ここで、クロップ範囲Ｃｐ２の位置は、後フレームの投射画像（図１６）における注目点領域Ｏ３cの位置よりも、後述する前フレームの投射画像（図１５）における注目点領域Ｏ３ｂの位置が図１２のフレーム画像における注目点領域Ｏ３の位置へ相対的に近くなるように設定する。制御回路１６はさらに、解像度変換回路１３へ指示を送り、該クロップ範囲Ｃｐ２に含まれるピクセル数と、画像投射部１５の変調素子の素子数とを合わせるように解像度変換を行わせる。図１５は、解像度変換後のフレーム画像を例示する図である。すなわち、図１６に例示したフレーム画像の前に投射する画像を、図１５に例示したフレーム画像とする。図１５において、注目点領域Ｏ３ｂの変化量（後フレーム画像における注目点領域Ｏ３cからの距離）は小さくできるので、スクリーン５０上の視線移動量を許容移動量Ｐｈ以下に抑えることが可能になる。この場合、解像度変換処理後の注目点領域Ｏ３ｂのサイズは、図１６の注目点領域Ｏ３cに比べて小さくなっている。
【００５４】
制御回路１６はさらに、図１２に例示したフレーム画像において、注目点領域Ｏ３を含み、かつクロップ範囲Ｃｐ２よりさらに広いクロップ範囲Ｃｐ３を指定して、当該クロップ範囲Ｃｐ３の画像をクロップする。ここで、クロップ範囲Ｃｐ３の位置は、後フレームの投射画像（図１５）における注目点領域Ｏ３ｂの位置よりも、後述する前フレームの投射画像（図１４）における注目点領域Ｏ３aの位置が図１２のフレーム画像における注目点領域Ｏ３の位置へ相対的に近くなるように設定する。制御回路１６はさらに、解像度変換回路１３へ指示を送り、該クロップ範囲Ｃｐ３に含まれるピクセル数と、画像投射部１５の変調素子の素子数とを合わせるように解像度変換を行わせる。図１４は、解像度変換後のフレーム画像を例示する図である。すなわち、図１５に例示したフレーム画像の前に投射する画像を、図１４に例示したフレーム画像とする。図１４において、注目点領域Ｏ３ａの変化量（後フレーム画像における注目点領域Ｏ３ｂからの距離）は小さくできるので、スクリーン５０上の視線移動量を許容移動量Ｐｈ以下に抑えることが可能になる。この場合、解像度変換処理後の注目点領域Ｏ３ａのサイズは、図１５の注目点領域Ｏ３ｂに比べて小さくなっている。
【００５５】
制御回路１６は、図１４に例示したフレーム画像の前に投射する画像を、図１２に例示したフレーム画像とする。上記の処理を、クロップ処理により新たに生成された注目点領域と、図１２の注目点領域Ｏ３との距離が、許容移動量Ｐｈ，及びＰｖ以下となるまで繰り返す。以上説明したように、２つのフレーム画像の関連性が乏しい場合に、クロップ処理、解像度変換処理により、２つフレーム画像を補間するフレーム画像を生成し、これら生成したフレーム画像を上記２つのフレーム画像の間に投射することで、スクリーン５０上の視線移動量を許容移動量Ｐｈおよび許容移動量Ｐｖ以下にする。なお、上記実施形態においては、図１６、図１５、図１４の順に補間画像を生成する例について説明したが、図１４，図１５、図１６のように補間画像の生成順序を変更する構成としてもよい。
【００５６】
以上説明した第四の実施形態によれば、次の作用効果が得られる。すなわち、プロジェクタ１０は、複数の画像を所定の画素数であらかじめ定められた順番に提示する画像投射部１５と、提示する画像の少なくとも１フレームである第１画像（図１２）をクロップして第５クロップ画像（Ｃｐ１）を生成する制御回路１６と、第５クロップ画像（Ｃｐ１）を、所定の画素数に変換して第３画像（図１６）を生成する解像度変換処理回路１３と、第１画像（図１２）と、当該第１画像（図１２）の後に提示する第２画像（図１３）とを提示する際に、第２画像（図１３）および第３画像（図１６）の顕著性マップに基づく両画像の注目点領域の移動量が許容移動量Ｐｈ及び許容移動量Ｐｖ以下（例えば第２画像（図１３）および第３画像（図１６）の顕著性マップに基づく両画像の注目点領域の位置が略同位置）となるように、第１画像（図１２）のクロップ範囲を設定して第３画像（図１６）を生成し、第１画像（図１２）と第５クロップ画像（Ｃｐ１）との間でクロップ領域の大きさ、及び／又は位置を順次変化させた順次クロップ画像（Ｃｐ２、Ｃｐ３）をさらに生成し、当該順次クロップ画像（Ｃｐ２、Ｃｐ３）を所定の画素数に変換して順次クロップ提示画像（図１５、図１４）をさらに生成し、第３画像（図１６）と第２画像（図１３）とを前後して提示するとともに、順次クロップ画像（図１５、図１４）のうち第３画像（図１６）に対応するクロップ範囲に最も近いクロップ範囲を設定して生成されたクロップ画像（Ｃｐ２）に基づくクロップ提示画像（図１５）を、第３画像（図１６）の提示に先立って提示するように、制御回路１６および解像度変換処理回路１３をそれぞれ制御する制御回路１６と、を備えるようにしたので、フレーム画像を補間する画像を生成しながら、観察者に対して心地よく画像を提示することができる。
【００５７】
（変形例１）
上述した第三の実施形態および第四の実施形態において、静止画像の場合を例にして、関連性に乏しいフレーム画像を連続して投射する場合を説明した。静止画像でない場合でも、複数の動画像の最終フレームの画像と、次に再生する動画像の最初のフレームの画像との間において本発明を適用してもよい。一般に、異なる時期に撮影された動画像は、主要被写体が異なる可能性が高いので、一方の動画像の最終フレーム画像（Ｐと呼ぶ）と他方の動画像の最初のフレーム画像（Ｓと呼ぶ）とは関連性が乏しい。そこで、２つフレーム画像Ｐ、Ｓを補間するフレーム画像を生成し、これら生成したフレーム画像を上記２つのフレーム画像Ｐ、Ｓの間に投射することで、スクリーン５０上の視線移動量を許容移動量Ｐｈおよび許容移動量Ｐｖ以下にすることができる。
【００５８】
（変形例２）
上述した顕著度算出回路１２は、フレーム画像の色、エッジ、輝度の各要素について特徴量マップを算出し、これらを統合することで顕著性マップを算出した。したがって、顕著性が高いと言っても、輝度成分の特徴量の寄与が小さいもののエッジ成分や色成分の特徴量の寄与が大きいことから顕著性が高くなる場合や、輝度成分の特徴量が大きく寄与した結果、他の成分の特徴量が小さくても顕著性が高くなる場合などが存在する。このように、観察者の視覚的注意を引く可能性の高い注目点領域の成分が異なることがあり、この注目点領域の明るさが画像ごとに異なる場合がある。
【００５９】
一般に、人は視線移動量が大きい場合だけでなく、注目点領域の明るさの変化が所定の提示間隔で繰り返される場合にも目に疲労を感じる。そこで、スクリーン５０上の視線移動量を許容移動量Ｐｈおよび許容移動量Ｐｖ以下にするだけでなく、注目点領域の明るさの変化に関し、所定の変化量以上となる変化が所定の画像提示間隔において連続しないように画像を選択し、選択した画像を投射するように構成してもよい。これにより、視線移動量だけでなく明るさ変化の影響を抑え、観察者に対して心地よく画像を提示することができる。
【００６０】
（変形例３）
上述した説明では、画像記録媒体１１から読み出した一連の画像群（たとえば、同じフォルダ内に記録された画像）に含まれる全ての画像を投射することを前提として、これら画像群を構成する画像の投射順序を決定する例を説明した。この代わりに、スクリーン５０上の視線移動量を許容移動量Ｐｈおよび許容移動量Ｐｖ以下にしたり、注目点領域の明るさの変化に関し、所定の変化量以上となる変化が所定の画像提示間隔において連続しないように画像を選択し、選択した画像を投射するように構成してもよい。
【００６１】
変形例３によれば、同時期に同じイベントを異なる構図で何回か撮影する場合に好適である。すなわち、一連の画像群の中から、上記選択条件に合う画像を選択、投射することが可能となる。
【００６２】
（変形例４）
上述した説明では、顕著性マップを画像投射の際に算出する例について説明した。この代わりに、顕著性マップ情報をあらかじめ算出し、各画像データに関連付けて画像記録媒体１１に記録しておくように構成してもよい。変形例４の制御回路１６は、画像記録媒体１１から画像データを読み出す際に顕著性マップ情報を読み出すことで、顕著性マップの算出処理を省略することができる。
【００６３】
（変形例５）
上述した説明では、プロジェクタ１０を用いて画像提示装置を構成する例を説明したが、たとえば、プラズマ表示装置などで構成してもよい。この場合には、表示装置側にカメラ２０を配置することで、表示装置に１番近い観察者Ａから表示装置までの視距離を、カメラ２０によるＡＦ処理結果に基づいて取得できる。また、表示装置の表示画面の大きさは既知であるので、プロジェクタ１０を用いる場合のような投射像Ｔの大きさを算出する処理を省略できる。
【００６４】
（変形例６）
さらにまた、画像提示装置をヘッドマウントディスプレイ（ＨＭＤ）で構成してもよい（たとえば、特開２００３−３３４２２１号公報参照）。この場合には、眼から表示器までの距離が視距離に相当する。この距離は既知であるので視距離検出処理を省略できる。また、表示器の大きさも既知であるため、表示器上に生成する像の大きさを算出する処理も省略できる。
【００６５】
（変形例７）
上記第一の実施形態においては、プロジェクタ１０に近接して、カメラ１９，カメラ２０を配置する構成について説明した。この構成に代えて、カメラ１９、又は／及びカメラ２０をスクリーン５０に近接して配置する構成としてもよい。カメラ２０は、撮影画像から、顔の大きさが最も大きい人物を認識することにより、スクリーン５０に最も近い観察者Ａを抽出することができ、これに基づいて上述と同様の手法により観察者Ａの視聴距離を算出することができる。また、カメラ２０が撮影画像から個人認証を行うことで、特定個人についての視聴距離も算出することができる。また、カメラ１９は、スクリーン側からプロジェクタ１０を撮像し、ＡＦ情報を用いて、プロジェクタ１０とスクリーン５０との距離を算出することができる。
【００６６】
（変形例８）
画像提示装置をパーソナルコンピュータによって構成するようにしてもよい。この場合は、図３に例示したフローチャートの処理を行うプログラムをコンピュータ装置に実行させることにより、画像提示装置を構成する。プログラムをパーソナルコンピュータに取込んで使用する場合には、パーソナルコンピュータのデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像提示装置として使用する。
【００６７】
パーソナルコンピュータに対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記憶媒体をパーソナルコンピュータにセットして行ってもよいし、ネットワークなどの通信回線を経由する方法でパーソナルコンピュータへローディングしてもよい。通信回線を経由する場合は、通信回線に接続されたサーバー（コンピュータ）のハードディスク装置などにプログラムを格納しておく。プログラムは、記憶媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。以上説明した変形例８によれば、上記実施形態と同様の作用効果が得られる。
（変形例９）
上述した実施形態においては、カメラ１９、２０とを用いて、観察者Ａと表示画面との距離を算出する構成について説明した。観察者が、画像表示装置の動作を制御するリモートコントロール装置を操作している場合には、当該装置を用いて、観察者Ａと表示画面との距離を算出する構成としてもよい。リモートコントロール装置は、上記のカメラの機能、あるいは公知の様々な手段を搭載し、表示画面との距離を算出することができる。このような構成とすれば、観察者、あるいは表示画面の位置が時間とともに変化するなど、視距離が時間的に変化する場合であっても、観察者に適切な形態で画像を提示することができる。
【００６８】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００６９】
１０…プロジェクタ
１２…顕著度算出回路
１３…解像度変換処理回路
１５…画像投射部
１６…制御回路
１７…提示画面大きさ算出回路
１８…視距離算出回路
１９、２０…カメラ
【図１】
2013122496.tif 000003
【図２】
2013122496.tif 000004
【図３】
2013122496.tif 000005
【図４】
2013122496.tif 000006
【図５】
2013122496.tif 000007
【図６】
2013122496.tif 000008
【図７】
2013122496.tif 000009
【図８】
2013122496.tif 000010
【図９】
2013122496.tif 000011
【図１０】
2013122496.tif 000012
【図１１】
2013122496.tif 000013
【図１２】
2013122496.tif 000014
【図１３】
2013122496.tif 000015
【図１４】
2013122496.tif 000016
【図１５】
2013122496.tif 000017
【図１６】
2013122496.tif 000018