(57)【要約】【課題】被写体距離とは別に観賞距離という概念を導入することで、より自然な距離感、あるいは映像作者の意図を反映した距離感を提供する。【解決手段】撮影した被写体の画像を虚像として表示する装置であって、被写体の距離に、撮影時の画角と観賞時の画角と同一方向の視野角との関係を関数として組み合わせて、観賞距離を算出し、虚像をユーザから観賞距離だけ離れた位置に表示する画像表示装置。【選択図】図１
2018152789.tif 000002
【特許請求の範囲】
【請求項１】
撮影した被写体の画像を虚像として表示する装置であって、
前記被写体の距離に、撮影時の画角と観賞時の前記画角と同一方向の視野角との関係を関数として組み合わせて、観賞距離を算出し、
前記虚像をユーザから観賞距離だけ離れた位置に表示することを特徴とする画像表示装置。
【請求項２】
請求項１に記載の画像表示装置であって、
撮影時の画角をαとし、観賞時の前記画角と同一方向の視野角をβとし、被写体距離をLtとしたとき、観賞距離Lvは、
Lv = Lt × tan(α/2)/tan(β/2)    ・・・（式１）
で表されることを特徴とする画像表示装置。
【請求項３】
請求項１に記載の画像表示装置であって、
撮影時の画角をαとし、観賞時の前記画角と同一方向の視野角をβとし、被写体距離をLtとしたとき、観賞距離Lvは、
1/Lv = 1/(Lt × tan(α/2)/tan(β/2))＋a    ・・・（式２）
（ただし、aは-0.13〜0.13（m-1）である。）で表されることを特徴とする画像表示装置。
【請求項４】
請求項１〜３のいずれかに記載の画像表示装置であって、
前記画像表示装置はヘッドマウントディスプレイであることを特徴とする画像表示装置。
【請求項５】
請求項１〜４のいずれかに記載の画像表示装置であって、前記画角は垂直方向の画角であることを特徴とする画像表示装置。
【請求項６】
請求項１〜５のいずれかに記載の画像表示装置であって、
観賞距離の異なる画像に切り替わる際、前の画像の観賞距離から次の画像の観賞距離まで段階的に変化していくことを特徴とする画像表示装置。
【請求項７】
請求項１〜６のいずれかに記載の画像表示装置であって、
前記被写体画像に被写体距離及び撮影時の画角のデータが記録されていることを特徴とする画像表示装置。
【請求項８】
請求項１〜７のいずれかに記載の画像表示装置であって、
前記被写体画像は２次元又は３次元に表示されることを特徴とする画像表示装置。
【請求項９】
請求項１〜８のいずれかに記載の画像表示装置であって、
前記被写体画像はライトフィールドデータをもとに平面画像として処理したものであって、前記ライトフィールドデータのリフォーカス位置までの距離を前記被写体距離とすることを特徴とする画像表示装置。
【請求項１０】
請求項１〜９のいずれかに記載の画像表示装置であって、ユーザの視度に応じて観賞距離を補正することを特徴とする画像表示装置。
【請求項１１】
請求項１〜10のいずれかに記載の画像表示装置であって、前記観賞距離が人間が自然にピントを合わせられる最も短い最短焦点可能距離を下回っているとき、前記観賞距離を前記最短焦点可能距離に変更することを特徴とする画像表示装置。
【請求項１２】
請求項１〜10のいずれかに記載の画像表示装置であって、複数の画像を連続して表示する場合において、前記複数の画像の観賞距離のうち最も短い最短観賞距離が人間が自然にピントを合わせられる最も短い最短焦点可能距離を下回っているとき、前記複数の画像の全ての観賞距離に前記最短焦点可能距離と前記最短観賞距離との差を加算することを特徴とする画像表示装置。
【請求項１３】
請求項１〜10のいずれかに記載の画像表示装置であって、複数の画像を連続して表示する場合において、前記複数の画像の観賞距離のうち最も短い最短観賞距離が人間が自然にピントを合わせられる最も短い最短焦点可能距離を下回っているとき、前記複数の画像の全ての観賞距離に前記最短焦点可能距離の前記最短観賞距離に対する比を乗算することを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像表示装置に関する。
【背景技術】
【０００２】
立体感のある映像を表示する手法として、両眼視差を利用することは一般化しており、立体映像の立体感を向上させるために写っているオブジェクトの奥行き情報をもとに虚像を提示する位置を制御するというアイデアも既に知られている。また、ライトフィールド技術によって、撮影後にピント位置を操作する技術も既に知られている。写真データに撮影距離を記録することは一般的となっており、exifフォーマットで「被写体距離（SubjectDistance）」が定義されている。
【０００３】
しかし、オブジェクトの奥行き情報のみを使って虚像の位置を決めたのでは不自然になることがあるほか、敢えて実際とは違う距離に見せたいという映像表現上の意図に十分対応できないという問題があった。また、写真・映像の観賞距離を調整することは出来ないという問題があった。
【０００４】
特開2016-24273号公報（特許文献１）は、立体画像提示装置が提示する画像の立体感を向上させる目的で、ユーザに提示する虚像の位置を変更自在に構成されており、画像に写っているオブジェクトの奥行き情報をもとに、虚像を提示する位置を変更するアイデアを開示している。しかし、必ずしもオブジェクトの奥行きに忠実に表示することが立体感の表現として最適とは限らない。望遠方向にズームすることを「寄る」、広角方向にズームすることを「引く」と表現することがあるように、撮影時の画角によって距離感は変わる。この点を考慮しなければ不自然になってしまう。また、映像表現上、必ずしも実際の見え方を自然に再現することが良いとは限らない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2016-24273号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従って、本発明の目的は、被写体距離とは別に観賞距離という概念を導入することで、より自然な距離感、あるいは映像作者の意図を反映した距離感を提供することである。
【課題を解決するための手段】
【０００７】
本発明の画像表示装置は、撮影した被写体の画像を虚像として表示する装置であって、前記被写体の距離に、撮影時の画角と観賞時の前記画角と同一方向の視野角との関係を関数として組み合わせて、観賞距離を算出し、前記虚像をユーザから観賞距離だけ離れた位置に表示することを特徴とする。
【発明の効果】
【０００８】
本発明の画像表示装置によれば、被写体距離とは別に観賞距離という概念を導入することで、より自然な距離感、あるいは映像作者の意図を反映した距離感をユーザに感じさせることができる。
【図面の簡単な説明】
【０００９】
【図１】鑑賞距離の概念を説明する図である。
【図２】虚像のメカニズムを説明する図である。
【図３（ａ）】本発明の一実施例による画像表示装置を示す概略図である。
【図３（ｂ）】本発明の一実施例による画像表示装置を示す概略図である。
【図４（ａ）】画角を一定にして近接することを示す概念図である。
【図４（ｂ）】画角を一定にして近接したときの被写体距離の変化を示す図である。
【図５（ａ）】画角を一定にして近接することを示す概念図である。
【図５（ｂ）】画角を一定にして近接したときの被写体距離の変化を示す図である。
【図６（ａ）】被写体距離を一定にしてズームすることを示す概念図である。
【図６（ｂ）】被写体距離を一定にしてズームすることを示す概念図である。
【図６（ｃ）】被写体距離を一定にしてズームしたときの画角の変化を示す図である。
【図７（ａ）】画角を一定にして接写することを示す概念図である。
【図７（ｂ）】画角を一定にして接写したときの被写体距離の変化を示す図である。
【発明を実施するための形態】
【００１０】
本発明の画像表示装置は、撮影した被写体の画像を虚像として表示する装置であって、前記被写体の距離に、撮影時の画角と観賞時の前記画角と同一方向の視野角との関係を関数として組み合わせて、観賞距離を算出し、前記虚像をユーザから観賞距離だけ離れた位置に表示することを特徴とする。
【００１１】
本発明に用いる観賞距離の概念を図１を用いて説明する。通常の写真や映像を撮影する場合、被写体距離（カメラ等の撮影装置から被写体までの距離）は数十cmから無限遠の間にわたっている。花や昆虫を撮影する場合は被写体距離は数十cm程度と短く、人物を撮影する場合は数m程度であり、風景を撮影する場合は数km〜無限遠と、撮影する被写体によって被写体距離は幅広く変化する。
【００１２】
一方、撮影した写真や映像を鑑賞する場合、写真や映像とユーザの目との間の距離は写真・映像の表示方法によってほぼ決まる。例えば、ポストカードやA4プリントで印刷した場合は距離は数十cm程度であり、大伸ばしで額に入れて鑑賞する場合は距離は１m〜数m程度であり、映画館で上映する場合は距離は数十m程度である。このように写真や映像とユーザの目との間の距離は写真・映像をどのような方法で表示するかによって決まり、その写真・映像の被写体距離に比例して決まるものではない。
【００１３】
そのため、撮影した被写体の写真・映像を虚像として表示する装置において、写真・映像の被写体距離に応じて虚像の位置を定めてしまうと、ユーザはかえって距離感を不自然だと感じてしまう。そこで本発明は、その写真・映像が実物としてどのように表示するものであるかを考慮して、虚像を表示する位置を決定する。「観賞距離」は、そのような虚像を表示する位置とユーザの目との間の距離を意味する。
【００１４】
撮影した被写体の写真・映像がどのように表示するものであるかは、写真・映像の被写体距離と、撮影時の画角と鑑賞時の視野角により決まる。すなわち、被写体距離が同じであっても、望遠方向にズームすることを「寄る」、広角方向にズームすることを「引く」と表現することがあるように、撮影時の画角により距離感が変わる。また撮影時の画角と鑑賞時の視野角とが異なる場合、被写体距離をもとに虚像の位置を定めて実際の見え方を再現することが、必ずしもユーザの目に自然に映るとは限らない。
【００１５】
また被写体の写真・映像の虚像を写す観賞距離Lv1は、撮影時の画角をαとし、観賞時の上記画角と同一方向の視野角をβとし、被写体距離をLtとしたとき、観賞距離Lv1は、
Lv = Lt × tan(α/2)/tan(β/2)    ・・・（式１）
で表されるのが好ましい。被写体距離をLtとし、撮影時の垂直方向の画角をαとしたとき、被写体の写真・映像の垂直方向の長さHtは、
Ht = 2Lt ×tan(α/2)    ・・・（式２）
で表される。また観賞距離をLv1とし、観賞時の上記画角と同一方向の視野角をβとしたとき、写真・映像の虚像の垂直方向の長さHvは、
Hv = 2Lv ×tan(β/2)    ・・・（式３）
で表される。視野角を考慮した虚像の垂直方向の長さHvが、被写体の写真・映像の垂直方向の長さHtと等しいときに、被写体が実物大に映るので、Ht= Hvとすると、式２及び式３から式１が導かれる。
【００１６】
被写体距離に加えて、撮影時の画角と観賞時の視野角を考慮して、観賞距離を変化させることにより、ユーザが自然と感じる距離感を実現できる。撮影時の画角はどの方向の画角であっても良いが、垂直方向の画角であるのが好ましい。また被写体距離及び撮影時の画角は被写体の写真・映像にデータとして記録されているのが好ましい。
【００１７】
このように観賞距離Lv1が撮影時の画角αのtan(α/2)と比例し、観賞時の視野角βのtan(β/2)と反比例する関数により決まることにより、ユーザが自然と感じる距離感を実現できる。観賞距離は、被写体距離Ltに対して、
1/Lv2 = 1/(Lt × tan(α/2)/tan(β/2))＋a      ・・・（式４）
（ただし、aは-0.13〜0.13（m-1）である。）で表される観賞距離Lv2としても良い。このように観賞距離は、ユーザの視度や好み、人間の目がピント位置によって距離感を知覚する精度、写真・映像の被写界深度等を考慮して、ある程度幅を持たせることができる。すなわち、撮影時の画角αと観賞時の視野角βとの関係：tan(α/2)/tan(β/2)に応じて観賞距離Lv2を変化させることが重要であり、それにより静止画が切り替わる場合や動画であってもユーザが自然と感じる距離感が実現できる。
【００１８】
式４に、さらに矯正効果を付加することができる。すなわち、観賞距離は、被写体距離Ltに対して、
1/Lv3 = 1/(Lt × tan(α/2)/tan(β/2))―b＋a      ・・・（式５）
（ただし、aは-0.13〜0.13（m-1），bはディオプター値である。）で表される観賞距離Lv3としても良い。bはユーザが普段使用している眼鏡のディオプター値とするのが好ましい。例えば、初期近視のディオプターは-1D以下であり、軽度近視の場合は-1D〜-3D、中等度近視の場合は-3D〜-6D、強度近視の場合は-6D〜-10D、最強度近視の場合は-10D〜-15D、極度近視の場合は-15Dを超える。例えば、中等度近視で普段-4.0Dの眼鏡を使用しているユーザの場合、式５の補正値（―b＋a）は4.0±0.13 (m-1)の範囲内にあればよい。
【００１９】
図２に示すように、マイクロディスプレイ10と接眼レンズ11の中心との間の距離cを調節することにより、観賞距離を制御することができる。虚像と接眼レンズ11の中心との間の距離をdとし、接眼レンズ11の焦点距離をfとすると、
1/f = 1/c - 1/d    ・・・（式６）
の関係を満たす。接眼レンズ11の焦点距離fは固有の値であるため、距離dが決まれば距離cが求まる。従って、所望の観賞距離を実現するために、距離cを適宜調節する。
【００２０】
本発明の一実施例による画像表示装置１を図3(a)及び図3(b)に示す。画像表示装置１は、左右の目に対応する一対のマイクロディスプレイ10と、一対の接眼レンズ11とを有し、ユーザの頭に装着するヘッドマウントディスプレイである。被写体の写真・映像が一対のマイクロディスプレイ10にそれぞれ表示され、マイクロディスプレイ10と接眼レンズ11の中心との間の距離を調節することにより、ユーザの目から所定の観賞距離Lvだけ離れた位置に被写体の写真・映像の虚像を映し出すことができる。
【００２１】
被写体の写真・映像の虚像は２次元的に表示することもできるが、一対のマイクロディスプレイ10に異なる写真・映像を表示することにより、立体視の原理により３次元的に表示することもできる。また被写体画像としてライトフィールドデータをもとに平面画像として処理したものを用いても良い。その際、ライトフィールドデータのリフォーカス位置までの距離を被写体距離とするのが好ましい。
【００２２】
観賞距離Lvが人間がピントを合わせやすい距離より短い場合、観賞距離Lvはその下限値とするのが好ましい。その場合、ユーザには写真・映像が同じ大きさに見えるように、虚像の大きさをプログラム処理で調整する。具体的には、観賞距離Lvが人間が自然にピントを合わせられる最も短い距離（最短焦点可能距離）よりも小さい場合、観賞距離を最短焦点可能距離とするのが好ましい。最短焦点可能距離は一般的に15 cm程度である。一連の映像（映像全体・あるいはカット割りの間のワンシーン）の中での最短観賞距離がわかっている場合は、最短観賞距離が15 cmとなるように補正を行うのが好ましい。例えば、補正しない場合の最短観賞距離が15 cm未満である場合、補正後の最短観賞距離が15 cmになるように、全ての観賞距離に15 cmと最短観賞距離との差を加算するか、全ての観賞距離に15 cmと最短観賞距離との比を乗算するのが望ましい。
【００２３】
観賞距離の異なる画像に切り替わる際、前の画像の観賞距離から次の画像の観賞距離まで段階的に変化していくのが好ましい。画像表示装置１により複数の画像を連続的に写す場合、前の画像の観賞距離Lvから次の画像の観賞距離Lv’に直に移行すると、眼のピント調整に負担がかかる。そのため、例えば、前の画像の観賞距離Lvが次の画像の観賞距離Lv’よりも短いときは、両画像の観賞距離の差Lv’−Lvを複数に分割して、観賞距離を段階的に変化させていくことにより、眼のピント調整が自然に正しい方向に促される。さらに、観賞距離の遠い画像から近い画像に切り替わるときは、画像中央、あるいはピントが合っている主要被写体の位置から次の写真が表れ、そこを起点として画面に全体に広がっていくようにすれば、眼のピント調整が自然に正しい方向に促される。
【００２４】
また観賞距離Lvはユーザの意図に基づいて適宜補正できるようにしても良い。ユーザは撮影時の画角αと観賞時の視野角βに応じて算出された観賞距離Lvに表示された虚像を参照し、ユーザの意図に応じて写真・映像の特定の部分の観賞距離Lvを変更できる。それによりユーザが自然と感じる距離感で写真・映像を写しながらも、ユーザの意図する箇所の観賞距離を短くして強調したりすることもできる。
【実施例】
【００２５】
以下実施例により本発明を具体的に説明するが、本発明はこれらに限定されるものではない。
【００２６】
実施例１
画角を一定にして被写体に近接する一例を図4(a)及び図4(b)を用いて以下説明する。垂直方向の画角αを30°として被写体（人物）の全身を撮影した後、画角αを変えずに被写体に近接し、その顔のアップを撮影した（図4(a)）。その時、図4(b)に示すように、被写体（人物）との距離LtはL1：336cmからL2：56cmに変化した。図3(a)及び図3(b)に示す視野角βが30°及び40°のヘッドマウントディスプレイ１を用いる場合の式１の観賞距離Lv1を及び式４の観賞距離Lv2をそれぞれ求めた。式４のaは-0.13〜0.13（m-1）の範囲とした。得られた結果を表１に示す。
【００２７】
【表１】
2018152789.tif 000003
【００２８】
虚像の垂直方向の長さは、被写体の垂直方向の長さに、被写体距離Ltに対する観賞距離Lvの比（Lv/Lt）を乗算することにより得られる。画角αと視野角βが等しい場合は、被写体距離Ltと観賞距離Lv1が同じであり、視野角βが40°と画角αの30°より広い場合、観賞距離Lv1は被写体距離Ltと比べて短くなる。いずれの場合でもユーザから式１の観賞距離Lv1だけ離れた位置に実物大の虚像が表示される。このように実際の被写体距離Ltを虚像位置として再現するのではなく、画角α及び視野角βに応じて、観賞距離を設定することにより、ユーザが自然に感じる距離感が得られる。
【００２９】
またユーザの観賞距離Lv2の範囲（234〜596 cm）であれば、ユーザが自然に感じる距離感が得られる。ユーザの視度や好みに応じて式４のaを設定することにより、そのユーザにとって最適な距離感が得られる。例えば、a = -0.1とした場合、被写体の全身を視野角β＝30°で見た時の観賞距離Lv2は251 cmとなる。その際、虚像の大きさは、観賞距離Lv1に表示される場合と同じ大きさ（実物大）としても良い。他の実施例の場合も同様である。また式５の観賞距離Lv3を用いることにより矯正効果を付加することができる。例えば、式５においてb = -4.0，a = 0とした場合、被写体の全身を視野角β＝30°で見た時の観賞距離Lv3は23 cmとなる。
【００３０】
実施例２
画角を一定にして被写体に近接する別の例を図5(a)及び図5(b)を用いて以下説明する。画角αを20°として、実施例１と同じ被写体（人物）の全身を撮影した後、画角αを変えずに被写体に近接し、その顔のアップを撮影した（図5(a)）。被写体の全身と顔アップの画像の縦長さは実施例１と同じとした。その時、図5(b)に示すように、被写体（人物）との距離LtはL3：510 cmからL4：85 cmに変化した。図3(a)及び図3(b)に示す視野角βが30°及び40°のヘッドマウントディスプレイ１を用いる場合の観賞距離Lv1及び観賞距離Lv2をそれぞれ求めた。得られた結果を表２に示す。
【００３１】
【表２】
2018152789.tif 000004
【００３２】
実施例１と同様に被写体の全身と顔アップを実物大で虚像として表されるが、実施例１よりも画角αが20°と小さく、被写体距離Ltは異なるが、観賞時に見える被写体の角度は同じであるため、観賞距離Lvは実施例１と同じ値となる。
【００３３】
実施例３
被写体距離を一定にしてズームする一例を図6(a)〜図6(c)を用いて以下説明する。画角αを20°として、実施例１と同じ被写体（人物）の全身を撮影した（図6(a)）。被写体（人物）との距離Ltは336 cmであった。被写体距離Ltを一定にしてズームし、その顔のアップを撮影した（図6(b)）。被写体（人物）との距離LtはL5：336 cmとL6：336 cmで同じであった。被写体の全身と顔アップの画像の縦長さは実施例１と同じとした。図3(a)及び図3(b)に示す視野角βが30°及び40°のヘッドマウントディスプレイ１を用いる場合の観賞距離Lv1及び観賞距離Lv2をそれぞれ求めた。得られた結果を表３に示す。
【００３４】
【表３】
2018152789.tif 000005
【００３５】
被写体の顔アップを被写体距離Ltを変えずにズームにより撮影しているので、被写体距離Ltが変わらない場合でも、被写体をズームすることにより、例えば視野角βが30°の場合は観賞距離Lv1が336 cmから56 cmに変化する。被写体にズームすると、実施例１よりも画角αが約5°と非常に小さく、被写体距離Ltが長いが、観賞時に見える被写体の角度は同じであるため、観賞距離Lvは実施例１と同じ値となる。ズームする際、前の画像の観賞距離と次の画像の観賞距離の差（280 cm）を複数に分割して、観賞距離を段階的に変化させても良い。
【００３６】
実施例１〜３に示すように、被写体距離Ltに画角α及び視野角βの関係を関数として組み合わせて、観賞距離Lvを求めることにより、ユーザが鑑賞するときに自然な距離感が得られる。
【００３７】
実施例４
画角を一定にして被写体を接写する一例を図7(a)及び図7(b)を用いて以下説明する。画角αを30°として被写体（花瓶の花）の全体を撮影した後、画角αを変えずに被写体に近接し、その花のアップを撮影した（図4(a)）。その時、図4(b)に示すように、被写体（花瓶の花）との距離LtはL9：35 cmからL10：3.5 cmに変化した。図3(a)及び図3(b)に示す視野角βが30°及び40°のヘッドマウントディスプレイ１を用いる場合の観賞距離Lv1及び観賞距離Lv2をそれぞれ求めた。得られた結果を表４に示す。
【００３８】
【表４】
2018152789.tif 000006
【００３９】
いずれの場合も観賞距離Lv1が15 cm未満であるため、観賞距離Lv1のうち最短の最短観賞距離を最短焦点可能距離に補正しても良い。視野角βが40°の場合、最短焦点可能距離を15 cmとすると、顔アップの観賞距離Lv1（最短観賞距離）が2.58 cmであるため、全ての観賞距離に12.42 cmを加えるか、全ての観賞距離を5.8倍しても良い。観賞距離Lv2を用いる場合も同様である。
【００４０】
また式１及び式４で得られた観賞距離Lv1，Lv2の最短観賞距離が15 cm未満である場合であっても、その観賞距離Lv1，Lv2を用いても良い。観賞距離Lv1，Lv2が短いと、人間のピント能力が追いつかずに、虚像がボケて見えてしまうが、それにより接写による臨場感が得られる。
【符号の説明】
【００４１】
１・・・画像表示装置
10・・・マイクロディスプレイ
11・・・接眼レンズ
【図１】
2018152789.tif 000007
【図２】
2018152789.tif 000008
【図３（ａ）】
2018152789.tif 000009
【図３（ｂ）】
2018152789.tif 000010
【図４（ａ）】
2018152789.tif 000011
【図４（ｂ）】
2018152789.tif 000012
【図５（ａ）】
2018152789.tif 000013
【図５（ｂ）】
2018152789.tif 000014
【図６（ａ）】
2018152789.tif 000015
【図６（ｂ）】
2018152789.tif 000016
【図６（ｃ）】
2018152789.tif 000017
【図７（ａ）】
2018152789.tif 000018
【図７（ｂ）】
2018152789.tif 000019