(57)【要約】【課題】美観を損ねずにキャラクタの視線を適切に表示することができる視線表示方法及び視線表示装置を提供する。【解決手段】二層式ディスプレイ１０を用いてキャラクタＣｈの視線を適切に表示する視線表示方法であって、二層式ディスプレイ１０は、第１の表示部１１と、第１の表示部１１よりも前面に設けられた第２の表示部１２とを備え、第２の表示部１２において、少なくともキャラクタＣｈの瞳の部分を表示し、第１の表示部１１において第２の表示部１２で表示された以外の部分を表示することを特徴とする。【選択図】図２
2020118871.tif 000002
【特許請求の範囲】
【請求項１】
二層式ディスプレイを用いてキャラクタの視線を適切に表示する視線表示方法であって、
前記二層式ディスプレイは、第１の表示部と、該第１の表示部よりも前面に設けられた第２の表示部とを備え、
前記第２の表示部において、少なくとも前記キャラクタの瞳の部分を表示し、前記第１の表示部において前記第２の表示部で表示された以外の部分を表示することを特徴とする視線表示方法。
【請求項２】
前記二層式ディスプレイは、平面映像を表示する平面ディスプレイであることを特徴とする請求項１に記載の視線表示方法。
【請求項３】
前記第１の表示部で目の周りの顔領域を暗くし、前記第２の表示部で瞳の部分を表示する映像と、
前記第１の表示部で目の周りの顔領域を表示する一方で白目を含む目の中の領域を暗くし、前記第２の表示部で瞳を表示しない映像とを時分割で表示することを特徴とする請求項１又は請求項２に記載の視線表示方法。
【請求項４】
二層式ディスプレイを用いてキャラクタの視線を適切に表示する視線表示装置であって、
少なくとも、
第１の表示部と、
該第１の表示部よりも前面に設けられた第２の表示部と、
前記第１の表示部と前記第２の表示部に表示される映像を制御する制御部とを備え、
前記制御部は、前記第２の表示部において、少なくとも前記キャラクタの瞳の部分を表示し、前記第１の表示部において前記第２の表示部で表示された以外の部分を表示するよう制御することを特徴とする視線表示装置。
【請求項５】
前記二層式ディスプレイは、平面映像を表示する平面ディスプレイであることを特徴とする請求項４に記載の視線表示装置。
【請求項６】
前記制御部はさらに前記第１の表示部で目の周りの顔領域を暗くし、前記第２の表示部で瞳の部分を表示する映像と、前記第１の表示部で目の周りの顔領域を表示する一方で白目を含む目の中の領域を暗くし、前記第２の表示部で瞳を表示しない映像とを時分割で表示するよう制御することを特徴とする請求項４又は請求項５に記載の視線表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二層式ディスプレイを用いて美観を損ねずにキャラクタの視線を適切に表示する視線表示方法及び視線表示装置に関する。
【背景技術】
【０００２】
視線を正面に向けたキャラクタを平面画像で観た場合、どの角度からも自分が見られているように見える、いわゆるモナリザ効果が生じる。このため、平面画像においてキャラクタを表示する際、キャラクタの視線を適切に表示することが困難であった。
【０００３】
このような問題に対して、例えば特許文献１には、観察者から見て異なった奥行き位置にある複数の表示面に、表示対象物体を観察者の視線方向から射影した２次元像をそれぞれ表示し、当該表示される２次元像の輝度を各表示面毎にそれぞれ独立に変化させて、３次元立体像を表示するＤＦＤ（Depth Fused 3D）方式の３次元表示方法が記載されている。
【０００４】
また、特許文献２には、正面側に配置され、キャラクターの顔が描かれると共に、目の部分がくり抜かれた正面側パーツと、背面側に配置され、前記くり抜かれた目の位置に対応する位置に瞳が描かれた背面側パーツと、前記正面側パーツと前記背面側パーツを所定の間隔に保持するための間隔保持部材と、を備えたことを特徴とするキャラクター画像付き商品が記載されている。これは、ミツメトロニクス（登録商標）と呼ばれるものであり、見る人の動きに合わせて視線が観察者の方向に動いているように見えるものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−４２７４５号公報
【特許文献２】実用新案登録第３１６８９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載されているようなＤＦＤ（Depth Fused 3D）方式では、見る角度によっては顔面が浮いているように見えることがあり、美観を維持できる視聴可能角度に制約があった。また、特許文献２に記載の商品は、後述する本件特許発明とは、顔と目の前後が逆に設けられているものであり、視線の動く方向が後述する本件特許発明とは逆のため、正確な視線を表示するものではなかった。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、美観を損ねずにキャラクタの視線を適切に表示することができる視線表示方法及び視線表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様は、二層式ディスプレイを用いてキャラクタの視線を適切に表示する視線表示方法であって、二層式ディスプレイは、第１の表示部と、第１の表示部よりも前面に設けられた第２の表示部とを備え、第２の表示部において、少なくともキャラクタの瞳の部分を表示し、第１の表示部において第２の表示部で表示された以外の部分を表示することを特徴とする。
【０００９】
本発明の一態様によれば、キャラクタの瞳の部分を他の輪郭部分よりも前面に表示することにより、斜め方向から見た場合に、瞳の部分だけが観察者から離れる方向に移動して見えるため、美観を損ねずにキャラクタの視線を適切に表示することができる。
【００１０】
このとき、本発明の一態様では、二層式ディスプレイは、平面映像を表示する平面ディスプレイとしてもよい。
【００１１】
本発明を適用することにより、従来の平面画像で生じていたモナリザ効果を排除することができる。
【００１２】
また、本発明の一態様では、第１の表示部で目の周りの顔領域を暗くし、第２の表示部で瞳の部分を表示する映像と、第１の表示部で目の周りの顔領域を表示する一方で白目を含む目の中の領域を暗くし、第２の表示部で瞳を表示しない映像とを時分割で表示するようにしてもよい。
【００１３】
このように表示することで、例えば、瞳が目の輪郭からはみ出してしまうような場合であっても、修正した映像を時分割で表示することにより、瞳が目の輪郭内に収まっているように表示することができる。
【００１４】
本発明の他の態様は、二層式ディスプレイを用いてキャラクタの視線を適切に表示する視線表示装置であって、少なくとも、第１の表示部と、第１の表示部よりも前面に設けられた第２の表示部と、第１の表示部と第２の表示部に表示される映像を制御する制御部とを備え、制御部は、第２の表示部において、少なくともキャラクタの瞳の部分を表示し、第１の表示部において第２の表示部で表示された以外の部分を表示するよう制御することを特徴とする。
【００１５】
このようにキャラクタの瞳の部分を他の輪郭部分よりも前面に表示することにより、斜め方向から見た場合に、瞳の部分だけが観察者から離れる方向に移動して見えるため、美観を損ねずにキャラクタの視線を適切に表示できる視線表示装置とすることができる。
【００１６】
このとき、本発明の他の態様では、二層式ディスプレイは、平面画像を表示する平面ディスプレイとしてもよい。
【００１７】
本発明を適用することにより、従来の平面映像で生じていたモナリザ効果を排除することができる視線表示装置とすることができる。
【００１８】
また、本発明の他の態様では、制御部はさらに第１の表示部で目の周りの顔領域を暗くし、第２の表示部で瞳の部分を表示する映像と、第１の表示部で目の周りの顔領域を表示する一方で白目を含む目の中の領域を暗くし、第２の表示部で瞳を表示しない映像とを時分割で表示するよう制御することができる。
【００１９】
このように制御することで、例えば、瞳が目の輪郭からはみ出してしまうような場合であっても、修正した映像を時分割で表示することにより、瞳が目の輪郭内に収まっているように表示することができる。
【発明の効果】
【００２０】
以上説明したように本発明によれば、美観を損ねずにキャラクタの視線を適切に表示することができる視線表示方法及び視線表示装置を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】従来の平面画像におけるキャラクタの視線を説明する概略図である。
【図２】本発明の一実施形態に係る視線表示方法の構成を示す概略図であり、（Ａ）は二層式ディスプレイを示す斜視図であり、（Ｂ）は二層式ディスプレイのそれぞれで表示される映像を示す正面図である。
【図３】本発明の一実施形態に係る視線表示方法及び視線表示装置において、キャラクタが正面を向いて表示されている場合に、複数の角度から見た場合の視線の見え方を説明する概略図である。
【図４】本発明の一実施形態に係る視線表示方法及び視線表示装置において、キャラクタが右方向を向いて表示されている場合に、複数の角度から見た場合の視線の見え方を説明する概略図である。
【図５】キャラクタの映像を時分割で表示する場合の一例を示す概略図である。
【図６】本発明の一実施形態に係る視線表示装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、本発明の好適な実施の形態について詳細に説明する。なお、以下に説明する本実
施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本
実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２３】
本発明の一実施形態に係る視線表示方法が適用される一例として、例えば、画面上でキャラクタが動作するインタラクティブキャラクタの表示や、これらを用いた情報、広告媒体であるデジタルサイネージ等が挙げられる。
【００２４】
図１は、従来の平面画像におけるキャラクタの視線を説明する概略図である。例えば、図１に示す平面ディスプレイ１００にキャラクタＣｈが表示されている場合において、図１（Ａ）のようにキャラクタＣｈが視線を正面に向けている場合、正面の観察者ＡからはキャラクタＣｈが自分（観察者Ａ）を見ているように見えるが、斜め方向から見ている観察者Ｂからも、自分（観察者Ｂ）が見られているように見えてしまう。また、図１（Ｂ）のようにキャラクタＣｈが視線を観察者から見て右方向に向けている場合、正面にいる観察者ＡからはキャラクタＣｈが自分より右を見ているように見えるが、右斜め方向から見ている観察者Ｂからも、キャラクタＣｈが自分よりも右を見ているように見えてしまう。このような現象は、モナリザ効果と呼ばれ、平面画像を表示する際にキャラクタＣｈの視線を適切に表示できないという課題があった。
【００２５】
本発明はこのような問題を解決するために発案された。図２は、本発明の一実施形態に係る視線表示方法の構成を示す概略図であり、（Ａ）は二層式ディスプレイを示す斜視図であり、（Ｂ）は二層式ディスプレイのそれぞれで表示される映像を示す正面図である。本発明の一態様は、図２に示すように、二層式ディスプレイ１０を用いてキャラクタＣｈの視線を適切に表示する視線表示方法であって、二層式ディスプレイ１０は、第１の表示部１１と、第１の表示部１１よりも前面に設けられた第２の表示部１２とを備え、第２の表示部１２において、少なくともキャラクタＣｈの瞳の部分を表示し、第１の表示部１１において第２の表示部１２で表示された以外の部分を表示することを特徴とする。
【００２６】
本発明では、このようにキャラクタＣｈの瞳の部分を他の輪郭部分よりも前面に表示することにより、観察者の見る位置に応じてキャラクタＣｈの前面の瞳の部分が、後面の白目の部分に対して見える位置が変化するため、美観を損ねずにキャラクタＣｈの視線を適切に表示することができる。
【００２７】
図３は、本発明の一実施形態に係る視線表示方法及び視線表示装置において、キャラクタが正面を向いて表示されている場合に、複数の角度から見た場合の視線の見え方を説明する概略図である。二層式ディスプレイ１０に表示されたキャラクタＣｈが正面に視線を向けている場合、キャラクタＣｈの正面にいる観察者Ｂは自分がみられているように感じる。一方で、左斜め方向にいる観察者Ａからみると、瞳の部分が手前の第２の表示部に表示されているため、後ろの第１の表示部に表示された目の輪郭部分に対して観察者Ａから見てやや右側に瞳があるように見える。したがって、観察者Ａから見ると表示されたキャラクタＣｈは自分よりも右にいる観察者Ｂを見ているように見える。また、右斜め方向にいる観察者Ｃから見ると、逆にキャラクタの瞳の部分は目の輪郭部分に対してやや左側にあるようにみえるため、観察者Ｃから見ると表示されたキャラクタは自分よりも左にいる観察者Ｂを見ているように見える。このように、本発明の一実施形態に係る視線表示方法及び視線表示装置によれば、どの方向から見た場合であっても、美観を損ねずにキャラクタの視線を適切に表示することができる。
【００２８】
図４は、本発明の一実施形態に係る視線表示方法及び視線表示装置において、キャラクタが右方向を向いて表示されている場合に、複数の角度から見た場合の視線の見え方を説明する概略図である。この場合も、正面にいる観察者ＢからはキャラクタＣｈは右側にいる観察者Ｃを見ているように見える。また、左斜め方向にいる観察者Ａから見ると、キャラクタＣｈの瞳はさらに右側にあるようにみえるため、最も右側にいる観察者Ｃを見ているように見える。また、右斜め方向にいる観察者Ｃから見ると、キャラクタＣｈの瞳は左側に動いて中央寄りにあるようにみえるため、観察者Ｃからは、キャラクタＣｈが自分（観察者Ｃ）を見ているように見える。
【００２９】
なお、キャラクタの瞳の位置と観察者の見る角度によっては、キャラクタの瞳の映像が後面の目の輪郭よりもはみ出して見えてしまう場合があり、美観を損ねる恐れがある。このとき、例えば、第１の表示部で目の周りの顔領域を暗くし、第２の表示部で瞳の部分を表示する映像と、第１の表示部で目の周りの顔領域を表示する一方で白目を含む目の中の領域を暗くし、第２の表示部で瞳を表示しない映像とを時分割で表示するようにしてもよい。
【００３０】
図５は、キャラクタの映像を時分割で表示する場合の一例を示す概略図である。図５（Ａ）では、第１の表示部１１では目の周りの顔領域２１を暗くし、第２の表示部１２では瞳の部分２２を表示する。このとき、観察者の見る角度によって瞳の部分２２が第１の表示部の目の輪郭部分２３をはみ出してしまうような場合であっても、目の周りの顔領域２１を暗くすることで目の領域外の瞳孔像を見えなくすることができる。その一方で、図５（Ｂ）では、第１の表示部１１で目の周りの顔領域２１を表示する一方で白目を含む目の領域２４を暗くし、第２の表示部１２で瞳を表示しないようにする。このときは、目の輪郭部分２３が表示されている状態となる。そして、図５（Ａ）の映像と図５（Ｂ）の映像を時分割で交互に表示することにより、図５（Ｃ）に示すように、キャラクタの瞳の部分２２が目の輪郭部分２３からはみ出ていないように表示することができる。図５（Ａ）と図５（Ｂ）の映像の切り替え間隔は、１／１００秒以下、例えば１２０Ｈｚ以上とすることが好ましい。
【００３１】
ここで、目の周りの顔領域２１は、少なくとも、観察者が現実的に観察しうるあらゆる視点位置から見た時に、第２の表示部１２に表示された瞳２２の像が重なりうる第１の表示部１１内の領域すべてを含むことが好ましい。実際には目の周りの顔領域２１はそのような領域より大きくてもよく、例えば第１の表示部１１の目以外の領域全てを目の周りの顔領域２１と見なしてもよい。この場合、第２の表示部１２で瞳２２の部分を表示する間は第１の表示部１１は暗い背景に目の内部の領域２４のみを表示することになる。
【００３２】
また、目の周りの顔領域２１は、暗くした表示と顔領域の表示を交互に行うため、経時的に混色されて輝度が減少する。そのため、時分割表示において表示内容の切り替えの生じない目の周り以外の顔領域２５は、目の周りの顔領域２１と同じ輝度となるようにあらかじめ輝度を減じて表示する。あるいは、目の周りの顔領域２１の外縁は、暗色から顔画像まで滑らかに色の変わるグラデーションとしてもよい。これは時分割表示により表示内容の変化する領域２１と変化しない領域２５の境界が明確に認識されてしまう可能性を減じることに効果がある。
【００３３】
次に、視線表示装置について説明する。図６は、本発明の一実施形態に係る視線表示装置の構成を示すブロック図である。本発明の一態様は、二層式ディスプレイを用いてキャラクタの視線を適切に表示する視線表示装置３０であって、少なくとも、第１の表示部３１と、第１の表示部３１よりも前面に設けられた第２の表示部３２と、第１の表示部３１と第２の表示部３２に表示される映像を制御する制御部４０とを備える。そして、制御部４０は、第２の表示部３２において、少なくともキャラクタの瞳の部分を表示し、第１の表示部３１において第２の表示部３２で表示された以外の部分を表示するよう制御することを特徴とする。
【００３４】
第１の表示部３１は、二層式ディスプレイの後面側に設けられ、キャラクタの瞳以外の部分、例えば、顔（白目、鼻、耳、口、髪等）や体全体を表示する。第１の表示部３１として用いられるディスプレイには特に限定はなく、例えば、液晶ディスプレイ（ＬＣＤ）、有機エレクトロルミネッセンス（ＯＬＥＤ）、投影スクリーンなど任意の種類のディスプレイを使用することができる。
【００３５】
第２の表示部３２は、第１の表示部３１の前面に設けられる。すなわち、第２の表示部３２は、第１の表示部３１に表示された映像の上に第２の表示部３２で表示する映像を重ね合わせることとなる。このため、第２の表示部３２には液晶ディスプレイ（ＬＣＤ）のような減衰型のディスプレイが用いられる。なお、第２の表示部３２では、主にキャラクタの瞳（黒目）の部分を表示するが、瞳のみに限定されるわけではなく、瞳と合わせて鼻や顔の他のパーツの部分を表示してもよい。
【００３６】
制御部４０は、例えば通常の情報処理端末として備えるべき、１又は複数のＣＰＵ（Central Processing Unit）４１、ＲＯＭ（Read Only Memory）４２、ＲＡＭ（Random access Memory）４３等を備える。また、必要に応じてキーボード、タッチパネル等の入力部４４や通信ユニット４５、ＧＰＵ（Graphics Processing Unit）４６等を有していてもよい。各構成要素の数及び性能は、第１の表示部３１及び第２の表示部３２の大きさや種類、表示しようとするキャラクタの種類、数、計算の負荷等により状況に適したものを選択すればよい。また、制御部４０は、本発明の一実施形態に係る視線表示方法を実現するためのプログラムを有する。
【００３７】
ＣＰＵ４１は、入力されたキャラクタのデータや、ＲＯＭ４２に記憶されている各種プログラムに従って、制御部４０に備わる各構成要素の動作を制御する機能を有する。本実施形態では、ＣＰＵ４１は、視線表示方法を実行させるためのプログラムに従って、キャラクタの視線を含めた表示のための動作を制御する。また、ＣＰＵ４１は、これら各種処理を実行する際に、必要なデータ等をＲＡＭ（Random access Memory）４３等に適宜記憶させる機能を有する。なお、画像処理は、ＧＰＵ４６で行ってもよい。
【００３８】
ＲＯＭ４２やＲＡＭ４３といったメモリは、視線表示装置３０の各構成要素の動作制御に必要な情報を記憶する機能を有する。本実施形態では、メモリは、視線表示装置３０により実行される視線表示方法を実行させるためのプログラムが記憶されている。
【００３９】
通信ユニット４５は、視線表示装置３０と他の端末間でのデータの送受信を行うために設けることができる。通信ユニット４５は有線又は無線の通信回線を通じて他のサーバや端末との通信を行う。
【００４０】
本発明の一実施形態に係る視線表示方法及び視線表示装置においては、キャラクタは静止映像でもよいし、動作を加えた動画としての映像であってもよい。いずれの場合でも、キャラクタのデータは、制御部４０において、例えば瞳の部分と、それ以外の部分の映像データに分離し、第１の表示部３１と第２の表示部３２において重ね合わせた映像にずれが生じないように表示する。
【００４１】
斜め方向から見た場合に、第２の表示部３２に表示されたキャラクタの瞳（黒目）と、第１の表示部３１に表示された目の輪郭（白目）の位置関係のずれの程度は、第１の表示部３１と第２の表示３２の間隔に依存する。すなわち、第１の表示部３１と第２の表示部３２の間隔が大きくなるほど、斜め方向から見た場合の瞳（黒目）の動きは大きくなる。したがって、例えば、第１の表示部３１又は第２の表示部３２を可動式として、制御部４０においてその間隔を適宜制御するようにしてもよい。
【００４２】
また、本発明の一実施形態に係る視線表示方法及び視線表示装置を、観察者の注意を引くことができるデジタルサイネージとして用いるような場合に、人の接近などを感知してその方向にキャラクタの視線を動かすように設定しておいてもよい。このような手段としては、例えば、センサによる人（観察者）の接近の感知や音声認識等により、感知した方向にキャラクタの視線を向けるように設定することができる。あるいは、モーションキャプチャ等によって、特定の人物の視線を含めた動きをキャラクタに反映させることでキャラクタの視線を動かすようにしてもよい。
【００４３】
このように、本発明の一実施形態に係る視線表示方法及び視線表示装置によれば、第１の表示部の前面に、瞳を表示する第２の表示部を設けることで、広い視野（例えば１２０度以上）から見た場合でも、美観を損ねずにキャラクタの視線を適切に表示することができる。
【００４４】
なお、上記のように本発明の一実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは、当業者には、容易に理解できるであろう。従って、このような変形例は、全て本発明の範囲に含まれるものとする。
【００４５】
例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、視線表示方法及び視線表示装置の構成、動作も本発明の一実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【００４６】
１０  二層式ディスプレイ、１１，３１  第１の表示部、１２，３２  第２の表示部、２１  目の周りの顔領域、２２  瞳の部分、２３  目の輪郭部分、２４  白目を含む目の領域、２５  目の周り以外の顔領域、３０  視線表示装置、４０  制御部、４１  ＣＰＵ、４２  ＲＯＭ、４３  ＲＡＭ、４４  入力部、４５  通信ユニット、４６  ＧＰＵ、１００  平面ディスプレイ（従来例）、Ｃｈ  キャラクタ
【図１】
2020118871.tif 000003
【図２】
2020118871.tif 000004
【図３】
2020118871.tif 000005
【図４】
2020118871.tif 000006
【図５】
2020118871.tif 000007
【図６】
2020118871.tif 000008