(57)【要約】【課題】ユーザの煩雑な設定操作が必要なく、ユーザがユーザの視点の向きに応じた画像を直感的に表示させること。【解決手段】メニュー項目入力部１０１は、表示部１０６に表示させるメニュー項目１〜ｎを、環状メニュー列画像生成部１０２および１次元メニュー列画像生成部１０３に入力し、環状メニュー列画像生成部１０２は、メニュー項目１〜ｎを環状に並べた環状メニュー列画像を生成し、１次元メニュー列画像生成部１０３は、メニュー項目１〜ｎを１次元に並べた１次元メニュー列画像を生成し、視点検出部１０４は、端末装置１００のユーザの、表示部１０６に対する視点の向きを検出し、画像切替部１０５は、視点検出部１０４によって検出された視点の向きに応じて、環状メニュー列画像と１次元メニュー列画像とを切り替えて表示部１０６に表示させる。【選択図】図１
2011145980.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示手段と、
前記表示手段に対するユーザの視点の向きを検出する検出手段と、
前記視点の向きに応じて、前記表示手段に表示させる画像の表示形式を切り替える切替手段と、
を具備する端末装置。
【請求項２】
前記切替手段は、前記表示形式を、１次元の表示形式と環状の表示形式との間で切り替える、
請求項１記載の端末装置。
【請求項３】
複数のメニュー項目を１次元に並べた１次元メニュー列画像を生成する第１生成手段と、
前記複数のメニュー項目を環状に並べた環状メニュー列画像を生成する第２生成手段と、をさらに具備し、
前記切替手段は、前記視点の向きに応じて、前記表示手段に表示させる画像を、前記１次元メニュー列画像と前記環状メニュー列画像との間で切り替える、
請求項２記載の端末装置。
【請求項４】
複数のプレゼンス情報を１次元のリスト形式にしたリスト表示画像を生成する第１生成手段と、
前記複数のプレゼンス情報を環状に並べた環状表示画像を生成する第２生成手段と、をさらに具備し、
前記切替手段は、前記視点の向きに応じて、前記表示手段に表示させる画像を、前記リスト表示画像と前記環状表示画像との間で切り替える、
請求項２記載の端末装置。
【請求項５】
前記第１生成手段および前記第２生成手段は、発話者を特定する情報に従って、前記リスト表示画像および前記環状表示画像において前記発話者を強調表示した画像を生成する、
請求項４記載の端末装置。
【請求項６】
複数の感情情報に従って複数のアバター画像を生成する第１生成手段と、
前記複数のアバター画像を１次元に並べた１次元表示画像を生成する第２生成手段と、
前記複数のアバター画像を環状に並べた環状表示画像を生成する第３生成手段と、をさらに具備し、
前記切替手段は、前記視点の向きに応じて、前記表示手段に表示させる画像を、前記１次元表示画像と前記環状表示画像との間で切り替える、
請求項２記載の端末装置。
【請求項７】
前記第２生成手段および前記第３生成手段は、発話者を特定する情報に従って、前記１次元表示画像および前記環状表示画像において前記発話者を強調表示した画像を生成する、
請求項６記載の端末装置。
【請求項８】
前記検出手段は、前記端末装置の傾斜角度を前記視点の向きとして検出し、
前記切替手段は、前記傾斜角度に応じて、前記表示手段に表示させる画像の表示形式を、１次元の表示形式と環状の表示形式との間で切り替える、
請求項２記載の端末装置。
【請求項９】
画像を表示する表示手段に対するユーザの視点の向きを検出する検出ステップと、
前記視点の向きに応じて、前記表示手段に表示させる画像の表示形式を切り替える切替ステップと、
を具備する画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置および画像表示方法に関する。
【背景技術】
【０００２】
画像表示に関する従来技術として、仮想的な３次元空間である多面体の内部に配置したメニュー画像を、ユーザの設定操作に応じて視点を変化させながら２次元の表示画面に表示するものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−９７１５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、メニュー画像をユーザの任意の角度から見たように表示させるためには、ユーザの設定操作が必要であり、その設定操作が直感的でなく、かつ、煩雑であるという課題を有していた。
【０００５】
本発明の目的は、ユーザの煩雑な設定操作が必要なく、ユーザがユーザの視点の向きに応じた画像を直感的に表示させることができる端末装置および画像表示方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明の端末装置は、画像を表示する表示手段と、前記表示手段に対するユーザの視点の向きを検出する検出手段と、前記視点の向きに応じて、前記表示手段に表示させる画像の表示形式を切り替える切替手段と、を具備する。
【０００７】
本発明の画像表示方法は、画像を表示する表示手段に対するユーザの視点の向きを検出する検出ステップと、前記視点の向きに応じて、前記表示手段に表示させる画像の表示形式を切り替える切替ステップと、を具備する。
【発明の効果】
【０００８】
本発明によれば、ユーザの煩雑な設定操作が必要なく、ユーザがユーザの視点の向きに応じた画像を直感的に表示させることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１に係る端末装置の構成を示すブロック図
【図２】本発明の実施の形態１に係る画像表示例を示す図
【図３】本発明の実施の形態２に係る端末装置の構成を示すブロック図
【図４】本発明の実施の形態２に係る画像表示例を示す図
【図５】本発明の実施の形態３に係る端末装置の構成を示すブロック図
【図６】本発明の実施の形態３に係る画像表示例を示す図（例１）
【図７】本発明の実施の形態３に係る画像表示例を示す図（例２）
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００１１】
（実施の形態１）
図１に、本実施の形態に係る端末装置１００の構成を示す。
【００１２】
端末装置１００において、メニュー項目入力部１０１は、表示部１０６に表示させるメニュー項目１〜ｎを、環状メニュー列画像生成部１０２および１次元メニュー列画像生成部１０３に入力する。
【００１３】
環状メニュー列画像生成部１０２は、メニュー項目１〜ｎを環状に並べた環状メニュー列画像を生成して画像切替部１０５に出力する。
【００１４】
１次元メニュー列画像生成部１０３は、メニュー項目１〜ｎを１次元に並べた１次元メニュー列画像を生成して画像切替部１０５に出力する。
【００１５】
視点検出部１０４は、端末装置１００のユーザの、表示部１０６に対する視点の向きを検出し、検出結果を画像切替部１０５に出力する。
【００１６】
画像切替部１０５は、視点検出部１０４によって検出された視点の向きに応じて、環状メニュー列画像と１次元メニュー列画像とを切り替えて表示部１０６に表示させる。
【００１７】
次いで、本実施の形態に係る画像表示例について図２を用いて説明する。なお、図２には、メニュー項目１〜７を表示する場合を一例に挙げている。
【００１８】
視点検出部１０４は、例えば、端末装置１００の傾斜角度を検出する傾斜センサによって構成される。そして、視点検出部１０４は、端末装置１００の傾斜角度を表示部１０６に対するユーザの視点の向きとして検出し、検出した傾斜角度を画像切替部１０５に出力する。
【００１９】
本実施の形態では、ユーザと表示部１０６とが正対し、表示部１０６に対するユーザの視点の向きが水平の状態にある場合には、ユーザの周囲に１次元で水平に並んだメニュー項目をユーザが順に眺めることを想定する。一方で、本実施の形態では、ユーザに対し表示部１０６が傾いた位置にあり、表示部１０６に対するユーザの視点の向きが水平でない状態にある場合には、ユーザの周囲に２次元で円形に並んだメニュー項目をユーザが覗き込むようにして眺めることを想定する。
【００２０】
そこで、画像切替部１０５は、端末装置１００の傾斜角度が閾値以上か否かに応じて表示部１０６に表示させる画像を１次元メニュー列画像２０１と環状メニュー列画像２０２との間で切り替える。
【００２１】
例えば、画像切替部１０５は、端末装置１００の傾斜角度が４５度未満の場合は、表示部１０６に対するユーザの視点の向きが水平の状態にあると判断し、図２に示すように、１次元メニュー列画像２０１を表示部１０６に表示させる。
【００２２】
一方で、画像切替部１０５は、端末装置１００の傾斜角度が４５度以上の場合は、表示部１０６に対するユーザの視点の向きが水平でない状態にあると判断し、図２に示すように、環状メニュー列画像２０２を表示部１０６に表示させる。
【００２３】
このようにして、本実施の形態では、表示部１０６に対するユーザの視点の向きに応じて、表示部１０６に表示させる画像の表示形式を、１次元の表示形式と環状の表示形式との間で自動的に切り替える。
【００２４】
よって、本実施の形態によれば、ユーザがメニュー項目を覗き込むような姿勢で見たい場合には、ユーザは端末装置１００を傾けてそのような姿勢をとるだけでよいため、ユーザは直感的にユーザの視点の向きに応じた表示形式を選択することができる。
【００２５】
つまり、本実施の形態によれば、ユーザの煩雑な設定操作を必要とせずに、ユーザの視点の向きに応じた適切なメニュー列画像を直感的に表示させることができる。
【００２６】
（実施の形態２）
本実施の形態では、移動体通信におけるPoC(Push to talk on Cellular)サービスに本発明を適用する場合について説明する。
【００２７】
図３に、本実施の形態に係る端末装置３００の構成を示す。なお、図３において、図１（実施の形態１）と同一の構成部には同一の符号を付し、その説明を省略する。
【００２８】
端末装置３００において、プレゼンス情報入力部３０１は、表示部１０６に表示させるプレゼンス情報１〜ｎを、環状表示画像生成部３０３およびリスト表示画像生成部３０４に入力する。ここで、プレゼンス情報１〜ｎは、PoCにおける多者間通話の参加者１〜ｎを示す情報である。PoCにおいては、登録されたメンバーのうち、どのメンバーが会話に参加しているかの情報がプレゼンス情報として得られる。また、プレゼンス情報１〜ｎは、文字情報および画像情報のいずれとしても得ることができる。
【００２９】
発話者特定情報入力部３０２は、多者間通話の参加者１〜ｎの中の発話中のユーザ（発話者）を特定する情報（発話者特定情報）を、環状表示画像生成部３０３およびリスト表示画像生成部３０４に入力する。
【００３０】
環状表示画像生成部３０３は、プレゼンス情報１〜ｎを環状に並べた環状表示画像を生成する。また、環状表示画像生成部３０３は、発話者特定情報に従って、発話者を強調表示した環状表示画像を生成してもよい。そして、環状表示画像生成部３０３は、生成した環状表示画像を画像切替部３０５に出力する。
【００３１】
リスト表示画像生成部３０４は、プレゼンス情報１〜ｎを１次元のリスト形式にしたリスト表示画像を生成する。また、リスト表示画像生成部３０４は、発話者特定情報に従って、発話者を強調表示したリスト表示画像を生成してもよい。そして、リスト表示画像生成部３０４は、生成したリスト表示画像を画像切替部３０５に出力する。
【００３２】
画像切替部３０５は、視点検出部１０４によって検出された視点の向きに応じて、環状表示画像とリスト表示画像とを切り替えて表示部１０６に表示させる。
【００３３】
次いで、本実施の形態に係る画像表示例について図４を用いて説明する。なお、図４には、多者間通話の参加者６名分のプレゼンス情報を表示する場合を一例に挙げている。
【００３４】
リスト表示画像生成部３０４は、参加者６名分のプレゼンス情報を１次元のリスト形式にしたリスト表示画像４０１を生成する。また、リスト表示画像生成部３０４は、リスト表示画像４０１において、図４に示すようにして、発話者を強調表示してもよい。
【００３５】
一方、環状表示画像生成部３０３は、参加者６名分のプレゼンス情報を環状に並べた環状表示画像４０２を生成する。また、環状表示画像生成部３０３は、環状表示画像４０２において、図４に示すようにして、発話者を強調表示してもよい。
【００３６】
視点検出部１０４は、端末装置３００の傾斜角度を表示部１０６に対するユーザの視点の向きとして検出し、検出した傾斜角度を画像切替部３０５に出力する。
【００３７】
本実施の形態では、ユーザと表示部１０６とが正対し、表示部１０６に対するユーザの視点の向きが水平の状態にある場合には、１次元で垂直に並んだプレゼンス情報をユーザーが順に眺めることを想定する。一方で、本実施の形態では、ユーザに対し表示部１０６が傾いた位置にあり、表示部１０６に対するユーザの視点の向きが水平でない状態にある場合には、ユーザの周囲に２次元で円形に並んだプレゼンス情報をユーザが覗き込むようにして眺めることを想定する。
【００３８】
そこで、画像切替部３０５は、端末装置３００の傾斜角度が閾値以上か否かに応じて表示部１０６に表示させる画像をリスト表示画像４０１と環状表示画像４０２との間で切り替える。
【００３９】
例えば、画像切替部３０５は、端末装置３００の傾斜角度が４５度未満の場合は、表示部１０６に対するユーザの視点の向きが水平の状態にあると判断し、図４に示すように、リスト表示画像４０１を表示部１０６に表示させる。
【００４０】
一方で、画像切替部３０５は、端末装置３００の傾斜角度が４５度以上の場合は、表示部１０６に対するユーザの視点の向きが水平でない状態にあると判断し、図４に示すように、環状表示画像４０２を表示部１０６に表示させる。
【００４１】
このようにして、本実施の形態では、表示部１０６に対するユーザの視点の向きに応じて、表示部１０６に表示させる画像の表示形式を、１次元の表示形式と環状の表示形式との間で自動的に切り替える。
【００４２】
よって、本実施の形態によれば、ユーザがプレゼンス情報を覗き込むような姿勢で見たい場合には、ユーザは端末装置３００を傾けてそのような姿勢をとるだけでよいため、ユーザは直感的にユーザの視点の向きに応じた表示形式を選択することができる。
【００４３】
つまり、本実施の形態によれば、ユーザの煩雑な設定操作を必要とせずに、ユーザの視点の向きに応じた適切なプレゼンス情報を直感的に表示させることができる。
【００４４】
（実施の形態３）
本実施の形態では、アバターを用いたＴＶ電話における多地点会議に本発明を適用する場合について説明する。
【００４５】
図５に、本実施の形態に係る端末装置５００の構成を示す。なお、図５において、図１（実施の形態１）と同一の構成部には同一の符号を付し、その説明を省略する。
【００４６】
端末装置５００において、感情情報入力部５０１は、表示部１０６に表示されるアバター画像１〜ｎに対する感情情報１〜ｎをアバター画像生成部５０２に入力する。
【００４７】
アバター画像生成部５０２は、感情情報１〜ｎに従ったアバター画像１〜ｎを生成して、環状表示画像生成部５０３および１次元表示画像生成部５０４に出力する。アバター画像生成部５０２は、例えば、特開２００５−２１６１４９号公報に開示されているような方法を用いてアバター画像を生成する。特開２００５−２１６１４９号公報に開示されているアバター画像生成方法では、ユーザを表現する画像を予め用意された複数の構成パーツから構成し、ユーザからの感情を示す入力に対応してアバターの各構成パーツの状態を変化させる。具体的には、耳を示す構成パーツの形状を折れ曲がったものに変化させたり、腕を示す構成パーツを腕を振り続けるというような状態に変化させたりしてユーザーの感情の変化を表現する。
【００４８】
環状表示画像生成部５０３は、アバター画像１〜ｎを環状に並べた環状表示画像を生成して画像切替部５０５に出力する。
【００４９】
１次元表示画像生成部５０４は、アバター画像１〜ｎを１次元に並べた１次元表示画像を生成して画像切替部５０５に出力する。
【００５０】
画像切替部５０５は、視点検出部１０４によって検出された視点の向きに応じて、環状表示画像と１次元表示画像とを切り替えて表示部１０６に表示させる。
【００５１】
次いで、本実施の形態に係る画像表示例について図６を用いて説明する。なお、図６には、多地点会議の参加者８名分のアバター画像を表示する場合を一例に挙げている。
【００５２】
１次元表示画像生成部５０４は、参加者８名分のアバター画像を１次元に並べた１次元表示画像６０１を生成する。なお、１次元表示画像生成部５０４は、１次元表示画像６０１において、実施の形態２と同様にして、発話者を強調表示してもよい。
【００５３】
一方、環状表示画像生成部５０３は、参加者８名分のアバター画像を環状に並べた環状表示画像６０２を生成する。なお、環状表示画像生成部５０３は、環状表示画像６０２において、実施の形態２と同様にして、発話者を強調表示してもよい。
【００５４】
視点検出部１０４は、端末装置５００の傾斜角度を表示部１０６に対するユーザの視点の向きとして検出し、検出した傾斜角度を画像切替部５０５に出力する。
【００５５】
本実施の形態では、ＴＶ電話における多地点会議の参加者が、アバターを用いた仮想的な円卓会議を行っていることを想定する。
【００５６】
そこで、ユーザと表示部１０６とが正対し、表示部１０６に対するユーザの視点の向きが水平の状態にある場合には、ユーザが円形に並んだ他の参加者を水平に順に眺めることを想定する。一方で、本実施の形態では、ユーザに対し表示部１０６が傾いた位置にあり、表示部１０６に対するユーザの視点の向きが水平でない状態にある場合には、ユーザが自分も含めた円形に並んだ参加者全員を覗き込むようにして眺めることを想定する。
【００５７】
そこで、画像切替部５０５は、端末装置５００の傾斜角度が閾値以上か否かに応じて表示部１０６に表示させる画像を１次元表示画像６０１と環状表示画像６０２との間で切り替える。
【００５８】
例えば、画像切替部５０５は、端末装置５００の傾斜角度が４５度未満の場合は、表示部１０６に対するユーザの視点の向きが水平の状態にあると判断し、図６に示すように、１次元表示画像６０１の一部を表示部１０６に表示させる。
【００５９】
一方で、画像切替部５０５は、端末装置５００の傾斜角度が４５度以上の場合は、表示部１０６に対するユーザの視点の向きが水平でない状態にあると判断し、図６に示すように、環状表示画像６０２を表示部１０６に表示させる。
【００６０】
このようにして、本実施の形態では、表示部１０６に対するユーザの視点の向きに応じて、表示部１０６に表示させる画像の表示形式を、１次元の表示形式と環状の表示形式との間で自動的に切り替える。
【００６１】
よって、本実施の形態によれば、ユーザが円卓会議の参加者を覗き込むような姿勢で見たい場合には、ユーザは端末装置５００を傾けてそのような姿勢をとるだけでよいため、ユーザは直感的にユーザの視点の向きに応じた表示形式を選択することができる。
【００６２】
つまり、本実施の形態によれば、ユーザの煩雑な設定操作を必要とせずに、ユーザの視点の向きに応じた適切なアバター画像を直感的に表示させることができる。
【００６３】
なお、上記説明では、表示部１０６に対するユーザの視点の向きが水平でない状態にある場合には、環状表示画像生成部５０３が、ユーザが自分も含めた円形に並んだ参加者全員を下から覗き込むようにして眺めた環状表示画像６０２を生成した。本実施の形態においては、環状表示画像生成部５０３がさらに、図７に示すような、ユーザが自分も含めた円形に並んだ参加者全員を上から覗き込むようにして眺めた環状表示画像７０１を生成してもよい。そして、例えば、画像切替部５０５は、図７に示すように、端末装置５００の傾斜角度が４５度未満の場合は１次元表示画像６０１の一部を表示部１０６に表示させ、端末装置５００の傾斜角度が上向きの４５度以上の場合は環状表示画像６０２を表示部１０６に表示させ、端末装置５００の傾斜角度が下向きの４５度以上の場合は環状表示画像７０１を表示部１０６に表示させる。なお、図７に示すように、環状表示画像６０２では、円形の中心において参加者全員を下から覗き込んだ状態を表現するために、参加者のアバターの頭を環の内側に向けたのに対し、環状表示画像７０１では、円形の中心において参加者全員を上から覗き込んだ状態を表現するために、参加者のアバターの頭を環の外側に向けた。
【００６４】
以上、本発明の実施の形態について説明した。
【００６５】
なお、上記実施の形態では、１次元の表示形式と環状の表示形式との間で画像の表示形式を切り替える場合について説明した。しかし、表示形式は１次元の表示形式および環状の表示形式に限定されない。例えば、本発明では、上記実施の形態で述べた単純な環状の表示形式と、２重に環状となった表示形式とを切り替えてもよく、また、傾斜角度が変化するにつれて、１次元の表示形式から単純な環状の表示形式、単純な環状の表示形式から２重に環状となった表示形式へと順次表示形式を切り替えてもよい。また、本発明では、１次元の表示形式と、縦横の２次元にアバター画像等を並べた表示形式とを切り替えてもよい。つまり、本発明では、表示部１０６に対するユーザの視点の向きに応じて、表示部１０６に表示させる画像の表示形式を切り替えればよい。
【００６６】
また、上記実施の形態では、端末装置の傾斜角度を、表示部１０６に対するユーザの視点の向きとして検出した。しかし、ユーザの視点の向きの検出方法はこの方法に限定されない。例えば、端末装置の表示部１０６側、かつ、ユーザの顔を撮影可能な位置にカメラを設け、そのカメラで撮影した画像を解析してユーザの目の方向を検出し、その方向をユーザの視点の向きとして利用してもよい。画像解析による目の方向の検出は、例えば特開２００１−２１６５１５号公報に開示された技術を用いることによって行うことができる。
【産業上の利用可能性】
【００６７】
本発明は、携帯電話、ＰＤＡといった小型の携帯端末装置に好適である。
【符号の説明】
【００６８】
１００，３００，５００  端末装置
１０１  メニュー項目入力部
１０２  環状メニュー列画像生成部
１０３  １次元メニュー列画像生成部
１０４  視点検出部
１０５，３０５，５０５  画像切替部
１０６  表示部
３０１  プレゼンス情報入力部
３０２  発話者特定情報入力部
３０３  環状表示画像生成部
３０４  リスト表示画像生成部
５０１  感情情報入力部
５０２  アバター画像生成部
５０３  環状表示画像生成部
５０４  １次元表示画像生成部
【図１】
2011145980.tif 000003
【図２】
2011145980.tif 000004
【図３】
2011145980.tif 000005
【図４】
2011145980.tif 000006
【図５】
2011145980.tif 000007
【図６】
2011145980.tif 000008
【図７】
2011145980.tif 000009