(57)【特許請求の範囲】
【請求項１】
表示面への接触に応じた信号を出力する第１の表示手段の、表示面がない面と本体部の上面を含む面との成す相対角度を測定する角度検出手段と、
前記相対角度の増減に応じて増減する投射角を算出して、３次元空間内のオブジェクトを、前記第１の表示手段の縦軸を高さ軸、横軸を幅軸、前記縦軸に対して前記第１の画面の内側方向に前記投射角をなす疑似軸を奥行き軸とした疑似３次元空間画像に変換して前記第１の表示部に表示する空間制御手段と、
前記表示手段から前記信号を入力して、前記表示面への接触の開始位置と終了位置から前記接触の移動方向を取得する入力検出手段と、
前記移動方向と、前記疑似軸の延伸方向との成す角度が、前記相対角度に応じて計算される許容値以下であるときには、前記オブジェクトを前記疑似３次元空間上で、前記疑似軸方向に平行移動させる第１の操作内容を選択し、前記成す角度が、前記所定許容値より大きい場合、第２の操作内容を選択する操作制御手段と、
前記操作内容に基づいて描画内容を作成し、前記第１の表示手段に表示する表示制御手段と、
を備えていることを特徴とする操作入力装置。
【請求項２】
前記本体部は、上面に第２の表示手段を備え、
前記表示制御手段は、前記オブジェクトを前記第１と第２の表示手段に跨って移動させることを特徴とする、請求項１の操作入力装置。
【請求項３】
前記操作制御手段は、前記第２の操作内容として、前記オブジェクトのコンテキストメ
ニュー表示を選択することを特徴とする、請求項１または２の操作入力装置。
【請求項４】
表示面への接触に応じた信号を出力する第１の表示手段の、表示面がない面と本体部の上面を含む面との成す相対角度を測定する角度検出処理と、
前記相対角度の増減に応じて増減する投射角を算出して、３次元空間内のオブジェクトを、前記第１の表示手段の縦軸を高さ軸、横軸を幅軸、前記縦軸に対して前記第１の画面の内側方向に前記投射角をなす疑似軸を奥行き軸とした疑似３次元空間画像に変換して前記第１の表示部に表示する空間制御処理と、
前記信号を入力して、前記表示面への接触の開始位置と終了位置から前記接触の移動方向を取得する入力検出処理と、
前記移動方向と、前記疑似軸の延伸方向との成す角度が、前記相対角度に応じて計算される許容値以下であるときには、前記オブジェクトを前記疑似３次元空間上で、前記疑似軸方向に平行移動させる第１の操作内容を選択し、前記成す角度が、前記所定許容値より大きい場合、第２の操作内容を選択する操作制御処理と、
前記操作内容に基づいて描画内容を作成し、前記第１の表示手段に表示する表示制御処理と、
をコンピュータに実行させることを特徴とする操作入力プログラム。
【請求項５】
表示面への接触に応じた信号を出力する第１の表示手段の、表示面がない面と本体部の上面を含む面との成す相対角度を測定し、
前記相対角度の増減に応じて増減する投射角を算出して、３次元空間内のオブジェクトを、前記第１の表示手段の縦軸を高さ軸、横軸を幅軸、前記縦軸に対して前記第１の画面の内側方向に前記投射角をなす疑似軸を奥行き軸とした疑似３次元空間画像に変換して前記第１の表示部に表示し、
前記表示手段から前記信号を入力して、前記表示面への接触の開始位置と終了位置から前記接触の移動方向を取得し、
前記移動方向と、前記疑似軸の延伸方向との成す角度が、前記相対角度に応じて計算される許容値以下であるときには、前記オブジェクトを前記疑似３次元空間上で、前記疑似軸方向に平行移動させる第１の操作内容を選択し、前記成す角度が、前記所定許容値より大きい場合、第２の操作内容を選択し、
前記操作内容に基づいて描画内容を作成し、前記第１の表示手段に表示することを特徴とする操作入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作入力装置ならびにプログラムと方法に関するものである。
【背景技術】
【０００２】
近年、タッチパネル操作が可能なＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）システムを持ったコンピューティングデバイスが増加している。これらのコンピューティングデバイスは、ボタンやテキスト入力によるコンピュータ操作ではなく、画面上へのタッチ入力やフリック入力を受け付けることによって、より直観的な操作感をユーザに与えられる。フリックとは、画面に触れたペンや指を少しだけスライドさせる操作のことを言う。
【０００３】
例えば、非特許文献１はタッチ入力を前提として、画面上に表示される情報オブジェクトを始点としたフリック操作により、対象となる情報オブジェクトをフリックした方向に移動させる表示手法を開示している。また、非特許文献１は、テキストや画像などの情報オブジェクトに対して長押しをすることによる、カット  アンド  ペーストや画像の保存などを開示している。また、非特許文献１には、情報オブジェクトに対する任意の操作を選択することができるコンテキストメニューの表示手法などがユーザーズガイドとして掲載されている。
【０００４】
一方、筺体の動き、角度などと連動させて、画面上に表示すべき情報オブジェクトの表示方法を変化させる工夫を持たせたＧＵＩシステムを持ったコンピューティングデバイスが、提供されている。例えば、特許文献１には、２つの表示デバイスを持ち、それぞれが回転可能なヒンジ部品で連結されているような装置における表示方法が開示されている。特許文献１で開示されている発明は、２つの表示デバイスの相対的な角度に応じて一方の画面内に表示されている情報オブジェクトの３次元表示（以下３次元は３Ｄとも呼ぶ）の角度を変化させる表示処理装置である。
【０００５】
特許文献２には、仮想３次元空間内のオブジェクトを、複数のディスプレイにまたがってシームレスに３Ｄ表示する情報処理装置が開示されている。この文献は、ディスプレイが備えるタッチパネルに接触させたマウスを、接触させたままスライドさせる動作により、表示したオブジェクトに対する指示を行うことを開示している。
【０００６】
このように、タッチパネルデバイスと３Ｄ表示の仕組みを持つＧＵＩシステムによって、ユーザからの操作入力、ユーザへの表示出力における操作性、直観性を向上させる仕組みが提供されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−３２６０
【特許文献２】特開２００９−１９３４７１
【非特許文献】
【０００８】
【非特許文献１】ｉＰｈｏｎｅ  ユーザーズガイドｈｔｔｐ：／／ｍａｎｕａｌｓ．ｉｎｆｏ．ａｐｐｌｅ．ｃｏｍ／ｊａ＿ＪＰ
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記特許文献１で示されている画面表示手法によって情報オブジェクトを表現する際、同じ意味を持つ操作をしようとした場合でも、３Ｄ表示の角度によってユーザが直観的に抱くフリック入力方向に対するイメージが異なるという現象が発生する。図１２はこの現象を具体的に示す。図１２の（ａ）、（ｂ）に示されるのは、２つの異なる３Ｄ表示角度による、「文書を上方向にスライドさせる」という操作の例である。（ａ）でこの操作を行う場合、ユーザが直観的に抱くフリックの方向のイメージは矢印６１である。しかし、（ｂ）の場合、ユーザが直観的に抱くフリック方向のイメージは矢印６１から矢印６２に変わる。
【００１０】
上記特許文献２には、マウス操作によって表示中のオブジェクトの位置を移動させる点については開示されているが、フリック操作に関する言及はない。したがって、特許文献２による方法でもこの課題は解決できない。
【００１１】
また、上記非特許文献１で示されている長押しによるコンテキストメニューの表示手法では、指示デバイスをタッチパネルに接触させる時間によっては、その操作内容を区別することが難しい場合がある。この場合、指示デバイスとは、指もしくはペンなどを意味している。また、操作内容とは「選択」、「コンテキストメニューの表示」などを指す。特に、長押しと判定するまでのタッチパネルへの接触時間を短く設定すると、ユーザが「選択」のつもりでタッチした操作が「コンテキストメニューの表示」と誤認されるケースが頻発する恐れがある。
【００１２】
このように、３Ｄ表示された情報オブジェクトに対するタッチパネルによる操作は、ユーザが直感的に持つ動作のイメージとは異なっていることがある。このような実際に必要とする動作と、直感とのずれはタッチパネルの操作性を損なうものである。したがって、操作性の低下を防ぐ技術が必要であるが、上記技術文献のいずれをもってしても、これを実現することはできない。
【００１３】
本発明は、操作性向上の課題を解決する画像操作入力処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明によれば、表示面への接触に応じた信号を出力する第１の表示手段の、表示面がない面と本体部の上面を含む面との成す相対角度を測定する角度検出手段と、前記相対角度に応じた画像を前記第１の表示部に表示する空間制御手段と、前記表示手段から前記信号を入力して、前記表示面への接触の開始位置と終了位置から前記接触の移動方向を取得する入力検出手段と、前記相対角度と、前記移動方向を基に、操作内容を決定する操作制御手段と、前記操作内容に基づいて描画内容を作成し、前記第１の表示手段に表示する表示制御手段と、を備えている操作入力装置。が得られる。
【００１５】
本発明によれば、表示面への接触に応じた信号を出力する第１の表示手段の、表示面がない面と本体部の上面を含む面との成す相対角度を測定する角度検出処理と、前記相対角度に応じた画像を前記第１の表示部に表示する空間制御処理と、前記表示手段から前記信号を入力して、前記表示面への接触の開始位置と終了位置から前記接触の移動方向を取得する入力検出処理と、前記相対角度と、前記移動方向を基に、操作内容を決定する操作制御処理と、前記操作内容に基づいて描画内容を作成し、前記第１の表示手段に表示する表示制御処理と、をコンピュータに実行させることを特徴とする操作入力プログラムが得られる。
【００１６】
本発明によれば、表示面への接触に応じた信号を出力する第１の表示手段の、表示面がない面と本体部の上面を含む面との成す相対角度を測定し、前記相対角度に応じた画像を前記第１の表示部に表示し、前記表示手段から前記信号を入力して、前記表示面への接触の開始位置と終了位置から前記接触の移動方向を取得し、前記相対角度と、前記移動方向を基に、操作内容を決定し、前記操作内容に基づいて描画内容を作成し、前記第１の表示手段に表示する操作入力方法が得られる。
【発明の効果】
【００１７】
本発明は、表示装置の操作性を向上させる。
【図面の簡単な説明】
【００１８】
【図１】図１は本発明の第１の実施形態における端末装置の外観を示す図である。
【図２】図２は本発明の第１の実施形態における端末装置の主要部構成を示すブロック図である。
【図３】図３は本発明にて取り扱う情報オブジェクトの構成例を示す図である。
【図４】図４は本発明における情報オブジェクトの表示構成例を示す図である。
【図５】図５は本発明の実施形態におけるヒンジ角度に応じた情報オブジェクトの表示処理動作の流れを示すフローチャート図である。
【図６】図６は本発明の第１の実施形態におけるフリック入力操作に応じた情報オブジェクトの表示処理動作の流れを示すフローチャート図である。
【図７】図７は本発明の端末装置における本体部と蓋体部の相対角度を示す図である。
【図８】図８は本発明の端末装置が算出する疑似３Ｄ空間を表現する各種パラメータの概念を示す図である。
【図９】図９は本発明におけるフリック入力判別処理の概念を示す図である。
【図１０】図１０は本発明におけるフリック入力の内容に応じた処理内容を決める為の対応表である。
【図１１】図１１は本発明におけるフリック入力に対する描画処理の一例を示す図である。
【図１２】図１２は奥行きをもった３Ｄ映像に対してユーザが直観的に抱くフリック方向のイメージを示す図である。
【図１３】図１３は本発明の第２の実施形態における端末装置の主要部構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
（第１の実施形態）
次に本発明を実施するための第１の実施形態が、図面を参照して詳細に説明される。図１（ａ）、（ｂ）は、本発明の実施形態における操作入力装置１０の外観を示す図である。本実施の形態における操作入力装置１０は、本体部１０１と蓋体部１０２と第一の表示デバイス１０３と第二の表示デバイス１０４とヒンジ部１０５から成る。なお、ヒンジは蝶番ともいう。また、本体部１０１と蓋体部１０２を接続する機構部は、必ずしもヒンジに限定されるものではなく、変形可能な金属板等を用いてもよいし、プラスチック等金属以外の材料で同じ構造を構成して用いてもよい。
【００２０】
本体部１０１は、操作入力装置１０を水平面に置いたとき、水平面と接地する筺体部品である。蓋体部１０２は、後述するヒンジ部１０５によって本体部１０１と連結されており、図１（ｂ）のようにヒンジ部１０５を始点として１８０度回転可能な筺体部品である。第二の表示デバイス１０４は、本体部１０１が含む画面表示用の部品であり、ユーザの指やペンを使った接触により、操作入力装置１０内で実行されているソフトウェアを操作可能とする、タッチパネル機能を搭載する。第一の表示デバイス１０３は、蓋体部１０２が含む画面表示用の部品であり、第二の表示デバイス１０４と同じくタッチパネル機能を搭載する。ヒンジ部１０５は、本体部１０１と蓋体部１０２を連結し、これら２つの筺体部品を折りたたみの状態から１８０度開いた状態にまで自由に回転可能な構造を提供する部品である。
【００２１】
図２は、本発明の実施の形態における画面操作入力処理装置操作入力装置１０のソフトウェア構造を示す機能ブロック図である。本発明の実施の形態における操作入力装置１０は、ヒンジ角度検出部２０１と、疑似３Ｄ空間制御部２０２と、操作内容制御部２０３と、フリック入力検出部２０４と、から成る。また、これらに加えて操作入力装置１０は、操作内容情報格納部２０５と、情報オブジェクト描画制御部２０６と画面表示制御部２０７と第一の画面デバイス制御部２０８と第二の画面デバイス制御部２０９と、を有している。
【００２２】
ヒンジ角度検出部２０１は、ヒンジ部１０５の状態より、本体部１０１と蓋体部１０２が成す相対的な角度を信号値として検出する。相対角度の算出方法については後述する。
【００２３】
疑似３Ｄ空間制御部２０２は、ヒンジ角度検出部２０１より得られる信号値を基に、本体部１０１の面を水平基準面とした仮想的な３Ｄ空間に関する幾つかのパラメータを決定する。具体的な算出方法については後述する。
【００２４】
操作内容制御部２０３は、疑似３Ｄ空間制御部２０２から得られる仮想３Ｄ空間に関するパラメータと、後述するフリック入力検出部２０４より得られるフリック入力情報より、ユーザがタッチパネルを経由して行ったフリック入力内容の判別を行う。操作内容制御部２０３がフリック入力内容の判別をすることで、ユーザがどのような操作を指示しているのかが、特定される。この特定において、操作内容制御部２０３は、後述する操作内容情報格納部２０５内の対応表データを参照して、ユーザが指示する操作を判断する。
【００２５】
操作内容情報格納部２０５は、操作内容制御部２０３がフリック入力内容の判別結果から具体的な操作内容を決定する為の、フリック入力判別結果と操作内容との対応表を格納する。対応表の詳細については後述する。
【００２６】
情報オブジェクト描画制御部２０６は、疑似３Ｄ空間制御部２０２より得られる疑似３Ｄ空間のパラメータを基に、表示すべき情報オブジェクトの疑似３Ｄ空間内における３次元座標データを算出する。その後、情報オブジェクト描画制御部２０６は、第一の表示デバイス１０３、第二の表示デバイス１０４のそれぞれに表示すべき平面投射された情報オブジェクトの描画データを生成する。さらに、情報オブジェクト描画制御部２０６は、操作内容制御部２０３より得られた操作内容情報を基に情報オブジェクトのスライド移動やコンテキストメニューイメージの描画データも生成する。
【００２７】
画面表示制御部２０７は、情報オブジェクト描画制御部２０６より得られた描画データを基に、第一の表示デバイス１０３と第二の表示デバイス１０４のそれぞれに対して出力すべき描画内容の振り分けを行なう。また、画面表示制御部２０７は、後述する第一の画面デバイス制御部２０８と第二の画面デバイス制御部２０９に対して表示命令を出力する。この振り分けは図４で示されるように、一つの情報オブジェクトを第一の表示デバイス１０３と第二の表示デバイス１０４に跨って表示させようとする際に機能するものである。
【００２８】
第一の画面デバイス制御部２０８は、画面表示制御部２０７より得られた表示命令より、第一の表示デバイス１０３が解釈可能な信号データに変換する。
【００２９】
第二の画面デバイス制御部２０９は、第一の画面デバイス制御部２０８と同じく、画面表示制御部２０７より得られた表示命令より、第二の表示デバイス１０４が解釈可能な信号データに変換する。
【００３０】
図３は、操作入力装置１０が表示する、情報オブジェクトの一例を示したものである。情報オブジェクト３００は、サブオブジェクト３０１、サブオブジェクト３０２の集合体として表現される。図３の例では、サブオブジェクトは画像に関するサブオブジェクト３０１とテキストに関するサブオブジェクト３０２とから成る。
【００３１】
図４は、情報オブジェクト３００が、操作入力装置１０が持つ２つの表示デバイスである、第１の表示デバイス１０３と第２の表示デバイス１０４とに跨って表示されている例を示している。（ａ）のように本体部１０１に対して蓋体部１０２が完全に開いた状態では、両表示デバイスは、情報オブジェクト３００を、ユーザが、真上から見下ろせる形に表示する。これに対して、図４（ｂ）のように、本体部１０１に対して蓋体部１０２が起き上った状態では、両表示デバイスは、情報オブジェクト３００を、奥行きを持った形で表示する。
【００３２】
次に、図５及び図６のフローチャートを参照して、本実施の形態の全体の動作が詳細に説明される。図５は、ヒンジの角度に応じた情報オブジェクト３００の表示制御動作について説明するものである。まず、本フロ―チャートは本体部１０１と蓋体部１０２の相対的な角度を検出するところから始まる（ステップＳ１０１）。ここで検出する相対角度は、図７にθで示されるように、蓋体部１０２の第１の表示デバイス１０３を有する面とは反対側の面と、第２の表示デバイスの表示面を含む面のなす角度である。この値はヒンジ部１０５の物理的形状を基にヒンジ角度検出部２０１より得る。次に、ヒンジ角度検出部２０１にて得られた相対角度θを基に、疑似３Ｄ空間制御部２０２が、疑似３Ｄ空間に関連するパラメータとして、消失点νと疑似Ｚ軸投射角Φを求める（ステップＳ１０２）。
【００３３】
消失点とは、３Ｄ表示に変換するために用いる透視法で得た表示対象が有する、変換前は平行だったが変換後に平行でなくなった直線の組の、交点である。すなわち、ここで言う消失点は、一点透視図法において一般に用いられる消失点と同じ意味を持っている。
【００３４】
疑似Ｚ軸とは、透視法で得られた３Ｄ空間の奥行きを表す軸である。第１の表示デバイス１０３の横の辺（ヒンジ部１０５のある辺）に平行な軸をｘ、横の辺と直交する縦の辺に平行な軸をｙとすると、この疑似Ｚ軸をｘｙ平面上に投射した直線Ｌとｙ軸との相対角度が疑似Ｚ軸投射角Φである。直線Ｌは、消失点と原点を通るので、消失点からΦを計算することが可能である。
【００３５】
図８は、消失点νと疑似Ｚ軸投射角Φのイメージを示すものである。画面の幅をＷ、装置１０に与えられた自然数をα、βとすると、擬似３Ｄ空間制御部２０２は、νのｘ座標ν＿ｘ、ｙ座標ν＿ｙをそれぞれ以下の式で求める。
【００３６】
ν＿ｘ＝Ｗ／２
ν＿ｙ＝α＋β（（１／ｓｉｎθ）−１）
上記の式に基づくと、蓋体部１０２を完全に開ききった場合（図７の点線部が開ききった状態を示す）、θの値が０になるので、ν＿ｙの値が無限大となる。すなわち、νの座標はｙ軸座標において無限遠になり、結果的に第一の表示デバイス１０３に表示される情報オブジェクト３００は図４（ａ）のように真上から見下ろした表示になる。
【００３７】
一方、蓋体部１０２を本体部１０１に対して垂直に立てた場合、ｓｉｎθの値が１になるので、ν＿ｙの値がαとなる。図８に示すように、この場合は、画面内に消失点ν（Ｗ／２、α）が存在する。また、この消失点から計算した疑似Ｚ軸投射角Φは、ａｒｃｔａｎ（２α／Ｗ）となる。つまり、一点透視図法によって奥行表現された情報オブジェクト３００が、消失点ν（Ｗ／２、α）、疑似Ｚ軸投射角Φ＝ａｒｃｔａｎ（２α／Ｗ）で、第一の表示デバイス１０３に表示される。
【００３８】
次に、ステップＳ１０２より得た消失点座標νを用いて、情報オブジェクト描画制御部２０６が、表示すべき情報オブジェクトの描画データを算出する。この時、描画データは、座標νを消失点とした一点透視図法によって算出される（ステップＳ１０３）。
【００３９】
ステップＳ１０３にて算出された描画データは画面表示制御部２０７に渡され、表示命令に変換される。この際、この表示命令は第一の表示デバイス１０３に向けた命令セットと第二の表示デバイス１０４に向けた命令セットに振り分けされる（ステップＳ１０４）。
ちなみに、この表示命令は具体的にはＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などのグラフィック制御チップが理解可能な機械命令語を用いて行うことができる。
【００４０】
最後にこの表示命令が、第一の画面デバイス制御部２０８と第二の画面デバイス制御部２０９に入力され、第一の表示デバイス１０３と第二の表示デバイス１０４に相対角度θに応じた情報オブジェクトが表示出力される（ステップＳ１０５）。
【００４１】
図６は、第一の表示デバイス１０３に対するフリック入力操作を行った際の操作入力装置１０内の動作を示すフローチャートである。第二の画面デバイス制御部２０９は、第一の表示デバイス１０３が備えるタッチパネルを経由してユーザが何らかの操作を行ったことを電気信号として受信すると、この電気信号をタッチパネル操作情報に変換する（ステップＳ２０１）。
【００４２】
次に、このタッチパネル操作情報は、フリック入力検出部２０４に渡され、タッチパネル操作情報がフリック入力かどうかを判定する。フリック入力ではなかった場合（Ｎｏの場合）は、フリック入力検出部２０４は、他の処理を行うか、または処理を終了する。フリック入力であった場合（Ｙｅｓの場合）は、フリック入力検出部２０４は、フリック入力情報に変換する（ステップＳ２０２）。このフリック入力情報には、フリック入力の開始点とフリックの方向が含まれる。これらの値は例えば第一の表示デバイス１０３を基準面としたｘｙ平面状の２次元座標と正規化されたベクトルデータとしてそれぞれ表現される。
【００４３】
次に、操作内容制御部２０３は、ステップ２０２で変換したフリック入力情報とステップＳ１０２で得た疑似Ｚ軸投射角Φを基にフリック入力の内容の判定を行う（ステップＳ２０３）。ステップＳ２０３におけるフリック入力の判定の目的は２つある。一つは本体部１０１と水平な面を基準となる水平面だとした場合、この水平面に対してフリック入力が疑似３Ｄ空間内で垂直な方向に入力されているか否かを決めることである。他の一つはフリック入力の始点座標に応じて、その操作対象となるサブオブジェクトが何であるかを決定することである。なお、対象オブジェクトが１つの場合、始点座標は無視されても良い。
【００４４】
図９はフリック入力の判定処理に必要な情報（フリック入力始点座標、フリックのベクトルＤ、ｙ軸との相対角度ψ、相対角度Φ）を図示している。図９においては、棒矢印で表現したフリック入力情報４０１が、フリック入力のイメージである。フリック入力情報４０１はフリック入力始点座標Ｂ（ｘ、ｙ）と正規化されたフリック方向ベクトルＤ（ｘ＿ｖ、ｙ＿ｖ）を持つ。操作内容制御部２０３は、フリック方向ベクトルＤを用いて、フリック入力とｙ軸との相対角度Ψを求める。
【００４５】
フリック入力が疑似３Ｄ空間内で垂直な方向に入力されているという判定は、ｙ軸との相対角度Ψが以下の条件を満たした場合に下される。
【００４６】
−ｎθ＜Ψ＜ｎθ（０＜ｎ＜１）
もしも、この判定方法にて、ある特定のサブオブジェクトを始点とした垂直方向への入力が成されたと判定された場合、その入力は、コンテキストメニューの表示だと判断される。そして、対象となるサブオブジェクトに応じた操作内容が、第一の表示デバイス１０３と第二の表示デバイス１０４の間で割り振られる（ステップＳ２０４）。操作内容の割り振りは、操作内容制御部２０３によって、操作内容情報格納部２０５に格納されているフリック入力内容と操作内容の対応を示す操作内容対応表をもとに行われる。
【００４７】
図１０はこの操作内容対応表を例示する。図１０は、フリック入力が垂直方向ではないと判定された場合は情報オブジェクトのスライド処理が割り振り、垂直方向であると判定された場合は、さらにフリック始点座標Ｂに対応するサブオブジェクトの種類に応じて、操作が割り振る操作内容対応表の例である。この例は、画像オブジェクトの場合は「画像のコピー」、「画像の保存」、「画像の印刷」が割り振り、テキストオブジェクトの場合は「テキストの範囲指定」、それ以外の場合はブラウザ処理における「一階層上に戻る」を割り振っている例である。
【００４８】
ステップＳ２０４にてフリック入力に対する操作内容が決定したら、それは操作内容情報として情報オブジェクト描画制御部２０６に送られ、この操作内容情報に応じた描画処理が行われる（ステップＳ２０５）。
【００４９】
図１１は、ステップＳ２０５で行われる描画処理の一例を示す。図１１（ａ）はフリック入力方向が「垂直」と認識され、フリック入力の始点がこの画像に関するサブオブジェクト３０１だった場合の描画処理を説明するものである。この場合は、フリック方向の先に、サブオブジェクト３０１の画像に関するサブオブジェクトの正面画イメージ５０１が浮かび上がるように表示され、その脇にサブオブジェクト３０１に関連する操作を示す画像に関するコンテキストメニュー５０２が表示される。
【００５０】
図１１（ｂ）はフリック入力方向が垂直ではない、すなわち「それ以外」と認識された場合の描画処理を説明するものである。この場合は、フリック方向に応じた情報オブジェクト３００のスライド移動が起こる。図１１（ｂ）の例示では、フリック入力は疑似３Ｄ空間内におけるＺ軸（奥行き）方向と見なされ、その方向へのスライド移動が発生する。
ステップＳ２０５における描画処理の結果、情報オブジェクト描画制御部２０６は描画データを出力する。この描画データを受けた画面表示制御部２０７は、第一の画面デバイス制御部２０８と第二の画面デバイス制御部２０９に対して表示命令セットを出力する。この命令セットに応じて、第一の画面デバイス制御部２０８と第二の画面デバイス制御部２０９はそれぞれ第一の表示デバイス１０３ならびに第二の表示デバイス１０４に情報オブジェクトを表示する。この結果、情報オブジェクト３００は、第一の表示デバイスと第二の表示デバイスを跨って移動するように表示される。
【００５１】
本実施の形態の効果は、画面操作入力処理の操作性を向上させることである。その理由は、ヒンジの角度によって動的に替わる３Ｄ表示された情報オブジェクト３００に対して、ユーザが直感的に抱くフリック入力動作のイメージ通りに、フリック入力を行うことができるからである。これを具体的に述べると、本実施の形態では、垂直とみなされないすべてのフリックは画像の移動の命令とみなされる。したがって、ユーザが画面の表示で判断して直感的に正しいと思う方向にフリックすることで、所望の画像の移動が実現する。これは、ヒンジの角度に応じて変化する疑似３Ｄ空間における仮想視点座標と、フリック入力の内容に応じて、操作内容制御部２０３がフリック入力によって決まる情報オブジェクト３００に対する操作内容を動的に変化させることによって可能となる。
【００５２】
また、本実施の形態の第２の効果は、タッチパネルの長押し操作なしに特定の情報オブジェクトに対するコンテキストメニューの表示が実現できる点である。その理由は、以下に説明される。疑似３Ｄ空間制御部２０２によって、ユーザの目には、情報オブジェクトが、仮想的に疑似３Ｄ表示空間上に投射されているように見える。その結果、ユーザは、擬似Ｚ軸方向へのフリック入力という２次元（２Ｄ）表示空間では認識することができない新しいフリック入力操作を加えることができる。この新しいフリック入力操作に対して操作内容制御部２０３は、コンテキストメニュー表示を割り振ることができるため、ユーザは長押し操作を不要とする。
【００５３】
なお、本実施形態における情報オブジェクト３００は、サブオブジェクト３０１、サブオブジェクト３０２の集合体として表現されているが、３つ以上のサブオブジェクトの集合体であっても構わない。
【００５４】
なお、本実施形態においては、第１の表示デバイス１０３と第２の表示デバイス１０４の両方に描画内容を振り分けているが、必ずしも振り分ける必要はなく、すべてをどちらかの表示デバイスに表示させてもよい。
【００５５】
なお、本実施の形態においては、フリック入力が疑似３Ｄ空間内で垂直な方向に入力されているか否かの判定のために、操作内容制御部２０３は、−ｎθ＜Ψ＜ｎθ（０＜ｎ＜１）の条件を用いたが、必ずしもこの条件である必要はない。操作内容制御部２０３は、より厳密な条件０＜ｎ＜０．５を用いてもよいし、より緩い条件０＜ｎ＜２を用いてもよい。また、フリック方向とｙ軸のなす角度と擬似Ｚ軸投射角Φとの差が０．１ＸΦ以下等であるときは、擬似Ｚ軸と平行であるとみなす等、操作内容制御部２０３は、フリックの擬似Ｚ軸との平行性を判定してもよい。
（第２の実施形態）
本発明の第２の実施形態は、図１３に示すように、表示面への接触に応じた信号を出力する第１の表示手段の、表示面がない面と本体部の上面を含む面との成す相対角度を測定するヒンジ角度検出部２０１と、前記相対角度に応じた画像を前記第１の表示部に表示する擬似３Ｄ空間制御部２０２と、前記表示手段から前記信号を入力して、前記表示面への接触の開始位置と終了位置から前記接触の移動方向を取得するフリック入力検出部２０４と、前記相対角度と、前記移動方向を基に、操作内容を決定する操作内容制御部２０３と、前記操作内容に基づいて描画内容を作成し、前記第１の表示手段に表示する画面表示制御部２０７と、を備えていることを特徴とする操作入力装置１０である。
【００５６】
第２の実施形態の効果は、画面操作入力処理の操作性が向上させることにある。その理由は、ヒンジの角度によって動的に替わる３Ｄ表示された情報オブジェクトに対して、ユーザが直感的に抱くフリック入力動作のイメージ通りに、フリック入力を行うことができる点である。これは、ヒンジの角度に応じて変化する疑似３Ｄ空間における仮想視点座標と、フリック入力の内容に応じて、操作内容制御部２０３がフリック入力によって決まる情報オブジェクトに対する操作内容を動的に変化させることによって可能となっている。
【００５７】
以上、第１、第２の実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【産業上の利用可能性】
【００５８】
本発明は、折りたたみ可能なタッチパネル型画面デバイスを持ったモバイル端末装置の用途に適用できる。
【符号の説明】
【００５９】
１０    操作入力装置
１０１    本体部
１０２    蓋体部
１０３    第一の表示デバイス
１０４    第二の表示デバイス
１０５    ヒンジ部
２０１    ヒンジ角度検出部
２０２    疑似３Ｄ空間制御部
２０３    操作内容制御部
２０４    フリック入力検出部
２０５    操作内容情報格納部
２０６    情報オブジェクト描画制御部
２０７    画面表示制御部
２０８    第一の画面デバイス制御部
２０９    第二の画面デバイス制御部
３００    情報オブジェクト
３０１    画像に関するサブオブジェクト
３０２    テキストに関するサブオブジェクト
４０１    フリック入力情報
５０１    画像に関するサブオブジェクトの正面画イメージ
５０２    画像に関するコンテキストメニュー
６１    矢印
６２    矢印
【図１】
0005621407.tif 000002
【図２】
0005621407.tif 000003
【図３】
0005621407.tif 000004
【図４】
0005621407.tif 000005
【図５】
0005621407.tif 000006
【図６】
0005621407.tif 000007
【図７】
0005621407.tif 000008
【図８】
0005621407.tif 000009
【図９】
0005621407.tif 000010
【図１０】
0005621407.tif 000011
【図１１】
0005621407.tif 000012
【図１２】
0005621407.tif 000013
【図１３】
0005621407.tif 000014