(57)【特許請求の範囲】
【請求項１】
カメラが撮像した撮像画像を取得する情報取得部と、
前記情報取得部が取得した撮像画像を解析し、ユーザが保持する立体物の３次元角度を検出する姿勢検出部と、
前記立体物に対して前記ユーザが意図的に接触したか否か判定を行い、意図的に接触したと判定した場合に、前記意図的な接触の接触位置および接触タイプを検出する接触検出部と、
予め前記接触タイプ毎にそれぞれ異なる内容が関連付けられて蓄積された、前記立体物の２次元画像の表示操作と、前記接触検出部が検出した前記接触位置および前記接触タイプとに基づいて、当該接触タイプに応じた前記表示操作を決定する表示操作決定部と、
前記接触検出部の判定結果、または前記表示操作決定部が決定した前記表示操作に基づいて、前記２次元画像の表示制御条件を決定する表示制御部と、
予め蓄積された前記立体物の３次元形状データと、前記姿勢検出部が検出した前記立体物の前記３次元角度とから、前記立体物を前記ユーザ側から視認した場合に得られると算出される前記２次元画像を生成し、生成した前記２次元画像を前記表示制御部が決定した前記表示制御条件で表示する表示画像生成部とを備えた表示制御装置。
【請求項２】
前記接触検出部は、前記接触タイプとして、前記ユーザのダブルタップの操作を検出し、
前記表示操作決定部は、前記接触検出部が検出した前記ダブルタップの操作に基づいて、前記２次元画像を、前記接触位置を中心として拡大表示する前記表示操作を決定することを特徴とする請求項１記載の表示制御装置。
【請求項３】
前記接触検出部は、前記接触タイプとして、前記ユーザのピンチアウトの操作を検出し、
前記表示操作決定部は、前記接触検出部が検出した前記ピンチアウトの操作に基づいて、前記２次元画像を、前記接触位置を中心として拡大表示する前記表示操作を決定することを特徴とする請求項１記載の表示制御装置。
【請求項４】
前記接触検出部は、前記接触タイプとして、前記ユーザのピンチインの操作を検出し、
前記表示操作決定部は、前記接触検出部が検出した前記ピンチインの操作に基づいて、前記２次元画像を、前記接触位置を中心として縮小表示する前記表示操作を決定することを特徴とする請求項１記載の表示制御装置。
【請求項５】
前記接触検出部は、前記接触タイプとして、前記ユーザの２本指でタップする操作を検出し、
前記表示操作決定部は、前記接触検出部が検出した前記２本指でタップする操作に基づいて、前記２次元画像を、前記接触位置を中心として縮小表示する前記表示操作を決定することを特徴とする請求項１記載の表示制御装置。
【請求項６】
前記接触検出部が前記立体物に対して前記ユーザが意図的に接触したと判定した場合に、前記接触検出部が検出した前記接触位置および前記接触タイプに基づいて、表示すべき付随情報を取得する付随情報取得部を備え、
前記表示制御部は、前記付随情報取得部が取得した前記付随情報に紐づけられた接触位置情報に基づいて、前記立体物の前記２次元画像に前記付随情報を表示する前記表示制御条件を決定し、
前記付随情報取得部が前記付随情報を取得するための接触タイプは、前記表示操作決定部が前記表示操作を決定するための接触タイプとは異なることを特徴とする請求項１記載の表示制御装置。
【請求項７】
前記表示制御部は、前記接触検出部が検出した前記接触位置に基づいて、前記接触位置を示す画像を前記立体物の前記２次元画像に重畳して表示する前記表示制御条件を決定することを特徴とする請求項６記載の表示制御装置。
【請求項８】
前記表示制御部は、前記立体物の前記２次元画像において、前記接触位置情報で示された領域をハイライト表示する前記表示制御条件を決定することを特徴とする請求項６記載の表示制御装置。
【請求項９】
前記表示制御部は、前記立体物の前記２次元画像において、前記接触位置情報で示された領域に近い領域に前記付随情報を表示する前記表示制御条件を決定することを特徴とする請求項６記載の表示制御装置。
【請求項１０】
前記立体物の断面の表示を指示する、予め設定された前記ユーザの手の形状が検出された場合に、前記立体物に対する前記ユーザの手の操作点の位置、および前記ユーザの手の前記立体物に対する角度を検出する操作判定部と、
前記操作判定部が検出した前記操作点の位置、および前記立体物に対する角度に基づいて、予め蓄積された前記立体物の断面の中から表示すべき前記立体物の断面を決定し、当該断面を示す情報を取得する断面情報取得部とを備え、
前記表示制御部は、前記立体物の前記２次元画像において、前記断面情報取得部が取得した前記立体物の断面を示す情報を表示する前記表示制御条件を決定することを特徴とする請求項１記載の表示制御装置。
【請求項１１】
情報取得部が、カメラが撮像した撮像画像を取得するステップと、
姿勢検出部が、前記情報取得部が取得した撮像画像を解析し、ユーザが保持する立体物の３次元角度を検出するステップと、
接触検出部が、前記立体物に対して前記ユーザが意図的に接触したか否か判定を行い、意図的に接触したと判定した場合に、前記意図的な接触の接触位置および接触タイプを検出するステップと、
表示操作決定部が、予め前記接触タイプ毎にそれぞれ異なる内容が関連付けられて蓄積された、前記立体物の２次元画像の表示操作と、前記検出された前記接触位置および前記接触タイプとに基づいて、当該接触タイプに応じた前記表示操作を決定するステップと、
表示制御部が、前記接触検出部の判定結果、または前記表示操作決定部が決定した前記表示操作に基づいて、前記２次元画像の表示制御条件を決定するステップと、
表示画像生成部が、予め蓄積された前記立体物の３次元形状データと、前記検出された前記立体物の前記３次元角度とから、前記立体物を前記ユーザ側から視認した場合に得られると算出される前記２次元画像を生成し、生成した前記２次元画像を前記表示制御部が決定した前記表示制御条件で表示するステップとを備えた表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、立体物を操作する操作者に、当該立体物に関する情報を表示する技術に関するものである。
【背景技術】
【０００２】
従来、立体物を自由な方向から視認可能なように、立体物を様々な角度から見込んだ複数の２次元画像を用意し、操作者の指示に従って用意された２次元画像の中から適宜選択して表示する技術が存在する。
例えば、特許文献１には、操作者がマニピュレータ部を操作することにより、当該操作に対応した方向より立体物を撮像した画像に相当する２次元画像を、３次元形状と表示画像とを用いて表示部の最小表示単位時間以下で生成する立体物表示装置が記載されている。特許文献１の立体物表示装置では、操作者にあたかも立体物を手に持っているような仮想現実感を与える画像表示を行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０９−０４４１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１の立体物表示装置では、立体物として、工芸品等の操作者が手に取ることができないものを対象としており、操作用にマニピュレータ部を設けている。そのため、特許文献１の立体物表示装置において、操作者が手に取った立体物を対象とした場合に、操作者が実際の立体物を持って視認して得た情報と、操作者がマニピュレータ部を操作して画面上に表示された情報とを一致させることが困難であるという課題があった。【０００５】
この発明は、上記のような課題を解決するためになされたもので、ユーザが手に取った立体物の情報を画面上に表示する場合に、立体物を実際に視認してユーザが得る情報と、画面上に表示させる情報とを連携させることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る表示制御装置は、カメラが撮像した撮像画像を取得する情報取得部と、情報取得部が取得した撮像画像を解析し、ユーザが保持する立体物の３次元角度を検出する姿勢検出部と、立体物に対してユーザが意図的に接触したか否か判定を行い、意図的に接触したと判定した場合に、意図的な接触の接触位置および接触タイプを検出する接触検出部と、予め接触タイプ毎にそれぞれ異なる内容が関連付けられて蓄積された、立体物の２次元画像の表示操作と、接触検出部が検出した接触位置および接触タイプとに基づいて、接触タイプに応じた表示操作を決定する表示操作決定部と、接触検出部の判定結果、または表示操作決定部が決定した表示操作に基づいて、２次元画像の表示制御条件を決定する表示制御部と、予め蓄積された立体物の３次元形状データと、姿勢検出部が検出した立体物の３次元角度とから、立体物をユーザ側から視認した場合に得られると算出される２次元画像を生成し、生成した２次元画像を表示制御部が決定した表示制御条件で表示する表示画像生成部とを備えるものである。
【発明の効果】
【０００７】
この発明によれば、ユーザが手に取った立体物の情報を画面上に表示する場合に、立体物を実際に視認してユーザが得る情報と、画面上に表示させる情報とを連携させて表示する制御を行うことができる。これにより、ユーザはより直感的で分かりやすく立体物の情報を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る表示制御装置の構成を示すブロック図である。
【図２】実施の形態１に係る表示制御装置に接続された検出装置および表示装置と、ユーザとの位置関係を示す図である。
【図３】図３Ａおよび図３Ｂは、実施の形態１に係る表示制御装置のハードウェア構成例を示す図である。
【図４】実施の形態１に係る表示制御装置の表示操作データベースの構成例を示す図である。
【図５】実施の形態１に係る表示制御装置の動作を示すフローチャートである。
【図６】実施の形態１に係る表示制御装置の接触検出部の動作を示すフローチャートである。
【図７】実施の形態２に係る表示制御装置の構成を示すブロック図である。
【図８】実施の形態２に係る表示制御装置の付随情報データベースの構成例を示す図である。
【図９】図９Ａ、図９Ｂ、図９Ｃは、実施の形態２に係る表示制御装置の付随情報データベースの接触位置情報の説明図である。
【図１０】実施の形態２に係る表示制御装置の動作を示すフローチャートである。
【図１１】実施の形態３に係る表示制御装置の構成を示すブロック図である。
【図１２】図１２Ａ、図１２、図１２Ｃは、実施の形態３に係る表示制御装置の操作判定部および断面情報取得部の処理例を示す図である。
【図１３】図１３Ａ、図１３、図１３Ｃは、実施の形態３に係る表示制御装置の表示制御部の処理例を示す図である。
【図１４】実施の形態３に係る表示制御装置の動作を示すフローチャートである。
【図１５】実施の形態３に係る表示制御装置の断面情報取得部の動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る表示制御装置１００の構成を示すブロック図である。
表示制御装置１００は、情報取得部１０１、姿勢検出部１０２、接触検出部１０３、表示操作決定部１０４、表示操作データベース１０５、表示制御部１０６、表示画像生成部１０７および３次元形状データ蓄積部１０８を備える。
表示制御装置１００は、検出装置２００および表示装置３００と接続される。検出装置２００は、例えば、１台のカメラまたは複数台のカメラで構成される。また検出装置２００は、さらにジャイロセンサを備えて構成してもよいし、ジャイロセンサのみで構成してもよい。
【００１０】
図２は、実施の形態１に係る表示制御装置１００に接続された検出装置２００および表示装置３００と、ユーザＰとの位置関係を示す図である。
以下の説明では、表示装置３００が形成する平面をＸ−Ｙ平面とし、ユーザＰが位置する床面をＸ−Ｚ平面とし、鉛直方向にＹ軸を取った３次元座標系を定義する。例えば、ユーザＰは、表示装置３００の正面、即ちＺ軸の正方向側に位置する。また、ユーザＰは、保持している立体物４００が検出装置２００から検出される地点に位置する。ユーザＰが位置すべき領域を予め決定しておき、当該領域を床面に表示してもよい。
【００１１】
以下では、検出装置２００が１台のカメラで構成される場合を例に説明する。
情報取得部１０１は、検出装置２００から撮像画像を取得する。情報取得部１０１は、取得した撮像画像を姿勢検出部１０２に出力する。姿勢検出部１０２は、情報取得部１０１が取得した撮像画像を解析し、ユーザが保持する立体物の姿勢を検出する。姿勢検出部１０２は、立体物の姿勢として、上記で定義した３次元座標系における３次元角度を検出する。姿勢検出部１０２は、検出した立体物の３次元角度および撮像画像を接触検出部１０３に出力する。姿勢検出部１０２は、検出した立体物の３次元角度を表示画像生成部１０７に出力する。
【００１２】
接触検出部１０３は、姿勢検出部１０２から入力された撮像画像を解析し、立体物に対するユーザの意図的な接触があったか否か判定を行う。ここで、ユーザの意図的な接触とは、立体物を保持するための接触以外の、ユーザの接触をいう。例えば、ユーザが立体物を左手で保持している状態で、右手が立体物に接触した場合に、当該右手の接触をユーザの意図的な接触という。接触検出部１０３は、意図的な接触があったと判定した場合に、接触位置および接触タイプを検出する。接触検出部１０３には、検出すべき接触タイプが予め設定されているものとする。接触タイプとは、ダブルタップ、ピンチアウト、またはピンチイン等である。接触検出部１０３による意図的な接触の判定、および接触タイプの詳細については、後述する。
接触検出部１０３は、意図的な接触があったと判定した場合に、当該判定結果、検出された意図的な接触の接触位置および接触タイプを表示操作決定部１０４に出力する。一方、接触検出部１０３は、意図的な接触がなかったと判定した場合に、当該判定結果を表示制御部１０６に出力する。
【００１３】
表示操作決定部１０４は、接触検出部１０３から意図的な接触があったとの判定結果、接触位置および接触タイプが入力された場合、表示操作データベース１０５を参照し、表示操作を決定する。表示操作決定部１０４は、決定した表示操作を表示制御部１０６に出力する。表示操作データベース１０５は、予め定義された接触タイプと、表示操作タイプとを紐づけて蓄積したデータベースである。表示操作決定部１０４による表示操作の決定の詳細、および表示操作データベース１０５の詳細については、後述する。
【００１４】
表示制御部１０６は、接触検出部１０３から入力された判定結果、または表示操作決定部１０４から入力された表示操作に基づいて、後述する表示画像生成部１０７が生成する２次元画像の表示制御条件を決定する。表示制御部１０６は、決定した表示制御条件を表示画像生成部１０７に出力する。
【００１５】
表示画像生成部１０７は、３次元形状データ蓄積部１０８に蓄積された立体物の３次元形状データと、姿勢検出部１０２が検出した立体物の３次元角度とに基づいて、ユーザ側から見た立体物の２次元画像を生成する。また、表示画像生成部１０７は、生成した２次元画像を、表示制御部１０６から入力された表示制御条件に基づいて、表示装置３００に表示する。３次元形状データ蓄積部１０８は、立体物の３次元形状データを蓄積する蓄積領域である。
【００１６】
表示画像生成部１０７が生成する立体物の２次元画像は、姿勢検出部１０２で検出された姿勢の立体物を、表示装置３００正面から見た画像である。
具体的には、図２に示すように検出装置２００であるカメラはユーザＰの正面側から撮像する。そのため、表示画像生成部１０７は、カメラが撮像した立体物４００の向きに対して、ユーザＰ側から立体物４００を見た向きとなる２次元画像を生成する。表示画像生成部１０７は、カメラが撮像した立体物の向きに基づいて、ユーザ側から立体物を見た向きとなる２次元画像を算出するためのパラメータを保持する。表示画像生成部１０７は、立体物の３次元角度に基づいて得られた立体物の３次元形状データに対して、パラメータを用いた算出処理を行い、ユーザ側から立体物を見た向きとなる２次元画像を生成する。
【００１７】
表示装置３００は、表示画像生成部１０７が生成した立体物の２次元画像を表示する。例えば図２に示したように、表示装置３００に立体物４００の２次元画像が表示される。
【００１８】
次に、表示制御装置１００のハードウェア構成例を説明する。
図３Ａおよび図３Ｂは、実施の形態１に係る表示制御装置１００のハードウェア構成例を示す図である。
表示制御装置１００における情報取得部１０１、姿勢検出部１０２、接触検出部１０３、表示操作決定部１０４、表示制御部１０６および表示画像生成部１０７の各機能は、処理回路により実現される。即ち、表示制御装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図３Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図３Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。
【００１９】
図３Ａに示すように、情報取得部１０１、姿勢検出部１０２、接触検出部１０３、表示操作決定部１０４、表示制御部１０６および表示画像生成部１０７が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。情報取得部１０１、姿勢検出部１０２、接触検出部１０３、表示操作決定部１０４、表示制御部１０６および表示画像生成部１０７の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
【００２０】
図３Ｂに示すように、情報取得部１０１、姿勢検出部１０２、接触検出部１０３、表示操作決定部１０４、表示制御部１０６および表示画像生成部１０７がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、情報取得部１０１、姿勢検出部１０２、接触検出部１０３、表示操作決定部１０４、表示制御部１０６および表示画像生成部１０７の各機能を実現する。即ち、情報取得部１０１、姿勢検出部１０２、接触検出部１０３、表示操作決定部１０４、表示制御部１０６および表示画像生成部１０７は、プロセッサ１００ｂにより実行されるときに、後述する図５および図６に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、情報取得部１０１、姿勢検出部１０２、接触検出部１０３、表示操作決定部１０４、表示制御部１０６および表示画像生成部１０７の手順または方法をコンピュータに実行させるものであるともいえる。
【００２１】
ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。
【００２２】
なお、情報取得部１０１、姿勢検出部１０２、接触検出部１０３、表示操作決定部１０４、表示制御部１０６および表示画像生成部１０７の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、表示制御装置１００における処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【００２３】
接触検出部１０３による、意図的な接触の判定の詳細について説明する。
接触検出部１０３は、姿勢検出部１０２から入力された撮像画像を解析し、ユーザの立体物への接触直前の接触動作の速度が予め設定した閾値以上であると判断した場合に、意図的な接触があったと判定する。接触検出部１０３は、予め設定された時間間隔で撮像された２枚以上の撮像画像を用いて解析を行う。また、立体物にモーションセンサ（図示しない）を内蔵させ、接触検出部１０３はモーションセンサの検知情報を参照して予め設定した閾値以上の衝撃の強さを検出した場合に、意図的な接触があったと判定する構成としてもよい。
【００２４】
また、接触検出部１０３は、予め設定された側の手が立体物に接触した場合に、意図的な接触があったと判定する構成としてもよい。例えば、接触検出部１０３に、ユーザの利き手である右手で立体物に接触した場合には意図的な接触であると設定しておく。接触検出部１０３は、姿勢検出部１０２から入力された撮像画像を解析し、ユーザの右手が立体物に接触した場合に、意図的な接触があったと判定する。意図的な接触の判定処理は、上述した判定方法を組み合わせて実現してもよい。
【００２５】
次に、接触検出部１０３が検出する接触タイプの詳細について説明する。
接触検出部１０３には、接触タイプとして、例えば、ダブルタップ、ピンチアウト、ピンチインまたは２本指タップが予め設定されているものとする。ダブルタップは、操作点を連続して２回叩く操作である。ピンチアウトは、操作点を広げる操作である。ピンチインは、操作点をつまむ操作である。２本指タップは、指２本で操作点を１回叩く操作である。なお、上述した接触タイプは、少なくとも１つ設定されていればよく、任意の複数の接触タイプが設定されていてもよい。なお、上述した接触タイプは一例であり、上述した操作以外の接触タイプを設定してもよい。
【００２６】
次に、表示操作データベース１０５の詳細について説明する。
図４は、実施の形態１に係る表示制御装置１００の表示操作データベース１０５の構成例を示す図である。
表示操作データベース１０５は、接触タイプ１０５ａおよび表示操作タイプ１０５ｂで構成される。接触タイプ１０５ａは、例えばダブルタップ、ピンチアウト、ピンチインおよび２本指タップであり、接触検出部１０３に設定された接触タイプである。表示操作タイプ１０５ｂは、各接触タイプ１０５ａが検出された場合の表示操作タイプを示している。
【００２７】
例えば、接触タイプ１０５ａとしてダブルタップの操作が検出された場合に、接触位置を中心として〇％拡大表示する表示操作タイプが紐づけられている。また、接触タイプ１０５ａとしてピンチアウトの操作が検出された場合に、接触位置を中心として接触距離に応じて拡大表示する表示操作タイプが紐づけられている。また、接触タイプ１０５ａとしてピンチインの操作が検出された場合に、接触位置および接触距離に応じて縮小表示する表示操作タイプが紐づけられている。また、接触タイプ１０５ａとして２本指タップの操作が検出された場合に、接触位置を中心として〇％縮小表示する表示操作タイプが紐づけられている。
【００２８】
表示操作決定部１０４は、接触検出部１０３から接触タイプとして例えば「ダブルタップ」が入力された場合、表示操作データベース１０５を参照し、「接触位置を中心として〇％拡大表示する」との表示操作を決定する。
【００２９】
図５は、実施の形態１に係る表示制御装置１００の動作を示すフローチャートである。
図５の処理は、予め設定された頻度（例えば秒間３０回）で、繰り返し行われる。
情報取得部１０１は、検出装置２００から撮像画像を取得し（ステップＳＴ１）、姿勢検出部１０２に出力する。姿勢検出部１０２は、ステップＳＴ１で取得された撮像画像を解析し、ユーザが保持する立体物の３次元座標系における３次元角度を検出する（ステップＳＴ２）。姿勢検出部１０２は、検出した立体物の３次元角度および撮像画像を接触検出部１０３に出力する。また、姿勢検出部１０２は、検出した立体物の３次元角度を表示画像生成部１０７に出力する。
【００３０】
接触検出部１０３は、姿勢検出部１０２から入力された撮像画像を解析し、立体物に対するユーザの意図的な接触があったか否か判定を行う（ステップＳＴ３）。意図的な接触があった場合（ステップＳＴ３；ＹＥＳ）、接触検出部１０３は、姿勢検出部１０２が検出した立体物の３次元角度を用いて意図的な接触の接触位置および接触タイプを検出する（ステップＳＴ４）。接触検出部１０３は、判定結果、検出した接触位置および接触タイプを表示操作決定部１０４に出力する。一方、意図的な接触がなかった場合（ステップＳＴ３；ＮＯ）、接触検出部１０３は判定結果を表示制御部１０６に出力し、ステップＳＴ６の処理に進む。
【００３１】
表示操作決定部１０４は、接触検出部１０３が検出した接触タイプに基づいて表示操作データベース１０５を参照し、立体物の表示操作を決定する（ステップＳＴ５）。表示操作決定部１０４は、決定した表示操作を表示制御部１０６に出力する。表示制御部１０６は、接触検出部１０３から入力された判定結果、または表示操作決定部１０４から入力された表示操作に基づいて、２次元画像の表示制御条件を決定する（ステップＳＴ６）。表示制御部１０６は、決定した表示制御条件を表示画像生成部１０７に出力する。
【００３２】
表示画像生成部１０７は、３次元形状データ蓄積部１０８に蓄積された立体物の３次元形状データと、姿勢検出部１０２が検出した立体物の３次元角度とから、ユーザ側から見た立体物の２次元画像を生成する（ステップＳＴ７）。表示画像生成部１０７は、生成した２次元画像を表示制御部１０６が決定した表示制御条件で表示装置３００に表示する（ステップＳＴ８）。その後、処理を終了する。
【００３３】
次に、図５のフローチャートのステップＳＴ３およびステップＳＴ４の処理について詳細に説明する。
図６は、実施の形態１に係る表示制御装置１００の接触検出部１０３の動作を示すフローチャートである。
以下では、接触検出部１０３がユーザの立体物への接触直前の接触動作の速度が予め設定した閾値以上であると判断した場合に、意図的な接触があったと判定する場合を例に説明する。
接触検出部１０３は、撮像画像を解析し、立体物対するユーザの接触があったか否か判定を行う（ステップＳＴ１１）。ユーザの接触があった場合（ステップＳＴ１１；ＹＥＳ）、接触検出部１０３はユーザの接触直前の接触動作の速度が予め設定した閾値以上であるか否か判定を行う（ステップＳＴ１２）。ユーザの接触直前の接触動作の速度が予め設定した閾値以上である場合（ステップＳＴ１２；ＹＥＳ）、接触検出部１０３は、ユーザの意図的接触があったと判断する（ステップＳＴ１３）。
【００３４】
接触検出部１０３は、撮像画像の解析結果、および姿勢検出部１０２が検出した立体物の３次元角度を用いて、ユーザの接触位置を検出する（ステップＳＴ１４）。接触検出部１０３は、撮像画像の解析結果に基づいて、ユーザの接触タイプを判断する（ステップＳＴ１５）。接触検出部１０３は、ステップＳＴ１４で検出した接触位置およびステップＳＴ１５で判断した接触タイプを表示操作決定部１０４に出力する（ステップＳＴ１６）。その後、処理は図５のフローチャートのステップＳＴ５の処理に進む。
一方、ユーザの接触がなかった場合（ステップＳＴ１１；ＮＯ）、またはユーザの接触直前の接触動作の速度が予め設定した閾値以上でなかった場合（ステップＳＴ１２；ＮＯ）、処理は図５のフローチャートのステップＳＴ６の処理に進む。
【００３５】
以上のように、この実施の形態１によれば、ユーザが保持する立体物の３次元角度を検出する姿勢検出部１０２と、立体物に対してユーザが意図的に接触したか否か判定を行い、意図的に接触したと判定した場合に、意図的な接触の接触位置および接触タイプを検出する接触検出部１０３と、検出された接触位置および接触タイプに基づいて、立体物の２次元画像の表示操作を決定する表示操作決定部１０４と、意図的に接触したかの判定結果、または決定された表示操作に基づいて、２次元画像の表示制御条件を決定する表示制御部１０６と、予め蓄積された立体物の３次元形状データと、検出された立体物の３次元角度とから、立体物をユーザ側から視認した場合に得られると算出される２次元画像を生成し、生成した２次元画像を表示制御部が決定した表示制御条件で表示する表示画像生成部１０７とを備えるように構成した。
【００３６】
これにより、ユーザが手に取った立体物の情報を画面上に表示する場合に、立体物を実際に視認してユーザが得る情報と、画面上に表示させる情報とを連携させて表示することができる。また、ユーザは、実際に視認している立体物を、画面上に表示された立体物の情報と一致させて認識することができる。
【００３７】
また、この実施の形態１によれば、接触検出部１０３は、接触タイプとして、ユーザのダブルタップの操作、ピンチアウトの操作、ピンチインの操作、または２本指でタップする操作に基づいて、２次元画像を、接触位置を中心として拡大表示または縮小表示する表示操作を決定するように構成した。
これにより、立体物を実際に視認してユーザが得る情報と、画面上に表示させる情報とを連携させて表示すると共に、ユーザは画面上に表示させた情報を直感的に操作することができる。
【００３８】
実施の形態２．
この実施の形態２では、接触位置および接触タイプに応じて、付随情報を表示する制御を行う構成を示す。
図７は、実施の形態２に係る表示制御装置１００Ａの構成を示すブロック図である。
実施の形態２の表示制御装置１００Ａは、実施の形態１で示した表示制御装置１００に付随情報取得部１０９および付随情報データベース１１０を追加して設けている。また、実施の形態１で示した表示制御装置１００の表示制御部１０６に替えて、表示制御部１０６ａを設けて構成している。なお、以下では、実施の形態１に係る表示制御装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００３９】
付随情報取得部１０９は、接触検出部１０３から意図的な接触があったとの判定結果、接触位置および接触タイプが入力された場合、付随情報データベース１１０を参照し、表示する付随情報を取得する。付随情報データベース１１０は、予め定義された接触タイプと、接触位置情報と、付随情報を紐づけて蓄積したデータベースである。付随情報取得部１０９は、接触検出部１０３から入力された接触タイプと一致する接触タイプが付随情報データベース１１０内に存在する場合に、該当する接触位置情報に紐づけられた付随情報を取得する。付随情報取得部１０９は、取得した付随情報および接触位置情報を表示制御部１０６ａに出力する。
【００４０】
表示制御部１０６ａは、実施の形態１と同様に接触検出部１０３から入力された判定結果、または表示操作決定部１０４から入力された表示操作に基づいて、表示画像生成部１０７が生成する２次元画像の表示制御条件を決定する。さらに、表示制御部１０６ａは、付随情報取得部１０９が取得した付随情報を、接触位置情報に応じて２次元画像上に表示するための表示制御条件を決定する。
【００４１】
図８は、実施の形態２に係る表示制御装置１００Ａの付随情報データベース１１０の構成例を示す図である。
付随情報データベース１１０は、接触タイプ１１０ａ、接触位置情報１１０ｂおよび付随情報１１０ｃで構成される。
接触タイプ１１０ａは、表示操作データベース１０５の接触タイプ１０５ａに設定された種別以外の接触タイプであって、接触検出部１０３に設定された接触タイプである。接触タイプ１１０ａは、例えばシングルタップである。
【００４２】
接触位置情報１１０ｂは、接触があった立体物上の領域情報を示している。
図９は、実施の形態２に係る表示制御装置１００Ａの付随情報データベース１１０の接触位置情報１１０ｂの説明図である。
図９Ａでは、立体物４００上の領域を、立体物４００のパーツ毎に領域Ａ、領域Ｂ、領域Ｃおよび領域Ｄの４つの領域に分割した場合を例に示している。接触位置情報１１０ｂが領域Ａである場合、領域Ａにユーザの接触があったことを示している。なお、分割する領域は４つに限定されるものではなく、任意の数の分割領域を設定することが可能である。
【００４３】
図８に戻り、付随情報データベース１１０の付随情報１１０ｃは、表示すべき付随情報を示している。例えば、接触検出部１０３から入力された接触タイプがシングルタップであり、接触位置が領域Ｂ内であった場合に、付随情報「名称ｂ」を表示することを示している。
付随情報取得部１０９は、取得した付随情報１１０ｃを、接触位置情報１１０ｂを示す情報と共に表示制御部１０６ａに出力する。具体的には、付随情報取得部１０９は、例えば付随情報「名称ｂ」を、接触位置情報「領域Ｂ」と共に表示制御部１０６ａに出力する。表示制御部１０６ａは、２次元画像上の接触位置情報１１０ｂの表示領域に付随情報１１０ｃを表示する表示制御条件の決定を行う。
【００４４】
ここで、接触位置情報１１０ｂの表示領域とは、接触位置情報１１０ｂで示された領域に近い領域であって、且つ立体物の２次元画像と重複しない領域である。例えば、表示制御部１０６ａは、図９Ａで示した、領域Ｂの近い領域且つ立体物４００の２次元画像と重複しない領域に名称ｂを表示する表示制御条件を決定する。
【００４５】
また、付随情報取得部１０９は、例えば、取得した付随情報を、接触検出部１０３から入力された接触位置と共に表示制御部１０６ａに出力してもよい。その場合、表示制御部１０６ａは、２次元画像上の接触位置に近い地点であって、立体物の表示と重複しない地点に付随情報を表示する表示制御条件を決定する。さらに、表示制御部１０６ａは、２次元画像上の接触位置に、ユーザが操作を行った箇所を示す画像を重畳して表示する表示制御条件を決定する。
【００４６】
図９Ｂに示すように、例えば、ユーザが操作を行った箇所を示す画像１１０ｄとして、立体物４００の表示に重畳させて二重丸の画像を表示する。また、ユーザが操作を行った箇所を示す画像１１０ｄと付随情報１１０ｃとを結ぶ引き出し線１１０ｅを表示する表示制御条件を決定してもよい。
また、表示制御部１０６ａは、２次元画像上の接触位置情報１１０ｂで示された領域をハイライト表示する構成としてもよい。図９Ｃに示すように、例えば、領域Ｂの表示色を、他の領域よりも明るく色に設定したハイライト表示を行う。
【００４７】
次に、表示制御装置１００Ａのハードウェア構成例を説明する。なお、実施の形態２の表示制御装置１００Ａのハードウェア構成例を示す図は、実施の形態１で示した図３Ａおよび図３Ｂと同一であることから、図示を省略する。また、実施の形態１と同一の構成の説明も省略する。
表示制御装置１００Ａにおける表示制御部１０６ａおよび付随情報取得部１０９は、図３Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図３Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。
【００４８】
また、図３Ｂに示すように、表示制御部１０６ａおよび付随情報取得部１０９がプロセッサ１００ｂである場合、表示制御部１０６ａおよび付随情報取得部１０９の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、表示制御部１０６ａおよび付随情報取得部１０９の機能を実現する。即ち、表示制御部１０６ａおよび付随情報取得部１０９は、プロセッサ１００ｂにより実行されるときに、後述する図１０に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、表示制御部１０６ａおよび付随情報取得部１０９の手順または方法をコンピュータに実行させるものであるともいえる。
【００４９】
なお、表示制御部１０６ａおよび付随情報取得部１０９の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、表示制御装置１００Ａにおける処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【００５０】
次に、表示制御装置１００Ａの動作について説明する。
図１０は、実施の形態２に係る表示制御装置１００Ａの動作を示すフローチャートである。
図１０において、図５で示した実施の形態１のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
【００５１】
表示操作決定部１０４が立体物の表示操作を決定すると（ステップＳＴ５）、付随情報取得部１０９は、接触検出部１０３が検出した接触位置が、予め設定した領域のいずれに存在するか判断する（ステップＳＴ２１）。付随情報取得部１０９は、接触検出部１０３が検出した接触タイプおよびステップＳＴ２１で判断した領域に基づいて付随情報データベース１１０を参照し、表示する付随情報を取得する（ステップＳＴ２２）。付随情報取得部１０９は、取得した付随情報と、領域を示す接触位置情報とを、表示制御部１０６ａに出力する。
【００５２】
表示制御部１０６ａは、接触検出部１０３から入力された判定結果、または表示操作決定部１０４から入力された表示操作に基づいて、２次元画像の表示制御条件を決定する（ステップＳＴ６）。また、付随情報がある場合、表示制御部１０６ａは、２次元画像において、付随情報取得部１０９が取得した付随情報を、接触位置情報に対応した表示領域に表示する表示制御条件を決定する（ステップＳＴ２３）。なお、付随情報がない場合、表示制御部１０６ａはステップＳＴ２３の処理を省略する。その後、処理はステップＳＴ７の処理に進む。
【００５３】
上述したステップＳＴ２３の処理において、ユーザが操作を行った箇所を示す画像を重畳して表示する表示制御条件を決定してもよい。また、上述したステップＳＴ２３の処理において、ユーザが操作を行った箇所を示す画像と付随情報とを結ぶ引き出し線を表示する表示制御条件を決定してもよい。また、上述したステップＳＴ２３の処理において、接触位置情報で示された領域をハイライト表示する表示制御条件を決定してもよい。
【００５４】
以上のように、この実施の形態２によれば、接触検出部１０３が立体物に対してユーザが意図的に接触したと判定した場合に検出された接触位置および接触タイプに基づいて、表示すべき付随情報を取得する付随情報取得部１０９を備え、表示制御部１０６ａは、取得された付随情報に紐づけられた接触位置情報に基づいて、立体物の２次元画像に付随情報を表示する表示制御条件を決定し、付随情報取得部１０９が付随情報を取得するための接触タイプは、表示操作決定部１０４が表示操作を決定するための接触タイプとは異なるように構成した。
【００５５】
これにより、立体物を実際に視認してユーザが得る情報と、画面上に表示させる情報とを連携させると共に、画面上にユーザの接触に応じた付随情報をユーザの接触位置に応じて表示させることができる。
【００５６】
また、この実施の形態２によれば、表示制御部１０６ａは、検出された接触位置に基づいて、接触位置を示す画像を立体物の２次元画像に重畳して表示する表示制御条件を決定するように構成した。
これにより、ユーザの接触位置に対応した付随情報を表示していることをユーザに明示することができる。
【００５７】
また、この実施の形態２によれば、表示制御部１０６ａは、立体物の２次元画像において、接触位置情報で示された領域をハイライト表示する表示制御条件を決定するように構成した。
これにより、ユーザの接触領域に対応した付随情報を表示していることをユーザに明示することができる。
【００５８】
また、この実施の形態２によれば、表示制御部１０６ａは、立体物の２次元画像において、接触位置情報で示された領域に近い領域に付随情報を表示する表示制御条件を決定するように構成した。
これにより、ユーザの接触位置に対応した付随情報を表示していることをユーザに明示することができる。
【００５９】
実施の形態３．
この実施の形態３では、ユーザの接触操作に応じて、立体物の断面情報を表示する制御を行う構成を示す。
図１１は、実施の形態３に係る表示制御装置１００Ｂの構成を示すブロック図である。
実施の形態３の表示制御装置１００Ｂは、実施の形態１で示した表示制御装置１００に操作判定部１１１、断面情報取得部１１２および断面情報蓄積部１１３を追加して設けている。また、実施の形態１で示した表示制御装置１００の表示制御部１０６に替えて、表示制御部１０６ｂを設けて構成している。なお、以下では、実施の形態１に係る表示制御装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００６０】
操作判定部１１１は、情報取得部１０１が取得した撮像画像を解析し、立体物の断面の表示を指示する、予め設定されたユーザの手の形状が検出されたか否か判定を行う。ここで、立体物の断面の表示を指示する、予め設定された手の形状とは、例えば、手を広げて手の平で面を形成した手の形状である。なお、立体物の断面の表示を指示する、予め設定された手の形状は、手を広げた形状に限定されるものではなく、適宜設定可能である。操作判定部１１１は、予め設定された手の形状が検出されたと判定した場合に、ユーザは立体物の断面の表示を指示する操作を行ったと判断する。
【００６１】
操作判定部１１１は、３次元形状データ蓄積部１０８に蓄積された立体物の３次元形状データを取得し、立体物に対する３次元座標系を定義する。操作判定部１１１は、定義した３次元座標系における、操作点の位置と、接触した手の平が形成する面の角度とを検出する。操作判定部１１１は、検出した操作点の位置情報および面の角度情報を、断面情報取得部１１２に出力する。
【００６２】
なお、立体物にモーションセンサ（図示しない）を内蔵させ、操作判定部１１１は当該モーションセンサから得られる閾値以上の衝撃の強さを検出した場合に、ユーザが立体物の断面の表示を指示する操作を行ったと判断してもよい。また、操作判定部１１１は、モーションセンサが検出した位置から操作点の位置を検出し、モーションセンサが検出した衝撃の角度から面の角度を検出してもよい。
【００６３】
断面情報取得部１１２は、入力された操作点の位置情報および面の角度情報を用いてユーザの操作面を設定する。ユーザの操作面は、例えばユーザが手の平が形成する面と近似する面として設定される。断面情報取得部１１２は、断面情報蓄積部１１３に蓄積された断面情報を参照し、設定したユーザの操作面と最も近似する断面を決定する。断面情報取得部１１２は、決定した断面の断面情報を表示制御部１０６ｂに出力する。なお、操作判定部１１１および断面情報取得部１１２の詳細については後述する。
【００６４】
断面情報蓄積部１１３は、立体物を予め設定した面で切った場合に得られる断面の表示情報と、立体物をどの位置で切ったかを示す情報とを紐づけた断面情報を蓄積している。立体物をどの位置で切ったかを示す情報は、立体物の３次元座標系において規定されている。
【００６５】
表示制御部１０６ｂは、実施の形態１と同様に接触検出部１０３から入力された判定結果、または表示操作決定部１０４から入力された表示操作に基づいて、表示画像生成部１０７が生成する２次元画像の表示制御条件を決定する。さらに、表示制御部１０６ｂは、断面情報取得部１１２から断面情報が入力されると、表示している立体物を指定された面で切った場合に得られる断面を示す情報を表示する表示制御条件を決定する。
【００６６】
次に、表示制御装置１００Ｂのハードウェア構成例を説明する。なお、実施の形態３の表示制御装置１００Ｂのハードウェア構成例を示す図は、実施の形態１で示した図３Ａおよび図３Ｂと同一であることから、図示を省略する。また、実施の形態１と同一の構成の説明も省略する。
表示制御装置１００Ｂにおける表示制御部１０６ｂ、操作判定部１１１および断面情報取得部１１２は、図３Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図３Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。
【００６７】
また、図３Ｂに示すように、表示制御部１０６ｂ、操作判定部１１１および断面情報取得部１１２がプロセッサ１００ｂである場合、表示制御部１０６ｂ、操作判定部１１１および断面情報取得部１１２の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、表示制御部１０６ｂ、操作判定部１１１および断面情報取得部１１２の機能を実現する。即ち、表示制御部１０６ｂ、操作判定部１１１および断面情報取得部１１２は、プロセッサ１００ｂにより実行されるときに、後述する図１４および図１５に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、表示制御部１０６ｂ、操作判定部１１１および断面情報取得部１１２の手順または方法をコンピュータに実行させるものであるともいえる。
【００６８】
なお、表示制御部１０６ｂ、操作判定部１１１および断面情報取得部１１２の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、表示制御装置１００Ｂにおける処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【００６９】
次に、操作判定部１１１および断面情報取得部１１２の詳細について説明する。
図１２は、実施の形態３に係る表示制御装置１００Ｂの操作判定部１１１および断面情報取得部１１２の処理例を示す図である。
図１２Ａは、ユーザＰが予め設定された手の形状で立体物４００に対して操作を行った場合を示している。
図１２Ｂは、図１２Ａのユーザ操作によって、ユーザＰの手が立体物４００上に接触した操作領域４００ａを示している。
図１２Ｃは、ユーザの操作面と、断面情報蓄積部１１３に蓄積された各断面との比較を示す図である。
なお、図１２Ｂおよび図１２Ｃは、立体物４００を上方から見た平面図を示している。
【００７０】
図１２Ａに示すように、ユーザＰは、予め設定された手の形状で、立体物４００の断面の表示を指示する操作を行う。図１２ＡのＸ−Ｙ−Ｚ軸は、立体物に対して定義された３次元座標系である。図１２Ａで示したユーザ操作によって、図１２Ｂに示すようにユーザＰの手が立体物４００上の操作領域４００ａに接触する。操作判定部１１１は、操作領域４００ａの中心を、操作点４００ｂとして検出する。なお、操作領域４００ａが予め点で得られる場合には、操作判定部１１１は当該点を操作点４００ｂとして検出する。操作点４００ｂは、立体物４００の３次元座標系における座標値で表される。
【００７１】
操作判定部１１１は、検出装置２００が撮像した手の平の立体物に対する角度を検出する。手の平の立体物に対する角度は、例えば、立体物の３次元座標系における空間ベクトルで表される。
【００７２】
断面情報取得部１１２は、操作判定部１１１が検出した操作点と、手の平の立体物に対する角度とから、ユーザの操作面を設定する。ユーザの操作面は、立体物の３次元座標系で定義される。断面情報取得部１１２は、設定したユーザの操作面と、断面情報蓄積部１１３に蓄積された断面とを比較し、ユーザの操作面と最も近似する断面を決定する。断面情報取得部１１２は、ユーザの操作面と蓄積された断面との角度の差、およびユーザの操作面と蓄積された断面との距離の差に基づいて、ユーザの操作面と最も近似する断面を決定する。
【００７３】
ユーザの操作面と蓄積された断面との角度の差は、ユーザの操作面の法線ベクトルの角度と、蓄積された断面の法線ベクトルの角度との差である。ユーザの操作面と蓄積された断面との距離の差は、立体物の操作点の位置と、蓄積された断面の外周を任意の方法で直線に近似した線分集合の各々の線分との距離のうち、最も小さいものとする。
【００７４】
図１２Ｃの例では、立体物４００について、第１の断面５０１と第２の断面５０２が断面情報蓄積部１１３に蓄積されている場合を示している。
立体物の操作点４００ｂにおいてユーザＰの操作があった場合に、断面情報取得部１１２は、当該操作点４００ｂと第１の断面５０１の表面の曲線との最短距離５０１ａを算出する。同様に、断面情報取得部１１２は、当該操作点４００ｂと第２の断面５０２の表面の曲線との最短距離５０２ａを算出する。
【００７５】
断面情報取得部１１２は、算出したユーザの操作面と蓄積された断面との角度の差、およびユーザの操作面と蓄積された断面との距離の差に、適宜重み付けを行って加算してユーザの操作面との近似度を算出する。断面情報取得部１１２は、算出した近似度に基づいて、ユーザの操作面と最も近似する断面を決定する。図１２Ｃの例では、断面情報取得部１１２は、ユーザの操作面と最も近似する断面として第１の断面５０１を決定する。
【００７６】
次に、表示制御部１０６ｂによる表示制御条件の決定を、具体例を参照しながら説明する。
図１３は、実施の形態３に係る表示制御装置１００Ｂの表示制御部１０６ｂの処理例を示す図である。
表示制御部１０６ｂは、断面情報取得部１１２から断面情報が入力されると、例えば、ある面で立体物を切った結果として断面を示す情報が表示されるアニメーションを表示する表示条件を決定する。図１３Ａから図１３Ｂは、立体物４００の断面を示す情報を表示する際の画面遷移のアニメーション例を示す図である。
【００７７】
表示制御部１０６ｂは、図１３Ａに示した立体物４００に対して、図１３Ｂに示すように立体物４００を前方部４０１と後方部４０２とに分割し、前方部４０１が表示装置３００の画面の下側に移動して当該画面から消えるように表示が遷移する表示制御条件を決定する。表示制御部１０６ｂは、図１３Ｂおよび図１３Ｃに示すように、移動しない後方部４０２について、断面の構成を示す表示制御条件を決定する。図１３Ｂでは、前方部４０１が、表示装置３００の画面の下側に消える表示の遷移を示したが、消える方向は任意に設定可能である。
立体物４００の断面を示す情報を表示する際に画面遷移を行う表示制御条件を決定することにより、立体物をある面で切断した場合の断面を示す情報を表示することをユーザに容易に認識させることができる。
なお、立体物４００の断面を示す情報を表示する際に画面遷移を行うことなく、断面を示す情報をすぐに表示する表示制御条件としてもよい。
【００７８】
次に、表示制御装置１００Ｂの立体物の断面を示す情報を表示する動作について説明する。
図１４は、実施の形態３に係る表示制御装置１００Ｂの動作を示すフローチャートである。
以下では、断面情報取得部１１２が検出装置２００の撮像画像から操作点および手の平が形成する面を検出する場合を例に示す。
【００７９】
情報取得部１０１は、検出装置２００から撮像画像を取得し（ステップＳＴ３１）、操作判定部１１１に出力する。操作判定部１１１は、ステップＳＴ３１で取得された撮像画像を解析し、予め設定された手の形状が検出されたか否か判定を行う（ステップＳＴ３２）。予め設定された手の形状が検出されなかった場合（ステップＳＴ３２；ＮＯ）、図５のフローチャートのステップＳＴ２の処理に進む。一方、予め設定された手の形状が検出された場合（ステップＳＴ３２；ＹＥＳ）、操作判定部１１１は３次元形状データ蓄積部１０８に蓄積された立体物の３次元形状データを取得し、当該立体物の３次元座標系を定義する（ステップＳＴ３３）。操作判定部１１１は、ステップＳＴ３３で定義した３次元座標系において、操作点の位置、および接触した手の平が形成する面の角度を検出し（ステップＳＴ３４）、断面情報取得部１１２に出力する。
【００８０】
断面情報取得部１１２は、入力された操作点の位置情報および面の角度情報を用いてユーザの操作面を設定する（ステップＳＴ３５）。断面情報取得部１１２は、断面情報蓄積部１１３に蓄積された断面の中から、ステップＳＴ３５で設定したユーザの操作面と最も近似する断面を決定する（ステップＳＴ３６）。断面情報取得部１１２は、ステップＳＴ３６で決定した断面の断面情報を断面情報蓄積部１１３から取得し（ステップＳＴ３７）、表示制御部１０６ｂに出力する。
【００８１】
表示制御部１０６ｂは、表示している２次元画像に対して、入力された断面情報を表示する表示制御条件を決定する（ステップＳＴ３８）。表示画像生成部１０７は、生成している２次元画像を表示制御部１０６ｂが決定した表示制御条件で表示装置３００に表示する（ステップＳＴ３９）。
【００８２】
その後、操作判定部１１１は、情報取得部１０１が取得した表示している断面情報を非表示とするための入力が行われたか否か判定を行う（ステップＳＴ４０）。表示している断面情報を非表示とするための入力が行われない場合（ステップＳＴ４０；ＮＯ）、ステップＳＴ４０の判定処理を繰り返す。一方、表示している断面情報を非表示とするための入力が行われた場合（ステップＳＴ４０；ＹＥＳ）、図５のフローチャートのステップＳＴ２の処理に進む。
【００８３】
ステップＳＴ４０における断面情報を非表示とするための入力は、例えば、別途用意したボタンの押下げ、予め設定された接触タイプの入力、立体物を振ったことを示す加速度センサ（図示しない）の検出情報の入力である。ここで、予め設定された接触タイプとは、表示操作データベース１０５の接触タイプ１０５ａに設定された種別以外、および付随情報データベース１１０の接触タイプ１１０ａに設定された種別以外である接触タイプである。
【００８４】
次に、図１４のフローチャートのステップＳＴ３６の処理について詳細に説明する。
図１５は、実施の形態３に係る表示制御装置１００Ｂの断面情報取得部１１２の動作を示すフローチャートである。
断面情報取得部１１２は、ステップＳＴ３５で設定したユーザの操作面と、断面情報蓄積部１１３に蓄積された断面との、角度の差および距離の差を算出する（ステップＳＴ４１）。断面情報取得部１１２は、断面情報蓄積部１１３に蓄積された立体物に対応した全ての断面について、角度の差および距離の差を算出したか否か判定を行う（ステップＳＴ４２）。立体物に対応した全ての断面について算出していない場合（ステップＳＴ４２；ＮＯ）、ステップＳＴ４１の処理に戻る。
【００８５】
一方、立体物に対応した全ての断面について算出した場合（ステップＳＴ４２；ＹＥＳ）、断面情報取得部１１２は、ステップＳＴ４２で算出した角度の差および距離の差に重み付けを行って加算して近似度を算出する（ステップＳＴ４３）。断面情報取得部１１２は、ステップＳＴ４３で算出した近似度に基づいて、ユーザの操作面と最も近似する断面を決定する（ステップＳＴ４４）。その後、図１４のフローチャートのステップＳＴ３７の処理に進む。
【００８６】
以上のように、この実施の形態３によれば、立体物の断面の表示を指示する、予め設定されたユーザの手の形状が検出された場合に、立体物に対するユーザの手の操作点の位置、およびユーザの手の立体物に対する角度を検出する操作判定部１１１と、検出された操作点の位置、および立体物に対する角度に基づいて、予め蓄積された立体物の断面の中から表示すべき立体物の断面を決定し、当該断面を示す情報を取得する断面情報取得部１１２とを備え、表示制御部１０６ｂが、立体物の２次元画像において、取得された立体物の断面を示す情報を表示する表示制御条件を決定するように構成した。
【００８７】
これにより、ユーザは予め設定された手の形状を取ることのみで、立体物の断面を示す情報を表示することができる。
【００８８】
上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００８９】
この発明に係る表示制御装置は、立体物を操作する操作者に、当該立体物に関する情報を表示するための装置であって、操作者が立体物を手に取りながら操作する場合等に適用するのが好ましい。
【符号の説明】
【００９０】
１００，１００Ａ，１００Ｂ  表示制御装置、１０１  情報取得部、１０２  姿勢検出部、１０３  接触検出部、１０４  表示操作決定部、１０５  表示操作データベース、１０６，１０６ａ，１０６ｂ  表示制御部、１０７  表示画像生成部、１０８  ３次元形状データ蓄積部、１０９  付随情報取得部、１１０  付随情報データベース、１１１  操作判定部、１１２  断面情報取得部、１１３  断面情報蓄積部。
【要約】
ユーザが保持する立体物の３次元角度を検出する姿勢検出部（１０２）と、立体物に対してユーザが意図的に接触したか否か判定を行い、意図的に接触したと判定した場合に、意図的な接触の接触位置および接触タイプを検出する接触検出部（１０３）と、検出された接触位置および接触タイプに基づいて、立体物の２次元画像の表示操作を決定する表示操作決定部（１０４）と、意図的に接触したかの判定結果、または決定された表示操作に基づいて、２次元画像の表示制御条件を決定する表示制御部（１０６）と、予め蓄積された立体物の３次元形状データと、検出された立体物の３次元角度とから、立体物をユーザ側から視認した場合に得られると算出される２次元画像を生成し、生成した２次元画像を表示制御部が決定した表示制御条件で表示する表示画像生成部（１０７）とを備える。【図１】
0006786008.tif 000002
【図２】
0006786008.tif 000003
【図３】
0006786008.tif 000004
【図４】
0006786008.tif 000005
【図５】
0006786008.tif 000006
【図６】
0006786008.tif 000007
【図７】
0006786008.tif 000008
【図８】
0006786008.tif 000009
【図９】
0006786008.tif 000010
【図１０】
0006786008.tif 000011
【図１１】
0006786008.tif 000012
【図１２】
0006786008.tif 000013
【図１３】
0006786008.tif 000014
【図１４】
0006786008.tif 000015
【図１５】
0006786008.tif 000016