(57)【要約】【課題】動画像が貼り付けられた３次元オブジェクトを仮想空間内へ配置して投影した結果を出力する際の処理負荷を軽減させる。【解決手段】動画像を貼り付ける３次元オブジェクトの形状情報と、オブジェクトと３次元仮想空間内の視線との相対的なアニメーションを定義するアニメーション情報とを取得し、取得したアニメーション情報から、オブジェクト上の動画像投影面の速度情報（移動速度、角速度、伸縮速度）を決定し、決定した速度情報に基づいて動画像の視認性に応じた最適なフレームレートを決定し、決定したフレームレートで動画像をオブジェクト上に表示させる。【選択図】図２
2011044022.tif 000002
【特許請求の範囲】
【請求項１】
３次元仮想空間内に配置された３次元のオブジェクトと動画像を合成して表示させる画像処理装置であって、
前記動画像を貼り付ける前記オブジェクトの形状を定義する形状情報と、前記オブジェクトと３次元仮想空間内の視線との相対的なアニメーションを定義するアニメーション情報とを取得するオブジェクト情報取得手段と、
前記オブジェクト情報取得手段により取得した前記アニメーション情報から、前記動画像を貼り付ける前記オブジェクト上の動画像投影面の速度情報を決定する速度情報決定手段と、
前記速度情報決定手段により決定した前記速度情報に基づいて、前記動画像に係るフレームレートを決定するフレームレート決定手段と、
前記オブジェクト上に、前記フレームレート決定手段により決定した前記フレームレートで前記動画像を表示させる動画像表示手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記速度情報決定手段は、
前記アニメーション情報に基づいて、前記動画像投影面の移動速度を決定する移動速度決定手段と、
前記アニメーション情報に基づいて、前記動画像投影面の角速度を決定する角速度決定手段と、
前記アニメーション情報に基づいて、前記動画像投影面の伸縮速度を決定する伸縮速度決定手段とを含むことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記フレームレート決定手段は、前記動画像投影面の移動速度、角速度、及び伸縮速度と、前記動画像のフレームレートとの関係を表す数式又は表に基づいて、前記移動速度決定手段により決定された前記動画像投影面の移動速度、前記角速度決定手段により決定された前記動画像投影面の角速度、及び前記伸縮速度決定手段により決定された前記動画像投影面の伸縮速度に応じたフレームレートを決定することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記移動速度決定手段は、前記動画像投影面のｘ軸方向の移動速度、ｙ軸方向の移動速度、及びｚ軸方向の移動速度を決定することを特徴とする請求項２又は３記載の画像処理装置。
【請求項５】
前記角速度決定手段は、前記動画像投影面のｘ軸中心の角速度、ｙ軸中心の角速度、及びｚ軸中心の角速度を決定することを特徴とする請求項２〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記伸縮速度決定手段は、前記動画像投影面のｘ軸方向の伸縮速度、ｙ軸方向の伸縮速度、及びｚ軸方向の伸縮速度を決定することを特徴とする請求項２〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記フレームレート決定手段により決定したフレームレートとなるように前記動画像に係るフレームレートを変更するフレームレート変更手段を備え、
前記動画像表示手段は、前記フレームレート変更手段により変更した前記フレームレートで前記動画像を表示させることを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項８】
前記フレームレート変更手段は、前記動画像投影面の速度情報による単位時間における動画像投影面の変化が、予め決められた値、又はユーザ若しくはプログラムによって決められた値を超える値であった場合には、前記動画像の再生を一時停止又は中止することを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記フレームレート変更手段は、動画像データのフレームから前記フレームレート決定手段により決定されたフレームレートに応じてフレームを抽出することを特徴とする請求項７又は８記載の画像処理装置。
【請求項１０】
前記オブジェクト情報取得手段は、前記オブジェクトの平行移動、回転、及び伸縮を行う３次元アフィン変換行列を取得し、取得した３次元アフィン変換行列から、平行移動成分、回転成分、及び伸縮成分をそれぞれ抜き出すことを特徴とする請求項１〜９の何れか１項に記載の画像処理装置。
【請求項１１】
前記オブジェクト情報取得手段は、前記オブジェクトの情報を内部データとして保持することを特徴とする請求項１〜１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記オブジェクト情報取得手段は、構造化文書を解釈するとともに解釈された内容を内部データとして保持し、保持されたデータをもとにオブジェクトが描画されることを特徴とする請求項１〜１１の何れか１項に記載の画像処理装置。
【請求項１３】
前記アニメーション情報は、３次元アフィン変換行列により与えられた３次元変形情報、ユーザによるオブジェクトの変形操作から計算される３次元変形情報、及び構造化文書から抽出した３次元変形情報のうち、少なくとも一つを含むことを特徴とする請求項１〜１２の何れか１項に記載の画像処理装置。
【請求項１４】
３次元仮想空間内に配置された３次元のオブジェクトと動画像を合成して表示させる画像処理方法であって、
前記動画像を貼り付ける前記オブジェクトの形状を定義する形状情報と、前記オブジェクトと３次元仮想空間内の視線との相対的なアニメーションを定義するアニメーション情報とを取得するオブジェクト情報取得工程と、
取得された前記アニメーション情報から、前記動画像を貼り付ける前記オブジェクト上の動画像投影面の速度情報を決定する速度情報決定工程と、
決定された前記速度情報に基づいて、前記動画像に係るフレームレートを決定するフレームレート決定工程と、
前記オブジェクト上に、決定された前記フレームレートで前記動画像を表示させる動画像表示工程とを有することを特徴とする画像処理方法。
【請求項１５】
３次元仮想空間内に配置された３次元のオブジェクトと動画像を合成して表示させる画像処理をコンピュータに実行させるためのプログラムであって、
前記動画像を貼り付ける前記オブジェクトの形状を定義する形状情報と、前記オブジェクトと３次元仮想空間内の視線との相対的なアニメーションを定義するアニメーション情報とを取得するオブジェクト情報取得ステップと、
取得された前記アニメーション情報から、前記動画像を貼り付ける前記オブジェクト上の動画像投影面の速度情報を決定する速度情報決定ステップと、
決定された前記速度情報に基づいて、前記動画像に係るフレームレートを決定するフレームレート決定ステップと、
前記オブジェクト上に、決定された前記フレームレートで前記動画像を表示させる動画像表示ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元グラフィックスに係る画像処理技術に関する。
【背景技術】
【０００２】
動画像が貼り付けられた３次元オブジェクトを３次元仮想空間に配置してディスプレイ等の平面に出力する場合、オブジェクトに貼り付ける動画像は、予め設定されたフレームレートや画質どおりに再生する方法が一般的であった。しかし、この方法では、３次元仮想空間での動画像の視認性にかかわらず、常に同じ演算量を費やさなければならなかった。それに対して、視点位置とオブジェクトの位置との距離を計算し、計算された距離と動画像のフレームレートとの関係を示す表又は数式に基づいて、フレームレートを決定する方法が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−２６５４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、前述の方法では、オブジェクトが移動、回転、又は伸縮しているといった場合にも、予め設定されたフレームレートや画質どおりに再生しなければならなかった。そのため、オブジェクトが移動、回転、又は伸縮しておりオブジェクトに貼り付ける動画像の視認性が低い場合にも、動画像の視認性が高い場合と同じ処理負荷がかかるという問題があった。
本発明は、オブジェクトに貼り付ける動画像の視認性に応じてフレームレートを適切に決定することができ、処理負荷を軽減することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、３次元仮想空間内に配置された３次元のオブジェクトと動画像を合成して表示させる画像処理装置であって、前記動画像を貼り付ける前記オブジェクトの形状を定義する形状情報と、前記オブジェクトと３次元仮想空間内の視線との相対的なアニメーションを定義するアニメーション情報とを取得するオブジェクト情報取得手段と、前記オブジェクト情報取得手段により取得した前記アニメーション情報から、前記動画像を貼り付ける前記オブジェクト上の動画像投影面の速度情報を決定する速度情報決定手段と、前記速度情報決定手段により決定した前記速度情報に基づいて、前記動画像に係るフレームレートを決定するフレームレート決定手段と、前記オブジェクト上に、前記フレームレート決定手段により決定した前記フレームレートで前記動画像を表示させる動画像表示手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、動画像を含むオブジェクトの移動、回転、又は伸縮といった視認性が低下する動きに対応し、動画像の視認性に応じた最適なフレームレートを決定することができ、装置としての処理負荷を軽減することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係る画像処理装置の構成例を示す図である。
【図２】本発明の実施形態に係る画像処理装置の機能構成例を示す図である。
【図３】本実施形態に係る画像処理装置の動作例を示すフローチャートである。
【図４】第１の実施形態での速度情報決定処理の一例を示すフローチャートである。
【図５】フレームレート変更に係る判別処理の一例を示すフローチャートである。
【図６】第２の実施形態での速度情報決定処理の一例を示すフローチャートである。
【図７】オブジェクトに貼り付けられた動画像の中心座標と法線を示す図である。
【図８】オブジェクトの動作を記述した構造化文書の一例を示す図である。
【図９】構造化文書で描かれた円弧の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態を図面に基づいて説明する。
【０００９】
（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、本発明の実施形態に係る画像処理装置を構成するコンピュータ装置の構成例を示すブロック図である。図１において、１０１は画像処理装置１００全体を制御するＣＰＵ（Central Processing Unit）である。１０２は変更を必要としないプログラムやパラメータを格納するＲＯＭ（Read Only Memory）である。１０３は外部装置等から供給されるプログラムやデータを一時記憶するＲＡＭ（Random Access Memory）である。例えば、ＣＰＵ１０１が、ＲＯＭ１０２から供給されるプログラム若しくはＲＡＭ１０３を介して供給されるプログラムを実行することにより、後述する本実施形態における画像処理が行われる。１０４は保持するデータや供給されたデータを表示するためのモニタ１０５とのインターフェイスである表示制御部である。１０６は各機能部１０１〜１０４を通信可能に接続するシステムバスである。なお、画像処理装置１００は、ユーザからの操作を受けてデータを入力するマウス等のポインティングデバイスやキーボード等の入力デバイスとのインターフェイス等を有していてもよい。また、画像処理装置１００は、画像処理装置１００に固定して設置されたハードディスクやメモリカード等を有していてもよい。また、画像処理装置１００は、画像処理装置１００から着脱可能なフレキシブルディスク（ＦＤ）やＣＤ（Compact Disk）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含む外部記憶装置等を有していてもよい。さらにインターネット等のネットワーク回線に接続するためのネットワークインターフェイス等があってもよい。
【００１０】
図２は、本発明の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
画像処理装置２００において、オブジェクト情報取得部２０１は、動画像を貼り付ける３次元仮想空間内に配置された３次元のオブジェクトの形状を定義する形状情報（オブジェクト形状情報）を取得する。また、オブジェクト情報取得部２０１は、オブジェクトと３次元仮想空間内の視線との相対的なアニメーションを定義するアニメーション情報（オブジェクトアニメーション情報）を取得する。オブジェクト情報取得部２０１は、取得したオブジェクトに係る形状情報及びアニメーション情報を内部データとして保持する。
【００１１】
移動速度決定部２０２、角速度決定部２０３、及び伸縮速度決定部２０４は、速度情報決定部であり、オブジェクト情報取得部２０１により取得したアニメーション情報から、動画像を貼り付けるオブジェクト上の動画像投影面の速度情報を決定する。具体的には、移動速度決定部２０２は、取得したアニメーション情報に基づいて、動画像投影面の移動速度を決定する。角速度決定部２０３は、取得したアニメーション情報に基づいて、動画像投影面の角速度を決定する。伸縮速度決定部２０４は、取得したアニメーション情報に基づいて、動画像投影面の伸縮速度を決定する。
【００１２】
３次元仮想空間配置部２０５は、オブジェクト情報取得部２０１により取得したオブジェクトの形状情報及びアニメーション情報を基に、仮想空間にオブジェクトを配置する。ビットマップ投影部２０６は、３次元仮想空間配置部２０５によって配置されたオブジェクトに係るビットマップを平面に投影した結果を出力部２１１に渡す。
【００１３】
動画像情報取得部２０７は、３次元仮想空間内に配置されたオブジェクト上に貼り付ける動画像の情報（動画像データ）を取得する。フレームレート決定部２０８は、移動速度決定部２０２、角速度決定部２０３、及び伸縮速度決定部２０４により決定した動画像投影面の移動速度、角速度、及び伸縮速度と、動画像情報取得部２０７により取得した動画像の情報とが供給される。フレームレート決定部２０８は、供給される動画像投影面の移動速度、角速度、及び伸縮速度と、動画像の情報とに基づいて、動画像の表示に係る最適なフレームレートを決定する。フレームレート決定部２０８は、例えば移動速度、角速度、及び伸縮速度と、動画像のフレームレートとの関係を表す数式又は表を参照して動画像に係るフレームレートを決定する。フレームレート変更部２０９は、動画像のフレームレートをフレームレート決定部２０８で得られたフレームレートに変更する。動画像表示部２１０は、フレームレート決定部２０８及びフレームレート変更部２０９により決定・変更されたフレームレートで動画像を表示させるよう表示する動画像を出力部２１１に渡す。出力部２１１は、ビットマップ投影部２０６から渡されたオブジェクトの投影結果と動画像表示部２１０から渡された動画像の投影結果を合成して外部のモニタ２１２に表示させる。
【００１４】
図３は、本実施形態に係る画像処理装置の動作例を示すフローチャートである。
まず、オブジェクト情報取得部２０１は、オブジェクトの形状情報とアニメーション情報を取得する（Ｓ３０１）。また、動画像情報取得部２０７は、オブジェクトに貼り付ける動画像の情報を取得する（Ｓ３０２）。次に、移動速度決定部２０２、角速度決定部２０３、及び伸縮速度決定部２０４は、オブジェクト上の動画像投影面の移動速度、角速度、及び伸縮速度をそれぞれ決定する（Ｓ３０３〜Ｓ３０５）。ここで、図４を参照して、第１の実施形態における動画像投影面の移動速度決定方法、動画像投影面の角速度決定方法、及び動画像投影面の伸縮速度決定方法について詳しく説明する。図４は、第１の実施形態でのオブジェクトの移動速度、角速度、及び伸縮速度を決定する処理の一例を示すフローチャートである。
【００１５】
はじめに、移動速度決定部２０２による動画像投影面の移動速度決定方法について説明する。３次元仮想空間内に配置されたオブジェクトの平行移動、回転、及び伸縮は、例えば以下に示すような３次元アフィン変換行列を用いた３次元アフィン変換によって行われる。したがって、本実施形態において、オブジェクトのアニメーション情報には、３次元アフィン変換行列により与えられた３次元変形情報が含まれる。なお、（ｘ、ｙ、ｚ、１）は変換前の座標、（ｘ’、ｙ’、ｚ’、１）は変換後の座標である。
【数１】
2011044022.tif 000003
【００１６】
まず、オブジェクト情報取得部２０１は、オブジェクトの平行移動、回転、及び伸縮を行う３次元アフィン変換行列を取得する（Ｓ４０１）。続いて、オブジェクト情報取得部２０１は、Ｓ４０１において取得した３次元アフィン変換行列から、変換行列の平行移動成分を抜き出す（Ｓ４０２）。オブジェクトのｘ軸方向の移動量をｄｘ、ｙ軸方向の移動量をｄｙ、ｚ軸方向の移動量をｄｚとすると、３次元仮想空間内に配置されたオブジェクトの平行移動は、以下の操作で行われる。
【数２】
2011044022.tif 000004
【００１７】
次に、動画像情報取得部２０７は、動画像のフレームレートＦを取得する（Ｓ４０３）。Ｓ４０３において取得する動画像のフレームレートは、オブジェクト上に貼り付ける動画像の元のフレームレートである。続いて、移動速度決定部２０２は、オブジェクトのｘ軸方向の移動速度Ｖｘ、ｙ軸方向の移動速度Ｖｙ、及びｚ軸方向の移動速度Ｖｚを、以下の式に従って決定する（Ｓ４０４〜Ｓ４０６）。
【数３】
2011044022.tif 000005
ここで、オブジェクトのｘ軸方向の移動速度Ｖｘ、ｙ軸方向の移動速度Ｖｙ、及びｚ軸方向の移動速度Ｖｚを、動画像投影面のｘ軸方向の移動速度、ｙ軸方向の移動速度、及びｚ軸方向の移動速度とする。
【００１８】
次に、角速度決定部２０３による動画像投影面の角速度決定方法について説明する。オブジェクト情報取得部２０１は、Ｓ４０１において取得した３次元アフィン変換行列から、変換行列の回転成分を抜き出す（Ｓ４０２）。オブジェクトのｘ軸中心の回転角をＡｘとすると、３次元仮想空間内に配置されたオブジェクトのｘ軸中心の回転は、以下の操作で行われる。
【数４】
2011044022.tif 000006
【００１９】
同様に、オブジェクトのｙ軸中心の回転角をＡｙとすると、３次元仮想空間内に配置されたオブジェクトのｙ軸中心の回転は、以下の操作で行われる。
【数５】
2011044022.tif 000007
【００２０】
また同様に、オブジェクトのｚ軸中心の回転角をＡｚとすると、３次元仮想空間内に配置されたオブジェクトのｚ軸中心の回転は、以下の操作で行われる。
【数６】
2011044022.tif 000008
【００２１】
続いて、角速度決定部２０３は、オブジェクトのｘ軸中心の角速度Ｗｘ、ｙ軸中心の角速度Ｗｙ、及びｚ軸中心の角速度Ｗｚを、以下の式に従って決定する（Ｓ４０７〜Ｓ４０９）。
【数７】
2011044022.tif 000009
ここで、オブジェクトのｘ軸中心の角速度Ｗｘ、ｙ軸中心の角速度Ｗｙ、及びｚ軸中心の角速度Ｗｚを、動画像投影面のｘ軸中心の角速度、ｙ軸中心の角速度、及びｚ軸中心の角速度とする。
【００２２】
次に、伸縮速度決定部２０４による動画像投影面の伸縮速度決定方法について説明する。オブジェクト情報取得部２０１は、Ｓ４０１において取得した３次元アフィン変換行列から、変換行列の伸縮成分を抜き出す（Ｓ４０２）。オブジェクトのｘ軸方向の伸縮係数をＳｘ、ｙ軸方向の伸縮係数をＳｙ、ｚ軸方向の伸縮係数をＳｚとすると、３次元仮想空間内に配置されたオブジェクトの伸縮は、以下の操作で行われる。
【数８】
2011044022.tif 000010
【００２３】
続いて、伸縮速度決定部２０３は、オブジェクトのｘ軸方向の伸縮速度ＳＶｘ、ｙ軸方向の伸縮速度ＳＶｙ、及びｚ軸方向の伸縮速度ＳＶｚを、以下の式に従って決定する（Ｓ４１０〜Ｓ４１２）。
【数９】
2011044022.tif 000011
ここで、オブジェクトのｘ軸方向の伸縮速度ＳＶｘ、ｙ軸方向の伸縮速度ＳＶｙ、及びｚ軸方向の伸縮速度ＳＶｚを、動画像投影面のｘ軸方向の伸縮速度、ｙ軸方向の伸縮速度、及びｚ軸方向の伸縮速度とする。
【００２４】
次に、フレームレート決定部２０８は、Ｓ３０３〜Ｓ３０５において決定した動画像投影面の速度情報（移動速度、角速度、及び伸縮速度）に基づいて、動画像のフレームレートを変更するかどうかを判別する（Ｓ３０６）。ここで、図５を参照して、Ｓ３０６での処理を詳しく説明する。図５は、Ｓ３０６でのフレームレート変更に係る判別方法を具体的に示す図である。
まず、フレームレート決定部２０８は、動画像フレームレート変更決定式の結果Ｃを取得する（Ｓ５０１）。動画像フレームレート変更決定式は、例えば、単位時間における動画像投影面の変化を示しており、Ｃ＝（ａＶｘ＋ｂＶｙ＋ｃＶｚ＋ｄＷｘ＋ｅＷｙ＋ｆＷｚ＋ｇＳＶｘ＋ｈＳＶｙ＋ｉＳＶｚ）で表される。なお、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉは重み付けのための係数である。続いて、フレームレート決定部２０８は、閾値Ｔを取得する（Ｓ５０２）。閾値Ｔは、予め決定された任意の定数である。閾値Ｔは、例えばユーザやプログラムによって決められるようにしても良い。続いて、フレームレート決定部２０８は、結果Ｃと閾値Ｔを比較する（Ｓ５０３）。比較の結果、フレームレート決定部２０８は、結果Ｃが閾値Ｔ以上の場合には、動画像のフレームレートを変更すると決定し（Ｓ５０４）、結果Ｃが閾値Ｔ未満の場合には、動画像のフレームレートを維持すると決定する（Ｓ５０５）。
【００２５】
動画像のフレームレートを変更すると決定された場合には、処理をフレームレート決定部２０８に移し、フレームレート決定部２０８は、動画像のフレームレートを決定する（Ｓ３０７）。動画像のフレームレートの決定式の一例を以下に示す。
【数１０】
2011044022.tif 000012
ここで、Ｆ’は変更後の動画像のフレームレートであり、ｊ、ｋは任意の正の定数である。
【００２６】
その後、フレームレート変更部２０９は、動画像のフレームレートをＳ３０７において決定されたフレームレートとなるように、動画像データのフレームから必要なフレームを抽出する（Ｓ３０８）。前述の処理を行った後、又は動画像のフレームレートを維持すると決定された場合には、処理を３次元仮想空間配置部２０５に移し、３次元仮想空間配置部２０５は、オブジェクトのビットマップ情報を作成する（Ｓ３０９）。さらに、３次元仮想空間配置部２０５は、Ｓ３０９において作成されたビットマップ情報を３次元仮想空間に配置する（Ｓ３１０）。次に、ビットマップ投影部２０６は、投影情報を取得するとともに（Ｓ３１１）、Ｓ３０１において取得した形状情報及びアニメーション情報に基づいて、オブジェクトのビットマップ投影処理を行う（Ｓ３１２）。続いて、動画像表示部２１０は、動画像の投影処理を行う（Ｓ３１３）。その後、出力部２１１は、ビットマップ投影部２０６で生成したオブジェクトの投影結果と、動画像表示部２１０で生成した動画像の投影結果を合成して出力する（Ｓ３１４）。以上の処理により、３次元仮想空間内に配置されたオブジェクトと動画像が合成され、動画像が表面に貼り付けられたオブジェクトが表示される。
【００２７】
第１の実施形態によれば、オブジェクトの平行移動、回転、及び伸縮を行う変換行列から平行移動成分、回転成分、及び伸縮成分を抜き出し、それに基づいてオブジェクトの動画像投影面の速度情報（移動速度、角速度、及び伸縮速度）を決定する。そして、決定された動画像投影面の速度情報（移動速度、角速度、及び伸縮速度）に応じて、オブジェクトに貼り付ける動画像のフレームレートを決定する。これにより、動画像の視認性に応じた最適な動画像のフレームレートを決定することができ、画像処理に係る処理負荷を軽減することができる。
【００２８】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第２の実施形態は、３次元仮想空間内に配置されたオブジェクトが外部からのユーザの入力により移動、回転、又は伸縮する処理への適用例である。したがって、本実施形態において、オブジェクトのアニメーション情報には、ユーザの入力によるオブジェクトの変形操作から計算される３次元変形情報が含まれる。本実施形態に係る画像処理装置の構成及び機能構成は、図１及び図２に示した第１の実施形態と同様のため説明は省略する。
【００２９】
第２の実施形態に係る画像処理装置の動作について、図３を参照して説明する。
まず、オブジェクト情報取得部２０１は、オブジェクトの形状情報を取得する（Ｓ３０１）。また、オブジェクト情報取得部２０１は、現在時刻におけるオブジェクトの形状情報と、現在より任意時間前のオブジェクトの形状情報とから、オブジェクトのアニメーション情報を取得する（Ｓ３０１）。また、動画像情報取得部２０７は、オブジェクトに貼り付ける動画像の情報を取得する（Ｓ３０２）。次に、移動速度決定部２０２、角速度決定部２０３、及び伸縮速度決定部２０４は、オブジェクトにおける動画像投影面の移動速度、角速度、及び伸縮速度をそれぞれ決定する（Ｓ３０３〜Ｓ３０５）。ここで、図６を参照して、第２の実施形態における動画像投影面の移動速度決定方法、動画像投影面の角速度決定方法、及び動画像投影面の伸縮速度決定方法について説明する。図６は、第２の実施形態での動画像投影面の移動速度、角速度、及び伸縮速度を決定する処理の一例を示すフローチャートである。
【００３０】
はじめに、移動速度決定部２０２による動画像投影面の移動速度決定方法について説明する。まず、オブジェクト情報取得部２０１は、現在時刻ｔにおけるオブジェクトに貼り付ける動画像の中心座標及び法線ベクトルを取得する（Ｓ６０１、Ｓ６０２）。また、オブジェクト情報取得部２０１は、現在時刻ｔより任意の時間ｄｔ前の時刻（ｔ−ｄｔ）における、オブジェクトに貼り付ける動画像の中心座標及び法線ベクトルを取得する（Ｓ６０３、Ｓ６０４）。図７を参照して動画像の中心座標と法線ベクトルについて説明する。
【００３１】
図７（ａ）において、７０１は３次元仮想空間内に配置された３次元オブジェクトであり、７０２はオブジェクト７０１に貼り付けられた動画像である。図７（ｂ）において、７０３は図７（ａ）から動画像７０２のみ取り出して描画した結果である。ここで、動画像７０３の中心座標は７０４、法線ベクトルは７０５である。図７（ｃ）において、７０６はオブジェクト７０１をｘ軸中心に回転したオブジェクトであり、７０７はオブジェクト７０６に貼り付けられた動画像である。図７（ｄ）において、７０８は図７（ａ）から動画像７０７のみ取り出して描画した結果である。ここで、動画像７０８の中心座標は７０９、法線ベクトルは７１０である。
【００３２】
続いて、動画像情報取得部２０７は、時刻（ｔ−ｄｔ）における動画像のフレームレートＦ（ｔ−ｄｔ）を取得する（Ｓ６０５）。ここで、時刻ｔにおける動画像の中心座標を（ｘ（ｔ）、ｙ（ｔ）、ｚ（ｔ））とし、時刻（ｔ−ｄｔ）における動画像の中心座標を（ｘ（ｔ−ｄｔ）、ｙ（ｔ−ｄｔ）、ｚ（ｔ−ｄｔ））とする。移動速度決定部２０２は、時刻ｔにおける動画像投影面のｘ軸方向の移動速度Ｖｘ、ｙ軸方向の移動速度Ｖｙ、及びｚ軸方向の移動速度Ｖｚを、以下の式に従って決定する（Ｓ６０６〜Ｓ６０８）。
【数１１】
2011044022.tif 000013
【００３３】
次に、角速度決定部２０３による動画像投影面の角速度決定方法について説明する。まず、角速度決定部２０３は、時刻ｔにおける動画像の法線ベクトルと、時刻（ｔ−ｄｔ）における動画像の法線ベクトルとの成す角度を求める。ここで、時刻ｔにおける動画像の法線ベクトルを（Ｎｘ（ｔ）、Ｎｙ（ｔ）、Ｎｚ（ｔ））とし、時刻（ｔ−ｄｔ）における動画像の法線ベクトルを（Ｎｘ（ｔ−ｄｔ）、Ｎｙ（ｔ−ｄｔ）、Ｎｚ（ｔ−ｄｔ））とする。また、時刻ｔにおける動画像の法線ベクトルと時刻（ｔ−ｄｔ）における動画像の法線ベクトルが、ｙｚ平面で成す角度をＡｘ、ｘｚ平面で成す角度をＡｙ、ｘｙ平面で成す角度をＡｚとする。このとき、法線ベクトル（Ｎｘ（ｔ）、Ｎｙ（ｔ）、Ｎｚ（ｔ））、法線ベクトル（Ｎｘ（ｔ−ｄｔ）、Ｎｙ（ｔ−ｄｔ）、Ｎｚ（ｔ−ｄｔ））、及び角度Ａｘの関係は、以下の式で表すことができる。
【数１２】
2011044022.tif 000014
【００３４】
前述の式を変換すると、角度Ａｘは以下の式に従って計算することができる。
【数１３】
2011044022.tif 000015
【００３５】
同様にして、角度Ａｙは以下の式に従って計算することができる。
【数１４】
2011044022.tif 000016
【００３６】
また、同様にして、角度Ａｚは以下の式に従って計算することができる。
【数１５】
2011044022.tif 000017
【００３７】
続いて、角速度決定部２０３は、時刻ｔにおける動画像投影面のｘ軸中心の角速度Ｗｘ、ｙ軸中心の角速度Ｗｙ、及びｚ軸中心の角速度Ｗｚを、以下の式に従って決定する（Ｓ６０９〜Ｓ６１１）。
【数１６】
2011044022.tif 000018
【００３８】
次に、伸縮速度決定部２０４による動画像投影面の伸縮速度決定方法について説明する。まず、伸縮速度決定部２０４は、時刻ｔにおけるｘ軸方向の動画像の長さＳｘ（ｔ）、ｙ軸方向の動画像の長さＳｙ（ｔ）、及びｚ軸方向の動画像の長さＳｚ（ｔ）を取得する。また、伸縮速度決定部２０４は、時刻（ｔ−ｄｔ）におけるｘ軸方向の動画像の長さＳｘ（ｔ−ｄｔ）、ｙ軸方向の動画像の長さＳｙ（ｔ−ｄｔ）、及びｚ軸方向の動画像の長さＳｚ（ｔ−ｄｔ）を取得する。続いて、伸縮速度決定部２０４は、時刻ｔにおける動画像投影面のｘ軸方向の伸縮速度ＳＶｘ、ｙ軸方向の伸縮速度ＳＶｙ、及びｚ軸方向の伸縮速度ＳＶｚを、以下の式に従って決定する（Ｓ６１２〜Ｓ６１４）。
【数１７】
2011044022.tif 000019
【００３９】
次に、フレームレート決定部２０８は、決定した動画像投影面の速度情報（移動速度、角速度、及び伸縮速度）に基づいて、動画像のフレームレートを変更するかどうかを判別する（Ｓ３０６）。なお、このＳ３０６以降の処理は、第１の実施形態と同様であるので説明は省略する。
【００４０】
第２の実施形態によれば、外部からのユーザの入力によるオブジェクトの移動、回転、又は伸縮に係る情報に基づいて、オブジェクトの動画像投影面の速度情報（移動速度、角速度、及び伸縮速度）を決定する。そして、決定された動画像投影面の速度情報（移動速度、角速度、及び伸縮速度）に応じて、オブジェクトに貼り付ける動画像のフレームレートを決定する。これにより、動画像の視認性に応じた最適な動画像のフレームレートを決定することができ、画像処理に係る処理負荷を軽減することができる。
【００４１】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
第３の実施形態は、３次元仮想空間内に配置されるオブジェクトの情報が構造化文書を用いて記述されている場合の適用例である。したがって、本実施形態において、オブジェクトのアニメーション情報には、構造化文書から抽出した３次元変形情報が含まれる。本実施形態に係る画像処理装置の構成及び機能構成は、図１及び図２に示した第１の実施形態と同様のため説明は省略する。なお、前述した第１の実施形態とは、構造化文書の記述に基づいて動画像投影面の速度情報（移動速度、角速度、及び伸縮速度）を決定する点が異なるだけであるので、以下では第１の実施形態との相違点のみについて説明する。
【００４２】
図８は、オブジェクトの動作が記述された構造化文書の一例である。図８はＳＶＧ（Scalable Vector Graphics）を用いて、簡単な２次元ベクターグラフィックを描く記述である。なお、本実施形態は、ＳＶＧを用いた構造化文書に限るものではない。構造化文書では、オブジェクトの動作は所定の文書によって記述されている。オブジェクトの動きは、ａｎｉｍａｔｅＴｒａｎｓｆｒｏｍ要素のｔｙｐｅ属性やｍｐａｔｈ要素等によって判別できる。図８（ａ）に示す例の場合、ａｎｉｍａｔｅＴｒａｎｓｆｒｏｍ要素のｔｙｐｅ属性が“ｒｏｔａｔｅ”であるため、オブジェクトは回転すると判別できる。図８（ａ）は、動画像が貼り付けられた四角形が原点を中心に４秒間で３６０°回転する記述である。図８（ａ）に示した例において、動画像投影面の回転速度はオブジェクトの回転速度と等しいとすると、動画像投影面の回転速度は、（｜ｔｏ属性の値−ｆｒｏｍ属性の値｜／ｄｕｒ属性の値）で計算される。
【００４３】
図８（ｂ）に示す例の場合、ｍｐａｔｈ要素が存在するため、オブジェクトは所定のｐａｔｈ要素が描く曲線上を移動すると判別できる。図８（ｂ）は、動画像が貼り付けられた四角形が、２秒間でｐａｔｈ要素が描く曲線上を移動する記述である。図８（ｂ）に示した例において、動画像投影面の移動速度はオブジェクトの移動速度と等しいとすると、動画像投影面の移動速度は、（（ｍｐａｔｈ要素が参照するｐａｔｈ要素が描く曲線の長さ）／ｄｕｒ属性の値）で計算される。ここで、ｐａｔｈ要素が描く曲線にベジエ曲線又は円弧が含まれている場合、長さを求めるために積分計算が必要であるため、処理負荷が大きくなる。この場合、ベジエ曲線又は円弧の長さを任意の近似式を用いて近似することによって処理負荷を減少させる。
【００４４】
ＳＶＧを用いて、始点（sx，sy）から終点（ex，ey）まで制御点を（x1，y1）として描く２次ベジエ曲線の記述は以下となる。
＜ｐａｔｈ  ｄ＝”Ｍ  sx  sy  Ｃ  x1  y1  ex  ey”／＞
この場合、２次ベジエ曲線の長さを求める近似式の一例は以下となる。
【数１８】
2011044022.tif 000020
また、ＳＶＧを用いて、始点（sx，sy）から終点（ex、ey）まで制御点を（x1，y1）、（x2，y2）として描く３次ベジエ曲線の記述は以下となる。
＜ｐａｔｈ  ｄ＝”Ｍ  sx  sy  Ｃ  x1  y1  x2  y2  ex  ey”／＞
この場合、３次ベジエ曲線の長さを求める近似式の一例は以下となる。
【数１９】
2011044022.tif 000021
【００４５】
また、ＳＶＧを用いて、始点（sx，sy）から終点（ex，ey）まで半径を（rx，ry）、回転角をrとして描く円弧の記述は以下となる。
＜ｐａｔｈ  ｄ＝”Ｍ  sx  sy  Ａ  rx  ry  r  f1  f2  ex  ey”／＞
ここで、f1、f2は円弧の描かれ方を決定するフラグである。ここで図９を用いて円弧の長さの近似式の一例を説明する。図９は構造化文書で描かれた円弧の一例を示した図である。
図９において、円弧の始点は点Ａ、終点は点Ｂ、回転角はｒである。これらの制御点及び回転角により描かれる円弧は９０１である。このとき、点線９０２の長さで円弧９０１の長さを近似する。点線９０２の長さを求めるために、まず線分ＡＢの中点Ｃの座標を求める。点Ａの座標が（sx，sy）であり、点Ｂの座標が（ex，ey）であるとき、点Ｃの座標をsx、sy、ex、及びeyを用いて表すと以下となる。
【数２０】
2011044022.tif 000022
また、線分ＡＣの長さは以下となる。
【数２１】
2011044022.tif 000023
【００４６】
次に点Ｄを、点Ｃを通り、ｙ軸と成す角度がｒである直線と、円弧９０１との交点とすると、線分ＣＤの長さをsx、sy、ex、ey、及びｒを用いて表すと以下となる。
【数２２】
2011044022.tif 000024
続いて、点Ｄの座標をsx、sy、ex、ey、及びｒを用いて表すと以下となる。
【数２３】
2011044022.tif 000025
【００４７】
点線９０２の長さは、線分ＡＤの長さと線分ＤＢの長さの和であるので、sx、sy、ex、ey、及びｒを用いて表すと、以下となる。
【数２４】
2011044022.tif 000026
【００４８】
図８（ｃ）に示す例の場合、ａｎｉｍａｔｅＴｒａｎｓｆｒｏｍ要素のｔｙｐｅ属性が“ｓｃａｌｅ”であるため、オブジェクトは伸縮すると判別できる。図８（ｃ）は、動画像が貼り付けられた四角形が原点を中心に４秒間で０倍から１倍まで拡大する記述である。図８（ｃ）に示した例において、動画像投影面の伸縮速度はオブジェクトの伸縮速度と等しいとすると、動画像投影面の伸縮速度は、（｜ｔｏ属性の値−ｆｒｏｍ属性の値｜／ｄｕｒ属性の値）で計算される。
【００４９】
第３の実施形態において、オブジェクト情報取得部２０１は、オブジェクトの動作が記述された構造化文書を取得して解釈し、解釈された内容を内部データとして保持する。移動速度決定部２０２、角速度決定部２０３、及び伸縮速度決定部２０４は、オブジェクト情報取得部２０１に内部データとして保持された構造化文書を解釈した内容に基づいて、動画像投影面の速度情報（移動速度、角速度、及び伸縮速度）を決定する。
【００５０】
第３の実施形態によれば、オブジェクトの動作が記述された構造化文書を解釈し、解釈した内容に基づいて、オブジェクトの動画像投影面の速度情報（移動速度、角速度、及び伸縮速度）を決定する。そして、決定された動画像投影面の速度情報（移動速度、角速度、及び伸縮速度）に応じて、オブジェクトに貼り付ける動画像のフレームレートを決定する。これにより、動画像の視認性に応じた最適な動画像のフレームレートを決定することができ、画像処理に係る処理負荷を軽減することができる。
【００５１】
なお、前述した各実施形態では、フレームレート変更部２０９が、動画像データのフレームから必要なフレームを抽出することで、動画像のフレームレートを決定されたフレームレートとなるようにしているが、これに限定されるものではない。例えば、動画像のフレームレートが決定されたフレームレートとなるように、動画像の再生を一時停止又は中止するようにしても良い。
【００５２】
（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００５３】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５４】
２００  画像処理装置、２０１  オブジェクト情報取得部、２０２  移動速度決定部、２０３  角速度決定部、２０４  伸縮速度決定部、２０５  ３次元仮想空間配置部、２０６  ビットマップ投影部、２０７  動画像情報取得部、２０８  フレームレート決定部、２０９  フレームレート変更部、２１０  動画像表示部、２１１  出力部、２１２  モニタ
【図１】
2011044022.tif 000027
【図２】
2011044022.tif 000028
【図３】
2011044022.tif 000029
【図４】
2011044022.tif 000030
【図５】
2011044022.tif 000031
【図６】
2011044022.tif 000032
【図７】
2011044022.tif 000033
【図８】
2011044022.tif 000034
【図９】
2011044022.tif 000035