(57)【要約】【課題】  搬入方法を提示可能な情報処理装置およびシステムを提供する。【解決手段】  情報処理装置上で３Ｄ化された背景動画像に、３Ｄ化された対象物画像を任意に回転などの操作を施して合成し、仮想現実動画像を作成する。３Ｄ対象物を合成する際に、３Ｄ対象物を操作したタイミングに操作内容やアラーム情報などを対応付けて記憶する。また、情報処理装置には、アラームを発生させるアラーム再生手段を備え、仮想現実動画像を再生する時に、３Ｄ対象物を合成する際に記憶したタイミングに到達する度に、登録しておいたアラームを再生させる。【選択図】図１
2006331240.tif 000002
【特許請求の範囲】
【請求項１】
背景あるいは前記背景に重ねる対象物の画像情報を入力する画像入力部と、
前記画像入力部により入力された画像情報から前記背景および前記対象物の大きさを取得する取得部と、
前記画像入力部により入力された画像情報を３Ｄ画像に変換する３Ｄ情報処理部と、
前記取得部により取得された大きさに基づき、前記３Ｄ情報処理部により変換された３Ｄ対象物画像の縮尺補正を行う画像拡縮処理部と、
前記３Ｄ情報処理部により変換された３Ｄ背景画像と、前記画像拡縮処理部により縮尺補正された３Ｄ対象物画像を合成する画像合成処理部と、
前記画像合成処理部により合成する際に、重ね合わせる画像の位置や角度の変更を入力する操作部と、
前記操作部により変更を入力された内容を示す操作情報を前記３Ｄ背景画像と前記３Ｄ対象画像と関連付けて記憶するメモリ部と、
前記メモリ部に記憶した前記３Ｄ背景画像と前記３Ｄ対象画像を表示画面に表示する表示部と、
前記表示部により前記３Ｄ背景画像と前記３Ｄ対象画像を表示する場合に、前記操作情報に基づき操作内容に関するメッセージを出力する出力部と、
を備えていることを特徴とする情報処理装置。
【請求項２】
前記画像入力部は撮影対象を撮影した画像情報を入力する撮像部であって、
前記情報処理装置は、前記撮影対象までの距離を測定する測定部を備え、
前記画像拡縮処理部は、前記測定部により測定した距離を基づき前記３Ｄ情報処理部により変換された３Ｄ対象物画像の縮尺補正を行うことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
請求項１または２に記載の出力部は、アラーム音を用いて前記メッセージを出力することを特徴とする情報処理装置。
【請求項４】
請求項３に記載のアラーム音は、前記メモリ部に記憶されていることを特徴とする情報処理装置。
【請求項５】
請求項１ないし４のいずれかに記載のメッセージは、ユーザーへ操作指示を示すメッセージであることを特徴とする情報処理装置。
【請求項６】
請求項４に記載のアラーム音は、ユーザーが録音した任意のメッセージであることを特徴とする情報処理装置。
【請求項７】
請求項１または２に記載の出力部は、光を用いて前記メッセージを出力することを特徴とする情報処理装置。
【請求項８】
請求項１または２に記載の出力部は、テキスト表示を用いて前記メッセージを表示画面に表示するように前記表示部に前記メッセージを出力することを特徴とする情報処理装置。
【請求項９】
請求項１ないし８のいずれかに記載の情報処理装置において、前記出力部は複数のメッセージ出力手段を有していることを特徴とする情報処理装置。
【請求項１０】
背景動画像や重ねる対象物を撮影する画像入力部と、各種画像を表示する表示部と、ユーザーの操作を入力する操作部と、アラームを出力する音声再生部並びにスピーカと、各種画像データを記憶するメモリ部と、無線通信を行う通信部並びにアンテナと、前記各部を制御する制御部によって構成される仮想現実動画像を作成して表示する携帯端末であって、
画像に処理を施すための画像処理部には、入力画像をもとに距離を測定する距離測定部と、更に物体の寸法を測定する物体画像処理部と、入力画像を３Ｄ画像に変換する３Ｄ情報処理部と、２つの画像の縮尺補正を行う画像拡縮処理部と、２つの画像を合成する画像合成処理部を備え、
更に、携帯端末の移動速度を測定する速度センサを備え、
作成された仮想現実動画像の映像の再生速度と自システムの移動速度を速度センサによって求め、両速度に差が生じている時は、常に、仮想現実動画像の画像の再生速度と自システムの再生速度が同じ速度となるように仮想現実動画像の画像の表示レートを変更する事を特徴とする仮想現実動画像表示システム。
【請求項１１】
背景動画像や重ねる対象物を撮影する画像入力部と、各種画像を表示する表示部と、ユーザーの操作を入力する操作部と、アラームを出力する音声再生部並びにスピーカと、各種画像データを記憶するメモリ部と、無線通信を行う通信部並びにアンテナと、前記各部を制御する制御部によって構成される仮想現実動画像を作成して表示する携帯端末であって、
画像に処理を施すための画像処理部には、入力画像をもとに距離を測定する距離測定部と、更に物体の寸法を測定する物体画像処理部と、入力画像を３Ｄ画像に変換する３Ｄ情報処理部と、２つの画像の縮尺補正を行う画像拡縮処理部と、２つの画像を合成する画像合成処理部と、２つの画像内に写っている同じパーツのサイズを比較するサイズ比較部を備え、
作成された仮想現実動画像の映像と画像入力部より取り込まれている映像の、２つの映像に写っている同じパーツのサイズを、サイズ比較部によって比較を行い、２つのサイズが異なっている時は、常に、仮想現実動画像の表示画像に写っているパーツのサイズが、画像入力部より取り込まれている映像に写っているパーツのサイズと一致するように仮想現実動画像の表示画像をスキップする事を特徴とする仮想現実動画像表示システム。
【請求項１２】
背景動画像や重ねる対象物を撮影する画像入力部と、各種画像を表示する表示部と、ユーザーの操作を入力する操作部と、アラームを出力する音声再生部並びにスピーカと、各種画像データを記憶するメモリ部と、無線通信を行う通信部並びにアンテナと、前記各部を制御する制御部によって構成される仮想現実動画像を作成して表示する携帯端末であって、
画像に処理を施すための画像処理部には、入力画像をもとに距離を測定する距離測定部と、更に物体の寸法を測定する物体画像処理部と、入力画像を３Ｄ画像に変換する３Ｄ情報処理部と、２つの画像の縮尺補正を行う画像拡縮処理部と、２つの画像を合成する画像合成処理部を備え、
距離測定部からの情報をもとに動画像と静止画を３Ｄ画像に変換し、縮尺補正して合成する際に、重ね合わせる画像の位置や角度を任意に変更する事を可能とし、変更を施した動画像のフレームに、変更した内容とユーザーが選択したアラーム情報を付加してメモリ部に記憶する事を特徴とする仮想現実動画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示機能を有する情報処理装置およびシステムに関する。
【背景技術】
【０００２】
家の間取りに合わせて家具や家電製品の配置シミュレーションが可能であり、配置した場合の雰囲気が分かるような仮想現実感画像をユーザーへ表示できるようになってきている（例えば、特許文献１）。
【０００３】
また、物体教示指標を設置することにより、現実空間に仮想の物体を合成配置した仮想現実画像をユーザーに提示する技術も提案されている（例えば、特許文献２）。
【０００４】
特許文献３には、フレーム間の差分データから面積や重心などの特徴点データを抽出し、目標移動物体を特定し、その軌跡により目標物体の入出を認識する動画像認識装置が開示されている。
【０００５】
【特許文献１】特開２００３−３３７９００号公報
【特許文献２】特開２００３−２５６８７６号公報
【特許文献３】特開平８−２１２３５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
荷物を部屋に配置する場合、その荷物が部屋にあっているかどうかだけでなく、その荷物を部屋に搬入することができるかどうかも重要である。例えば、部屋の雰囲気にあっていることを確認して家具を購入したにもかかわらず、廊下や部屋のドアに家具が引っかかってしまい、部屋に入れることができない場合がある。そのため、荷物を所定の部屋まで運び込むための搬入シミュレーションの作成が求められている。
【０００７】
また、予め、仮想現実動画像上でシミュレートして、荷物の向きを変えたり、高さを変えたりして、荷物を無事に目的の部屋まで運び込む事が出来たとしても、実際の搬入作業では、荷物の搬入方法を作業者が覚えておく事は難しい。実際の搬入作業を円滑に行うためには、荷物を操作したタイミングと操作内容を作業者に通知する機能が必要である。
【０００８】
そこで、本発明では、搬入方法を提示可能な情報処理装置およびシステムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、情報処理装置上で３Ｄ化された背景動画像に、３Ｄ化された対象物画像を任意に回転などの操作を施して合成し、仮想現実動画像を作成する。３Ｄ対象物を合成する際に、３Ｄ対象物を操作したタイミングに操作内容やアラーム情報などを対応付けて記憶する。また、情報処理装置には、アラームを発生させるアラーム再生手段を備え、仮想現実動画像を再生する時に、３Ｄ対象物を合成する際に記憶したタイミングに到達する度に、登録しておいたアラームを再生させる。
【発明の効果】
【００１０】
本発明によれば、搬入方法を提示可能な情報処理装置およびシステムを提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を実施するための最良の形態を、図面を用いて説明する。
【実施例１】
【００１２】
図１は、携帯端末の概略構成図の一例を示したものである。図１では、情報処理装置の例として携帯端末を提示しているが、これに限定するものではない。
【００１３】
携帯端末１は、例えばカメラなど、背景動画像や静止画を取り込む画像入力部１０と、画像入力部１０で撮影した画像に対して、３Ｄ化や拡縮などの処理を施す画像処理部１１と、ユーザーが操作をして命令やデータの入力を行う操作部１２と、画像や文字などを表示する液晶ディスプレイ等で構成される表示部１３と、音声や音楽をアラームとして出力するための音声再生部１４と、音声再生部１４によって再生されたアラームを拡声するスピーカ１５と、ユーザー操作による画像の撮影や撮影画像の加工や保存、表示画像の準備、またアラームの再生／停止などを行ったりする制御部１６と、画像やデータなどの情報を記録するメモリ部１７と、外部の基地局や他の無線機器と電波の送受信を行うアンテナ１８と、アンテナ１８を介して外部の基地局や他の機器と通信を行い、画像やデータなどを外部の機器と送受信する通信部１９を備えている。なお、図１に図示していないが、マイクを設け、ユーザーが任意のメッセージや音楽を録音し、録音したメッセージ等を音声再生部１４により再生するようにしても良い。
【００１４】
画像処理部１１には、対象物までの距離を測定する距離測定部２０と、物体の採寸や画像の抽出を行う物体画像処理部２１と、画像に３Ｄ化を施す３Ｄ情報処理部２２と、画像に対してサイズ変更や回転などの様々な処理を施す画像拡縮処理部２３と、背景となる画像に対象物を合成する画像合成処理部２４の各処理部を備えている。
【００１５】
本実施例では、携帯端末１は携帯電話やＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）などの携帯端末装置である。操作部１２は携帯電話などのキー部分やＰＤＡなどのキーボード、タッチパネル、音声で命令を入力する装置など、ユーザーの操作内容を制御部１６に伝える機能を備える。制御部１６はＣＰＵなどの処理装置で構成され、前記２０〜２４の制御を行う。メモリ部１７はメモリＩＣやハードディスク等のデータを記憶する装置であるが、着脱可能なメモリカードや外部より接続された記憶装置等で実現してもよい。
【００１６】
図２は、仮想現実動画像の作成方法の一例を示す図である。
【００１７】
搬入先となる家の映像を、画像入力部１０によって背景動画１００を録画し、携帯端末１に保存する。図２には背景動画の一部分（玄関部分）のみを表示している。録画された背景動画の扉や枠、階段の幅などを採寸し、３Ｄ画像１０１に変換する。合成する対象物の静止画２００を、画像入力部１０によって撮影し、携帯端末１に保存する。撮影された静止画の寸法を測り、３Ｄ画像２０１に変換する。３Ｄ画像１０１の上に、３Ｄ画像２０１を合成し、仮想現実動画像３００としてメモリ部１７に記録する。合成する際、背景動画像を一時停止すれば、操作部１２からの入力情報によって、自由に対象物の向きや位置を変える事が可能となる。例えば、廊下を通す途中でドアノブなどにぶつかるようであれば、ソファを回転させたり位置をずらしたりして、ぶつからない向きや位置を探し出す事ができる。これらの処理を携帯端末１の表示部１３上で行う。
【００１８】
ユーザーは、携帯端末１に備わっている画像入力部１０で背景動画像と対象物の撮影を行う。撮影と同時に、制御部１６によって背景動画像内の廊下やドアなどの幅や各種凹凸や、並びにソファの各部位の採寸を行う。採寸方法に関しては、従来から様々な方法が提案されており、例えば、三角測量によって対象物までの距離を測定し、更に、対象距離にある予め長さの分かっている基準物との比率から、各部位の寸法を計算で求める方法などがある。撮影された画像には、採寸情報が対応付けられて、メモリ部１７に記憶される。
【００１９】
次に、背景動画像並びに対象物の画像を３Ｄ化する。対象物の画像は、３Ｄ化の際に縮尺補正を施して３Ｄ背景動画像の縮尺サイズに合わせて、３Ｄ背景動画像上に合成する。合成した状態で、３Ｄ背景動画像の再生を行う。ユーザーは、操作部１２から操作内容を入力する事で、３Ｄ背景動画像上の３Ｄ対象物の向きや位置を自由に動かす事ができる。３Ｄ対象物を大きく動かす必要がなければ、３Ｄ背景動画像を一時停止させないくても良い。制御部１６は、３Ｄ対象物に施した操作内容と、操作が行われた３Ｄ背景動画像のフレーム位置を対応付けて、メモリ部１７にテーブルを作成する。ここでは、操作が行われたタイミングを記憶する際の基準を３Ｄ背景動画像のフレームとしたが、３Ｄ背景動画像の再生開始からの経過時間を操作内容と対応付けてテーブル化しても良い。３Ｄ背景動画像に３Ｄ対象物を合成した仮想現実動画像を、メモリ部１７に記憶する。
【００２０】
図３は、実際に携帯端末１の表示部１３に仮想現実動画像の映像を表示する方法、並びにアラームを設定する方法の一例を示す図である。
【００２１】
一般的に、動画を表示する場合、表示部１３の表示領域をメイン画面表示部５００と、アンテナなどのピクト表示領域５０２とソフトキーを表示する領域５０３に分割する場合が多い。図３では、仮想現実動画像はメイン画面表示部５００に表示している。３Ｄ背景動画像に３Ｄ対象物を合成中に３Ｄ対象物の位置をずらした場合、アラームの設定を行う。アラーム報知機能を活用する場合は、アラームオン／オフ設定と、画像を合成する際に３Ｄ対象物に対して行った回転や位置の移動などの操作内容を、操作を行ったタイミングに対応付けたアラームテーブルをメモリ部１７に作成する。
【００２２】
表示部１３では、移動後の３Ｄ対象物の位置を確定したら、ソフトキー表示領域５０３に表示されているキーを押下すると、アラーム種類選択画面が表示される。アラーム選択画面では、複数のアラーム種類から選択する事が可能であり、ここでは１．音、２．光、３．テキストから選択できるようになっている。例えば、１．の「音」を選択したとすると、次にアラーム内容選択画面が表示される。アラーム内容選択画面では、複数のアラームの内容から選択する事が可能であり、ここでは１．固定メロディ、２．固定メッセージ、３．録音メッセージから選択できるようになっている。仮に、１．の「固定メロディ」を選択したとすると、次に固定メロディのアラームリストが表示される。ここでは、1.音パターン１、２．音パターン２、３．音パターン３から選択できるようになっている。ここでは、１．音パターン１を選択したとすると、アラームテーブルのアラーム方法に「音パターン１」が登録される。また、アラームが設定されたタイミングの前後数秒程度の時間だけ、アラームを設定した事を通知するためのアイコンを表示しても良い。以上の様なアラーム設定処理を、３Ｄ対象物を操作するたびに行う。
【００２３】
次に、作成した仮想現実動画像とアラーム出力の有無を対応づけて記録したアラームテーブルについて説明する。
【００２４】
図４から図７は、仮想現実動画像の映像フレーム単位ごとにアラーム音の出力の有無を設定した場合のアラームテーブルの例である。図４では、アラームの方法をメロディなどの音パターンとし、３Ｄ対象物への様々な操作内容に対して、それぞれ異なる音パターンを設定している。図５では、アラームの方法を３Ｄ対象物への操作内容を音声で通知する方法とし、予め登録されたメッセージ内容を用いている。この場合では、使用者自らが操作内容を録音して用いても良い。図６では、アラームの方法を３Ｄ対象物への操作内容を音声で通知する方法だが、メッセージの内容が操作内容そのままではなく、使用者自らの話し言葉でメッセージを録音して、それを用いている。図７では、アラーム方法を３Ｄ対象物への操作とは無関係なタイミングで、使用者が自由なメッセージを録音して、それを用いている。
【００２５】
図８と図９は、仮想現実動画像を再生開始してからの時間に応じてアラーム音出力の有無を設定した場合のアラームテーブルの例である。図８では、アラームの方法をメロディなどの音パターンとし、３Ｄ対象物への様々な操作内容に対して、それぞれ異なる音パターンを設定している。図９では、アラーム方法を３Ｄ対象物への操作方法とは何ら関係ない、使用者が自由なメッセージを録音して、それを用いている。
【００２６】
このアラームは、メロディや音楽、或いは予め登録された音声や録音したオリジナルの音声など、音を用いたアラームや、ＬＥＤの発光などの光を用いたアラーム、または表示部１３にテキスト文を表示する表示を用いたアラームなどがある。これらのアラームは単独で設定する事も可能であるが、複数種類のアラームを組み合わせて設定しても良い。
【００２７】
次に、荷物の搬入作業支援を例として、アラームが登録された仮想現実動画像の再生方法について説明する。実際の搬入作業では、荷物の量も多く、全ての荷物に対する回転などの操作内容を覚えておく事は非常に困難である。そこで、搬入作業時に仮想現実動画像の再生を行い、荷物を操作したタイミングでアラームを通知させる。搬入作業者は、仮想現実動画像と同じ速度で搬入作業を行う事で、荷物に回転などの操作を行った場所で通知されるアラームを聞いていれば、搬入作業者は全ての荷物への操作内容を覚えていなくても、無事に荷物を運び込む事が可能となる。この様に両手が塞がってしまっている場合では、音や光を用いたアラームが適している。
【００２８】
仮想現実動画像の再生が開始されると、制御部１６はメモリ部１７に記憶したアラームテーブルを監視する。アラームが設定された画像フレームが表示されると、制御部１７はテーブルに登録されているアラーム方法に応じたアラームを数秒間出力させる。例えば、設定したアラームがメロディや音声などであれば、音声再生部１４で再生してスピーカ１５より出力する。そのまま仮想現実動画像の再生を続け、アラームが設定されたフレームが表示されるごとに登録したアラームの出力を繰り返す。
【００２９】
この様にして、向きを変えないと荷物を運び込めない場所などを、予め３Ｄ背景動画像と３Ｄ対象物を合成し、３Ｄ対象物を任意に回転や位置の移動を行う事で、荷物の搬入シミュレーションによって確認する事が可能であり、なおかつ、その場所を実際に搬入する人がアラームによって十分に注意しながら、搬入作業を行う事が可能となる。
【００３０】
上記の方法は、背景動画像や対象物の３Ｄ情報や寸法情報が無く、携帯端末１の画像入力部１０によって撮影して、これら情報を入手した場合での方法であるが、携帯端末１が携帯電話などの通信手段を持ち合わせている装置であれば、ネットワークを経由して、予め３Ｄ情報や寸法情報がある背景動画像や対象物を入手しても、対応可能であることは自明である。３Ｄ情報や寸法情報がある場合は、その情報を元に更に正確に縮尺をあわせる事ができる。例えば、図２における対象物がインターネットで購入した家具とした場合、自宅の廊下などは携帯端末１の画像入力部１０にて撮影し、メモリ部１７に記憶しておき、購入希望の家具の３Ｄ情報や寸法情報を通信経由で店や商品メーカーのサイトから取り込み、その情報を処理して縮尺を合わせることで、より正確な仮想現実動画像をユーザーに提示することができる。
【００３１】
図１０（ａ）は、３Ｄ対象物の作成方法の一例を示す動作フローチャートである。
【００３２】
使用者は、携帯端末１の操作部１２を操作して画像入力部１０を起動させ、画像の取り込みを行う。ここでは、対象物の撮影を例に説明する。起動された画像入力部１０によって対象物が撮影される（Ｓ１００）。取り込まれた対象物の画像は、画像処理部１１に送られて距離測定部２０によって対象物までの距離を測定し、物体画像処理部２１によって各部位の寸法を測定する（Ｓ１０１）。撮影された対象物の画像は、Ｓ１０１で採寸した各部位の寸法を元に、３Ｄ情報処理部２２によって立体化されて３Ｄ対象物に変換される（Ｓ１０２）。Ｓ１０１で採寸した各部位の寸法に関する情報は、撮影された画像に対応付けられて、メモリ部１７に記憶される（Ｓ１０３）。
【００３３】
図１０（ｂ）は、３Ｄ背景動画像の作成方法の一例を示す動作フローチャートである。
【００３４】
３Ｄ背景動画像を画像入力部１０によって背景動画像を撮影し（Ｓ２００）、背景動画像内の様々な個所の幅や高さ厚みなどの各部位の測定を、距離測定部２０や物体画像処理部２１などで行う（Ｓ２０１）。取り込まれた背景動画像は、Ｓ２０１で採寸した各部位の寸法を元に、毎フレームごとに３Ｄ情報処理部２２によって立体化されて３Ｄ背景動画像に変換される（Ｓ２０２）。Ｓ２０１で採寸した各部位の寸法に関する情報は、撮影された動画像に対応付けられて、メモリ部１７へ記憶される（Ｓ２０４）。
【００３５】
図１１は、３Ｄ背景動画像に３Ｄ対象物の画像を合成し、３Ｄ対象物を回転や位置の移動などの操作を行って、その結果を録画する方法の一例を示す動作フローチャートである。
生成した３Ｄ背景動画像と３Ｄ対象物のデータを、制御部１６がメモリ部１７より読み出す（Ｓ３００）。制御部１６は、３Ｄ対象物の寸法サイズを３Ｄ背景動画像のサイズに合うように、画像処理部１１の画像拡縮処理部２３にて縮尺補正を行う（Ｓ３０１）。縮尺補正した３Ｄ対象物の画像は、画像処理部１１の画像合成処理部２４によって３Ｄ背景動画像に合成される（Ｓ３０２）。３Ｄ対象物を３Ｄ背景動画像に合成する際、合成直後は３Ｄ背景動画像の中央に配置される。３Ｄ対象物が合成された３Ｄ背景動画像が表示部１３に表示され、３Ｄ背景動画像の再生が開始されると、合成された３Ｄ背景動画像の録画か開始される（Ｓ３０３）。
【００３６】
合成する際、３Ｄ対象物の位置が使用者の意図する場所ではなかった場合や、再生していて３Ｄ対象物の向きを回転させる必要が発生した場合などは（Ｓ３０４のＹｅｓ）、使用者は操作部１２を用いて合成された３Ｄ対象物の位置を調整、変更する（Ｓ３０６）。３Ｄ対象物への操作方法については、後述の図１２を用いた動作フローチャートにて別途説明する。３Ｄ対象物への必要な回転や位置の移動などの操作を３Ｄ背景動画像の再生が終了するまで行い続ける（Ｓ３０５）。３Ｄ背景動画像の再生が終了すると、回転操作などを行った３Ｄ対象物が合成された３Ｄ背景動画像を仮想現実動画像の１つのデータとしてメモリ部１７に記憶する事で、合成録画処理を完了する。
【００３７】
図１２は、合成録画処理で３Ｄ対象物に対して行う回転などの操作方法の一例を示す動作フローチャートである。
【００３８】
３Ｄ背景動画像に合成した３Ｄ対象物の向きや位置を変更する場合は、３Ｄ背景動画像の再生を一時停止する（Ｓ４００）。再生が停止したら、使用者は操作部１２より３Ｄ対象物の向きや位置を操作する（Ｓ４０１）。３Ｄ対象物への操作が決まったら（Ｓ４０２）、ユーザーにアラーム方法を設定させる（Ｓ４０３）。制御部１６は、操作を施した映像フレームに３Ｄ対象物への操作内容とアラーム方法を対応付けて、アラームテーブルを作成する（Ｓ４０４）。１回の操作が終わったら、再度、３Ｄ背景動画像の再生を再開する（Ｓ４０５）。上記の３Ｄ対象物への操作処理は、図１１に示した通り、３Ｄ背景動画像の再生終了まで継続して行われる。
【００３９】
図１３は、回転などの操作が行われた３Ｄ対象物を３Ｄ背景動画像に合成して録画された仮想現実動画像を、搬入作業支援に利用した場合の動作概要の一例を示す動作フローチャートである。
【００４０】
使用者は、既に、縮尺補正した３Ｄ対処物が回転や位置の移動などの操作を行う事で、３Ｄ背景動画像上で目的の部屋まで運び込む事が可能である事は、仮想現実動画像を作成する際に確認が取れている。そこで、実際に運び込む時に、３Ｄ対象物に行った様々な回転や位置の移動などの操作内容に従って搬入処理が行えるよう、アラームを用いて使用者に操作内容を通知すると言うものである。
【００４１】
使用者は、メモリ部１７に記憶してある仮想現実動画像を読み出す（Ｓ５００）。制御部１６は、読み出された仮想現実動画像データに対応したアラームテーブルより、アラーム設定有無を検出する（Ｓ５０１）。アラームが設定されている場合（Ｓ５０１のＹｅｓ）、制御部１６は、例えば映像フレーム単位でアラームが設定されているとか、仮想現実動画像の再生開始からの時間に対応してアラームが設定されているとかの、登録されているアラーム方法の識別を行い（Ｓ５０２）、例えば音声やメロディの様な音によるアラームなのか、ＬＥＤ点滅などの光によるアラームなのか、メッセージを表示するなどの表示によるアラームなのかなどの、登録されているアラームの種別の判定を行う（Ｓ５０３）。そして、アラームを有効にして、仮想現実動画像の再生を開始する（Ｓ５０４）。仮想現実動画像の再生開始とともに、再生時間のカウントや映像フレームの判別などが行われ、アラームの設定された映像フレームが表示されると（Ｓ５０５）、制御部１６がメモリ部１７に記憶してあるアラームテーブルより、設定されているアラーム方法に応じて、アラームを発生させる（Ｓ５０６）。仮想現実動画像の再生終了まで、設定された映像フレームの表示タイミングに合わせて、アラームを発生し続ける（Ｓ５０７）。
【００４２】
以上の方法を用いる事で、対象物への回転などの操作が発生したタイミングを使用者に容易に通知する事が可能となる。
【００４３】
このように本実施例では、撮影した動画を３Ｄ立体化し、同じく３Ｄ化した対象物を動画上に重ね合わせて表示する事で、例えば、引越しの時に、大型家具や電気製品等を、目的の場所まで運び込めるかをユーザーに示す事ができる。
【００４４】
また、途中で運び込む物品が寸法的に引っかかる恐れがある個所では、対象物を回転させる事で対象物を無事に通過させる方法を、実際に物品を運び込む前にユーザーに提示する事ができる。また、合成した現実仮想動画像を汎用フォーマットで記憶する事で、ユーザーが時間と場所と再生装置によらず、仮想現実動画像を再生する事ができる。
【００４５】
また、仮想現実動画像を作成する段階で３Ｄ対象物の回転などの操作を行ったタイミングでアラームの設定を行っておく事で、実際に背景動画像を撮影した場所で物品の運び込みを行う際に、作成した仮想現実動画像を再生し、搬入作業速度に仮想現実動画像の再生速度を合わせる事で、的確なタイミングで操作内容をアラームで通知する事でユーザーに荷物への操作指示を的確に行われ、円滑な荷物の搬入作業が行える。
【００４６】
また、アラームを発する際に、記憶した対象物への回転などの処理内容を音声で発する事で、作業者が全ての操作内容を記憶していなくても円滑な物品の運び込み作業を行う事ができるし、誰でも円滑に物品を運び込む事ができる。
【実施例２】
【００４７】
図１４は、第２の実施例における携帯端末の概略構成図を示したものである。仮想現実動画像を荷物の搬入支援に活用する際、仮想現実動画像の映像内の移動速度と作業者の移動速度が異なっていると、アラームの出力タイミングがずれてしまい、荷物への操作を的確に指示する事ができない。その様な場合、作業者が移動速度を調整する事ができれば良いが、そう容易な事ではないので、２つの移動速度を同じにする方法が必要となる。そこで、これを解決するため、携帯端末２には速度センサ３０を具備する。図１に示した携帯端末１と同一機能部には同一の番号を付し、ここでの説明は省略する。
【００４８】
速度センサ３０は、背景動画像撮影時や搬入作業時の作業者の移動速度を測定し、速度情報として出力する。制御部１６は、速度センサ３０より出力される速度情報を解析し、実際の作業における移動速度と仮想現実動画像の画像の再生速度が一致確認を行う。両者の速度が不一致だった時は、仮想現実動画像の表示タイミングを進めたり遅らせたりする事で映像の再生速度を調整して、実際の作業速度と同じになるように制御を行う。例えば、仮想現実動画像の映像内の移動速度に比べ、作業者の移動速度の方が遅い場合は、仮想現実動画像の再生レートを遅らせ、通常の再生よりもゆっくり表示する。また、逆に、作業者の移動速度の方が速い場合は、仮想現実動画像の再生レートを早くする。
【００４９】
図１５は、第２の実施例における、３Ｄ背景動画像の作成方法の一例を示す動作フローチャートである。速度センサ３０によって、背景動画撮影時の携帯端末２自身の移動速度を測定し、メモリ部１７に記憶する方法を示している。
【００５０】
速度センサを用いて速度補正を行う場合、仮想現実動画像の再生速度を予め記憶しておく必要があるため、背景動画撮影時の移動速度を記録しておかなければならない。そのため、画像入力部１０によって背景動画像の撮影が開始されると（Ｓ２００）、同時に、速度センサ３０を用いて撮影している最中の携帯端末２自身の移動速度を測定し、メモリ部１７に記憶する（Ｓ６００）。背景動画像内の様々な個所の幅や高さ厚みなどの各部位の測定を、距離測定部２０や物体画像処理部２１などで行う（Ｓ２０１）。取り込まれた背景動画像は、Ｓ２０１で採寸した各部位の寸法を元に、毎フレームごとに３Ｄ情報処理部２２によって立体化されて３Ｄ背景動画像に変換される（Ｓ２０２）。Ｓ２０１で採寸した各部位の寸法に関する情報は、撮影された動画像に対応付けられて、メモリ部１７へ記憶される（Ｓ２０３）。
【００５１】
３Ｄ対象物は、図１０（ａ）に示す方法で作成される。そして、図１１の動作フローチャートによって、３Ｄ背景動画像に３Ｄ対象物を合成し、図１２の動作フローチャートを用いて合成した３Ｄ対象物に対する操作を行い、アラーム情報を設定する。これによって、携帯端末２自身の移動速度情報を持った仮想現実動画像の作成が可能となる。
【００５２】
図１６は、第２の実施例における、画像の再生速度を備えた仮想現実動画像を、搬入作業支援に利用した場合の動作概要の一例を示す動作フローチャートである。
【００５３】
使用者は、メモリ部１７に記憶してある仮想現実動画像を読み出す（Ｓ５００）。制御部１６は、読み出された仮想現実動画像データに対応したアラームテーブルより、アラーム設定有無を検出する（Ｓ５０１）。アラームが設定されている場合（Ｓ５０１のＹｅｓ）、制御部１６は、例えば映像フレーム単位でアラームが設定されているとか、仮想現実動画像の再生開始からの時間に対応してアラームが設定されているとかの、登録されているアラーム方法の識別を行い（Ｓ５０２）、例えば音声やメロディの様な音によるアラームなのか、ＬＥＤ点滅などの光によるアラームなのか、メッセージを表示するなどの表示によるアラームなのかなどの、登録されているアラームの種別の判定を行う（Ｓ５０３）。そして、アラームを有効にして、仮想現実動画像の再生を開始する（Ｓ５０４）。仮想現実動画像の再生が開始されると、速度センサ３０は携帯端末２の移動速度の測定を開始する（Ｓ７００）。制御部１６は、速度センサ３０より出力される速度情報と背景動画像撮影時に測定した移動速度情報の比較を行い、移動速度が一致しているか調べる（Ｓ７０１）。
【００５４】
移動速度が一致している場合（Ｓ７０１のＹｅｓ）、再生時間のカウントや映像フレームの判別などが行われ、アラームの設定された映像フレームが表示されると（Ｓ５０５）、制御部１６がメモリ部１７に記憶してあるアラームテーブルより、設定されているアラーム方法に応じて、アラームを発生させる（Ｓ５０６）。仮想現実動画像の再生終了まで、設定された映像フレームの表示タイミングに合わせて、アラームを発生し続ける（Ｓ５０７）。
【００５５】
移動速度が一致していない場合（Ｓ７０１のＮｏ）、制御部１６は仮想現実動画像の再生レートを、携帯端末２の移動速度に合わせるように、補正処理を行う。まず、再生レート補正値を算出する（Ｓ７０２）。再生レート補正値は、携帯端末２の移動速度と仮想現実動画像の映像内の移動速度との比の逆数より求まる。そして、現在の仮想現実動画像の再生レートに再生レート補正値を乗算して、新たな再生レートを求める。制御部１６は、仮想現実動画像の再生レートを、新たな再生レートに変更する（Ｓ７０３）。
【００５６】
例えば、仮想現実動画像の映像内の移動速度が２ｍ／ｓであるのに対して、実際の携帯端末２の移動速度が１ｍ／ｓであったとする。この場合、両速度は一致していないので、そのまま仮想現実動画像を再生しても、アラームの出力されるタイミングは作業者の必要とするタイミングとずれてしまう。そこで、再生レート補正値を求める。これは二つの速度の比の逆数で求められるので１／２となる。仮想現実動画像の再生レートが毎秒３０フレームであったとすると、補正後の仮想現実動画像の再生レートは、１／２を乗算する事で、毎秒１５フレームとなる。制御部１６は、１枚の画像の表示を約３３．３３ｍｓ間隔から約６６．６７ｍｓ間隔に変更する事で、仮想現実動画像の再生レートを変更する事が可能になる。
【００５７】
そして、新しい再生レート再生時間のカウントや映像フレームの判別などが行われ、アラームの設定された映像フレームが表示されると（Ｓ５０５）、制御部１６がメモリ部１７に記憶してあるアラームテーブルより、設定されているアラーム方法に応じて、アラームを発生させる（Ｓ５０６）。仮想現実動画像の再生終了まで、設定された映像フレームの表示タイミングに合わせて、アラームを発生し続ける（Ｓ５０７）。
【００５８】
以上の方法を用いる事で、仮想現実動画像の映像内の移動速度と実際の携帯端末２の移動速度が異なっている場合でも、対象物への回転などの操作が発生したタイミングを的確に使用者に通知する事が可能となる。具体的には、両者の速度比から再生レート補正値を求め、再生レート補正値を用いて仮想現実動画像の再生速度を補正し、仮想現実動画像の再生速度を実際の荷物の搬入速度に一致することで、アラームの通知タイミング精度を向上させることができる。
【実施例３】
【００５９】
図１８は、第３の実施例にかかる携帯端末の概略構成図を示したものである。仮想現実動画像を荷物の搬入支援に活用する際、仮想現実動画像の映像内の移動速度と作業者の移動速度が異なっていると、アラームの出力タイミングがずれてしまい、荷物への操作を的確に指示する事ができない。その様な場合、作業者が移動速度を構成する事ができれば良いが、そう容易な事ではないので、２つの移動速度を同じにする方法が必要となる。そこで、これを解決するため、携帯端末３には画像処理部１１内に、サイズ比較部４０を具備する。図１に示した携帯端末１と同一機能部には同一の番号を付し、ここでの説明は省略する。
【００６０】
サイズ比較部４０は、実際の搬入作業を画像入力部１０によって取り込まれる実際の搬入作業の映像と仮想現実動画像の映像の、２つの映像に写っている共通の物体のサイズを比較し、一致情報して出力する。制御部１６は、サイズ比較部４０より出力される一致情報を基に、仮想現実動画像の表示タイミングを進めたり遅らせたりする事で映像の再生速度を調整して、仮想現実動画像の映像の再生速度が実際の作業における移動速度と同じになるように、仮想現実動画像の再生レートを制御する。例えば、仮想現実動画像の映像内の移動速度に比べ、作業者の移動速度の方が遅い場合は、仮想現実動画像の再生レートを遅らせ、通常の再生よりもゆっくり表示する。また、逆に、作業者の移動速度の方が速い場合は、仮想現実動画像の再生レートを早くする。
【００６１】
図１９は、仮想現実動画像を荷物の搬入作業に活用した場合の、画面構成の一例を示した図である。表示部１３に、仮想現実動画像の映像と実際の作業している映像の両方の画面を表示し、２つの映像の進み具合が一目で分かるようになっている。
【００６２】
対象物への操作内容を中心に表示したい場合は、図１９（ａ）の様にメイン画面表示部５００に仮想現実動画像の映像を表示し、サブ画面表示部５０１に携帯端末３の画像入力部１０で取り込んでいる、作業者が撮影する実際の映像を表示する。これとは逆に、作業者が撮影する実際の映像を大きく表示したいのであれば、図１９（ｂ）の様に、メイン画面表示部５００に画像入力部１０で取り込んでいる作業者が撮影する実際の映像を表示し、サブ画面領域５０１に仮想現実動画像の映像を表示する。
【００６３】
実際の搬入作業を行う際に、携帯端末３の画像入力部１０によって移動している映像を取り込みながら、同時に仮想現実動画像の再生を行う。元々、仮想現実動画像に使われた背景動画像を撮影した場所と同じ場所で作業しているので、仮想現実動画像の映像と実際の作業している映像の２つ映像内には、例えば扉や装飾品などの同じパーツが写っているはずである。そこで、この同じパーツのサイズをサイズ比較部４０で比較し、サイズが異なっている場合は、仮想現実動画像の表示している画像を前後にずらし、サイズが一致する映像まで変更する。
【００６４】
図２０及び図２１を用いて、図１９（ａ）を例に、本実施例における動作概要を説明する。これらの図は、実施例３の動作フローチャートの一例を示すものである。
【００６５】
使用者は、操作部１２を操作して２画面表示モードを起動させると（Ｓ８００）、制御部１６は画像入力部１０を起動させ、取り込んだ動画像をサブ画面表示部５０１に表示する（Ｓ８０１）。画像入力部１０による動画像の取り込みと並行して、制御部１６はメモリ部１７に記憶してある仮想現実動画像を読み出す（Ｓ５００）。制御部１６は、読み出された仮想現実動画像データに対応したアラームテーブルより、アラーム設定有無を検出する（Ｓ５０１）。アラームが設定されている場合（Ｓ５０１のＹｅｓ）、制御部１６は、例えば映像フレーム単位でアラームが設定されているとか、仮想現実動画像の再生開始からの時間に対応してアラームが設定されているとかの、登録されているアラーム方法の識別を行い（Ｓ５０２）、例えば音声やメロディの様な音によるアラームなのか、ＬＥＤ点滅などの光によるアラームなのか、メッセージを表示するなどの表示によるアラームなのかなどの、登録されているアラームの種別の判定を行う（Ｓ５０３）。そして、アラームを有効にして、メイン画面表示部５００に仮想現実動画像を再生する（Ｓ８０２）。再生が開始されると、仮想現実動画像の映像と画像入力部１０より取り込まれた動画像の２つの映像から同じパーツを抽出する（Ｓ８０３）。サイズ比較部４０は、抽出された２つのパーツのサイズが同じであるか判定する（Ｓ８０４）。
【００６６】
２つのパーツのサイズが同じであった場合（Ｓ８０４のＹｅｓ）、表示画像のスキップは行わず、仮想現実動画像の再生開始とともに、再生時間のカウントや映像フレームの判別などが行われ、アラームの設定された映像フレームが表示されると（Ｓ５０５）、制御部１６がメモリ部１７に記憶してあるアラームテーブルより、設定されているアラーム方法に応じて、アラームを発生させる（Ｓ５０６）。仮想現実動画像の再生終了まで、設定された映像フレームの表示タイミングに合わせて、アラームを発生し続ける（Ｓ５０７）。
２つのパーツのサイズが異なっていた場合（Ｓ８０４のＮｏ）、制御部１６は仮想現実動画像の表示画像のスキップを行う。まず、２つのパーツサイズの差量を算出する（Ｓ８０５）。そして、現在の仮想現実動画像の表示画像から、抽出したパーツのサイズが、撮影中の映像に写っているパーツと同じサイズになるように、表示する仮想現実動画像の画像のスキップを行う（Ｓ８０６）。そして、スキップされた仮想現実動画像が表示され、アラームの設定された映像フレームが表示されると（Ｓ５０５）、制御部１６がメモリ部１７に記憶してあるアラームテーブルより、設定されているアラーム方法に応じて、アラームを発生させる（Ｓ５０６）。仮想現実動画像の再生終了まで、設定された映像フレームの表示タイミングに合わせて、アラームを発生し続ける（Ｓ５０７）。
【００６７】
以上の方法を用いる事で、仮想現実動画像の映像内の移動速度と実際の携帯端末３の移動速度が異なっている場合でも、対象物への回転などの操作が発生したタイミングを的確に使用者に通知する事が可能となる。
【００６８】
以上説明した実施形態では、携帯端末のカメラで撮影した背景動画像、並びに対象物の部位を測定し、採寸情報を用いて３Ｄ背景動画像と３Ｄ対象物を生成する。３Ｄ対象物を３Ｄ背景動画像と同一縮尺に補正し、３Ｄ背景動画像上に合成して仮想現実動画像を作成する。３Ｄ背景動画像に３Ｄ対象物を合成する際、まず、停止している３Ｄ背景動画像の先頭画面の中心位置に３Ｄ対象物が配置されると、ユーザーは操作部によって、任意の位置に移動する。位置が決まったら、３Ｄ背景動画像の再生して合成処理施して仮想現実動画像の生成を開始する。３Ｄ対象物の向きを動かしたい時は、３Ｄ背景動画の再生を一時停止して、合成処理を中断する。この時は、操作部より３Ｄ対象物を合成する位置や向き自由に操作する事が可能となり、操作が決定したら操作内容を確定し、アラーム手段を選択する。アラームの内容は、予め登録されている内容を選択する事も可能であるし、オリジナルの方法を設定する事も可能である。選択されたアラーム情報は、３Ｄ対象物への操作内容と合わせて、操作を行ったタイミングごとにメモリ部に記憶される。一連の操作が確定すると、３Ｄ背景動画像の再生が再開され、操作を施された３Ｄ対象物を合成される。この処理を３Ｄ背景動画像の再生が終了するまで継続される。３Ｄ背景動画像の最後まで合成処理が行われたら、仮想現実動画像の作成が完了となる。
【００６９】
また、携帯端末に速度センサを備え、３Ｄ背景動画を撮影する時に移動速度を測定し、記憶しておく。この速度情報は、３Ｄ対象物を合成しても引き継がれる。荷物の搬入作業などに活用する場合、荷物の搬入作業速度を速度センサで監視し、仮想現実動画像に付加されている速度情報と一致しているかを、随時確認する。作業速度が一致していれば、仮想現実動画像の再生速度は変更しない。しかし、作業速度に差が生じた場合は、速度の差を無くすように仮想現実動画像の画像表示タイミングを変更する事で再生速度を変更する。この処理を仮想現実動画像再生終了まで継続する。
【００７０】
また、仮想現実動画像の再生速度を変更する別の方法として、携帯端末のカメラで取り込んだ荷物の搬入作業の映像と仮想現実動画像の背景から同一パーツを検出し、両者の大きさの一致検出を行う。両者が常に同じ大きさであると判断されれば、仮想現実動画像の再生速度と荷物の搬入作業速度は同じであると判断され、仮想現実動画像の再生速度は変更しない。しかし、両者の大きさに差が生じた場合は、現在、カメラから取り込まれている搬入作業の映像内に存在しているパーツのサイズと同じサイズのパーツが表示されている仮想現実動画像の画像を表示する。普通に移動している分には、パーツのサイズが急に２倍や３倍になる事は無いので、パーツに差が生じた場合は、現在表示している画像の前後どちらかの画像に表示しなおす事になる。
【図面の簡単な説明】
【００７１】
【図１】携帯端末の概略構成の一例を示す図である。
【図２】仮想現実動画像の作成方法の一例を示す図である。
【図３】表示構成並びに、アラーム設定方法の一例を示す図である。
【図４】アラームテーブルの一例を示す図である。
【図５】アラームテーブルの一例を示す図である。
【図６】アラームテーブルの一例を示す図である。
【図７】アラームテーブルの一例を示す図である。
【図８】アラームテーブルの一例を示す図である。
【図９】アラームテーブルの一例を示す図である。
【図１０】３Ｄ背景動画像と３Ｄ対象物の作成方法の一例を示す動作フローチャートである。
【図１１】仮想現実動画像作成方法の一例を示す動作フローチャートである。
【図１２】合成録画処理で３Ｄ対象物に対して行う回転などの操作方法の一例を示す動作フローチャートである。
【図１３】仮想現実動画像を搬入作業支援に利用した場合の動作概要の一例を示す動作フローチャートである。
【図１４】携帯端末の概略構成の一例を示す図である。
【図１５】３Ｄ背景動画像の作成方法の一例を示す動作フローチャートである。
【図１６】仮想現実動画像を搬入作業支援に利用した場合の動作概要の一例を示す動作フローチャートである。
【図１７】仮想現実動画像を搬入作業支援に利用した場合の動作概要の一例を示す動作フローチャートである。
【図１８】携帯端末の概略構成の一例を示す図である。
【図１９】仮想現実動画像を荷物の搬入作業に活用した場合の、画面構成の一例を示した図である。
【図２０】仮想現実動画像を搬入作業支援に利用した場合の動作概要の一例を示す動作フローチャートである。
【図２１】仮想現実動画像を搬入作業支援に利用した場合の動作概要の一例を示す動作フローチャートである。
【符号の説明】
【００７２】
１、２、３…携帯端末、１０…画像入力部、１１…画像処理部、１２…操作部、１３…表示部、１４…音声再生部、１５…スピーカ、１６…制御部、１７…メモリ部、１８…アンテナ、１９…通信部、２０…距離測定部、２１…物体画像処理部、２２…３Ｄ情報処理部、２３…画像拡縮処理部、２４…画像合成処理部、３０…速度センサ、４０…サイズ比較部、１００…背景動画像、１０１…３Ｄ背景動画像、２００…対象物、２０１…３Ｄ対象物、３００…仮想現実動画像、５００…メイン画面表示部、５０１…サブ画面表示部、５０２…ピクト表示領域、５０３…ソフトキー表示領域
【図１】
2006331240.tif 000003
【図２】
2006331240.tif 000004
【図３】
2006331240.tif 000005
【図４】
2006331240.tif 000006
【図５】
2006331240.tif 000007
【図６】
2006331240.tif 000008
【図７】
2006331240.tif 000009
【図８】
2006331240.tif 000010
【図９】
2006331240.tif 000011
【図１０】
2006331240.tif 000012
【図１１】
2006331240.tif 000013
【図１２】
2006331240.tif 000014
【図１３】
2006331240.tif 000015
【図１４】
2006331240.tif 000016
【図１５】
2006331240.tif 000017
【図１６】
2006331240.tif 000018
【図１７】
2006331240.tif 000019
【図１８】
2006331240.tif 000020
【図１９】
2006331240.tif 000021
【図２０】
2006331240.tif 000022
【図２１】
2006331240.tif 000023