(57)【要約】【課題】大量のデータを予め準備することなく、より高品位で現実感のある情報を提供する。【解決手段】情報機器１００は、撮像カメラ１５と、置換用オブジェクトをメモリ１４に登録するオブジェクト登録部１３と、撮像カメラ１５によって撮像された画像からオブジェクトを抽出する画像処理部１６と、画像処理部１６によって抽出されたオブジェクトをメモリ１４に登録されている置換用オブジェクトによって置換するオブジェクト置換部１７と、オブジェクト置換部１８によって処理された画像を出力する出力部１８、１９とを備える。【選択図】図１
2005157762.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像と予め登録されている画像とを合成して表示可能な情報機器であって、
画像を含む情報を取り込む入力部と、
置換用情報を登録する登録部と、
前記入力部によって取り込まれた情報から予め定められた規則に従った部分を抽出する抽出部と、
前記入力部によって取り込まれた情報のうち前記抽出部によって抽出された部分を前記登録部に登録されている置換用情報で置換する置換部と、
前記置換部によって処理された情報を出力する出力部と、
を備えることを特徴とする情報機器。
【請求項２】
外部装置と通信する通信部を更に備え、前記登録部は、前記通信部によって前記外部装置から受信する置換用情報を登録することを特徴とする請求項１に記載の情報機器。
【請求項３】
前記置換用情報は、画像情報を含むことを特徴とする請求項１又は請求項２に記載の情報機器。
【請求項４】
前記置換用情報は、音情報を含むことを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報機器。
【請求項５】
前記置換部による置換動作をマスクするマスク部を更に備えることを特徴とする請求項１乃至請求項４のいずれか１項に記載の情報機器。
【請求項６】
前記マスク部は、予め定められた条件に一致する情報の置換をマスクすることを特徴する請求項５に記載の情報機器。
【請求項７】
前記入力部は、撮像カメラを含み、前記マスク部は、前記撮像カメラによって撮像された画像中のオブジェクトの色に基づいてマスク動作を制御することを特徴とする請求項６に記載の情報機器。
【請求項８】
前記入力部は、撮像カメラを含み、前記マスク部は、前記撮像カメラによって撮像された画像中のオブジェクトの大きさに基づいてマスク動作を制御することを特徴とする請求項６に記載の情報機器。
【請求項９】
前記入力部は、撮像カメラを含み、前記マスク部は、前記撮像カメラによって撮像された画像中のオブジェクトの形状に基づいてマスク動作を制御することを特徴とする請求項６に記載の情報機器。
【請求項１０】
前記入力部は、撮像カメラを含み、前記マスク部は、前記撮像カメラによって撮像された画像中に特定のマークがあるか否かに応じてマスク動作を制御することを特徴とする請求項６に記載の情報機器。
【請求項１１】
前記入力部は、撮像カメラを含み、前記マスク部は、前記撮像カメラによって撮像される被写体の大きさが予め設定されている大きさの範囲内である場合に、前記撮像カメラによって撮像された画像中の該被写体に対応するオブジェクトの置換をマスクすることを特徴とする請求項６に記載の情報機器。
【請求項１２】
ヘッドマウントディスプレイとして構成されていることを特徴とする請求項１乃至請求項１１のいずれか１項に記載の情報機器。
【請求項１３】
撮像された画像と予め登録されている画像とを合成して表示可能な情報機器の制御方法であって、
画像を含む情報を取り込む入力工程と、
置換用情報をメモリに登録する登録工程と、
前記入力工程で取り込まれた情報から予め定められた規則に従った部分を抽出する抽出工程と、
前記入力工程で取り込まれた情報のうち前記抽出工程で抽出された部分を前記メモリに登録されている置換用情報で置換する置換工程と、
前記置換工程を経た情報を出力する出力工程と、
を含むことを特徴とする情報機器の制御方法。
【請求項１４】
撮像された画像と予め登録されている画像とを合成して表示可能な情報機器を制御するプログラムであって、
画像を含む情報を取り込む入力工程と、
置換用情報をメモリに登録する登録工程と、
前記入力工程で取り込まれた情報から予め定められた規則に従った部分を抽出する抽出工程と、
前記入力工程で取り込まれた情報のうち前記抽出工程で抽出された部分を前記メモリに登録されている置換用情報で置換する置換工程と、
前記置換工程を経た情報を出力する出力工程と、
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像と予め登録されている画像とを合成して表示する技術、例えば、現実画像と仮想画像とを合成する技術に関する。
【背景技術】
【０００２】
情報化社会を迎えた現在においては、ＩＴ技術やユビキタスコンピューティングが広く展開されつつある。携帯可能なモバイル機器や着用可能なウェアラブル機器として、ヘッドマウントディスプレイ（以下、ＨＭＤ）と呼ばれる表示装置を備えるものがある。ＨＭＤの１つの方式として、両眼の前方に仮想的な表示面を有し、例えば液晶表示装置等の画像形成装置を用いて画像を形成し、その画像を光学系によって仮想的な表示面に投影する。このようなＨＭＤでは、表示画像の彩度を向上させる為に外部から迷光が入らないようにした密閉タイプが採用されている。
【０００３】
ＨＭＤの他の方式としては、透過型又は半透過型のグラス（眼鏡）タイプの表示装置も開発されている。このようなＨＭＤでは、透明又は半透明な部材を眼鏡のように両眼の前に配置し、そこに比較的小さな画像を投影して現実画像に合成する。グラスタイプのＨＭＤは、密閉タイプのＨＭＤとは異なり、一般的に、目の前に広がる現実画像を主とし、それに合成される画像を補助とするものである。
【０００４】
また、ＨＭＤに撮像カメラを搭載した機器や、ＨＭＤにオーディオ機能を搭載した機器がある。ＨＭＤで現実画像（リアル画像）と仮想画像（バーチャル画像）とを合成すると、それは良く知られたＭＲ（ミックスリアリティ）画像となる。
【０００５】
特許文献１〜３には、バーチャルイメージを利用したバーチャルタウン、バーチャルモール、バーチャルショップ等に関する技術が開示されている。特許文献４には、顧客の誘導方法が開示されている。
【特許文献１】特開平10-293763号公報
【特許文献２】特開2002-51026号公報
【特許文献３】特開2002-109361号公報
【特許文献４】特開2000-32508号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
バーチャル空間或いはバーチャル画像を利用したバーチャルタウンやバーチャルショップには、以下に示すような問題点がある。
（１）バーチャルタウンやバーチャルショップの構築と維持に膨大な費用が掛かる、
（２）バーチャル空間における画像の全体をコンピュータで形成しようとすると、コンピュータに高い処理能力が要求されるとともに膨大なデータが要求される、
（３）バーチャル空間における画像の全体をコンピュータで形成すると、臨場感が薄れ、また、解像度が低い、
一方、現実のタウンやショップ（店舗）では、以下に示すような問題点がある。
（１）商品を陳列し購買者を接客する為の空間（店舗）の準備と維持に多額の投資が必要である、
（２）そのような空間（店舗）の装飾の変更が容易ではない、
（３）設計上の装飾と実際の装飾との間にずれが生じることが通例であり、設計時に装飾効果を正しく見積もることができない
以上のようにバーチャルタウンやバーチャルショップにも、現実のタウンやショップにも相応の問題点が存在する。
【０００７】
本発明は、上記の課題認識を基礎としてなされたものであり、例えば、大量のデータを予め準備することなく、より高品位で現実感のある情報を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る情報機器は、撮像された画像と予め登録されている画像とを合成して表示可能な情報機器として構成され、画像を含む情報を取り込む入力部と、置換用情報を登録する登録部と、前記入力部によって取り込まれた情報から予め定められた規則に従った部分を抽出する抽出部と、前記入力部によって取り込まれた情報のうち前記抽出部によって抽出された部分を前記登録部に登録されている置換用情報で置換する置換部と、前記置換部によって処理された情報を出力する出力部とを備える。
【０００９】
本発明の好適な実施形態によれば、前記情報機器は、外部装置と通信する通信部を更に備え、前記登録部は、前記通信部によって前記外部装置から受信する置換用情報を登録することが好ましい。
【００１０】
本発明の好適な実施形態によれば、前記置換用情報は、画像情報及び／又は音情報を含みうる。
【００１１】
本発明の好適な実施形態によれば、前記情報機器は、前記置換部による置換動作をマスクするマスク部を更に備えることが好ましい。
【００１２】
本発明の好適な実施形態によれば、前記マスク部は、予め定められた条件に一致する情報の置換をマスクすることが好ましい。
【００１３】
本発明の好適な実施形態によれば、前記入力部は、撮像カメラを含み、前記マスク部は、例えば、前記撮像カメラによって撮像された画像中のオブジェクトの色に基づいてマスク動作を制御することができる。或いは、前記マスク部は、前記撮像カメラによって撮像された画像中のオブジェクトの大きさに基づいてマスク動作を制御してもよい。或いは、前記マスク部は、前記撮像カメラによって撮像された画像中のオブジェクトの形状に基づいてマスク動作を制御してもよい。或いは、前記マスク部は、前記撮像カメラによって撮像された画像中に特定のマークがあるか否かに応じてマスク動作を制御してもよい。或いは、前記マスク部は、前記撮像カメラによって撮像される被写体の大きさが予め設定されている大きさの範囲内である場合に、前記撮像カメラによって撮像された画像中の該被写体に対応するオブジェクトの置換をマスクしてもよい。
【００１４】
前記情報機器は、例えば、ヘッドマウントディスプレイとして構成されうる。
【００１５】
本発明の情報機器の制御方法は、撮像された画像と予め登録されている画像とを合成して表示可能な情報機器の制御方法とし構成され、画像を含む情報を取り込む入力工程と、置換用情報をメモリに登録する登録工程と、前記入力工程で取り込まれた情報から予め定められた規則に従った部分を抽出する抽出工程と、前記入力工程で取り込まれた情報のうち前記抽出工程で抽出された部分を前記メモリに登録されている置換用情報で置換する置換工程と、前記置換工程を経た情報を出力する出力工程とを含む。
【００１６】
本発明のプログラムは、撮像された画像と予め登録されている画像とを合成して表示可能な情報機器を制御するプログラムとして構成され、画像を含む情報を取り込む入力工程と、置換用情報をメモリに登録する登録工程と、前記入力工程で取り込まれた情報から予め定められた規則に従った部分を抽出する抽出工程と、前記入力工程で取り込まれた情報のうち前記抽出工程で抽出された部分を前記メモリに登録されている置換用情報で置換する置換工程と、前記置換工程を経た情報を出力する出力工程とを含む。
【発明の効果】
【００１７】
本発明によれば、例えば、大量のデータを予め準備することなく、より高品位で現実感のある情報を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良と思われる形態を説明する。
【００１９】
［第１実施形態］
図１０は、本発明の好適な実施形態の情報機器１００の外観構成を模式的に示す図である。情報機器１００は、ＨＭＤ（ヘッドマウントディスプレイ）として、又は、ＨＭＤを有する装置として構成されうる。この実施形態では、情報機器１００は、概ね眼鏡形状に構成され、使用者の両目の前に配置される本体部７１と、両耳に掛けるための２つのツル７２とを有する。
【００２０】
本体部７１は、２つのツル７２の根元を連結する連結部７３と、２つの光学系７７とを有する。２つの光学系７７は、使用者の２つの目の前に配置されるように構成されている。２つのツル７８には、イヤホン７８が配置されている。
【００２１】
連結部７３には、ＣＣＤセンサ又はＣＭＯＳセンサ等の撮像素子を有する撮像カメラ（画像情報を入力する入力部）７４、ステレオマイク７５、入力部（操作部）７９が備えられている。撮像カメラ７４としては、例えば、口径１／２程度のＳＸＧＡカラーカメラなどが好適である。連結部７３には、表示装置（例えば、ＬＣＤ）７６が内蔵されており、表示装置７６の表示面に形成された画像は、光学系７７によって網膜上に投影される。光学系７７は、例えば、２ｍ先の仮想画面において大きさ５２型（半径０．６６ｍ）の視野を形成する。光学系７７によって網膜上に形成される画像の中心は、撮像カメラ７４の光軸に一致する。
【００２２】
図１は、図１０に示す情報機器１００の電気回路の構成を示すブロック図である。撮像カメラ（画像情報を入力する入力部）１５は、図１０における撮像カメラ７４に対応する。撮像カメラ１５によって撮像された現実画像（典型的には、動画像）は、画像処理部１６によって処理される。画像処理部１６は、撮像カメラ１５から提供される画像からオブジェクトを抽出するオブジェクト抽出部を有する。ここで、画像から抽出されるオブジェクト（画像オブジェクト）とは、撮像画像（入力情報）の全体領域の一部を占める部分的画像（入力情報の一部）であり、典型的には、撮像視野内に存在する被写体によって構成される画像である。なお、オブジェクトの抽出方法としては、例えば、画像中から顔の画像を抽出したり、画像中から車線を抽出したりする方法を適用することができる。
【００２３】
オブジェクト置換部１７は、撮像画像中における画像処理部１６によって抽出された抽出オブジェクトをメモリ１４中に予め登録（格納）されている置換用オブジェクト（置換用情報）によって置換する。ここで、置換用オブジェクトによる抽出オブジェクトの置換は、抽出オブジェクトの形状や大きさに応じて置換用オブジェクトを変倍又は変形させることにより、抽出オブジェクトが撮像画像中に占めている領域の全体が置換用オブジェクトによって覆われるように実施することが好ましい。このような置換によって、現実画像のうちの一部（抽出オブジェクトを含む領域）が予め登録されている置換用オブジェクトによって置換される。これは現実画像の領域の一部への置換用オブジェクトの上書き或いは合成としても理解されうる。なお、現実画像と仮想画像を組み合わせる手法としてクロマキー法が知られており、この方法をオブジェクトの置換に利用することができる。
【００２４】
画像出力情報作成部１８は、オブジェクト置換部１７によって生成された画像を表示装置１９のフォーマットに合致したフォーマットに変換し、表示装置１９に提供する。表示装置１９は、図１０における表示装置７６に相当し、画像出力情報作成部１８から提供された画像を表示面に表示する。
【００２５】
置換用オブジェクトは、オブジェクト登録部１３によってメモリ１４に登録される。オブジェクト登録部１３は、図８に例示的かつ模式的に示すオブジェクトテーブル１４１を管理する。オブジェクトテーブル１４１を使って管理される置換用オブジェクトの実体（例えば、ビットマップデータ）は、メモリ１４内に格納されている。図８に示すオブジェクトテーブル１４１及びそれを使って管理される置換用オブジェクトは、オブジェクト登録部１３によって書き換えられうる。
【００２６】
図１４は、撮像カメラ１５による撮像画像（現実画像）を例示的かつ模式的に示す図である。ここで、図１４の撮像画像は、現実の店舗の内部を撮像した画像の一例である。１４１は商品のオブジェクト（商品の画像）、１４２は棚のオブジェクト（棚の画像）、１４３は壁のオブジェクト（棚の画像）、１４４は天井の画像（天井のオブジェクト）、１４５は床のオブジェクト（床の画像）、１４６は照明機具のオブジェクト（照明器具の画像）、１４７は物品（例えば、置物）のオブジェクト（物品の画像）である。
【００２７】
メモリ１４には、撮像画像からオブジェクトを抽出するための抽出用データ、例えば、棚１４２のオブジェクトを抽出するための抽出用データ、壁１４３のオブジェクトを抽出するための抽出用データ、天井１４４のオブジェクトを抽出するための抽出用データ、床１４５のオブジェクトを抽出するための抽出用データ、照明器具１４６のオブジェクトを抽出するための抽出用データ、物品１４７のオブジェクトを抽出するための抽出用データが登録されている。このような抽出用データは、オブジェクト登録部１３によってメモリ１４に登録されうる。
【００２８】
画像処理部１６に備えられたオブジェクト抽出部は、撮像カメラ１５から提供される撮像画像中のオブジェクトをメモリ１４に登録されている抽出用データに基づいて抽出する。抽出用データは、抽出対称のオブジェクトの特徴を示すデータ、例えば、色、形状、コントラスト、撮像画像中におけるサイズ、撮像画像中における位置等を示すデータを含みうる。オブジェクト抽出部は、このような抽出用データと、撮像画像から抽出された抽出オブジェクトとを比較することにより、その抽出オブジェクトの種類を識別することができる。
【００２９】
或いは、オブジェクト抽出部は、撮像画像からオブジェクトを抽出するために抽出用データを参照してもよい。この場合、例えば、撮像画像中の全体領域のうち抽出用データとの一致度（マッチング度）が高い領域を抽出オブジェクトとして抽出することができる。
【００３０】
或いは、オブジェクト抽出部は、色、パターン（模様）、コントラスト、エッジ等に基づいて撮像画像を複数のオブジェクトに分離してもよい。この方法が最も単純に撮像画像からオブジェクトを抽出することができる方法である。
【００３１】
オブジェクトテーブル１４１は、画像処理部１６によって抽出された抽出オブジェクト（図８では、「棚」等）を置換するための置換用オブジェクト（例えば、「棚」に対しては、「白い布」、「赤い布」等）を特定する。抽出オブジェクトを置換するための置換用オブジェクトの特定は、オブジェクト登録部１３によってなされる。
【００３２】
オブジェクト登録部１３は、通信部１１又は入力部１２によって取り込まれる情報に基づいて抽出オブジェクトとそれを置換するための置換用オブジェクトとを対応付ける。通信部１１は、有線又は無線通信により情報を受信するように構成されうる。ＭＲショップで情報機器１００が使用される場合、受信部１１は、ＭＲショップに設置されている情報提供装置（典型的には、無線局）の無線信号を受信しうる。入力部１１は、図１０の入力部７９に相当し、操作部を含み、該操作部の操作を情報として取り込むように構成されうる。
【００３３】
図５は、情報機器１００の動作を示すフローチャートである。まず、情報機器１００は、ステップＳ５０１において、ＭＲショップ等に設置された情報提供装置からオブジェクトテーブル１４１及びそれに対応するオブジェクトのデータを受信し、ステップＳ５０２において、これらをメモリ１４に登録（格納）する。
【００３４】
次いで、ステップＳ５０３では、情報機器１００は、撮像カメラ１５によってＭＲショップ等の現実空間を撮像する。この撮像は、情報機器１００の使用者に対して撮像の実行を促すことによってなされうる。また、撮像は、例えば、入力部１２の操作に応じて実行されうる。
【００３５】
ステップＳ５０４では、情報機器１００は、撮像画像からオブジェクトを抽出する。抽出方法は、例えば、前述のいずれかの方法に従う。
【００３６】
ステップＳ５０５では、情報機器１００は、入力部１２の操作に応じて抽出オブジェクト（ステップＳ５０４で抽出されたオブジェクト）を選択する。この選択は、例えば、表示装置１９に図８に示すようなオブジェクトテーブル１４１を表示し、オブジェクトテーブル１４１内の抽出オブジェクトを情報機器１００の操作者に選択させることにより実施することができる（第１方法）。或いは、この選択は、画像処理部１６のオブジェクト抽出部によって抽出された複数の抽出オブジェクトを表示装置１９に表示して、操作者に任意の抽出オブジェクトを選択させることによっても実施しうる（第２方法）。後者の方法（第２方法）は、画像処理部１６のオブジェクト抽出部によって抽出オブジェクトの種類が識別されない実施形態においても採用されうる。
【００３７】
ステップＳ５０６では、情報機器１００は、入力部１２の操作に応じて置換用オブジェクトを選択する。この選択は、例えば、表示装置１９に図８に示すようなオブジェクトテーブル１４１を表示し、オブジェクトテーブル１４１内の置換用オブジェクトを情報機器１００の操作者に選択させることにより実施することができる。
【００３８】
ステップＳ５０５及びＳ５０６によって、抽出オブジェクトとそれを置換するための置換用オブジェクトとの組が決定される。例えば、「棚」の抽出オブジェクトは、「白い布」の置換用オブジェクトで置換するという如きである。各抽出オブジェクトをいずれの置換用オブジェクトで置換するか、すなわち、選択可能な複数の置換用オブジェクトの中から選択された置換用オブジェクトは、オブジェクトテーブル１４１に登録されうる。例えば、「棚」の抽出オブジェクトを置換するための置換用オブジェクトとして、「白い布」の置換用オブジェクトが選択された場合には、「白い布」に関するフラグをセットすることができる。
【００３９】
なお、適切な置換用オブジェクトが存在しない場合に、例えば、情報提供装置から、又は、情報提供装置を通じてインターネット上のサイトから、又は、操作者が利用可能な他の情報源から、所望の置換用オブジェクトを入手可能にすることも有効である。このような入手は、通信部１１を通して実施されうる。
【００４０】
ステップＳ５０６では、ステップＳ５０５及びＳ５０６の処理を繰り返すか否かを入力部１２の操作に基づいて判断し、繰り返す場合には処理をステップＳ５０５に戻す。
【００４１】
以上の処理により、抽出オブジェクトとそれを置換するための登録オブジェクトとが対応付けられる。以後、情報機器１００では、撮像カメラ１５で撮像される画像から画像処理装置１６内のオブジェクト抽出部によってオブジェクトが抽出され、その抽出オブジェクトがステップＳ５０５及びＳ５０６で決定された対応関係（組）に従ってオブジェクト置換部１７によって置換され、置換後の画像（撮像画像の一部を置換用オブジェクトで置換した画像）が表示装置１９に表示される。
【００４２】
すなわち、情報機器１００の使用者（典型的には、顧客）は、ＭＲショップにおいて現実画像の一部が置換用オブジェクトによって置換されたＭＲ画像を観ることになる。図１５は、ＭＲショップ内の現実画像の一部が置換用オブジェクトによって置換されたＭＲ画像の一例を示す図である。
【００４３】
以上のように、この実施形態によれば、ＭＲショップ等の現実空間を予め登録された仮想画像によって装飾することができる。また、この際に、情報機器１００の所有者（典型的には、ＭＲショップ側）等は、抽出オブジェクトとそれを置換するための置換用オブジェクトとの対応関係を設定することができる。したがって、情報機器１００の所有者（典型的には、ＭＲショップ側）等は、顧客に提供するＭＲ空間を簡単に装飾することができるので、現実の店舗を装飾することから解放される。しかも、そのようなＭＲ空間は、ＭＲショップ内の現実空間を利用して構成されるので、空間の全てを仮想画像（ＣＧ画像）で構成する場合に比べて情報処理の負担や仮想空間の構築のための処理或いは作業が劇的に低減されうる。
【００４４】
ＭＲショップの提供に際しては、情報機器１００とそれにデータを送信する情報提供装置とを準備すれば十分である。ここで、特に情報機器１００を複数台準備する場合には、情報提供装置によって複数台の情報機器１００を一括して同一の設定にすることが望ましい。これは、撮像画像から抽出すべきオブジェクト（抽出オブジェクト）とそれを置換するための置換用オブジェクトとを情報提供装置において決定し、それを複数台の情報機器１００に対してブロードキャストすることによってなされうる。
【００４５】
情報機器１００は、典型的には、客が店舗に入店する際にその客に渡して使用させることができるが、このような形式の画像処理装置が普及した後は、客が自身の画像処理装置を携帯して店舗に訪れるかもしれない。前述のブロードキャストは、後者に利用形態においても有効である。
【００４６】
情報機器１００は、客の視線の移動に応じて視野が変化するＭＲショップを提供するためには、前述のようにＨＭＤタイプの機器として構成されることが好ましいが、携帯型又はデスクトップ型のコンピュータであってもよい。なお、コンピュータには、パーソナルコンピュータや携帯電話機等、あらゆる情報処理装置が含まれる。
【００４７】
情報機器１００と情報提供装置とは、あらゆる無線又は有線の通信方法で接続することができる。
【００４８】
［第２実施形態］
図２は、図１０に示す情報機器１００の電気回路の第２構成例を示すブロック図である。すなわち、この実施形態の情報機器１００は、第１実施形態と同様の外観構成を有しうる。
【００４９】
マイク３５は、図１０のステレオマイク７５に相当し、音情報を取り込む。音処理部３６は、マイク３５から提供される音から音オブジェクト（音情報）を抽出する音オブジェクト抽出部を有する。ここで、音から抽出されるオブジェクト（音オブジェクト）とは、マイク３５によって検出された音の全情報の一部を占める部分音であり、典型的には、複数の音源のうちの特定の音源が発する音である。この実施形態では、予め定められた周波数帯域の音であって、かつ、所定の音圧（例えば、２０ｄＢ）以上の音圧を有する音が音オブジェクトとして抽出されうる。
【００５０】
音オブジェクト置換部３７は、マイク３５によって検出された音のうち音処理部３６によって抽出された音オブジェクトをメモリ１４中に予め登録されている置換用音オブジェクト（置換用音情報）によって置換する。
【００５１】
スイッチ４０は、周囲の音を検出し、その音に含まれる音オブジェクトを置換用オブジェクトに置換した音を出力（再生）するモード（置換再生モード）においては、音オブジェクト置換部３７側に閉じられ、音情報を受信してそのまま再生するモード（単純再生モード）においては、通信部１１側に閉じられる。
【００５２】
音出力情報作成部３８は、イヤホン３９に音情報を電気信号として出力する。イヤホン３９は、図１０のイヤホン７８に相当し、音情報出力部３８から提供される音情報に従って音を発生する。
【００５３】
置換用音オブジェクトは、オブジェクト登録部１３によってメモリ１４に登録される。ここで、オブジェクト登録部１３は、第１実施形態として説明したような置換用画像オブジェクト（第１実施形態では、置換用オブジェクトとして説明されている）を登録する機能も有する。オブジェクト登録部１３は、図８に例示的かつ模式的に示す画像に関するオブジェクトテーブル１４１の他、図１３に例示的かつ模式的に示す音に関するオブジェクトテーブル１４２も管理する。オブジェクトテーブル１４２を使って管理される登録オブジェクトの実体（例えば、音データ）は、メモリ１４内に格納されている。図１３に示すオブジェクトテーブル１４１、１４２及びそれを使って管理される画像及び音に関する置換用オブジェクトは、オブジェクト登録部１３によって書き換えられうる。
【００５４】
図１３に示す例では、音の周波数帯域に基づいて音処理部３６に備えられた音オブジェクト抽出部によって音オブジェクトが抽出されうることが示されている。具体的には、図１３に示す例では、２５６Ｈｚ（ｃ音）の倍音によって周波数帯域の境界が規定されている。
【００５５】
音処理回路３６の音オブジェクト抽出部は、図１３に示す音に関するオブジェクトテーブル１４２と同様の基準に従って、すなわち、この例では、２５６Ｈｚの倍音によって境界が規定された周波数帯域（例えば、２５６〜５１２Ｈｚ）に従って、マイク３５によって検出された音の中から各周波数帯域の音成分を音オブジェクトとして抽出する。
【００５６】
図１３に示す例では、２５６〜５１２Ｈｚの周波数帯域に属するとして抽出される音オブジェクトは、当該周波数のカラムの０〜７の置換用オブジェクト（「無音」、「ＢＧＭ１」、「商品説明」、「予備」、「予備」、「予備」、「予備」、「非難誘導」）のいずれかによって置換されうる。なお、「予備」については、置換用オブジェクトが未登録である。
【００５７】
図７は、周囲音の入力と出力に関する情報機器１００の動作を示すフローチャートである。
【００５８】
まず、ステップＳ１７１では、マイク３５によって周囲の音が検出される。次いで、ステップＳ１７２では、音処理部３６の音オブジェクト抽出部によって、検出された音が図１３に示す各周波数帯域（２５６Ｈｚの倍音で境界が規定された周波数帯域）にフーリエ分解され、ステップＳ１７３では、音オブジェクト抽出部によって、所定音圧（例えば、２０ｄＢ）以上の音圧を有する周波数帯域の音成分が音オブジェクトとして抽出される。
【００５９】
次いで、ステップＳ１７４では、音オブジェクト抽出部によって抽出された音オブジェクト（抽出音オブジェクト）が音オブジェクト置換部３７において音オブジェクトテーブル１４２に従って置換される。ここで、各周波数帯域の抽出オブジェクトを置換するための１つの置換用オブジェクトが予め選択され設定される。このような選択及び設定は、例えば、第１実施形態における画像に関する置換用オブジェクトの選択の例に従いうる。
【００６０】
この置換の例を挙げると、２５６〜５１２Ｈｚの帯域として抽出された抽出オブジェクトは、予め選択されているオブジェクト、例えば、「ＢＧＭ１」オブジェクトによって置換されうる。
【００６１】
ステップＳ１７７では、設定されているモードが置換再生モードであるか否かを判断し、置換再生モードであれば、ステップＳ１７９において、音出力情報作成部３８は、抽出オブジェクトが置換用オブジェクトによって置換された音情報を音オブジェクト３７から取得して、これに従ってイヤホン３９を駆動して音を出力する。この場合、マイク３５で検出された音の全成分の一部（抽出オブジェクト）が置換用オブジェクトによって置換された音がイヤホン３９によって再生される。
【００６２】
情報機器１００が単純再生モードに設定されている場合は、ステップＳ１７８においてＭＲショップの情報提供装置等から通信部１１によって音情報を受信し、これをステップＳ１７９においてイヤホン３９によって再生する。
【００６３】
ここで、置換再生モードと単純再生モードとの切り替えは、例えば、入力部１２が操作されることにより、又は、通信部１１によってＭＲショップの情報提供装置等から特別なコマンドを受信することによって切り替えられうる。
【００６４】
例えば、ＭＲショップ内の全域において共通に使用されうる避難誘導やＢＧＭ等は、ＭＲショップの情報提供装置から情報機器１００に特定のコマンドを送信して情報機器１００を単純再生モードに設定することにより、情報提供装置から情報機器１００に提供した音情報を情報機器１００に再生させることができる。
【００６５】
この実施形態によれば、例えば商品の前に指向性の強い小さな音源（例えば、商品タグ）を設置することにより、商品の前に立った客に対してのみ、特定の登録音声オブジェクトを再生して提供することができる。この場合、情報機器１００は、当該音源から出力される音を特定の音オブジェクトとして抽出し、その抽出オブジェクトを予め登録された置換用オブジェクトで置換し再生する。情報機器１００は、イヤホン７８から音を出力するため、ＭＲショップ等の店舗内において音が交錯して商品説明等を客が誤認することがない。
【００６６】
本発明において、音声オブジェクトの分離方法は上記の方法に限定されず、例えば、音階のハ音（２６１．６３Ｈｚ）の倍音で帯域を区切ってもよい。
【００６７】
また、不可聴の音域の音を情報機器１００に提供し、その音の音域を音オブジェクトとして識別させて、これを置換用オブジェクトによって置換させてもよい。
【００６８】
また、抽出する音オブジェクトを周波数帯域によって識別するのではなく、動物の鳴き声などを識別して音オブジェクトとして抽出してもよい。この場合、抽出すべき音オブジェクトを特性を示すデータが情報機器１００のメモリ１４等に登録しておく必要がある。
【００６９】
メモリ１４に登録されている置換用オブジェクトは、必要に応じて、随時更新されうる。この更新は、例えば、ＭＲショップの情報提供装置等から更新用データを情報機器１００に送信することによりなされうる。
【００７０】
［第３実施形態］
図３は、図１０に示す情報機器１００の電気回路の第３構成例を示すブロック図である。すなわち、この実施形態の情報機器１００は、第１実施形態と同様の外観構成を有しうる。この実施形態は、例えば、販売対象物である商品のみを現実画像で提供し、その他の要素は仮想的な画像で提供する。
【００７１】
図３に示す情報機器１００は、図１に示す情報機器１００に対して置換マスク回路５０が追加されている。置換マスク回路５０は、図９に例示的かつ模式的に示すような、オブジェクトの置換をマスクするためのマスクテーブル９０１を有する。図９に示す例では、マスクすべきオブジェクトを特定する方法（第１条件）として、オブジェクトの大きさ、色及び図形（形状）のいずれかを選択することができる。また、各方法において、マスクの水準（第２条件）を複数の水準の中から選択することができる。
【００７２】
オブジェクトの置換をマスクする方法（第１条件）及び水準（第２条件）は、例えば、ＭＲショップに設置された情報提供装置から情報機器１００に提供されうる。
【００７３】
図６は、オブジェクトのマスクに関する情報機器１００の動作を示すフローチャートである。まず、情報機器１００は、ステップＳ６０１において、受信部１１によりＭＲショップの情報提供装置等からマスク情報を受信する。このマスク情報は、図９に示すマスクテーブル９０１中において、オブジェクトの置換をマスクする方法（置換マスク方法）及びマスクの水準（置換マスク水準）を特定する情報を含む。
【００７４】
次いで、情報機器１００の置換マスク回路５０は、ステップＳ６０１において受信したマスク情報に基づいて、マスクテーブル９０１におけるマスクの方法（置換マスク方法）を設定する。一例を挙げると、置換マスク方法としては、例えば、「色」が設定されうる。
【００７５】
次いで、情報機器１００の置換マスク回路５０は、該マスク情報に基づいて、マスクテーブル９０１におけるマスクの水準（置換マスク水準）を設定する。一例を挙げると、置換マスク水準としては、例えば、「１」が設定される。
【００７６】
これにより、オブジェクトの置換をマスクする条件の設定が完了する。以下では、情報機器１００は、設定された条件に従って、置換動作をマスクすべきオブジェクトについては置換用オブジェクトによる置換を実施せず、マスク対象外のオブジェクトのうち置換すべきオブジェクトを置換用オブジェクトによって置換するする。
【００７７】
具体的には、画像処理部１６で抽出されたオブジェクトのうち置換マスク部５０によって置換がマスクされていないオブジェクトは、オブジェクト置換部１７によって、メモリ１４中に登録されている置換用オブジェクトのうち当該抽出オブジェクトを置換するために選択されているオブジェクトによって置換される。一方、置換がマスクされている抽出オブジェクトについては置換用オブジェクトによる置換がなされない。
【００７８】
例えば、置換マスク方法として「色」が設定され、置換マスク水準として「青」が設定されている場合は、色が青の抽出オブジェクトは、置換用オブジェクトによる置換がマスクされているので、置換用オブジェクトによる置換がなされない。この場合においては、ＭＲショップ内における商品以外の物或いは構造、例えば、床、壁、天井が青色でない場合、それらはメモリ１４中に登録されている置換用オブジェクトによって置換されうる。
【００７９】
本実施形態によれば、例えば、商品に相当するオブジェクトの置換をマスクし、それ以外をマスクしないことにより、商品については、現実画像により比較的高い解像度の画像を客に提供し、それ以外の周辺部分については、仮想画像を客に提供することができる。したがって、高解像、高品質で現実性の有る商品画像（現実画像）を客に提供しつつ、客が注視しない傾向がある周辺部分（商品以外の部分）については、容易に生成可能な低解像、低品質の仮想画像で装飾することができる。周辺部分については、季節や天候等に応じて任意に変更することができる。
【００８０】
オブジェクトの置換のマスクは、図９に示すように、オブジェクトの大きさ、色、図形（形状）等の種々の特徴に基づいて実施することができる。例えば、商品に特定のマーク、例えば小さな円形が書かれたタグを配置し、そのタグから半径３０ｃｍ以内等の所定領域内のオブジェクトの置換をマスクするように設定することにより、そのタグの周辺領域に配置されている商品の置換がマスクされ、その商品の現実画像が客に提供されることになる。
【００８１】
置換オブジェクトによる置換をマスクするためのタグは、図形或いはマーク等の画像として認識可能な物体ではなく、前述のような音源タグ、あるいは電波を発信する無線タグ、光を発生する発光タグ等、物理的に識別可能なあらゆるものを利用可能である。
【００８２】
情報機器１００を現実画像と表示画像が合成される半透過型ＨＭＤとして構成することにより、商品の部分については置換をマスクすることにより現実画像を提供し、商品以外の部分は、置換をマスクせずに、ＣＧグラフィックス等の置換用オブジェクトで置換してもよい。
【００８３】
［第４実施形態］
図１１は、本発明の第４実施形態の情報機器の外観構成を模式的に示す図である。情報機器１１０は、ＨＭＤ（ヘッドマウントディスプレイ）として、又は、ＨＭＤを有する装置として構成されうる。図１１に示す情報機器１１０は、図１０に示す情報機器１００に対して測距センサ８９を追加した構成を有する。図４は、図１１に示す情報機器１１０の電気回路の構成例を示すブロック図である。この実施形態の情報機器１１０では、オブジェクトの大きさで置換のマスクを行う。
【００８４】
図４を参照しながら説明すると、測距センサ６５（図１１の測距センサ８９に相当）は、表示装置８６が表示する画像（図１２の１０１）の中央中域１０２に表示されるオブジェクトに対応する現実の物体までの距離を測定する。測距センサ６５は、例えば、音波式として構成されうる。該オブジェクトの画像の大きさをＡとし、測距センサ６５から得られる距離ｄとに基づいて、該オブジェクトに対応する現実の物体の大きさＬを次式に従って計算する。
【００８５】
Ｌ＝ｋ＊Ａ＊ｄ（ｋは、撮像カメラ８４に固有の比例定数）
オブジェクトの現実の大きさが図９のマスクテーブル９０１に記述されている大きさの範囲に一致する場合には、該オブジェクトは置換オブジェクトによる置換からマスクされ、現実画像がそのまま画像出力情報作成回路５８に提供される。そうでない場合には、該オブジェクトの画像は、置換用オブジェクトによって置換され、画像出力情報作成回路５８に提供される。
【００８６】
この実施形態によれば、現実画像を客に提供する商品の大きさを特定の大きさに統一することによって、置換用オブジェクトで置換することなく該商品の現実画像を客に提供することができる。
【００８７】
［第５実施形態］
この実施形態は、ＭＲショップ等への設置に好適な情報提供装置を提供する。図１６は、本発明の好適な実施形態の情報提供装置の構成を示すブロック図である。
【００８８】
温度計９１は、ＭＲショップ内の温度を常時モニタリングする。メモリ９２は、情報提供装置を制御するプログラムと、オブジェクトテーブル１４１及び／又は１４２、並びに、置換用オブジェクトを格納している。ＣＰＵ９３は、メモリ９２内に格納されたプログラムに従って情報提供装置を制御する。送信機９４は、情報機器１００と近接無線等により通信する。
【００８９】
メモリ９２に格納されたプログラムに従って動作するＣＰＵ９３は、温度計９１によって検出される温度に応じて情報機器１００に送信する情報の内容を変更する。メモリ９２には、例えば、寒冷時（例えば、１５℃以下）と温暖時（例えば、１５〜３０℃）と猛暑時（例えば、３０℃以上）の３通り分の書き換え情報が格納されており、温度計９１によって検出された温度に応じて情報機器１００のメモリ１４内のオブジェクトテーブル及び置換用オブジェクトを書き換えるように書き換え情報を情報機器１００に送信する。
【００９０】
この実施形態によれば、例えば、寒冷時には暖かそうな仮想画像、猛暑時には涼しそうな仮想画像が客に提供されるように情報機器１００のメモリ１４内のオブジェクトテーブル及び置換用オブジェクトを書き換えることができる。
【００９１】
また、温度に限らず、例えば、湿度、天候、季節等に関する種々の情報に従って情報機器１００のメモリ１４内のオブジェクトテーブル及び置換用オブジェクトを書き換えることができる。
【００９２】
［その他］
上記の実施形態に係る装置は、電子回路、電気回路、電気部品等のハードウエアによって機能が定義されてもよいし、プログラム（ソフトウエア）とハードウエアとの結合によって機能が定義されてもよい。例えば、画像処理部１６、オブジェクト置換部１７、画像出力情報作成部１８、オブジェクト登録１３等は、ＣＰＵとそれに提供されるプログラム（ソフトウエア）とを含んで構成されうる。また、他の要素についても、典型的には、制御用のソフトウエアが組み込まれて構成されうる。このようなプログラムもまた発明として認識されうる。プログラムは、例えば、上記の実施形態において説明されたフローチャートに示す処理を制御するように構築されうる。
【図面の簡単な説明】
【００９３】
【図１】本発明の第１実施形態の情報機器の電気回路の構成を示すブロック図である。
【図２】本発明の第２実施形態の情報機器の電気回路の構成を示すブロック図である。
【図３】本発明の第３実施形態の情報機器の電気回路の構成を示すブロック図である。
【図４】本発明の第４実施形態の情報機器の電気回路の構成を示すブロック図である。
【図５】本発明の第１実施形態の情報機器の動作を示すフローチャートである。
【図６】本発明の第３実施形態の情報機器の動作を示すフローチャートである。
【図７】本発明の第２実施形態の情報機器の動作を示すフローチャートである。
【図８】画像に関するオブジェクトテーブルの一例を示す図である。
【図９】マスクテーブルの一例を示す図である。
【図１０】本発明の第１〜第３実施形態の情報機器の外観構成を模式的に示す図である。
【図１１】本発明の第４実施形態の情報機器の外観構成を模式的に示す図である。
【図１２】表示装置の表示領域（視野）の一例を示す図である。
【図１３】音に関するオブジェクトテーブルの一例を示す図である。
【図１４】撮像カメラによる撮像画像（現実画像）を例示的かつ模式的に示す図である。
【図１５】ＭＲショップ内の現実画像の一部が置換用オブジェクトによって置換されたＭＲ画像の一例を示す図である。
【図１６】本発明の好適な実施形態の情報提供装置の構成を示すブロック図である。
【図１】
2005157762.tif 000003
【図２】
2005157762.tif 000004
【図３】
2005157762.tif 000005
【図４】
2005157762.tif 000006
【図５】
2005157762.tif 000007
【図６】
2005157762.tif 000008
【図７】
2005157762.tif 000009
【図８】
2005157762.tif 000010
【図９】
2005157762.tif 000011
【図１０】
2005157762.tif 000012
【図１１】
2005157762.tif 000013
【図１２】
2005157762.tif 000014
【図１３】
2005157762.tif 000015
【図１４】
2005157762.tif 000016
【図１５】
2005157762.tif 000017
【図１６】
2005157762.tif 000018