(57)【要約】【課題】  放送局から放送される広告を現実空間と対応させてＨＭＤの表示面上に正しく表示させる。【解決手段】  広告の内容と広告の現実空間上の位置情報を受信し、広告を表示する表示面の位置及び姿勢を検出し、その位置及び姿勢と受信した位置情報とに基づいて表示面における広告の表示位置を決定し、表示位置と受信した内容情報とに基づいて、広告の表示情報を作成して表示する。【選択図】      図１５
2005173042.tif 000002
【特許請求の範囲】
【請求項１】
放送局から放送される広告情報を含む放送を受信する携帯型情報装置の広告表示方法であって、
広告の内容を示す内容情報と前記広告の現実空間上の位置を示す位置情報とを受信する工程と、
前記広告を表示する表示面の位置及び姿勢を検出する工程と、
前記位置及び姿勢と前記受信した位置情報とに基づいて前記表示面における前記広告の表示位置を決定する工程と、
前記表示位置と前記受信した内容情報とに基づいて前記広告の表示情報を作成する工程と、
前記広告の表示情報を前記表示面に表示する工程とを有することを特徴とする広告表示方法。
【請求項２】
前記放送局は、前記広告の料金を前記広告を依頼する主から徴収することを特徴とする請求項１に記載の広告表示方法。
【請求項３】
前記料金は、前記携帯型情報装置の装着者が前記広告の依頼主の元へ誘導された員数に依存することを特徴とする請求項２に記載の広告表示方法。
【請求項４】
前記放送局は、無線免許の不要な移動無線局であることを特徴とする請求項１に記載の広告表示方法。
【請求項５】
前記放送局は、無線以外の非接触型通信手段で放送を行うことを特徴とする請求項１に記載の広告表示方法。
【請求項６】
前記携帯型情報装置は、ヘッドマウントディスプレー（ＨＭＤ）であることを特徴とする請求項１に記載の広告表示方法。
【請求項７】
前記広告の内容情報は、前記広告が表示される大きさ又は視野角を決定するパラメータを含むことを特徴とする請求項１に記載の広告表示方法。
【請求項８】
前記料金は、前記広告が表示される大きさに依存することを特徴とする請求項７に記載の広告表示方法。
【請求項９】
前記位置情報は、少なくとも緯度、経度を含むことを特徴とする請求項１に記載の広告表示方法。
【請求項１０】
前記位置情報は、少なくとも緯度、経度と前記広告が表示される面の方向（主面ベクトル）とを含むことを特徴とする請求項１に記載の広告表示方法。
【請求項１１】
前記検出する工程では、グローバルポジショニングシステム（ＧＰＳ）により前記位置を検出することを特徴とする請求項１に記載の広告表示方法。
【請求項１２】
前記検出する工程では、前記放送局から送信される放送に基づいて前記位置を検出することを特徴とする請求項１に記載の広告表示方法。
【請求項１３】
前記放送は、前記放送局或いは放送局の下部組織である複数の送信源から行われることを特徴とする請求項１２に記載の広告表示方法。
【請求項１４】
前記検出する工程では、前記表示面の姿勢を方位センサ及び角度センサにより検出することを特徴とする請求項１に記載の広告表示方法。
【請求項１５】
前記角度センサは、重力センサを用いて重力方向（鉛直方向）と前記表示面が成す角度を検出するセンサであることを特徴とする請求項１４に記載の広告表示方法。
【請求項１６】
前記決定する工程では、前記表示面における前記広告の表示の中心位置を決定することを特徴とする請求項１に記載の広告表示方法。
【請求項１７】
前記決定する工程では、前記広告が表示される表示面の方向（主面ベクトル）を参照して、前記表示面が前記携帯型情報装置の表示面の方を向いている時と、反対を向いている時とで異なる結果を与えることを特徴とする請求項１０に記載の広告表示方法。
【請求項１８】
前記決定する工程では、前記広告の位置情報が表す位置と前記表示面の前記現実空間上の位置との距離がある一定値以上である場合にはそれを表現する信号を発することを特徴とする請求項１に記載の広告表示方法。
【請求項１９】
前記作成する工程では、前記広告の内容情報に含まれる表示内容をいかなる場合においても前記表示面に対して正立して表示することを特徴とする請求項１に記載の広告表示方法。
【請求項２０】
前記作成する工程では、前記表示装置が表示している画像中に前記受信した内容情報をスーパーインポーズすることを特徴とする請求項１に記載の広告表示方法。
【請求項２１】
前記作成する工程では、前記内容情報を前記表示装置が表示している他の画像が途切れる時間に表示することを特徴とする請求項１に記載の広告表示方法。
【請求項２２】
前記作成する工程では、前記距離がある一定値以上離れているか否かにより表示する表示情報を変更することを特徴とする請求項１８に記載の広告表示方法。
【請求項２３】
前記表示情報は、前記広告の内容情報の変更、強調させた表示、或いは前記内容情報を代替したシンボル表示であることを特徴とする請求項２２に記載の広告表示方法。
【請求項２４】
前記携帯型情報装置は、前記広告の位置情報が表す位置を前記携帯型情報装置が通過する際には、警戒音を鳴らして前記携帯型情報装置の所有者に前記広告の存在を知らせるようにしたことを特徴とする請求項１に記載の広告表示方法。
【請求項２５】
放送局から放送される広告情報を含む放送を受信する携帯型情報装置であって、
広告の内容を示す内容情報と前記広告の現実空間上の位置を示す位置情報とを受信する受信手段と、
前記広告を表示する表示面の位置及び姿勢を検出する検出手段と、
前記位置及び姿勢と前記受信した位置情報とに基づいて前記表示面における前記広告の表示位置を決定する決定手段と、
前記表示位置と前記受信した内容情報とに基づいて前記広告の表示情報を作成する作成手段と、
前記広告の表示情報を前記表示面に表示する表示手段とを有することを特徴とする携帯型情報装置。
【請求項２６】
コンピュータに請求項１に記載された広告表示方法を実行させるためのプログラム。
【請求項２７】
請求項２６に記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送局から放送される広告情報を含む放送を受信する携帯型情報装置の広告表示技術に関する。
【背景技術】
【０００２】
情報化社会を迎えた現在においては、ＩＴ技術やユビキタスコンピューティングが広く展開されつつある。携帯可能なモバイル機器や、例えば着用可能なウェアラブル機器の中でも、ＡＶ機能を実現するそれは重要な地位を占めつつある。
【０００３】
その中には、ヘッドマウントディスプレー（ＨＭＤ）と呼ばれる形式がある。それらは両眼の前方に仮想的な表示面を持ち、例えば液晶表示装置等を用いて画像を表示し、光学系を用いてその表示画像を仮想的な表示面に投影する。また、このＨＭＤは、表示する色の彩度を向上させるために、外部から迷光が入らないように密閉型としている。
【０００４】
また近年、従来の密閉型とは異なり、透過型或いは半透過型のグラス（眼鏡）タイプの表示装置も開発されつつある。即ち、透明或いは半透明な材質を眼鏡のように両眼の前に配置し、そこに比較的小さな画像を投影するものである。こちらは、密閉型のＨＭＤとは異なり、どちらかと言うと目の前に広がる現実画像を主に両眼に入れるようにしたものであり、比較的小さな画像の表示はどちらかと言うと副次的である。このタイプは無線手段と組み合わせることにより、現在のユビキタスコンピューティング、ネットワーク社会のどこででもグラスに情報を表示可能であるので、モバイル、ウェアラブル機器の本命と目されているものである。
【０００５】
また、ＨＭＤとグラスタイプとを切り替えられるように構成した例もある。
【０００６】
また、ＨＭＤに撮像カメラを取り付けて、ＨＭＤ装着者の現実環境、外界を撮像可能とした例、ＨＭＤにオーディオをも搭載してＡＶ機器とした例もある。
【０００７】
また、ＨＭＤやグラスタイプの表示装置にリアル画像とバーチャル画像とを同時に表示すると、良く知られたＭＲ（ミックスリアリティ）画像となる。
【０００８】
また、バーチャルリアル混合画像、ＭＲ画像を効率良く形成するためには、ＨＭＤ等の姿勢等を検出するための各種センサが必要である。
【０００９】
また、ＣＧ（コンピュータグラフィクス）においては、表示画像を一括して同時に作成するのではなく、各部品、対象（オブジェクト）に分けて作成するのが通例である。また現実画像から各オブジェクトを抽出する技術は、デジタルＴＶ時代を迎える今日においては重要な技術となっている。これらの技術には、顔を抽出する技術や、道路の車線を認識する技術がある。
【００１０】
また、バーチャルイメージを利用したバーチャルタウン、バーチャルモール、バーチャルショップ等において、商品購入、サービス享受の際に重要な顧客の案内や、誘導方法が提案されている。また、放送や広告の配信又は広告の表示、クーポン配信に関する技術が提案されている。
【特許文献１】特開２０００−１４８２９０号公報
【特許文献２】特開２００２−２７１６９３号公報
【特許文献３】特開２００２−３２５０８号公報
【特許文献４】特開２００２−５１０２６号公報
【特許文献５】特開２００２−１０９３６１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述した広告放送には、以下に示すような問題点がある。
（１）広告放送は一般に広域に渉るために、広告費用が増大する
（２）広告放送が画一的であり、効率的でない
（３）広告の受信や顧客誘導のためにはＩＣカード等の特別なハードが必要
（４）広告の放送と顧客誘導との対応が曖昧である
（５）広告の内容は放送受信者の興味の度合いに拘わらずどれも同じである
（６）放送局の広告費用と広告の広告主が支払う料金との対応が不明確である
（７）放送局の運営がリスキーであり、不透明である。
【００１２】
一般に、広告はラジオやテレビを用いて片方向的に行われるため、その規模は一店舗が利用するには大き過ぎるきらいがある。近年、地域に密着したローカル放送局や繁華街における有線放送、ケーブルＴＶ等が発達してきているが、それらはラジオやテレビを用いた広告と比べるとまだまだ実力不足である。そして、ラジオやテレビ広告を利用する場合には、多額の費用を要する。
【００１３】
また、広告放送は片方向的であり、コマーシャルフィルムの放映等、画一的であるので、広告の訴追者の動向とは無関係であり、一般的に余り効率的ではない。
【００１４】
また、広告放送を受信するためには、ラジオやテレビが必要である。特にラジオは身近にかなり普及しているが、テレビに関しては常時携帯する程には未だ普及してはいない。
【００１５】
近年、ＩＴ技術の進展に伴って携帯電話や携帯型情報機器であるＰＤＡ（パーソナルデジタルアシスタント）の各種サービス提供が開始されており、それら提供によって広告の提示も盛んに行われつつあるが、それらの広告内容はラジオやテレビの広告のそれと比べるとまだまだ貧弱である。
【００１６】
また、広告放送の受信者が広告に興味を示したとしても、その広告の内容と顧客誘導との対応が不明確、不親切であるため、興味ある受信者に適切な誘導を行うことができていない。
【００１７】
携帯電話やＰＤＡには広告を出している店舗の地図表示（２次元地図）を行うサービスも存在するが、ページの切換が必要である。地図は誘導に対してはユーザフレンドリーでなく、アクセシビリティに欠ける等、広告の受信者にとっては必ずしも親切で適切な案内方法であるとは言えない。
【００１８】
また、広告の放送は画一的であるため、興味の度合いが各々異なる受信者にとって適切な広告内容を提供できているとは言えない。
【００１９】
例えば、携帯電話やＰＡＤの広告で広告を多層的にしておき、受信者の興味の度合いによって広告が掲載されているページを更新させる方法も有るが、広告ページの更新は受信者にその負担を強いるものである。
【００２０】
また、ラジオやテレビの広域放送局はともかく、ローカル放送局やケーブルＴＶの運営はその規模が小さいこともあり、かなりハード、リスキーである。
【００２１】
また、広告の料金を支払う店舗側にとっても、その費用対効果比が満足できるものでなければ、その支払いに対しては不満が生じるのは当然である。しかしながら、広告放送の費用負担では、店舗側の実情を考慮しない形式のもの（例えば定額制）であるのが通常であり、放送局の広告費用と広告の支払料金との対応は不明瞭である。
【００２２】
一般には、広告を放送する放送局は必要である者だけが生き残るのが望ましく、従ってその運営には適者生存の透明性が要求される。また生存を容易にするためには、放送局の運営を安価にする必要も有る。
【００２３】
本発明は、上述の課題を解決するためになされたもので、放送局から放送される広告を現実空間と対応させてＨＭＤの表示面上に正しく表示させることを目的とする。
【課題を解決するための手段】
【００２４】
本発明は、放送局から放送される広告情報を含む放送を受信する携帯型情報装置の広告表示方法であって、広告の内容を示す内容情報と前記広告の現実空間上の位置を示す位置情報とを受信する工程と、前記広告を表示する表示面の位置及び姿勢を検出する工程と、前記位置及び姿勢と前記受信した位置情報とに基づいて前記表示面における前記広告の表示位置を決定する工程と、前記表示位置と前記受信した内容情報とに基づいて前記広告の表示情報を作成する工程と、前記広告の表示情報を前記表示面に表示する工程とを有することを特徴とする。
【００２５】
また、本発明は、放送局から放送される広告情報を含む放送を受信する携帯型情報装置であって、広告の内容を示す内容情報と前記広告の現実空間上の位置を示す位置情報とを受信する受信手段と、前記広告を表示する表示面の位置及び姿勢を検出する検出手段と、前記位置及び姿勢と前記受信した位置情報とに基づいて前記表示面における前記広告の表示位置を決定する決定手段と、前記表示位置と前記受信した内容情報とに基づいて前記広告の表示情報を作成する作成手段と、前記広告の表示情報を前記表示面に表示する表示手段とを有することを特徴とする。
【発明の効果】
【００２６】
本発明によれば、放送局から放送される広告を現実空間と対応させてＨＭＤの表示面上に正しく表示させることができる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照しながら発明を実施するための最良の形態について詳細に説明する。
【実施例１】
【００２８】
図６は、実施例１における広告放送を受信するＨＭＤの外観を示す斜視図である。図６に示す６１はＡＶを楽しめるように汎用設計されたＨＭＤ本体である。ＨＭＤ本体６１において、６２は耳に掛けるためのツルであり、６３は電気回路を収納するためのボディであり、６４は口径１／２のＳＸＧＡカラーカメラであり、２ｍ先で半径３．５ｍの範囲が撮像可能な広角の撮像カメラである。６５はステレオマイクであり、６６は２つのＶＧＡクラスのＬＣＤ（液晶表示装置）である。６７はＬＣＤ６６から出射された画像光が２ｍ先の仮想画面で大きさ５２型（半径０．６６ｍ）の画面に結像するための光学系である。６８はイヤホンであり、ツル６２の左右内側にそれぞれ１つ付けられている。
【００２９】
尚、ＬＣＤ６６が表示する表示画面の中心は、このＨＭＤ装着者が注視する現実画面の中心（前方方向、歩行方向）、即ち撮像カメラ６４が撮像する方向と一致するように各部が設計されている。
【００３０】
また、光学系６７には通常は、撮像カメラ６４によって撮像された現実画像の中央部分（５２型に相当する部分）が表示されている。
【００３１】
そして、イヤホン６８には通常は、ステレオマイク６５によって録音された現実音声が再生されている。
【００３２】
次に、図６に示すＨＭＤに対して広告を放送する側（放送局）と、広告放送を受信するＨＭＤ側の構成について説明する。尚、本実施例では、放送局とＨＭＤとの間の無線通信システムを無線免許が不要な移動無線方式とすることで、放送局を安価に設立・運営することができる。また、現在では技術レベルが低いために種々の制約があるが、無線通信として他の非接触手段、例えば現在リモコン等に使用されている赤外線等の光通信、或いは超音波等を用いても良い。
【００３３】
図１は、広告を放送する側と受信する側の回路（機能）を示すブロック図である。図１において、１５は放送局であり、内部に１１の広告主から広告情報を入力するための入力回路１２と、広告情報を格納・記憶しておくためのデータベース１３と、広告情報を含む放送を送信するための送信機１４とを含む。
【００３４】
ここで、不特定多数の広告主１１から依頼された広告は、放送局１５の職員らによって適当な広告情報へと変換され、入力回路１２からデータベース１３に格納・記憶される。また、放送される広告情報には、広告の内容を示す内容情報とＨＭＤ装着者に広告の表示を行って誘導したいと思う場所の位置情報とが含まれる。更に、内容情報には広告を表示する際の大きさとなる、視野角の情報も含まれる。
【００３５】
図１５は、ＨＭＤに映し出される視界を表した図である。図１５に示す１５１は５２型（視野角約３６度）の表示面である。また、１５３は表示面１５１の一部分に表示される広告である。
【００３６】
図１５において、Ａは現実世界上の広告の大きさに対応する一定値であり、例えば広告の対角長（メーター、ｍ）で表される。対角長Ａ（ｍ）によって広告主１１は放送局１５に支払う広告料金が異なってくる。当然、大きいほど高額となる。この対角長Ａは次式によって表される。
【００３７】
Ａ＝ｄ＊ｓｉｎψ    …（１）
ここで、ψは視野角であり、０°＜ψ＜３６°（５２型）であり、ｄ（ｍ）は広告からＨＭＤ装着者までの距離である。ＨＭＤに表示される広告の表示大きさ（対角長Ａ、視野角ψ）は距離ｄ（ｍ）によって変化する。ＨＭＤの表示画面は５２型であるから視野角に直すと約３６度であり、広告は０から３６度までの間の視野角で表示される。
【００３８】
ここでデータベース１３に格納された各広告は、不図示のタイムスケジュールによって順次送信機１４を用いて放送、送信される。
【００３９】
図１９は、放送局１５から送信される広告情報のフォーマットを示す図である。図１９に示すように、広告を表現する文字列の前方にはヘッダーが付いており、このヘッダーには、広告の表示位置を表す位置情報（緯度Ｎａ、経度Ｅａ、地面からの高さＶａ）、広告の大きさである広告対角長Ａ、及び広告の色や文字形状（フォント）を表すその他の制御情報が含まれる。そして、ヘッダーに続いて広告文字列が配置されている。尚、ヘッダーの位置情報に続く広告対角長から広告文字列までが内容情報である。
【００４０】
ここで、図１に戻り、上述のフォーマットで送信される広告を含む放送を受信する受信側の回路について説明する。
【００４１】
図１において、２６はＨＭＤ回路中の広告受信に関係する回路群である。１６は受信機であり、放送局１５から送信された広告を含む放送を受信する。１７は現在位置検出回路であり、ＨＭＤの現在位置をＧＰＳによって検出する。１８はＨＭＤ姿勢検出回路であり、ＨＭＤの姿勢を検出するための方位センサと角度センサとを含む。１９は位置姿勢検出回路であり、２つの検出回路１７、１８からＨＭＤの位置及び姿勢を計算で求める。２０は位置情報分離回路であり、受信した放送から広告位置を分離する。２１は内容情報分離回路であり、２０と同様に広告内容を分離する。２２は表示位置決定回路であり、ＨＭＤの表示面に広告を表示する位置を決定する。２３は表示情報作成回路であり、表示装置に表示情報を出力する。２４は入力端子であり、回路群２５の外部から回路２３への入力を行う。２５は表示装置であり、図６に示したＬＣＤ６６に相当する。
【００４２】
次に、図３を参照しながら実施例１におけるＨＭＤ側の回路群２６の動作について説明する。
【００４３】
まず、ステップＳ３１において、ＨＭＤ自身の位置である、緯度と経度（Ｎ０，Ｅ０）を検出する。これらはＧＰＳ回路１７によって行われる。次に、ステップＳ３２において、ＨＭＤ自身の表示面の姿勢（θ、φ）の検出を行う。両者を求める前に、ＨＭＤに貼り付けられている座標系について説明を行う。
【００４４】
図７に示すように、撮像カメラ６４が向く方向をｙ、それに垂直な水平軸をｘ、ｘｙの２軸に垂直な垂直軸をｚとすると、これらの軸が向く方向は、ＨＭＤ装着者の頭の姿勢によって変化する。
【００４５】
図７に示す座標系において、図８に示すように、角度θを、ｙ軸が、重力方向のＶ軸に垂直な水平（地平線）方向のＨ軸と成す角とすると、角度θはＨＭＤ装着者がどのくらい上を向いたかを表す量となっている。また、角度φを、ｙ軸が緯度のＮ軸（北の方向）と成す角とする。
【００４６】
そして、角度θは公知のように、重力方向を検出する重力センサを用いた角度センサによってその角度を測定する。また、角度φは、地磁気センサからなる方位センサによってその角度を測定する。尚、上述の方位センサや角度センサとして、自動航行等に使用するジャイロを用いても良い。
【００４７】
次に、ステップＳ３３において、位置情報分離回路２０により、受信した位置情報中から広告の緯度、経度、高さ（Ｎａ，Ｅａ，Ｖａ）を求め、ステップＳ３４において、これらの量に基づいて表示位置決定回路２２によって広告の表示面上での位置（ｘａ，ｚａ）を求める。
【００４８】
尚、高さ情報Ｖａは、必ずしも必要では無い。このＶａ値の指定が無い場合、ＨＭＤは広告看板にとって適当な高さ、例えば地上から２ｍ等の値を採用すれば良い。また、その指定方法も、地面からの高さではなく、絶対高さ、例えば水準点からの高さを採用しても良い。また、高さ検出の精度を高めようとした場合には、ＨＭＤ側でも絶対高さの検出が必要となるが、その方法としては高度計を設ける、ＧＰＳの３次元地図情報を利用する等でも良い。
【００４９】
ここで、広告の表示位置を決定する処理について説明する。まず表示面中央の見る位置（Ｎｃ，Ｅｃ，Ｖｃ）であるが、表示面中央からの距離、即ち、ＨＭＤからの距離をｄとすると、表示面中央の見る位置は以下の式で表される。
【００５０】
ΔＨｃ＝ｄ＊ｃｏｓθ    …（２）
ΔＶｃ＝ｄ＊ｓｉｎθ    …（３）
ΔＮｃ＝ΔＨｃ＊ｃｏｓφ＝ｄ＊ｃｏｓθ＊ｃｏｓφ    …（４）
ΔＥｃ＝−ΔＨｃ＊ｓｉｎφ＝−ｄ＊ｃｏｓθ＊ｓｉｎφ    …（５）
また、広告の存在する位置は、上述したように（Ｎａ，Ｅａ，Ｖａ）である。これから図８で定義した広告の座標（ｄａ，θａ，φａ）を求めると、以下の式で求まる。
【００５１】
ΔＨａ＝√（（Ｎａ−Ｎ０）2＋（Ｅａ−Ｅ０）2）    …（６）
ｄａ＝√（ΔＨａ2＋（Ｖａ−Ｖ０）2）    …（７）
θａ＝ｃｏｓ-1（ΔＨａ／ｄａ）    …（８）
φａ＝ｃｏｓ-1（（Ｎａ−Ｎ０）／ΔＨａ）    …（９）
ここで、Ｖ０のみが未知数であるが、本実施例では、広告とＨＭＤ装着者の地面高さは近接しているため、ほぼ同じであると仮定し、成人男子の視点高さ（eyepoint）を１．５ｍとする。
【００５２】
Ｖａ−Ｖ０＝Ｖａ−Ｖeyepoint＝Ｖａ−１．５    …（１０）
尚、この視点高さの値は、ＨＭＤを使用する者が自分の身長に合わせて、予め登録しておき、登録された値を用いても良い。
【００５３】
以上から、ｘ方向（表示面横方向）とｚ方向（表示面縦方向）の視差（Δφ，Δθ）はそれぞれ以下に示すように求まる。
【００５４】
Δφ＝−（φａ−φ）    …（１１）
Δθ＝θａ−θ    …（１２）
これをＨＭＤの表示装置であるＶＧＡ型ＬＣＤ（視野角３６度、画素数６４０＊４８０）の画素座標（ｘａ、ｚａ）に換算するには、比例係数ｋ、
ｋ＝√（６４０2＋４８０2）／３６＝８００／３６    …（１３）
を掛けて以下のように求まる。
【００５５】
ｘａ＝ｋ＊Δφ    …（１４）
ｚａ＝ｋ＊Δθ    …（１５）
次いで、ステップＳ３５において、内容情報分離回路２１により、受信した内容情報中から広告の文字列を検出する。また、広告の大きさ（対角長Ａ）も検出する。
【００５６】
対角長Ａから、表示情報作成回路２３が上記（１）式を用いて表示視野角ψを求める。この視野角ψは距離に依存し、距離ｄが大きな場合には現実の広告看板と同様に、視野角ψは小さくなる。
【００５７】
次に、ステップＳ３６において、表示情報作成回路２３が上述の位置（ｘａ，ｚａ）、視野角ψ、広告文字列を用いてビットマップ画像の作成を行う。この位置は、広告表示の中心位置として使用する。また、文字列は、ｘ軸方向に正立して順次表示される。その際に、入力端子２４に繋がる図１６に示す撮像系から現実画像が同時に取り込まれる。
【００５８】
図１６において、１６１は撮像カメラであり、図６に示したＳＸＧＡカラーカメラ６４に相当する。１６２は撮像カメラ１６１によって取り込まれた画像を構成、記憶しておくためのフレームメモリである。
【００５９】
ここで作成されたビットマップ画像は、現実画像と公知のＭＲ手法で合成され、ＬＣＤ６６に相当する表示装置２５によって両眼表示される。表示される画像は上述した図１５に示すものである。そして、本実施例では、図３に示したルーチンは受信した各広告毎に、１秒間に１回順次繰り返される。
【００６０】
尚、放送される広告情報中のその他の制御情報を使用し、広告の色や形状を変えるようにしても良い。
【００６１】
また、広告の表示は、ビットマップ画像を作らずに、例えば文字列のみ、現実画像中にスーパーインポーズしても良い。
【００６２】
実施例１によれば、汎用な携帯型ＡＶ機器であるＨＭＤを用いて、広告放送を受信することができる。また広告の場所へとＨＭＤ装着者を誘導するために、例えばＩＣカード等、その他のハードは不要である。また広告主からの料金徴収には明確な基準があるため、広告を放送する放送局の課金にも合理性が生じている。また広告の大きさを小さくすることで、広告の料金を安くでき、広告主である店舗側にとっても本広告システムの導入障壁は低くなっている。
【実施例２】
【００６３】
次に、図面を参照しながら本発明に係る実施例２を詳細に説明する。実施例２として、広告とＨＭＤ装着者の距離ｄａに応じて広告の表示を変更する場合について説明する。
【００６４】
図１８は、実施例２におけるＨＭＤ側の広告受信回路ブロックを示す図である。図１８において、１８６〜１９５は実施例１で説明した図１に示す１６〜２５に対応するものであり、ここでの説明は省略する。
【００６５】
１９７は音声情報分離回路であり、受信機１８６で受信された内容情報から音声情報を分離する。１９８は再生情報作成回路であり、音声情報をイヤホン２００に出力するための再生情報を作成する。また、再生情報作成回路１９８には不図示の外部に接続する入力端子１９９が設けられている。この入力端子は図６に示したステレオマイク６５に通じており、このステレオマイク６５で録音された現実音声がリアルタイムで入力されるように構成されている。
【００６６】
次に、図４を参照しながら実施例２におけるＨＭＤ側の広告受信回路群の動作について説明する。
【００６７】
まず、ステップＳ４１において、実施例１で説明したように、広告（Ｎａ，Ｅａ，Ｖａ）とＨＭＤ装着者（Ｎ０，Ｅ０，Ｖ０）との距離ｄａを表示位置決定回路１９２において計算する。そして、ステップＳ４２において、求めた距離ｄａを予め決められている遠方距離ｄ２と比較し、距離ｄａが遠方距離ｄ２より大きい場合にはステップＳ４６へ進み、この広告の内容を直接表示せず、図９に示すように、広告の内容を代替した点滅する青い星印９４のシンボルで表示する。
【００６８】
また、求めた距離ｄａが遠方距離ｄ２より大きくない場合にはステップＳ４３へ進み、距離ｄａを所定の距離ｄ１と比較する。ここで、距離ｄａが遠方距離ｄ２よりも小さく、距離ｄ１よりも大きい場合にはステップＳ４４へ進み、この広告の内容を図９に示す９３のように通常の手法で表示を行う。
【００６９】
また、求めた距離ｄａが距離ｄ１より小さく、接近した場合にはステップＳ４７へ進み、表示９３をブリンクさせて、ＨＭＤ装着者に更にアピールを行い、店舗への入店を促すように表示する。
【００７０】
尚、上述の画像処理は、表示位置決定回路１９２が距離ｄａと距離ｄ１、ｄ２との比較を行い、その結果を表示情報作成回路１９３へ出力することによって行われる。
【００７１】
そして、表示情報作成回路１９３が出力された距離情報に基づいてそれぞれの距離状態に応じて上述したように広告の表示情報を作成する。
【００７２】
また、ステップＳ４５において、ＨＭＤ装着者が広告に接近し、この広告を通り過ぎると（Ｄ＜０に相当）、ステップＳ４８へ進み、注意を促すために再生情報作成回路１９８がイヤホン６８からアラーム音を発する。
【００７３】
上述した通過の検出は、具体的には、以下によって行われる。
（１）ｄａがある一定の０に近い値以下になる
（２）ｄａ／ｄｔの符号が、負から正に変化する
（３）上記（１）、（２）の状態がある一定時間以上続く
また、アラーム音は、表示位置決定回路１９２から出力される距離情報を再生情報作成回路１９８が判定することで、作成される。
【００７４】
実施例２によれば、広告を見付け易く、また見落とす恐れが無い。また確実にその広告の場所へとＨＭＤ装着者を誘導することができる。
【００７５】
実施例２に用いた表示内容は何もこれに限ることは無く、任意のそれで構わない。点滅する星印は他の目に付きやすいものでも構わないし、中間での表示を、例えばブリンクや反転等の強調表示を行っても良い。
【００７６】
また、距離に応じて表示の内容を変更することも充分に考えられる。例えば、距離ｄａ＞ｄ２では目次だけ、ｄ１＜ｄａ＜ｄ２ではその内容を、ｄａ＜ｄ１ではＨＭＤ装着者の興味を引くようなプレミアム情報等を表示する等である。
【００７７】
また、広告内容は順次送る必要は全く無く、同時に３つの内容を送付しておき、ＨＭＤ側でその取捨選択を行えば良い。
【００７８】
また、距離の閾値ｄ１、ｄ２等を、放送局側から送信される広告を含む放送に含ませることも充分に考えられる。
【００７９】
実施例２によれば、放送受信者であるＨＭＤ装着者の興味の度合いに応じて、その広告の内容を切り替えることができる。
【実施例３】
【００８０】
次に、図面を参照しながら本発明に係る実施例３を詳細に説明する。実施例３として、現実空間と同様に広告の表示面の向きをも指定可能なＨＭＤの広告放送受信方法について説明する。
【００８１】
尚、ＨＭＤの外観は図６に示したものと同じであり、広告受信に関する回路群は図２に示す通りである。ここで、図２に示す３６、３９〜４５は実施例１で説明した図１に示す１６、１９〜２５に対応するものであり、ここでの説明は省略する。
【００８２】
４６はフォント変形回路であり、指定された表示面の向きに応じて表示する広告文字列のフォントを変形する。４７はメモリであり、広告のテンプレートが格納されている。
【００８３】
実施例３では、図１９に示した広告の位置情報の緯度、経度、高さ（Ｎａ，Ｅａ，Ｖａ）以外に、広告が表示される面の方向ｎ＝（ｎｎ，ｎｅ，ｎｖ）も含むものとする。
【００８４】
図１４は、広告の表示面の方向を説明するための図である。ここで、方向ｎは、図１４に示す広告１４１が現実空間上で表示されるとした場合の主面ベクトルである。この方向ｎを指定することにより、ＨＭＤの表示面上において、あたかもそこに実物の広告看板が置かれているように３次元表示を行うことができる。
【００８５】
次に、図５を参照しながら実施例３におけるＨＭＤ側の広告受信回路群の動作について説明する。
【００８６】
まず、ステップＳ５１において、実施例１で説明したように、表示面での広告表示位置（ｘａ，ｚａ）を計算する。そして、ステップＳ５２において、位置情報分離回路４０が位置情報から主面ベクトルｎを検出する。そして、ステップＳ５３へ進み、主面ベクトルｎが向く、表示面上の方向を求める。
【００８７】
ここでは、実施例１と同様に、以下の式で求める。
【００８８】
ｎｈ＝√（ｎｎ2＋ｎｅ2）    …（１６）
ｎｄ＝１    …（１７）
θｎ＝ｃｏｓ-1（ｎｈ）    …（１８）
φｎ＝ｃｏｓ-1（ｎｎ／ｎｈ）    …（１９）
次に、ステップＳ５４において、図１４に示す水平面（Ｎ−Ｅ面）での角度φとφｎとを比較する。そして、ステップＳ５５において、φｎがφ（ＨＭＤの表示面中心方向）と背向する場合、即ち、φ−９０＜φｎ＜φ＋９０の場合、この広告の表示を行わず、終了する。
【００８９】
また、φｎがφ（ＨＭＤの表示面中心方向）と対向する場合にはステップＳ５６へ進み、内容情報分離回路４１によって広告の内容である文字列を読み込む。そして、ステップＳ５７において、メモリ４７中に格納されている広告のテンプレートを、パラメータφｎを参考にして表示情報作成回路４３が読み出す。
【００９０】
図１０は、メモリに格納されているテンプレートを示す図である。図１０に示すように、テンプレート１０３は任意の長方形を鉛直方向に回転してできる形状（台形）であり、パラメータφｎの１０度刻み毎に計３６個用意されている。また、テンプレートの内容を充実することで、更なるデコレーション、レベルアップが可能である。
【００９１】
そして、読み込まれたテンプレート上に、広告文字列をフォント変形して並べる。このフォントの変形はフォント変形回路４６が担当する。
【００９２】
ここで、フォントの変形とは、フォントをパラメータφｎに従って縦長に変形することである。その手法とは、フォントの横寸法、縦寸法を（ｘｆ０，ｚｆ０）とすると、変形後の寸法（ｘｆ，ｚｆ）は、以下のようになる。
【００９３】
ｘｆ＝ｘｆ０＊ｃｏｓ（φｎ＋φ）    …（２０）
ｚｆ＝ｚｆ０    …（２１）
尚、フォントの変形方法は、式（２０）、（２１）以外にも種々のものが考えられる。例えば、拡大縮小や回転操作を利用し、文字列を更に３次元的に表示しても良い。また、広告を３次元表示することで、広告を更にリアルに表示することができる。
【００９４】
次に、ステップＳ３６において、表示情報作成回路４３がテンプレートと変形フォントを用いて広告のビットマップ画像を形成する。そして、画像は端子４４から入力した現実画像と合成され、表示装置４５であるＬＣＤ６６から画像として出力される。ここで出力される画像は図１０に示したようなものである。
【００９５】
実施例３によれば、ＨＭＤ装着者と背向する広告は表示されることがないので、例えば細い路地が並ぶ繁華街等において、隣の路地に掛かる背中向きの本来ならば見る必要のない広告を表示することがなくなり、無駄な広告を見たり、惑わされ見つかる筈のない広告を探して迷ったりすることがない。
【実施例４】
【００９６】
次に、図面を参照しながら本発明に係る実施例４を詳細に説明する。実施例４として、ＡＶ放送を楽しみながら広告情報を知り得るＨＭＤの広告放送受信方法について説明する。
【００９７】
図１７は、実施例４におけるＨＭＤの構成を示すブロック図である。図１７において、１７１は撮像カメラ、１７２はフレームメモリであり、図１６に示した公知のＭＲ手法に用いられるものと同一である。
【００９８】
１７３は表示情報作成回路であり、２種類の入力系統、即ち、一つは撮像カメラ１７１からの現実画像、他の一つは受信機１８１から受信された放送画像或いは仮想画像／仮想情報を入力する。２系統の画像情報は、スイッチ１７４で適宜切換或いは混合されて表示装置１７５に出力される。
【００９９】
１７６はマイク、１７７は増幅回路であり、図６に示したステレオマイク６５に相当し、音声情報を入力する。１７８は再生情報作成部であり、撮像系と同様に、２種類の入力系統、即ち、一つはマイク１７６からの音声情報、他の一つは受信機１８１から受信された放送音声或いは仮想音声を入力する。２系統の音声情報は、スイッチ１７９で適宜切換或いは混合されてイヤホン１８０に出力される。
【０１００】
１８２はバッファ回路であり、図２０に示すように、放送から広告の受信とテレビ放送の受信とが可能に構成されている。図２０に示す２０９〜２１２は、図２に示した３９〜４２に対応するものである。２１７はテレビ放送情報分離回路であり、放送情報の中からテレビ放送情報を分離する。
【０１０１】
また、１８３はバッファであり、受信機１８６で受信した情報から音声情報を分離する音声情報分離回路を有するものである。
【０１０２】
次に、ＡＶ放送を楽しみながら広告情報を表示装置に表示させる、図２０に示す回路群の動作について説明する。
【０１０３】
通常、スイッチ１７４を表示決定回路２１２、内容情報分離回路２１１とはオープン、テレビ放送情報分離回路２１７とはクローズとすることで、テレビ放送をこのＨＭＤでも楽しむことができる。
【０１０４】
図２１はテレビ放送画像であり、この例では、二人の漫才師１１２が漫才を行っている画像１１１である。
【０１０５】
この放送画像が終了した後、スイッチ１７４を表示決定回路２１２、内容情報分離回路２１１とはクローズ、テレビ放送情報分離回路２１７とはオープンとすることで、広告の受信が可能となる。この広告の表示は、他の実施例で説明したように行われる。
【０１０６】
また、公知のスーパーインポーズ手法を用いて、テレビ放送画像を表示中に広告を表示しても良い。
【０１０７】
尚、スイッチ１７４を表示決定回路２１２、内容情報分離回路２１１、テレビ放送情報分離回路２１７の全てとクローズにすることで、分離された放送情報は全て表示情報作成回路１７３へと伝達される。この場合、表示情報作成回路回路１７３によって作成された画像は、図１１に示すように、テレビ放送画像１１１中にスーパーインポーズされた広告１１４として表示される。
【０１０８】
実施例４によれば、テレビ放送を受信可能な汎用な携帯型ＡＶ機器、ＨＭＤにおいて、放送局が放送する広告をも受信することができる。広告は番組の間或いは邪魔にならない場所へスーパーインポーズされるため、広告を無駄なく享受することができる。
【０１０９】
また、ＨＭＤを装着したまま歩行に支障を来たす場合には、ＨＭＤを半透明型にするか、図１７に示した撮像カメラ１７１で撮像された現実画像をスイッチ１７４をクローズとすることで表示情報作成回路１７３に取り込み、公知のＭＲ手法で合成しても良い。
【０１１０】
図１１に示す１１３は、このようにして取り込まれた歩道であり、ここではテレビ放送を邪魔しない色彩と明度で描画される。
【実施例５】
【０１１１】
次に、図面を参照しながら本発明に係る実施例５を詳細に説明する。実施例５として、局地放送局が複数局揃って更なる上位組織を形成した場合について説明する。
【０１１２】
実施例５では、図１２に示すように、３つの局地放送局１２４でより大きな地域に放送が可能である広域放送局１２３を形成するものである。
【０１１３】
この広域放送局１２３は、一括した財務管理を行っており、例えば対応する地域にある広域商店街１２２から広域商店街１２２の構成要因である各店舗１２１の広告を一括して請け負うこともできる。
【０１１４】
また、広域放送局（或いは局地放送局）が送信源を３つ以上所有すると、複数の送信源を用いて放送の受信者であるＨＭＤ装着者の現在位置の検出が可能となる。これはレーダー法や光レーダー法と呼ばれる公知の手法である。
【０１１５】
図１３に示すように、３つの局地放送局１２４が、それぞれ緯度経度（Ｎ１，Ｅ１）、（Ｎ２，Ｅ２）、（Ｎ３，Ｅ３）を有すると、ＨＭＤの現在位置（Ｎ０，Ｅ０）との距離ｒ１、ｒ２、ｒ３は高さ情報を無視して容易に計算可能である。
【０１１６】
ｒｎ＝√（（Ｎｎ−Ｎ０）2＋（Ｅｎ−Ｎ０）2）    …（２２）
各局地放送局からの放送信号には、緯度、経度（Ｎｎ，Ｅｎ）情報以外に、厳密な時計によって測定された時刻を表示する情報が含まれている。また、ＨＭＤにも厳密な時計が内蔵されている。このＨＭＤでそれらの（波長、チャネルの異なる）放送信号を受信することで、送信から受信までに掛かった時間（遅れ時間）τｎを知ることができる。
【０１１７】
この遅れ時間τｎは距離１００ｍで０．３μｓ程度であるので、さほど高級な電気回路でなくても充分に検出することができる。
【０１１８】
ここで、遅れ時間τｎが分かれば、距離ｒｎは放送電波の回折等を無視し、以下の式で求めることができる。ここで、ｃは光の速度である。
【０１１９】
ｒｎ＝ｃτｎ    …（２４）
従って、３つの放送チャネルで各局地放送局からの距離ｒ１、ｒ２、ｒ３を求め、それらを用いてＨＭＤの現在位置（Ｎ０，Ｅ０）を只１点に特定することができる。
【０１２０】
また、ＨＭＤ装着者が各店舗に立寄った際に、入店場所に、例えば監視カメラ等を設置しておくことで、ＨＭＤ装着者の入店数を知ることができる。そして、入店した装着者は、ＨＭＤに表示される広告によって誘導された客であると推定することができる。
【０１２１】
そこで、入店した装着者の人数、即ち誘導された員数を広告料金の支払いの目安とすることができる。
【０１２２】
実施例５では、この員数により、店舗／広告主に請求する広告料金の額を変更する。
【０１２３】
実施例５によれば、規模の拡大によって放送局の運営のリスクを低減することができる。また、ＧＰＳの代わりに、ＨＭＤ装着者が自身の現在位置を知ることもできる。また、放送局、広告主の両者にとって合理的な、広告料金の決定を行うことができる。
【０１２４】
また、本発明の構成は電気回路等のハードウェアではなく、ソフトウェア、プログラム等で構成しても良い。また、ＨＭＤは、他のＡＶ機能を搭載した携帯型ＡＶ機器、例えば携帯電話、ＰＤＡ等であっても良い。
【０１２５】
本発明は複数の機器（例えば、ホストコンピュータ，インターフェース機器，リーダ，プリンタなど）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用しても良い。
【０１２６】
また、本発明の目的は前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ若しくはＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【０１２７】
この場合、記録媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。
【０１２８】
このプログラムコードを供給するための記録媒体としては、例えばフロッピー（登録商標）ディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【０１２９】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３０】
更に、記録媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【０１３１】
【図１】広告を放送する側と受信する側の回路（機能）を示すブロック図である。
【図２】実施例３におけるＨＭＤ側の広告受信回路ブロックを示す図である。
【図３】実施例１におけるＨＭＤ側の回路群の動作を示すフローチャートである。
【図４】実施例２におけるＨＭＤ側の回路群の動作を示すフローチャートである。
【図５】実施例３におけるＨＭＤ側の回路群の動作を示すフローチャートである。
【図６】実施例１における広告放送を受信するＨＭＤの外観を示す斜視図である。
【図７】ＨＭＤにおける座標系を示す図である。
【図８】ＨＭＤ装着者の姿勢変化を検出する方法を説明するための図である。
【図９】広告の内容をシンボルで表示した例を示す図である。
【図１０】メモリに格納されているテンプレートを示す図である。
【図１１】テレビ放送画像中にスーパーインポーズされた広告を示す図である。
【図１２】実施例５における放送局の構成の一例を示す図である。
【図１３】３つの局地放送局の緯度経度から現在位置を求める方法を示す図である。
【図１４】広告の表示面の方向を説明するための図である。
【図１５】ＨＭＤに映し出される視界を表した図である。
【図１６】撮像系の構成の一例を示す図である。
【図１７】実施例４におけるＨＭＤの構成を示すブロック図である。
【図１８】実施例２におけるＨＭＤ側の広告受信回路ブロックを示す図である。
【図１９】放送局１５から送信される広告情報のフォーマットを示す図である。
【図２０】実施例４におけるバッファ回路１８２の構成を示す図である。
【図２１】テレビ放送画像の一例を示す図である。
【符号の説明】
【０１３２】
１１  広告主
１２  入力回路
１３  データベース
１４  送信機
１５  放送局
１６  受信機
１７  現在位置検出回路
１８  姿勢検出回路
１９  位置、姿勢検出回路
２０  位置情報分離回路
２１  内容情報分離回路
２２  表示位置決定回路
２３  表示情報作成回路
２４  入力端子
２５  表示装置
２６  回路群
６１  本体
６２  ツル
６３  ボディ
６４  カメラ
６５  マイク
６６  ＬＣＤ
６７  光学系
６８  イヤホン
【図１】
2005173042.tif 000003
【図２】
2005173042.tif 000004
【図３】
2005173042.tif 000005
【図４】
2005173042.tif 000006
【図５】
2005173042.tif 000007
【図６】
2005173042.tif 000008
【図７】
2005173042.tif 000009
【図８】
2005173042.tif 000010
【図９】
2005173042.tif 000011
【図１０】
2005173042.tif 000012
【図１１】
2005173042.tif 000013
【図１２】
2005173042.tif 000014
【図１３】
2005173042.tif 000015
【図１４】
2005173042.tif 000016
【図１５】
2005173042.tif 000017
【図１６】
2005173042.tif 000018
【図１７】
2005173042.tif 000019
【図１８】
2005173042.tif 000020
【図１９】
2005173042.tif 000021
【図２０】
2005173042.tif 000022
【図２１】
2005173042.tif 000023