(57)【要約】  【課題】  データ配信装置において立体表示を想定した画像データを配信し、端末装置側で立体表示させるような立体表示システム等において、端末装置側で画像の一部の領域の飛び出し量を変更することが可能な立体表示システム等を提供する。  【解決手段】  データ配信装置においては、立体表示した際の飛び出し量が固定された第１の左眼用データ及び第１の右眼用データと、単眼形式のデータとを併せて配信する。端末装置２００側では、設定された飛び出し量に従って、単眼画像処理部２２２が、単眼形式のデータから第２の左眼用データ及び第２の右眼用データを生成し、左眼画像処理部２２４では第１の左眼用データと第２の左眼用データ、右眼画像処理部２２５では第１の右眼用データと第２の右眼用データをそれぞれ合成し、生成したデータを用いて表示部２５０で立体表示させる。【選択図】  図３
2005135375.tif 000002
【特許請求の範囲】
【請求項１】
データ配信装置において立体表示を想定したデータを配信するとともに、端末装置側で、配信された当該データを取得し、立体表示する立体表示システムにおいて、
前記データ配信装置は、
立体表示した際の飛び出し量が固定された第１の左眼用データ及び第１の右眼用データと、端末装置側で飛び出し量を変更することが可能な形式の変更可能データとを配信し、
前記端末装置は、
設定された飛び出し量に従って前記変更可能データから第２の左眼用データ及び第２の右眼用データを取得し、前記第２の左眼用データと前記第１の左眼用データ、前記第２の右眼用データと前記第１の右眼用データをそれぞれ合成して生成した合成データを用いて立体表示させることを特徴とする立体表示システム。
【請求項２】
前記変更可能データは二次元表示用の画像データであり、
前記端末装置では、前記二次元表示用の画像データから、前記設定された飛び出し量で立体表示されるような、前記第２の左眼用データ及び前記第２の右眼用データを生成することを特徴とする請求項１に記載の立体表示システム。
【請求項３】
前記変更可能データは、前記設定された飛び出し量に関する情報を含み、
前記端末装置では、前記変更可能データに含まれる情報を参照して前記第２の左眼用データ及び前記第２の右眼用データを生成することを特徴とする請求項３に記載の立体表示システム。
【請求項４】
前記データ配信装置は、前記第１の左眼用データおよび前記第１の右眼用データをそれぞれ独立したデータとして配信する、または前記第１の左眼用データおよび前記第１の右眼用データを特定のフォーマットにより１つのデータとして配信する請求項１に記載の立体表示システム。
【請求項５】
立体表示を想定したデータを配信するデータ配信装置において、
データに含まれるオブジェクトの一部については、立体表示した際の飛び出し量が固定された左眼用データと右眼用データとを含む左右両眼形式で配信し、他の一部については、端末装置側で飛び出し量を変更することが可能な形式で配信することを特徴とするデータ配信装置。
【請求項６】
前記データ配信装置はさらに、
前記端末装置側で飛び出し量を変更することが可能な形式の、データの飛び出し量に関する情報を記述したデータを併せて配信することを特徴とする請求項５に記載のデータ配信装置。
【請求項７】
当該データ配信装置は、前記端末装置に対して問い合わせを行い、問い合わせに対する結果により前記端末装置に配信するデータの種別を変更する手段をさらに備える請求項５に記載のデータ配信装置。
【請求項８】
立体表示を想定したデータを取得し、該データを処理する端末装置において、
前記立体表示を想定したデータとして、該データに含まれるオブジェクトの一部については、立体表示した際の飛び出し量が固定された第１の左眼用データと第１の右眼用データとを含む左右両眼形式であり、他の一部については、端末装置側で飛び出し量を変更することが可能な形式であるデータを取得する第１のデータ取得手段と、
前記端末装置側で飛び出し量を変更することが可能な形式のデータから、設定された飛び出し量に従い、第２の左眼用データ及び第２の右眼用データを取得する第２のデータ取得手段と、
前記第１の左眼用データと前記第２の左眼用データ、前記第１の右眼用データ及び前記第２の右眼用データをそれぞれ合成する合成手段とを備えることを特徴とする端末装置。
【請求項９】
前記第１のデータ取得手段は、
前記端末装置側で飛び出し量を変更することが可能な形式のデータとして、二次元表示用の画像データを取得し、
前記第２のデータ取得手段は、
前記二次元表示用の画像データから、前記設定された飛び出し量で立体表示されるような、前記第２の左眼用データ及び前記第２の右眼用データを生成する生成部を含むことを特徴とする請求項８に記載の端末装置。
【請求項１０】
前記第１のデータ取得手段が取得したデータには、前記端末装置側で飛び出し量を変更することが可能な形式のデータの飛び出し量を設定する情報が含まれており、
前記端末装置は、前記第１のデータ取得手段が取得したデータから、前記飛び出し量を設定する情報を取り出す取り出し手段を含むことを特徴とする請求項８に記載の端末装置。
【請求項１１】
前記端末装置は、
前記端末装置側で飛び出し量を変更することが可能な形式の、データの飛び出し量を設定する飛び出し量設定手段を含むことを特徴とする請求項８に記載の端末装置。
【請求項１２】
前記合成手段により合成されたデータにより画像を立体表示させる表示手段を含むことを特徴とする請求項８に記載の端末装置。
【請求項１３】
立体表示を想定したデータを配信する側において、
立体表示した際の飛び出し量が固定された第１の左眼用データ及び第１の右眼用データと、端末装置側で飛び出し量を変更することが可能な形式の変更可能データとを配信し、
配信されたデータを取得した側において、
飛び出し量を設定する設定ステップと、
設定された飛び出し量に従って前記変更可能データから第２の左眼用データ及び第２の右眼用データを取得する取得ステップと、
前記第２の左眼用データと前記第１の左眼用データ、前記第２の右眼用データと前記第１の右眼用データをそれぞれ合成する合成ステップとを実行することを特徴とするデータ処理方法。
【請求項１４】
コンピュータに、
飛び出し量が固定された第１の左眼用データ及び第１の右眼用データを取得する処理と、
二次元表示用の画像データから、第２の左眼用データ及び第２の右眼用データを生成する処理と、
前記第１の左眼用データと前記第２の左眼用データ、前記第１の右眼用データと前記第２の右眼用データとをそれぞれ合成する合成処理と、
前記合成処理により得られた第３の左眼用データ及び第３の右眼用データと、二次元表示用の画像データとを併せて立体表示を想定したデータを生成する３Ｄデータ生成処理とを実行させることを特徴とするプログラム。
【請求項１５】
コンピュータに、
飛び出し量が固定された第１の左眼用データ及び第１の右眼用データを取得する処理と、
二次元表示用の画像データを取得する処理と、
設定された飛び出し量を取得する処理と、
取得した飛び出し量に基づき、前記二次元表示用の画像データから、第２の左眼用データ及び第２の右眼用データを生成する処理と、
前記第１の左眼用データと前記第２の左眼用データ、前記第１の右眼用データと前記第２の右眼用データとをそれぞれ合成する合成処理とを実行させることを特徴とするプログラム。
【請求項１６】
請求項１４又は１５のいずれかに記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を立体表示する立体表示システム、データ配信装置、端末装置、データ処理方法、プログラム及び記録媒体に関する。
【背景技術】
【０００２】
一般的に、画像に関する情報処理では、多くのシステム資源、特に容量の大きいメモリが必要とされるため、システム資源が限定された携帯電話機などの情報端末で処理を行うことは困難な場合がある。そのような状況において、画像処理の中で比較的重い処理（ボリュームレンダリング処理）を、画像データを送信するサーバの側で行って二次元のイメージデータを生成し、生成されたイメージデータを情報端末側に送信して、情報端末側では比較的軽い処理（受信したデータの表示、あるいはポリゴンレンダリング処理）を行うようにした映像データ表示用クライアント及び映像データ生成用サーバが特許文献１に開示されている。
【０００３】
一方、古くから画像を立体表示させる方法について、各種メガネを用いる方法、メガネを用いない方法など、種々検討されている。メガネを用いない方法として、左眼と右眼との間の視差を利用して画像を立体的に見せる方法（視差バリア方式、レンティキュラ方式など）があり、最近では、携帯電話機などの小型軽量化された情報端末でも、画像を立体表示させることができるような状況となっている。このような状況に鑑み、小型軽量の情報端末に立体表示を想定した画像データを配信するサービスなども始まっている（例えば非特許文献１）。非特許文献１に開示されているのは、特定の携帯電話機にて再生表示が可能な３Ｄデータフォーマットにて作成された立体表示用画像データを配信するサービスである。本背景技術の３Ｄデータフォーマットにおいては、サーバ側で既に各種オブジェクトの配置処理を行っているため、端末側でこれを表示する処理は軽いものでよく、処理能力の小さい情報端末でも画像の立体表示を行うことが可能となっている。
【特許文献１】特開２００２−２３０５７８号公報
【非特許文献１】河村  成浩、“新型携帯電話「SH251iS」で、3D待ち受け画像サービス  ハドソン”、[online]、平成１４年１１月１５日、HUDSON  SOFT、[平成１５年８月２８日検索]、＜URL： HYPERLINK "http://www.mainichi.co.jp/life/hobby/game/news/news/2002/11/15-3.html" http://www.mainichi.co.jp/life/hobby/game/news/news/2002/11/15-3.html＞
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１の技術は、ボリュームレンダリング／ポリゴンレンダリングなど、コンピュータグラフィックのレンダリング処理を行うサーバ・クライアントシステムでの技術であり、立体表示を想定した画像データ（以下、「３Ｄデータ」という。）の処理を行うことはできない。また、非特許文献１の技術では、端末側で画像を立体表示させる際のオブジェクトの飛び出し量は全体として固定されており、画像の一部の領域について端末装置側で飛び出し量を変更することはできないという問題点を有していた。処理能力の高い端末装置であれば、多少画像処理の負荷がかかっても実行することは可能であるが、前記した携帯電話機等の端末では、搭載できるメモリの容量に限りがあり、端末側での処理の負荷はできる限り小さくしたい、という一般的な要求がある。
【０００５】
本発明は、係る問題点に鑑みてなされたものであって、特にメモリなどのシステム資源の限定された端末装置を用いた場合でも、画像の一部の領域について端末側で飛び出し量を変更することができる立体表示システム、データ配信装置、端末装置、データ処理方法、プログラム及び記録媒体を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記の問題点を解決するために、本発明の立体表示システムは、データ配信装置において立体表示を想定したデータを配信するとともに、端末装置側で、配信された当該データを取得し、立体表示する立体表示システムにおいて、前記データ配信装置は、立体表示した際の飛び出し量が固定された第１の左眼用データ及び第１の右眼用データと、端末装置側で飛び出し量を変更することが可能な形式の変更可能データとを配信し、前記端末装置は、設定された飛び出し量に従って前記変更可能データから第２の左眼用データ及び第２の右眼用データを取得し、第２の左眼用データと前記第１の左眼用データ、第２の右眼用データと前記第１の右眼用データをそれぞれ合成して生成した合成データを用いて立体表示させることを特徴としている。
【０００７】
この構成によれば、変更可能データに基づく部分について端末装置側で飛び出し量を変更することが可能となるため、もって画像の一部の領域について飛び出し量を変更することができる。
【０００８】
なお、データ配信装置と端末装置との間は、例えばインターネット、ＬＡＮ等、有線、無線の各種ネットワークにより接続された状態で画像データの配信及び取得を行うようにすることができるが、本発明の適用範囲はこれに限定されず、ネットワーク以外の接続でもよいし、両者が接続されていない状態で各種記録媒体を介してデータの配信、取得を行う場合も含んでいる。例えば製造業者の側で、本発明に係るデータ配信装置を用いて、配信すべき画像データをメモリスティック等の記録媒体に格納して販売し、当該記録媒体を購入したユーザが携帯電話機等の端末装置に画像データを読み込んで表示するような場合も含む趣旨である。
【０００９】
なお、変更可能データの一例として二次元表示用の画像データを用いることができる。二次元表示用の画像データから立体表示用の画像データを取得する方法としては、例えば特開平８−６３６１５号公報に記載された方法を適用することができる。従って、前記端末装置では、当該二次元表示用の画像データから、前記設定された飛び出し量で立体表示されるような、第２の左眼用データ及び第２の右眼用データを生成することができる。飛び出し量の調整は、第２の左眼用データ及び第２の右眼用データの水平方向相対距離を調整することにより実現することができる。
【００１０】
また、前記設定された飛び出し量の具体的な設定について、端末装置側で設定する手段（ボタン、スイッチ等の手段、音声入力、手書き文字入力など方法は特に限定されない。）を設けることが、端末装置側での飛び出し量の変更、という観点からは好ましいが、初期値としては、変更可能データに当該設定された飛び出し量に関する情報を含め、前記端末装置では、当該変更可能データに含まれる情報を参照して第２の左眼用データ及び第２の右眼用データを生成することもできる。
【００１１】
前記データ配信装置は、上記第１の左眼用データおよび前記第１の右眼用データをそれぞれ独立したデータとして配信してもよいし、または前記第１の左眼用データおよび前記第１の右眼用データを特定のフォーマットにより１つのデータとして配信してもよい。
【００１２】
本発明に係るデータ配信装置は、立体表示を想定したデータを配信するデータ配信装置において、データに含まれるオブジェクトの一部については、立体表示した際の飛び出し量が固定された左眼用データと右眼用データとを含む左右両眼形式で配信し、他の一部については、端末装置側で飛び出し量を変更することが可能な形式で配信することを特徴としている。「配信」が、ネットワーク等に接続された状態での送信に限られず、記録媒体等への格納なども含むのは上記と同様である。
【００１３】
前記データ配信装置はさらに、前記端末装置側で飛び出し量を変更することが可能な形式のデータの飛び出し量に関する情報を記述したデータを併せて配信することもできる。以下に説明する本発明の実施例では、飛び出し量に関する情報を含め、配信装置側や端末装置側で行う具体的な処理内容を「スクリプト」と称するテキスト形式で記述し、３Ｄデータと併せて送信するようにしているが、処理内容等に関する情報は当該テキスト形式に限らず、他の形式でも構わない。
【００１４】
前記データ配信装置は、前記端末装置に対して問い合わせを行い、問い合わせに対する結果により前記端末装置に配信するデータの種別を変更する手段をさらに備えてもよい。
【００１５】
本発明に係る端末装置は、立体表示を想定したデータを取得し、当該データを処理する端末装置において、前記立体表示を想定したデータとして、当該データに含まれるオブジェクトの一部については、立体表示した際の飛び出し量が固定された第１の左眼用データと第１の右眼用データとを含む左右両眼形式であり、他の一部については、端末装置側で飛び出し量を変更することが可能な形式であるデータを取得する第１のデータ取得手段と、
前記端末装置側で飛び出し量を変更することが可能な形式のデータから、設定された飛び出し量に従い、第２の左眼用データ及び第２の右眼用データを取得する第２のデータ取得手段と、前記第１の左眼用データと前記第２の左眼用データ、前記第１の右眼用データ及び前記第２の右眼用データをそれぞれ合成する合成手段とを備えることを特徴としている。
【００１６】
ここで、前記第１のデータ取得手段は、前記端末装置側で飛び出し量を変更することが可能な形式のデータとして、二次元表示用の画像データを取得し、前記第２の取得手段は、当該二次元表示用の画像データから、前記設定された飛び出し量で立体表示されるような、第２の左眼用データ及び第２の右眼用データを生成する生成部を含むことができる。二次元表示用の画像データはデータ量が少ないため、ネットワークの負荷を軽くするためには好適であるが、ネットワークの負荷を考慮する必要がない場合（特に記録媒体を介して配信を行う場合等）には、端末装置側で飛び出し量の変更が可能な形式のデータであれば、変更可能データとして二次元表示用のデータに限定されるわけではない。
【００１７】
なお、前記第１の取得手段が取得したデータには、前記端末装置側で飛び出し量を変更することが可能な形式のデータの飛び出し量を設定する情報が含まれており、前記端末装置は、前記第１の取得手段が取得したデータから、前記飛び出し量を設定する情報を取り出す取り出し手段を含むようにしてもよい。もっとも端末装置側に飛び出し量の設定手段を設けることもできるのは前述の通りであり、当該設定手段から飛び出し量が設定されていない場合に、配信装置から配信されたデータに含まれる飛び出し量に従って処理を行うようにすることもできる。
【００１８】
なお、本発明に係る端末装置は、前記合成手段により合成されたデータにより画像を立体表示させる表示手段を含むようにしてもよいが、表示手段は、別に備えるようにしてもよい。
【００１９】
本発明に係るデータ処理方法は、立体表示を想定したデータを配信する側において、立体表示した際の飛び出し量が固定された第１の左眼用データ及び第１の右眼用データと、端末装置側で飛び出し量を変更することが可能な形式の変更可能データとを配信し、配信されたデータを取得した側において、飛び出し量を設定する設定ステップと、設定された飛び出し量に従って前記変更可能データから第２の左眼用データ及び第２の右眼用データを取得する取得ステップと、第２の左眼用データと前記第１の左眼用データ、第２の右眼用データと前記第１の右眼用データをそれぞれ合成する合成ステップとを実行することを特徴とする。
【００２０】
本発明に係る第１のプログラムは、コンピュータに、飛び出し量が固定された第１の左眼用データ及び第１の右眼用データを取得する処理と、二次元表示用の画像データから、第２の左眼用データ及び第２の右眼用データを生成する処理と、前記第１の左眼用データと前記第２の左眼用データ、前記第１の右眼用データと前記第２の右眼用データとをそれぞれ合成する合成処理と、前記合成処理により得られた第３の左眼用データ及び第３の右眼用データと、二次元表示用の画像データとを併せて立体表示を想定したデータを生成する３Ｄデータ生成処理とを実行させることを特徴とする。このプログラムはデータ配信装置の機能を実現するプログラムである。
【００２１】
本発明に係る第２のプログラムは、コンピュータに、飛び出し量が固定された第１の左眼用データ及び第１の右眼用データを取得する処理と、二次元表示用の画像データを取得する処理と、設定された飛び出し量を取得する処理と、取得した飛び出し量に基づき、前記二次元表示用の画像データから、第２の左眼用データ及び第２の右眼用データを生成する処理と、前記第１の左眼用データと前記第２の左眼用データ、前記第１の右眼用データと前記第２の右眼用データとをそれぞれ合成する合成処理とを実行させることを特徴とする。このプログラムは、本発明に係る端末装置の機能を実現するプログラムである。また、本発明に係る記録媒体は、上記本発明に係る第１、又は第２のプログラムのいずれかを記録したことを特徴とする。
【発明の効果】
【００２２】
本発明の立体表示システムでは、データ配信装置から配信されるデータに、立体表示した際の飛び出し量が固定された第１の左眼用データ及び第１の右眼用データと、端末装置側で飛び出し量を変更することが可能な形式の変更可能データとを含め、端末装置側で、設定された飛び出し量に従って、前記変更可能データから第２の左眼用データ及び第２の右眼用データを取得し、第２の左眼用データと前記第１の左眼用データ、第２の右眼用データと前記第１の右眼用データをそれぞれ合成して生成した合成データを用いて立体表示させるので、端末装置側で、変更可能データに基づく部分、即ち画像の一部の領域について飛び出し量を変更することが可能になるという効果がある。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００２４】
（１）立体表示システムの全体構成
【００２５】
図１は、本発明の実施例１における立体画像の立体表示システムの全体構成を示す図である。本実施例の立体表示システムは、画像データスクリプト格納部１１０を備え、３Ｄデータを配信するデータ配信装置としてのサーバ１００、及びサーバ１００から配信された画像データを表示させる表示部を有する端末装置２００を、インターネット等のネットワーク３００を介して接続して構成される。画像データスクリプト格納部１１０には、立体表示が想定され、各々のオブジェクトから構成される画像データ（配信される３Ｄデータのもとになる画像データ）、及び当該画像データをどのように処理するかを記述した「オブジェクト配置記述スクリプト」（以下、単に「スクリプト」ともいう。）が格納される。画像データの少なくとも一部は、そのままの状態で立体表示が可能であるが、画像に含まれるオブジェクトの飛び出し量は固定された形式となっている。また、他の一部は、端末装置２００側で飛び出し量の変更が可能な形式のデータとして、二次元表示用データの形式で格納されている。サーバ１００側では、画像データの配置処理を行って、配信される３Ｄデータを生成し、端末装置２００側へと配信する。
【００２６】
（２）サーバ１００の構成
【００２７】
図２は、サーバ１００の構成について説明するための機能ブロック図である。
【００２８】
前記したように、画像データスクリプト格納部１１０には、各々のオブジェクトから構成される画像データ及びスクリプトが格納されている。画像データの中には、立体表示のための左眼用データ及び右眼用データ（両者を併せて「左右両眼形式」のデータ、という。）が既に準備されているものと、そのような左右両眼形式のデータが用意されていない二次元表示用のデータ（以下「単眼形式」のデータ、という。）とが含まれている。
【００２９】
本実施例では左右両眼形式のデータとして、例えばステレオカメラを用いて取得したような画像データを想定しており、通常は、左右両眼形式のデータのみから立体表示の際の各オブジェクトの飛び出し量を変更することはできない。しかし、本実施例の立体表示システムでは、飛び出し量の変更が可能な形式のデータ（単眼形式のデータを立体表示可能なフォーマットに変換したデータの他、左右両眼形式のデータであって両眼に対応するデータの水平方向相対距離を変更することにより飛び出し量を変更することが可能な形式のデータなども含む。以下「変更可能データ」ともいう。）を３Ｄデータに含め、飛び出し量の固定された左右両眼形式のデータと、変更可能データとの合成処理を行うことにより、端末装置の側で画像の一部の領域について、飛び出し量を変更することを可能としたものである。
【００３０】
本実施例のサーバ１００側で３Ｄデータを生成するための各種の処理を行う部分として、データ分離処理部１２１、単眼画像配置処理部１２２、及び両眼画像配置処理部１２３がある。これらの各部は、実際にはＣＰＵ等のプロセッサ上でプログラムを動作させることにより実現することができるが、専用のハードウェアを利用して処理を行うことも可能である。データ分離処理部１２１は、画像データオブジェクト格納部１１０から画像データ及びスクリプトを取得し、スクリプトの内容に従って画像データの分離処理を行う。本実施例におけるスクリプトの内容については後に詳細に説明するが、３Ｄデータに含まれるデータが単眼形式のデータである場合には単眼画像配置処理部１２２へと送り、左右両眼形式のデータである場合には両眼画像配置処理部１２３へと送る。データ分離処理部１２１は、スクリプトを参照しながら処理を行うが、当該スクリプト１２４も、配置処理の終了した３Ｄデータとともに送信制御部１２５、ネットワーク３００を介して端末装置２００側へと送信される。本実施例においてサーバ１００側で実行する単眼形式、及び左右両眼形式のデータに対する配置処理の、より詳細な内容については後述する。
【００３１】
（３）端末装置２００の構成
【００３２】
次に端末装置２００の構成について説明する。図３は、本実施例の端末装置２００の構成を示す機能ブロック図である。端末装置２００は、立体表示可能な表示部２５０、及び表示部２５０への表示を制御する表示制御部２４０を備えている他、サーバ１００側から配信された３Ｄデータを処理する部分として、データ分離部２２１、単眼画像処理部２２２、視差調整部２２３、左眼画像処理部２２４、及び右眼画像処理部２２５を備えている。サーバ１００側から配信された３Ｄデータ及びスクリプトは例えばインターネット等のネットワーク３００を通じ、入力制御部２２６を介して端末装置２００が取得する。
【００３３】
データ分離部２２１は、配信されたデータを、スクリプト２２７と、左右両眼形式のデータ及び単眼形式のデータに分離する。本実施例では、基本的には配信された３Ｄデータの中の左右両眼形式のデータについては、端末装置２００の側では特に処理を行わず、単眼画像データから生成された左眼用データ及び右眼用データとの合成処理の対象となる。単眼画像処理部２２２は、受信した単眼形式のデータを、スクリプト２２７の内容を参照しながら立体表示可能な形式に変換するとともに、視差調整部２２３を介して入力される視差情報（飛び出し量を示す情報）の指定を受け、指定された飛び出し量で立体表示される左眼用データと右眼用データとを生成する。なお、視差調整部２２３は、例えば、ボタン、スイッチ等の各種入力装置を介してユーザにより入力された飛び出し量を示す情報を保持している。
【００３４】
左眼画像処理部２２４、右眼画像処理部２２５は、スクリプト２２７の内容を参照しながら、配信された３Ｄデータの中の左右両眼形式のデータに含まれる第１の左眼用データ、及び第１の右眼用データと、単眼形式のデータから生成された第２の左眼用データ及び第２の右眼用データとをそれぞれ合成し、最終的な左眼用データ、右眼用データを生成し表示制御部２４０へと送る。送られたデータを表示部２５０に表示させることにより、ユーザは立体表示された画像を見ることができる。表示された画像は、画像の一部（本実施例においては単眼形式で送信された領域）について、端末装置２００側で設定された飛び出し量に基づいて、飛び出し量が調整された画像となる。
【００３５】
（４）オブジェクト配置記述スクリプトについて
【００３６】
ここで、スクリプトのより具体的な内容について説明する。スクリプトには、サーバ１００側での各オブジェクトの配置処理、端末装置２００側での単眼形式のデータに対する処理や、左眼用データ及び右眼用データの合成処理等に必要な情報が記述される。図４はスクリプトの内容の一例を示す図である。本実施例ではスクリプトはＸＭＬ（拡張可能マークアップ言語）の形式で記述される（第００行目参照）。以下、図５に示された各タグに関する説明も参照しながらスクリプトについて説明する。
【００３７】
スクリプトの＜ｏｂｊ＿ｒｅｎｄ＞（第０１行目参照）は、本実施例のスクリプトのルート要素である。＜ｏｂｊ＿ｒｅｎｄ＞の子供要素として、＜ｄａｔａ＞がある。第０２行目から第１６行目までには、サーバ１００側から送信される際に左右両眼形式で送信されるデータについての記述がなされている。これらのデータが左右両眼形式である旨が第０２行目の「ｍｏｄｅ」属性として記述されている。
【００３８】
各データ情報＜ｄａｔａ＞の子供要素としてのオブジェクト情報＜ｏｂｊｅｃｔｓ＞として第０５行目から第１２行目までに、一つのオブジェクトが記述されており、本オブジェクトには三つのイメージ情報が記述されている（第０６行目から第１１行目）。これら三つのイメージ情報はサーバ１００の側で左右両眼形式の画像データを生成するための情報である。第０７行目、及び第０９行目に、もともと左右両眼形式であるデータ（例えばステレオカメラなどを用いて得た画像データ）に関する情報が記述されている。第０７行目の記述は左眼用データに関するものであり（ｔｙｐｅ＝“ｌｅｆｔ”）、ｏｆｆｓｅｔ＿ｘ、ｏｆｆｓｅｔ＿ｙは、“ｎａｍｅ”で指定されたファイルから画像を切り出す際の切り出し位置を示す情報である（図５参照）。また、“ｗｉｄｔｈ”及び“ｈｅｉｇｈｔ”は、切り出す領域の幅及び高さを示す情報である（図５参照）。左眼用データ及び右眼用データは、図４の例のように、別のファイルから、それぞれ同一の位置を切り出して用いることもあるし、同一ファイルの異なる領域を切り出して左右両眼形式のデータとする場合もある。また、別ファイルの別領域を切り出す場合も考えられる。スクリプトには、画像ファイルから左右両眼形式のデータを生成する際の処理を柔軟に定義することができる。
【００３９】
第１１行目には、上記の左眼用データ及び右眼用データと、サーバ１００の側で合成される単眼形式のデータに関する情報が記述されている。この行には、上記した切り出し領域を示す情報の他に、視差情報（“ｐａｒａｌｌａｘ”）が定義されており、サーバ１００側で、これらの情報から左右両眼形式の画像データを生成する。単眼形式から左右両眼形式への変換処理においては、例えば上記した特開平８−６３６１５号公報に記載された方法を適用することができ、変換により得られた左右両眼形式のデータが、ｐａｒａｌｌａｘ属性で示された飛び出し量となるような、水平方向相対距離をもって、上記左眼用データ及び右眼用データとそれぞれ合成され、最終的に配信される左右両眼形式データが生成される。本実施例では、このデータについては、端末装置２００側で飛び出し量の変更がなされることはない。
【００４０】
第１５行目の記述（ｏｐｔｉｏｎ）は、端末装置２００側で画像の合成処理を行う際に参照される情報である。データ情報（＜ｄａｔａ＞）は、サーバ１００から端末装置２００に対して配信されるデータの数だけ記述する必要があり、図４の例では、上記に説明した左右両眼形式のデータの他に、以下に説明する単眼形式のデータ（端末装置２００の側で飛び出し量の変更が可能な領域に対応する。）が配信され、後述するように端末装置２００の側で画像の合成処理が行われるが、その際の重ね合わせの位置（“ｘ”及び“ｙ”）や、どの領域が手前に配置されるかを示す情報（“ｐｒｉｏｒｉｔｙ”）が＜ｏｐｔｉｏｎ＞として記述される。
【００４１】
図４のスクリプトの第１７行目から第２８行目までには、３Ｄデータに含まれる単眼形式のデータについての記述がなされている。第２１行目及び第２２行目に、二つの画像ファイルが規定されており、サーバ１００側では、これら二つの画像を合成して一つの単眼形式のデータを生成する。各パラメータの意味は既述であるので、ここでの説明は省略する。第２７行目に記載されている＜ｏｐｔｉｏｎ＞として“ｐａｒａｌｌａｘ”属性が記述されているが、これは、端末装置側で左右両眼形式への変換を行う際の初期値的な飛び出し量であり、端末装置２００の視差調整部２２３に、飛び出し量の設定がなされていない場合に、この属性に従って変換処理が行われる。
【００４２】
（５）サーバ１００側での処理内容
【００４３】
次に、本実施例でのサーバ１００側の具体的な処理内容について説明する。前記したようにサーバ１００では、スクリプトの内容を参照しながら画像データの配置処理等を行って３Ｄデータを生成し、端末装置２００側へと送信する処理を行う。図６はサーバ１００側での処理内容を説明するためのフローチャートである。サーバ１００では、まずスクリプトを読み込み（Ｓ１０１）、次いで、まず最初の画像データ（図４のスクリプトの例では、ファイル名「ｉ００１．ｐｎｇ」）の読み込みを行う（Ｓ１０２）。さらにスクリプトの内容を参照した結果、読み込んだ画像データが左右両眼形式で配置処理すべきものであった場合（Ｓ１０３：ＹＥＳ）には、左右両眼形式での配置処理を行う（Ｓ１０４）。図４の例では、＜ｄａｔａ＞要素の「ｍｏｄｅ」属性を参照して、いずれに進むかが判定される。ここで、まず左右両眼形式での配置処理について説明する。
【００４４】
図７は左右両眼形式でのオブジェクトの配置処理について説明するための図である。図４のスクリプトの例では、ファイル名「ｉ００１．ｐｎｇ」、「ｉ００２．ｐｎｇ」、「ｉ００３．ｐｎｇ」の場合に、左右両眼形式の配置処理の対象となる。ファイル名「ｉ００３．ｐｎｇ」は単眼形式のデータである。まず、スクリプトの記述に従って画像ファイルからのオブジェクトの切り出しを行い、単眼形式のデータについては、さらに左右両眼形式への変換処理を行う。
【００４５】
次に、単眼形式のデータからの変換により得られた左右両眼形式のデータと、もとから用意されている左右両眼形式のデータ（ファイル名「ｉ００１．ｐｎｇ」、「ｉ００２．ｐｎｇ」）との合成処理を行う。この合成処理の際に、ファイル名「ｉ００３．ｐｎｇ」について規定されたｐａｒａｌｌａｘ属性の値が参照される。以上のような左右両眼形式の配置処理（Ｓ１０４）が、＜ｄａｔａ＞要素の「ｍｏｄｅ」属性（ｍｏｄｅ＝“３ｄ”）として規定されている全てのファイルについて行われることになり、最終的に３Ｄデータとして配信される中に含まれる左右両眼形式のデータが生成される。
【００４６】
さて、ステップＳ１０２にて読み込まれた画像データが左右両眼形式の配置処理の対象でなかった場合（Ｓ１０３：ＮＯ）、具体的には、＜ｄａｔａ＞要素の「ｍｏｄｅ」属性（ｍｏｄｅ＝“２ｄ”）として規定されているファイルであった場合、単眼形式での配置処理を行う（Ｓ１０５）。図８は、単眼形式での配置処理について説明するための図である。図４のスクリプトの例では、ファイル名「ｉ００４．ｐｎｇ」（星）、「ｉ００５．ｐｎｇ」（月）の二つの画像が単眼形式の配置処理の対象となっているので、それらについて、上記した方法と同様に切り出し、合成処理を行って３Ｄデータに含め配信される単眼形式のデータが生成される。いずれが手前に配置されるかは「ｐｒｉｏｒｉｔｙ」属性が参照される。
【００４７】
以上のような配置処理が、スクリプトに記述された全てのファイルについて終了すると（Ｓ１０６：ＹＥＳ）、最終的に生成された３Ｄデータ（左右両眼形式のデータ及び単眼形式のデータを含む。）及びスクリプトが端末装置２００側に送信される（Ｓ１０７）。
【００４８】
なお、サーバは、端末装置側２００へ、上記左右両眼形式のデータに含まれる第１の左眼用データ及び第１の右眼用データを、それぞれ独立したデータとして配信するようにしてもよいし、あるいは、第１の左眼用データ及び第１の右眼用データを特定のフォーマットにより１つのデータとして配信してもよい。すなわち、サーバは、左右両眼形式のデータをそれぞれ２つのファイルで送信しても、特定のフォーマットで１つのファイルにしてから送信してもかまわない。
【００４９】
また、上記した単眼形式の配置処理において、配置すべき単眼形式のデータが二つ以上ある場合、切り出されたイメージのサイズが全て同一であった場合は問題ないが、サイズが異なる場合には、どこを基準として重ねるかが問題となる。本実施例のスクリプトでは、この場合の基準を示すパラメータを保持していないが、例えば、左上隅や右上隅、中心点など、所定の基準点を重ねるようにして配置処理を行うようにすれば対処することは可能であるし、スクリプトに基準点の座標を保持するようにしてもよい。
【００５０】
（６）端末装置２００側での処理内容
【００５１】
次に３Ｄデータを受信した端末装置２００側での処理の内容について説明する。図９は端末装置２００側での処理内容について説明するためのフローチャートである。
【００５２】
端末装置２００側では、サーバ１００から送信されたスクリプト及び３Ｄデータを受信し（Ｓ２０１）、３Ｄデータから順次画像データを取り出す（Ｓ２０２）。ここで、取り出されるのは、＜ｄａｔａ＞要素に規定された数の分であり、図４のスクリプトの例であれば、「ｉｄ＝“００１”」の左右両眼形式のデータ、及び「ｉｄ＝“００２”」の単眼形式のデータが順次取り出される。図１０は、順次取り出されたデータへの具体的な処理内容について説明するための図である。
【００５３】
スクリプトの内容を参照し、取り出されたデータが単眼形式のデータであった場合には（Ｓ２０３：ＹＥＳ）、単眼形式のデータから左右両眼形式のデータに変換する処理を行う。具体的には、スクリプトから、単眼形式のデータに関する情報、特に「ｏｐｔｉｏｎ」の内容を読み出し（Ｓ２０４）、左右両眼形式への変換処理を行う（Ｓ２０５）。この際に視差調整部２２３に飛び出し量が設定されていれば、設定された飛び出し量に基づいて変換処理を行うし、設定されていない場合には、スクリプト（図４の例では第２７行目）に「ｐａｒａｌｌａｘ」属性として規定された飛び出し量に基づいて変換処理を行う。
【００５４】
単眼形式のデータから端末装置２００側で生成された左右両眼形式のデータは、サーバ１００側から配信された左右両眼形式データとの合成処理に備えて一旦メモリ（図３では図示を省略）に格納し（Ｓ２０６）、全てのデータについて処理が終了すると（Ｓ２０７：ＹＥＳ）、スクリプトから画像合成に関する情報を読み出す（Ｓ２０８）。なお、本実施例では、サーバ１００側から配信された左右両眼形式のデータについては、特に処理を行わず（Ｓ２０３：ＮＯ）、端末装置２００側で単眼形式のデータから生成された左右両眼形式データとの合成処理の対象となる。ステップＳ２０８で読み出されるのは、図４のスクリプトの例では、第１５行目及び第２７行目に記述された「ｏｐｔｉｏｎ」要素の、特に画像合成位置を示す情報（“ｘ”及び“ｙ”）及び「ｐｒｉｏｒｉｔｙ」属性である。
【００５５】
読み出された情報に基づいて配信されたデータ及び端末装置２００側で生成されたデータを合成し（左眼画像処理部２２４及び右眼画像処理部２２５）、最終的な左眼用データ及び右眼用データが生成される（Ｓ２０９）。生成されたデータを表示部２５０に表示させることにより、画像が立体表示される（Ｓ２１０）。表示された画像においては、端末装置２００側で単眼形式から変換することにより立体表示される部分の飛び出し量、即ち画像の一部領域の飛び出し量が、端末装置２００側、あるいはスクリプト（図４の例では第２７行目）で規定された飛び出し量となる。
【実施例２】
【００５６】
本実施例では、ＷＷＷ(Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ)での本発明の適用例を示す。
【００５７】
図１１を参照して、拡張ＷＷＷサーバ２１は端末で実行中のＷＷＷブラウザ２９、３０からのデータリクエストに対して、ユーザーエージェントを確認し、判断部２４でＷＷＷブラウザ２９，３０が３Ｄ拡張ブラウザであるか否かを判断する。
【００５８】
ＷＷＷサーバ２１は、ＷＷＷブラウザ２９が３Ｄ拡張ＷＷＷブラウザであると判断した場合、端末からのリクエストに対して、３Ｄ拡張されたデータである「第１の左眼用データ及び右眼用データ２２」、飛び出し量の変更可能な「単眼形式データ２５」」、「３Ｄ拡張版ＨＴＭＬによるページデータ２６」を該当する端末にネットワーク２８を介して送信する。
【００５９】
データを受け取った端末上の「３Ｄ拡張ＷＷＷブラウザ２９」では、「３Ｄ拡張版ＨＴＭＬによるページデータ２６」をパージング、レンダリングを行う。すなわち、サーバ２１から配信される「第１の左眼用データ及び右眼用データ２２」を受信し、クライアント（ブラウザ）では第１の左眼用データ及び右眼用データ２２をそれぞれ合成し、生成した合成データを、参照符合Ａで示すように３Ｄ表示する。また、サーバ２１から配信される「単眼形式データ２５」を受信し、クライアント（ブラウザ）では第２の左眼用データ及び右眼用データをそれぞれ合成し、生成した合成データを、参照符合Ｂで示すように３Ｄ表示する。さらに、サーバ２１から配信される「３Ｄ拡張版ＨＴＭＬによるページデータ２６」の一部をテキストデータとし、クライアント（ブラウザ）では第２の左眼用データ及び右眼用データをそれぞれ合成し、生成した合成データを、参照符合Ｃで示すように３Ｄ表示する。
【００６０】
一方、ＷＷＷサーバ２１は、ＷＷＷブラウザ３０が通常のブラウザであると判断した場合、端末からのリクエストに対して、通常の表示形式(ＪＰＥＧ、ＧＩＦ、ＰＮＧなど)である「通常のデータ２３」、「単眼形式データ２５」、現状流通しているＷＷＷブラウザであるＭＳ  ＩｎｔｅｒｎｅｔＥｘｐｌｏｒｅｒやＭｏｚｉｌｌａ、Ｏｐｅｒａなど通常のブラウザで表示可能な「通常のＨＴＭＬによるページデータ２７」を該当する端末にネットワーク２８を介して送信する。
【００６１】
データを受け取った端末上の通常のブラウザ３０では、「通常のＨＴＭＬによるページデータ２７」をパージング後、レンダリングし、参照符合Ｄで示すように普通に（２Ｄ）表示を行う。
【００６２】
次に、拡張ＨＴＭＬの一例を示す。
【００６３】
図１２を参照して、第０１行目の＜ｈｔｍｌ＞タグはＨＴＭＬスクリプトであることを示す。
【００６４】
第０２から０４行目の＜ｈｅａｄ＞タグはヘッダ情報を示す。同ヘッダ情報内のタイトル＜ｔｉｔｌｅ＞タグにより本ＨＴＭＬのタイトル名が指定されている。
【００６５】
第０５行目の＜ｂｏｄｙ＞タグは以降本文であることを示す。
【００６６】
第０７行目の＜ｏｂｊｅｃｔ＞タグではｍｉｍｅ―ｔｙｐｅが"ｉｍａｇｅ３Ｄ／３ｄｉ"である「左右両眼形式」のデータ"ｉｍｇ＿ｄａｔａ１.３ｄｉ"を３Ｄ表示することを示す。なお、ｍｉｍｅ―ｔｙｐｅの"ｉｍａｇｅ３Ｄ／３ｄｉ"は例として述べただけで、特に流通しているｍｉｍｅ―ｔｙｐｅではない。
【００６７】
第１１行目の＜ｅｘ＿３Ｄ＿ｏｂｊｅｃｔ＞タグでは「単眼形式」のデータとして"ｉｍｇ＿ｄａｔａ２.ｐｎｇ"が指定され、これを属性"ｐａｒａｌｌａｘ"で指定された飛び出し量で３Ｄデータとして表示される。
【００６８】
第１４行目の＜ｅｘ＿３Ｄ＿ｔｅｘｔ＞タグでは、同タグで囲まれたテキスト属性"ｐａｒａｌｌａｘ"で指定された飛び出し量で３Ｄ表示する。
【００６９】
第１６行目の＜／ｂｏｄｙ＞タグは本文の末尾であることを示す。
【００７０】
第１７行目の＜／ｈｔｍｌ＞タグはＨＴＭＬスクリプトの終端であることを示す。
【００７１】
以上、本発明を実施例に基づいて説明したが、本発明の範囲が上記に説明した具体例に限定されないことは勿論であり、例えば以下のような変形例を考えることもできる。
【００７２】
（変形例）
【００７３】
（１）上記に説明した実施例では、サーバ１００側から配信される３Ｄデータの一部に単眼形式のデータを含めておき、端末装置２００側で単眼形式のデータから左右両眼形式のデータを生成しつつ、設定された飛び出し量に基づいて左眼用データ及び右眼用データの水平方向相対距離を調整することで、画像の一部領域の飛び出し量を変更するようにしたが、ネットワークの負荷を考慮する必要がない場合、例えばデータ配信装置側で３Ｄデータを記録媒体に格納し、端末装置側では当該記録媒体から３Ｄデータを読み出すような場合には、単眼形式のデータに限らず、端末装置側で飛び出し量を変更できるような左右両眼形式のデータを用いてもよい。その他、端末装置側で飛び出し量を変更することが可能であれば、どのような形式のデータを用いることもできる。即ち、配信されるデータはイメージデータにも限定されず、例えばテキストであれば、文字コードなどを用いることも可能である。端末装置側ではコードから画像に展開して左右両眼形式に変換し、水平方向相対距離を調整することで飛び出し量を変更することができる。
【００７４】
（２）上記に説明したような立体表示システムにおいて、サーバ１００側の処理として、単眼形式データから生成した左右両眼形式データと、もとから用意されている左右両眼形式データとの合成処理や、生成されたデータの配信処理、また端末装置２００側の処理としては、液晶表示装置などの表示装置等を備えた汎用的情報処理端末において、設定された飛び出し量に基づく左右両眼形式データの生成処理や画像の合成処理などを含む処理をプロセッサに実行させるプログラムが、ＣＰＵ等のプロセッサ上で動作することによっても実現され得る。そのような場合、サーバ１００や端末装置２００には、例えば上記のようなプログラムを格納するプログラム格納部、当該プログラム格納部からプログラムを読み出して一時的に記憶するメモリ、及びメモリに記憶されたプログラムを実行するプロセッサが設けられる。このようなプログラムを含むソフトウェアは、フレキシブルディスク、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録された状態で販売等されることもあるし、インターネット等のネットワークを含め、有線、無線の伝送媒体を介してユーザの保持するコンピュータに供給される場合もある。
【００７５】
なお、プログラムを記録した記録媒体は、当該記録媒体からソフトウェアを読み取ることが可能な装置本体とは分離可能に構成される記録媒体であり、具体的には、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体など、いずれであってもよい。なお、上記のように記録媒体、伝送媒体を介して供給される本願発明のプログラムは、必ずしも本発明の立体表示システムを実現するための全てのプログラムを含んでいる必要はなく、ＯＳ（オペレーティング・システム）や、その他の汎用的ソフトウェアに含まれるプログラムを適宜利用する場合も含まれるし、専用ハードウェアを利用して実現させるような場合も含まれる。
【００７６】
今回開示された実施例はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【００７７】
本発明は、例えばデータ配信装置において立体表示を想定した画像データを配信し、当該画像データを端末装置側で立体表示させるような立体表示システム等に適用することができる。
【図面の簡単な説明】
【００７８】
【図１】実施例１における立体画像の立体表示システムの全体構成を示す図である。
【図２】サーバ１００の構成について説明するための機能ブロック図である。
【図３】端末装置２００の構成について説明するための機能ブロック図である。
【図４】スクリプトの内容の一例を示す図である。
【図５】実施例１においてスクリプトを記述するＸＭＬの各タグに関する説明を記載した図である。
【図６】サーバ１００側での処理内容を説明するためのフローチャートである。
【図７】サーバ１００側での左右両眼形式データの配置処理について説明するための図である。
【図８】サーバ１００側での単眼形式データの配置処理について説明するための図である。
【図９】端末装置２００側での処理内容を説明するためのフローチャートである。
【図１０】端末装置２００側での具体的な処理内容について説明するための図である。
【図１１】実施例２にかかるＷＷＷでの本発明の適用例を示す図である。
【図１２】実施例２にかかる拡張ＨＴＭＬの一例を示す図である。
【符号の説明】
【００７９】
１００                    サーバ
１１０                    画像データスクリプト格納部
１２１                    データ分離処理部
１２２                    単眼画像配置処理部
１２３                    両眼画像配置処理部
１２４、２２７            オブジェクト配置記述スクリプト
１２５                    出力制御部
２００                    端末装置
２２１                    データ分離部
２２２                    単眼画像処理部
２２３                    視差調整部
２２４                    左眼画像処理部
２２５                    右眼画像処理部
２２６                    入力制御部
２４０                    表示制御部
２５０                    表示部
３００                    ネットワーク
【図１】
2005135375.tif 000003
【図２】
2005135375.tif 000004
【図３】
2005135375.tif 000005
【図４】
2005135375.tif 000006
【図５】
2005135375.tif 000007
【図６】
2005135375.tif 000008
【図７】
2005135375.tif 000009
【図８】
2005135375.tif 000010
【図９】
2005135375.tif 000011
【図１０】
2005135375.tif 000012
【図１１】
2005135375.tif 000013
【図１２】
2005135375.tif 000014