(57)【要約】【課題】  立体コンテンツを生成する場合において、必要な部分要素の取得に係る負担を軽減させつつ、ユーザに対し所望する立体コンテンツを生成し提供する。【解決手段】  ユーザは、センター５から送信される建築物等の対象物の撮影方位および撮影位置等に基づいてカメラ機能付携帯電話機１で対象物を複数の方位や位置から撮影すると、この撮像画像および撮影位置、及び、撮影方位がセンター５に送信される。センター５ではサーバー３が受信されたこれらのデータとデータベース４に格納されている当該対象物の撮像画像、撮影位置、撮影方位から立体コンテンツを生成する。そして、携帯電話機１から立体コンテンツの送信要求があると生成した立体コンテンツをその携帯電話機１に送信し、携帯電話機１はその立体コンテンツを元に画面に立体表示する。【選択図】      図１
2010165081.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を記憶する記憶手段と、
対象物を撮影するための撮影位置、または、この対象物を撮影するための撮影方位の少なくとも一方を受信する第１の受信手段と、
この第１の受信手段によって受信された撮影位置、または、撮影方位の少なくとも一方に沿って撮像された前記対象物の撮像画像を前記記憶手段から読み出す読出手段と、
この読出手段によって読み出された撮像画像を、前記対象物を立体的に表示させるためのデータを生成するセンターへ送信する送信手段と、
この送信手段による前記対象物の画像の送信に応答して、前記センターから送信される前記対象物を立体的に表示させるためのデータを受信する第２の受信手段と、
この第２の受信手段によって受信されたデータに基づいて、前記対象物を立体的に表示する立体表示手段と、
を備えることを特徴とする表示装置。
【請求項２】
前記第１の受信手段によって受信された対象物の撮影位置、または、撮影方位の少なくとも一方に従って、前記対象物を撮像する撮像手段を更に備え、
前記記憶手段は、この撮像手段によって撮像された前記対象物の撮像画像を記憶することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記第１の受信手段は、前記対象物の撮影位置を受信するとともに、
当該装置の現在位置を取得する現在位置取得手段と、
前記対象物の撮影位置と前記現在位置取得手段によって取得された現在位置とを比較する比較手段と、
この比較手段による比較の結果、前記対象物の撮影位置と前記現在位置とがほぼ一致すると、その旨を報知する報知手段と、
を更に備えることを特徴とする請求項２に記載の表示装置。
【請求項４】
対象物の立体コンテンツを生成する基となる複数の部分要素を記憶するためのデータベースと、
撮影端末と、
前記データベースに未だ記憶されていない前記対象物の部分要素があることを前記撮影端末に通知する通知手段と、
この通知手段による通知に応答して前記撮影端末にて撮影され、送信される前記対象物の撮像画像を受信する受信手段と、
この受信手段によって受信された前記対象物の撮像画像から部分要素を抽出する抽出手段と、
この抽出手段によって抽出された部分要素と前記データベースに記憶された複数の部分要素とによって前記対象物の立体コンテンツの生成が可能か否かを判断する判断手段と、
この判断手段によって前記立体コンテンツの生成が可能と判断すると、前記対象物の立体コンテンツを生成する生成手段と、
この生成手段によって生成された立体コンテンツを前記撮影端末に送信する手段と、
を備えることを特徴とする立体コンテンツ作成システム。
【請求項５】
対象物の立体コンテンツを生成する基となる複数の部分要素を記憶するためのデータベースにおいて、未だ記憶されていない部分要素が存在することを通信ネットワークを介して撮影端末に通知する通知手段と、
この通知手段による通知に応答して前記撮影端末にて撮影され、送信される前記対象物の撮像画像を受信する受信手段と、
この受信手段によって受信された前記対象物の撮像画像から部分要素を抽出する抽出手段と、
この抽出手段によって抽出された部分要素と前記データベースに記憶された複数の部分要素とによって前記対象物の立体コンテンツの生成が可能か否かを判断する判断手段と、
この判断手段によって前記立体コンテンツの生成が可能と判断すると、前記対象物の立体コンテンツを生成する生成手段と、
を備えることを特徴とする立体コンテンツ生成装置。
【請求項６】
対象物の立体コンテンツを生成する基となる複数の部分要素を記憶するためのデータベースにおいて、未だ記憶されていない部分要素が存在することを通信ネットワークを介して撮影端末に通知する通知ステップと、
この通知ステップでの通知に応答して前記撮影端末にて撮影され、送信される前記対象物の撮像画像を受信する受信ステップと、
この受信ステップにて受信された前記対象物の撮像画像から部分要素を抽出する抽出ステップと、
この抽出ステップにて抽出された部分要素と前記データベースに記憶された複数の部分要素とによって前記対象物の立体コンテンツの生成が可能か否かを判断する判断ステップと、
この判断ステップにて前記立体コンテンツの生成が可能と判断すると、前記対象物の立体コンテンツを生成する生成ステップと、
を含むことを特徴とする立体コンテンツ生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、立体コンテンツ生成システム、立体コンテンツ生成装置、及び、立体コンテンツ生成方法に関する。
本発明の利用分野としては、例えば、画像データをセンターに送信し、センター側で画像データを元に立体コンテンツを生成して、画像データを送信したユーザに提供する立体コンテンツ提供サービスを提供する。
【背景技術】
【０００２】
一つの建造物を複数のカメラで複数の方向から撮影し、それらの撮影画像と予め用意された３次元ＣＡＤデータとに基づいて、３次元化されて再現された建造物の画像を立体メガネを介して映す技術が開示されている（例えば、特許文献１参照）。
【０００３】
複数の画像における点対応からカメラ運動と相対的位置関係（３次元形状）とを復元する場合には、点対応は、まず「画像座標」で与えられるので、全てのカメラに対して統一的に扱うためには、この「画素（Pixel）座標」と「画像（Image）座標」間の１対１の写像関係を求めること（「カメラキャリブレーション」と呼ばれる）ができれば、「画素（Pixel）座標」と「画像（Image）座標」とを自由に変換できることになる。
【０００４】
そこで、複数の撮影画像から３次元形状データを作成する方法として、例えば全周囲３６０度からの多視点角度から、または、周囲に配した複数台のカメラから撮影した画像データを入力して、対象物の３次元形状データを作成するソフトウエアが各種開発されている。これらのソフトウエアでは、予めカメラを所定の位置や角度に配して撮影したカメラ位置情報が既知のカメラで撮影された複数枚の多視点画像を用いる方法や、非特許文献１に開示されているように、回転台に印刷された参照マーカーと、回転台に載せた対象物体とを一緒に撮影した複数枚のカメラ画像から、撮影時のカメラ位置を自動計算する方法がある。
【０００５】
そして、得られたカメラ位置情報と物体画像とから形状とテクスチャの３次元情報を自動計算し、その３次元情報をユーザが適宜修正してデジタルカメラで手持ち撮影した画像から３次元データを生成する。つまり、対象物を撮影した視点の異なる１０〜２０枚程度以上のJPEGフォーマットの撮影画像データを入力して、カメラ位置の計算、形状情報の生成、テクスチャ情報の生成などの一連の処理を実行して、３次元形状データを作成する。
【０００６】
更に詳述すると下記（１）〜（３）の手順により３次元形状データを得る。
（１）カメラ位置の計算を行う場合では、例えば、座標系におけるカメラの３次元位置パラメータ（回転成分α，β，γと平行移動成分（ｘ、ｙ、ｚ）をHough変換などに基づいて計算する。つまり、撮影された画像から、参照マーカーを抽出し、抽出された参照マーカーの任意の３点と、あらかじめ登録されている参照マーカー中の任意の３点の位置関係を組合せて決定される連立方程式を解くことにより、位置パラメータを計算する。
（２）形状情報の生成では、単色の背景紙などを使用して対象を撮影し、指定した背景の色情報を用いて物体と背景を分離し、対象物のシルエット（輪郭）の抽出を行う。
（３）  次に、カメラの位置情報と対象物の２次元輪郭情報に基づいて、３次元ボクセル空間へのボーティング（投票）処理により、３次元形状を再構成し、得られたボクセルデータから、ポリゴン（多角形）データへ変換し、三角ポリゴン表現形式やＳＳＦ形式など、３次元形状データとして出力する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−０２１８４８号広報
【非特許文献】
【０００８】
【非特許文献１】「デジタルカメラ画像から簡単に３次元データを生成するソフトウエア技術」
【非特許文献２】ＳＡＮＹＯ  ＴＥＣＨＮＩＣＡＬ  ＲＥＶＩＥＷ  ＣＯＬ．３５  ＮＯ．１          ＪＵＮ．２００３
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記特許文献１などに開示の技術では、ユーザ（個人）が立体コンテンツを閲覧したい場合はあらかじめ設けられた観察用屋内の壁面に画像を投影し、立体メガネを装着してみる必要があり、しかも、ユーザが、希望する立体コンテンツを得たい場合には、ユーザが見たい部分を指定し、システムの装置を介して必要な撮影画像を撮影させ、複数の撮影画像を用意させる必要があった。
【００１０】
また、非特許文献１に開示のように自動撮影機から３次元データを自動作成する場合は、周囲３６０度から多数枚の画像やアクティブスキャン画像などを撮影する３６０度撮影台や専用撮影機を必要とするので、ユーザは、専用撮影機の設置場所まで赴いて写真を撮影する必要があるが、ユーザが立体コンテンツとして所望する既存の建造物等を３６０度撮影するためには大掛かりな準備が必要となり経済性や時間的観点から現実的ではないという問題点があった。また、写真画像から３次元データを生成するには、上記（１）のカメラ位置の計算を行う必要があり、複雑な計算を必要とし、その結果についても専門家による調整作業が必要であるという不都合があった。
【００１１】
また、上述した全周囲３６０度からの多視点角度から、または、周囲に配した複数台のカメラから撮影した画像データを入力して、対象物の３次元形状データを作成する方法によれば、カメラ位置を入力すればよいので上記（１）の不都合は生じないが、ユーザが立体コンテンツとして所望する既存の建造物等を３６０度撮影するためには全周を撮影するために複数台のカメラを配設する必要があり、建造物等の大きさや立地条件（地形や立ち木等の障害物の存在）により必要数のカメラを配設できない場合や、必要数のカメラを揃えてカメラを配設するための費用が嵩むといった不都合があった。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、請求項１に記載の発明は、撮像画像を記憶する記憶手段と、  対象物を撮影するための撮影位置、または、この対象物を撮影するための撮影方位の少なくとも一方を受信する第１の受信手段と、この第１の受信手段によって受信された撮影位置、または、撮影方位の少なくとも一方に沿って撮像された前記対象物の撮像画像を前記記憶手段から読み出す読出手段と、この読出手段によって読み出された撮像画像を、前記対象物を立体的に表示させるためのデータを生成するセンターへ送信する送信手段と、  この送信手段による前記対象物の画像の送信に応答して、前記センターから送信される前記対象物を立体的に表示させるためのデータを受信する第２の受信手段と、この第２の受信手段によって受信されたデータに基づいて、前記対象物を立体的に表示する立体表示手段と、を備えることを特徴とする。
【００１３】
また、請求項２に記載の発明は、上記請求項１記載の発明において、前記第１の受信手段によって受信された対象物の撮影位置、または、撮影方位の少なくとも一方に従って、前記対象物を撮像する撮像手段を更に備え、前記記憶手段は、この撮像手段によって撮像された前記対象物の撮像画像を記憶することを特徴とする。
【００１４】
また、請求項３に記載の発明は、上記請求項２記載の発明において、前記第１の受信手段は、前記対象物の撮影位置を受信するとともに、当該装置の現在位置を取得する現在位置取得手段と、前記対象物の撮影位置と前記現在位置取得手段によって取得された現在位置とを比較する比較手段と、この比較手段による比較の結果、前記対象物の撮影位置と前記現在位置とがほぼ一致すると、その旨を報知する報知手段と、を更に備えることを特徴とする。
【００１５】
また、上記課題を解決するために、請求項４に記載の発明は、対象物の立体コンテンツを生成する基となる複数の部分要素を記憶するためのデータベースと、撮影端末と、前記データベースに未だ記憶されていない前記対象物の部分要素があることを前記撮影端末に通知する通知手段と、この通知手段による通知に応答して前記撮影端末にて撮影され、送信される前記対象物の撮像画像を受信する受信手段と、この受信手段によって受信された前記対象物の撮像画像から部分要素を抽出する抽出手段と、この抽出手段によって抽出された部分要素と前記データベースに記憶された複数の部分要素とによって前記対象物の立体コンテンツの生成が可能か否かを判断する判断手段と、この判断手段によって前記立体コンテンツの生成が可能と判断すると、前記対象物の立体コンテンツを生成する生成手段と、この生成手段によって生成された立体コンテンツを前記撮影端末に送信する手段と、を備えることを特徴とする。
【００１６】
また、上記課題を解決するために、請求項５に記載の発明は、対象物の立体コンテンツを生成する基となる複数の部分要素を記憶するためのデータベースにおいて、未だ記憶されていない部分要素が存在することを通信ネットワークを介して撮影端末に通知する通知手段と、この通知手段による通知に応答して前記撮影端末にて撮影され、送信される前記対象物の撮像画像を受信する受信手段と、この受信手段によって受信された前記対象物の撮像画像から部分要素を抽出する抽出手段と、この抽出手段によって抽出された部分要素と前記データベースに記憶された複数の部分要素とによって前記対象物の立体コンテンツの生成が可能か否かを判断する判断手段と、この判断手段によって前記立体コンテンツの生成が可能と判断すると、前記対象物の立体コンテンツを生成する生成手段と、を備えることを特徴とする。
【００１７】
また、上記課題を解決するために、請求項６に記載の発明は、対象物の立体コンテンツを生成する基となる複数の部分要素を記憶するためのデータベースにおいて、未だ記憶されていない部分要素が存在することを通信ネットワークを介して撮影端末に通知する通知ステップと、この通知ステップでの通知に応答して前記撮影端末にて撮影され、送信される前記対象物の撮像画像を受信する受信ステップと、この受信ステップにて受信された前記対象物の撮像画像から部分要素を抽出する抽出ステップと、この抽出ステップにて抽出された部分要素と前記データベースに記憶された複数の部分要素とによって前記対象物の立体コンテンツの生成が可能か否かを判断する判断ステップと、この判断ステップにて前記立体コンテンツの生成が可能と判断すると、前記対象物の立体コンテンツを生成する生成ステップと、を含むことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、必要な部分要素の取得に係る負担を軽減させつつ、ユーザに対し所望する立体コンテンツを生成し提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の立体コンテンツ提供サービスシステムの構成例を示す図である。
【図２】立体コンテンツ提供サービスシステムにおける立体コンテンツ提供サービスの概要を示すプロセスチャートである。
【図３】立体映像表示機能を備えたカメラ付携帯電話機の電子回路の構成例を示すブロック図である。
【図４】図１に示したサーバーの構成例を示すブロック図である。
【図５】図１、図４に示したデータベースの構成例を示す図である。
【図６】立体コンテンツ取得サービス選択時の携帯電話機の動作例を示すフローチャートである。
【図７】立体コンテンツ提供サービス開始時に携帯電話機１に表示されるサービス開始情報等の一例を示す図である。
【図８】立体コンテンツ提供サービス時のサーバー４の動作例を示す図である。
【発明を実施するための形態】
【００２０】
図１は、本発明を適用した立体コンテンツ提供サービスシステム１００の構成例を示す図であり、立体コンテンツ提供サービスシステム１００は、立体画像表示機能を備えた表示装置としてのカメラ付携帯電話機１（以下、「携帯電話機１」と記す）、複数のセルラー基地局２（以下、「基地局２」と記す）、建築物や建造物等の立体コンテンツ（立体画像データ）や、この立体コンテンツを生成するために用いられる部分要素を含むものとして、建築物や建造物などの撮影対象の撮影画像とその撮影方位や撮影位置等のカメラ情報を複数格納してなるデータベース４を備えたサーバー３から構成され、基地局２とサーバー３はインターネット６等の通信ネットワーク（以下、「インターネット６」と記す）を介して接続し、携帯電話機１と基地局２はセルラー無線通信方式により接続可能に構成されている。なお、符号５は立体コンテンツ提供サービスの運営者によって運営される立体コンテンツ提供センター（以下、「センター５」と記す）を意味し、符号７はユーザが要求する立体コンテンツの対象の一例である建造物を示す。
【００２１】
図２は、図１の立体コンテンツ提供サービスシステム１００における立体コンテンツ提供サービスの概要を示すプロセスチャートである。図２で、まず、ユーザが携帯電話機１を起動して、各種サービスのうち立体コンテンツ提供サービスを選択し、ユーザ登録（ユーザ登録済みの場合は登録番号等の入力）を行う（プロセスＰ１）。
【００２２】
センター５（のサーバー３）から携帯電話機１に送られる建築物や建造物（以下、「対象物」と記す）の一覧から立体コンテンツの購入を予定する建造物等（対象物）を選択する（プロセスＰ２）。なお、データベース４には建築物や建造物だけでなく、設備や、装置や標本等の撮影画像を対応付けた撮影画像識別情報を登録するようにしてもよい。
【００２３】
撮影対象を選択すると、センター５のサーバー３は、その対象物について立体コンテンツを生成するために必要な部分要素を得るため、データベース４に未だ記憶されていない前記対象物の部分要素があることを、その対象物が存在する位置情報（座標データ）、その対象物の画像を撮影するための撮影方位、および撮影位置（座標データ）の一覧を、ユーザの携帯電話１にインターネット６および基地局２を介して送信するので、携帯電話機１はそれらのデータをダウンロードする（プロセスＰ３）。
【００２４】
登録ユーザは、携帯電話１に表示される撮影可能な対象物のなかから所望の対象物を選択し、その対象物を複数枚撮影してメモリに記憶すると、携帯電話機１は立体コンテンツを提供するために不足している撮影方位および撮影位置に基づいて撮像された画像、および／または、これらに基づいてメモリを検索してヒットした画像と、その画像の撮影方位および撮影位置等のカメラ位置情報とをセンター５にアップロードする（プロセスＰ４）。
【００２５】
センター５では、立体コンテンツを生成するのに必要とする撮影画像が揃ったか否か判断し、揃ったと判断すると、その旨を、画像を提供したユーザ（一人もしくは複数）の携帯電話機１に通知する（プロセスＰ５）。
【００２６】
通知を受けたユーザが、その立体コンテンツの具体的な提供として、立体画像データの提供を受けるか、ミニチュアの提供を受けるかの別を、携帯電話機１を操作して選択すると（プロセスＰ６）、選択内容が携帯電話機１から基地局２、インターネット６を介してサーバー３に送られ、ユーザの希望に沿った立体コンテンツが提供される。このとき、サーバー３は、画像を提供したユーザは無料提供（もしくは割引価格）、それ以外のユーザは通常価格として課金する（プロセスＰ７）。
【００２７】
なお、変形例として、上記プロセスＰ４を、「ユーザが携帯電話機１を所持して移動している際、ユーザが撮影位置に付近に近づくと携帯電話機１がその旨を報知し、ユーザはガイダンスにしたがって撮影し、基地局２、およびインターネット６を介してセンター５のサーバー３に撮影画像、撮影方位、撮影位置などのカメラ情報をセンター５にアップロードする」ように構成してもよい。
【００２８】
図３は、図１に示した携帯電話機１の内部構成例を示すブロック図であり、携帯電話機３は３次元画像表示可能に構成されており、無線送受信部１１、無線信号処理部１２、制御部１３、キー入力部１４、ドライバ１７、表示部１８、加入者情報記憶部１９、ＲＯＭ等からなるプログラム格納メモリ２０、ＤＲＡＭ等からなる一時記憶メモリ２１、記録部２２、音声信号処理部２３、スピーカ２４、マイクロフォン２５、ドライバ２６、スピーカ２７に加え、撮像部１５および画像データ処理部１６、およびカメラ位置情報（撮影位置および撮影方位）を取得するカメラ位置取得部２８を備えている。撮像部１５および画像データ処理部１６は本発明の撮像系を構成する。
【００２９】
無線送受信部１１は無線によりアンテナ１１１を介して音声信号やデータを送受する。無線信号処理部１２は無線送受信部１１１で受信した音声信号やデータの復調処理、無線送受信部１１１から送信する音声信号やデータの変調処理などの無線通信に必要な処理を行う。そして、立体コンテンツ取得モード時には、通信制御プログラムの制御によりインターネット６と接続すると、無線送受信部１１を介してセンター５のサーバー３に撮像画像およびこの撮像画像の撮影方位や撮影位置等を送信できる。また、サーバー３から送信される、立体コンテンツを生成するのに必要な対象物の撮像画像の撮影方位や撮影位置、立体画像データの受信が可能である。
【００３０】
制御部１３は、プログラム格納メモリ２０に格納されている制御プログラム及び動作プログラムにより、図３に示した各内部構成要素の動作を制御する。動作プログラムには、通信制御プログラムや、撮像制御プログラム、画像処理プログラム、モード選択プログラム、立体コンテンツ提供サービス用の携帯電話機側動作プログラム、対象物画像を立体的に表示させるための画像表示プログラム等が含まれている。また、通信制御プログラムはインターネット６との接続制御プログラムを含んでいる。
【００３１】
キー入力部１４は、電源キー、テンキー、送受信開始キー、送受信停止キー、カーソルキー、取り消しキー、決定キー、シャッターキー等の各種キーを含みこれらのキーが操作されると対応する信号が制御部１３に送出される。
【００３２】
撮像部１５は、撮像素子、信号変換部、撮像タイミング制御部や撮影補助光源等を含む撮像信号系（図示せず）を有しており、撮像レンズを経由し、撮像レンズの撮像光軸後方に配置された撮像素子に入射した被写体光像は撮像素子によって光電変換され撮像信号（アナログ）として出力される。撮像素子の出力信号は信号変換部で相関二重サンプリングおよびゲイン調整され、Ａ／Ｄ変換によりデジタル信号に変換される。Ａ／Ｄ変換された撮像信号は所定の周期で画像データ処理部１６に送られる。
【００３３】
画像データ処理部１６は、撮像部１５から出力されたデジタル信号（画像データ）に対して画像補間処理及びγ補正処理を含むカラープロセス処理を行ってデジタル値の輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを生成し、ＤＲＡＭ等の一時記憶メモリ２１にバスを介してＤＭＡ転送する。
【００３４】
ドライバ１７は表示部１８を駆動し、画像及びデータを表示させる。また、加入者情報記憶部１９は他の電話機を呼び出すための電話番号やユーザ（登録者）のＩＤ等、プロフィールデータを格納する。実施例では立体画像表示は３次元画像表示プログラムで行うものとしたが、ドライバ１７および表示部１８として３次元画像表示可能なハードウエアを用いるようにしてもよい。
【００３５】
プロググラム格納メモリ２０は、制御部１３の制御プログラムおよび動作プログラムが記録されているメモリであり、無線通信端末として必要な各種データを記憶し、且つ制御部１３が動作する上で必要なプログラムやデータを記憶する。例えば、制御プログラムや、モード選択プログラム、各種モード時の動作プログラム、立体コンテンツ提供サービス用の携帯電話機側動作プログラム、上記画像表示プログラム等の動作プログラム（アプリケーションプログラム）等を記憶している。これらのプログラムは、選択されたモードの処理段階に応じて呼び出され制御部１３によって実行される。また、動作プログラムにはモード選択プログラムが含まれている。
【００３６】
一時記憶メモリ２１はＤＲＡＭ等のメモリで構成され、無線通信端末として必要な各種データを記憶し、且つ制御部１３が動作する上で必要なプログラムやデータを記憶する。また、一時記憶メモリ２１は撮影モードおよび立体コンテンツ取得モードでは、画像データ処理部１６からの画像データを一時記憶するバッファメモリや、各種プログラムによるデータ処理に必要なワークメモリとして用いられる。
【００３７】
立体コンテンツ取得モードにおいて、一時記憶メモリ２１には立体的に対象物の画像データを表示するのに必要なワーク領域が確保される。また、センター５から若しくは撮影時に取得した撮影位置および撮影方位や、撮影時のカメラ情報等を保持しておくカメラ情報等保持領域も確保される。
【００３８】
記録部２２は無線通信端末として必要な各種データや撮影画像データおよびその撮影が雑煮に対応する撮影方位や撮影位置を記憶する。また、センター５から受信した立体コンテンツ（立体画像データ）やプログラムを記憶することもできる。携帯電話機１の電源スイッチがオフの場合でも、記録部２２には電源が供給され記憶内容が維持される。
【００３９】
音声信号処理部２３は、マイクロフォン２４から入力された音声信号を符号化処理したり、無線信号処理部１２から出力された信号に基づいて音声信号を復号してスピーカ２５から出力したりする。ドライバ２６は、スピーカ２７を駆動するためのドライバである。
【００４０】
また、カメラ位置取得部２８は、よく知られているＧＰＳ受信測位装置や３次元加速度センサ、傾斜センサ、電子コンパス等、カメラの位置や角度、姿勢を検出するセンサ計測装置などからなり、受信したＧＰＳ情報や電子コンパスから撮影位置および撮影方位を取得する。
【００４１】
図４は、図１に示したサーバー（サーバーコンピュータ）３の構成例を示すブロック図である。サーバー３は、制御部３１、一時記憶メモリ３２、プログラム記憶メモリ３３、送受信部３４、カメラ位置情報解析部３５、保存メモリ３６、表示部３７、操作部３８およびデータベース４を備えている。なお、表示部３７は必須ではない。また、図示していないが、ミニチュア製作用（図示せず）のＣＡＤ等のデータをＣＤ等の記録媒体に記録する媒体記録装置を設けるようにしてもよい。
【００４２】
制御部３１は、プログラム格納メモリ３３に格納されている制御プログラム及び動作プログラムにより、図４に示した各内部構成要素の動作を制御する。動作プログラムには、通信制御プログラムや、立体コンテンツ生成プログラム、利用者登録および認証プログラム、課金プログラム等が含まれている。また、通信制御プログラムはインターネット６との接続制御プログラムを含んでいる。
【００４３】
プログラム格納メモリ３３は、制御部３１の制御プログラムおよび動作プログラムが記録されているメモリであり、サーバー３として機能するための各種制御用データを記憶し、且つ制御部１３が動作する上で必要なプログラムやデータを記憶する。例えば、制御プログラムや、立体コンテンツ提供サービス用のサーバー側動作プログラム、つまり、立体画像データ生成プログラム、ミニチュア製作用データ作成プログラム、利用者登録および認証プログラム、課金プログラム等のアプリケーションプログラムを記憶している。これらのプログラムは、適時、一時記憶メモリ３２に呼び出され制御部３１によって実行される。また、サーバー３にカメラ位置情報解析部３５を設ける代わりに、画像解析プログラムを動作プログラムの一つとしてプログラム格納メモリ３３に記憶するようにしてもよい。
【００４４】
なお、立体画像データ生成プログラムによるデータ生成は、背景技術の項で述べた、（１）〜（３）の手順のうち、（１）のカメラ位置は撮影時に取得されているので既知であるから、カメラ位置を既知として上述の（２）、（３）の手順によることができる。つまり、撮影画像を対象物画像と背景画像とに分離し、対象物画像のシルエット（輪郭）の抽出を行い、次に、カメラの位置情報と上記抽出した対象物の輪郭情報とを部分要素として、複数の撮影位置、及び、撮影方位の部分要素に基づいて立体画像データを生成する。
尚、撮影位置、及び、撮影方位と上記抽出した対象物の輪郭情報に基づく立体画像データの生成方法は、非特許文献１に記載の技術等公知の技術を適用することができる。
【００４５】
一時記憶メモリ３２はＲＡＭ等のメモリで構成され、制御部３１が動作する上で必要なプログラムやデータを記憶する。また、一時記憶メモリ３２はデータベース４や送受信部からの画像データを一時記憶するバッファメモリや、各種プログラムによるデータ処理に必要なワークメモリとして用いられる。
【００４６】
送受信部３４は、通信制御プログラムの制御によりインターネット６（および基地局２）を介して携帯電話機１との間でデータの送受を行う。例えば、携帯電話機１から送信される登録情報や認証情報、画像および撮影方位や撮影位置からなるカメラ情報を受信する。また、携帯電話機１に撮影に必要な情報や立体コンテンツ、課金データ等を送信する。
【００４７】
カメラ位置情報解析部３５はデータベース４に格納済みの対象物と関連付けられた複数の撮影画像から、上述の如く複数の部分要素を得、立体コンテンツ（立体画像データ）を生成できるか否かを各撮影画像の撮影方位および撮影位置を元に解析し、不足している場合は、生成に必要な撮影方位および撮影位置を出力する。なお、カメラ位置情報解析部３５に代えて、同様の機能を果たす画像解析プログラムを携帯電話機１のプログラム格納メモリ２０に格納しておき、ユーザによって対象が選択された場合に、制御部１３がデータベース４に格納済みの画像で立体コンテンツ（立体画像データ）を生成できるか否を解析するようにしてもよい。
また、その撮影位置及び、撮影方位に基づいて、立体コンテンツ（立体画像データ）を作成するための撮像画像が揃ったか否かをカメラ位置情報解析部３５で判定するように構成してもよい。
【００４８】
保存メモリ３６は、ハードディスク装置等の大容量記装置からなり、立体コンテンツ提供サービスのユーザ情報および認証データを記憶した登録ファイルや、利用者別に提供したコンテンツの課金データを記録する課金ファイル等を格納する。
なお、本実施例ではデータベース４を格納するメモリを保存メモリ３７とは別体としたが、データベース４を保存メモリ３６に構築するようにしてもよい。
【００４９】
図５は、図１および図４に示したデータベース４の構成例を示す図であり、データベース４は、対象物識別情報４１、対象物の位置情報（地図座標）４２、立体コンテンツとして、対象物に対応付けた立体画像データを記憶した立体画像データ記憶領域４８とのポインタである立体画像ポインタ４３、対象物に対応付けられた複数の撮影画像の画像データを格納した複数の撮影画像データ記憶領域４９とのポインタである撮影画像ポインタ４４−１〜４４−ｍ、それらの画像の撮影方位データ４５−１〜４５−ｍ、撮影位置データ４６−１〜４６−ｍ、登録者識別情報（登録ファイルに登録された登録者識別情報と同じ識別情報）４７等からなる対象物別撮影画像レコード４０を複数個、検索可能に構築してなる。
【００５０】
ある対象物について立体コンテンツが完成しない場合（つまり、立体画像データを生成するための部分要素が不足している場合）は、立体画像ポインタ４３および立体画像データを生成するために不足している撮像画像の撮影画像ポインタ４４−ｊ、その画像の撮影方位データ４５−ｊ、撮影位置データ４６―ｊ（ｊ＝１〜ｍ）には無効値（ｎｕｌｌ）が記憶されている。また、対象物識別情報のみで撮影画像がない場合は、対象物識別情報以外のデータ記憶領域には無効値（ｎｕｌｌ）が記憶される）。
【００５１】
図６は、立体コンテンツ取得サービス選択時の携帯電話機１の動作例を示すフローチャートであり、携帯電話機１は制御プログラム、通信制御プログラム、画像処理プログラム、モード選択プログラム、および各種動作プログラムにより、選択されたモード動作（機能）を実行する。立体コンテンツ取得モード時の携帯電話機１の動作は制御プログラムの制御下で制御部１３によってプログラム格納メモリ２０から取り出され、一時記憶メモリ２１の実行プログラム領域に記憶される立体コンテンツ提供サービス用の携帯電話機側動作プログラム、３次元画像表示プログラム等の動作プログラムに基づいて図示のステップに対応した動作を実行する。
【００５２】
図６で、ユーザが、キー入力部１４を操作して、携帯電話機１の各種アプリケーションサービスのうち立体コンテンツ提供サービスを選択すると、制御部１３は無線信号処理部１２および無線送受信部１１を介して基地局２に「サービス選択通知」およびユーザ情報を送信する。基地局２に無線送信されたデータはインターネット６を介してセンター５宛送信される（以下、単に「センター５宛送信する」と記す）（ステップＳ１）。
【００５３】
ステップＳ１での「サービス選択通知」等送信後、センター５（図１参照）からインターネット６および基地局２を介して送信される登録ユーザか否かの判定結果を調べ、登録されていない場合はステップＳ３に進み、登録されている場合はステップＳ４に進む（ステップＳ２）。
【００５４】
ユーザがセンター５に登録されている場合は、ユーザは携帯電話機１の表示部１８に表示される認証ガイドに従ってキー入力部１４のキーを操作してパスワード等の認証情報の入力を行うので、制御部１３は入力されたパスワード等の認証情報や携帯電話番号を無線信号処理部１２および無線送受信部１１を介してセンター５宛送信し、センター５での認証を待ち、認証がされるとステップＳ５に進む（ステップＳ３）。
【００５５】
ユーザがセンター５に登録されていない場合は、ユーザは携帯電話機１の表示部１８に表示される登録ガイドに従ってキー入力部１４のキーを操作して立体コンテンツ取得サービスのユーザ登録を行うので、制御部１３は入力されたユーザ識別情報、パスワード等からなる認証情報、および携帯電話番号等の登録情報を無線信号処理部１２および無線送受信部１１を介してセンター５宛送信し、ステップＳ５に進む（ステップＳ４）。
【００５６】
制御部１３は、登録若しくは認証がされた場合に登録済み通知若しくは認証済み通知と共にセンター５から送信される、サービス提供可能な対象物一覧データを無線送受信部１１および無線信号処理部１２を介して受け取り、表示部１８に選択可能に一覧表示してユーザに選択を促す（ステップＳ５）。
【００５７】
ユーザが撮影対象を選択すると、制御部１３は、センター５から送信される当該撮影対象物およびユーザの現在位置を示す地図データと、センター５が立体コンテンツを提供するのに必要な情報を無線送受信部１１および無線信号処理部１２を介して受け取り、一時記憶メモリ２１に記憶する（ステップＳ６）。
【００５８】
また、制御部１３は、受け取った地図データを元にユーザの現在位置および対象物を含む地図（図７（ａ）参照）を表示部１８に表示し（ステップＳ７）、ユーザの「情報閲覧」操作に応じて、撮影対象画像（ランドマークで示されている）を表示部１８に表示すると共に、センター５が立体コンテンツを提供するために不足している撮影方位および撮影位置をその撮影対象画像の周囲に表示する（図７（ｂ）参照）（ステップＳ８）。
【００５９】
ユーザが撮影対象を、ガイダンスにしたがって、撮影位置から図示された撮影方位で対象物を撮影し、キー入力部１４のキーを操作して記録指示を行うと、制御部１３は、撮影画像と、カメラ位置取得部２８で取得した撮影方位データおよび撮影位置データを記録部２２に記録する。ユーザは、この撮影操作を必要な画像（つまり、立体コンテンツ生成に不足している画像）を撮影し終わるまで行う（ステップＳ９）。
【００６０】
制御部１３は、ステップＳ６で取得した対象物の立体コンテンツの生成を行うために不足している撮影位置および撮影方位をキーとして、ステップＳ９で撮影した画像（記録部２２に記録されている画像）を検索し、ヒットした画像およびその画像の撮影位置、および、撮影方位を撮影した対象物の画像と共に無線信号処理部１２および無線送受信部１１を介してセンター５宛送信する（ステップＳ１０）。
【００６１】
制御部１３は、センター５から申し込みのあった対象物について立体コンテンツ生成のために必要な撮影画像が揃った旨の通知を受信すると、表示部１８にその旨および立体コンテンツの提供方法（立体画像データを受信するか、ミニチュアの提供を受けるか）の選択を促すメッセージを表示してユーザの選択を促し、ユーザが提供方法を選択すると、制御部１３は選択結果を無線信号処理部１２および無線送受信部１１を介してセンター５宛送信する（ステップＳ１１）。
【００６２】
ユーザが立体画像データの受信を選択した場合には、制御部１３は、センター５から送信される立体画像データを無線送受信部１１および無線信号処理部１２を介して受け取り、記録部２２に記録すると共に、上記の画像表示プログラムにより表示部１８に対象物を立体的に表示する（ステップＳ１２）。
【００６３】
（変形例）
なお、立体コンテンツ取得サービス選択時の携帯電話機１の動作の変形例として、ステップＳ８を、「ユーザが携帯電話機１を帯同して、撮影対象物の付近を移動している際に、制御部１３はステップＳ６で取得した情報に含まれる撮影位置と、カメラ位置取得部２８で取得する現在位置とを比較し、ほぼ一致するとスピーカ２７（または図示しないバイブレータ）を駆動して、その旨を報知すると共に、表示部１８に撮影のためのガイダンスを表示する」ように構成し、ステップＳ９を、「ユーザが報知された地点で、撮影ガイダンスに示された撮影方位で対象物を撮影すると、制御部１３は、撮影画像と、カメラ位置取得部２８で取得した撮影位置（現在位置）および撮影方位を無線信号処理部１２および無線送受信部１１を介してセンター５宛送信する」ように構成し、ステップＳ１０を「上記ステップＳ８、Ｓ９の動作を、センター５から立体コンテンツを作成するための撮像画像が揃った旨の通知を受信するまで繰り返す」ように構成してもよい。
【００６４】
図７は、立体コンテンツ提供サービス開始時に携帯電話機１に表示されるサービス開始情報等の一例を示す図であり、図７（ａ）は、ユーザ（カメラ）の現在位置（星印で示されている）７１およびランドマークで示される撮影すべき対象物７を含む地図表示の例であり、図７（ｂ）は撮影すべき対象物７付近における必要な撮影位置（＃１〜＃３で表されている地点）７６および撮影方位（矢印）７７、およびガイドメッセージ７８を表示した撮影案内画面の例である。
【００６５】
図８は、センター５のサーバー３の動作例を示すフローチャートであり、サーバー３は制御プログラム、通信制御プログラム、立体コンテンツ提供サービス用のセンター側動作プログラム、立体コンテンツ生成プログラム等の動作プログラムに基づいて、図８に示すような動作（機能）を実行する。
【００６６】
図８で、インターネット６を介して携帯電話機１からのサービス選択通知およびユーザ情報を受信すると（ステップＴ１）、制御部３１は保存メモリ３６の登録ファイルを検索して登録ユーザか否かを調べ、登録ユーザの場合は登録者認証のための認証要求をインターネット６を介して携帯電話機１に送信する。また、登録ユーザでない場合は登録要求を上記選択通知送信元の携帯電話機１に送信し、Ｔ１に戻る（ステップＴ２）。
【００６７】
次に、携帯電話機１から登録情報を受信すると（ステップＴ３）、制御部１３は、保存メモリ３６の登録ファイルに受信した登録情報を登録してユーザ登録を終了し、ステップＴ７に進む（ステップＴ４）。
【００６８】
また、認証情報を受信すると（ステップＴ５）、制御部１３は、受信した認証情報に含まれる登録者識別情報およびパスワード等の認証データと保存メモリ３６の登録ファイルに記憶されている登録者識別情報および認証データを比較して認証結果を認証情報送信元の携帯電話機１に送信する。この際、認証できた場合はステップＴ７に進み、認証できなかった場合はステップＴ１に戻る（ステップＴ６）。
【００６９】
また、ステップＴ４での登録処理が終了するか、ステップＴ７で登録者の認証ができた場合は、サーバー３は、センター５でサービス提供可能な対象物一覧データを登録／認証情報送信元の携帯電話機１に送信する（ステップＴ７）。
【００７０】
対象物一覧データ送信先の携帯電話機１から選択され対象物の識別情報を受信すると（ステップＴ８）、制御部３１は、受信した対象物の識別情報でデータベース４の対象物別撮影画像レコード４０を検索し、ヒットした対象物別撮影画像レコード４０の対象物の立体画像ポインタ４３を調べ、この立体画像ポインタ４３に無効値が記憶されている場合は、撮影方位データ４５−１〜４５−ｍ、撮影位置データ４６−１〜４６−ｍを調べ、無効値でないポインタを元に、撮影方位および撮影位置を取り出し、カメラ位置情報解析部３５に渡す（ステップＴ９）。
【００７１】
カメラ位置情報解析部３５は、ステップＴ９でデータベース４から取り出した撮影方位および撮影位置の組み合わせを調べ、立体コンテンツ（立体画像データ）の生成に必要な画像枚数、撮影方位および撮影位置を満たしているか否かを解析し、不足している場合は不足している撮影方位および撮影位置を算出する。制御部３１は対象物の地図データをデータベース４から取り出し、その地図データとカメラ位置情報解析部３５の解析結果（立体コンテンツに必要な画像を撮影するための撮影方位、及び、撮影位置）を対象物の識別情報送信元の携帯電話機１に送信し、ステップＴ１に戻る（ステップＴ１０）。
なお、カメラ位置情報解析部３５による不足している撮影方位および撮影位置の解析は、例えば、背景技術の項で述べた、（１）〜（３）の手順のうち、（１）において、２つ既知のカメラ位置と１つの未知のカメラ位置の３点を想定し、未知のカメラ位置の計算を３点の位置関係を組み合わせて決定される方程式を解くことにより求め、順次、未知のカメラ位置を求めていくことで、算出することができる。
【００７２】
携帯電話機１から、対象物の撮影画像データ、その画像の撮影時の撮影方位、撮影位置を受信すると（ステップＴ１１）、制御部３１は、受信したデータを一時記憶メモリ３２に記録すると共に、対象物の識別情報でデータベース４の対象物別撮影画像レコード４０を検索し、ヒットした対象物別撮影画像レコード４０の対象物の撮影画像ポインタ４４−１〜４４−ｍ、撮影方位データ４５−１〜４５−ｍ、撮影位置データ４６−１〜４６−ｍのうち無効値でないポインタを元に、画像データ、撮影方位および撮影位置（座標データ）を順次取り出し、立体画像データ生成プログラムにより、一時記憶メモリ３２に記録した対象物の撮像画像、撮影位置、及び、撮影方位と、データベース４から取り出した対象物の撮像画像、撮影位置、撮影方位とに基づいて、撮影画像から対象物画像と背景画像とを分離し、対象物画像のシルエット（輪郭）の抽出を行い、次に、撮影位置、及び、撮影方位と、上記抽出した輪郭情報に基づいて、３次元ボクセル空間へのボーティング処理により３次元計上を再構成し、得られたボクセルデータから、ポリゴン（多角形）データへ変換し、三角ポリゴン表現形式やＳＳＦ形式などの、立体コンテンツを生成し、一時記憶メモリ３２およびデータベース４の対象物別撮影画像レコード４０の対象物の立体画像ポインタ４３を元に立体画像データ記憶領域４８の対応する部分を上書き記憶し、立体コンテンツ生成用の画像が揃った旨を撮影画像データ等送信元の携帯電話機１に送信し、ステップＴ１に戻る（ステップＴ１２）。
【００７３】
また、対象物の画像データ送信元の携帯電話機１から立体コンテンツの提供方法の選択結果を受信すると（Ｔ１３）、制御部３１は受信選択結果を調べ、「立体画像データ受信」が選択されている場合はステップＴ１５に進み、「ミニチュア受け取り」が選択されている場合はステップＴ１６に進む（ステップＴ１４）。
【００７４】
「立体画像データ受信」が選択されていた場合は、ステップＴ７で一時記憶メモリ３２に記憶した立体画像データを選択結果送信元の携帯電話機１に送信すると共に、課金処理を行いステップＴ１に戻る（ステップＴ１５）。
【００７５】
「ミニチュア受け取り」が選択されていた場合は、制御部３１は、ステップＴ７で一時記憶メモリ３２に記憶したデータから、ミニチュア製作用データ作成プログラムにより外部ミニチュア製作用装置で用いる製作用データを作成し、図示しない媒体記録装置によりＣＤ等の記録媒体に作成した加工用データを記録すると共に、課金処理を行い、ステップＴ１に戻る（ステップＴ１６）。
【符号の説明】
【００７６】
１  カメラ機能付携帯電話機（表示装置）
３  サーバー
４  データベース
５  センター
１３，３１  制御部
１５  撮像部
１８  表示部
２２  記録部
２８  カメラ位置取得部
３２  保存メモリ
３５  カメラ位置情報解析部
【図１】
2010165081.tif 000003
【図２】
2010165081.tif 000004
【図３】
2010165081.tif 000005
【図４】
2010165081.tif 000006
【図５】
2010165081.tif 000007
【図６】
2010165081.tif 000008
【図７】
2010165081.tif 000009
【図８】
2010165081.tif 000010