(57)【特許請求の範囲】
【請求項１】
視点位置が異なる複数の画像データを受け付ける受付部と、
前記受付部によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する生成部と、
前記生成部によって生成された自由視点画像を配信する配信部と、
前記配信部によって配信された自由視点画像を閲覧した第１ユーザに関する情報であって、前記自由視点画像に対する第１ユーザの行動に関する情報を受信する受信部と、
前記受信部によって受信された第１ユーザの行動に関する情報に基づいて、前記自由視点画像及び当該自由視点画像の生成元となった画像データごとに評価するとともに、当該画像データごとの評価に基づいて、当該自由視点画像が配信される際に評価の高い画像データに対応する角度が初期表示となるよう当該自由視点画像を更新する評価部と、
を備えることを特徴とする画像処理装置。
【請求項２】
視点位置が異なる複数の画像データを受け付ける受付部と、
前記受付部によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する生成部と、
前記生成部によって生成された自由視点画像を配信する配信部と、
前記配信部によって配信された自由視点画像を閲覧した第１ユーザに関する情報であって、前記自由視点画像に対する第１ユーザの行動に関する情報を受信する受信部と、
前記受信部によって受信された第１ユーザの行動に関する情報に基づいて、前記自由視点画像を評価する評価部と、
を備え、
前記受信部は、
前記第１ユーザの行動に関する情報として、前記自由視点画像の生成元となった複数の画像データにまたがる操作に関する情報を受信し、
前記評価部は、
前記受信部によって受信された操作に関する情報に基づいて、前記自由視点画像を構成する画像の連続性の評価を判定する、
ことを特徴とする画像処理装置。
【請求項３】
前記生成部は、
生成される前記自由視点画像を確認するための画像である仮処理画像を生成し、
前記配信部は、
前記自由視点画像の配信の前に、前記仮処理画像を配信する、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記生成部は、
前記複数の画像データが所定の連続性を有するか否かを判定することにより、生成処理で取り扱う画像データを抽出し、抽出された画像データを用いて前記自由視点画像を生成する、
ことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
前記生成部は、
前記複数の画像データによっては前記自由視点画像を生成することができない場合には、生成することができない理由、又は前記自由視点画像を生成するための画像データの差し換えに関する情報が含まれる通知データを生成し、
前記配信部は、
前記生成部によって生成された通知データを配信する、
ことを特徴とする請求項１〜４のいずれか１つに記載の画像処理装置。
【請求項６】
前記生成部は、
前記所定の変換処理として、複数の画像データ内で対応する点である対応点の関係に基づいて、当該画像データを取得した撮像装置の相対的な位置情報を取得することによって求められる変換行列を用いて、前記複数の画像データの射影変換を行う、
ことを特徴とする請求項１〜５のいずれか１つに記載の画像処理装置。
【請求項７】
前記受信部は、
前記自由視点画像に対する第１ユーザの行動に関する情報として、前記自由視点画像に対する回転操作、拡大操作、縮小操作の回数、操作時間、閲覧時間、前記自由視点画像に関係する商材のコンバージョン数の少なくとも一つの項目に関する情報を受信し、
前記評価部は、
前記受信部によって受信された各項目の数値の大小によって、前記自由視点画像の評価の高低を判定する、
ことを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
【請求項８】
前記受信部は、
前記自由視点画像に対する第１ユーザの行動に関する情報を、前記自由視点画像の生成元となった画像データごとに受信し、
前記評価部は、
前記自由視点画像の生成元となった画像データごとの評価を判定する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項９】
前記配信部は、
前記評価部によって判定された前記自由視点画像の生成元となった画像データごとの評価に基づいて、評価の高い画像データが優先的に表示されるように更新された前記自由視点画像を配信する、
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記評価部による前記自由視点画像の評価に関する情報を、前記自由視点画像が含まれる所定のメディアの管理者に通知する通知部、
をさらに備えたことを特徴とする請求項１〜９のいずれか１つに記載の画像処理装置。
【請求項１１】
前記受付部は、
所定のメディアに投稿を行うユーザである第２ユーザから複数の画像データ受け付け、
前記生成部は、
前記第２ユーザから受け付けた複数の画像データに基づいて、任意の視点位置に対応する画像を連続的に表示可能であるレビュー用自由視点画像を生成し、
前記配信部は、
前記所定のメディアにおいて表示される画像として、前記レビュー用自由視点画像を配信する、
ことを特徴とする請求項１〜１０のいずれか１つに記載の画像処理装置。
【請求項１２】
前記受信部は、
前記レビュー用自由視点画像を閲覧したユーザである第３ユーザに関する情報であって、前記レビュー用自由視点画像に対する第３ユーザの行動に関する情報を受信し、
前記評価部は、
前記受信部によって受信された第３ユーザの行動に関する情報に基づいて、前記レビュー用自由視点画像を評価する、
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記評価部は、
前記第３ユーザの行動に関する情報として、前記レビュー用自由視点画像に対する回転操作、拡大操作、縮小操作の回数、操作時間、閲覧時間、前記自由視点画像に関係する商材のコンバージョン数の少なくとも一つの項目に関する情報に基づいて、前記レビュー用自由視点画像を評価する、
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記評価部は、
前記レビュー用自由視点画像の評価に基づいて、前記レビュー用自由視点画像を投稿した第２ユーザの前記所定のメディアに対する貢献度を評価する、
ことを特徴とする請求項１２又は１３に記載の画像処理装置。
【請求項１５】
前記評価部は、
前記貢献度に応じて、前記第２ユーザに対する報酬を評価する、
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
コンピュータが実行する画像処理方法であって、
視点位置が異なる複数の画像データを受け付ける受付工程と、
前記受付工程によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する生成工程と、
前記生成工程によって生成された自由視点画像を配信する配信工程と、
前記配信工程によって配信された自由視点画像を閲覧した第１ユーザに関する情報であって、前記自由視点画像に対する第１ユーザの行動に関する情報を受信する受信工程と、
前記受信工程によって受信された第１ユーザの行動に関する情報に基づいて、前記自由視点画像及び当該自由視点画像の生成元となった画像データごとに評価するとともに、当該画像データごとの評価に基づいて、当該自由視点画像が配信される際に評価の高い画像データに対応する角度が初期表示となるよう当該自由視点画像を更新する評価工程と、
を含んだことを特徴とする画像処理方法。
【請求項１７】
視点位置が異なる複数の画像データを受け付ける受付手順と、
前記受付手順によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する生成手順と、
前記生成手順によって生成された自由視点画像を配信する配信手順と、
前記配信手順によって配信された自由視点画像を閲覧した第１ユーザに関する情報であって、前記自由視点画像に対する第１ユーザの行動に関する情報を受信する受信手順と、
前記受信手順によって受信された第１ユーザの行動に関する情報に基づいて、前記自由視点画像及び当該自由視点画像の生成元となった画像データごとに評価するとともに、当該画像データごとの評価に基づいて、当該自由視点画像が配信される際に評価の高い画像データに対応する角度が初期表示となるよう当該自由視点画像を更新する評価手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１８】
コンピュータが実行する画像処理方法であって、
視点位置が異なる複数の画像データを受け付ける受付工程と、
前記受付工程によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する生成工程と、
前記生成工程によって生成された自由視点画像を配信する配信工程と、
前記配信工程によって配信された自由視点画像を閲覧した第１ユーザに関する情報であって、前記自由視点画像に対する第１ユーザの行動に関する情報を受信する受信工程と、
前記受信工程によって受信された第１ユーザの行動に関する情報に基づいて、前記自由視点画像を評価する評価工程と、
を含み、
前記受信工程は、
前記第１ユーザの行動に関する情報として、前記自由視点画像の生成元となった複数の画像データにまたがる操作に関する情報を受信し、
前記評価工程は、
前記受信工程によって受信された操作に関する情報に基づいて、前記自由視点画像を構成する画像の連続性の評価を判定する、
ことを特徴とする画像処理方法。
【請求項１９】
視点位置が異なる複数の画像データを受け付ける受付手順と、
前記受付手順によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する生成手順と、
前記生成手順によって生成された自由視点画像を配信する配信手順と、
前記配信手順によって配信された自由視点画像を閲覧した第１ユーザに関する情報であって、前記自由視点画像に対する第１ユーザの行動に関する情報を受信する受信手順と、
前記受信手順によって受信された第１ユーザの行動に関する情報に基づいて、前記自由視点画像を評価する評価手順と、
をコンピュータに実行させ、
前記受信手順は、
前記第１ユーザの行動に関する情報として、前記自由視点画像の生成元となった複数の画像データにまたがる操作に関する情報を受信し、
前記評価手順は、
前記受信手順によって受信された操作に関する情報に基づいて、前記自由視点画像を構成する画像の連続性の評価を判定する、
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、タイムスライス（Time  Slice）やバレットタイム（Bullet  Time）等と呼ばれる撮影技術が知られている。この撮影技術では、複数の撮像装置（例えば、カメラ）が撮像対象（例えば、人間などの被写体）の周囲に配置される。このとき、複数の撮像装置は、各撮像装置の光軸が撮像対象における所定の位置を通過するように配置され、被写体を撮像する。かかる撮影技術により撮像された画像データを結合することで生成される画像は、自由視点画像等と呼ばれる。ユーザは、自由視点画像において任意の視点を選択することが可能であり、様々な角度から被写体を視認することができる。例えば、自由視点画像は、販促などに用いられた場合に、通常の画像よりも高い販促効果を発揮することがある。
【０００３】
複数の撮像装置を用いた多視点の画像を表示する技術として、サーバに多視点画像（自由視点画像）に関するデータを保持しておき、クライアントからの要求に応じて、符号化された画像データを送信する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２００４／００４３５０号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の従来技術では、一般ユーザに自由視点画像を有効に活用させることは困難であった。具体的には、上記の従来技術では、ネットワークを介した各種端末において、予めサーバに保持された自由視点画像を利用しやすくなるに過ぎない。このため、上記の従来技術では、例えば、一般ユーザが容易に自由視点画像を生成したり、生成した自由視点画像を第三者に閲覧させたりといった、自由視点画像の活用を促進させることは難しい。
【０００６】
本願の開示する技術は、上記に鑑みてなされたものであって、一般ユーザに自由視点画像を有効に活用させることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本願に係る画像処理装置は、視点位置が異なる複数の画像データを受け付ける受付部と、前記受付部によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する生成部と、前記生成部によって生成された自由視点画像を配信する配信部と、を備えることを特徴とする。
【発明の効果】
【０００８】
実施形態の一態様である画像処理装置によれば、一般ユーザに自由視点画像を有効に活用させることができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、第１の実施形態に係る画像処理の一例を示す図である。
【図２】図２は、第１の実施形態に係る画像処理装置の構成例を示す図である。
【図３】図３は、第１の実施形態に係る画像データ記憶部の一例を示す図である。
【図４】図４は、第１の実施形態に係る自由視点画像記憶部の一例を示す図である。
【図５】図５は、自由視点画像に関する撮像装置の配置の一例を示す図である。
【図６】図６は、自由視点画像に関する撮像装置の配置の一例を示す図である。
【図７】図７は、第１の実施形態に係る生成部による生成処理の一例を示す図である。
【図８】図８は、第１の実施形態に係る生成部による生成処理の一例を示す図である。
【図９】図９は、第１の実施形態に係る画像処理装置による画像処理手順を示すフローチャートである。
【図１０】図１０は、第２の実施形態に係る画像処理の一例を示す図である。
【図１１】図１１は、第２の実施形態に係る画像処理装置の構成例を示す図である。
【図１２】図１２は、第２の実施形態に係る評価情報記憶部の一例を示す図である。
【図１３】図１３は、第２の実施形態に係る評価部による評価処理の一例を示す図である。
【図１４】図１４は、第２の実施形態に係るユーザ端末の構成例を示す図である。
【図１５】図１５は、第２の実施形態に係る画像処理装置による画像処理手順を示すフローチャートである。
【図１６】図１６は、第３の実施形態に係る画像処理の一例を示す図である。
【図１７】図１７は、第３の実施形態に係る画像処理装置の構成例を示す図である。
【図１８】図１８は、第３の実施形態に係る投稿情報記憶部の一例を示す図である。
【図１９】図１９は、第３の実施形態に係る画像処理装置による画像処理手順を示すフローチャートである。
【図２０】図２０は、画像処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【００１０】
以下に、本願に係る画像処理装置、画像処理方法及び画像処理プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本願に係る画像処理装置、画像処理方法及び画像処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【００１１】
〔１−１．第１の実施形態に係る画像処理の一例〕
まず、図１を用いて、第１の実施形態に係る画像処理の一例について説明する。図１は、第１の実施形態に係る画像処理の一例を示す図である。図１に示すように、第１の実施形態に係る画像処理システム１には、管理装置１０と、ユーザ端末２０と、ウェブサーバ５０と、画像処理装置１００とが含まれる。管理装置１０と、ユーザ端末２０及びウェブサーバ５０と、画像処理装置１００とは、図示しないネットワークＮを介して互いに通信可能に接続される。なお、画像処理システム１に含まれる各装置の台数は、図１に示した例に限られない。例えば、画像処理システム１には、複数台の管理装置１０や、ユーザ端末２０や、ウェブサーバ５０が含まれてもよい。
【００１２】
管理装置１０は、画像処理装置１００を利用する者であって、ウェブサーバ５０を管理するサイト管理者によって利用される情報処理装置である。例えば、管理装置１０は、デスクトップ型ＰＣ（Personal  Computer）や、ノート型ＰＣである。
【００１３】
ユーザ端末２０は、画像処理装置１００によって提供される自由視点画像を閲覧するユーザによって利用される端末装置である。例えば、ユーザ端末２０は、スマートフォン等の携帯電話機、ＰＤＡ（Personal  Digital  Assistant）、タブレット端末、ＰＣ等である。
【００１４】
ウェブサーバ５０は、サイト管理者によって管理されるサーバ装置である。具体的には、ウェブサーバ５０は、ユーザ端末２０にウェブページを配信することで、各種サービスを提供する。例えば、ウェブサーバ５０は、検索サイト、オークションサイト、ショッピングサイト、ニュースサイト、天気予報サイト、ファイナンス（株価）サイト、路線検索サイト、地図提供サイト、旅行サイト、飲食店紹介サイト、ウェブブログなどの各種サービスを提供することができる。図１に示す例では、ウェブサーバ５０は、ショッピングサイトに係るウェブサービスを提供しているものとする。
【００１５】
画像処理装置１００は、所定の表示領域（例えば、通常１枚の画像が表示される１つの画像表示枠）において任意の視点位置に対応する画像を連続的に表示可能な画像である自由視点画像を生成し、生成された自由視点画像を配信するサーバ装置である。例えば、画像処理装置１００は、タイムスライスやバレットタイム等と呼ばれる撮影技術によって生成された自由視点画像を管理装置１０に配信する。具体的には、第１の実施形態に係る画像処理装置１００は、自由視点画像の配信を所望するサイト管理者から複数の画像データの入稿を受け付け、受け付けた複数の画像データから自由視点画像を生成する。そして、画像処理装置１００は、生成した自由視点画像を管理装置１０に配信する。以下、画像処理装置１００が行う画像処理について、流れに沿って説明する。
【００１６】
まず、サイト管理者は、自由視点画像を生成するための基となる画像を準備する（ステップＳ１１）。例えば、サイト管理者は、所定の被写体を取り囲むようにして撮像された画像データＰ０１、Ｐ０２、Ｐ０３、・・・、Ｐ０Ｎ（Ｎは任意の数）を準備する。図１に示す例では、画像データＰ０１は、被写体である女性を左側から撮像した画像である。また、画像データＰ０２は、女性を左斜め前から撮像した画像である。また、画像データＰ０３は、画像データＰ０２と比較して、女性を正面に近い左斜め前側から撮像した画像である。このように、画像データＰ０１〜Ｐ０Ｎは、例えば、女性を半円状に取り囲むようにして順番に撮像された画像データである。
【００１７】
そして、管理装置１０は、サイト管理者の操作に従って、複数の画像データを画像処理装置１００に入稿する（ステップＳ１２）。例えば、管理装置１０は、画像処理装置１００が提供する画像生成サービスを提供するウェブページにおいて、複数の画像データをアップロードすることにより、画像データを入稿する。
【００１８】
画像処理装置１００は、複数の画像データの入稿を受け付ける。そして、画像処理装置１００は、入稿された画像データに基づいて、自由視点画像を生成する（ステップＳ１３）。具体的には、画像処理装置１００は、入稿された複数の画像データに関して所定の校正（カメラキャリブレーション）を行うことにより、自由視点画像を構成するための画像に変換するための適切なパラメータ（例えば、射影変換行列）を取得する。そして、画像処理装置１００は、取得されたパラメータを用いて画像データを射影変換する。そして、画像処理装置１００は、射影変換された画像を連結することにより、複数の画像について滑らかに表示を遷移させることのできる自由視点画像を生成することができる。かかる処理について、詳しくは後述する。
【００１９】
画像処理装置１００は、生成した自由視点画像を管理装置１０に配信する（ステップＳ１４）。そして、管理装置１０は、ウェブサーバ５０で提供するウェブページに、配信された自由視点画像を取り込む（ステップＳ１５）。例えば、管理装置１０は、ウェブページにおいて、通常は自由視点画像ではない画像が表示される枠に、自由視点画像が表示されるようにＨＴＭＬ（HyperText  Markup  Language）ファイルを更新する。
【００２０】
その後、一般ユーザが操作するユーザ端末２０は、ショッピングサイトを利用するために、ウェブサーバ５０にアクセスする（ステップＳ１６）。ウェブサーバ５０は、ユーザ端末２０からのウェブページ取得要求に従い、ウェブページを配信する（ステップＳ１７）。ここでは、ウェブサーバ５０は、自由視点画像がページ内に取り込まれているウェブページＷ０１をユーザ端末２０に配信する。
【００２１】
そして、ユーザ端末２０は、ウェブページＷ０１を表示する（ステップＳ１８）。例えば、ウェブページＷ０１は、女性向けの服飾のショッピングページである。図１に示すように、ウェブページＷ０１には、画像データＰ０１、Ｐ０１、Ｐ０３、・・・、Ｐ０Ｎから生成された自由視点画像ＦＶ０１が含まれる。自由視点画像ＦＶ０１は、ユーザによって選択される任意の視点によって被写体を表示することができる。例えば、ユーザは、マウスなどの入力装置を用いて自由視点画像ＦＶ０１上をドラッグ等することにより、自由視点画像ＦＶ０１における視点を自由に動かすことができる。
【００２２】
このように、第１の実施形態に係る画像処理装置１００は、視点位置が異なる複数の画像データの入稿を受け付け、受け付けられた複数の画像データに所定の変換処理を行うことにより自由視点画像を生成し、生成された自由視点画像を配信する。
【００２３】
これにより、第１の実施形態に係る画像処理装置１００は、例えば、サイト管理者のように自由視点画像を活用して商材販売の促進を図る者などに自由視点画像を提供することができる。そして、サイト管理者は、自由視点画像を販促などに利用することにより、通常の画像を提示するよりも、より高い販促効果を発揮させることができる。また、サイト管理者は、自身が準備した画像を画像処理装置１００に入稿するだけで自由視点画像を受け取ることができるので、自由視点画像を生成する労力を削減することができる。また、ユーザは、自身が所望する角度で画像を表示させることができるので、例えば、ショッピングサイトにおける購買活動などにおいて、商品に関する情報などを容易に取得することができる。このように、第１の実施形態に係る画像処理装置１００は、一般ユーザに自由視点画像を有効に活用させることができるという効果を奏する。
【００２４】
〔１−２．画像処理装置の構成〕
次に、図２を用いて、第１の実施形態に係る画像処理装置１００の構成について説明する。図２は、第１の実施形態に係る画像処理装置１００の構成例を示す図である。図２に示すように、画像処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。
【００２５】
（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network  Interface  Card）等によって実現される。そして、通信部１１０は、図示しないネットワークＮと有線又は無線で接続され、管理装置１０や、ユーザ端末２０や、ウェブサーバ５０との間で情報の送受信を行う。
【００２６】
（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random  Access  Memory)、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図２に示すように、記憶部１２０は、画像データ記憶部１２１と、自由視点画像記憶部１２２とを有する。
【００２７】
（画像データ記憶部１２１について）
画像データ記憶部１２１は、管理装置１０から入稿された画像データに関する情報を記憶する。ここで、図３に、第１の実施形態に係る画像データ記憶部１２１の一例を示す。図３に示した例では、画像データ記憶部１２１は、「入稿ＩＤ」、「画像データ」といった項目を有する。
【００２８】
「入稿ＩＤ」は、入稿された画像データを識別するための識別情報を示す。入稿ＩＤが示す情報には、例えば、入稿された日時や、入稿元となる管理装置１０を識別する情報が含まれてもよい。
【００２９】
「画像データ」は、入稿された画像データを示す。図１で示したように、管理装置１０は、自由視点画像の基となる画像データとして、複数の画像データを入稿する。「画像データ」の項目には、管理装置１０から入稿された一連の画像データが対応付けられて記憶される。また、各画像データには、「Ｐ０１、Ｐ０２、Ｐ０３、・・・」などの続き番号による識別情報が付与される。かかる続き番号により、画像処理装置１００は、自由視点画像における画像同士の連結順を認識する。
【００３０】
すなわち、図３では、入稿ＩＤ「Ａ０１」で識別される画像データの入稿では、画像データ「Ｐ０１、Ｐ０２、Ｐ０３、・・・」が自由視点画像を生成する基となる画像データとして入稿されたことを示す。
【００３１】
（自由視点画像記憶部１２２について）
自由視点画像記憶部１２２は、画像処理装置１００が生成した自由視点画像に関する情報を記憶する。ここで、図４に、第１の実施形態に係る自由視点画像記憶部１２２の一例を示す。図４に示した例では、自由視点画像記憶部１２２は、「自由視点画像ＩＤ」、「元画像データ」、「校正データ」、「変換後画像データ」、「変換可否」、「初期表示画面」といった項目を有する。
【００３２】
「自由視点画像ＩＤ」は、自由視点画像の識別情報を示す。「元画像データ」は、自由視点画像の生成元となった画像データを示す。自由視点画像は複数の画像データから生成されるため、元画像データは、一つの自由視点画像に対して複数記憶される。
【００３３】
「校正データ」は、自由視点画像を生成するための所定の校正データ（カメラキャリブレーション）を示す。図４では、校正データを「Ｒ０１」のような概念で示す。校正データには、画像処理装置１００が自由視点画像を構成する画像を取得するために、元画像データを適切に射影変換するための種々のデータが含まれる。なお、校正データには、入稿された画像データから取得可能な場合には、撮像装置のカメラパラメータとして、撮像装置の焦点距離や、撮像装置によって生成される画像のアスペクト比及びスキューなどが含まれてもよい。
【００３４】
「変換後画像データ」は、自由視点画像を構成する画像データを示す。変換後画像データは、例えば、元画像データに対して所定の校正を行い、射影変換された後の画像データを示す。
【００３５】
「変換可否」は、元画像データを自由視点画像として変換することができたか否かを示す。例えば、変換可否の項目が「Ｙ」である場合には、変換が可能であることを示し、変換可否の項目が「Ｎ」である場合には、変換が不可能であることを示す。変換不可能な場合とは、例えば、元画像データが自由視点画像の生成を目的として撮像されておらず、所定の校正を行えないと画像処理装置１００によって判定された場合などが該当する。
【００３６】
「初期表示画面」は、自由視点画像の最初の表示に対応する画像を示す。初期表示画面は、変換後画像データのうちの１つの変換後画像データが選択される。なお、「変換可否」の項目が「Ｎ」である自由視点画像は、自由視点画像を生成できていないため、初期表示画面の項目は空欄となる。
【００３７】
すなわち、図４では、自由視点画像ＩＤ「ＦＶ０１」で識別される自由視点画像は、元画像データが「Ｐ０１、Ｐ０２、Ｐ０３、・・・」であり、それぞれの校正データは「Ｒ０１、Ｒ０２、Ｒ０３、・・・」であり、変換後画像データは「ＲＰ０１、ＲＰ０２、ＲＰ０３、・・・」であり、変換可否は「Ｙ」であり、初期表示画面は「ＲＰ０１」である例を示している。
【００３８】
なお、自由視点画像は、ユーザの任意の選択により自由視点画像の回転中心（注視点）が各々異なる自由視点画像が生成される場合がある。自由視点画像記憶部１２２には、自由視点画像ＩＤに対応付けられて、注視点に関する情報も記憶されるものとする。
【００３９】
（制御部１３０について）
制御部１３０は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等によって、画像処理装置１００内部の記憶装置に記憶されている各種プログラム（画像処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現される。
【００４０】
制御部１３０は、図２に示すように、受付部１３１と、生成部１３２と、配信部１３３とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図２に示した接続関係に限られず、他の接続関係であってもよい。
【００４１】
（受付部１３１について）
受付部１３１は、視点位置が異なる複数の画像データを受け付ける。具体的には、第１の実施形態に係る受付部１３１は、サイト管理者によって準備された複数の画像データであって、被写体を取り囲むようにして連続的に撮像された画像データの入稿を受け付ける。
【００４２】
受付部１３１は、入稿を受け付けた一連の画像データに入稿ＩＤを付与し、画像データ記憶部１２１に格納する。
【００４３】
（生成部１３２について）
生成部１３２は、受付部１３１によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する自由視点画像を生成する。具体的には、第１の実施形態に係る生成部１３２は、入稿された画像データについて所定の校正を行うことで、自由視点画像を構成する画像に変換させるための変換行列を取得する。そして、生成部１３２は、取得された変換行列によって元画像データを射影変換することにより、変換後の画像データを取得する。そして、生成部１３２は、変換後画像データを連結することにより自由視点画像を生成する。
【００４４】
ここで、生成部１３２が扱う自由視点画像について、図５〜７を用いて説明する。まず、図５を用いて、自由視点画像に関する撮像装置の配置について説明する。図５は、自由視点画像に関する撮像装置の配置の一例を示す図である。図５では、自由視点画像の基となる複数の画像データの撮像について、理想的な撮像装置の配置の一例を示している。なお、図５及び図６では、被写体６０を上から見た例を示す。
【００４５】
図５において、撮像装置Ｃ１１〜Ｃ１６は、例えば、デジタルカメラである。また、撮像装置Ｃ１１〜Ｃ１６は、各撮像装置における光軸が所定の位置を通過するように、撮像対象となる被写体６０の周囲に配置される。図５の例では、撮像装置Ｃ１１は、被写体６０の中心に該当する３次元位置Ｄ１を光軸Ｅ１１１が通過するように配置される。また、撮像装置Ｃ１２〜Ｃ１６は、それぞれの光軸Ｅ１２１〜Ｅ１６１が３次元位置Ｄ１を通過するように配置される。なお、撮像装置Ｃ１１〜Ｃ１６は、少なくとも投影面の底辺が地面と略平行となるように設置されるものとする。そして、撮像装置Ｃ１１〜Ｃ１６は、図１に示した状態で一斉に被写体６０を撮像することにより、被写体６０の自由視点画像を生成する基となる画像データを取得することができる。
【００４６】
なお、図５の例では、６台の撮像装置Ｃ１１〜Ｃ１６を用いて被写体６０を撮像する例を示したが、撮像装置の数はこの例に限られない。また、撮像装置Ｃ１１〜Ｃ１６の配置位置は、図５に示した例に限られない。例えば、撮像装置Ｃ１１〜Ｃ１６は、被写体６０を半円状に囲むのではなく、複数の撮像装置が被写体６０を囲むように、円周上に等間隔に配置されてもよい。
【００４７】
ただし、図５の撮像手法では、撮像装置Ｃ１１〜Ｃ１６の適切な配置や、撮像装置Ｃ１１〜Ｃ１６の適切なキャリブレーションが求められる。すなわち、図５で示すような撮像処理をサイト管理者のように撮像の専門家でない一般ユーザが行うのは困難である。
【００４８】
ここで、図６を用いて、実際にサイト管理者等（以下、「一般ユーザ」と表記する）によって被写体６０が撮像される場合の撮像処理について説明する。図６は、自由視点画像に関する撮像装置の配置の一例を示す図である。図６では、自由視点画像の基となる複数の画像データの撮像について、一般ユーザが実際に被写体６０を撮像する場合に想定される撮像装置の配置等を示す。なお、以下の説明において、撮像装置Ｃ２０１〜２０８を区別する必要のないときは、「撮像装置Ｃ２０」と記載する。
【００４９】
図６において、撮像装置Ｃ２０１〜２０８は、例えば、デジタルカメラである。理想的には、撮像装置Ｃ２０１〜２０８は、図５で説明したように、それぞれ個別の撮像装置として、被写体６０の周囲に配置されることが望ましい。ところが、実際には、一般ユーザは、１台の撮像装置Ｃ２０１を図６の撮像装置Ｃ２０１〜２０８が示す箇所に移動させながら、被写体６０を撮像することが想定される。具体的には、一般ユーザは、図６に示す撮像装置Ｃ２０１の場所から被写体６０を撮像する。そして、一般ユーザは、被写体６０を中心とした円に沿って、図６に示す撮像装置Ｃ２０２の場所へ移動し、被写体６０を撮像する。かかる作業を繰り返し、一般ユーザは、被写体６０について複数の画像データを取得する。
【００５０】
この場合、一般ユーザが、光軸Ｅ２０１が被写体６０の中心を通るように注意深く撮像したとしても、図５で示したように、自由視点画像の元画像として正確に被写体６０を撮像することは難しい。また、一般ユーザによって扱われる撮像装置Ｃ２０についてカメラキャリブレーションされているとは限らないため、画像データからカメラパラメータ等を取得することができない場合がある。このように、一般ユーザによって撮像された複数の画像データからは、自由視点画像を生成することは難しい。
【００５１】
そこで、生成部１３２は、受付部１３１によって受け付けられた画像データについて所定の校正を行うことにより、自由視点画像を構成する画像に変換できるようにする。この点について、図７を用いて説明する。
【００５２】
図７は、第１の実施形態に係る生成部１３２による生成処理の一例を示す図である。図７に示すように、生成部１３２は、受付部１３１によって受け付けられた画像データＰ０１、Ｐ０２、Ｐ０３、・・・について所定の校正を行う。
【００５３】
生成部１３２は、所定の校正において、ストラクチャーフロムモーション（Structure  from  Motion、以下、「ＳＦＭ」と記載する）と呼ばれる既存の手法を用いる。ＳＦＭによれば、種々の視点位置から撮像された複数の画像データに基づいて、画像の３次元形状を復元することが可能となる。具体的には、ＳＦＭは、画像データ間で対応付けされた対応点を用いて、かかる対応点の移動を基礎行列で表現することにより、撮像装置Ｃ２０の動きを算出する。これにより、撮像装置Ｃ２０の位置情報を復元することができるため、生成部１３２は、所定の校正（カメラキャリブレーション）を行うことができる。
【００５４】
図７に示すように、生成部１３２は、画像データＰ０１において、点Ｇ０１１〜Ｇ０１３を対応点として取得する。なお、ＳＦＭにおいては、被写体６０のように動きのある物体ではなく、背景のオブジェクトなど、比較的動きのない物体上に対応点が採られるため、対応点の移動を算出する精度を向上させることができる。そして、生成部１３２は、図７に示すように、画像データＰ０２についても、点Ｇ０２１〜Ｇ０２３を取得する。同様に、生成部１３２は、画像データＰ０３についても、点Ｇ０３１〜Ｇ０３３を取得する。そして、生成部１３２は、点Ｇ０１１〜Ｇ０３１の移動や、点Ｇ０１２〜Ｇ０３２の移動や、点Ｇ０１３〜Ｇ０３３の移動に関する情報を算出する。これにより、生成部１３２は、被写体６０が撮像された撮像装置Ｃ２０の位置情報等を復元し、取得することができる。生成部１３２は、かかる情報を自由視点画像記憶部１２２の校正データとして格納する。
【００５５】
なお、図７の説明においては、点Ｇ０１１〜Ｇ０１３等を画像中の任意の点とする例を示したが、かかる点は画像の特徴を示す点であるため、実際には、画像内の背景にある物体の境目などが選定される傾向にある。
【００５６】
また、生成部１３２は、所定の校正において、自由視点画像における、撮像装置Ｃ２０の注視方向に対する直角方向の軸（以下、「Ｙ軸」と表記する）に関する情報を設定する。通常、Ｙ軸は、被写体６０が配置される水平面に対する直角方向の軸となる。また、画像データにおけるＹ軸は、自由視点画像が生成された際の回転軸となる。生成部１３２は、Ｙ軸に関する情報を適切に設定することにより、射影変換時における画像の歪みを抑制することができる。
【００５７】
通常、バレットタイム等の手法による自由視点画像が生成される際には、適切にカメラキャリブレーションが行われた撮像装置により取得された画像データが用いられるため、画像データに含まれるカメラパラメータ等からＹ軸の情報を設定することができる。ところが、生成部１３２は、一般ユーザによって任意に準備された画像を用いて自由視点画像を生成するため、入稿された画像データに基づいて、自由視点画像におけるＹ軸の情報を設定することができない場合がある。このため、生成部１３２は、以下に説明する手法により、自由視点画像におけるＹ軸を推定する。
【００５８】
生成部１３２は、かかる推定処理について、幾つかの手法を採用することができる。第１の手法によれば、生成部１３２は、画像データが取得される際の撮像装置Ｃ２０の位置関係に基づいて、Ｙ軸の情報を推定する。図６を例とすると、生成部１３２は、上述したＳＦＭの手法により、撮像装置Ｃ２０１の三次元位置と、隣り合う撮像装置Ｃ２０２の三次元位置とを推定する。そして、それらの３次元位置と、撮像装置Ｃ２０１及び２０２における注視点（例えば、画像データＰ０１の中心点）とにより三角形を構成する。そして、生成部１３２は、３点で構成された三角形の法線方向を自由視点画像におけるＹ軸として推定する。例えば、生成部１３２は、かかる処理を全ての撮像装置Ｃ２０に対して行い、最少二乗法などによりＹ軸の位置を近似させる。そして、生成部１３２は、近似されたＹ軸を自由視点画像におけるＹ軸として設定する。
【００５９】
また、第２の手法によれば、生成部１３２は、自由視点画像の基となる画像データが取得された際の撮像装置Ｃ２０におけるＹ軸の平均をとり、かかる平均を採用することができる。なお、生成部１３２は、ＳＦＭにより撮像装置Ｃ２０の３次元位置情報を推定することにより、各撮像装置Ｃ２０におけるＹ軸を推定する。
【００６０】
また、第３の手法によれば、生成部１３２は、ＳＦＭにより、自由視点画像の基となる画像データが取得された際の撮像装置Ｃ２０の２次元位置情報を取得する。そして、生成部１３２は、取得された平面上の撮像装置Ｃ２０の点群における２次元位置の平均値を算出する。そして、生成部１３２は、かかる平均値における法線方向をＹ軸として推定する。第３の手法によれば、撮像装置Ｃ２０は水平面に対して該垂直であると想定してＹ軸を推定できるので、生成された自由視点画像における歪みを抑制できる場合がある。例えば、一般ユーザが被写体６０を撮像するときに撮像装置Ｃ２０を手で持っている場合には、撮像装置Ｃ２０のＹ軸は、水平面に対して直角ではなく、斜め前方（あるいは後方）に傾くことが一般に知られている。このような状態で撮像された複数の画像を射影変換した場合、各画像における水平面が歪むことにより、不自然な自由視点画像が生成される場合がある。このため、撮像装置Ｃ２０の３次元位置を取得する手法では、撮像状態によっては、自由視点画像におけるＹ軸を適切に設定できない場合がある。一方、第３の手法によれば、上記のように撮像状態にかかわらず、Ｙ軸を設定できるという利点がある。生成部１３２は、上記の手法のうち、いずれかの手法を採用することにより、生成される自由視点に対して適切なＹ軸の情報を設定することができる。
【００６１】
なお、生成部１３２は、画像データにおける水平面（例えば、地面や床）に関しては、各画像の対応点を取得することにより推定することができる。例えば、生成部１３２は、自由視点画像の生成における隣り合わせとなる画像同士の点群を比較し、隣り合う画像データについて動きの少ない（変化の少ない）点群に対応する箇所を地面であると推定することができる。
【００６２】
上記のように、生成部１３２は、所定の変換処理として、ＳＦＭ等の手法により、複数の画像データ内で対応する点である対応点の関係に基づいて、当該画像データを取得した撮像装置Ｃ２０の相対的な位置情報を取得する。そして、生成部１３２は、ＳＦＭによる処理と、Ｙ軸を推定する処理とによって得られた各画像データに対応する校正データを用いて、各画像データに対応する射影変換行列を算出する。そして、生成部１３２は、算出された射影変換行列を用いて、自由視点画像記憶部１２２に記憶されている元画像データを変換し、変換後の自由視点画像を自由視点画像記憶部１２２に格納する。
【００６３】
なお、生成部１３２は、入稿された画像データから自由視点画像を生成する際に、生成される自由視点画像を確認するための画像である仮処理画像を生成してもよい。ここでは、仮処理画像とは、生成される自由視点画像のサンプル画像であり、入稿された画像データを自由視点画像が生成される順番で単に並べたもの等を示す。すなわち、生成部１３２は、所定の校正処理をして滑らかに表示される自由視点画像を生成する前に、単に受け付けた画像データを順番に並べて生成される１枚の画像を生成することで、迅速に一般ユーザに自由視点画像の出来上がりのイメージを提示することができる。なお、生成部１３２は、サンプル画像を生成するのではなく、予め格納されているサンプル画像を記憶部１２０内から取得し、かかるサンプル画像を表示させてもよい。
【００６４】
また、生成部１３２は、複数の画像データが所定の連続性を有するか否かを判定することにより生成処理で取り扱う画像データを抽出し、抽出された画像データを用いて自由視点画像を生成してもよい。言い換えれば、生成部１３２は、入稿された複数の画像データのうち、自由視点画像の生成に適する画像データを抽出して自由視点画像を生成する。例えば、生成部１３２は、生成処理において、入稿された複数の画像データのうち、誤って入稿された画像データや、自由視点画像の生成に不適切な画像データを排除することができる。かかる処理は、例えば、ＳＦＭによる処理を行う際に隣り合う画像データ同士で対応する対応点が取得できなかったり、画像データ全体を通して、対応点の移動が連続していないと判定されたりすることによって行われる。このように、生成部１３２は、複数の画像データのうち、隣り合う画像データが所定の連続性を有するか否かを判定してもよいし、複数の画像データの全体における連続性を判定してもよい。生成部１３２は、変換処理で扱うことが可能な画像データを抽出して生成処理をすることにより、処理を止めることなく、適切に生成処理を行うことができる。
【００６５】
また、生成部１３２は、上記のように不適切な画像データが混じることにより、入稿された複数の画像データによっては自由視点画像を生成することができない場合には、生成することができない理由、又は自由視点画像を生成可能とするための画像データの差し換えに係る情報が含まれる通知データを生成してもよい。例えば、生成部１３２は、図１に示す例において、画像データＰ０１と、画像データＰ０３との間の画像データＰ０２が入稿されていないことにより、ＳＦＭ等の処理ができなかったものとする。この場合、生成部１３２は、自由視点画像記憶部１２２の変換可否の項目を「Ｎ」とするとともに、画像データＰ０２に対応する視点位置から撮像された画像データが存在しないことを指摘する通知データを生成する。かかる通知データが配信部１３３により配信されることにより、サイト管理者は、自由視点画像を生成するために追加する画像データの存在等を認識することができる。
【００６６】
（配信部１３３について）
配信部１３３は、生成部１３２によって生成された自由視点画像を配信する。具体的には、第１の実施形態に係る配信部１３３は、生成部１３２によって生成され、自由視点画像記憶部１２２に記憶されている自由視点画像を、元画像データの入稿元である管理装置１０に配信する。
【００６７】
また、配信部１３３は、生成部１３２が生成した他の情報について配信してもよい。例えば、配信部１３３は、生成部１３２がサンプル画像を生成、もしくは取得した場合には、かかるサンプル画像を配信する。また、配信部１３３は、生成部１３２が自由視点画像を生成することができない旨や、自由視点画像の生成のための追加の画像データの入稿を求める旨を示した通知データを生成したときは、かかる通知データを元画像データの入稿元に配信する。
【００６８】
〔１−３．画像処理の一例〕
ここで、図８を用いて、第１の実施形態に係る生成部１３２による画像処理の一例を説明する。図８は、第１の実施形態に係る生成部１３２による画像処理の一例を示す図である。
【００６９】
図８では、画像処理装置１００が利用者（例えば、サイト管理者）に提供するウェブページＷ１０において、画像データの入稿を受け付け、受け付けた画像データから自由視点画像を生成する処理を示している。
【００７０】
図８に示すように、ウェブページＷ１０には、画像表示枠Ｗ２０と、操作ボタンＷ３０とが含まれる。管理装置１０は、サイト管理者による操作に従って、画像処理装置１００が提供するウェブページＷ１０にアクセスし、ウェブページＷ１０を表示させる。そして、操作ボタンＷ３０が選択される（例えば、クリックされる）ことにより、画像処理装置１００に対してアップロードする画像データの選択画面が表示される。
【００７１】
管理装置１０が複数の画像データを選択し、アップロードを行うと、画像処理装置１００に係る受付部１３１は、かかる画像の入稿を受け付ける。このとき、管理装置１０には、「読み込み中」といった状態を示す情報が表示される。ここで、画像処理装置１００に係る生成部１３２は、自由視点画像の生成処理を行っている最中には、所定のサンプル画像を生成してもよい。この場合、配信部１３３は、生成部１３２によって生成されたサンプル画像を画像表示枠Ｗ２０に表示させる。サンプル画像は、入稿された元画像データを１つの表示枠内で連続的に表示させる画像である。図８に示すように、サンプル画像の初期表示は、例えば、画像データＰ０１が表示される。
【００７２】
そして、生成部１３２が自由視点画像の生成処理を完了させた場合、配信部１３３は、生成された自由視点画像ＦＶ０１を管理装置１０に配信する。これにより、画像表示枠Ｗ２０には、生成された自由視点画像ＦＶ０１が表示される。このとき、管理装置１０は、操作ボタンＷ３０を選択することにより、生成された自由視点画像ＦＶ０１をダウンロードし、管理装置１０内に格納することができる。このように、画像処理装置１００は、画像の入稿受け付けから、自由視点画像の配信までを完結することのできるユーザインターフェイス（User  Interface)を提供する。これにより、画像処理装置１００は、画像処理に関してユーザビリティの向上を図ることができる。
【００７３】
また、画像処理装置１００は、生成した自由視点画像ＦＶ０１に関して、さらに管理装置１０から要求を受け付けてもよい。すなわち、受付部１３１は、管理装置１０を操作するサイト管理者から、自由視点画像に対する各種操作を受け付ける。例えば、受付部１３１は、自由視点画像ＦＶ０１に設定される新たな注視点についての要求を受け付けてもよい。自由視点画像ＦＶ０１は、通常、入稿された画像データの該中心に対応する点を注視点として生成される。しかし、サイト管理者は、生成された自由視点画像ＦＶ０１について、異なる座標を注視点とした自由視点画像を所望する場合がある。この場合、受付部１３１は、画像表示枠Ｗ２０内の任意の点の選択をサイト管理者から受け付ける。そして、生成部１３２は、サイト管理者から選択された点を新たな注視点として、自由視点画像を生成する。そして、配信部１３３は、新たに生成された自由視点画像を画像表示枠Ｗ２０に表示させる。
【００７４】
上記のように、自由視点画像ＦＶ０１の注視点を新たに設定する場合には、生成部１３２は、元画像データについて適切な対応点を取得する処理を行う場合がある。かかる処理については、生成部１３２は、例えば、マルチベースラインステレオ法や、隣り合う画像同士のエピポーラ線を取得することにより対応点を取得するエピポーラ幾何計算の手法等の既存の技術を用いて、各画像データにおける対応点を取得することができる。
【００７５】
また、受付部１３１は、サイト管理者から、自由視点画像ＦＶ０１を拡大、あるいは縮小させる要求や、任意のサイズで切り取る要求や、自由視点画像ＦＶ０１のアスペクト比の変更の要求などを受け付けてもよい。生成部１３２は、受付部１３１の受け付けた要求に従い、対応する自由視点画像を生成する。そして、配信部１３３は、生成部１３２によって生成された自由視点画像を配信する。
【００７６】
〔１−４．画像処理手順〕
次に、図９を用いて、第１の実施形態に係る画像処理装置１００による画像処理の手順について説明する。図９は、第１の実施形態に係る画像処理装置１００による画像処理手順を示すフローチャートである。
【００７７】
図９に示すように、画像処理装置１００の受付部１３１は、管理装置１０から画像データの入稿を受け付けたか否かを判定する（ステップＳ１０１）。このとき、受付部１３１は、画像データの入稿を受け付けていない場合には（ステップＳ１０１；Ｎｏ）、画像データの入稿を受け付けるまで待機する。
【００７８】
一方、受付部１３１は、画像データの入稿を受け付けた場合には（ステップＳ１０１；Ｙｅｓ）、受け付けた画像データを画像データ記憶部１２１に格納する。続いて、生成部１３２は、入稿された画像データに対して所定の校正を行うことにより、画像データを変換する（ステップＳ１０２）。
【００７９】
そして、生成部１３２は、変換された画像データに基づいて、自由視点画像を生成する（ステップＳ１０３）。続いて、配信部１３３は、自由視点画像を管理装置１０に配信する（ステップＳ１０４）。
【００８０】
なお、図８において説明したように、画像処理装置１００は、生成した自由視点画像を所定のユーザインターフェイス（例えば、ウェブページＷ１０）を介して配信する場合には、自由視点画像に対する注視点等に関する要求をさらに受け付け、要求に対応した自由視点画像を生成し、配信するといった処理を繰り返してもよい。
【００８１】
〔１−５．効果〕
上述してきたように、第１の実施形態に係る画像処理装置１００は、受付部１３１と、生成部１３２と、配信部１３３とを有する。受付部１３１は、視点位置が異なる複数の画像データを受け付ける。生成部１３２は、受付部１３１によって受け付けられた複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する。配信部１３３は、生成部１３２によって生成された自由視点画像を配信する。
【００８２】
これにより、第１の実施形態に係る画像処理装置１００は、例えば、サイト管理者のように自由視点画像を活用して商材販売の促進を図る者などに自由視点画像を提供することができる。そして、サイト管理者は、自由視点画像を販促などに利用することにより、通常の画像を提示するよりも、より高い販促効果を発揮させることができる。また、ユーザは、自身が所望する角度で画像を表示させることができるので、例えば、ショッピングサイトにおける購買活動などにおいて、商品に関する情報などを容易に取得することができる。このように、第１の実施形態に係る画像処理装置１００は、一般ユーザに自由視点画像を有効に活用させることができる。
【００８３】
また、生成部１３２は、生成される自由視点画像を確認するための画像である仮処理画像を生成する。配信部１３３は、自由視点画像の配信の前に、仮処理画像を配信する。
【００８４】
このように、第１の実施形態に係る画像処理装置１００は、生成処理に先立ち、生成される自由視点画像のサンプル画像を提示することができる。このため、サイト管理者は、生成処理が実際に完了する前に仕上がる画像のイメージ等を確認できるため、自由視点画像の生成サービスを利用しやすくなる。
【００８５】
また、生成部１３２は、複数の画像データのうち、隣り合う画像データが所定の連続性を有するか否かを判定することにより生成処理で取り扱う画像データを抽出し、抽出された画像データを用いて自由視点画像を生成する。
【００８６】
これにより、第１の実施形態に係る画像処理装置１００は、生成に適さない画像データが混じっていたり、サイト管理者が間違えて画像データをアップロードしたりしたような場合でも、適切な画像データを用いて自由視点画像を生成できる。これにより、画像処理装置１００は、処理を中断したり、エラーを返したりといった、処理の遅延を起こす頻度を減らしながら、自由視点画像の生成サービスを提供することができる。
【００８７】
また、生成部１３２は、複数の画像データによっては自由視点画像を生成することができない場合には、生成することができない理由、又は自由視点画像を生成するための画像データの差し換えに関する情報が含まれる通知データを生成する。配信部１３３は、生成部１３２によって生成された通知データを配信する。
【００８８】
これにより、第１の実施形態に係る画像処理装置１００は、サイト管理者に不適切なデータの指摘や、差し換えの示唆を提示できるので、自由視点画像の生成サービスを円滑に進行させることができる。
【００８９】
また、生成部１３２は、所定の変換処理として、複数の画像データ内で対応する点である対応点の関係に基づいて、画像データを取得した撮像装置Ｃ２０の相対的な位置情報を取得することによって求められる変換行列を用いて、複数の画像データの射影変換を行う。
【００９０】
これにより、第１の実施形態に係る画像処理装置１００は、サイト管理者が自由に撮像したような、校正がなされていない画像データによっても、自由視点画像を生成することができる。このため、サイト管理者は、特別な設備などを使用することなく自由視点画像を生成させることができる。このように、画像処理装置１００は、一般ユーザの自由視点画像の活用を促進させることが可能になる。
【００９１】
〔２−１．第２の実施形態に係る画像処理の一例〕
上述した第１の実施形態において、画像処理装置１００は、サイト管理者から受け付けた複数の画像データに基づいて自由視点画像を生成し、配信する処理について説明した。ここで、画像処理装置１００は、配信した自由視点画像に関する情報をさらに取得することにより、自由視点画像をより有効に活用させることができる。この点について、図１０を用いて、第２の実施形態に係る画像処理の一例について説明する。図１０は、第２の実施形態に係る画像処理の一例を示す図である。なお、第１の実施形態において説明した事項については、説明を省略する。
【００９２】
図１０において、ユーザは、ウェブページＷ０１に含まれる自由視点画像ＦＶ０１を閲覧する（ステップＳ２１）。ここで、ウェブページＷ０１は、管理装置１０を操作するサイト管理者によって管理されるウェブサーバ５０（図１０での図示は省略する）によって提供される。また、ウェブページＷ０１は、ショッピングサービスを提供するＥＣ（Electronic  Commerce）サイトであり、例えば、女性用の服を紹介する販促用の画像として自由視点画像ＦＶ０１が組み込まれているものとする。
【００９３】
ユーザ端末２０は、ユーザの操作に従い、ウェブページＷ０１において自由視点画像ＦＶ０１を様々な角度で表示する。具体的には、ユーザ端末２０は、自由視点画像ＦＶ０１に対してカーソル７０による操作を受け付けることで、自由視点画像ＦＶ０１を回転させたり、回転後にユーザが所望する角度で数秒間表示させたり、画像を拡大させたり、縮小させたりする。このとき、ユーザ端末２０は、かかるユーザの操作行動などを検知し、行動に関する情報として記憶する。
【００９４】
そして、ユーザ端末２０は、行動に関する情報を画像処理装置１００に送信する（ステップＳ２２）。画像処理装置１００は、受信した情報を集計する（ステップＳ２３）。そして、画像処理装置１００は、ユーザの自由視点画像ＦＶ０１に対する行動に関する情報に基づいて、自由視点画像ＦＶ０１を評価する情報である評価情報を生成する（ステップＳ２４）。
【００９５】
画像処理装置１００は、生成した評価情報に基づいて、格納している自由視点画像に関する情報を更新する（ステップＳ２５）。例えば、画像処理装置１００は、自由視点画像ＦＶ０１について、ユーザから最も多く表示されている角度に対応する画像データに関する情報を参照する。そして、画像処理装置１００は、ユーザから最も多く表示されている角度に対応する画像データを自由視点画像ＦＶ０１における初期画面表示の画像データとして更新する。これにより、ウェブページＷ０１では、自由視点画像ＦＶ０１のうち、ＥＣサイトにおいて販促効果の高いと想定される角度に対応する画像が初期画面表示として表示されるようになる。
【００９６】
また、画像処理装置１００は、自由視点画像ＦＶ０１に対する評価情報を、自由視点画像ＦＶ０１の元画像データの提供元である管理装置１０に通知する（ステップＳ２６）。例えば、画像処理装置１００は、自由視点画像ＦＶ０１を構成する画像ごとの表示回数や、ユーザの操作回数や、自由視点画像ＦＶ０１を所定時間閲覧した後に、ユーザが自由視点画像ＦＶ０１で紹介されている女性用の服を購入したり、もしくは購入候補として追加したりするようなコンバージョン（Conversion）に至った回数などを評価レポートとして通知する。
【００９７】
このように、第２の実施形態に係る画像処理装置１００は、配信された自由視点画像を閲覧したユーザに関する情報であって、自由視点画像に対するユーザの行動に関する情報を受信する。そして、画像処理装置１００は、受信されたユーザの行動に関する情報に基づいて、自由視点画像を評価する。
【００９８】
これにより、第２の実施形態に係る画像処理装置１００は、配信された自由視点画像に対するユーザからの反応に基づき、自由視点画像の効果測定を行うことができる。また、画像処理装置１００は、１枚の画像や動画ではなく、自由視点画像についての情報を取得するので、例えば、どの角度（視点）から撮像された画像が特に販促効果を発揮するか、などの詳細な情報を取得することができる。また、画像処理装置１００によれば、ユーザのより積極的な反応に関する情報を取得することができる。例えば、ショッピングサイトに通常の画像が掲載されているだけでは、ユーザがその画像に対して興味関心があるか否かの情報を取得することは難しい。しかしながら、自由視点画像が掲載されている場合、興味のあるユーザは、画像を閲覧するのみならず、自由視点画像を回転させるといった操作を実行する。そして、画像処理装置１００は、このような操作行動についても取得することができるので、よりユーザの興味関心につながる情報を取得することができる。このように、第２の実施形態に係る画像処理装置１００は、自由視点画像に対するユーザ行動などに基づいて効果測定を行うこと等によって、自由視点画像の活用を図ることができる。
【００９９】
〔２−２．画像処理装置の構成〕
次に、図１１を用いて、第２の実施形態に係る画像処理装置１００の構成について説明する。図１１は、第２の実施形態に係る画像処理装置１００の構成例を示す図である。図１１に示すように、第２の実施形態に係る画像処理装置１００は、第１の実施形態に係る画像処理装置１００と比較して、評価情報記憶部１２３と、受信部１３４と、評価部１３５と、通知部１３６とをさらに有する。
【０１００】
（評価情報記憶部１２３について）
評価情報記憶部１２３は、自由視点画像の評価に関する情報を記憶する。具体的には、第２の実施形態に係る評価情報記憶部１２３は、所定期間において集計された自由視点画像に対するユーザの行動に関する情報を記憶する。ここで、図１２に、第２の実施形態に係る評価情報記憶部１２３の一例を示す。図１２に示した例では、評価情報記憶部１２３は、「自由視点画像ＩＤ」、「元画像データ」、「変換後画像データ」、「閲覧ログ」といった項目を有し、さらに「閲覧ログ」の項目には、「表示回数」、「操作回数」、「コンバージョン数」といった小項目が含まれる。
【０１０１】
「自由視点画像ＩＤ」、「元画像データ」及び「変換後画像データ」は、自由視点画像記憶部１２２内の同様の項目にそれぞれ対応する。「閲覧ログ」は、自由視点画像に係るユーザ端末２０から送信された閲覧に関する情報（言い換えれば、自由視点画像に対するユーザの行動に関する情報）のログを示す。図１２に示すように、「閲覧ログ」は、自由視点画像ＦＶ０１を構成する画像データごとに記憶される。
【０１０２】
「表示回数」は、自由視点画像ＦＶ０１を構成する画像データが表示された回数を示す。なお、画像処理装置１００は、自由視点画像ＦＶ０１を構成する画像データに対応する角度の表示が所定の時間（例えば、１秒以上など）を超えたときに「表示回数」として計数してもよい。これにより、画像処理装置１００は、自由視点画像ＦＶ０１を単に回転させるのみで、特定の角度に対応する画像データを表示させていないと判定できるユーザの行動を表示回数として計数されないようにすることができる。
【０１０３】
「操作回数」は、自由視点画像ＦＶ０１を構成する画像データに対してユーザから操作された回数を示す。例えば、操作回数は、ユーザが自由視点画像ＦＶ０１上をカーソル７０でドラッグすることによって表示を回転させたり、拡大、縮小操作を行ったりしたことにより計数される。
【０１０４】
「コンバージョン数」は、自由視点画像ＦＶ０１を構成する画像データの表示に対して、ユーザがコンバージョンに至った回数を示す。例えば、コンバージョン数は、ユーザが自由視点画像を閲覧した後や、自由視点画像を操作した後、所定時間内に、自由視点画像が販促する商材に対してコンバージョンに至った回数により計数される。
【０１０５】
すなわち、図１２では、自由視点画像ＩＤ「ＦＶ０１」で識別される自由視点画像は、元画像データが「Ｐ０１、Ｐ０２、Ｐ０３、・・・」であり、変換後画像データは「ＲＰ０１、ＲＰ０２、ＲＰ０３、・・・」であり、変換後画像データ「ＲＰ０１」に対応する角度を表示させた状態において、ユーザ端末２０における表示回数は「１０１」回であり、操作回数は「２４０」回であり、コンバージョン数は「８」回であることを示している。
【０１０６】
なお、図１２では、評価情報記憶部１２３にはコンバージョン数が記憶される例を示しているが、これに限られず、コンバージョン率が記憶されてもよい。この場合、評価情報記憶部１２３は、自由視点画像ＦＶ０１の配信回数に対するコンバージョン率を記憶する。また、評価情報記憶部１２３には、集計期間を示す情報や、各自由視点画像のユーザ端末２０に対する全配信数などが記憶されてもよい。
【０１０７】
（受信部１３４について）
受信部１３４は、自由視点画像に対するユーザの行動に関する情報を受信する。具体的には、第２の実施形態に係る受信部１３４は、自由視点画像に対するユーザの行動として、自由視点画像を回転させた回数、操作時間もしくは閲覧時間、自由視点画像に対する拡大あるいは縮小操作、自由視点画像に関係する商材（例えば、ショッピングサイトにおいて自由視点画像が紹介している商品）についてのコンバージョン数の少なくとも一つに関する情報を受信する。
【０１０８】
そして、受信部１３４は、受信したユーザの行動に関する情報について、自由視点画像ＩＤと対応付けて、評価情報記憶部１２３に格納する。
【０１０９】
（評価部１３５について）
評価部１３５は、受信部１３４によって受信されたユーザの行動に関する情報に基づいて、自由視点画像を評価する。例えば、評価部１３５は、受信部１３４によって受信された、自由視点画像に対する回転操作、拡大操作、縮小操作の回数、操作時間、閲覧時間、自由視点画像に関係する商材のコンバージョン数等の、各項目の数値の大小によって、自由視点画像の評価の高低を判定する。具体的には、第２の実施形態に係る評価部１３５は、自由視点画像のうち、ユーザによって操作された回数の多い画像データや、ユーザ端末２０において表示されている時間が長い画像データほど、ユーザに与える関心が高いものとして、評価値を高く判定する。また、このようなユーザの操作に関して、評価部１３５は、受信部１３４によって受信される情報であって、自由視点画像の生成元となった複数の画像データにまたがる操作に関する情報に基づいて、自由視点画像を構成する画像の連続性の評価を判定してもよい。例えば、評価部１３５は、自由視点画像ＦＶ０１を構成する画像データＰ０１から画像データＰ０３までをまたいで閲覧する操作が多い場合などに、画像データＰ０１から画像データＰ０３までの連続性を高く評価する。ここで、自由視点画像を構成する画像の連続性の評価とは、自由視点画像において、所定の角度間に含まれる画像の連なりが有する訴求性の良否などをいう。例えば、ユーザは、自由視点画像において自身が所望する情報量が多い箇所について、頻繁に閲覧したり、操作したりといった行動をとることが想定される。そのため、評価部１３５は、かかる箇所（角度間）が自由視点画像における訴求性が高いものとして、画像の連なりについて評価する。この場合、評価部１３５は、ユーザの自由視点画像における操作の挙動や、操作にかける時間情報を評価してもよい。例えば、評価部１３５は、自由視点画像の閲覧において、所定時間内にユーザが繰り返し同じ範囲を表示させる操作を行うことや、ある箇所については閲覧時間が短く、ある箇所を表示させた場合に閲覧時間が長くなったり、画像の回転操作を停止させたりしたことなどの操作情報を評価対象とすることができる。また、受信部１３４は、自由視点画像に対するユーザの行動に関する情報を、自由視点画像の生成元となった画像データごとに受信する。このため、評価部１３５は、自由視点画像の生成元となった画像データごとの評価を判定してもよい。
【０１１０】
そして、評価部１３５は、算出された評価値に基づいて、自由視点画像に関する情報を更新する。この場合、配信部１３３は、評価部１３５によって判定された自由視点画像の生成元となった画像データごとの評価に基づいて情報が更新された自由視点画像を配信する。例えば、評価部１３５は、自由視点画像を構成する画像データのうち、評価の高い画像データが優先的にユーザ端末２０において表示されるように、自由視点画像の情報を更新する。具体的には、評価部１３５は、初期画面表示ではない画像データの評価が高い場合には、かかる画像データを初期画面表示とするよう情報を更新する。これにより、ユーザ端末２０において、ユーザからの評価が高い（言い換えれば、ユーザの関心が高いと想定される）画像データが優先的に表示されるようになる。
【０１１１】
また、評価部１３５は、ユーザの行動に基づいて、自由視点画像を構成する画像データの評価を行った結果を評価情報として生成してもよい。この点について、図１３を用いて説明する。
【０１１２】
図１３は、第２の実施形態に係る評価部１３５による評価処理の一例を示す図である。図１３に示すように、評価部１３５は、自由視点画像を構成する画像データＰ０１〜Ｐ０８について、画像ごとの表示回数や操作回数を集計した評価情報を生成する。かかる評価情報により、例えばサイト管理者は、どのような角度により撮像された画像がユーザからの関心が高いか、といった販促に係る情報を一目で認識することができ、ショッピングサイトなどのＥＣサイトにおいて、自由視点画像を有用に活用することができる。
【０１１３】
なお、図１３においては、自由視点画像を構成する画像データＰ０１〜Ｐ０８のうち、画像データＰ０１が初期表示されるため、表示回数や操作回数が、他の画像データと比較して多くなる。かかる場合、評価部１３５は、評価情報において、初期表示の画像データである画像データＰ０１に係る情報は表示を省略するなど、適宜調整することができる。
【０１１４】
また、評価部１３５は、受信部１３４によって受信されたユーザの行動に関する情報に基づいて、ユーザの購買傾向を評価してもよい。例えば、評価部１３５は、ユーザがある商材に関する自由視点画像を所定時間以上閲覧し続けている情報や、所定時間以上操作し続けている情報などを参照する。この場合、評価部１３５は、ユーザが関心を示しているものとして自由視点画像の評価をするとともに、ユーザの購買傾向に関しても評価、測定することができる。例えば、評価部１３５は、ユーザが所定時間以上閲覧し続けている自由視点画像に関連する商材に対して、ユーザの興味関心が高く、購買意欲が高いと想定されることを評価する。この場合、評価部１３５は、例えば、評価した情報を外部のコンテンツサーバ等に提供することにより、外部のコンテンツサーバを介して、ユーザの興味に即した広告コンテンツを配信させることなどができる。
【０１１５】
（通知部１３６について）
通知部１３６は、評価部１３５によって評価された自由視点画像に関する情報を通知する。例えば、第２の実施形態に係る通知部１３６は、自由視点画像を構成する画像データについて、画像ごとの表示回数や操作回数が集計された評価情報を管理装置１０に通知する。
【０１１６】
なお、通知部１３６は、管理装置１０が元画像データを提供した自由視点画像ＦＶ０１に係る評価情報のみならず、他の自由視点画像に関する情報を管理装置１０に通知してもよい。これにより、サイト管理者は、ＥＣサイト等においてどのような自由視点画像が販促効果をより向上させているか、などのサイト運営に関する有益な情報を取得することができる。
【０１１７】
〔２−３．ユーザ端末の構成〕
次に、図１４を用いて、第２の実施形態に係るユーザ端末２０の構成について説明する。図１４は、第２の実施形態に係るユーザ端末２０の構成例を示す図である。図１４に示すように、ユーザ端末２０は、通信部２１と、入力部２２と、出力部２３と、制御部２５とを有する。
【０１１８】
通信部２１は、例えば、ＮＩＣ等によって実現される。そして、通信部２１は、ネットワークＮと有線または無線で接続され、画像処理装置１００や、ウェブサーバ５０との間で情報の送受信を行う。
【０１１９】
入力部２２は、ユーザから各種操作を受け付ける入力装置である。例えば、入力部２２は、キーボードやマウスや操作キー等によって実現される。出力部２３は、各種情報を表示するための表示装置である。例えば、出力部２３は、液晶ディスプレイ等によって実現される。なお、ユーザ端末２０にタッチパネルが採用される場合には、入力部２２と出力部２３とは一体化される。また、本明細書中の説明では、出力部２３を画面と記載する場合がある。
【０１２０】
制御部２５は、例えば、ＣＰＵやＭＰＵ等によって、ユーザ端末２０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。例えば、この各種プログラムは、ウェブブラウザと呼ばれるアプリケーションプログラム等が該当する。また、制御部２５は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
【０１２１】
図１４に示すように、制御部２５は、要求部２６と、受付部２７と、表示制御部２８とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部２５の内部構成は、図１４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部２５が有する各処理部の接続関係は、図１４に示した接続関係に限られず、他の接続関係であってもよい。
【０１２２】
要求部２６は、ウェブサーバ５０からウェブページＷ０１の取得を要求する。また、要求部２６は、ウェブサーバ５０から受信したウェブページＷ０１にコンテンツの取得命令が含まれる場合に、該当するコンテンツの取得要求を送信する。
【０１２３】
受付部２７は、通信部２１を介して、各種情報を受け付ける。例えば、受付部２７は、ユーザが入力部２２を介してウェブページＷ０１の取得要求を行った場合は、ウェブサーバ５０から配信されるウェブページＷ０１を受け付ける。
【０１２４】
表示制御部２８は、受信したウェブページＷ０１および自由視点画像ＦＶ０１を出力部２３に表示する処理を実行する。例えば、表示制御部２８は、制御部２５が、自由視点画像ＦＶ０１とともに配信される制御情報であって、自由視点画像ＦＶ０１を任意の視点から表示させるための制御情報（例えば、ＪＡＶＡ  Ｓｃｒｉｐｔ（登録商標））を実行することで、図１４に示すように表示部２９、検知部３０、送信部３１として動作し、自由視点画像ＦＶ０１に関する表示処理を実行する。表示部２９、検知部３０、送信部３１は、例えば、ＣＰＵやＭＰＵ等によって、制御情報がＲＡＭを作業領域として実行されることにより実現される。
【０１２５】
表示部２９は、ウェブページＷ０１と、ウェブページＷ０１に含まれる自由視点画像ＦＶ０１とを表示する。また、表示部２９は、自由視点画像ＦＶ０１に対してユーザが回転操作などの表示を遷移させる操作を検知部３０が検知した場合には、かかる操作に合わせて、自由視点画像ＦＶ０１の表示を変化させる。
【０１２６】
検知部３０は、自由視点画像ＦＶ０１に対するユーザの行動に関する情報を検知する。例えば、検知部３０は、自由視点画像ＦＶ０１に対するユーザの行動として、自由視点画像ＦＶ０１を回転させた回数、操作時間もしくは閲覧時間、自由視点画像ＦＶ０１に対する拡大あるいは縮小操作、自由視点画像ＦＶ０１に関係する商材についてのコンバージョンに至る操作等の少なくとも一つに関する操作を検知する。そして、検知部３０は、検知結果を送信部３１に送る。なお、ユーザ端末２０にタッチパネルが採用される場合、図１１に示したカーソル７０の操作は、ユーザの指や、タッチパネル用のペンによって行われる。この場合、検知部３０は、画面上のユーザの指や、タッチパネル用のペンの挙動に基づいて、自由視点画像ＦＶ０１に対する操作を検知する。さらに、入力部２２及び出力部２３には、有線、無線を問わず、種々のデバイスが採用される場合がある。例えば、入力部２２及び出力部２３には、ＶＲ（Virtual  Reality）システムで用いられるデバイスが採用されてもよい。具体的には、出力部２３には、ユーザの頭に装着され、ユーザの視界を覆うディスプレイであるヘッドマウントディスプレイ等が採用される。この場合、ユーザは、装着したヘッドマウントディスプレイに表示される自由視点画像を視認する。また、この場合、入力部２２には、デバイスを実際の空間で動作させることにより、かかるデバイスの挙動や加速度等に基づいて入力データを送信するコントローラ（例えば、データグローブ等）が採用される。検知部３０は、ユーザがコントローラを動かすことにより送信される入力データを、ヘッドマウントディスプレイ上に表示された自由視点画像に対する操作として検知する。さらに、入力部２２及び出力部２３には、ＡＲ（拡張現実、Augmented  Reality）システムで用いられるデバイスが採用されてもよい。具体的には、出力部２３には、ゴーグル型のディスプレイなどのウェアラブルデバイスが採用される。この場合、ユーザは、現実の世界に重ね合わせるようにして、装着したゴーグル型のディスプレイに表示される自由視点画像を視認することができる。また、入力部２２には、ＶＲシステムと同様のコントローラが採用される。そして、検知部３０は、ユーザがコントローラを動かすことにより送信される入力データを、ゴーグル型のディスプレイに表示された自由視点画像に対する操作として検知する。また、ユーザ端末２０がスマートフォンやタブレット端末である場合、上記のＡＲシステムが端末そのものにより実現される場合がある。例えば、スマートフォンであるユーザ端末２０は、備えられたカメラから入力される現実の映像と、画像処理装置１００から配信された自由視点画像とを重ねて表示する。この場合においては、検知部３０は、ユーザ端末２０の画面上に表示された自由視点画像に対してユーザがタッチした操作などの情報を検知する。
【０１２７】
送信部３１は、検知部３０によって検知された自由視点画像ＦＶ０１に対するユーザの行動に関する情報を画像処理装置１００に送信する。画像処理装置１００は、送信部３１から送信された情報を受信することにより、上述した自由視点画像ＦＶ０１に対する評価処理等を実行することができる。
【０１２８】
〔２−４．画像処理手順〕
次に、図１５を用いて、第２の実施形態に係る画像処理装置１００による画像処理の手順について説明する。図１５は、第２の実施形態に係る画像処理装置１００による画像処理手順を示すフローチャートである。
【０１２９】
図１５に示すように、画像処理装置１００の配信部１３３は、管理装置１０に自由視点画像を配信する（ステップＳ２０１）。これにより、ユーザ端末２０がアクセスするウェブページＷ０１に自由視点画像が組み込まれるものとする。
【０１３０】
そして、受信部１３４は、ユーザ端末２０から自由視点画像に対する行動に関する情報を受信したか否かを判定する（ステップＳ２０２）。受信部１３４は、行動に関する情報を受信していない場合は（ステップＳ２０２；Ｎｏ）、受信するまで待機する。
【０１３１】
一方、受信部１３４は、行動に関する情報を受信した場合には（ステップＳ２０２；Ｙｅｓ）、受信した情報を評価部１３５に送る。そして、評価部１３５は、自由視点画像を構成する画像データについて、対応する画像ごとの閲覧ログを集計する（ステップＳ２０３）。
【０１３２】
そして、評価部１３５は、集計した情報に基づいて、自由視点画像及び自由視点画像を構成する画像データごとの評価情報を生成する（ステップＳ２０４）。評価部１３５は、生成した評価情報に基づいて、自由視点画像に関する情報を更新する（ステップＳ２０５）。また、評価部１３５は、生成した評価情報を通知部１３６に送る。通知部１３６は、管理装置１０に対して、自由視点画像に関する評価情報を通知する（ステップＳ２０６）。
【０１３３】
〔２−５．効果〕
上述してきたように、第２の実施形態に係る画像処理装置１００は、第１の実施形態と比較して、受信部１３４と、評価部１３５とをさらに有する。受信部１３４は、配信部１３３によって配信された自由視点画像を閲覧したユーザに関する情報であって、自由視点画像に対するユーザの行動に関する情報を受信する。評価部１３５は、受信部１３４によって受信されたユーザの行動に関する情報に基づいて、自由視点画像を評価する。
【０１３４】
これにより、第２の実施形態に係る画像処理装置１００は、自由視点画像に対する効果測定を実施することができる。このため、例えば自由視点画像を販促に用いるサイト管理者等は、自由視点画像の有用性について判断することができ、ユーザの興味関心などを推測することが可能となる。画像処理装置１００は、このような効果測定に係るサービスを提供することにより、自由視点画像の活用を促進させることができる。
【０１３５】
また、受信部１３４は、自由視点画像に対するユーザの行動に関する情報として、自由視点画像に対する回転操作、拡大操作、縮小操作の回数、操作時間、閲覧時間、自由視点画像に関係する商材のコンバージョン数の少なくとも一つの項目に関する情報を受信する。評価部１３５は、受信部１３４によって受信された各項目の数値の大小によって、自由視点画像の評価の高低を判定する。
【０１３６】
このように、第２の実施形態に係る画像処理装置１００は、種々の項目を用いて自由視点画像を評価するので、特定の項目の数値に偏重することなく、適切な評価をすることができる。
【０１３７】
また、受信部１３４は、ユーザの行動に関する情報として、自由視点画像の生成元となった複数の画像データにまたがる操作に関する情報を受信する。評価部１３５は、受信部１３４によって受信された操作に関する情報に基づいて、自由視点画像を構成する画像の連続性の評価を判定する。
【０１３８】
このように、第２の実施形態に係る画像処理装置１００は、自由視点画像を構成する連続した画像に対するユーザ行動に基づいて、自由視点画像を評価できる。これにより、画像処理装置１００は、特に訴求効果の高いと想定される箇所や、自由視点画像を構成する画像を特定することができるので、適切に自由視点画像の効果を測定することができる。
【０１３９】
また、受信部１３４は、自由視点画像に対するユーザの行動に関する情報を、自由視点画像の生成元となった画像データごとに受信する。評価部１３５は、自由視点画像の生成元となった画像データごとの評価を判定する。
【０１４０】
これにより、第２の実施形態に係る画像処理装置１００は、自由視点画像ならではの、各視点に対応する画像の評価を提示することができる。このため、サイト管理者は、例えば、商材の画像をどの角度から撮像すればよいのか、また、どの角度から撮像した画像が販促の効果を高めるか、などの詳細なデータを取得することができる。
【０１４１】
また、配信部１３３は、評価部１３５によって判定された自由視点画像の生成元となった画像データごとの評価に基づいて、評価の高い画像データが優先的に表示されるように更新された自由視点画像を配信する。
【０１４２】
これにより、第２の実施形態に係る画像処理装置１００は、ユーザの興味関心の高い角度に対応する画像や、販促効果の高い画像が優先的に表示されるように自由視点画像を調整することができる。このため、画像処理装置１００は、ユーザが所望する画像を自動的に表示させるような学習効果のある自由視点画像を提供することができる。
【０１４３】
また、第２の実施形態に係る画像処理装置１００は、評価部１３５による自由視点画像の評価に関する情報を、自由視点画像が含まれる所定のメディアの管理者（ここでは、自由視点画像ＦＶ０１が掲載されているウェブサイトのサイト管理者）に通知する通知部１３６をさらに備える。
【０１４４】
このように、第２の実施形態に係る画像処理装置１００は、自由視点画像の評価をサイト管理者に通知することにより、自由視点画像のより効果の高い見せ方や、販促の成果を確認させることができる。結果として、画像処理装置１００は、自由視点画像の活用を図ることができる。
【０１４５】
〔３−１．第３の実施形態に係る画像処理の一例〕
上述した第１の実施形態において、画像処理装置１００は、サイト管理者から受け付けた複数の画像データに基づいて自由視点画像を生成し、配信する処理について説明した。また、第２の実施形態において、画像処理装置１００は、ユーザ端末２０に表示された自由視点画像に対するユーザの行動を評価し、かかる評価情報を管理装置１０に通知する処理について説明した。ここで、画像処理装置１００は、管理装置１０から入稿された画像データのみならず、所定のメディア（例えば、ＥＣサイトや、ショッピングに関するアプリ等）を利用するユーザ端末２０から画像データの入稿を受け付けてもよい。そして、画像処理装置１００は、ユーザ端末２０から受け付けた画像データに基づいて生成された新たな自由視点画像を配信する。これにより、画像処理装置１００は、自由視点画像を有効に活用させることができる。この点について、図１６を用いて、第３の実施形態に係る画像処理の一例について説明する。図１６は、第３の実施形態に係る画像処理の一例を示す図である。なお、第１、又は第２の実施形態において説明した事項については、説明を省略する。
【０１４６】
図１６において、ウェブページＷ０１は、ショッピングサービスを提供するＥＣサイトであり、例えば、女性用の服を紹介する販促用の画像として自由視点画像ＦＶ０１が組み込まれているものとする。また、ウェブページＷ０１には、商品のレビューとして、ユーザが購入した商品に関する感想などを投稿することのできるレビュー欄が含まれているとする。ユーザは、レビュー欄に掲載された他のユーザの感想などを参考に商品の購入を検討する場合がある。また、ユーザによる適切なレビューは、他のユーザの購買意欲を促進させることがある。
【０１４７】
ここで、第３の実施形態に係る画像処理装置１００は、ユーザがＥＣサイトにて購入した商品に関するレビューを投稿する際に、ユーザが準備した商品に関する画像の入稿を受け付ける。そして、画像処理装置１００は、入稿された画像に基づいて自由視点画像を生成する。そして、画像処理装置１００は、生成した自由視点画像をユーザが投稿した商品画像としてレビュー欄に提供する処理を行う。以下、かかる処理について、流れに沿って説明する。
【０１４８】
図１６において、ユーザＵ０１は、自由視点画像ＦＶ０１が含まれるウェブページＷ０１を閲覧し、自由視点画像ＦＶ０１において紹介されている商品ＡＡＡを購入したものとする。そして、ユーザＵ０１は、商品ＡＡＡについてのレビューを投稿するに際して、商品ＡＡＡに関する画像を準備する（ステップＳ３１）。例えば、ユーザＵ０１が準備する画像は、商品ＡＡＡを着用する被写体を取り囲んで撮像された複数の画像である。
【０１４９】
そして、ユーザ端末２０１は、ユーザＵ０１による操作に従って、画像を所定の手法でアップロードする（ステップＳ３２）。例えば、画像処理装置１００は、図８で示すような所定のユーザインターフェイスを介して、ユーザ端末２０１から画像の入稿を受け付ける。
【０１５０】
そして、画像処理装置１００は、入稿された画像に基づいて、自由視点画像ＦＶ１１を生成する（ステップＳ３３）。画像処理装置１００は、生成された自由視点画像ＦＶ１１を、レビュー欄用の画像としてウェブサーバ５０に配信する（ステップＳ３４）。
【０１５１】
ウェブサーバ５０は、ウェブページＷ０１のレビュー欄に配信された自由視点画像ＦＶ１１を組み込む（ステップＳ３５）。これにより、ウェブページＷ０１のレビュー欄には、ユーザＵ０１が投稿したレビューとともに、自由視点画像ＦＶ１１が表示される（ステップＳ３６）。
【０１５２】
そして、ユーザＵ０１とは異なるユーザＵ０２による操作に従い、ユーザ端末２０２は、ウェブページＷ０１にアクセスする。ユーザ端末２０２は、レビュー欄の自由視点画像ＦＶ１１を画面に表示する。これにより、ユーザＵ０２は、レビュー欄の自由視点画像ＦＶ１１を閲覧する（ステップＳ３７）。ユーザ端末２０２は、かかる閲覧に関する行動について画像処理装置１００に送信する。画像処理装置１００は、ユーザ端末２０２から送信されたユーザの閲覧に関する情報を受信する。なお、画像処理装置１００は、ウェブページＷ０１における自由視点画像ＦＶ１１の貢献度に応じて、ユーザＵ０１にフィードバックを行ってもよい。例えば、画像処理装置１００は、ウェブページＷ０１において、「参考になった」ことなど、ユーザＵ０２がユーザＵ０１のレビューを評価したことを示す評価ボタンＷ４０を選択した行動などを計数し、レビューを投稿したユーザＵ０１の貢献度を算出する。また、例えば、画像処理装置１００は、ウェブページＷ０１において、ユーザＵ０２が自由視点画像ＦＶ１１の閲覧を契機として商品ＡＡＡを購入等したことが検知された場合には、所定の報酬がユーザＵ０１に分配されるような処理を実行してもよい。
【０１５３】
このように、第３の実施形態に係る画像処理装置１００は、ＥＣサイトに投稿を行うユーザＵ０１から複数の画像データの入稿を受け付ける。そして、画像処理装置１００は、ユーザＵ０１から受け付けた複数の画像データに基づいて、ＥＣサイトのレビュー欄に表示されるレビュー用自由視点画像を生成する。そして、画像処理装置１００は、ＥＣサイトのレビュー欄に表示される画像として、レビュー用自由視点画像を配信する。
【０１５４】
すなわち、第３の実施形態に係る画像処理装置１００は、サイト管理者のように自由視点画像を販促に利用する者のみならず、商品を購入したユーザのレビュー投稿などに用いる画像としても、自由視点画像を生成することができる。これにより、サイト管理者にとっては、ユーザから投稿される自由視点画像などによって、よりサイトの充実を図ることができる。また、ユーザにとっては、自身のコーディネイトなど、他のユーザに閲覧させたい情報を容易に発信することが可能になる。また、レビュー欄を閲覧するユーザにとっては、サイトに掲載された情報のみならず、他のユーザから投稿された自由視点画像を閲覧することができるので、購買活動などの指針にする情報をより多く得ることができる。このように、第３の実施形態に係る画像処理装置１００によれば、自由視点画像の活用をより促進させることができる。
【０１５５】
〔３−２．画像処理装置の構成〕
次に、図１７を用いて、第３の実施形態に係る画像処理装置１００の構成について説明する。図１７は、第３の実施形態に係る画像処理装置１００の構成例を示す図である。図１７に示すように、第３の実施形態に係る画像処理装置１００は、第２の実施形態に係る画像処理装置１００と比較して、投稿情報記憶部１２４をさらに有する。
【０１５６】
（投稿情報記憶部１２４について）
投稿情報記憶部１２４は、ユーザから投稿される自由視点画像の評価に関する情報を記憶する。具体的には、第３の実施形態に係る投稿情報記憶部１２４は、所定期間において集計される情報であって、ＥＣサイト等のレビュー欄に投稿された自由視点画像に対する他のユーザの行動に関する情報を記憶する。ここで、図１８に、第３の実施形態に係る投稿情報記憶部１２４の一例を示す。図１８に示した例では、投稿情報記憶部１２４は、「ユーザＩＤ」、「投稿画像」、「貢献情報」といった項目を有し、さらに「貢献情報」の項目には、「操作回数」、「レビューポイント」、「コンバージョン数」といった小項目が含まれる。
【０１５７】
「ユーザＩＤ」は、ＥＣサイトへの投稿により、レビュー欄に自由視点画像を掲載させるユーザを識別する情報を示す。「投稿画像」は、レビュー欄に掲載される自由視点画像を識別する情報を示す。
【０１５８】
「貢献情報」は、ユーザによりレビュー欄に掲載された自由視点画像が、当該ＥＣサイトにおいてサイト管理者や他のユーザのためにどのくらい貢献したかという指標値を示す。図１７に示すように、「貢献情報」は、ユーザが投稿した自由視点画像ごとに記憶される。
【０１５９】
「操作回数」は、レビュー欄に掲載された自由視点画像に対してユーザから操作された回数を示す。例えば、操作回数は、ユーザがレビュー欄に掲載された自由視点画像を選択したり、自由視点画像を回転、拡大、もしくは縮小させる操作を行ったりしたことにより計数される。
【０１６０】
「レビューポイント」は、レビュー欄に掲載された自由視点画像に対して、他のユーザからレビュー欄において評価されたポイント数を示す。例えば、レビューポイントは、レビューに対して、「参考になった」等のレビューを評価することを示す評価ボタンＷ４０を選択した行動を、レビューを閲覧したユーザが実行した場合等に計数される。
【０１６１】
「コンバージョン数」は、レビュー欄に掲載された自由視点画像に対して、ユーザがコンバージョンに至った回数を示す。例えば、コンバージョン数は、ユーザがレビュー欄に掲載された自由視点画像を閲覧した後や、自由視点画像を操作した後、所定時間内に、自由視点画像が販促する商材に対してコンバージョンに至った回数により計数される。
【０１６２】
すなわち、図１８では、ユーザＩＤ「Ｕ０１」によって識別されるユーザがレビュー欄に投稿した自由視点画像である投稿画像は「ＦＶ１１」であり、自由視点画像ＦＶ１１の貢献情報は、操作回数が「７８」回であり、レビューポイントが「３５」ポイントであり、コンバージョン数が「７」回であることを示している。
【０１６３】
なお、図１８では、投稿情報記憶部１２４にはコンバージョン数が記憶される例を示しているが、これに限られず、コンバージョン率が記憶されてもよい。この場合、投稿情報記憶部１２４は、自由視点画像ＦＶ１１の配信回数に対するコンバージョン率を記憶する。また、投稿情報記憶部１２４には、集計期間を示す情報や、ユーザが投稿した各自由視点画像の貢献情報の合計などが記憶されてもよい。
【０１６４】
（制御部１３０について）
続いて、第３の実施形態に係る制御部１３０の各処理部について説明する。第３の実施形態において、受付部１３１は、ユーザから複数の画像データの入稿を受け付ける。生成部１３２は、受け付けた複数の画像データに基づいて、自由視点画像ＦＶ１１を生成する。配信部１３３は、生成部１３２によって生成された自由視点画像ＦＶ１１をウェブサーバ５０（あるいは、管理装置１０）に配信する。これにより、ウェブページＷ０１のレビュー欄にレビュー用自由視点画像である自由視点画像ＦＶ１１が掲載される。
【０１６５】
受信部１３４は、レビュー欄に掲載された自由視点画像ＦＶ１１に対するユーザの行動に関する情報を受信する。例えば、受信部１３４は、ウェブページＷ０１内における評価ボタンＷ４０をユーザが選択したことを受信する。また、受信部１３４は、ユーザが自由視点画像ＦＶ１１を選択したこと、所定時間以上画面に表示させたこと、表示を回転させたり、拡大させたり、縮小させたりといった操作を行った情報などを受信する。また、受信部１３４は、かかる自由視点画像ＦＶ１１の閲覧や操作を契機として、自由視点画像ＦＶ１１が販促する商材を購入したといったユーザ行動に関する情報を受信する。
【０１６６】
評価部１３５は、受信部１３４によって受信されたユーザＵ０２の行動に関する情報に基づいて、レビュー用自由視点画像ＦＶ１１を評価する。具体的には、評価部１３５は、ユーザＵ０２の行動として、自由視点画像ＦＶ１１が選択された回数や、レビュー用自由視点画像ＦＶ１１に対する回転操作、拡大操作、縮小操作の回数、操作時間、閲覧時間、ウェブページＷ０１に掲載されている自由視点画像ＦＶ０１に関係する商材のコンバージョン数、の少なくとも一つの項目に関する情報に基づいて、自由視点画像ＦＶ１１を評価する。例えば、評価部１３５は、レビュー用自由視点画像ＦＶ１１に対する回転操作、拡大操作、縮小操作の回数が多いほど、レビュー用自由視点画像ＦＶ１１の評価を高く判定する。また、評価部１３５は、レビュー用自由視点画像ＦＶ１１に対する操作時間や閲覧時間が長いほど、レビュー用自由視点画像ＦＶ１１の評価を高く判定する。
【０１６７】
また、評価部１３５は、レビュー用自由視点画像ＦＶ１１の評価に基づいて、レビュー用自由視点画像ＦＶ１１を投稿したユーザＵ０１の、ウェブページＷ０１が含まれるＥＣサイトに対する貢献度を評価する。例えば、評価部１３５は、レビュー用自由視点画像ＦＶ１１の評価が高い（すなわち、レビュー用自由視点画像ＦＶ１１へのユーザＵ０２等の反応が多い）ほど、自由視点画像ＦＶ０１を含むＥＣサイトへの貢献度が大きいものとして評価する。また、評価部１３５は、ウェブページＷ０１に掲載されている自由視点画像ＦＶ０１に関係する商材のコンバージョン数や、レビュー用自由視点画像ＦＶ１１が掲載されたレビューのレビューポイントが多いほど、ユーザＵ０１の貢献度が大きいものとして評価してもよい。
【０１６８】
また、評価部１３５は、ユーザＵ０１のＥＣサイト等への貢献度に応じて、ユーザＵ０１に対する報酬を評価する。例えば、レビュー用自由視点画像ＦＶ１１のユーザからの反応が多いことにより、かかるレビューが、自由視点画像ＦＶ０１が紹介する商材等の購買がユーザＵ０２により行われる契機となったと想定される場合がある。このような場合、ユーザＵ０１は、貢献度に応じて、例えばサイト管理者から、報酬として何らかのフィードバックを受けうる。評価部１３５は、かかる貢献度に応じて、ユーザＵ０１に対する報酬を評価する。
【０１６９】
通知部１３６は、評価部１３５によって評価された貢献度に関する情報を通知する。例えば、通知部１３６は、自由視点画像ＦＶ１１を投稿したユーザの貢献情報の合計をサイト管理者に通知する。また、通知部１３６は、貢献度に応じて与えられるフィードバックに関する情報をユーザに通知してもよい。また、例えば、サイト管理者と画像処理装置１００の管理者との間で、ユーザが投稿した自由視点画像の貢献度に応じて、いくらかの報酬をユーザにフィードバックする旨の取り決め等がある場合には、通知部１３６は、かかる取り決めに従い、貢献度に応じたフィードバックに関する情報を通知する。
【０１７０】
〔３−３．画像処理手順〕
次に、図１９を用いて、第３の実施形態に係る画像処理装置１００による画像処理の手順について説明する。図１９は、第３の実施形態に係る画像処理装置１００による画像処理手順を示すフローチャートである。
【０１７１】
図１９に示すように、画像処理装置１００の受付部１３１は、ユーザ端末２０からレビュー投稿用の画像の入稿を受け付けたか否かを判定する（ステップＳ３０１）。このとき、受付部１３１は、画像データの入稿を受け付けていない場合には（ステップＳ３０１；Ｎｏ）、画像データの入稿を受け付けるまで待機する。
【０１７２】
一方、受付部１３１は、画像データの入稿を受け付けた場合には（ステップＳ３０１；Ｙｅｓ）、受け付けた画像データを画像データ記憶部１２１に格納する。続いて、生成部１３２は、入稿された画像データに対して所定の校正を行い、自由視点画像を生成する（ステップＳ３０２）。そして、配信部１３３は、自由視点画像をレビュー投稿用に配信する（ステップＳ３０３）。
【０１７３】
そして、受信部１３４は、レビュー欄に掲載された自由視点画像に対するユーザの行動に関する情報を受信する（ステップＳ３０４）。そして、評価部１３５は、受信されたユーザの行動に関する情報に基づいて、投稿ユーザの貢献度を評価する（ステップＳ３０５）。そして、通知部１３６は、評価部１３５が評価した貢献度に応じたフィードバックを投稿ユーザに通知する（ステップＳ３０６）。
【０１７４】
〔３−４．効果〕
上述してきたように、第３の実施形態に係る画像処理装置１００は、受付部１３１と、生成部１３２と、配信部１３３とを有する。受付部１３１は、所定のメディアに投稿を行うユーザであるユーザＵ０１（第２ユーザの一例）から複数の画像データを受け付ける。生成部１３２は、ユーザＵ０１から受け付けた複数の画像データに基づいて、所定のメディアの投稿欄に表示される画像であって、任意の視点位置に対応する画像を連続的に表示可能であるレビュー用自由視点画像ＦＶ１１を生成する。配信部１３３は、所定のメディアにおける投稿欄に表示される画像として、レビュー用自由視点画像ＦＶ１１を配信する。
【０１７５】
これにより、第３の実施形態に係る画像処理装置１００は、ユーザから投稿される自由視点画像などによって、サイトの充実を図らせることができる。また、ユーザにとっては、自身のコーディネイトなど、他のユーザに閲覧させたい情報を容易に発信することが可能になる。また、レビュー欄を閲覧するユーザにとっては、サイトに掲載された情報のみならず、他のユーザから投稿された自由視点画像を閲覧することができるので、購買活動などの指針にする情報をより多く得ることができる。このように、第３の実施形態に係る画像処理装置１００によれば、自由視点画像の活用をより促進させることができる。
【０１７６】
また、第３の実施形態に係る画像処理装置１００は、レビュー用自由視点画像ＦＶ１１を閲覧したユーザであるユーザＵ０２（第３ユーザの一例）に関する情報であって、レビュー用自由視点画像ＦＶ１１に対するユーザＵ０２の行動に関する情報を受信する受信部１３４と、受信部１３４によって受信されたユーザＵ０２の行動に関する情報に基づいて、レビュー用自由視点画像を評価する評価部１３５と、をさらに備える。
【０１７７】
このように、第３の実施形態に係る画像処理装置１００は、レビュー欄に掲載された自由視点画像について評価することにより、レビュー欄をどのくらいのユーザが参照し、また、販促やサイトの充実に有用であるかを提示することができる。
【０１７８】
また、評価部１３５は、ユーザＵ０２の行動に関する情報として、レビュー用自由視点画像ＦＶ１１に対する回転操作、拡大操作、縮小操作の回数、操作時間、閲覧時間、所定のメディアに掲載されている自由視点画像ＦＶ０１に関係する商材のコンバージョン数、の少なくとも一つの項目に関する情報に基づいて、レビュー用自由視点画像ＦＶ１１を評価する。
【０１７９】
このように、第３の実施形態に係る画像処理装置１００は、種々の項目を用いて自由視点画像を評価するので、特定の項目の数値に偏重することなく、適切な評価をすることができる。
【０１８０】
また、評価部１３５は、レビュー用自由視点画像ＦＶ１１の評価に基づいて、レビュー用自由視点画像ＦＶ１１を投稿したユーザＵ０１の、ウェブページＷ０１が含まれるＥＣサイトに対する貢献度を評価する。
【０１８１】
このように、第３の実施形態に係る画像処理装置１００は、レビュー用の自由視点画像を評価することを通じて、レビューがＥＣサイト等に与える影響を測定することができる。これにより、画像処理装置１００は、レビューがＥＣサイトに掲載された情報を補完している状況や、ＥＣサイトの充実に与える効果を提示することができる。
【０１８２】
また、評価部１３５は、ウェブページＷ０１が含まれるＥＣサイトに対する貢献度に応じて、ユーザＵ０１に対する報酬を評価する。
【０１８３】
このように、第３の実施形態に係る画像処理装置１００は、レビューを投稿したユーザに対して適切なフィードバックを算出する。これにより、画像処理装置１００は、レビューを投稿する動機付けをユーザに与えることができるので、自由視点画像の活用をより一層図ることが可能となる。
【０１８４】
〔４．変形例〕
上述してきた実施形態に係る画像処理装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下に、上記の画像処理装置１００の他の実施形態について説明する。
【０１８５】
上記実施形態においては、受付部１３１は、画像データを受け付ける例を示した。しかし、受付部１３１は、画像データ以外を受け付けてもよい。例えば、受付部１３１は、サイト管理者やユーザが準備した動画データを受け付けてもよい。この場合、生成部１３２は、受け付けた動画から自由視点画像を生成するために適したフレームを抽出することにより、自由視点画像を生成することができる。
【０１８６】
また、生成部１３２は、自由視点画像を生成する際に、かかる自由視点画像をユーザが操作可能な状態にするのみならず、自由視点画像がアニメーションにより自動で表示を遷移させる制御情報を生成してもよい。この場合、配信部１３３は、かかる制御情報とともに自由視点画像を配信する。これにより、自由視点画像が配信されたウェブページにおいては、ユーザの操作によらず、自動で表示を遷移させる（例えば、自動で回転表示する）自由視点画像を表示させることができる。なお、ユーザの操作によらず自由視点画像の表示を遷移させる処理は、ウェブサーバ５０や、ユーザ端末２０によって実現されてもよい。
【０１８７】
上記実施形態においては、評価部１３５によって評価された情報に基づいて、自由視点画像の初期表示を更新する例を示した。しかし、かかる初期表示は、自由視点画像を表示するユーザ端末２０ごとに異なる設定がされてもよい。すなわち、配信部１３３は、閲覧するユーザに合わせた表示をする自由視点画像を配信することができる。かかる表示は、例えば、自由視点画像とともに配信部１３３が配信する制御情報によって実現される。また、かかる処理は、ウェブサーバ５０や、ユーザ端末２０により実現されてもよい。
【０１８８】
上記実施形態においては、自由視点画像が配信される例として、ショッピングサイト等のＥＣサイトを挙げて説明した。しかし、画像処理装置１００が自由視点画像を配信する先は、ＥＣサイトに限られない。例えば、画像処理装置１００は、主としてＵＧＣ（User-Generated  Contents）を掲載するサイトであるＵＧＭ（User-Generated  Media）、またはＣＧＭ（Consumer-Generated  Media）等に生成した自由視点画像を配信してもよい。例えば、ＵＧＭには、投稿動画共有サイト、写真共有サイト、イラスト投稿サイト、ＳＮＳ（Social  Networking  Service）等が含まれる。
【０１８９】
〔５．その他〕
また、上述した各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【０１９０】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図２に示した受付部１３１と生成部１３２とは統合されてもよい。また、画像処理装置１００は、サイト管理者等の利用者とデータのやりとりを主に行うフロントエンドサーバと、生成処理等を行うバックエンドサーバとに分散される態様であってもよい。この場合、フロントエンドサーバは、少なくとも、受付部１３１と、配信部１３３とを有する。また、バックエンドサーバは、少なくとも、生成部１３２を有する。また、画像処理装置１００は、記憶部１２０を内部に備えるのではなく、外部のストレージサーバを利用する態様であってもよい。
【０１９１】
また、例えば、図３、図４等に示した各種情報は、図示した情報に限られない。また、例えば、図１、図５、図６、図７、図８、図１０、図１６等に示した被写体は、模式的に示した例であって、図示したものに限られない。
【０１９２】
また、上述してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【０１９３】
〔６．ハードウェア構成〕
また、上述してきた実施形態に係る画像処理装置１００は、例えば図２０に示すような構成のコンピュータ１０００によって実現される。図２０は、画像処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
【０１９４】
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【０１９５】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。
【０１９６】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。
【０１９７】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital  Versatile  Disc）、ＰＤ（Phase  change  rewritable  Disk）等の光学記録媒体、ＭＯ（Magneto-Optical  disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【０１９８】
例えば、コンピュータ１０００が画像処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から通信網５００を介してこれらのプログラムを取得してもよい。
【０１９９】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【０２００】
また、上述した画像処理装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application  Programming  Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
【０２０１】
また、特許請求の範囲に記載した「手段」は、「部（section、module、unit）」や「回路」などに読み替えることができる。例えば、生成手段は、生成部や生成回路に読み替えることができる。
【符号の説明】
【０２０２】
１  画像処理システム
１０  管理装置
２０  ユーザ端末
５０  ウェブサーバ
１００  画像処理装置
１１０  通信部
１２０  記憶部
１２１  画像データ記憶部
１２２  自由視点画像記憶部
１２３  評価情報記憶部
１２４  投稿情報記憶部
１３０  制御部
１３１  受付部
１３２  生成部
１３３  配信部
１３４  受信部
１３５  評価部
１３６  通知部
【図１】
0006452429.tif 000002
【図２】
0006452429.tif 000003
【図３】
0006452429.tif 000004
【図４】
0006452429.tif 000005
【図５】
0006452429.tif 000006
【図６】
0006452429.tif 000007
【図７】
0006452429.tif 000008
【図８】
0006452429.tif 000009
【図９】
0006452429.tif 000010
【図１０】
0006452429.tif 000011
【図１１】
0006452429.tif 000012
【図１２】
0006452429.tif 000013
【図１３】
0006452429.tif 000014
【図１４】
0006452429.tif 000015
【図１５】
0006452429.tif 000016
【図１６】
0006452429.tif 000017
【図１７】
0006452429.tif 000018
【図１８】
0006452429.tif 000019
【図１９】
0006452429.tif 000020
【図２０】
0006452429.tif 000021