(57)【要約】【課題】画像内の物品の容易に置き換えることができる画像処理装置、画像処理方法および画像処理プログラムを提供する。【解決手段】サーバ装置２０は、ユーザ情報に含まれた物品の情報に基づいて、当該物品の仮想オブジェクトを取得する仮想オブジェクト取得部２３２と、撮像装置によって撮像された元画像を取得する画像取得部２３１と、物品に基づいて元画像から標的オブジェクトを検出する標的オブジェクト検出部２３３と、元画像内の標的オブジェクトを仮想オブジェクトに置き換えた加工画像を生成する画像加工部２３４と、を備える。【選択図】図２
2020098409.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ情報に含まれた物品の情報に基づいて、当該物品の仮想オブジェクトを取得する仮想オブジェクト取得部と、
撮像装置によって撮像された元画像を取得する画像取得部と、
前記物品の情報に基づいて前記元画像から標的オブジェクトを検出する標的オブジェクト検出部と、
前記元画像内の前記標的オブジェクトを前記仮想オブジェクトに置き換えた加工画像を生成する画像加工部と、を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記標的オブジェクト検出部は、
前記元画像に存在する現実オブジェクトのうち、前記物品に対する類似度が閾値以上になる前記現実オブジェクトを、前記標的オブジェクトとして検出することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記標的オブジェクト検出部は、前記現実オブジェクトと前記仮想オブジェクトとの間の前記類似度が前記閾値よりも小さい場合、当該閾値を減少させることを特徴とする画像処理装置。
【請求項４】
ユーザが利用する撮像装置によって撮像された元画像を取得する画像取得部と、
前記元画像から所定領域に配置された標的オブジェクトを検出する標的オブジェクト検出部と、
物品の仮想オブジェクトを取得する仮想オブジェクト取得部と、
前記元画像内の前記標的オブジェクトを前記仮想オブジェクトに置き換えた加工画像を生成する画像加工部と、を備えることを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記仮想オブジェクト取得部は、前記標的オブジェクトに基づいて、または、前記ユーザのユーザ情報に含まれた前記物品の情報に基づいて、前記物品の前記仮想オブジェクトを取得することを特徴とする画像処理装置。
【請求項６】
請求項１から請求項５のいずれか一項に記載の画像処理装置であって、
前記画像加工部は、前記標的オブジェクトの配置方向に基づいて、前記加工画像における前記仮想オブジェクトの配置方向を設定することを特徴とする画像処理装置。
【請求項７】
請求項１から請求項６のいずれか一項に記載の画像処理装置であって、
前記仮想オブジェクト取得部が複数の前記仮想オブジェクトを取得している場合、
前記画像加工部は、前記標的オブジェクトと置き換える前記仮想オブジェクトを所定時間毎に切り替えることを特徴とする画像処理装置。
【請求項８】
コンピュータにより画像処理を実施させる画像処理方法であって、
ユーザ情報に含まれた物品の情報に基づいて、当該物品の仮想オブジェクトを取得する仮想オブジェクト取得ステップと、
撮像装置によって撮像された元画像を取得する画像取得ステップと、
前記物品の情報に基づいて前記元画像から標的オブジェクトを検出する標的オブジェクト検出ステップと、
前記元画像内の前記標的オブジェクトを前記仮想オブジェクトに置き換えた加工画像を生成する画像加工ステップと、を含むことを特徴とする画像処理方法。
【請求項９】
コンピュータにより画像処理を実施させる画像処理方法であって、
ユーザが利用する撮像装置によって撮像された元画像を取得する画像取得ステップと、
前記元画像から所定領域に配置された標的オブジェクトを検出する標的オブジェクト検出ステップと、
物品の仮想オブジェクトを取得する仮想オブジェクト取得ステップと、
前記元画像内の前記標的オブジェクトを前記仮想オブジェクトに置き換えた加工画像を生成する画像加工ステップと、を含むことを特徴とする画像処理方法。
【請求項１０】
コンピュータに読み込まれて実行される画像処理プログラムであって、
前記コンピュータを、
ユーザ情報に含まれた物品の情報に基づいて、当該物品の仮想オブジェクトを取得する仮想オブジェクト取得部、
撮像装置によって撮像された元画像を取得する画像取得部、
前記物品の情報に基づいて前記元画像から標的オブジェクトを検出する標的オブジェクト検出部、および、
前記元画像内の前記標的オブジェクトを前記仮想オブジェクトに置き換えた加工画像を生成する画像加工部として、機能させることを特徴とする画像処理プログラム。
【請求項１１】
コンピュータに読み込まれて実行される画像処理プログラムであって、
前記コンピュータを、
ユーザが利用する撮像装置によって撮像された元画像を取得する画像取得部、
前記元画像から所定領域に配置された標的オブジェクトを検出する標的オブジェクト検出部、
物品の仮想オブジェクトを取得する仮想オブジェクト取得部、および、
前記元画像内の前記標的オブジェクトを前記仮想オブジェクトに置き換えた加工画像を生成する画像加工部として、機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、ユーザに直観的な情報提示を行うために、現実空間の画像または映像をコンピュータで処理して仮想情報を重畳するＡＲ（拡張現実）技術が存在する。例えば、近年では、ユーザが撮影した映像内に家具などの商品を仮想的に設置するアプリが存在する。このようなアプリを使用したユーザは、購入前の商品を実際の部屋に設置したときの雰囲気やサイズ感を手軽に知ることができる。
【０００３】
しかし、上述のアプリでは、既存の家具が設置されている場所に新たな家具のＡＲ画像を配置したい場合、既存の家具を別の場所へ移動させる等の手間が発生する。これに対して、特許文献１には、現実空間の元画像から「モノ」を消去するＤＲ（減損現実）技術を利用する方法が開示されている。具体的には、特許文献１では、元画像から家具を除去し、除去後の画像に基づいた３Ｄモデルに対して、新たな家具の画像を配置する。これにより、既存の家具が新たな家具に仮想的に置き換えられた３Ｄモデルが生成される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１２５７７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に開示の技術では、現実空間の元画像に対する減損現実の度合いをユーザの設定に基づいて調整している。このため、元画像から所望の家具のみを除去したい場合には、そのような減損現実の度合いをユーザが設定する必要がある。このため、ユーザによる設定が元画像毎に必要であり、ユーザの手間が大きくなる。
【０００６】
本発明は、画像内の物品の容易に置き換えることができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る画像処理装置は、ユーザ情報に含まれた物品の情報に基づいて、当該物品の仮想オブジェクトを取得する仮想オブジェクト取得部と、撮像装置によって撮像された元画像を取得する画像取得部と、前記物品に基づいて前記元画像から標的オブジェクトを検出する標的オブジェクト検出部と、前記元画像内の前記標的オブジェクトを前記仮想オブジェクトに置き換えた加工画像を生成する画像加工部と、を備えることを特徴とする。
【０００８】
本発明の別の態様に係る画像処理装置は、ユーザが利用する撮像装置によって撮像された元画像を取得する画像取得部と、前記元画像から所定領域に配置された標的オブジェクトを検出する標的オブジェクト検出部と、物品の仮想オブジェクトを取得する仮想オブジェクト取得部と、前記元画像内の前記標的オブジェクトを前記仮想オブジェクトに置き換えた加工画像を生成する画像加工部と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明の一態様に係る画像処理装置によれば、元画像内の適切な現実オブジェクトをユーザ所望の物品の仮想オブジェクトに自動的に置き換えることができる。これにより、ユーザは、現実空間内の物品を移動させたり、減損現実の度合いを設定したりといった手間をかけずに、画像内の物品を容易に置き換えることができる。
本発明の一態様に係る画像処理装置によれば、元画像内の所定領域に配置された物品を、任意の物品の仮想オブジェクトに自動的に置き換えることができる。これにより、ユーザは、上述と同様、画像内の物品を容易に置き換えることができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態の画像処理システムの概略構成を示すブロック図。
【図２】第１実施形態のサーバ装置の概略構成を示すブロック図。
【図３】商品選択コンテンツのカート情報ページの一例を示す図。
【図４】商品選択コンテンツの商品情報ページの一例を示す図。
【図５】第１実施形態のサーバ装置の画像処理方法の一例を示すフローチャート。
【図６】第１実施形態において処理される画像の加工の流れを模式的に示す図。
【図７】第１実施形態のサーバ装置の画像加工処理の一例を示すフローチャート。
【図８】第１実施形態の現実空間および加工画像の一例を示す図。
【図９】第２実施形態のサーバ装置の画像処理方法の一例を示すフローチャート。
【発明を実施するための形態】
【００１１】
［第１実施形態］
本発明の第１実施形態について図面に基づき説明する。
［画像処理システム１］
図１は、本実施形態の画像処理システム１の概略構成を示すブロック図である。
図１に示すように、本実施形態の画像処理システム１は、ユーザ端末１０と、本発明の画像処理装置として機能するサーバ装置２０と、を備えている。ユーザ端末１０とサーバ装置２０とは、ネットワーク（例えばインターネット）を介して通信可能に接続されている。
【００１２】
本実施形態の画像処理システム１は、例えば電子商取引システムの一部であり、サーバ装置２０には、オンラインショップで販売される商品の情報が登録されている。この画像処理システム１において、サーバ装置２０は、ユーザ端末１０が現実空間を撮像した画像（元画像）に対してＤＲ（減損現実）およびＡＲ（拡張現実）に関する画像処理を施すことにより、現実空間内の物品を所望の商品に仮想的に置き換えた加工画像を生成する。ユーザは、ユーザ端末１０に表示される加工画像を見ることにより、現実空間内の物品を所望の商品に置き換えたときの雰囲気やサイズ感などを直感的に知ることができる。
以下、このような画像処理システム１の具体的構成について詳細に説明する。
【００１３】
［ユーザ端末］
ユーザ端末１０は、例えばスマートフォンやタブレット型端末などのコンピュータであり、この種のコンピュータが有する基本的なハードウェアを有する。
具体的には、ユーザ端末１０は、図１に示すように、端末通信部１１、入力操作部１２、端末記憶部１３、端末制御部１４、ディスプレイ１５およびカメラ１６を備えている。
【００１４】
端末通信部１１は、例えばＬＡＮ等を介してネットワークに接続されており、ネットワーク上の他の機器と通信する。
入力操作部１２は、ユーザ操作による操作信号を端末制御部１４に出力する。入力操作部１２としては、例えば、ディスプレイ１５と一体に設けられたタッチパネル等を例示できる。
【００１５】
端末記憶部１３は、例えばメモリやハードディスク等のデータ記録装置により構成されている。端末記憶部１３には、ユーザ端末１０を制御するための各種プログラム等が記憶される。また、端末記憶部１３は、後述するサーバ装置２０に処理させる元画像を一時的に記憶する。
【００１６】
端末制御部１４は、ＣＰＵ（Central Processing Unit）等の演算回路、ＲＡＭ（Random Access Memory）等の記憶回路により構成され、ユーザ端末１０の各部を制御する。端末制御部１４は、端末記憶部１３等に記憶されているプログラムの中から所定のアプリケーション等のプログラム（ソフトウェア）をＲＡＭに展開し、ＲＡＭに展開されたプログラムとの協働で、各種処理を実行する。これにより、端末制御部１４は、サーバ装置２０に対してネットワークを介して通信可能になり、例えば、サーバ装置２０が提供する各種サービスの利用や各種データの閲覧が可能となる。
また、端末制御部１４は、ユーザの入力操作部１２の操作により、例えばカメラ１６により撮像された画像（元画像）を、サーバ装置２０に送信する。
さらに、端末制御部１４は、サーバ装置２０によって画像処理された画像（加工画像）をディスプレイ１５に表示（出力）させる。
【００１７】
カメラ１６は、本発明の撮像装置に相当し、レンズやイメージセンサなどにより構成される。カメラ１６に撮像された画像は、一時的に端末記憶部１３に記憶され、端末制御部１４によってサーバ装置２０に送信される。
【００１８】
［サーバ装置２０の構成］
図２は、サーバ装置２０の概略構成を示すブロック図である。
図２に示すように、サーバ装置２０は、コンピュータにより構成され、通信部２１と、記憶部２２と、制御部２３とを含んでいる。
通信部２１は、ネットワークに接続されており、例えばＬＡＮ等を介してネットワークに接続されており、ネットワーク上の他の機器と通信する。
【００１９】
記憶部２２は、例えばメモリやハードディスク等のデータ記録装置により構成されている。
この記憶部２２は、後述する画像処理を実施するための各種プログラムや各種データを記憶する。また、記憶部２２は、ユーザデータベース２２１、商品データベース２２２、仮想オブジェクトデータベース２２３、および、画像加工データベース２２４を含んでいる。
【００２０】
商品データベース２２２には、オンラインショップで販売される商品に関する商品情報が記録されている。この商品情報には、例えば、商品ＩＤ、商品名、カテゴリ情報等が含まれる。
ユーザデータベース２２１には、画像処理システム１を利用するユーザに関するユーザ情報が記憶されている。ユーザ情報は、ユーザ毎に管理されており、このユーザ情報には、例えばユーザＩＤ、ユーザ名、ユーザ属性、履歴情報およびリコメンド情報等が含まれる。履歴情報には、閲覧履歴、ブックマーク情報、カート情報および購入履歴などが含まれる。
仮想オブジェクトデータベース２２３には、商品データベース２２２に登録されている各商品（例えば商品ＩＤ）に対応付けられた仮想オブジェクトが記憶されている。仮想オブジェクトは、例えば商品の構造を三次元座標にて表現する３Ｄ画像データである。
画像加工データベース２２４には、画像処理を行うための画像処理情報が記憶されている。この画像処理情報には、例えば画像認識を行うための学習データなどが記憶されている。
【００２１】
なお、本実施形態では、サーバ装置２０の記憶部２２が、商品データベース２２２、ユーザデータベース２２１、仮想オブジェクトデータベース２２３、および、画像加工データベース２２４を含む構成を例示するが、例えば、ネットワーク上の他の装置に記憶されてもよい。
【００２２】
制御部２３は、ＣＰＵ等の演算回路、ＲＡＭ等の記憶回路により構成され、記憶部２２等に記憶されているプログラム（ソフトウェア）をＲＡＭに展開し、ＲＡＭに展開されたプログラムとの協働で、各種処理を実行する。そして、制御部２３は、記憶部２２に記憶された画像処理プログラムを読み込んで実行することで、図２に示すように、画像取得部２３１、仮想オブジェクト取得部２３２、標的オブジェクト検出部２３３、画像加工部２３４等として機能する。各機能については、後述にて詳細に説明する。
【００２３】
［画像処理方法］
次に、画像処理システム１において実施される各処理について説明する。
（事前処理）
本実施形態において、サーバ装置２０は、画像処理を行う前に、商品情報（例えば商品ＩＤ）をユーザデータベース２２１に記憶させる処理を行う。
具体的には、サーバ装置２０は、ユーザ端末１０から受信した商品選択コンテンツ要求に基づき、商品選択コンテンツをユーザ端末１０に送信する。これにより、ユーザ端末１０のディスプレイ１５には、商品選択コンテンツが表示される。
なお、サーバ装置２０がユーザ端末１０に対して提供する商品選択コンテンツは、例えば、オンラインショッピングを提供するサービスの一部であり、ブラウザ等の汎用的なアプリケーションを介して提供されてもよく、当該サービスの提供を行うためのアプリケーションを介して提供されてもよい。
【００２４】
ユーザ端末１０では、ユーザが、ディスプレイ１５に表示される商品選択コンテンツのページを見ながら、オンラインショップで提供される商品を選択する操作を行う。ここで、「商品を選択する」操作とは、例えば、商品の詳細情報を閲覧する、商品をブックマークに登録する、または、商品をカートに入れる等の操作である。
【００２５】
サーバ装置２０は、ユーザ端末１０から受信する操作情報に基づいて、ユーザが選択した商品の商品情報（例えば商品ＩＤ）を、ユーザデータベース２２１の履歴情報（例えば閲覧履歴、ブックマーク情報またはカート情報）に記憶させる。
以下、ユーザデータベース２２１の履歴情報に記憶された商品を、総じてユーザ選択商品と称する。
【００２６】
少なくとも１つのユーザ選択商品がユーザデータベース２２１に記憶された後、ユーザは、商品選択コンテンツの任意のページ（例えば図３または図４参照）から「配置する」ボタンをタップする。サーバ装置２０は、ユーザ端末１０から受信する操作情報に基づいて、画像処理プログラムを実行し、以下に説明する画像処理を実施する。
【００２７】
（画像処理）
図５は、サーバ装置２０における画像処理を示すフローチャートである。
まず、仮想オブジェクト取得部２３２が、ユーザデータベース２２１に記憶されたユーザ選択商品を参照し、当該ユーザ選択商品の商品ＩＤに対応付けられた仮想オブジェクトを、仮想オブジェクトデータベース２２３から取得する（ステップＳ１；仮想オブジェクト取得ステップ）。
【００２８】
ここで、仮想オブジェクト取得部２３２は、ユーザ端末１０から受信した操作情報に基づいて、ユーザデータベース２２１のうち、閲覧履歴、ブックマーク情報またはカート情報のいずれの記憶領域を参照するか選択してもよい。
例えば、カート情報を示すページ内の「配置する」ボタンがタップされた旨を含む操作情報を受信した場合、仮想オブジェクト取得部２３２は、カート情報を参照し、カート情報内のユーザ選択商品に対応する仮想オブジェクトを取得してもよい。この場合、取得される仮想オブジェクトは複数であってもよい。
また、特定商品の商品情報を示すページ内の「配置する」ボタンがタップされた旨を含む操作情報を受信した場合、仮想オブジェクト取得部２３２は、閲覧履歴を参照し、閲覧履歴内に一番新しく記憶されているユーザ選択商品に対応する仮想オブジェクトを取得してもよい。
以下では、説明の簡略化のために、１つの仮想オブジェクトが取得された場合を説明する。
【００２９】
また、画像取得部２３１は、ユーザ端末１０に対してカメラ起動要求を送信する。当該要求を受信したユーザ端末１０は、カメラ１６の動作を開始させる。そして、ユーザがカメラ１６を所望のスペース（例えばユーザの部屋の一部）に向けることで、カメラ１６は、現実空間を被写体とした元画像を撮像する。そして、端末制御部１４が、カメラ１６により撮像された元画像をサーバ装置２０に送信する。これにより、画像取得部２３１は、ユーザ端末１０から送信された元画像を取得する（ステップＳ２；画像取得ステップ）。
【００３０】
次に、標的オブジェクト検出部２３３が、取得された元画像に含まれる現実オブジェクトを検出する（ステップＳ３）。ここで、現実オブジェクトとは、現実空間に存在する物品（例えば家具など）の画像情報であり、画像認識技術によって検出可能である。なお、現実空間に複数の物品が存在する場合、標的オブジェクト検出部２３３は、元画像に含まれる複数の現実オブジェクトを検出してもよい。
例えば、図６の上段部分には、元画像の例が示される。この例では、テーブルおよび椅子がそれぞれ現実オブジェクトとして検出される。
【００３１】
次に、標的オブジェクト検出部２３３は、ステップＳ１で取得された仮想オブジェクトの特徴量と、ステップＳ３で検出された現実オブジェクトの特徴量とを、それぞれ算出する。そして、仮想オブジェクトと現実オブジェクトとの間における特徴量の類似度を算出する（ステップＳ４）。
なお、仮想オブジェクトの特徴量は、標的オブジェクト検出部２３３が算出するものではなく、ステップＳ１で取得された仮想オブジェクトの情報に含まれていてもよい。また、仮想オブジェクトの特徴量は、当該仮想オブジェクトが対応するユーザ選択商品の特徴量に相当する。
【００３２】
次に、標的オブジェクト検出部２３３は、仮想オブジェクトとの間における特徴量の類似度が閾値以上になる現実オブジェクトが存在するか否かを判断する（ステップＳ５）。ステップＳ５でＮｏの場合、閾値を予め設定された所定値だけ減少させ（ステップＳ６）、ステップＳ５に戻る。
【００３３】
一方、ステップＳ５でＹｅｓの場合、標的オブジェクト検出部２３３は、仮想オブジェクトとの間の特徴量の類似度が閾値以上になる現実オブジェクトを標的オブジェクトに特定する（ステップＳ７）。以上のステップＳ３〜Ｓ７は、本発明の標的オブジェクト検出ステップに相当する。
本実施形態の標的オブジェクト検出ステップ（ステップＳ３〜Ｓ７）によれば、元画像に存在する現実オブジェクトのうち、ユーザ選択商品に対する類似度が最も高い現実オブジェクトが標的オブジェクトとして検出される。
例えば、図６の上段部分に示す元画像の例では、仮想オブジェクトが角型テーブルの商品に対応する場合、「椅子の現実オブジェクト」ではなく、「丸型テーブルの現実オブジェクト」が標的オブジェクトとして特定される。
また、仮に、仮想オブジェクトが角型テーブルの商品に対応する場合であって、かつ、元画像から「椅子の現実オブジェクト」のみが検出された場合、閾値を繰り返し減少させることにより、最終的に、「椅子の現実オブジェクト」が標的オブジェクトとして特定される。
【００３４】
次に、画像加工部２３４が、元画像を加工して加工画像を生成する（ステップＳ８；画像加工ステップ）。
図７は、ステップＳ８の画像加工処理を示すフローチャートである。
図７に示すように、画像加工部２３４は、まず、標的オブジェクトに関する諸条件を算出する（ステップＳ８１）。ここで、諸条件としては、例えば、ユーザ端末１０から標的オブジェクトまでの距離、標的オブジェクトの配置方向、標的オブジェクトの背景情報、標的オブジェクトの接地面情報などが挙げられる。
【００３５】
なお、画像加工部２３４は、標的オブジェクトの配置方向を、ユーザ選択商品のカテゴリに基づいて算出してもよい。具体的には、商品データベース２２２からユーザ選択商品のカテゴリを参照し、画像加工データベース２２４から当該カテゴリに対応付けられた正面情報を取得する。そして、取得した正面情報に基づいて、標的オブジェクトの正面を検出することにより、標的オブジェクトの配置方向を算出してもよい。例えば、テーブルのカテゴリに対応する正面情報は、４本の脚部のうち、隣り合ういずれか２本の脚部の間の中央部を示す情報などである。また、椅子のカテゴリに対応する正面情報は、背もたれ部分に対して水平方向の反対側に位置する部分を示す情報などである。
【００３６】
次に、画像加工部２３４が、標的オブジェクトまたは標的オブジェクトの周囲に配置された現実オブジェクトの配置方向に基づいて、仮想オブジェクトの配置方向を決定する（ステップＳ８２）。
例えば、標的オブジェクトに基づいて正面情報を取得できる場合には、仮想オブジェクトの配置方向が標的オブジェクトの配置方向と同じになるように、垂直中心軸を中心にした仮想オブジェクトの回転位置を設定する。
また、標的オブジェクトに基づく正面情報を取得できない場合であって、かつ、標的オブジェクトの周囲に配置された現実オブジェクトに基づいて正面情報を取得できる場合には、仮想オブジェクトの回転位置を当該正面情報に従って設定する。
例えば、図６の上段部分に示す元画像の例では、標的オブジェクト（丸型テーブル）に基づいて正面情報が取得されず、その周囲に配置された現実オブジェクト（椅子）の正面情報に基づいて、仮想オブジェクト（角型テーブル）の配置方向を設定している。
【００３７】
次に、画像加工部２３４が、標的オブジェクトの背景情報に基づいてマスク画像を生成し、元画像における標的オブジェクトの表示領域（標的領域）にマスク画像を重畳させる（ステップＳ８３）。これにより、元画像から標的オブジェクトを除去する減損現実の処理が行われ、減損画像が生成される。なお、ステップＳ８３の処理は、公知の減損現実（ＤＲ）技術を利用できる。
図６の中段部分には、減損画像の例が示される。この例では、元画像から標的オブジェクトとして検出されたテーブルの画像が除去されている。
【００３８】
次に、画像加工部２３４は、減損画像に対して仮想オブジェクトを重畳させる（ステップＳ８４）。
ここで、減損画像における仮想オブジェクトの配置方向は、ステップＳ８２で設定された配置方向である。また、減損画像における仮想オブジェクトの垂直方向の位置は、現実オブジェクトが接地していた接地面に基づいて設定される。また、減損画像における仮想オブジェクトの水平方向の中央位置は、元画像における現実オブジェクトの水平方向の中央位置に基づいて設定される。
なお、ステップＳ８４の処理は、公知の拡張現実（ＡＲ）技術を利用できる。
【００３９】
これにより、元画像における標的オブジェクトを仮想オブジェクトに置き換えた加工画像が生成される。例えば、図６の下段部分には、加工画像の例が示される。この例では、現実空間に存在する丸型のテーブルの替わりに、仮想オブジェクトである角型のテーブルが部屋に表示されている。
【００４０】
なお、複数の標的オブジェクトが特定されている場合には、各標的オブジェクトについて、ステップＳ８１〜Ｓ８４の処理が行われてもよい。この場合、元画像における複数の標的オブジェクトのそれぞれが仮想オブジェクトに置き換えられる。
あるいは、複数の標的オブジェクトが特定されている場合、一部の標的オブジェクトを選択してもよい。この選択処理は、ユーザの操作に基づいた処理でもよいし、画面の中央などの所定領域に位置する標的オブジェクトを選択する画像加工部２３４の処理であってもよい。
【００４１】
図５に戻って、画像加工部２３４は、生成した加工画像をユーザ端末１０に送信し、ユーザ端末１０のディスプレイ１５に加工画像を表示させる（ステップＳ９）。
例えば、図８は、現実空間ＲＳと、この現実空間ＲＳを撮像したときにユーザ端末１０のディスプレイ１５に表示される加工画像ＰＩとの各例を示している。図８に示す例のように、ユーザは、現実空間を撮像することにより、現実空間の物品がユーザ選択商品に仮想的に置き換わった加工画像を見ることができる。これにより、ユーザは、現実空間内の物品をユーザ選択商品に置き換えた場合の雰囲気やサイズ感などを直感的に知ることができる。
【００４２】
なお、カメラ１６が動画モードで撮像を行っている場合、画像取得部２３１は、フレーム画像としての元画像を所定周期で取得する。すなわち、ステップＳ９の後、所定の停止条件を満たしていない場合（ステップＳ１０；Ｎｏ）、画像取得部２３１は、次の元画像を取得し（ステップＳ１１）、ステップＳ８に戻る。ここで、標的オブジェクト検出部２３３は、初回フローで特定した標的オブジェクトを追跡する処理を行っており、２回目のフロー以降では、標的オブジェクト検出部２３３により追跡された標的オブジェクトが利用される。
なお、ユーザが停止操作を行う等、所定の停止条件を満たした場合（ステップＳ１０；Ｙｅｓ）、当該フローは終了する。
【００４３】
［第１実施形態の作用効果］
本実施形態のサーバ装置２０は、制御部２３が画像処理プログラムを読み出し実行することで、画像取得部２３１、仮想オブジェクト取得部２３２、標的オブジェクト検出部２３３、および、画像加工部２３４として機能する。そして、仮想オブジェクト取得部２３２は、ユーザ選択商品の情報に基づいて、ユーザ選択商品の仮想オブジェクトを取得し、画像取得部２３１は、カメラ１６によって撮像された元画像を取得する。標的オブジェクト検出部２３３は、ユーザ選択商品の情報に基づいて元画像から標的オブジェクトを検出する。画像加工部２３４は、元画像内の標的オブジェクトを仮想オブジェクトに置き換えた加工画像を生成する。
このような本実施形態において、サーバ装置２０は、元画像を取得することにより、元画像内の適切な現実オブジェクトをユーザ選択商品の仮想オブジェクトに自動的に置き換えることができる。これにより、ユーザは、現実空間内の物品を移動させたり、減損現実の度合いを設定したりといった手間をかけずに、元画像内の物品を容易に置き換えることができる。
【００４４】
本実施形態では、標的オブジェクト検出部２３３は、元画像に存在する現実オブジェクトのうち、ユーザ選択商品に対する類似度が閾値以上になる現実オブジェクトを、標的オブジェクトとして検出する。
このような構成では、元画像が複数の種類の現実オブジェクトを含んでいる場合であっても、ユーザ選択商品に関する現実オブジェクトを標的オブジェクトとして容易に検出できる。
【００４５】
本実施形態において、標的オブジェクト検出部２３３は、現実オブジェクトと仮想オブジェクトとの間の類似度が閾値よりも小さい場合、閾値を減少させる。
このような構成によれば、元画像内の現実オブジェクトがユーザ選択商品とは大きく異なるものであっても、標的オブジェクトとして検出することができる。
【００４６】
本実施形態において、画像加工部２３４は、標的オブジェクトまたは標的オブジェクトの周囲に配置された現実オブジェクトの配置方向に基づいて、加工画像における仮想オブジェクトの配置方向を設定する。
このような構成では、ユーザの手間を必要とせずに、仮想オブジェクトを自然な見た目で配置することができる。
【００４７】
［第２実施形態］
次に、第２実施形態について説明する。
上述した第１実施形態では、標的オブジェクト検出部２３３が、元画像からユーザ選択商品に関する標的オブジェクトを検出している。すなわち、第１実施形態では、ユーザが事前に商品を選択している必要がある。これに対して、第２実施形態では、標的オブジェクト検出部２３３が、元画像の所定領域に配置された現実オブジェクトを標的オブジェクトとして検出するものであり、ユーザが事前に商品を選択する必要がない点で第１実施形態と相違する。
【００４８】
以下、第２実施形態のサーバ装置２０における画像処理方法について説明する。サーバ装置２０は、ユーザ端末１０から受信する操作情報に基づいて、画像処理プログラムを実行し、以下に説明する画像処理を実施する。
【００４９】
図９は、第２実施形態のサーバ装置２０における画像処理を示すフローチャートである。なお、図９では、第１実施形態と同様の処理には同様の符号を付している。
まず、画像取得部２３１が、ユーザ端末１０に対してカメラ起動要求を送信する。当該要求を受信したユーザ端末１０は、第１実施形態と同様、カメラ１６に撮像された元画像をサーバ装置２０に送信する。これにより、画像取得部２３１は、ユーザ端末１０から送信された元画像を取得する（ステップＳ２）。
【００５０】
次に、標的オブジェクト検出部２３３が、取得された元画像のうち所定領域に配置された現実オブジェクトを、標的オブジェクトとして検出する（ステップＳ２１）。ここで、所定領域は、元画像内に任意に設定可能であり、例えば元画像内の中央領域であってもよいし、元画像においてカメラ１６が合焦している領域であってもよい。
【００５１】
次に、仮想オブジェクト取得部２３２が、標的オブジェクトに関する物品の仮想オブジェクトを取得する（ステップＳ２２）。
例えば、仮想オブジェクト取得部２３２は、標的オブジェクトを分析し、当該標的オブジェクトが、商品データベース２２２に登録されている商品のうち、いずれの商品に該当するかを推定する。そして、標的オブジェクトに該当すると推定された商品（推定商品）に基づいて、当該推定商品と同じカテゴリに属する商品の仮想オブジェクトを取得してもよい。
あるいは、仮想オブジェクト取得部２３２は、標的オブジェクトの特徴量を算出し、当該標的オブジェクトの間の類似度が閾値以上となる仮想オブジェクトを取得してもよい。
なお、説明の簡略化のために、ここでは、いずれか１つの仮想オブジェクトが取得されるものとし、以降の処理は、第１実施形態と同様である。
【００５２】
以上の処理によれば、ユーザは、現実空間を撮像することにより、現実空間の所定領域に配置された物品が当該物品に関連する商品に仮想的に置き換わった加工画像を見ることができる。
【００５３】
［第２実施形態の作用効果］
第２実施形態では、標的オブジェクト検出部２３３は、元画像から所定領域に配置された標的オブジェクトを検出する。
このような第２実施形態において、サーバ装置２０は、元画像を取得することにより、元画像内の所定領域に配置された物品を、任意の商品の仮想オブジェクトに自動的に置き換える。これにより、ユーザは、現実空間内の物品を移動させたり、減損現実の度合いを設定したりといった手間をかけずに、画像内の物品を容易に置き換えることができる。
【００５４】
また、第２実施形態では、仮想オブジェクト取得部２３２は、標的オブジェクトに基づいて、物品の仮想オブジェクトを取得するため、ユーザが事前に商品を選択する必要がない。このため、新調したい物品が存在するが、購入する商品が決まっていない場合などに、購入候補となり得る商品の提案をサーバ装置２０から受けることができる。
【００５５】
［変形例］
本発明は、上述した各実施形態に限定されるものではなく、本発明の目的を達成できる範囲で、以下に示される変形をも含むものである。
【００５６】
（変形例１）
上記各実施形態では、説明の簡略化のために、仮想オブジェクト取得部２３２が１つの仮想オブジェクトを取得する場合について説明しているが、本発明はこれに限られない。すなわち、複数の仮想オブジェクトを取得する場合でも、上述の説明を適用できる。
【００５７】
例えば、第１実施形態において、仮想オブジェクト取得部２３２は、ある現実オブジェクトが複数の仮想オブジェクトとの間で閾値以上の類似度を有する場合、当該現実オブジェクトと複数の仮想オブジェクトとを対応付けると共に、当該現実オブジェクトを標的オブジェクトとして検出する。そして、標的オブジェクトを、当該標的オブジェクトに対応付けられているいずれかの仮想オブジェクトに置き換え、所定時間毎に、配置する仮想オブジェクトを切り替えてもよい。
また、複数の仮想オブジェクトに対応づけられる標的オブジェクトが複数存在する場合には、配置する仮想オブジェクトの組み合わせを作成し、当該組み合わせを所定時間毎に異なる組み合わせに切り替えてもよい。
【００５８】
また、第２実施形態では、仮想オブジェクト取得部２３２が取得する仮想オブジェクトの取得数が、予め任意の数に設定されていてもよい。そして、複数の仮想オブジェクトが取得された場合には、一定周期毎に、標的オブジェクトと置き換える仮想オブジェクトを切り替えてもよい。
このような変形例は、特に画像処理システム１が電子商取引システムの一部を構成している場合などに有用である。例えば、ユーザの手間を必要とせずに、元画像内の物品を複数の仮想オブジェクトを順次置き換えることができるため、ユーザは複数の商品を容易に比較検討することができる。
【００５９】
（変形例２）
上記第１実施形態では、仮想オブジェクトに対する類似度が閾値以上になる現実オブジェクトを、標的オブジェクトとして検出しているが、本発明はこれに限られない。
例えば、標的オブジェクト検出部２３３は、取得した現実オブジェクトを解析し、当該現実オブジェクトが対応するカテゴリを判定してもよい。そして、標的オブジェクト検出部２３３は、仮想オブジェクトと同じカテゴリに属する現実オブジェクトを、標的オブジェクトとして検出してもよい。
また、標的オブジェクト検出部２３３は、機械学習などの他の任意の方法を利用して、標的オブジェクトを検出することができる。
【００６０】
（変形例３）
上記第１実施形態において、仮想オブジェクト取得部２３２は、ユーザデータベース２２１の履歴情報に記憶された商品（ユーザ選択商品）の情報に基づいて、ユーザ選択商品の仮想オブジェクトを取得しているが、本発明はこれに限定されない。例えば、ユーザデータベース２２１のリコメンド情報に記憶された商品の情報に基づいて、当該商品の仮想オブジェクトを取得してもよい。
【００６１】
（変形例４）
上記第２実施形態では、ステップＳ２２において、仮想オブジェクト取得部２３２が、標的オブジェクトに基づいて仮想オブジェクトを取得するが、ユーザ情報に含まれた商品情報に基づいて仮想オブジェクトを取得してもよい。
ここで、ユーザ情報に含まれた商品情報とは、例えば履歴情報（閲覧履歴、ブックマーク情報、カート情報および購入履歴など）またはリコメンド情報に登録された商品情報である。
このような変形例によれば、上記第２実施形態と同様、購入候補となり得る商品の提案をサーバ装置２０から受けることができる。また、このような変形例では、標的オブジェクトのカテゴリにとらわれず、様々なカテゴリの物品の提案を受けることができる。
【００６２】
（変形例５）
上記各実施形態では、サーバ装置２０が、上述の画像処理を行う構成を例示したが、ユーザ端末１０が上述の画像処理を行ってもよい。すなわち、本発明の画像処理プログラムをインストールされたユーザ端末１０において、端末制御部１４が、当該画像処理プログラムを読み出し実行することで、本発明の画像取得部、仮想オブジェクト取得部、標的オブジェクト検出部および画像加工部として機能してもよい。
また、サーバ装置２０における処理の一部をユーザ端末１０が行ってもよい。例えば、サーバ装置２０は、マスク画像および仮想オブジェクトをユーザ端末１０に送信し、ユーザ端末１０は、受信したマスク画像および仮想オブジェクトを元画像に重畳させてもよい。すなわち、本発明の画像処理装置は、通信可能な複数のコンピュータからなるシステムとして構成されてもよい。
【００６３】
（変形例６）
本発明の物品は、家具であることに限られない。すなわち、本発明は、例えば被服、装身具、家電または建物設備など、交換や新調を検討することが想定される様々な物品に適用できる。
【００６４】
（変形例７）
上記各実施形態では、画像処理システム１が、電子商取引システムの一部であるとして説明しているが、本発明はこれに限られない。すなわち、本発明の画像処理システム１は、単独システムであってもよいし、他のシステムに組み合わされてもよい。また、本発明の物品は、商品の形態であることに限定されず、非売品や譲渡品であってもよい。
【００６５】
その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。
【符号の説明】
【００６６】
１…画像処理システム、１０…ユーザ端末、１１…端末通信部、１２…入力操作部、１３…端末記憶部、１４…端末制御部、１５…ディスプレイ、１６…カメラ、２０…サーバ装置、２１…通信部、２２…記憶部、２２１…ユーザデータベース、２２２…商品データベース、２２３…仮想オブジェクトデータベース、２２４…画像加工データベース、２３…制御部、２３１…画像取得部、２３２…仮想オブジェクト取得部、２３３…標的オブジェクト検出部、２３４…画像加工部。 
【図１】
2020098409.tif 000003
【図２】
2020098409.tif 000004
【図３】
2020098409.tif 000005
【図４】
2020098409.tif 000006
【図５】
2020098409.tif 000007
【図６】
2020098409.tif 000008
【図７】
2020098409.tif 000009
【図８】
2020098409.tif 000010
【図９】
2020098409.tif 000011