(57)【要約】【課題】より簡易且つ自然な画像合成を行うことが可能な画像処理装置、サーバ及び記憶媒体を提案する。【解決手段】所定の撮影パラメータで撮像された画像からオブジェクトを抽出する抽出部と、撮像した撮像部とオブジェクトとの間の距離情報を取得する測距部と、第１の画像から抽出されたオブジェクトを示すオブジェクト画像を、第１の画像から取得された距離情報および所定の撮影パラメータを含むオブジェクト属性情報に対応付けて外部装置に送信する第１の送信機能と；第２の画像を外部装置に送信する第２の送信機能と；外部装置から、第２の画像に含まれるオブジェクトに対応する、第１の画像から抽出されたオブジェクトを示すオブジェクト画像を、オブジェクト候補画像として受信する受信機能と；を有する通信部と、第２の画像に含まれるオブジェクトの領域に通信部により受信されたオブジェクト候補画像を合成する合成部と、を備える画像処理装置。【選択図】図１
2015002423.tif 000002
【特許請求の範囲】
【請求項１】
所定の撮影パラメータで撮像された画像からオブジェクトを抽出する抽出部と、
前記画像を撮像した撮像部と撮像された前記オブジェクトとの間の距離を示す距離情報を取得する測距部と、
第１の前記画像から前記抽出部により抽出された前記オブジェクトを示すオブジェクト画像を、第１の前記画像から前記測距部により取得された前記距離情報および前記所定の撮影パラメータを含むオブジェクト属性情報に対応付けて外部装置に送信する第１の送信機能と；
第１の前記画像とは異なる第２の前記画像を前記外部装置に送信する第２の送信機能と；
前記外部装置から、第２の前記画像に含まれる前記オブジェクトに対応する、第１の前記画像から抽出された前記オブジェクトを示す前記オブジェクト画像を、オブジェクト候補画像として受信する受信機能と；
を有する通信部と、
第２の前記画像に含まれる前記オブジェクトの領域に前記通信部により受信された前記オブジェクト候補画像を合成する合成部と、
を備える画像処理装置。
【請求項２】
前記通信部は、さらに第２の前記画像の前記オブジェクト属性情報を送信し、送信した前記オブジェクト属性情報に適合する前記オブジェクト属性情報に対応付けられた前記オブジェクト候補画像を受信する、請求項１に記載の画像処理装置。
【請求項３】
前記通信部は、さらに優先する前記オブジェクト属性情報を示す優先情報を送信し、送信した前記優先情報が示す優先する前記オブジェクト属性情報に対応付けられた前記オブジェクト候補画像を受信する、請求項２に記載の画像処理装置。
【請求項４】
前記画像処理装置は、前記抽出部により抽出された前記オブジェクトが前景であるか否かを示すフラグ情報を生成するフラグ生成部をさらに備え、
前記オブジェクト属性情報は、前記フラグ生成部により生成された前記フラグ情報をさらに含む、請求項１に記載の画像処理装置。
【請求項５】
前記合成部は、前記オブジェクト候補画像を、第２の前記画像のオブジェクト属性情報に基づいて合成する、請求項１に記載の画像処理装置。
【請求項６】
前記画像処理装置は、前記オブジェクトが撮像された時刻を示す時刻情報を生成する時刻取得部をさらに備え、
前記オブジェクト属性情報は、前記時刻取得部により生成された前記時刻情報をさらに含む、請求項１に記載の画像処理装置。
【請求項７】
第２の前記画像は、前記撮像部により撮像された、第１の前記画像とは異なる前記画像から、前記抽出部により抽出された前記オブジェクトを示す前記オブジェクト画像である、請求項１に記載の画像処理装置。
【請求項８】
外部装置から、所定の撮影パラメータで撮像された画像と前記撮影パラメータを受信する通信部と、
前記通信部により受信された前記画像からオブジェクトを抽出する抽出部と、
前記画像を撮像した撮像部と撮像された前記オブジェクトとの間の距離を示す距離情報を取得する測距部と、
前記通信部により受信された第１の前記画像から前記抽出部により抽出された前記オブジェクトを示すオブジェクト画像を、第１の前記画像から前記測距部により取得された前記距離情報および前記所定の撮影パラメータを含むオブジェクト属性情報に対応付けて記憶部に記録する記録制御部と、
前記通信部により受信された前記画像に前記記憶部に記録された前記オブジェクト画像を合成する合成部と、
を備え、
前記記録制御部は、前記通信部により受信された、第１の前記画像とは異なる第２の前記画像から前記測距部により取得された前記距離情報および前記所定の撮影パラメータを含む前記オブジェクト属性情報に基づいて、第２の前記画像から前記抽出部により抽出された前記オブジェクトに対応する、第１の前記画像から抽出された前記オブジェクトを示す前記オブジェクト画像を、オブジェクト候補画像として前記記憶部から検索し、
前記合成部は、第２の前記画像に含まれる前記オブジェクトの領域に前記記録制御部により検索された前記オブジェクト候補画像を合成した合成画像を生成し、
前記通信部は、前記合成部により合成された前記合成画像を前記外部装置に送信する、サーバ。
【請求項９】
前記通信部は、さらに優先する前記オブジェクト属性情報を示す優先情報を受信し、
前記記録制御部は、前記通信部により受信された前記優先情報が示す優先する前記オブジェクト属性情報に基づいて、前記抽出部により抽出された前記オブジェクトに対応するオブジェクト候補画像を前記記憶部から検索する、請求項８に記載のサーバ。
【請求項１０】
前記サーバは、前記抽出部により抽出された前記オブジェクトが前景であるか否かを示すフラグ情報を生成するフラグ生成部をさらに備え、
前記オブジェクト属性情報は、前記フラグ生成部により生成された前記フラグ情報をさらに含む、請求項８に記載のサーバ。
【請求項１１】
前記撮影パラメータは、第１の前記画像を撮像した前記撮像部の撮像レンズに関する情報、ならびに前記撮像部の傾きおよび方向を示す情報を含み、
前記記録制御部は、前記オブジェクト属性情報に、さらに第１の前記画像が撮像された時刻を示す時刻情報を含めて記録する、請求項８に記載のサーバ。
【請求項１２】
コンピュータに、
所定の撮影パラメータで撮像された画像からオブジェクトを抽出するステップと、
前記画像を撮像した撮像部と撮像された前記オブジェクトとの間の距離を示す距離情報を取得するステップと、
第１の前記画像から抽出された前記オブジェクトを示すオブジェクト画像を、第１の前記画像から取得された前記距離情報および前記所定の撮影パラメータを含むオブジェクト属性情報に対応付けて外部装置に送信するステップと、
第１の前記画像とは異なる第２の前記画像を前記外部装置に送信するステップと、
前記外部装置から、第２の前記画像に含まれる前記オブジェクトに対応する、第１の前記画像から抽出された前記オブジェクトを示す前記オブジェクト画像を、オブジェクト候補画像として受信するステップと、
第２の前記画像に含まれる前記オブジェクトの領域に受信された前記オブジェクト候補画像を合成するステップと、
を実行させるためのプログラムが記憶された記憶媒体。
【請求項１３】
外部装置から、所定の撮影パラメータで撮像された画像と前記撮影パラメータを受信するステップと、
受信された前記画像からオブジェクトを抽出するステップと、
前記画像を撮像した撮像部と撮像された前記オブジェクトとの間の距離を示す距離情報を取得するステップと、
受信された第１の前記画像から抽出された前記オブジェクトを示すオブジェクト画像を、第１の前記画像から取得された前記距離情報および前記所定の撮影パラメータを含むオブジェクト属性情報に対応付けて記憶部に記録するステップと、
受信された、第１の前記画像とは異なる第２の前記画像から取得された前記距離情報および前記所定の撮影パラメータを含む前記オブジェクト属性情報に基づいて、第２の前記画像から抽出された前記オブジェクトに対応する、第１の前記画像から抽出された前記オブジェクトを示す前記オブジェクト画像を、オブジェクト候補画像として前記記憶部から検索するステップと、
第２の前記画像に含まれる前記オブジェクトの領域に検索された前記オブジェクト候補画像を合成した合成画像を生成するステップと、
合成された前記合成画像を前記外部装置に送信するステップと、
を実行させるためのプログラムが記憶された記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、サーバ及び記憶媒体に関する。
【背景技術】
【０００２】
近年、撮像性能の著しい向上に伴い、手振れ補正機能やオートフォーカス機能、笑顔検出機能などの、所望の画像を撮像するための様々な機能が付加されたカメラが登場してきている。そのような機能のひとつとして、画像に含まれるオブジェクトを、所望の他のオブジェクトに置き換えて合成する画像合成技術が開発されている。
【０００３】
例えば、下記特許文献１では、撮像画像に含まれるオブジェクト、光源方向、および陰影方向を検出して、同一または近似の光源方向または陰影方向を有するオブジェクトを画像合成する技術が開示されている。
【０００４】
また、下記特許文献２では、撮像画像を背景やオブジェクトに分解して画像認識を行い、代替素材に置き換えて合成する技術が開示されている。
【０００５】
また、下記特許文献３では、撮像画像に含まれるオブジェクトの大きさに基づいて、適合するオブジェクトの画像を検索して合成する技術が開示されている。
【０００６】
また、下記特許文献４では、特定のユーザを自動的に撮像し、撮像した映像データをそのユーザに提供する技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１４０１０７号公報
【特許文献２】特開２００１−８６４９７号公報
【特許文献３】特開２０１０−２４４３９８号公報
【特許文献４】特開２００３−１１６１２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、上記特許文献に開示された技術では、簡易且つ自然な画像合成を行うことが困難である、という問題がある。例えば、上記特許文献２および３に開示された技術では、自然な画像合成を行うという観点を有していない。また、上記特許文献１に開示された技術では、オブジェクト毎に光源方向や陰影方向を検出する処理が必要であり簡易ではない。また、上記特許文献４に開示された技術では、特定のユーザの様々な画像データを取得することができても、適する画像を選択して画像合成することはできない。
【０００９】
そこで、本開示では、より簡易且つ自然な画像合成を行うことが可能な、新規かつ改良された画像処理装置、サーバ及び記憶媒体を提案する。
【課題を解決するための手段】
【００１０】
本開示によれば、所定の撮影パラメータで撮像された画像からオブジェクトを抽出する抽出部と、前記画像を撮像した撮像部と撮像された前記オブジェクトとの間の距離を示す距離情報を取得する測距部と、第１の前記画像から前記抽出部により抽出された前記オブジェクトを示すオブジェクト画像を、第１の前記画像から前記測距部により取得された前記距離情報および前記所定の撮影パラメータを含むオブジェクト属性情報に対応付けて外部装置に送信する第１の送信機能と；第１の前記画像とは異なる第２の前記画像を前記外部装置に送信する第２の送信機能と；前記外部装置から、第２の前記画像に含まれる前記オブジェクトに対応する、第１の前記画像から抽出された前記オブジェクトを示す前記オブジェクト画像を、オブジェクト候補画像として受信する受信機能と；を有する通信部と、第２の前記画像に含まれる前記オブジェクトの領域に前記通信部により受信された前記オブジェクト候補画像を合成する合成部と、を備える画像処理装置が提供される。
【００１１】
また、本開示によれば、外部装置から、所定の撮影パラメータで撮像された画像と前記撮影パラメータを受信する通信部と、前記通信部により受信された前記画像からオブジェクトを抽出する抽出部と、前記画像を撮像した撮像部と撮像された前記オブジェクトとの間の距離を示す距離情報を取得する測距部と、前記通信部により受信された第１の前記画像から前記抽出部により抽出された前記オブジェクトを示すオブジェクト画像を、第１の前記画像から前記測距部により取得された前記距離情報および前記所定の撮影パラメータを含むオブジェクト属性情報に対応付けて記憶部に記録する記録制御部と、前記通信部により受信された前記画像に前記記憶部に記録された前記オブジェクト画像を合成する合成部と、を備え、前記記録制御部は、前記通信部により受信された、第１の前記画像とは異なる第２の前記画像から前記測距部により取得された前記距離情報および前記所定の撮影パラメータを含む前記オブジェクト属性情報に基づいて、第２の前記画像から前記抽出部により抽出された前記オブジェクトに対応する、第１の前記画像から抽出された前記オブジェクトを示す前記オブジェクト画像を、オブジェクト候補画像として前記記憶部から検索し、前記合成部は、第２の前記画像に含まれる前記オブジェクトの領域に前記記録制御部により検索された前記オブジェクト候補画像を合成した合成画像を生成し、前記通信部は、前記合成部により合成された前記合成画像を前記外部装置に送信する、サーバが提供される。
【００１２】
また、本開示によれば、コンピュータに、所定の撮影パラメータで撮像された画像からオブジェクトを抽出するステップと、前記画像を撮像した撮像部と撮像された前記オブジェクトとの間の距離を示す距離情報を取得するステップと、第１の前記画像から抽出された前記オブジェクトを示すオブジェクト画像を、第１の前記画像から取得された前記距離情報および前記所定の撮影パラメータを含むオブジェクト属性情報に対応付けて外部装置に送信するステップと、第１の前記画像とは異なる第２の前記画像を前記外部装置に送信するステップと、前記外部装置から、第２の前記画像に含まれる前記オブジェクトに対応する、第１の前記画像から抽出された前記オブジェクトを示す前記オブジェクト画像を、オブジェクト候補画像として受信するステップと、第２の前記画像に含まれる前記オブジェクトの領域に受信された前記オブジェクト候補画像を合成するステップと、を実行させるためのプログラムが記憶された記憶媒体が提供される。
【００１３】
また、本開示によれば、外部装置から、所定の撮影パラメータで撮像された画像と前記撮影パラメータを受信するステップと、受信された前記画像からオブジェクトを抽出するステップと、前記画像を撮像した撮像部と撮像された前記オブジェクトとの間の距離を示す距離情報を取得するステップと、受信された第１の前記画像から抽出された前記オブジェクトを示すオブジェクト画像を、第１の前記画像から取得された前記距離情報および前記所定の撮影パラメータを含むオブジェクト属性情報に対応付けて記憶部に記録するステップと、受信された、第１の前記画像とは異なる第２の前記画像から取得された前記距離情報および前記所定の撮影パラメータを含む前記オブジェクト属性情報に基づいて、第２の前記画像から抽出された前記オブジェクトに対応する、第１の前記画像から抽出された前記オブジェクトを示す前記オブジェクト画像を、オブジェクト候補画像として前記記憶部から検索するステップと、第２の前記画像に含まれる前記オブジェクトの領域に検索された前記オブジェクト候補画像を合成した合成画像を生成するステップと、合成された前記合成画像を前記外部装置に送信するステップと、を実行させるためのプログラムが記憶された記憶媒体が提供される。
【発明の効果】
【００１４】
以上説明したように本開示によれば、より簡易且つ自然な画像合成を行うことが可能である。
【図面の簡単な説明】
【００１５】
【図１】本開示の一実施形態に係る画像合成技術の概要を示す説明図である。
【図２】第１の実施形態に係る画像合成システムの構成を示すブロック図である。
【図３】第１の実施形態に係る蓄積処理を示すフローチャートである。
【図４】第１の実施形態に係るオブジェクト抽出処理およびオブジェクト属性情報の取得処理の一例を示す説明図である。
【図５】第１の実施形態に係る合成処理を示すフローチャートである。
【図６】第１の実施形態に係る合成処理の一例を示す説明図である。
【図７】第１の実施形態に係る合成処理の一例を示す説明図である。
【図８】第１の実施形態に係る合成処理の一例を示す説明図である。
【図９】第１の実施形態に係る合成処理の一例を示す説明図である。
【図１０】第２の実施形態に係る画像合成システムの構成を示すブロック図である。
【図１１】第２の実施形態に係る蓄積処理を示すフローチャートである。
【図１２】第２の実施形態に係る合成処理を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１７】
なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態に係る合成処理の概要
２．実施形態
２−１．第１の実施形態
２−１−１．画像合成システムの構成
２−１−２．画像合成システムの動作処理
２−２．第２の実施形態
２−２−１．画像合成システムの構成
２−２−２．画像合成システムの動作処理
３．まとめ
【００１８】
＜＜１．本開示の一実施形態に係る画像合成技術の概要＞＞
まず、本開示の一実施形態に係る画像合成技術の概要について、図１を参照して説明する。
【００１９】
図１は、本開示の一実施形態に係る画像合成技術の概要を示す説明図である。図１に示すように、カメラ１Ｃは、被写体３Ａ、３Ｂ、３Ｃを撮像して画像Ｐ１を得たが、画像Ｐ１では被写体３Ａが目を瞑ってしまっている。そこで、カメラ１Ｃは、サーバ２に蓄積された画像を、本実施形態に係る合成処理により画像Ｐ１に合成して、被写体３Ａが笑顔の画像Ｐ２を生成する。本実施形態に係る合成処理では、過去に撮像されサーバ２に蓄積された画像を用いて画像合成を行う。図１に示すように、カメラ１Ａは、過去の昼間の公園における場面４Ａにおいて、距離５Ａだけ離れた位置にいる被写体３Ａを撮像し、カメラ１Ｂは、過去の夜間の街中における場面４Ｂにおいて、距離５Ｂだけ離れた位置にいる被写体３Ａを撮像したものとする。なお、カメラ１Ａ、１Ｂ、１Ｃを特に区別する必要が無い場合、カメラ１と総称する。
【００２０】
本実施形態に係る画像合成システムは、カメラ１およびサーバ２から成る。以下では、カメラ１により撮像した画像をサーバ２に蓄積する処理を蓄積処理と称し、蓄積された画像を撮像画像に合成する処理を合成処理と称する。なお、蓄積される画像を撮像するカメラ１と、合成対象の画像を撮像するカメラ１は、同一のカメラ１であってもよいし、異なるカメラ１であってもよい。
【００２１】
サーバ２は、過去に撮像された様々なオブジェクトを示すオブジェクト画像を記憶する。ここで、オブジェクトとは、被写体となり得るあらゆる物体である。例えば、人はオブジェクトであり、人を構成する目や耳、顔、手、足、胴体などの一部分もオブジェクトである。また、どの範囲をひとつのオブジェクトとして捉えるかは、撮像距離によって異なる。例えば、樹木を近距離から撮像した場合は一枚の葉や一本の枝がオブジェクトとなり、遠距離から撮像した場合は一本の樹木がひとつのオブジェクトとなり、さらに遠距離から撮像した場合は森全体がひとつのオブジェクトとなる。
【００２２】
また、オブジェクト画像とは、ひとつのオブジェクトが含まれる画像であり、撮像された画像の一領域である。図１に示した例では、サーバ２は、場面４Ａにおいてカメラ１Ａにより撮像された画像のうち、被写体３Ａの顔部分（オブジェクト）の画像を、オブジェクト画像６−１として記憶している。
【００２３】
また、図１に示すサーバ２は、オブジェクト画像を、そのオブジェクト画像の属性を示すオブジェクト属性情報に対応付けて記憶する。図１に示した例では、サーバ２は、オブジェクト画像６−１に対応付けて、カメラ１Ａとオブジェクト画像６−１が示すオブジェクト（被写体３Ａの顔）との間の撮像距離が距離５Ａであることを示すオブジェクト属性情報７−１を記憶する。
【００２４】
同様にして、サーバ２は、場面４Ｂにおける被写体３Ａの顔部分のオブジェクト画像６−２を、撮像距離が距離５Ｂであることを示すオブジェクト属性情報７−２に対応付けて記憶する。また、サーバ２は、他の場面において撮像された被写体３Ａの顔部分のオブジェクト画像６−３も同様に、オブジェクト属性情報７−３と対応付けて記憶している。
【００２５】
以上、本実施形態に係る画像合成システムによる蓄積処理について説明した。続いて、本実施形態に係る画像合成システムによる合成処理について説明する。
【００２６】
図１に示すように、カメラ１Ｃは、昼間の野外における場面４Ｃにおいて、距離５Ｃだけ離れた位置にいる被写体３Ａ、３Ｂ、３Ｃを撮像して画像Ｐ１を得た。しかし、画像Ｐ１に写った被写体３Ａは、目を瞑ってしまっている。そこで、カメラ１Ｃは、画像Ｐ１における被写体３Ａの顔領域を、目を瞑っていない他の画像に差し替えるための、適するオブジェクト画像をサーバ２に問い合わせる。
【００２７】
問い合わせを受けたサーバ２は、まず、画像Ｐ１の被写体３Ａの顔部分のオブジェクト画像から、オブジェクト属性情報を取得する。そして、サーバ２は、取得したオブジェクト属性情報に基づいて、これまで蓄積してきた他のオブジェクト画像の中から適するオブジェクト画像を検索する。より詳しくは、サーバ２は、被写体３Ａの顔部分のオブジェクト画像のオブジェクト属性情報を検索キーとして、同様のオブジェクト属性情報に対応付けられ、且つ被写体３Ａの顔が含まれるオブジェクト画像を検索する。例えば、図１に示した距離５Ａと距離５Ｃとが同一若しくは近い値であった場合、サーバ２は、撮像距離が距離５Ａであることを含むオブジェクト属性情報７−１に対応付けられたオブジェクト画像６−１を検索する。
【００２８】
次いで、サーバ２は、検索したオブジェクト画像６−１をカメラ１Ｃに送信する。そして、カメラ１Ｃは、画像Ｐ１に写った被写体３Ａの顔領域に、受信したオブジェクト画像６−１を合成することで、画像Ｐ２を生成する。このようにして、カメラ１Ｃは、被写体３Ａが目を瞑っておらず、且つ笑顔の画像Ｐ２を得ることができる。画像Ｐ２は、合成前後で顔領域の撮像距離およびその他のオブジェクト属性情報が大きく変わらないため、合成による不自然さが生じることを防ぐことができる。なお、画像Ｐ２は、サーバ２により生成されて、カメラ１Ｃに送信されてもよい。
【００２９】
オブジェクト属性情報は、撮像距離に限らず、オブジェクト画像を撮像した際に取得された多様な情報や、オブジェクト画像を解析することで得られる多様な情報を含み得る。例えば、オブジェクト情報は、撮像時刻や、撮像位置、撮像方向、撮像レンズの情報、笑顔であるか否かを示す笑顔情報などを含み得る。例えば、図１に示した例において、サーバ２は、カメラ１Ｃからの問い合わせに対して、画像Ｐ１の撮像時刻が昼間であること、および笑顔であることを検索キーとして、同じく昼間に撮像され、且つ笑顔のオブジェクト画像６−１を、カメラ１Ｃに送信してもよい。なお、上記ではオブジェクト属性情報がサーバ２により取得されるものと説明したが、カメラ１Ｃにより取得されて、サーバ２に送信されてもよい。
【００３０】
ここで、上記特許文献１に開示された技術では、オブジェクト毎に光源方向や陰影方向を検出する処理が必要である。これに対して、上記合成処理では、同じ時刻且つ同じ方向で撮像された場合には光源方向や陰影方向が同じであるものとして、光源方向や陰影方向を検出することなく、撮像時刻および撮像方向に基づいて適するオブジェクト画像を検索することができる。
【００３１】
以上、本開示の一実施形態に係る合成処理の概要について説明した。続いて、本開示の一実施形態に係る蓄積処理および合成処理を行う、カメラ１およびサーバ２から成る画像合成システムの構成および動作処理について、図２〜図９を参照して説明する。
【００３２】
＜＜２．実施形態＞＞
＜２−１．第１の実施形態＞
［２−１−１．画像合成システムの構成］
本実施形態は、サーバ２において、上記説明した合成処理および蓄積処理に係る処理の大半を行う形態である。まず、図２を参照して、画像合成システムの構成について説明する。
【００３３】
図２は、第１の実施形態に係る画像合成システムの構成を示すブロック図である。図２に示すように、画像合成システムは、カメラ１−１（画像処理装置）およびサーバ２−１（外部装置）を有し、ネットワーク８により相互に接続されている。
【００３４】
（ネットワーク８）
ネットワーク８は、例えばインターネット、専用線、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）等により構成される。
【００３５】
（カメラ１−１）
図２に示すように、カメラ１−１は、撮像部１１、設定部１２、通信部１３、表示部１４を有する。
【００３６】
・撮像部１１
撮像部１１は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
【００３７】
本実施形態に係る撮像部１１は、所定の撮影パラメータにより撮像を行う。撮影パラメータとは、シャッタースピード、絞り、レンズＦ値、ＣＣＤ画素数、フォーカス位置、ズーム率などを含む撮像レンズに関する情報や、撮像日時、撮像部１１の傾きや向く方向などを含む情報である。その他にも、撮影パラメータは、ＩＳＯ（国際標準化機構）感度、露出時間、ホワイトバランスなどの、ＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）と同様の情報を含んでいてもよい。本実施形態に係る撮像部１１は、このような撮影パラメータのうち、シャッタースピード等の調整可能なパラメータを固定値または数値限定された所定の値にして撮像する。これは、後述するようにサーバ２−１による検索処理を容易にするためである。
【００３８】
撮像部１１は、撮像画像を、撮像した際の撮影パラメータに対応付けて、通信部１３に出力する。
【００３９】
・設定部１２
設定部１２は、撮像部１１により撮像された撮像画像を、サーバ２−１における蓄積処理の対象とするか、サーバ２−１における合成処理の対象とするか、を設定する機能を有する。設定部１２は、撮像画像を合成処理の対象とする場合、合成処理の内容を規定する合成指示情報を生成する。合成指示情報は、撮像画像のうち、どのオブジェクトの領域を合成処理の対象とするかを示す対象オブジェクト情報や、後述するオブジェクト候補画像の検索の際に優先すべきオブジェクト属性情報を示す優先情報を含む。
【００４０】
設定部１２は、合成指示情報を、カメラ１−１を使用するユーザによる入力に基づいて設定してもよいし、撮像画像の内容に応じて自動的に設定してもよい。例えば、撮像画像に写った被写体が目を瞑っている場合や笑顔でない場合、設定部１２は、その被写体の顔領域を示す対象オブジェクト情報、および笑顔画像を優先する優先情報を含む合成指示情報を設定する。他にも、撮像画像が逆光である場合、設定部１２は、順光のオブジェクト画像を優先するよう、光源位置および方向に関する優先情報を含む合成指示情報を設定する。
【００４１】
一方で、設定部１２は、撮像部１１により撮像された撮像画像を蓄積処理の対象とする場合、蓄積処理の対象とすることを示す蓄積指示情報を生成する。
【００４２】
設定部１２は、生成した合成指示情報または蓄積指示情報を通信部１３に出力する。
【００４３】
・通信部１３
通信部１３は、有線／無線により他の情報処理装置との間でデータの送受信を行うための通信モジュールである。例えば、通信部１３は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）や電話回線などに接続され、ネットワーク８を介してサーバ２−１と通信する。
【００４４】
通信部１３は、設定部１２から蓄積指示情報が出力された場合、撮像部１１から出力された撮像画像（第１の画像）を、撮影パラメータ、および蓄積指示情報に対応付けてサーバ２−１に送信する。
【００４５】
一方で、通信部１３は、設定部１２から合成指示情報が出力された場合、撮像部１１から出力された撮像画像（第２の画像）を、撮影パラメータ、および合成指示情報に対応付けてサーバ２−１に送信する。これにより、サーバ２−１において、送信した撮像画像に対して後に詳細に説明する合成処理が行われ、生成された合成画像が通信部１３に送信される。通信部１３は、受信した合成画像を表示部１４に出力する。
【００４６】
・表示部１４
表示部１４は、撮像部１１により撮像された撮像画像をリアルタイムに表示したり、通信部１３から出力された合成画像を表示したりする。表示部１４は、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）などにより実現される。
【００４７】
以上、カメラ１−１の構成について説明した。続いて、サーバ２−１の構成について説明する。
【００４８】
（サーバ２−１）
図２に示すように、サーバ２−１は、通信部２１、抽出部２２、属性情報取得部２３、記録制御部２４、記憶部２５、および合成部２６を有する。
【００４９】
・通信部２１
通信部２１は、有線／無線により他の情報処理装置との間でデータの送受信を行うための通信モジュールである。例えば、通信部２１は、ＬＡＮや電話回線などに接続され、ネットワーク８を介してカメラ１−１と通信する。
【００５０】
より具体的には、通信部２１は、カメラ１−１から撮像画像、撮影パラメータ、および蓄積指示情報または合成指示情報を受信する。また、通信部２１は、後述の合成部２６から出力された合成画像を、カメラ１−１に送信する。
【００５１】
通信部２１は、受信した撮像画像、撮影パラメータ、および蓄積指示情報または合成指示情報を、抽出部２２および合成部２６に出力する。
【００５２】
・抽出部２２
抽出部２２は、画像からオブジェクトを抽出する機能を有する。抽出部２２は、パターン認識や機械学習等により、通信部２１により受信された撮像画像からオブジェクトを抽出する。他にも、抽出部２２は、後述の測距部２３１により取得された画素ごとに距離情報に基づいて、エッジ部分をオブジェクトの境界線として捉えることで、撮像画像からオブジェクトを抽出してもよい。
【００５３】
抽出部２２は、抽出したオブジェクトおよび通信部２１から出力された撮影パラメータを、属性情報取得部２３に出力する。また、抽出部２２は、抽出したオブジェクト、撮影パラメータ、および蓄積指示情報または合成指示情報を記録制御部２４に出力する。なお、抽出部２２は、抽出したオブジェクトを示すオブジェクト画像を出力してもよいし、撮像画像におけるオブジェクトの範囲を示す情報を出力してもよい。
【００５４】
・属性情報取得部２３
属性情報取得部２３は、抽出部２２により抽出されたオブジェクトからオブジェクト属性情報を取得する機能を有する。属性情報取得部２３は、測距部２３１、時刻取得部２３２、およびフラグ生成部２３３として機能する。
【００５５】
・測距部２３１
測距部２３１は、受信した撮像画像を撮像した撮像部１１と、撮像されたオブジェクトとの間の距離（撮像距離）を示す距離情報を取得する機能を有する。例えば、測距部２３１は、撮影パラメータに基づいて距離を推定して距離情報を取得する。撮影パラメータに撮像距離が含まれる場合、測距部２３１は、撮影パラメータから距離情報を取得してもよい。他にも、測距部２３１は、撮像画像の濃淡や輝度差に基づいて撮像距離を推定してもよい。また、測距部２３１は、撮像画像に含まれる山や建物などのオブジェクトを画像認識により特定し、そのオブジェクトのＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）情報に基づいて距離を推定してもよい。測距部２３１は、画素ごとに距離情報を取得しておき、オブジェクト単位で撮像距離を平均化等することで、オブジェクトの距離情報を取得してもよい。
【００５６】
測距部２３１は、取得した距離情報を、記録制御部２４に出力する。
【００５７】
・時刻取得部２３２
時刻取得部２３２は、オブジェクトが撮像された時刻を示す時刻情報を生成する機能を有する。時刻取得部２３２は、撮影パラメータに含まれる撮像時刻を取得して、時刻情報を生成する。
【００５８】
時刻取得部２３２は、生成した時刻情報を記録制御部２４に出力する。
【００５９】
・フラグ生成部２３３
フラグ生成部２３３は、抽出部２２により抽出されたオブジェクトが前景であるか否かを示すフラグ情報を生成する機能を有する。ここで、前景とは、画像の最前面であることを意味する。フラグ生成部２３３は、オブジェクトとそのオブジェクトを撮像した撮像部との間に何ら障害物がない場合に、前景であることを示すフラグ情報を生成する。一方で、抽出部２２は、オブジェクトが画像の最前面でない場合、背景であることを示すフラグ情報を生成する。例えば、フラグ生成部２３３は、撮影パラメータや測距部２３１により取得されたオブジェクトの距離情報に基づいて、重複するオブジェクトのうち最も近い距離にあるオブジェクトを前景とし、他のオブジェクトを背景としてフラグ情報を生成する。
【００６０】
なお、本明明細書では、フラグ情報は前景と背景の２種である例を説明するが、さらに多くの種類を有していてもよい。例えば、フラグ生成部２３３は、オブジェクトごとの撮像距離に基づいて、前景かつ近距離、前景且つ遠距離、背景且つ近距離、背景且つ遠距離などの、画像内の階層構造をさらに細かく表現するフラグ情報を生成してもよい。
【００６１】
フラグ生成部２３３は、生成したフラグ情報を記録制御部２４に出力する。
【００６２】
・記憶部２５
記憶部２５は、所定の記録媒体に対してデータの記録および読み出しを行う部位である。記憶部２５は、例えばＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、記憶部２５としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
【００６３】
記憶部２５は、後述の記録制御部２４による制御に基づいて、オブジェクト画像をオブジェクト属性情報に対応付けて記録したり、オブジェクト画像を読み出したりする。
【００６４】
・記録制御部２４
記録制御部２４は、カメラ１−１から受信された蓄積指示情報または合成指示情報に基づいて、記憶部２５に情報を記録したり、記憶部２５に記録された情報を読み出したりする機能を有する。
【００６５】
蓄積指示情報が受信された場合、記録制御部２４は、抽出部２２により抽出されたオブジェクトを示すオブジェクト画像を、オブジェクト属性情報に対応付けて記憶部２５に記録する。ここで、オブジェクト属性情報は、カメラ１−１の撮像レンズに関する情報、および撮像部１１の傾きや向きなどを含む撮影パラメータ、属性情報取得部２３から出力された距離情報、時刻情報、およびフラグ情報を含む。さらに、オブジェクト属性情報は、オブジェクトを識別するための識別情報をさらに含む。
【００６６】
例えば、記録制御部２４がオブジェクト画像を画像認識してオブジェクトを特定し、同一オブジェクトが記憶部２５に記録されていれば同一の識別情報を付与し、記録されていなければ新たな識別情報を付与する。ここで、カメラ１−１が固有のカメラ識別情報を有する場合、記録制御部２４は、同一のカメラ１−１では同一人物が撮像される可能性が高いものとして、カメラ識別情報を参照してオブジェクトを特定してもよい。なお、識別情報は、属性情報取得部２３により取得されてもよい。
【００６７】
以下に、オブジェクト画像と対応付けて記憶部２５に記録するオブジェクト属性情報の一例を示す。
・撮影パラメータ：
シャッタースピード、絞り、レンズＦ値、ＣＣＤ画素数、フォーカス位置、ズーム率
撮像部１１の傾きおよび向き、ＩＳＯ感度、露出時間、ホワイトバランス等
・フラグ情報
・距離情報
・時刻情報
・識別情報
【００６８】
上記オブジェクト属性情報は、あくまで一例であり、他の任意の情報を含んでいてもよい。例えば、オブジェクト属性情報は、撮影時における太陽や街灯などの光源の位置や角度、コントラスト情報、動体か静止体かを示す情報、および人や動物、植物などのオブジェクトの種類を示す情報などを含んでいてもよい。
【００６９】
一方で、合成指示情報が受信された場合、記録制御部２４は、距離情報や時刻情報、撮影パラメータなどを含むオブジェクト属性情報に基づいて、抽出部２２により抽出されたオブジェクトに対応するオブジェクト画像を、記憶部２５から検索する。ここで、記録制御部２４は、合成指示情報に含まれる、対象オブジェクト情報が示すオブジェクトに対応するオブジェクト画像を、合成処理の候補として検索する。以下では、このとき記録制御部２４が検索の結果得たオブジェクト画像を、オブジェクト候補画像とも称する。
【００７０】
より具体的には、記録制御部２４は、受信した撮像画像のオブジェクトのオブジェクト属性情報に適合するオブジェクト属性情報に対応付けて記憶部２５に記録されているオブジェクト画像を、オブジェクト候補画像として検索する。例えば、記録制御部２４は、受信した撮像画像のオブジェクトと、識別情報が一致し、かつ撮影パラメータ、撮像距離、撮像時刻、前景であるか背景であるか、が一致または近いオブジェクト属性情報が関連付けられたオブジェクト候補画像を検索する。ここで、上述したように、カメラ１−１が所定の撮影パラメータで撮像を行うため、撮影パラメータが過度に多様になることがない。このため、記録制御部２４は、容易に同一または近いオブジェクト属性情報が関連付けられたオブジェクト候補画像を検索することができる。
【００７１】
このとき、記録制御部２４は、合成指示情報が含む優先情報が示す優先するオブジェクト属性情報に基づいて、優先するオブジェクト属性情報が一致または近いオブジェクト候補画像を検索する。例えば、記録制御部２４は、優先するオブジェクト属性情報が距離情報である場合、撮像距離が一致または近いオブジェクト候補画像を検索する。他にも、優先情報としてフラグ情報が前景であること、が指示されている場合、記録制御部２４は、受信した撮像画像のオブジェクトが背景であっても、対応する前景のオブジェクト候補画像を検索する。
【００７２】
そして、記録制御部２４は、検索したオブジェクト候補画像を、合成部２６に出力する。このとき、記録制御部２４は、オブジェクト候補画像に対応付けて記憶部２５に記録されていたオブジェクト属性情報も、合成部２６に出力する。
【００７３】
・合成部２６
合成部２６は、合成指示情報と共に通信部２１により受信された撮像画像に、記憶部２５に記録されたオブジェクト画像を合成する機能を有する。より具体的には、合成部２６は、合成指示情報が含む対象オブジェクト情報が示す撮像画像のオブジェクトの領域に、記録制御部２４により検索されたオブジェクト候補画像を合成した合成画像を生成する。ここで、合成対象の画像領域とオブジェクト候補画像とは、オブジェクト属性情報が一致または近いため、写ったオブジェクトのサイズやコントラスト、角度等が一致または近い。このため、合成部２６は、サイズ調整やコントラスト補正等を行うことなく、自然な画像合成を実現することができる。なお、合成部２６は、より自然な画像合成を実現するために、補足的なサイズ調整やコントラスト補正等を行ってもよい。このように、合成部２６は、簡易且つ自然な画像合成を行うことが可能である。
【００７４】
合成部２６が行うオブジェクトの合成処理は多様に考えられる。例えば、合成部２６は、撮像画像に含まれるオブジェクトを、記憶部２５に記録されている対応するオブジェクトに置換することができる。他にも、合成部２６は、撮像画像に含まれるオブジェクトを削除したり、削除したことにより欠落した部分を記憶部２５に記録されているオブジェクトで補完したりできる。また、合成部２６は、撮像画像に新たなオブジェクトを追加してもよい。
【００７５】
合成部２６は、生成した合成画像を、通信部２１に出力する。上述したように、通信部２１は、合成部２６により生成された合成画像を、撮像画像を合成指示情報と共に送信したカメラ１−１に返信する。
【００７６】
以上、本実施形態に係る画像合成システムの構成について説明した。続いて、図３〜図９を参照して、本実施形態に係る画像合成システムの動作処理について説明する。
【００７７】
［２−１−２．画像合成システムの動作処理］
本実施形態の動作処理は、サーバ２−１がオブジェクト画像を蓄積する蓄積処理と、サーバ２−１が蓄積されたオブジェクト画像を用いて画像合成を行う合成処理とに分割される。以下では、まず、図３〜図４を参照して、蓄積処理について説明する。
【００７８】
（蓄積処理）
図３は、第１の実施形態に係る蓄積処理を示すフローチャートである。図３に示すように、まず、ステップＳ１０４で、カメラ１−１の撮像部１１は、所定の撮影パラメータで撮像する。
【００７９】
次いで、ステップＳ１０８で、カメラ１−１の通信部１３は、撮像画像を、撮影パラメータ、および蓄積指示情報に対応付けてサーバ２−１に送信する。
【００８０】
次に、ステップＳ１１２で、サーバ２−１の抽出部２２は、受信した撮像画像からオブジェクトを抽出し、ステップＳ１１６で、サーバ２−１の属性情報取得部２３は、オブジェクトごとにオブジェクト属性情報を取得する。ここで、ステップＳ１１２およびＳ１１６における具体的な動作処理を、図４を参照して説明する。
【００８１】
図４は、第１の実施形態に係るオブジェクト抽出処理およびオブジェクト属性情報の取得処理の一例を示す説明図である。図４に示すように、カメラ１−１により画像Ｐ３が撮像されたとする。画像Ｐ３には、最前面に被写体３Ｄおよび柵９が写っており、柵９の後ろに被写体３Ｅが写っている。
【００８２】
抽出部２２は、画像Ｐ３から、オブジェクト画像６−４、６−５、６−６を抽出する。ここで、オブジェクト画像６−４には被写体３Ｄが含まれ、オブジェクト画像６−５には柵９が含まれ、オブジェクト画像６−６には被写体３Ｅが含まれている。ここで、オブジェクト画像６−６に写った被写体３Ｅは、撮像時に柵９の後ろに立っていたため、胴体の一部分が撮像されていない、欠けた状態となっている。
【００８３】
このため、フラグ生成部２３３は、オブジェクト画像６−４および６−５が前景であること、オブジェクト画像６−６が背景であることを示すフラグ情報を生成する。また、測距部２３１は各オブジェクトの距離情報を取得し、時刻取得部２３２は各オブジェクトの時刻情報を取得する。このようにして、属性情報取得部２３は、抽出したオブジェクト画像６−４、６−５、６−６について、それぞれオブジェクト属性情報７−４、７−５、７−６を取得する。
【００８４】
ここで、図３に示したフローチャートの説明に戻る。上記説明したステップＳ１１２、Ｓ１１６の後、ステップＳ１２０で、記録制御部２４は、抽出部２２により抽出したオブジェクト画像を、オブジェクト属性情報に対応付けて記憶部２５に記録する。ここで、記憶部２５に記録するオブジェクト属性情報は、属性情報取得部２３により取得された情報、通信部２１により受信された撮影パラメータ、およびオブジェクトの識別情報を含む。
【００８５】
以上、画像合成システムによる蓄積処理について説明した。続いて、図５〜図９を参照して、画像合成システムによる合成処理について説明する。
【００８６】
（合成処理）
図５は、第１の実施形態に係る合成処理を示すフローチャートである。図５に示すように、まず、ステップＳ２０４で、カメラ１−１は、所定の撮影パラメータで撮像する。
【００８７】
次いで、ステップＳ２０８で、カメラ１−１は、撮像画像を、撮影パラメータ、および合成指示情報に対応付けてサーバ２−１に送信する。
【００８８】
次に、ステップＳ２１２で、サーバ２−１の抽出部２２は、受信した撮像画像からオブジェクトを抽出し、ステップＳ２１６で、属性情報取得部２３は、オブジェクト属性情報を取得する。
【００８９】
次いで、ステップＳ２２０で、記録制御部２４は、合成指示情報に基づいて、合成対象のオブジェクトに適合するオブジェクト候補画像を記憶部２５から検索する。より詳しくは、記録制御部２４は、合成指示情報が含む優先情報が示す優先するオブジェクト属性情報に基づいて、優先するオブジェクト属性情報が一致または近いオブジェクト候補画像を検索する。
【００９０】
そして、ステップＳ２２４で、合成部２６は、記録制御部２４により検索されたオブジェクト候補画像を、カメラ１−１から受信した撮像画像における合成対象のオブジェクトの領域に合成することで、合成画像を生成する。
【００９１】
なお、ステップＳ２２０およびＳ２２４における具体的な動作処理については、後に詳しく説明する。
【００９２】
次に、ステップＳ２２８で、サーバ２−１の通信部２１は、合成部２６により生成された合成画像を、カメラ１−１に送信する。
【００９３】
次いで、カメラ１−１の表示部１４は、サーバ２−１から受信した合成画像を表示する。
【００９４】
以上、画像合成システムによる合成処理について説明した。続いて、図５のステップＳ２２０およびＳ２２４における具体的な動作処理について、図６〜図９を参照して説明する。まず、図６を参照して、合成処理のひとつであるオブジェクトの置換について説明する。
【００９５】
・オブジェクトの置換
図６は、第１の実施形態に係る合成処理の一例を示す説明図である。図６に示すように、サーバ２−１は、図４を参照して上記説明した画像Ｐ３を対象として合成処理を行う。サーバ２−１は、画像Ｐ３と共に、被写体３Ｅを置換の対象とすることを示す対象オブジェクト情報、および前景であることを優先すべきことを示す優先情報を含む合成指示情報を、カメラ１−１から受信したものとする。
【００９６】
この場合、まず、抽出部２２は、図４を参照して上記説明したように、画像Ｐ３からオブジェクト画像６−４、６−５、６−６を抽出して、それぞれオブジェクト属性情報を取得する（ステップＳ２１２、Ｓ２１６）。次いで、記録制御部２４は、置換の対象である被写体３Ｅが含まれるオブジェクト画像６−６に対応するオブジェクト候補画像を記憶部２５から検索する。
【００９７】
ここで、サーバ２−１は、過去にした蓄積処理により、オブジェクト画像６−６のオブジェクト属性情報とフラグ情報以外が一致または近いオブジェクト属性情報に対応付けて、オブジェクト画像６−７、６−８を記憶部２５に記録している。オブジェクト画像６−７は、背景であることを示すフラグ情報を含むオブジェクト属性情報７−７が対応付けられており、写っている被写体３Ｅは、撮影時に存在した何らかの障害物により、胸から下の右半身が撮像されていない。また、オブジェクト画像６−８は、前景であることを示すフラグ情報を含むオブジェクト属性情報７−８が対応付けられており、写っている被写体３Ｅは、撮影時に障害物がなかったために撮像されていない部分がない。
【００９８】
記録制御部２４は、前景であることを優先すべきことを示す優先情報に基づいて、オブジェクト画像６−７、６−８のうち、前景であることを示すフラグ情報が対応付けられたオブジェクト画像６−８を、オブジェクト候補画像として検索する。そして、合成部２６は、画像Ｐ３に含まれる被写体３Ｅ（オブジェクト画像６−６）を削除してオブジェクト画像６−８を合成することで、背景であった被写体３Ｅが前景に置換された画像Ｐ４を得る。
【００９９】
以上、オブジェクトの置換について説明した。続いて、図７を参照して、合成処理のひとつであるオブジェクトの削除について説明する。
【０１００】
・オブジェクトの削除
図７は、第１の実施形態に係る合成処理の一例を示す説明図である。図７に示すように、サーバ２−１は、図４を参照して上記説明した画像Ｐ３を対象として合成処理を行う。サーバ２−１は、画像Ｐ３と共に、柵９を削除の対象とすることを示す対象オブジェクト情報を、カメラ１−１から受信したものとする。
【０１０１】
この場合、まず、抽出部２２は、図４を参照して上記説明したように、画像Ｐ３からオブジェクト画像６−４、６−５、６−６を抽出して、それぞれオブジェクト属性情報を取得する（ステップＳ２１２、Ｓ２１６）。
【０１０２】
次いで、合成部２６は、画像Ｐ３からオブジェクト画像６−５、６−６を削除することで、柵９および被写体３Ｅを削除した画像Ｐ５を得る。なぜならば、被写体３Ｅは撮影時に柵９の背景にあったため、単に柵９を削除すると、被写体３Ｅの胴体の一部分が写っていない不自然な画像が得られてしまうためである。
【０１０３】
次に、記録制御部２４は、被写体３Ｅが写っており、且つ写っていない部分がないオブジェクト候補画像を検索する。より具体的には、記録制御部２４は、画像Ｐ３における被写体３Ｅに対応し、且つ前景であることを示すフラグ情報が対応付けられたオブジェクト候補画像を、記憶部２５から検索する。
【０１０４】
ここで、記憶部２５が、図６を参照して上記説明したオブジェクト画像６−８、およびオブジェクト属性情報７−８を記録していたものとすると、記録制御部２４は、オブジェクト画像６−８をオブジェクト候補画像として検索する。そして、合成部２６は、画像Ｐ５の、画像Ｐ３における被写体３Ｅの領域に対応する領域に、オブジェクト画像６−８を合成することで、画像Ｐ３から柵９が削除された画像Ｐ６を得る。
【０１０５】
以上、オブジェクトの削除について説明した。続いて、図８を参照して、合成処理のひとつであるオブジェクトの補完について説明する。
【０１０６】
・オブジェクトの補完
図８は、第１の実施形態に係る合成処理の一例を示す説明図である。図８に示すように、サーバ２−１は、図４を参照して上記説明した画像Ｐ３を対象として合成処理を行う。サーバ２−１は、画像Ｐ３と共に、柵９を削除の対象とすることを示す対象オブジェクト情報を、カメラ１−１から受信したものとする。
【０１０７】
この場合、まず、抽出部２２は、図４を参照して上記説明したように、画像Ｐ３からオブジェクト画像６−４、６−５、６−６を抽出して、それぞれオブジェクト属性情報を取得する（ステップＳ２１２、Ｓ２１６）。
【０１０８】
次いで、合成部２６は、画像Ｐ３からオブジェクト画像６−５を削除することで、柵９を削除した画像Ｐ７を得る。図８に示したように、画像Ｐ７に写った被写体３Ｅは、撮影時に削除の対象である柵９の背景であったため、胴体の一部分が写っていない不自然な状態となっている。このため、記録制御部２４は、画像Ｐ７における被写体３Ｅに対応し、且つ前景であることを示すフラグ情報が対応付けられたオブジェクト候補画像を、記憶部２５から検索する。
【０１０９】
ここで、サーバ２−１は、図６を参照して上記説明したオブジェクト画像６−８、およびオブジェクト属性情報７−８を記憶していたものとすると、記録制御部２４は、オブジェクト画像６−８をオブジェクト候補画像として検索する。そして、合成部２６は、画像Ｐ５に含まれる被写体３Ｅの欠けた胴体の領域に、オブジェクト画像６−８の対応する領域６−８−１を合成することで、画像Ｐ７の欠落した部分を補完した画像Ｐ８を得る。
【０１１０】
以上、オブジェクトの補完について説明した。続いて、図９を参照して、合成処理のひとつであるオブジェクトの追加について説明する。
【０１１１】
・オブジェクトの追加
図９は、第１の実施形態に係る合成処理の一例を示す説明図である。図９に示すように、サーバ２−１は、図４を参照して上記説明した画像Ｐ３を対象として合成処理を行う。サーバ２−１は、画像Ｐ３と共に、花畑を前景と背景との間に追加することを指示する合成指示情報を、カメラ１−１から受信したものとする。
【０１１２】
この場合、まず、抽出部２２は、図４を参照して上記説明したように、画像Ｐ３からオブジェクト画像６−４、６−５、６−６を抽出して、それぞれオブジェクト属性情報を取得する（ステップＳ２１２、Ｓ２１６）。
【０１１３】
ここで、サーバ２−１は、花畑が写ったオブジェクト画像６−９、およびオブジェクト属性情報７−９を記憶していたものとする。
【０１１４】
次に、記録制御部２４は、花畑が写っており、且つ撮像距離が画像Ｐ３の前景と背景との間であるオブジェクト候補画像を検索する。より具体的には、まず、記録制御部２４は、画像Ｐ３のうち前景であるオブジェクト画像６−４、６−５、および背景であるオブジェクト画像６−６のオブジェクト属性情報に基づいて、前景と背景の中間地点の撮像距離を算出する。そして、記録制御部２４は、花畑が写っており、且つ算出した撮像距離が対応付けられたオブジェクト候補画像を、記憶部２５から検索する。
【０１１５】
ここで、サーバ２−１は、過去にした蓄積処理により、花畑が写ったオブジェクト画像６−９、およびオブジェクト属性情報７−９を記憶していたものとする。オブジェクト属性情報７−９は、オブジェクト画像６−４、６−５、６−６のオブジェクト属性情報と距離情報以外が一致または近く、且つ距離情報が示す撮像距離が、算出した中間地点の撮像距離と同じまたは近いものとする。
【０１１６】
このため、記録制御部２４は、オブジェクト画像６−９をオブジェクト候補画像として検索する。そして、合成部２６は、画像Ｐ３が含むオブジェクト画像６−４、６−５、６−６のフラグ情報に基づいて、オブジェクト画像６−４、６−５とオブジェクト画像６−６との間にオブジェクト画像６−９を合成する。このとき、合成部２６は、オブジェクト画像６−４、６−５、６−６、６−９の距離情報に基づいて、追加するオブジェクト画像６−９の深度やサイズ等を調整して合成してもよい。このようにして、サーバ２−１は、画像Ｐ３の前景である被写体３Ｄおよび柵９と、背景である被写体３Ｅとの間に花畑を追加した画像Ｐ９を得る。
【０１１７】
以上、オブジェクトの追加について説明した。
【０１１８】
・補足
上記図６〜図９を参照して説明した具体例では、空や山、地面、建物などの背景を省略して説明したが、サーバ２−１は、上記各種合成処理において、背景を対象としてオブジェクトの補完を行うことで、背景の欠落を防止することができる。例えば、図８を参照して説明した例において、柵９を削除した場合に被写体３Ｅの胴体部分だけでなく、柵９に重複して写っていなかった地面などの背景も欠落することが考えられる。このような場合、サーバ２−１は、地面などの背景を補完の対象として、背景が写ったオブジェクト候補画像を検索して補完することで、背景が欠落していない自然な画像合成を実現することができる。
【０１１９】
＜２−２．第２の実施形態＞
本実施形態は、カメラ１において、合成処理および蓄積処理に係る処理の大半を行う形態である。合成処理の内容は、第１の実施形態において上記説明した通りであるため、重複する部分については省略する。まず、図１０を参照して、画像合成システムの構成について説明する。
【０１２０】
［２−２−１．画像合成システムの構成］
図１０は、第２の実施形態に係る画像合成システムの構成を示すブロック図である。図１０に示すように、画像合成システムは、カメラ１−２（外部装置）およびサーバ２−２を有し、ネットワーク８により相互に接続されている。
【０１２１】
（ネットワーク８）
ネットワーク８は、第１の実施形態において上記説明した通りの構成である。
【０１２２】
（カメラ１−２）
図１０に示すように、カメラ１−２は、第１の実施形態において上記説明した撮像部１１、設定部１２、通信部１３、および表示部１４に加えて、抽出部１５、属性情報取得部１６、および合成部１７を有する。
【０１２３】
・撮像部１１
撮像部１１は、第１の実施形態において上記説明した通りの機能を有し、撮像画像および撮影パラメータを、抽出部１５および合成部１７に出力する。
【０１２４】
・設定部１２
設定部１２は、第１の実施形態において上記説明した通りの機能を有し、合成指示情報または蓄積指示情報を生成して、通信部１３に出力する。
【０１２５】
・抽出部１５
抽出部１５は、第１の実施形態において上記説明した抽出部２２と同様の機能を有する。抽出部１５は、撮像画像から抽出したオブジェクト、および撮影パラメータを、属性情報取得部１６および通信部１３に出力する。
【０１２６】
・属性情報取得部１６
属性情報取得部１６は、第１の実施形態において上記説明した属性情報取得部２３と同様に機能を有する。属性情報取得部１６は、測距部１６１、時刻取得部１６２、フラグ生成部１６３として機能する。
【０１２７】
・測距部１６１
測距部１６１は、第１の実施形態において上記説明した測距部２３１と同様の機能を有し、取得した距離情報を通信部１３に出力する。ここで、本実施形態に係る測距部１６１は、撮像画像や撮影パラメータに基づいて距離情報を取得する以外にも、多様な方法により距離情報を取得し得る。例えば、測距部１６１は、ＴＯＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）方式により、光源を発光させてから反射光を受光するまでの時間に基づいて、距離情報を取得してもよい。また、カメラ１−２が複数の撮像部１１を有する場合、測距部１６１は、複数の撮像部１１によるステレオ視の技術を用いて、距離情報を取得してもよい。他にも、測距部１６１は、光波測距儀や光学視差式距離計などを用いて、距離情報を取得してもよい。
【０１２８】
・時刻取得部１６２
時刻取得部１６２は、第１の実施形態において上記説明した時刻取得部２３２と同様の機能を有し、生成した時刻情報を通信部１３に出力する。
【０１２９】
・フラグ生成部１６３
フラグ生成部１６３は、第１の実施形態において上記説明したフラグ生成部２３３と同様の機能を有し、生成したフラグ情報を通信部１３に出力する。
【０１３０】
・通信部１３
通信部１３は、第１の実施形態において上記説明した通り、ネットワーク８を介してサーバ２−２と通信する。
【０１３１】
設定部１２から蓄積指示情報が出力された場合、本実施形態に係る通信部１３は、抽出部１５により抽出されたオブジェクト画像（第１の画像）を、オブジェクト属性情報、および蓄積指示情報に対応付けてサーバ２−２に送信する。ここで、オブジェクト属性情報は、撮影パラメータおよび属性情報取得部１６から出力された距離情報、時刻情報、およびフラグ情報を含む。なお、このような蓄積指示情報と共にオブジェクト画像およびオブジェクト属性情報を送信する機能を、第１の送信機能と捉えることもできる。
【０１３２】
設定部１２から合成指示情報が出力された場合、本実施形態に係る通信部１３は、抽出部１５により抽出されたオブジェクト画像（第２の画像）を、オブジェクト属性情報、および合成指示情報に対応付けてサーバ２−２に送信する。なお、このような合成指示情報と共にオブジェクト画像およびオブジェクト属性情報を送信する機能を、第２の送信機能と捉えることもできる。
【０１３３】
このとき、通信部１３は、抽出部１５により抽出されたオブジェクト候補画像、オブジェクト属性情報、および合成指示情報を合成部１７に出力する。さらに、通信部１３は、サーバ２−２において合成指示情報に基づいて検索されたオブジェクト候補画像を、サーバ２−２から受信して合成部１７に出力する。
【０１３４】
・合成部１７
合成部１７は、第１の実施形態において上記説明した合成部２６と同様の機能を有する。本実施形態に係る合成部１７は、撮像部１１から出力された撮像画像に、通信部１３により受信されたオブジェクト候補画像を、オブジェクト属性情報および合成指示情報に基づいて合成した合成画像を生成する。
【０１３５】
・表示部１４
表示部１４は、第１の実施形態において上記説明した通り、撮像部１１により撮像された撮像画像をリアルタイムに表示したり、合成部１７から出力された合成画像を表示したりする。また、表示部１４は、撮像部１１により撮像された撮像画像を表示すると共に、サーバ２−２から受信した複数のオブジェクト候補画像を並べて表示してもよい。そして、表示部１４は、ユーザ操作に基づいて選択されたオブジェクト候補画像による合成画像を、切り替えて表示してもよい。
【０１３６】
以上、カメラ１−２の構成について説明した。続いて、サーバ２−２の構成について説明する。
【０１３７】
（サーバ２−２）
図２に示すように、サーバ２−２は、第１の実施形態において上記説明した通信部２１、記録制御部２４、および記憶部２５を有する。
【０１３８】
・通信部２１
通信部２１は、第１の実施形態において上記説明した通り、ネットワーク８を介してカメラ１−２と通信する。本実施形態に係る通信部２１は、合成指示情報を受信した場合、記録制御部２４により検索されたオブジェクト候補画像を、カメラ１−２に送信する。
【０１３９】
・記録制御部２４
記録制御部２４は、第１の実施形態において上記説明した記録制御部２４と同様の機能を有する。
【０１４０】
蓄積指示情報が受信された場合、本実施形態に係る記録制御部２４は、受信されたオブジェクト画像を、オブジェクト属性情報に対応付けて記憶部２５に記録する。このとき、記録制御部２４は、受信したオブジェクト画像を画像認識することにより、識別情報をオブジェクト属性情報に追加して記憶部２５に記録してもよい。
【０１４１】
一方で、合成指示情報が受信された場合、本実施形態に係る記録制御部２４は、受信されたオブジェクト属性情報に基づいて、受信されたオブジェクト画像に対応するオブジェクト候補画像を記憶部２５から検索する。そして、記録制御部２４は、検索したオブジェクト候補画像を通信部２１に出力する。
【０１４２】
・記憶部２５
記憶部２５は、第１の実施形態において上記説明した通り、記録制御部２４による制御に基づいて、オブジェクト画像をオブジェクト属性情報に対応付けて記録する。
【０１４３】
以上、本実施形態に係る画像合成システムの構成について説明した。続いて、図１１〜図１２を参照して、本実施形態に係る画像合成システムの動作処理について説明する。
【０１４４】
［２−２−２．画像合成システムの動作処理］
（蓄積処理）
図１１は、第２の実施形態に係る蓄積処理を示すフローチャートである。図３に示すように、まず、ステップＳ３０４で、カメラ１−２の撮像部１１は、所定の撮影パラメータで撮像する。
【０１４５】
次いで、ステップＳ３０８で、カメラ１−２の抽出部１５は、撮像画像からオブジェクトを抽出し、ステップＳ３１２で、属性情報取得部１６は、オブジェクト属性情報を取得する。
【０１４６】
次に、ステップＳ３１６で、カメラ１−２の通信部１３は、抽出部１５により抽出されたオブジェクト画像を、属性情報取得部１６により取得された情報および撮影パラメータを含むオブジェクト属性情報、および蓄積指示情報に対応付けてサーバ２−２に送信する。
【０１４７】
そして、ステップＳ３２０で、サーバ２−２の記録制御部２４は、通信部２１により受信されたオブジェクト画像を、識別情報をさらに含めたオブジェクト属性情報に対応付けて、記憶部２５に記録する。
【０１４８】
以上、画像合成システムによる蓄積処理について説明した。続いて、図１２を参照して、画像合成システムによる合成処理について説明する。
【０１４９】
（合成処理）
図１２は、第２の実施形態に係る合成処理を示すフローチャートである。図１２に示すように、まず、ステップＳ４０４で、カメラ１−２の撮像部１１は、所定の撮影パラメータで撮像する。
【０１５０】
次いで、ステップＳ４０８で、カメラ１−２の抽出部１５は、撮像画像からオブジェクトを抽出し、ステップＳ３１２で、属性情報取得部１６は、オブジェクト属性情報を取得する
【０１５１】
次に、ステップＳ４１６で、カメラ１−２の通信部１３は、オブジェクト画像を、撮影パラメータ等を含むオブジェクト属性情報、および合成指示情報に対応付けてサーバ２−２に送信する。
【０１５２】
そして、ステップＳ４２０で、サーバ２−２の記録制御部２４は、受信された合成指示情報に基づいて、受信された合成対象のオブジェクトに適合するオブジェクト候補画像を記憶部２５から検索する。
【０１５３】
次いで、ステップＳ４２４で、サーバ２−２の通信部２１は、記録制御部２４により検索されたオブジェクト候補画像を、カメラ１−２に送信する。
【０１５４】
そして、ステップＳ４２８で、カメラ１−２の合成部１７は、合成指示情報に基づいて、サーバ２−２から受信されたオブジェクト候補画像を、撮像部１１により撮像された撮像画像に合成することで、合成画像を生成する。
【０１５５】
次に、ステップＳ４３２で、カメラ１−２の表示部１４は、合成部１７により生成された合成画像を表示する。
【０１５６】
以上、画像合成システムによる合成処理について説明した。
【０１５７】
＜＜３．まとめ＞＞
以上説明したように、本開示の一実施形態に係る画像合成システムは、予めオブジェクト画像をオブジェクト属性情報に対応付けて記録しておくことで、簡易且つ自然な画像合成を行うことが可能である。また、画像合成システムは、フラグ情報や距離情報等を用いて合成処理を行うことで、欠落のない自然な画像合成を行うことができる。
【０１５８】
また、画像合成システムは、優先情報に基づいて任意のオブジェクト属性情報を優先して検索することができるため、ユーザ所望の合成画像を、簡易かつ自然に生成することができる。
【０１５９】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１６０】
例えば、上記実施形態では、合成処理および蓄積処理に係る処理の大半をカメラ１またはサーバ２が行うものとしたが、本技術はかかる例に限定されない。例えば、合成処理および蓄積処理は任意に分割され、それぞれカメラ１またはサーバ２により実行されてもよい。即ち、抽出部や属性情報取得部、合成部などの各構成は、カメラ１またはサーバ２のいずれが有していてもよい。
【０１６１】
また、上記実施形態では、画像処理装置の一例としてカメラ１を用いたが、本開示に係る画像処理装置はこれに限定されない。例えば、画像処理装置は、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）、ヘッドセット、デジタルビデオカメラ、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ノートＰＣ、タブレット端末、スマートフォン、携帯電話端末、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器等であってもよい。
【０１６２】
また、情報処理装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述したカメラ１またはサーバ２の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記録した記録媒体も提供される。
【０１６３】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
所定の撮影パラメータで撮像された画像からオブジェクトを抽出する抽出部と、
前記画像を撮像した撮像部と撮像された前記オブジェクトとの間の距離を示す距離情報を取得する測距部と、
第１の前記画像から前記抽出部により抽出された前記オブジェクトを示すオブジェクト画像を、第１の前記画像から前記測距部により取得された前記距離情報および前記所定の撮影パラメータを含むオブジェクト属性情報に対応付けて外部装置に送信する第１の送信機能と；
第１の前記画像とは異なる第２の前記画像を前記外部装置に送信する第２の送信機能と；
前記外部装置から、第２の前記画像に含まれる前記オブジェクトに対応する、第１の前記画像から抽出された前記オブジェクトを示す前記オブジェクト画像を、オブジェクト候補画像として受信する受信機能と；
を有する通信部と、
第２の前記画像に含まれる前記オブジェクトの領域に前記通信部により受信された前記オブジェクト候補画像を合成する合成部と、
を備える画像処理装置。
（２）
前記通信部は、さらに第２の前記画像の前記オブジェクト属性情報を送信し、送信した前記オブジェクト属性情報に適合する前記オブジェクト属性情報に対応付けられた前記オブジェクト候補画像を受信する、前記（１）に記載の画像処理装置。
（３）
前記通信部は、さらに優先する前記オブジェクト属性情報を示す優先情報を送信し、送信した前記優先情報が示す優先する前記オブジェクト属性情報に対応付けられた前記オブジェクト候補画像を受信する、前記（２）に記載の画像処理装置。
（４）
前記画像処理装置は、前記抽出部により抽出された前記オブジェクトが前景であるか否かを示すフラグ情報を生成するフラグ生成部をさらに備え、
前記オブジェクト属性情報は、前記フラグ生成部により生成された前記フラグ情報をさらに含む、前記（１）〜（３）のいずれか一項に記載の画像処理装置。
（５）
前記合成部は、前記オブジェクト候補画像を、第２の前記画像のオブジェクト属性情報に基づいて合成する、前記（１）〜（４）のいずれか一項に記載の画像処理装置。
（６）
前記画像処理装置は、前記オブジェクトが撮像された時刻を示す時刻情報を生成する時刻取得部をさらに備え、
前記オブジェクト属性情報は、前記時刻取得部により生成された前記時刻情報をさらに含む、前記（１）〜（５）のいずれか一項に記載の画像処理装置。
（７）
第２の前記画像は、前記撮像部により撮像された、第１の前記画像とは異なる前記画像から、前記抽出部により抽出された前記オブジェクトを示す前記オブジェクト画像である、前記（１）〜（６）のいずれか一項に記載の画像処理装置。
（８）
外部装置から、所定の撮影パラメータで撮像された画像と前記撮影パラメータを受信する通信部と、
前記通信部により受信された前記画像からオブジェクトを抽出する抽出部と、
前記画像を撮像した撮像部と撮像された前記オブジェクトとの間の距離を示す距離情報を取得する測距部と、
前記通信部により受信された第１の前記画像から前記抽出部により抽出された前記オブジェクトを示すオブジェクト画像を、第１の前記画像から前記測距部により取得された前記距離情報および前記所定の撮影パラメータを含むオブジェクト属性情報に対応付けて記憶部に記録する記録制御部と、
前記通信部により受信された前記画像に前記記憶部に記録された前記オブジェクト画像を合成する合成部と、
を備え、
前記記録制御部は、前記通信部により受信された、第１の前記画像とは異なる第２の前記画像から前記測距部により取得された前記距離情報および前記所定の撮影パラメータを含む前記オブジェクト属性情報に基づいて、第２の前記画像から前記抽出部により抽出された前記オブジェクトに対応する、第１の前記画像から抽出された前記オブジェクトを示す前記オブジェクト画像を、オブジェクト候補画像として前記記憶部から検索し、
前記合成部は、第２の前記画像に含まれる前記オブジェクトの領域に前記記録制御部により検索された前記オブジェクト候補画像を合成した合成画像を生成し、
前記通信部は、前記合成部により合成された前記合成画像を前記外部装置に送信する、サーバ。
（９）
前記通信部は、さらに優先する前記オブジェクト属性情報を示す優先情報を受信し、
前記記録制御部は、前記通信部により受信された前記優先情報が示す優先する前記オブジェクト属性情報に基づいて、前記抽出部により抽出された前記オブジェクトに対応するオブジェクト候補画像を前記記憶部から検索する、前記（８）に記載のサーバ。
（１０）
前記サーバは、前記抽出部により抽出された前記オブジェクトが前景であるか否かを示すフラグ情報を生成するフラグ生成部をさらに備え、
前記オブジェクト属性情報は、前記フラグ生成部により生成された前記フラグ情報をさらに含む、前記（８）または（９）に記載のサーバ。
（１１）
前記撮影パラメータは、第１の前記画像を撮像した前記撮像部の撮像レンズに関する情報、ならびに前記撮像部の傾きおよび方向を示す情報を含み、
前記記録制御部は、前記オブジェクト属性情報に、さらに第１の前記画像が撮像された時刻を示す時刻情報を含めて記録する、前記（８）〜（１０）のいずれか一項に記載のサーバ。
（１２）
コンピュータに、
所定の撮影パラメータで撮像された画像からオブジェクトを抽出するステップと、
前記画像を撮像した撮像部と撮像された前記オブジェクトとの間の距離を示す距離情報を取得するステップと、
第１の前記画像から抽出された前記オブジェクトを示すオブジェクト画像を、第１の前記画像から取得された前記距離情報および前記所定の撮影パラメータを含むオブジェクト属性情報に対応付けて外部装置に送信するステップと、
第１の前記画像とは異なる第２の前記画像を前記外部装置に送信するステップと、
前記外部装置から、第２の前記画像に含まれる前記オブジェクトに対応する、第１の前記画像から抽出された前記オブジェクトを示す前記オブジェクト画像を、オブジェクト候補画像として受信するステップと、
第２の前記画像に含まれる前記オブジェクトの領域に受信された前記オブジェクト候補画像を合成するステップと、
を実行させるためのプログラムが記憶された記憶媒体。
（１３）
外部装置から、所定の撮影パラメータで撮像された画像と前記撮影パラメータを受信するステップと、
受信された前記画像からオブジェクトを抽出するステップと、
前記画像を撮像した撮像部と撮像された前記オブジェクトとの間の距離を示す距離情報を取得するステップと、
受信された第１の前記画像から抽出された前記オブジェクトを示すオブジェクト画像を、第１の前記画像から取得された前記距離情報および前記所定の撮影パラメータを含むオブジェクト属性情報に対応付けて記憶部に記録するステップと、
受信された、第１の前記画像とは異なる第２の前記画像から取得された前記距離情報および前記所定の撮影パラメータを含む前記オブジェクト属性情報に基づいて、第２の前記画像から抽出された前記オブジェクトに対応する、第１の前記画像から抽出された前記オブジェクトを示す前記オブジェクト画像を、オブジェクト候補画像として前記記憶部から検索するステップと、
第２の前記画像に含まれる前記オブジェクトの領域に検索された前記オブジェクト候補画像を合成した合成画像を生成するステップと、
合成された前記合成画像を前記外部装置に送信するステップと、
を実行させるためのプログラムが記憶された記憶媒体。
【符号の説明】
【０１６４】
１    カメラ
１１  撮像部
１２  設定部
１３  通信部
１４  表示部
１５  抽出部
１６  属性情報取得部
１６１  測距部
１６２  時刻取得部
１６３  フラグ生成部
１７  合成部
２    サーバ
２１  通信部
２２  抽出部
２３  属性情報取得部
２３１  測距部
２３２  時刻取得部
２３３  フラグ生成部
２４  記録制御部
２５  記憶部
２６  合成部
３    被写体
４    場面
５    距離
６    オブジェクト画像
７    オブジェクト属性情報
８    ネットワーク
９    柵
Ｐ１〜Ｐ９  画像
【図１】
2015002423.tif 000003
【図２】
2015002423.tif 000004
【図３】
2015002423.tif 000005
【図４】
2015002423.tif 000006
【図５】
2015002423.tif 000007
【図６】
2015002423.tif 000008
【図７】
2015002423.tif 000009
【図８】
2015002423.tif 000010
【図９】
2015002423.tif 000011
【図１０】
2015002423.tif 000012
【図１１】
2015002423.tif 000013
【図１２】
2015002423.tif 000014