(57)【要約】【課題】撮影された画像とともにその撮影状況に対応する付加情報を閲覧できるようにする。【解決手段】通信端末は、撮像部により画像を撮影し、撮影された画像からマーカーを検出し、検出したマーカーに対して予め設定された、付加情報の取得条件を特定する。通信端末は、複数の付加情報の中からこの取得条件と画像の撮影状況とに基づいて選択された付加情報を取得する。通信端末は、撮像部により撮影された画像に、取得した付加情報に応じた付加画像５１ａを合成して、合成画像５１を生成する。通信端末は、生成した合成画像５１を表示部に表示させる。【選択図】図１１
2014160963.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮影する撮像部と、
前記撮像部により撮影された画像からマーカーを検出する検出部と、
前記検出部により検出されたマーカーに対して予め設定された、付加情報を取得するための条件を特定する特定部と、
複数の付加情報の中から前記特定部により特定された条件と前記画像の撮影状況とに基づいて選択された付加情報を取得する取得部と、
前記撮像部により撮影された画像に、前記取得部により取得された付加情報に応じた画像を合成して、合成画像を生成する生成部と、
前記生成部により生成された合成画像を出力する出力部と
を備える画像処理装置。
【請求項２】
前記条件は、日時に関する条件であり、
前記撮影状況には、前記画像の撮影日時が含まれる
請求項１に記載の画像処理装置。
【請求項３】
前記条件は、場所に関する条件であり、
前記撮影状況には、前記画像の撮影場所が含まれる
請求項１又は２に記載の画像処理装置。
【請求項４】
所定の範囲内に存在する通信端末と通信を行う第１の通信部をさらに備え、
前記取得部は、前記画像の撮影時に、前記第１の通信部を介して前記通信端末からユーザーの識別情報を取得し、前記複数の付加情報の中から前記条件と前記撮影状況と当該取得した識別情報とに基づいて選択された付加情報を取得する
請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記取得部は、前記特定部により特定された条件と前記画像の撮影状況とに基づいて選択された複数の付加情報を取得し、
前記生成部は、前記撮像部について撮影された画像に、前記取得部により取得された前記複数の付加情報に応じた複数の画像をそれぞれ合成することにより、複数の合成画像を生成し、
前記出力部は、前記生成部により生成された前記複数の合成画像において、前記画像の撮影状況と最も関連性の高い付加情報に応じて生成された合成画像を他の合成画像より優先して出力する
請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
基地局に接続され、当該基地局を介して通信を行う第２の通信部をさらに備え、
前記生成部は、前記画像の撮影時に前記第２の通信部が所定の基地局以外の基地局に接続されている場合には、前記撮影された画像に、前記付加情報に応じた画像とは異なる他の画像を合成する
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
画像を撮影する撮像部を備えるコンピュータに、
前記撮像部により撮影された画像からマーカーを検出するステップと、
前記検出されたマーカーに対して予め設定された、付加情報を取得するための条件を特定するステップと、
複数の付加情報の中から前記特定された条件と前記画像の撮影状況とに基づいて選択された付加情報を取得するステップと、
前記撮像部により撮影された画像に、前記取得された付加情報に応じた画像を合成して、合成画像を生成するステップと、
前記生成された合成画像を出力するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像に付加情報を付加する技術に関する。
【背景技術】
【０００２】
撮影画像に付加情報を重ねて表示する技術が知られている。例えば、特許文献１には、カメラによって取得された現実映像中のＡＲマーカーをオブジェクトに変換して映像中に表示する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１６４１５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮影した画像に撮影時の状況を思い出させるようなコメントを入れて保存しておくと、後で画像を閲覧したときに、撮影時の状況を容易に思い出すことができて便利である。しかし、画像を撮影する度にこのようなコメントを入力するのは面倒である。また、特許文献１に記載されたようなＡＲ（Augmented Reality）技術を用いて、撮影した画像中のマーカーをコメントに変換して表示することも考えられるが、従来のＡＲ技術ではマーカー毎に表示されるオブジェクトが予め決められているため、単一のマーカーを用いた場合には、撮影状況に応じて異なる付加情報を表示することはできない。
本発明は、撮影された画像とともにその撮影状況に対応する付加情報を閲覧できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、画像を撮影する撮像部と、前記撮像部により撮影された画像からマーカーを検出する検出部と、前記検出部により検出されたマーカーに対して予め設定された、付加情報を取得するための条件を特定する特定部と、複数の付加情報の中から前記特定部により特定された条件と前記画像の撮影状況とに基づいて選択された付加情報を取得する取得部と、前記撮像部により撮影された画像に、前記取得部により取得された付加情報に応じた画像を合成して、合成画像を生成する生成部と、前記生成部により生成された合成画像を出力する出力部とを備える画像処理装置を提供する。
【０００６】
前記画像処理装置において、前記条件は、日時に関する条件であり、前記撮影状況には、前記画像の撮影日時が含まれてもよい。
【０００７】
前記画像処理装置において、前記条件は、場所に関する条件であり、前記撮影状況には、前記画像の撮影場所が含まれてもよい。
【０００８】
前記画像処理装置において、所定の範囲内に存在する通信端末と通信を行う第１の通信部をさらに備え、前記取得部は、前記画像の撮影時に、前記第１の通信部を介して前記通信端末からユーザーの識別情報を取得し、前記複数の付加情報の中から前記条件と前記撮影状況と当該取得した識別情報とに基づいて選択された付加情報を取得してもよい。
【０００９】
前記画像処理装置において、前記取得部は、前記特定部により特定された条件と前記画像の撮影状況とに基づいて選択された複数の付加情報を取得し、前記生成部は、前記撮像部について撮影された画像に、前記取得部により取得された前記複数の付加情報に応じた複数の画像をそれぞれ合成することにより、複数の合成画像を生成し、前記出力部は、前記生成部により生成された前記複数の合成画像において、前記画像の撮影状況と最も関連性の高い付加情報に応じて生成された合成画像を他の合成画像より優先して出力してもよい。
【００１０】
前記画像処理装置において、基地局に接続され、当該基地局を介して通信を行う第２の通信部をさらに備え、前記生成部は、前記画像の撮影時に前記第２の通信部が所定の基地局以外の基地局に接続されている場合には、前記撮影された画像に、前記付加情報に応じた画像とは異なる他の画像を合成してもよい。
【００１１】
また、本発明は、画像を撮影する撮像部を備えるコンピュータに、前記撮像部により撮影された画像からマーカーを検出するステップと、前記検出されたマーカーに対して予め設定された、付加情報を取得するための条件を特定するステップと、複数の付加情報の中から前記特定された条件と前記画像の撮影状況とに基づいて選択された付加情報を取得するステップと、前記撮像部により撮影された画像に、前記取得された付加情報に応じた画像を合成して、合成画像を生成するステップと、前記生成された合成画像を出力するステップとを実行させるためのプログラムを提供する。
【発明の効果】
【００１２】
本発明によれば、撮影された画像とともにその撮影状況に対応する付加情報を閲覧することができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る画像処理システムの全体構成を示す図である。
【図２】ＳＮＳサーバー装置のハードウェア構成を示す図である。
【図３】投稿情報ＤＢの一例を示す図である。
【図４】通信端末の外観を示す図である。
【図５】通信端末のハードウェア構成を示す図である。
【図６】取得条件情報の一例を示す図である。
【図７】通信端末の機能構成を示す図である。
【図８】投稿処理を示すシーケンスチャートである。
【図９】撮影処理を示すシーケンスチャートである。
【図１０】撮影画像の一例を示す図である。
【図１１】合成画像の一例を示す図である。
【図１２】変形例に係る合成画像の表示例を示す図である。
【図１３】変形例に係る通信端末の構成を示す図である。
【図１４】変形例に係る撮影画像の一例を示す図である。
【図１５】変形例に係る第１の合成画像の一例を示す図である。
【図１６】変形例に係る第２の合成画像の一例を示す図である。
【発明を実施するための形態】
【００１４】
１．構成
（１）システム全体の構成
図１は、本実施形態に係る画像処理システム１の全体構成を示す図である。画像処理システム１は、ＳＮＳ（social networking service）サーバー装置１０と、通信端末２０とを備える。この通信端末２０は、本発明に係る画像処理装置の一例である。ＳＮＳサーバー装置１０と通信端末２０とは、移動体通信網やインターネットを含むネットワーク３０を介して接続される。
【００１５】
ＳＮＳサーバー装置１０は、ブログ機能を有し、投稿された情報の格納や閲覧等のサービスを提供する。通信端末２０は、例えば携帯電話やスマートフォンである。通信端末２０は、音声通話機能やメール機能の他に、撮影機能を有する。また、通信端末２０は、ユーザーがＳＮＳサーバー装置１０から提供されるサービスを利用するときに用いられる。
【００１６】
（２）ＳＮＳサーバー装置１０の構成
図２は、ＳＮＳサーバー装置１０のハードウェア構成を示す図である。ＳＮＳサーバー装置１０は、ＣＰＵ（Central Processing Unit）１１と、メモリ１２と、通信部１３と、記憶部１４とを備えるコンピュータである。ＣＰＵ１１は、プログラムを実行するプロセッサであり、ＳＮＳサーバー装置１０の各部を制御する。メモリ１２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の主記憶装置であり、ＣＰＵ１１より用いられるプログラムやデータを記憶する。通信部１３は、ネットワーク３０に接続されるネットワークインタフェースであり、ネットワーク３０を介して通信端末２０と通信を行う。記憶部１４は、ハードディスク等の補助記憶装置であり、ＣＰＵ１１により用いられるプログラムやデータを記憶する。記憶部１４に記憶されるデータには、投稿された情報を管理する投稿情報データベース（以下、「投稿情報ＤＢ」という）１４１が含まれる。
【００１７】
図３は、投稿情報ＤＢ１４１の一例を示す図である。この投稿情報ＤＢ１４１には、ユーザーＩＤと、投稿日時と、投稿情報とが関連付けて格納される。ユーザーＩＤは、ユーザーを識別する情報である。投稿日時は、ユーザーにより情報が投稿された日時である。投稿情報は、ユーザーにより投稿された情報である。投稿情報は、文字情報だけではなく、イラストや写真を示す画像データやウェブページのＵＲＬ（Uniform Resource Locator）が含まれてもよい。
【００１８】
（３）通信端末２０の構成
図４は、通信端末２０の外観を示す図である。通信端末２０には、ストラップ等のアクセサリー４０が取り付けられる。このアクセサリー４０の表面には、マーカーＭ１が付加される。このマーカーＭ１は、例えばマーカーＭ１の検出に用いられる枠とパターンにより構成される。このパターンは、マーカーＭ１を識別するＩＤを示す。本実施形態では、マーカーＭ１は、付加情報を取得するための条件を特定するために用いられる。
【００１９】
図５は、通信端末２０のハードウェア構成を示す図である。通信端末２０は、ＣＰＵ２１と、メモリ２２と、通信部２３と、操作部２４と、表示部２５と、撮像部２６と、記憶部２７とを備えるコンピュータである。なお、通信端末２０は、これらの構成の他に、音声通話を行うための構成を備えていてもよい。ＣＰＵ２１は、プログラムを実行するプロセッサであり、通信端末２０の各部を制御する。メモリ２２は、ＲＯＭやＲＡＭ等の主記憶装置であり、ＣＰＵ２１により用いられるプログラムやデータを記憶する。通信部２３は、ネットワーク３０に接続されるネットワークインタフェースであり、ネットワーク３０を介してＳＮＳサーバー装置１０と通信を行う。この通信部２３は、本発明に係る第２の通信部の一例である。具体的には、ネットワーク３０には基地局が含まれており、通信部２３はこの基地局に無線で接続される。操作部２４は、タッチパネルやキー等の入力装置であり、ユーザーの操作に応じた情報をＣＰＵ２１に入力する。表示部２５は、液晶ディスプレイ等の出力装置であり、各種の情報を表示する。表示部２５は、本発明に係る出力部の一例である。撮像部２６は、イメージセンサ等の撮像素子を有するカメラであり、画像を撮影する。記憶部２７は、フラッシュメモリ等の補助記憶装置であり、ＣＰＵ２１により用いられるプログラムやデータを記憶する。記憶部２７に記憶されるデータには、ユーザーを識別するＩＤの他に、撮像部２６により撮影された画像の付加情報を取得するための条件を示す取得条件情報２７１が含まれる。
【００２０】
図６は、取得条件情報２７１の一例を示す図である。取得条件情報２７１には、マーカーＩＤと、取得対象と、格納場所と、条件とが含まれる。マーカーＩＤは、マーカーＭ１を識別する情報である。取得対象は、取得対象となる付加情報の種別や属性である。格納場所は、付加情報が格納されている場所である。条件は、付加情報を抽出する条件である。これらの情報は、例えばユーザーにより予め設定される。
【００２１】
図７は、通信端末２０の機能構成を示す図である。通信端末２０は、ＣＰＵ２１がプログラムを実行することにより、送信部２１１、検出部２１２、特定部２１３、取得部２１４、生成部２１５及び表示制御部２１６の機能を実現する。送信部２１１は、ユーザーの操作により入力された投稿情報をＳＮＳサーバー装置１０に送信する。検出部２１２は、撮像部２６により撮影された画像からマーカーＭ１を検出する。特定部２１３は、検出部２１２により検出されたマーカーＭ１に対して予め設定された、付加情報を取得するための条件を特定する。取得部２１４は、複数の付加情報の中から特定部２１３により特定された条件と画像の撮影状況とに基づいて選択された付加情報を取得する。生成部２１５は、撮像部２６により撮影された画像に、取得部２１４により取得された付加情報に応じた画像を合成して、合成画像を生成する。表示制御部２１６は、生成部２１５により生成された合成画像を表示部２５に表示させる。
【００２２】
２．動作
次に、画像処理システム１の動作について説明する。画像処理システム１は、主に投稿処理と、撮影処理と、閲覧処理とを行う。投稿処理は、ユーザーが通信端末２０を用いてＳＮＳサーバー装置１０に情報を投稿するときに行われる処理である。撮影処理は、ユーザーが撮像部２６を用いて画像を撮影するときに行われる処理である。閲覧処理は、ユーザーが撮影した画像を閲覧するときに行われる処理である。
【００２３】
（１）投稿処理
図８は、投稿処理を示すシーケンスチャートである。ユーザーは、ＳＮＳサーバー装置１０に情報を投稿する場合、操作部２４を用いて投稿情報を入力し、この投稿情報の送信を指示する。投稿情報の送信が指示されると、ステップＳ１０１の処理が行われる。
【００２４】
ステップＳ１０１において、送信部２１１は、操作部２４を介して入力された投稿情報と記憶部２７に記憶されたユーザーＩＤとをＳＮＳサーバー装置１０に送信する。例えば、ユーザーＡにより「大阪に旅行！」という投稿情報が入力され、記憶部２７にユーザーＡのＩＤが記憶されている場合には、この投稿情報「大阪に旅行！」とユーザーＡのＩＤとがＳＮＳサーバー装置１０に送信される。
【００２５】
ステップＳ１０２において、ＳＮＳサーバー装置１０は、通信端末２０から受信した投稿情報及びユーザーＩＤと投稿日時とを投稿情報ＤＢ１４１に登録する。この投稿日時は、例えば通信端末２０から投稿情報を受信した日時である。例えば、１２月１２日８：００に投稿情報「大阪に旅行！」及びユーザーＡのＩＤを受信した場合には、図３に示すように、ユーザーＡのＩＤと、投稿日時「１２月１２日８：００」と、投稿情報「大阪に旅行！」とが関連付けて投稿情報ＤＢ１４１に格納される。
【００２６】
（２）撮影処理
図９は、撮影処理を示すシーケンスチャートである。ここでは、ユーザーＡがユーザーＢを撮影する例について説明する。この場合、ユーザーＡは、自分の通信端末２０に取り付けられたアクセサリー４０をユーザーＢに渡し、このアクセサリー４０に付加されたマーカーＭ１とともにユーザーＢを撮影する。
【００２７】
ステップＳ２０１において、撮像部２６は、ユーザーＢとマーカーＭ１とを撮影する。図１０は、撮像部２６により撮影された撮影画像５０の一例を示す図である。この撮影画像５０には、ユーザーＢの像とマーカーＭ１とが含まれている。
【００２８】
ステップＳ２０２において、検出部２１２は、撮影画像５０からマーカーＭ１を検出し、マーカーＭ１のパターンが示すマーカーＩＤを読み取る。この例では、マーカーＭ１のＩＤが読み取られる。
【００２９】
ステップＳ２０３において、特定部２１３は、記憶部２７に記憶された取得条件情報２７１に基づいて、検出部２１２により検出されたマーカーＭ１に対して予め設定された、付加情報の取得条件を特定する。図６に示す取得条件情報２７１には、マーカーＭ１のＩＤと、取得対象「ユーザーＡの投稿情報」と、格納場所「ＳＮＳサーバー装置」と条件「投稿日時が撮影日時から３０分以内」とが含まれている。この場合、撮影日時から３０分以内に投稿されたユーザーＡの投稿情報を取得するための取得条件が特定される。
【００３０】
ステップＳ２０４において、取得部２１４は、特定部２１３により特定された取得条件と撮影日時とに基づく投稿情報の取得要求をＳＮＳサーバー装置１０に送信する。この取得要求には、撮影画像５０の撮影日時が含まれる。例えば、１２月１２日８：１０に撮影画像５０が撮影された場合、取得要求には撮影日時「１２月１２日８：１０」が含まれる。
【００３１】
ステップＳ２０５において、ＳＮＳサーバー装置１０は、通信端末２０から受信した取得要求に応じて、取得条件を満たす投稿情報を投稿情報ＤＢ１４１から抽出する。この例では、取得要求には撮影日時「１２月１２日８：１０」が含まれているため、取得要件を満たすには、１２月１２日８：１０の前後３０分以内、つまり１２月１２日７：４０から１２月１２日８：４０の時間内に投稿されたユーザーＡの投稿情報でなければならない。図３に示す投稿情報ＤＢ１４１には、ユーザーＡのＩＤと投稿日時「１２月１２日８：００」とに関連付けて投稿情報「大阪に旅行！」が格納されている。この投稿情報は、ユーザーＡにより投稿されたものであり、投稿日時が１２月１２日７：４０から１２月１２日８：４０の時間内であるため、取得条件を満たす。この場合、ＳＮＳサーバー装置１０は、投稿情報ＤＢ１４１から投稿情報「大阪に旅行！」を抽出する。つまり、ＳＮＳサーバー装置１０は、投稿情報ＤＢ１４１に格納された複数の投稿情報の中から、取得条件と撮影日時とに基づいて投稿情報を選択して抽出する。
【００３２】
ステップＳ２０６において、ＳＮＳサーバー装置１０は、投稿情報ＤＢ１４１から抽出した投稿情報を通信端末２０に送信する。この例では、投稿情報「大阪に旅行！」が通信端末２０に送信される。取得部２１４は、ＳＮＳサーバー装置１０から受信した投稿情報を取得する。
【００３３】
ステップＳ２０７において、生成部２１５は、取得部２１４により取得された投稿情報に応じて付加画像５１ａを生成し、この付加画像５１ａを撮影画像５０に合成して、合成画像５１を生成する。このとき、生成部２１５は、付加画像５１ａを撮影画像５０に含まれるマーカーＭ１の上に重ねて配置する。図１１は、合成画像５１の一例を示す図である。この合成画像５１には、図１０に示す撮影画像５０のマーカーＭ１の上に矩形の付加画像５１ａが重ねて配置されている。この付加画像５１ａには、「大阪に旅行！」という投稿情報が表示されている。生成部２１５は、合成画像５１を示す画像データを記憶部２７に記憶させる。
【００３４】
（３）閲覧処理
ユーザーは、撮影画像５０を閲覧する場合、操作部２４を用いてこの撮影画像５０の表示を指示する。撮影画像５０の表示が指示されると、表示制御部２１６は、この撮影画像５０に基づいて生成された合成画像５１を示す画像データを記憶部２７から読み出す。そして、表示制御部２１６は、この画像データに応じた合成画像５１を表示部２５に表示させる。例えば、ユーザーにより図１０に示す撮影画像５０の表示が指示された場合、表示部２５には、図１１に示す合成画像５１が表示される。この合成画像５１には、ユーザーＡにより撮影時間の１０分前に投稿された「大阪に旅行！」という投稿情報が表示される。したがって、ユーザーＡは合成画像５１を閲覧することにより、撮影時の状況を容易に思い出すことができる。
【００３５】
３．変形例
本発明は、上述した実施形態に限定されず、例えば以下のように種々の変形を行ってもよい。また、以下の変形例を互いに組み合わせてもよい。
【００３６】
（１）上述した実施形態では、ＳＮＳサーバー装置１０が撮影日時の前後所定の時間内の投稿日時に関連付けられた投稿情報を抽出する例について説明したが、投稿情報を抽出する条件はこれに限定されない。例えば、ＳＮＳサーバー装置１０は、撮影日時に最も近い投稿日時に関連付けられた投稿情報を抽出してもよい。この場合、取得条件情報２７１には、図６に示す「投稿日時が撮影日時から３０分以内」という条件に代えて、例えば「投稿日時が撮影日時に最も近い」という条件が含まれる。
【００３７】
（２）上述した実施形態では、ＳＮＳサーバー装置１０から単一の投稿情報だけが取得されていたが、ＳＮＳサーバー装置１０から複数の投稿情報が取得されてもよい。この場合、図９に示すステップＳ２０７では、この複数の投稿情報に応じた複数の付加画像をそれぞれ撮影画像５０に合成することにより、複数の合成画像が生成される。ここでは、ステップＳ２０７で合成画像５１、５２及び５３が生成される場合を想定する。この場合、閲覧処理では、合成画像５１、５２及び５３が順番に表示部２５に表示される。
【００３８】
図１２は、本変形例に係る合成画像５１、５２及び５３の表示例を示す図である。図１２に示すように、表示部２５には、合成画像５１、５２及び５３が所定の時間（例えば１０秒）ずつ順番に表示される。合成画像５１、５２及び５３は、例えば対応する投稿情報の投稿日時に応じた順番（例えば、投稿日時が新しい順）で表示される。
【００３９】
また、合成画像５１、５２及び５３において、撮影画像５０の撮影状況と最も関連性の高いものが、他の合成画像より優先して表示されてもよい。例えば、合成画像５１に対応する投稿情報の投稿日時が、合成画像５２、５３に対応する投稿情報の投稿日時よりも、撮影画像５０の撮影日時に近い場合を想定する。この場合、合成画像５１は、合成画像５１、５２及び５３の中で撮影画像５０の撮影状況との関連性が最も高いといえる。表示制御部２１６は、合成画像５１が合成画像５２及び５２より優先して表示されるように、表示順序や表示時間を制御する。例えば、表示制御部２１６は、合成画像５１を合成画像５２及び５３より先に表示部２５に表示させる。または、表示制御部２１６は、合成画像５１の表示期間を合成画像５２や合成画像５３の表示期間より長くしてもよい。
【００４０】
（３）上述した実施形態では、ユーザー自身の投稿情報が付加情報として取得される例について説明したが、付加情報はユーザー自信の投稿情報に限定されない。例えば、付加情報は、撮影時にユーザーの近くにいる友人の投稿情報であってもよい。
【００４１】
図１３は、本変形例に係る通信端末２０Ａの構成を示す図である。通信端末２０Ａは、実施形態で説明した構成の他に、近距離通信部２８を備える。近距離通信部２８は、所定の範囲内に存在する他の通信端末２０と無線で通信を行う。この近距離通信部２８は、本発明に係る第１の通信部の一例である。また、取得条件情報２７１には、図６に示す「ユーザーＡの投稿情報」という取得対象に代えて、例えば「友人の投稿情報」という取得対象が含まれる。
【００４２】
この場合、取得部２１４は、撮影画像５０の撮影時に、近距離通信部２８を介して、所定の範囲内に存在する他の通信端末２０からユーザーＩＤを取得する。具体的には、取得部２１４は、近距離通信部２８を介して、所定の範囲内に存在する他の通信端末２０にユーザーＩＤの取得要求を送信する。他の通信端末２０は、この取得要求に応じてユーザーＩＤを通信端末２０に送信する。取得部２１４は、近距離通信部２８を介して他の通信端末２０から受信したユーザーＩＤを取得する。例えば、所定の範囲内にユーザーＢの通信端末２０が存在する場合には、ユーザーＢのＩＤが取得される。続いて、取得部２１４は、図９に示すステップＳ２０３の処理を行う。
【００４３】
ステップＳ２０３では、撮影日時から３０分以内に投稿されたユーザーＢの投稿情報を取得するための取得条件が特定される。ステップＳ２０４では、この取得条件と撮影画像５０の撮影日時とに基づく投稿情報の取得要求がＳＮＳサーバー装置１０に送信される。ステップＳ２０５では、ユーザーＢのＩＤと撮影日時「１２月１２日８：１０」の前後３０分以内の投稿日時とに関連付けられた投稿情報が投稿情報ＤＢ１４１から抽出される。つまり、ＳＮＳサーバー装置１０は、投稿情報ＤＢ１４１に格納された複数の投稿情報の中から、ユーザーＢのＩＤと取得条件と撮影画像５０の撮影日時とに基づいて投稿情報を選択し、選択した投稿情報を抽出する。ステップＳ２０６では、抽出された投稿情報が通信端末２０に送信される。これにより、取得部２１４は、ユーザーＢの投稿情報を取得する。ステップＳ２０７では、取得部２１４により取得されたユーザーＢの投稿情報に応じた付加画像が撮影画像５０に合成される。
【００４４】
本変形例によれば、ユーザーは、撮影画像５０とともに、撮影時に近くにいる友人が投稿した投稿情報を閲覧することができる。
【００４５】
（４）上述した実施形態では、ユーザーの投稿情報が付加情報として取得される例について説明したが、付加情報は投稿情報に限定されない。例えば、付加情報は、他の通信端末２０に送信されたメールであってもよい。
【００４６】
この場合、記憶部２７には、他の通信端末２０に送信されたメールとその送信日時とが関連付けて記憶される。また、取得条件情報２７１には、図６に示す情報に代えて、例えば取得対象「ユーザーＡのメールの本文」、格納場所「記憶部」、条件「送信日時が撮影日時から３０分以内」が含まれる。この場合、取得部２１４は、撮影日時から３０分以内の送信日時に関連付けられたメールの本文を記憶部２７から読み出して取得する。なお、本変形例では、図９に示すステップＳ２０４〜Ｓ２０６の処理は行われない。ステップＳ２０７では、取得部２１４により取得されたメールの本文に応じた付加画像が撮影画像５０に合成される。
【００４７】
また、付加情報は、通信端末２０に登録されたスケジュールの情報であってもよい。この場合、記憶部２７には、スケジュールの日時と関連付けてスケジュール情報が記憶される。また、取得条件情報２７１には、図６に示す情報に代えて、例えば取得対象「ユーザーＡのスケジュール情報」、格納場所「記憶部」、条件「スケジュールの日時が撮影日時から３０分以内」が含まれる。この場合、取得部２１４は、撮影日時から３０分以内のスケジュールの日時に関連付けられたスケジュール情報を記憶部２７から読み出して取得する。なお、本変形例では、図９に示すステップＳ２０４〜Ｓ２０６の処理は行われない。ステップＳ２０７では、取得部２１４により取得されたスケジュール情報に応じた付加画像が撮影画像５０に合成される。
【００４８】
（５）上述した実施形態では、撮影日時に対応する付加情報を取得する例について説明したが、取得対象となる付加情報は撮影日時に対応するものに限定されない。例えば、取得部２１４は、撮影日時と撮影場所とに対応する付加情報を取得してもよい。ここでは、気象サーバー装置に格納された天気情報を付加情報として取得する例について説明する。この気象サーバー装置には、観測日時と観測場所を示す位置情報とに関連付けて天気情報が格納される。取得条件情報２７１には、図６に示す情報に代えて、例えば取得対象「天気情報」、格納場所「気象サーバー装置」、抽出条件「観測日時が撮影日時から１時間以内、観測場所が撮影場所を含む」が含まれる。また、通信端末２０は、撮影画像５０の撮影時に、ＧＰＳ等の位置測定機能を用いて、その撮影場所を示す位置情報を取得する。
【００４９】
この場合、図９に示すステップＳ２０３では、撮影日時から１時間以内に撮影場所を含む場所で観測された天気情報を取得するための取得条件が特定される。ステップＳ２０４では、この取得条件と撮影画像５０の撮影日時及び撮影場所とに基づく天気情報の取得要求が気象サーバー装置に送信される。この取得要求には、撮影日時と撮影場所を示す位置情報とが含まれる。ステップＳ２０５では、気象サーバー装置が、撮影日時から１時間以内の観測日時と、取得要求に含まれる位置情報とに関連付けられた天気情報を抽出する。つまり、気象サーバー装置は、複数の天気情報の中から、取得条件と撮影日時と撮影場所とに基づいて天気情報を選択し、選択した天気情報を抽出する。ステップＳ２０６では、抽出された天気情報が通信端末２０に送信される。これにより、取得部２１４は、天気情報を取得する。ステップＳ２０７では、取得部２１４により取得された天気情報に応じた付加画像が撮影画像５０に合成される。
【００５０】
このように、取得部２１４により取得される付加情報は、撮影状況に対応する付加情報であればどのような情報であってもよい。この撮影状況には、実施形態で説明した撮影日時、本変形例で説明した撮影場所、又はこれらの組み合わせが含まれる。
【００５１】
（６）本発明は、撮像部２６により撮影された画像のセキュリティ管理に使用されてもよい。例えば、通信端末２０は、会社等の予め決められた場所で撮影された撮影画像については、撮影者の個人情報等を含む付加情報に応じた付加画像を合成する一方、それ以外の場所で撮影された撮影画像については、この付加画像以外の付加画像を合成してもよい。ここでは、業務に利用する書類を撮影した撮影画像のセキュリティ管理を行う例について説明する。この場合、書類には、実施形態で説明したものと同様のマーカーＭ１が付加される。このマーカーＭ１は、例えばシールの上にプリントされ、書類に貼り付けられてもよい。
【００５２】
また、記憶部２７には、この書類が予め決められた場所で撮影されたときに表示される第１の付加情報と、この書類がそれ以外の場所で撮影されたときに表示される第２の付加情報とが記憶される。この第１の付加情報には、例えばユーザーの名前、部署名、電話番号等の個人情報が含まれる。一方、第２の付加情報には、ユーザーの個人情報は含まれない。第２の付加情報には、例えば社外において書類を取得した人がその書類を会社に届けることができるように、会社名と会社の電話番号とが記載されたメッセージが含まれる。
【００５３】
図１４は、本変形例に係る書類を撮影した撮影画像６０の一例を示す図である。この撮影画像６０には、書類とともに撮影されたマーカーＭ１が含まれる。この場合、取得部２１４は、通信部２３が所定の基地局に接続されているか否かを判断する。この所定の基地局は、例えば会社の場所を含む範囲のセルを有する基地局である。この基地局は、アクセスポイントであってもよい。通信部２３が所定の基地局に接続されている場合、取得部２１４は、記憶部２７から第１の付加情報を読み出して取得する。なお、本変形例では、図９に示すステップＳ２０４〜Ｓ２０６の処理は行われない。ステップＳ２０７では、取得部２１４により取得された第１の付加情報に応じた第１の付加画像６１ａが撮影画像６０に合成され、第１の合成画像６１が生成される。
【００５４】
図１５は、本変形例に係る第１の合成画像６１の一例を示す図である。この第１の合成画像６１には、マーカーＭ１の上に重ねて第１の付加画像６１ａが配置されている。この第１の付加画像６１ａには、ユーザーＡの名前、部署名「営業部」、電話番号「０３−１２３４−ＸＸＸＸ」等の個人情報を含む第１の付加情報が表示されている。
【００５５】
一方、通信部２３が所定の基地局以外の基地局に接続されている場合、取得部２１４は、記憶部２７から第２の付加情報を読み出して取得する。ステップＳ２０７では、取得部２１４により取得された第２の付加情報に応じた第２の付加画像６２ａが撮影画像６０に合成され、第２の合成画像６２が生成される。この第２の付加画像６２ａは、第１の付加画像６１ａとは異なる他の画像の一例である。
【００５６】
図１６は、本変形例に係る第２の合成画像６２の一例を示す図である。この第２の合成画像６２には、マーカーＭ１の上に重ねて第２の付加画像６２ａが配置されている。この第２の付加画像６２ａには、ＸＸ会社の会社名と電話番号「０３−５６７８−ＸＸＸＸ」とが記載されたメッセージを含む第２の付加情報が表示されている。この第２の合成画像６２には、図１５に示す第１の合成画像６１のように、ユーザーＡの個人情報は表示されない。したがって、ユーザーＡが書類を社外で紛失し、他人がこの書類を撮影した場合にも、ユーザーＡの個人情報が他人に知られる恐れはない。
【００５７】
また、本変形例に係るステップＳ２０７では、第２の付加画像６２ａに代えて、例えばマーカーＭ１を隠すための第３の付加画像が撮影画像６０に合成されてもよい。この第３の付加画像は、例えば背景色と同一の色を有するマーカーＭ１に対応する大きさの画像である。この第３の付加画像も、第１の付加画像６１ａとは異なる他の画像の一例である。この場合、例えば社外で書類が撮影されたときは、付加情報が表示されないだけではなく、マーカーＭ１も表示されないため、マーカーＭ１が他人に悪用されるのを防ぐことができる。
【００５８】
（７）上述した変形例（６）において、撮影者が予めマーカーＭ１に対して設定されたユーザーであるか否かに応じて、異なる付加情報を表示してもよい。この場合、マーカーＭ１のパターンは、マーカーＩＤとユーザーＩＤとを示す。取得部２１４は、マーカーＭ１から読み取ったユーザーＩＤが記憶部２７に記憶されたユーザーＩＤと一致するか否かを判断する。そして、取得部２１４は、ユーザーＩＤが一致する場合には、記憶部２７から第１の付加情報を取得し、ユーザーＩＤが一致しない場合には、記憶部２７から第２の付加情報を取得する。
【００５９】
（８）上述した実施形態では、被写体とともにマーカーＭ１を撮影することにより、撮影画像５０の中にマーカーＭ１を付加していたが、撮影画像５０の中にマーカーＭ１を付加する方法はこれに限定されない。例えば、予め撮像部２６でマーカーＭ１を撮影しておき、生成部２１５が、撮影画像５０上にマーカーＭ１の画像を合成してもよい。この場合、ユーザーは、操作部２４を用いて、撮影画像５０において、マーカーＭ１を付加する位置を指定してもよい。生成部２１５は、撮影画像５０において指定された位置にマーカーＭ１の画像を合成する。
【００６０】
例えば、マーカーＭ１を撮影する場合において、撮像部２６からマーカーＭ１までの距離が大きい場合には、撮影画像５０に含まれるマーカーＭ１が小さくなるため、マーカーＭ１のパターンを認識し難くなる。しかし、本変形例によれば、撮像部２６からマーカーＭ１までの距離に関係なく、一定の大きさのマーカーＭ１を付加することができるため、このような問題が回避される。
【００６１】
（９）上述した実施形態では、矩形の付加画像５１ａを合成する例について説明したが、付加画像５１ａは矩形の画像に限定されない。例えば、付加画像５１ａは、付加情報が表示された吹き出し画像であってもよい。
【００６２】
また、上述した実施形態では、付加画像５１ａをマーカーＭ１上に合成する例について説明したが、付加画像５１ａを合成する位置はマーカーＭ１上に限定されない。例えば、生成部２１４は、撮影画像５０を解析して背景領域を特定し、特定した背景領域に付加画像５１ａを合成してもよい。
【００６３】
（１０）上述した実施形態では、取得条件情報２７１が予め設定されている例について説明したが、取得条件情報２７１は、例えばユーザーの操作により、撮影画像５０の撮影時に設定されてもよい。
【００６４】
（１１）上述した実施形態では、撮影処理においてステップＳ２０２〜ステップＳ２０７の処理を行う例について説明したが、これらの処理は閲覧処理で行われてもよい。本変形例によれば、取得部２１４は、撮影画像５０の撮影前に投稿された投稿情報だけではなく、撮影後に投稿された投稿情報も取得することができる。
【００６５】
（１２）上述した実施形態では、通信端末２０のアクセサリー４０にマーカーＭ１が付加される例について説明したが、マーカーＭ１が付加される対象は通信端末２０のアクセサリー４０に限定されない。例えば、ユーザーが首にかけるネックストラップにマーカーＭ１が付加されてもよい。
【００６６】
（１３）上述した実施形態では、合成画像５１を表示部２５に表示する例について説明したが、合成画像５１を出力する方法は表示に限定されない。例えば、通信端末２０は、合成画像５１を示す画像データを画像形成装置に送信し、この画像データに応じた合成画像５１を記録媒体上に形成させてもよい。
【００６７】
（１４）上述した実施形態では、撮像部２６で生成された画像データ及び取得条件情報２７１が記憶部２７に記憶される例について説明したが、これらのデータは、例えばネットワーク３０を介して通信端末２０に接続されたサーバー装置に記憶されてもよい。このサーバー装置は、実施形態で説明したＳＮＳサーバー装置１０とは異なる装置である。この場合、図９に示すステップＳ２０３では、通信端末２０はサーバー装置からマーカーＭ１のＩＤを含む取得条件情報２７１を取得する。また、閲覧処理では、通信端末２０はサーバー装置から表示が指示された合成画像５１を示す画像データを取得する。
【００６８】
（１５）上述した実施形態では、通信端末２０が携帯電話やスマートフォンである例について説明したが、通信端末２０はこれに限定されない。例えば、通信端末２０は、デジタルカメラであってもよいし、タブレット型コンピュータやノート型パーソナルコンピュータであってもよい。
【００６９】
（１６）ＳＮＳサーバー装置１０のＣＰＵ１１及び通信端末２０のＣＰＵ２１により実行されるプログラムは、インターネットなどの通信回線を介してダウンロードされてもよい。また、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。
【符号の説明】
【００７０】
１：画像処理システム、１０：ＳＮＳサーバー装置、２０：通信端末、２１：ＣＰＵ、
２２：メモリ、２３：通信部、２４：操作部、２５：表示部、２６：撮像部、２７：記憶部、２８：近距離通信部、２１１：送信部、２１２：検出部、２１３：特定部、２１４：取得部、２１５：生成部、２１６：表示制御部
【図１】
2014160963.tif 000003
【図２】
2014160963.tif 000004
【図３】
2014160963.tif 000005
【図４】
2014160963.tif 000006
【図５】
2014160963.tif 000007
【図６】
2014160963.tif 000008
【図７】
2014160963.tif 000009
【図８】
2014160963.tif 000010
【図９】
2014160963.tif 000011
【図１０】
2014160963.tif 000012
【図１１】
2014160963.tif 000013
【図１２】
2014160963.tif 000014
【図１３】
2014160963.tif 000015
【図１４】
2014160963.tif 000016
【図１５】
2014160963.tif 000017
【図１６】
2014160963.tif 000018