(57)【要約】【課題】  位置情報を得ることができない撮影依頼では、撮影者を選ぶことができない。【解決手段】  被写体と位置が１対１に対応する被写体データベースを備え、撮影依頼に含まれる被写体で位置の検索が行えないものであれば、画像データベース内の画像を被写体で検索し、検索結果の画像に含まれる位置の情報から被写体の位置を１つ以上選択し、その位置の近傍の撮影装置へ撮影依頼を行う。【選択図】  図７
2013143750.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像と共にその被写体の位置のメタ情報を保持する画像保持手段と、
複数の撮影装置の位置を記憶する撮影装置位置記憶手段と、
画像の撮影依頼を受信する受信手段と、
前記画像保持手段に保持された画像と前記位置のメタ情報とを用いて、前記受信した撮影依頼の画像を撮影する撮影位置を決定する決定手段と、
前記決定された撮影位置と前記撮影装置位置記憶手段に記憶された撮影装置の位置とに基づいて、撮影装置を選択する選択手段と、
前記選択された撮影装置に撮影依頼を送信する送信手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記選択手段で選択された撮影装置の位置が、前記決定手段で決定された撮影位置から所定距離以上離れていた場合、撮影依頼の結果として前記撮影依頼をした端末に前記画像保持手段に保持された画像を提供する提供手段を更に備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
複数の画像と共にその被写体の位置のメタ情報を保持手段に保持する工程と、
複数の撮影装置の位置を記憶手段に記憶する工程と、
画像の撮影依頼を受信する受信工程と、
前記保持手段に保持された画像と前記位置のメタ情報とを用いて、前記受信した撮影依頼の画像を撮影する撮影位置を決定する決定工程と、
前記決定された撮影位置と前記記憶手段に記憶された撮影装置の位置とに基づいて、撮影装置を選択する選択工程と、
前記選択された撮影装置に撮影依頼を送信する送信工程と、を備えることを特徴とする画像処理方法。
【請求項４】
コンピュータを、
複数の画像と共にその被写体の位置のメタ情報を保持する画像保持手段と、
複数の撮影装置の位置を記憶する撮影装置位置記憶手段と、
画像の撮影依頼を受信する受信手段と、
前記画像保持手段に保持された画像と前記位置のメタ情報とを用いて、前記受信した撮影依頼の画像を撮影する撮影位置を決定する決定手段と、
前記決定された撮影位置と前記撮影装置位置記憶手段に記憶された撮影装置の位置とに基づいて、撮影装置を選択する選択手段と、
前記選択された撮影装置に撮影依頼を送信する送信手段と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の撮影依頼によって撮影装置を選び撮影装置からの画像を依頼元に送る技術に関するものである。
【背景技術】
【０００２】
ショートメッセージのつぶやきによるユーザ間のコミュニケーションを図るシステムがあり、このシステムと連動してデジタルカメラや撮影機能付きの携帯電話を使って撮影された写真をコミュニケーションの付加情報として表示することも可能となっている。画像の流通システムとして、ユーザが被写体と撮影場所をユーザが使用中の端末上に表示した地図から指定するか地名などを入力して決定し撮影依頼とするものがある。（特許文献１）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１７８３１
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザが意図的に発信したつぶやきやユーザが使用中の端末で見ている情報や聞いている音楽などを無意識なつぶやきとして発信することによって、そのつぶやきへの応答として関連する画像を提示するシステムを構築する。つぶやきに関連する被写体を撮影した現在の画像を提示することをきっかけとしてユーザと別のユーザである撮影者とのコミュニケーションを促進したい。このためにユーザのつぶやきを撮影依頼として扱い、つぶやきの内容から被写体を決定し、被写体を撮影可能な撮影装置に対して撮影依頼を送信し、撮影装置からの応答をユーザが使用中の端末に返信し、端末にある表示装置上に表示する画像の流通システムが必要となる。
【０００５】
地図や地名から位置情報を得ることができない撮影依頼では、撮影者を選ぶことができない。例えば「日の出」や「夕日」などの自然現象や「桜」や「馬」などの動植物は、撮影可能な位置が多数存在する。ユーザが被写体の撮影できる場所を知っていれば「弘前城の桜」のように位置情報に変換可能な撮影依頼を出すこともできるが、ただ「桜」の写真が必要である場合もある。また、ユーザが撮影可能な場所を知らない場合もあるため、撮影場所を指定することなく被写体を撮影可能な撮影装置に撮影依頼を出したい。
【０００６】
本発明は、上記の問題点に鑑みてなされたものであり、サーバ装置側で撮影装置を選択することにより、維持情報が付加されていない撮影依頼から適切な画像を得ることを目的とする。
【課題を解決するための手段】
【０００７】
上述の問題点を解決するため、本発明の画像処理装置は以下の構成を備える。即ち、複数の画像と共にその被写体の位置のメタ情報を保持する画像保持手段と、複数の撮影装置の位置を記憶する撮影装置位置記憶手段と、画像の撮影依頼を受信する受信手段と、前記画像保持手段に保持された画像と前記位置のメタ情報とを用いて、前記受信した撮影依頼の画像を撮影する撮影位置を決定する決定手段と、前記決定された撮影位置と前記撮影装置位置記憶手段に記憶された撮影装置の位置とに基づいて、撮影装置を選択する選択手段と、前記選択された撮影装置に撮影依頼を送信する送信手段。
【発明の効果】
【０００８】
本発明によれば、少なくとも撮影対象となる被写体が特定できる撮影依頼をサーバ装置に送ることによって、サーバ装置側で撮影可能な撮影装置を選択することができるため、位置情報が付加されていない撮影依頼によって求める画像を得ることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の機能構成図
【図２】撮影装置に表示される表示例
【図３】サーバ装置の撮影依頼処理フロー
【図４】サーバ装置の撮影依頼処理フロー（過去）
【図５】サーバ装置の撮影依頼処理フロー（未来）
【図６】撮影装置の探索範囲決定
【図７】サーバ装置の撮影依頼処理フロー（現在または関係ない）
【発明を実施するための形態】
【００１０】
［実施形態１］
図１は本情報処理システムを構築するユーザ装置、サーバ装置、撮影装置の機能構成図である。
【００１１】
図１（Ａ）は、ユーザ装置の機能構成図である。操作部１０３は、ディスプレイ装置や操作キーを持つ操作部であり、ユーザ装置の操作を行う部分である。撮影依頼生成部１０２は、サーバ装置に送る撮影依頼を生成する。操作部１０３によるユーザの操作によって直接的に撮影依頼の情報を生成することもあれば、操作部１０３にあるディスプレイ装置に表示されている情報をもとに撮影依頼を生成する。例えば、「桜が満開になった」というニュースを参照中であれば、桜の撮影依頼を生成するなどの処理を行う。通信部１０１は、有線または無線の通信処理を行う部分であり、サーバ装置への撮影依頼の送信や依頼への応答を受信する。画像記憶１０４は、受信した画像データを記憶する。
【００１２】
図１（Ｂ）は、サーバ装置の機能構成図である。通信部１０５は、インターネットに接続するための通信部であり、ユーザ装置・撮影装置との通信を行う。撮影依頼解析部１０６は、ユーザ装置から送られてきた撮影依頼の解析を行う。処理の詳細は後述する。撮影装置位置記憶１０７は、通信部１０５で受信した撮影装置の位置情報を記憶する部分である。現在位置だけではなく、一定期間の撮影装置の位置情報を記憶しておく。画像ＤＢ１０８は、サーバ装置に蓄積されている画像データベースである。被写体ＤＢ１０９は、地名・建物名などの座標情報と１対１に対応付けられる被写体のデータベースである。検索部１１０は、画像ＤＢや被写体ＤＢの検索を行う。
【００１３】
図１（Ｃ）は、撮影装置の機能構成図である。撮影装置は、操作部１２０によって撮影者から操作され、撮影操作などが行われる。操作部１２０には、画像や各種撮影情報を表示するディスプレイと撮影者が操作を行う操作キーなどを備えている。撮影操作において撮影部１１１から入力される画像をリアルタイムに表示する機能も備えている。撮影操作においては、撮影部１１１から入力されたフレーム画像を画像処理部１１２がさまざまな画像処理を行い、コーデック１１３によってエンコードされ、画像記憶１１４にファイルとして記憶する。
【００１４】
撮影装置は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）による装置の位置を検出する位置検出部１１５と電子コンパスとジャイロセンサーによる撮影方向を検出する撮影方向検出部１１８を有し、撮影時点での撮影装置の位置情報と撮影方向を撮影された画像データにメタ情報として付与する。また撮影部１１１から得られる撮影装置の画角、焦点距離の情報もメタ情報として付与する。通信部１１７は、有線または無線の通信を行う部分である。位置検出部１１５が検出した撮影装置の位置をサーバ装置へ通知、サーバ装置から撮影依頼を受信、サーバ装置へ撮影結果を送信する処理を行う。撮影依頼記憶１１９は、通信部１１７で受信した撮影依頼の情報を記憶する部分である。検出・認識処理部１１６は、位置検出部１１５が検出した現在の撮影装置の位置と撮影方向検出部１１８が検出した撮影方向、撮影部１１１が検出した画角の情報と撮影依頼に含まれる被写体の位置情報により撮影方向に被写体があるかどうかを認識する。
【００１５】
この時、操作部１２０のディスプレイに表示する画像に被写体の位置や距離を図２（Ａ）に示すように表示する。被写体の位置は、図２（Ｂ）に示すように撮影装置の位置座標２０１と被写体位置座標２０４から被写体と撮影装置の距離２０５を計算する。また撮影方向２０２と画角２０３から被写体が撮影可能な範囲に含まれているか判断する。
【００１６】
ユーザ装置が撮影依頼をサーバ装置に送信することをトリガーとして一連の処理が行われる。ユーザ装置では、撮影依頼の送信後はサーバ装置からの画像の受信待ちの状態となる。
【００１７】
サーバ装置がリクエストを受信した時の処理手順を図３から図７のフローチャートを使い説明する。これらのフローチャートは、ＣＰＵが制御プログラムを実行することにより実現される。まず、ステップＳ３０１でユーザ端末から受信したリクエストから時刻に関する情報を抽出する。この時に「過去」、「未来」、「現在または関係なし」の３つに分類する。過去の日付が付いたリクエストは「過去」と分類しステップＳ３０２へ、未来の日付が付いたリクエストは「未来」と分類しステップＳ３０３へ、現在進行中のイベントや時間に関係のないリクエストは「現在または関係なし」と分類しステップＳ３０４へ処理を進める。ステップＳ３０２は過去と分類された場合の処理を行うステップである。ステップＳ３０３は未来と分類された場合の処理を行うステップである。ステップＳ３０４は現在または関係なしと分類された場合の処理を行うステップである。ステップＳ３０２、ステップＳ３０３、ステップＳ３０４の各ステップの詳細は図４〜６を用いて説明する。
【００１８】
図４は過去と分類されたリクエストの処理の詳細フローである。ステップＳ４０１は、リクエストから被写体に関する情報を抽出するステップである。ユーザ装置から送られてきたリクエストが「ニュース、上野の桜が満開になった」であった場合、被写体となるものの情報をこの文字列から抽出する。例えば形態素解析によって「ニュース」「上野」「桜」などの名詞を抽出し、その中から被写体となる単語を選択する。この場合は「桜」を被写体として選択する。ステップＳ４０２は抽出された被写体情報を使って画像を検索するステップである。図１（Ｂ）中の検索部１１０において画像ＤＢ１０８にある画像検索を行う。あらかじめメタ情報として被写体に関する情報が付与されており、そのメタ情報を検索することで画像の抽出を行う。ステップＳ４０３はステップＳ４０２で抽出された画像数によって処理を分岐するステップである。０より大きい画像数であればステップＳ４０４へ処理を進め、０であればユーザへ送信する画像が無いため現在撮影可能であるかどうかを判断するためにステップＳ４０５へ処理を進める。ステップＳ４０４は検索された画像をユーザへ送信するステップである。検索結果の画像をユーザ装置に送信し処理を終了する。
【００１９】
ステップＳ４０５は、被写体情報から被写体ＤＢ１０９を検索して位置情報に変換できるかどうかを判断するステップである。図１（Ｂ）中の検索部１１０において被写体ＤＢ１０９を検索し位置情報を得られるか試みる。位置情報が得られればステップＳ４０６へ進み、位置情報が得られなければ処理を終了する。ステップＳ４０６は、撮影装置の位置情報記憶の位置更新時刻から一定の期間内に位置の更新があった装置を選び出すステップである。図１（Ｂ）中の撮影装置位置記憶１０７にある位置情報の最新の更新時刻から現在撮影可能な撮影装置の抽出を行う。例えば１時間以内に更新があった撮影装置のみを抽出する。抽出された撮影装置が０より大きければステップＳ４０７へ進み、０であれば処理を終了する。ステップＳ４０７は抽出された撮影装置でループ処理をするステップである。ステップＳ４０８は各撮影装置の位置とステップＳ４０５で得られた被写体の位置の距離を計算するステップである。ステップＳ４０９は撮影装置の処理ループの終端である。ステップＳ４１０はステップＳ４０８で計算された各撮影装置と被写体の距離によって現在撮影可能な撮影装置を抽出するステップである。
【００２０】
例えば距離が１ｋｍ以内にあれば撮影可能であると判断する。撮影可能な撮影装置数が０より大きければ、ステップＳ４１１へ進み、０であれば画像もなく撮影可能な撮影装置もない状態となり処理を終了する。ステップＳ４１１は、撮影装置へ撮影依頼を送信するステップである。撮影依頼には被写体の位置を含む被写体情報が含まれる。以上の処理によって過去と分類されたリクエストの処理が行われ、画像ＤＢにあればその画像がユーザへ送られ、無ければ撮影可能な撮影装置へ現在の画像の撮影依頼が送られることになる。
【００２１】
図５は未来と分類されたリクエストの処理手順の詳細フローである。ステップＳ５０１は、リクエストから被写体に関する情報を抽出するステップである。図４のステップＳ４０１と同様の処理が行われる。ステップＳ５０２は、撮影依頼を送信する撮影装置の探索範囲を決定するステップである。検索部１１０において被写体ＤＢ１０９を検索し位置情報を得られるか試みる。位置が得られた場合、図６（Ａ）のように東西、南北ともに３０秒単位に分割した空間に検索された位置をプロットし、その周囲８個の空間を含めた合計９個の空間を撮影装置の探索範囲とする。被写体ＤＢから位置が得られなかった場合は、検索部１１０において画像ＤＢ１０８にある画像検索を行う。画像ＤＢ１０８にある画像には、あらかじめ被写体に関する情報がメタ情報として付与されており、このメタ情報とユーザ装置から送られてきた被写体情報が一致するものを検索結果として取り出す。検索された画像から位置情報を取り出し、図６（Ｂ）のように東西、南北ともに３０秒の空間を１つのビンとしてヒストグラムを作成する。頻度の高い領域を複数選択し、その周囲８個の領域を含めて撮影装置の探索範囲とすると図６（Ｃ）のような空間が探索範囲となる。ここでは３０秒を１つのビンの単位としているが、１分でも１０秒でも良い。また緯度が高くなるに従って１つのビンの面積が小さくなっていくため、緯度に応じてビンの分割方法を調整しても良い。
【００２２】
これら処理によって撮影装置の探索範囲が得られるとステップＳ５０３へ進み、得られなければ処理を終了する。ステップＳ５０３は、撮影依頼を送信する撮影装置を選択するステップである。撮影装置位置記憶１０７にある各撮影装置の位置情報の履歴を参照し、例えば１ヶ月間のような一定の期間内にステップＳ５０２で得られた探索範囲内に存在していた撮影装置を取り出す。０より大きい数の撮影装置が取り出すことができれば、ステップＳ５０４へ進み、０であれば処理を終了する。ステップＳ５０４は取り出された撮影装置に対して撮影依頼を送信するステップである。以上の処理によって、未来と分類されたリクエストの処理が行われ、選ばれた撮影装置に撮影依頼が送られることになる。撮影依頼には、少なくとも撮影対象となる被写体の情報、被写体の位置、撮影時刻の情報が含まれる。
【００２３】
図７は現在または関係なしと分類されたリクエストの処理の詳細フローである。ステップＳ７０１は、リクエストから被写体に関する情報を抽出するステップである。図４のステップＳ４０１と同様の処理が行われる。ステップＳ７０２は、被写体情報から被写体ＤＢ１０９を検索して位置情報に変換できるかどうかを判断するステップである。図４のステップＳ４０５と同等の処理が行われる。位置情報が得られればステップＳ７０３へ進み、位置情報が得られなければステップＳ７１２へ進む。
【００２４】
ステップＳ７０３は、撮影装置の位置情報記憶の位置更新時刻から一定の期間内に位置の更新があった装置を選び出すステップである。図４中のステップＳ４０６と同等の処理が行われ、抽出された撮影装置が０より大きければステップＳ７０４へ進み、０であればステップＳ７０９へ進む。
【００２５】
ステップＳ７０４は抽出された撮影装置でループ処理をするステップである。ステップＳ７０５は各撮影装置の位置とステップＳ７０２で得られた被写体の位置の距離を計算するステップである。ステップＳ７０６は撮影装置の処理ループの終端である。ステップＳ７０７はステップＳ７０５で計算された各撮影装置と被写体の距離によって現在撮影可能な撮影装置を抽出するステップである。図４中のステップＳ４０６と同等の処理が行われ、撮影可能な撮影装置数が０より大きければ、ステップＳ７０８へ進み、０であればステップＳ７０９へ進む。
【００２６】
ステップＳ７０８は、撮影装置へ撮影依頼を送信するステップである。ステップＳ４１１と同等の処理を行い終了する。
【００２７】
ステップＳ７０９は、ステップＳ７０１で抽出された被写体情報を使って画像を検索するステップである。図４中のステップＳ４０２と同等の処理が行われる。ステップＳ７１０は、ステップＳ７０９で抽出された画像数によって処理を分岐するステップである。０より大きい画像数であればステップＳ７１１へ処理を進め、０であれば処理を終了する。
【００２８】
ステップＳ７１１は、検索された画像をユーザへ送信するステップである。検索結果の画像をユーザ装置に送信し処理を終了する。ステップＳ７１２は、ステップＳ７０１で抽出された被写体情報を使って画像を検索するステップである。図４中のステップＳ４０２と同等の処理が行われる。
【００２９】
ステップＳ７１３は、ステップＳ７１２で抽出された画像数によって処理を分岐するステップである。０より大きい画像数であればステップＳ７１４へ処理を進め、０であれば処理を終了する。
【００３０】
ステップＳ７１４は、撮影装置の位置情報記憶の位置更新時刻から一定の期間内に位置の更新があった装置を選び出すステップである。図４中のステップＳ４０６と同等の処理が行われ、抽出された撮影装置が０より大きければステップＳ７１５へ進み、０であればステップＳ７２０へ進む。
【００３１】
ステップＳ７１５は抽出された撮影装置でループ処理をするステップである。ステップＳ７１６は各撮影装置の位置とステップＳ７１３で得られた画像から抽出される位置との距離を計算し撮影装置の周辺に存在する画像をカウントするステップである。距離が１ｋｍ以内を近くに存在している範囲として画像数をカウントする。
【００３２】
ステップＳ７１７は撮影装置の処理ループの終端である。ステップＳ７１８は、ステップＳ７１６でカウントされた画像数が０より大きい撮影装置数によって処理を分岐するステップである。画像数が０より大きい撮影装置があれば、ステップＳ７１９へ進み、なければステップＳ７２０へ進む。
【００３３】
ステップＳ７１９は、撮影装置へ撮影依頼を送信するステップである。撮影依頼を送信する先の撮影装置が多い場合は、この中で絞り込む操作を行ってもよい。例えば、周辺に存在する検索画像数の大きいものから順番に一定数の装置にのみに撮影依頼を送る。
【００３４】
ステップＳ７２０は、検索画像をユーザ装置へ送信するステップである。以上の処理によって現在または関係なしと分類されたリクエストの処理が行われ、撮影依頼が送信可能である場合は撮影装置に撮影依頼が送られ、送信不可能な場合は画像ＤＢに蓄積された画像から撮影依頼に関連する画像がユーザ装置へ送信される。
【００３５】
撮影装置で行われる処理としては、サーバ装置から受信した撮影依頼を元に撮影者が撮影操作を行って１つ以上の画像を生成する。プレビュー画面などで撮影結果を確認後に送信する画像を選択してサーバ装置に画像を送信する。
【００３６】
また、サーバ装置で行われる処理として、撮影装置から受信した画像をユーザ装置へ送信する処理がある。撮影装置から受信した画像データと共に撮影依頼と関連付けられた画像を、その撮影依頼を送信したユーザ装置へ転送する。
【００３７】
以上の処理によって、ユーザ装置が少なくとも撮影対象となる被写体を特定できる撮影依頼をサーバ装置に送ることによって、サーバ装置側で被写体の位置と撮影可能な撮影装置を選択し撮影依頼を送ることができるため、ユーザは撮影位置に関係のない被写体や撮影位置が解らない撮影依頼をすることが可能となる。
【符号の説明】
【００３８】
１０１  ユーザ装置の通信部
１０２  ユーザ装置の撮影依頼生成部
１０３  ユーザ装置の操作部
１０４  ユーザ装置の画像記憶
１０５  サーバ装置の通信部
１０６  サーバ装置の撮影依頼解析部
１０７  サーバ装置の撮影装置位置記憶
１０８  サーバ装置の画像ＤＢ
１０９  サーバ装置の被写体ＤＢ
１１０  サーバ装置の検索部
１１１  撮影装置の撮影部
１１２  撮影装置の画像処理部
１１３  撮影装置のコーデック
１１４  撮影装置の画像記憶
１１５  撮影装置の位置検出部
１１６  撮影装置の検出・認識処理部
１１７  撮影装置の通信部
１１８  撮影装置の撮影方向検出部
１１９  撮影装置の撮影依頼記憶
１２０  撮影装置の操作部
２０１  撮影装置位置座標
２０２  撮影方向
２０３  画角
２０４  被写体座標
２０５  距離
【図１】
2013143750.tif 000003
【図２】
2013143750.tif 000004
【図３】
2013143750.tif 000005
【図４】
2013143750.tif 000006
【図５】
2013143750.tif 000007
【図６】
2013143750.tif 000008
【図７】
2013143750.tif 000009