(57)【要約】【課題】コンテンツファイルのメタデータがない場合であっても、そのときのコンテンツファイルのメタデータを把握させることができるサーバ、表示方法、作成方法およびプログラムを提供する。【解決手段】第２のサーバ４０は、複数の画像ファイルの各々に含まれる画像データに関連した撮影条件情報を記録するデータベースと通信する通信部４１と、クライアント端末を経由して指定された指定画像データと、データベースに記録された画像との類似性とに基づいて、指定画像データに関連する関連メタデータを推論する推論部４２と、を備える。【選択図】図５
2020194472.tif 000002
【特許請求の範囲】
【請求項１】
サーバは以下を備える。
複数の画像ファイルの各々に含まれる画像データに関連した撮影条件情報を記録するデータベースと通信する通信部と、
クライアント端末を経由して指定された指定画像データと、前記データベースに記録された画像との類似性とに基づいて、前記指定画像データに関連する関連メタデータを推論する推論部。
【請求項２】
請求項１に記載のサーバであって、
前記推論部によって推論された関連メタデータと前記指定画像データに付与されたメタデータの比較に基づいて、前記指定画像データのメタデータとして付与された撮影条件情報の不足または矛盾を判定する判定部をさらに備える。
【請求項３】
請求項２に記載のサーバであって、
前記不足または矛盾するメタデータを識別可能にクライアント端末に表示させる表示制御部をさらに備える。
【請求項４】
請求項２または３に記載のサーバであって、
前記推論部は、
前記データベースの複数の画像ファイルの各々に含まれる画像データのメタデータを教師データとし、入力を画像データとして出力が撮影条件情報となる確率を所定の値以上なるように学習した推論モデルに従って、前記関連メタデータを推論する。
【請求項５】
請求項２〜４のいずれか一つに記載のサーバであって、
前記判定部は、
前記不足分情報を、プライバシー情報と非プライバシー情報とに分類して判定する。
【請求項６】
請求項２〜５のいずれか一つに記載のサーバであって、
前記関連メタデータに基づいて、シナリオを作成するシナリオ作成部をさらに備え、
前記表示制御部は、
前記クライアント端末に前記シナリオを表示させる。
【請求項７】
請求項２〜６のいずれか一つに記載のサーバであって、
前記推論部は、
前記関連メタデータに基づいて、前記影条件情報の不足分を補完した新メタデータを生成し、該新メタデータを前記指定画像データのメタデータとして復元する。
【請求項８】
サーバは以下の表示方法を行う。
複数の画像ファイルの各々に含まれる画像データに関連した撮影条件情報を記録するデータベースと通信し、
クライアント端末を経由して指定された指定画像データと、前記データベースに記録された画像との類似性とに基づいて、前記指定画像データに関連する関連メタデータを推論する。
【請求項９】
サーバは以下の作成方法を行う。
複数の画像データと、該複数の画像データに関連した、項目が異なる複数のメタデータを教師データとし、特定の画像データを入力としたときに、出力が前記項目ごとに正しいメタデータとなる確率を所定の値以上なるように学習した推論モデルを作成する。
【請求項１０】
請求項９に記載の作成方法であって、
前記画像データは、
項目ごとに整理さえた複数のメタデータを有し、
前記推論モデルは、
前記項目を分類し、かつ、前記項目ごとに入出力を設定した学習によって取得する。
【請求項１１】
サーバは以下の作成方法を行う。
複数の画像データと、該複数の画像データごとに精度が確認されているメタデータを組み合わせて教師データとし、特定の画像データと特定の画像用に精度が低いメタデータを入力としたときに、矛盾判定信号を出力する確率が所定の値以上となるように学習した推論モデルを作成する。
【請求項１２】
サーバは以下の作成方法を行う。
画像に関連したコンテンツを有する画像を選択し、
前記コンテンツを特定のメタデータの項目として分類し、
前記コンテンツを前記特定のメタデータとした時に、所定項目から不足する不足メタデータを推論によって補充する。
【請求項１３】
請求項１２に記載の作成方法であって、
ユーザのニーズを判定し、
前記ユーザのニーズの判定結果に従って前記メタデータを有する画像を検索し、
前記画像に関連するメタデータ群に従ってガイドを出力する。
【請求項１４】
請求項１３に記載の作成方法であって、
前記ガイドは、
ユーザの想定する行動より広い範囲を出力する。
【請求項１５】
サーバに以下のプログラムを実行させる。
複数の画像ファイルの各々に含まれる画像データに関連した撮影条件情報を記録するデータベースと通信させ、
クライアント端末を経由して指定された指定画像データと、前記データベースに記録された画像との類似性とに基づいて、前記指定画像データに関連する関連メタデータを推論させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ネットワークを経由して画像データから削除されたメタデータを復元するサーバ、表示方法、作成方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、撮像装置等では、撮影された画像ファイルを、携帯電話等の端末からＷｅｂサーバにアップロードすることによって登録し、アップロードした画像ファイルを含む複数のコンテンツファイルをネットワーク経由で知人の端末でダウンロード可能とすることで、知人等に公開することが行われている。
【０００３】
また、画像ファイル等のコンテンツファイルをＷｅｂサーバ上にアップロードする際の技術として、コンテンツファイルのアップロードを短時間に効率よく行う技術が知られている（例えば特許文献１参照）。この技術では、コンテンツファイルをＷｅｂサーバへ送信する際に、先行してコンテンツファイルのメタデータを送信し、この先行して送信したメタデータ部と、Ｗｅｂサーバで登録済みの複数のコンテンツデータの各々のメタデータ部とが一致するか否かを判定し、一致しないと判定された後に送信されてくるコンテンツファイルのコンテンツデータ部と先行して送信されたメタデータ部とを結合することによってコンテンツファイルを復元する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１２６６１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年では、プライバシーの保護の観点からコンテンツファイルをＷｅｂサーバへ送信する場合、コンテンツファイルのメタデータの一部を削除した状態で送信を行っている。しかしながら、上述した特許文献１では、メタデータの不足など問題がある時の対策がなんら考量されていない。
【０００６】
本開示は、上記に鑑みてなされたものであって、コンテンツファイルのメタデータに問題がある場合であっても、そのときのコンテンツファイルのメタデータなどの有効情報を把握させることができるサーバ、表示方法、作成方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本開示に係るサーバは、複数の画像ファイルの各々に含まれる画像データに関連した撮影条件情報を記録するデータベースと通信する通信部と、クライアント端末を経由して指定された指定画像データと、前記データベースに記録された画像との類似性とに基づいて、前記指定画像データに関連する関連メタデータを推論する推論部と、を備える。
【０００８】
また、本開示に係るサーバは、上記開示において、前記推論部によって推論された関連メタデータと前記指定画像データに付与されたメタデータの比較に基づいて、前記指定画像データのメタデータとして付与された撮影条件情報の不足または矛盾を判定する判定部をさらに備える。
【０００９】
また、本開示に係るサーバは、上記開示において、前記不足または矛盾するメタデータを識別可能にクライアント端末に表示させる表示制御部をさらに備える。
【００１０】
また、本開示に係るサーバは、上記開示において、前記推論部は、前記データベースの複数の画像ファイルの各々に含まれる画像データのメタデータを教師データとし、入力を画像データとして出力が撮影条件情報となる確率を所定の値以上なるように学習した推論モデルに従って、前記関連メタデータを推論する。なお、この「推論」は、必ずしも深層学習による推論エンジンなどを利用する必要はなく、ロジックベースの回路で行ってもよい。
【００１１】
また、本開示に係るサーバは、上記開示において、前記判定部は、前記不足分情報を、プライバシー情報と非プライバシー情報とに分類して判定する。
【００１２】
また、本開示に係るサーバは、上記開示において、前記関連メタデータに基づいて、シナリオを作成するシナリオ作成部をさらに備え、前記表示制御部は、前記クライアント端末に前記シナリオを表示させる。
【００１３】
また、本開示に係るサーバは、上記開示において、前記推論部は、前記関連メタデータに基づいて、前記影条件情報の不足分を補完した新メタデータを生成し、該新メタデータを前記指定画像データのメタデータとして復元する。
【００１４】
また、本開示に係る表示方法は、サーバが実行する表示方法であって、複数の画像ファイルの各々に含まれる画像データに関連した撮影条件情報（撮影パラメータのみならず、撮影環境、撮影者や被写体、対象物などの情報も含むものとする）を記録するデータベースと通信し、クライアント端末を経由して指定された指定画像データと、前記データベースに記録された画像との類似性とに基づいて、前記指定画像データに関連する関連メタデータを推論する。
【００１５】
また、本開示に係る作成方法は、サーバが実行する作成方法であって、複数の画像データと、該複数の画像データに関連した、項目が異なる複数のメタデータを教師データとし、特定の画像データを入力としたときに、出力が前記項目ごとに正しいメタデータとなる確率を所定の値以上なるように学習した推論モデルを作成する。
【００１６】
また、本開示に係る作成方法は、上記開示において、前記画像データは、項目ごとに整理さえた複数のメタデータを有し、前記推論モデルは、前記項目を分類し、かつ、前記項目ごとに入出力を設定した学習によって取得する。
【００１７】
また、本開示に係る作成方法は、サーバが実行する作成方法であって、複数の画像データと、該複数の画像データごとに精度が確認されているメタデータを組み合わせて教師データとし、特定の画像データと特定の画像用に精度が低いメタデータを入力としたときに、矛盾判定信号を出力する確率が所定の値以上となるように学習した推論モデルを作成する。
【００１８】
また、本開示に係る作成方法は、サーバが実行する作成方法であって、画像に関連したコンテンツを有する画像を選択し、前記コンテンツを特定のメタデータの項目として分類し、前記コンテンツを前記特定のメタデータとした時に、所定項目から不足する不足メタデータを推論によって補充する。
【００１９】
また、本開示に係る作成方法は、上記開示において、ユーザのニーズを判定し、前記ユーザのニーズの判定結果に従って前記メタデータを有する画像を検索し、前記画像に関連するメタデータ群に従ってガイドを出力する。
【００２０】
また、本開示に係る作成方法は、上記開示において、前記ガイドは、ユーザの想定する行動より広い範囲を出力する。
【００２１】
また、本開示に係るプログラムは、サーバに実行させるプログラムであって、複数の画像ファイルの各々に含まれる画像データに関連した撮影条件情報を記録するデータベースと通信させ、クライアント端末を経由して指定された指定画像データと、前記データベースに記録された画像との類似性とに基づいて、前記指定画像データに関連する関連メタデータを推論させる。
【発明の効果】
【００２２】
本発明によれば、コンテンツファイルのメタデータなどがない場合であっても、そのときのコンテンツファイルのメタデータなど補助情報を把握させることができるという効果を奏する。
【図面の簡単な説明】
【００２３】
【図１】図１は、一実施の形態に係る情報システムの概要を示す模式図である。
【図２】図２は、一実施の形態に係る端末装置の機能構成を示すブロック図である。
【図３】図３は、一実施の形態に係る第１のサーバの機能構成を示すブロック図である。
【図４】図４は、一実施の形態に係るデータベースサーバの機能構成を示すブロック図である。
【図５】図５は、一実施の形態に係る第２のサーバの機能構成を示すブロック図である。
【図６】図６は、一実施の形態に係る端末装置が実行する処理の概要を示すフローチャートである。
【図７】図７は、図６の撮影モード処理の概要を示すフローチャートである。
【図８】図８は、図６の画像鑑賞モード処理の概要を示すフローチャートである。
【図９】図９は、一実施の形態に係る第１のサーバが実行する処理の概要を示すフローチャートである。
【図１０】図１０は、一実施の形態に係る第２のサーバが実行する処理の概要を示すフローチャートである。
【図１１】図１１は、図１０の画像ＳＮＳ処理の概要を示すフローチャートである。
【図１２】図１２は、図１１のメタデータ確認処理の概要を示すフローチャートである。
【図１３】図１３は、図１２の判定処理の詳細を示すフローチャートである。
【図１４】図１４は、一実施の形態に係る推論部が推論モデルを用いて推論を行う際の概要を模式的に示す図である。
【図１５】図１５は、図１０の確認処理の概要を示すフローチャートである。
【図１６】図１６は、一実施の形態の変形例に係る情報システムの概略構成を模式的に示す図である。
【図１７】図１７は、一実施の形態の変形例に係る用語を補足するための図である。
【発明を実施するための形態】
【００２４】
以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものではない。さらに、以下の説明では、端末装置の一例として携帯電話や撮像装置を例に説明するが、携帯電話および撮像装置以外にも、アクションカム、カムコーダ、タブレット型端末装置およびパーソナルコンピュータ等を適用することができる。さらに、端末装置の一例として、撮影機能付きＩＣレコーダ、ビデオマイクロスコープや生物顕微鏡等の顕微鏡、工業用または医療用の内視鏡、超音波スコープおよび電気メス等処置具であっても適用することができる。
【００２５】
〔情報システムの概要〕
図１は、一実施の形態に係る情報システムの概要を示す模式図である。
図１に示す情報システム１は、ユーザが所有するクライアント端末として機能する端末装置１０と、端末装置１０から投稿された画像ファイルを他のユーザに閲覧可能に表示する第１のサーバ２０と、複数の画像ファイルの各々に含まれる画像データに関連した撮影条件情報を記録するデータベースを有するデータベースサーバ３０と、ユーザが投稿または送信した画像ファイルのメタデータを推論する第２のサーバ４０と、を備える。端末装置１０、第１のサーバ２０、データベースサーバ３０および第２のサーバ４０は、ネットワークＮ１００を経由して所定の通信規格に従って双方向に通信することができる。なお、図１では、説明を簡略化するため、端末装置１０、第１のサーバ２０、データベースサーバ３０および第２のサーバ４０を１つで説明するが、例えば、端末装置１０やデータベースサーバ３０を複数設けてもよい。
【００２６】
〔端末装置の構成〕
まず、端末装置１０の構成について説明する。
図２は、端末装置１０の機能構成を示すブロック図である。
図２に示す端末装置１０は、デジタルカメラやスマートフォン等であり、専用の撮像機能を備えた装置を想定する。
【００２７】
端末装置１０は、図２に示すように、撮像部１１と、時刻部１２と、位置情報取得部１３と、操作部１４と、通信部１５と、表示部１６と、記録部１７と、連携機器判定部１８と、端末制御部１９と、を備える。
【００２８】
撮像部１１は、端末制御部１９の制御のもと、被写体を撮像することによって画像データを生成し、この画像データを端末制御部１９へ出力する。撮像部１１は、光学系と、絞りと、シャッタと、撮像素子と、を有する。光学系は、１または複数のレンズを用いて構成される。光学系は、被写体の被写体像を撮像素子の受光面に結像する。撮像素子は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等のイメージセンサを用いて構成される。撮像素子は、光学系が結像した被写体像を受光することによって画像データを生成する。
【００２９】
時刻部１２は、計時機能を有する。そして、時刻部１２は、端末制御部１９の制御のもと、撮像部１１が生成した画像データのメタデータの一部として付記するための時刻情報を端末制御部１９へ出力する。時刻部１２は、例えばクロックジェネレータやタイミングジェネレータ等を用いて構成される。
【００３０】
位置情報取得部１３は、端末制御部１９の制御のもと、端末装置１０の位置に関する位置情報を取得し、取得した位置情報を端末制御部１９へ出力する。位置情報取得部１３は、ＧＰＳ（Global  Positioning  System）センサまたは取得センサ等を用いて構成される。ＧＰＳセンサは、ＧＰＳで構成される衛星からの時刻情報を受信する。取得センサは、Ｗｉ-Ｆｉ（Wireless  Fidelity）（登録商標）等の接続先情報または携帯電話等の基地局情報を取得する。
【００３１】
操作部１４は、端末装置１０に関する各種の操作の入力を受け付け、この受け付けた操作に応じた信号を端末制御部１９へ出力する。操作部１４は、タッチパネル、ボタン、スイッチおよびジョグダイヤル等を用いて構成される。なお、操作部１４に、ジャイロセンサや加速度センサを設け、タッチパネルやボタン等の操作ときにおける操作状態を検出し、この検出結果を端末制御部１９へ出力してもよい。もちろん、操作部１４に、音声入力することができるマイクを設け、このマイクが受け付けた音声によって端末装置１０の操作の入力を受け付けてもよい。
【００３２】
通信部１５は、端末制御部１９の制御のもと、ネットワークＮ１００を経由して外部の機器やサーバと双方向に通信し、各種情報および画像ファイル等を送信または受信する。通信部１５は、外部の機器やサーバとの間で通信に必要な信号を含む各種データの無線通信を所定のプロトコルに従って行う。通信部１５は、所定の通信モジュールを用いて構成される。この通信モジュールは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信方式、赤外線通信（IrDA（Infrared  Data  Association））方式、Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ（登録商標）通信方式、Ｗｉ-Ｆｉ通信方式、３Ｇ無線を利用した通信方式、４Ｇ無線を利用した通信方式、５Ｇ無線を利用した通信方式およびＷｉＭＡＸ（Worldwide  Interoperability  for  Microwave  Access）通信方式等のいずれかの通信方式が可能である。
【００３３】
表示部１６は、端末制御部１９の制御のもと、画像データに対応する画像または端末装置１０に関する各種情報を表示する。表示部１６は、有機ＥＬ（Electro  Luminescence）や液晶等の表示パネルを用いて構成される。
【００３４】
記録部１７は、端末装置１０に関する各種情報および画像データとメタデータとを格納した画像ファイルを記録する。記録部１７は、揮発性メモリ、不揮発性メモリおよびメモリカード等の記録媒体を用いて構成される。記録部１７は、少なくとも、プログラム記録部１７１と、画像ファイル記録部１７２と、を有する。プログラム記録部１７１は、端末装置１０が実行する各種のプログラムを記録する。画像ファイル記録部１７２は、複数の画像ファイルを記録する。
【００３５】
連携機器判定部１８は、端末装置１０に接続されるアクセサリを判定し、この判定結果を端末制御部１９に出力する。連携機器判定部１８は、アクセサリと双方向に通信することができる通信インターフェースモジュールを用いて構成される。ここで、アクセサリとは、交換レンズ、ストロボ等の補助光源、マイクロフォン等である。もちろん、アクセサリに三脚およびレリーズスイッチ等が含まれてもよい。また、端末装置１０に接続されるアクセサリには、種別を示す種別情報および機器を識別する識別情報等が含まれる。
【００３６】
端末制御部１９は、端末装置１０を構成する各部を制御する。端末制御部１９は、メモリと、ＣＰＵ（Central  Processing  Unit）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）およびＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアと、を有するプロセッサを用いて構成される。端末制御部１９は、操作判定部１９１と、パラメータ設定部１９２と、記録制御部１９３と、表示制御部１９４と、を有する。
【００３７】
操作判定部１９１は、ユーザが操作部１４に対して行った操作を判定する。例えば、操作判定部１９１は、ユーザが操作部１４に対して撮影操作、撮影モードを変更するモード変更操作等を行ったか否かを判定する。
【００３８】
パラメータ設定部１９２は、操作判定部１９１の判定結果に基づいて、端末装置１０の各種のパラメータを設定する制御を行う。例えば、パラメータ設定部１９２は、操作判定部１９１によって撮影パラメータ、例えば絞り値を変更する操作が行われたと判定された場合、操作部１４の操作に応じた絞り値に撮影パラメータを設定する制御を行う。
【００３９】
記録制御部１９３は、撮像部１１が生成した画像データと、この画像データに対して、撮影時の撮影パラメータ、日時情報、位置情報、端末装置１０を識別するための識別情報、端末装置１０のユーザのプライベートに関するプライバシー情報および端末装置１０のユーザ名や著作権の有無に関する個人情報をメタデータとして関連付けた画像ファイルデータを生成し、この画像ファイルデータを記録部１７に記録する。ここで、撮影パラメータには、撮像素子の種別、画素ピッチサイズ、欠陥画素情報、絞り値、シャッタースピード、ＩＳＯ感度、被写体情報、距離情報、輝度分布情報、撮影モード、ホワイトバランス情報、画像処理パラメータが含まれる。また、プライベート情報には、ユーザに関する個人名および端末装置１０を特定可能な電話番号やメールアドレス等が含まれる。
【００４０】
表示制御部１９４は、表示部１６の表示態様を制御する。表示制御部１９４は、撮像部１１が生成した画像データに対応するライブビュー画像を表示部１６に表示させる。さらに、表示制御部１９４は、ライブビュー画像上に端末装置１０の現在の撮影パラメータ等を重畳して表示部１６に表示させる。
【００４１】
〔第１のサーバの構成〕
次に、第１のサーバ２０の構成について説明する。
図３は、第１のサーバ２０の機能構成を示すブロック図である。
図３に示す第１のサーバ２０は、端末装置１０または外部機器（以下、端末装置１０または外部機器を含む機器を「クライアント端末」という）から送信された画像ファイルデータに格納された画像データを他のユーザに閲覧させるＳＮＳ（Social  Networking  Service）のサーバとして機能する。
【００４２】
第１のサーバ２０は、図３に示すように、通信部２１と、記録部２２と、第１のサーバ制御部２３と、を備える。
【００４３】
通信部２１は、第１のサーバ制御部２３の制御のもと、ネットワークＮ１００を経由してクライアント端末から送信された画像ファイルまたは要求信号を受信し、この画像ファイルまたは要求信号を第１のサーバ制御部２３へ出力する。ここで、要求信号とは、第１のサーバ２０に記録された画像ファイルの送信または閲覧を要求する信号である。また、通信部２１は、第１のサーバ制御部２３の制御のもと、第１のサーバ制御部２３から入力された画像ファイルまたは各種情報を、ネットワークＮ１００を介して第１のサーバ２０にアクセスした端末装置１０へ送信する。通信部２１は、所定の通信モジュールを用いて構成される。
【００４４】
記録部２２は、第１のサーバ２０が実行する各種プログラム、各種情報および画像ファイルを記録する。記録部２２は、ＨＤＤ（Hard  Disk  Drive）、ＳＳＤ（Solid  State  Drive）、揮発性メモリおよび不揮発性メモリ等を用いて構成される。記録部２２は、プログラム記録部２２１と、画像ファイル記録部２２２と、ユーザ情報記録部２２３と、を有する。プログラム記録部２２１は、第１のサーバ２０が実行する各種プログラムを記録する。画像ファイル記録部２２２は、通信部２１が外部の端末装置１０または外部機器から受信した複数の画像ファイルを記録する。なお、画像ファイル記録部２２２は、画像ファイル以外にも、音声データを格納した音声ファイル、動画データを格納した動画ファイル等を記録する。ユーザ情報記録部２２３は、端末装置１０のユーザのプロフィールを記録する。具体的には、ユーザ情報記録部２２３は、端末装置１０のユーザのプロフィールと、画像ファイル等のコンテンツの管理情報と、コンテンツの公開の範囲を示す範囲情報と、コンテンツの公開非公開の選択結果を示す設定情報と、を対応付けて記録する。ここで、ユーザのプロフィールとは、端末装置１０の機器アドレス、ユーザの生年月日、第１のサーバ２０によるＳＮＳを利用するためのパスワードおよび電話番号等である。
【００４５】
第１のサーバ制御部２３は、第１のサーバ２０を構成する各部を制御する。第１のサーバ制御部２３は、メモリと、ＣＰＵ、ＡＳＩＣおよびＦＰＧＡ等のハードウェアと、を有するプロセッサを用いて構成される。第１のサーバ制御部２３は、表示制御部２３１を有する。
【００４６】
表示制御部２３１は、通信部２１を経由してアクセスされたクライアント端末から入力された要求信号に応じて選択された画像ファイルを画像ファイル記録部２２２から検索する。そして、表示制御部２３１は、画像ファイル記録部２２２から検索した画像ファイルの画像データを、クライアント端末において表示可能な画像データに変換し、通信部２１を経由してアクセスされたクライアント端末へ送信することによって表示させる。なお、表示制御部２３１は、画像データだけでなく、音声データ、通信部２１を経由してテキストデータ等をクライアント端末へ送信する。
【００４７】
また、表示制御部２３１は、ユーザ情報記録部２２３が記録するユーザのプロフィールを参照し、通信部２１を経由してアクセスされたクライアント端末の機器アドレスに対応するユーザのプロフィールに応じた内容で、クライアント端末へ画像ファイル等を含むコンテンツデータを送信する。具体的には、表示制御部２３１は、通信部２１を経由してアクセスされた端末装置１０の機器アドレスに対応するユーザのプロフィールの範囲情報および設定情報に応じた内容、例えば閲覧可能な範囲を制限した状態でコンテンツデータをクライアント端末へ送信する。
【００４８】
なお、一実施の形態では、説明をわかりやすくするため、ＳＮＳ的にネットワークＮ１００を経由してクライアント端末（端末装置１０）が第２のサーバ４０へアクセスできるものを例示したが、これに限定されるわけではない。例えば、一実施の形態では、特定のネットワークでつながれたシステムで、何人かで内容を確認できるようなコンテンツを扱う記録機能に重きをおいたコンピュータやサーバであってもよい。
【００４９】
〔データベースサーバの構成〕
次に、データベースサーバ３０の構成について説明する。
図４は、データベースサーバ３０の機能構成を示すブロック図である。
図４に示すデータベースサーバ３０は、画像ファイルを含むコンテンツデータ等の管理に徹したサーバである。そして、データベースサーバ３０は、コミュニティなどによる情報公開ではなく、画像ファイルが持つ情報をそのまま記録することを専門としたサーバである。このため、データベースサーバ３０は、画像ファイルに関連して得られたメタデータを必要に応じて個人情報も含めて記録する。一実施の形態によれば、図４に示すデータベースサーバ３０を用意することによって、データベースサーバ３０に記録された複数の画像データのうち類似する画像データのメタデータを推論する後述の第２のサーバ４０が参照することができる。このように構成されたデータベースサーバ３０は、ネットワークＮ１００および通信部３１を経由してクライアント端末からアクセスすることができることを想定する。
【００５０】
データベースサーバ３０は、図４に示すように、通信部３１と、記録部３２と、データベース３３と、データベース制御部３４と、を有する。なお、データベースサーバ３０として表記した部分は、第２のサーバ４０と同一のサーバであってもよく、ここでの説明のように、分けて構成してもよい。
【００５１】
通信部３１は、データベース制御部３４の制御のもと、ネットワークＮ１００を経由してアクセスされたクライアント端末からの画像ファイルまたは要求信号を受信し、この画像ファイルまたは要求信号をデータベース制御部３４へ出力する。通信部３１は、所定の通信モジュールを用いて構成される。
【００５２】
記録部３２は、データベースサーバ３０が実行する各種のプログラムや処理中の情報を記録する。記録部３２は、ＨＤＤ、ＳＳＤ、揮発性メモリおよび不揮発性メモリ等を用いて構成される。記録部３２は、データベースサーバ３０が実行するプログラムを記録するプログラム記録部３２１を有する。
【００５３】
データベース３３は、複数の画像ファイルを記録する。具体的には、データベース３３は、画像ファイルＦ１、Ｆ２、・・・Ｆｎ（ｎ＝３以上の整数）を記録する。画像ファイルＦ１には、少なくとも、画像データＤ１と、メタデータＭ１と、が格納されている。また、メタデータＭ１には、少なくとも、個人を特定するための個人情報Ｍ１１と、撮影条件情報Ｍ１２とが含まれる。ここで、個人情報とは、個人が使用する端末装置１０を識別する機器情報、電話番号、生年月日、データベース３３にアクセスするためのＩＤ情報およびパスワード等が含まれる。また、撮影条件情報Ｍ１２には、少なくとも、画像データＤ１の撮影時の撮影パラメータ、撮影時の操作履歴、撮影時の位置情報、撮影時の時刻情報、主要被写体情報およびアクセサリ情報等が含まれる。
【００５４】
データベース制御部３４は、データベースサーバ３０を構成する各部を制御する。データベース制御部３４は、メモリと、ＣＰＵ、ＡＳＩＣおよびＦＰＧＡ等のハードウェアと、を有するプロセッサを用いて構成される。データベース制御部３４は、管理部３４１を有する。
【００５５】
管理部３４１は、データベース３３に対するアクセスを厳密に管理し、必要ないクライアント端末へのアクセスへの応答を禁止する。また、管理部３４１は、メタデータの中で個人情報に関連しそうな部分の取り扱いを、他の情報より守秘性を高めることによって管理する。個人情報に関連しそうな部分とは、肖像権やユーザの位置情報等である。
【００５６】
また、管理部３４１は、画像データがどこで撮影したという情報を、個人やその行動を特定しやすいとして個人情報的に公開に注意を要する場合、それを例えば、国単位の情報に変換するような提示の仕方を取るように管理してもよい。そして、管理部３４１は、時刻情報なども何時何分では何時という部分が明記されるので、何年の単位、十年の単位とか春夏秋冬のレベルまで粗くして個人特定がしにくいように変換して管理してもよい。
【００５７】
さらに、管理部３４１は、使用撮影機器の情報（機器情報）も撮像装置またはスマートフォンといった情報に変換したり、メーカー名までに変換したりすることによって、ユーザのプライバシーが気にならないレベルに変換して管理するようにしてもよい。例えば、当時の日本の風俗を研究する用途な等では、１９９０年代のある夏の日に、日本の携帯電話で撮影したというメタデータの情報から、個人を特定することは不可能であるが、十分な情報である場合があり、このようなレベルまで公開しないということは、せっかく撮影した写真や得た画像データの価値を下げることになるという考え方がある。このため、管理部３４１は、メタデータの各種情報を個人特定がしにくいように変換して管理する。
【００５８】
このように構成されたデータベースサーバ３０は、必要に応じて課金や特定のサービスと連携して運営を行うものであってもよい。なお、データベースサーバ３０は、撮影条件に対し、様々な推論ができるように、異なる複数のサービスのサーバが管理するデータベースであってもよい。この場合、データベースサーバ３０は、必ずしも画像データおよび画像ファイルの管理に徹したデータベースでなくともよい。この理由は、複数のデータベースサーバの各々が異なる考え方や運営方針、あるいはサービスの差異から、同様の画像に対しても異なるメタデータを持っている可能性があるからである。そして、その多様性では、それらを集積して使うことで、単独のデータベースサーバ以上にメタデータの内容を充足化することができる可能がある。
【００５９】
従って、一実施の形態では、ユーザが指定した画像データのメタデータの内容が不足する場合、その指定された画像データと比較するための参照画像データが複数のデータベースサーバで管理された画像データであって、これらの複数の画像データが異なるデータベースサーバに管理された画像データであれば、より多くの画像データのメタデータの関連情報を参考にすることができる。
【００６０】
〔第２のサーバの構成〕
次に、第２のサーバ４０（画像管理装置）の構成について説明する。
図５は、第２のサーバ４０の機能構成を示すブロック図である。
図５に示す第２のサーバ４０は、第１のサーバ２０およびデータベースサーバ３０等と連携してメタデータを推論して管理、復元および補完するサービスを行うサーバである。第２のサーバ４０は、通信部４１を経由してクライアント端末のアクセスを検出し、それに反応して、様々な画像に関するサービスを行う。サービスは、もっぱら、ユーザが指定した画像に対する注釈およびシナリオ等を提供することによって撮影をリアルタイムでガイドしたり、時間をおいてガイドしたりする提案を行うものである。つまり、第２のサーバ４０は、クライアント端末によって指定された画像の情報であるメタデータを、通信部４１を経由して受け取ると、その画像が有するメタデータの過不足を判定する。この過不足は、画像によって必要なものと、不要なものとに分かれる場合があるので、画像や関連情報を分類して判定する。例えば、第２のサーバ４０は、画像を見れば明らかに風景写真であるのに、風景であるという注釈の必要がないといった判定を行う。第２のサーバ４０は、特に画像を鑑賞したり研究したりするうえでないと鑑賞できないような情報を判定する。また、第２のサーバ４０は、その画像にメタデータがなくとも、後で検出して追記または補完できる項目を推論しながら追記、補完または復元できるように推論する機能を有する。ここで追記、補完または復元される情報としては、特に、画像を撮影した時の状況や条件などの情報である。
【００６１】
第２のサーバ４０は、図５に示すように、通信部４１と、推論部４２と、判定部４３と、シナリオ作成部４４と、操作判定部４５と、推論モデル４６と、記録部４７と、第２のサーバ制御部４８と、を備える。
【００６２】
通信部４１は、第２のサーバ制御部４８の制御のもと、ネットワークＮ１００を経由してアクセスされた端末装置１０または外部機器からの画像ファイルまたは要求信号を受信し、この画像ファイルまたは要求信号を第２のサーバ制御部４８へ出力する。通信部４１は、所定の通信モジュールを用いて構成される。
【００６３】
推論部４２は、複数の画像ファイルの各々に含まれる画像データに関連した撮影条件情報を記録するデータベースに含まれる画像と、クライアント端末を経由して指定された指定画像データのメタデータと、に基づいて、指定画像データに関連する関連メタデータを推論する。これは、類似の特徴を持つ画像は、画像としての特徴のみならず類似の撮影条件であるはずだという考えに基づいている。極端な例では、同じ撮影スポットで撮影した画像は、同様な風景が撮影される。紅葉の季節なら、同様に緑色から他の色に色が変わった画像が得られる。このような考えから、同じような撮影結果であれば、同じ場所、同じ季節といった情報が得られ、それをメタデータ化すればよい。比較して得られた結果は、メタデータ化して画像データに関連付けることによって、次回、それを見る人は、同様の比較をする必要がなく、見る人が余計な手間をかけることなく、もっと生産的な行動に移ることができる。このように、画面内の構図や色分布、対象物を判定する単純な類似画像の検索によって、そこに付せられているメタデータを参酌、照会、代用するような方法が単純である。このように、画像データを補足するメタデータは、画像を利用、鑑賞するときに参考にすることができるが、その画像の意味を事細かに書き連ねるのではなく、特定の規格で定められた複数の項目に、やはり規格化された表現で記載する事が合理的である。ここでは、メタデータとは、画像に関連する複数項目の情報として、画像同士での比較が容易になっているものを想定している。このような標準化、規格化の工夫によって、この写真は、シャッタースピードが１／１０００で、こちらは１／６０といった比較をして、自分が撮影する時の参考にすることが出来る。このように、メタデータは、独立した複数のデータを含み、一部のデータはお互いを補ったり要約したり、特定の記載条件を規定するような情報になっていてもよい。
【００６４】
前述のように、撮影された対象物がどうであるかを分析する方法以外にも、画面内の描写の特性の分析によって同様の事を行ってもよい。また、メタデータがついているもの同士の比較で類似性を判定することも可能で、メタデータが類似のもの（例えば、同じ撮像装置の機種、位置情報、季節情報など）を適宜、参照して、さらなる分析を行うなど様々な方法が適用可能である。例えば、レンズのボケ量から絞り値を推測する場合などは、同じ撮像素子サイズの撮像装置で比較した方が正確な情報が得られる。例えば、レンズに通信機能が付き、撮影時の撮影パラメータ情報が出力できる交換レンズを使って撮影した画像には、正確な絞り値情報がメタデータ化して付与できるが、そのような仕様ではない交換レンズを使って撮影した画像には、自動で、撮影時のパラメータ情報を検出してメタデータ化することが困難である。したがって、故意でなくとも、メタデータが欠落することはあり得る状況である。この時、実際に得られたメタデータでなくとも、類似の、あるいは関連性が高そうな関連メタデータが付されているとユーザにとって参考になる。また、上述のように、論理的な判断で、あるいはルールベースで類似画像からメタデータを判定する以外にも、深層学習などの方法で、画像の特徴からメタデータを復元することも可能である。この場合も、深層学習する時に、画像データを入力として出力をメタデータにした教師データ（これはデータベースから選ぶ）を利用すれば、クライアント端末を経由して指定された指定画像データと、上記データベースに記録された画像との類似性、に基づいて、前記指定画像データに関連する関連メタデータを推論することが可能である。このように、推論された関連メタデータは、撮影パラメータや撮影環境や撮影の条件、撮影者や被写体が特定しやすく、同じような撮影をする時に参考になり、画像の信頼性を補助する情報にもなる。
【００６５】
推論部４２は、推論モデル４６を用いて推論する。また、推論部４２は、関連メタデータに基づいて、影条件情報の不足分を補完した新メタデータを生成し、この新メタデータを指定画像データのメタデータとして復元する。推論部４２は、例えばメモリと、ＧＰＵ（Graphics  Processing  Unit）のハードウェアを用いて構成される。
【００６６】
この推論モデルは、例えば、深層学習によって得られたものでもよい。「深層学習（ディープ・ラーニング）」は、ニューラルネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラルネットワーク」が代表的なものである。これは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。そして、入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることで、論理ゲートの形成が容易である。簡単な判別なら３層でもよいが、中間層を多数にすれば、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。
【００６７】
近年では、９層〜１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの関係から実用的になっている。また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を伴い、最小限処理で動き、パターン認識に強い「畳み込み型ニューラルネットワーク」や、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラルネットワーク」（全結合リカレントニューラルネット）を利用してもよい。その他、教師あり学習を用いるパターン認識モデルとして、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルタ係数、オフセットを算出するもので、他には、ロジスティック回帰処理を利用する手法もある。
【００６８】
判定部４３は、関連メタデータに基づいて指定画像データのメタデータとして付与された撮影条件情報の不足分を判定する。また、判定部４３は、不足分情報を、プライバシー情報と非プライバシー情報とに分類して判定する。判定部４３は、メモリと、ＣＰＵやＧＰＵ等のハードウェアを用いて構成される。これらの技術の実現のためには、ＣＰＵやＦＰＧＡ（Field  Programmable  Gate  Array）といったこれまでの汎用的な演算処理回路などを使ってもよいが、ニューラルネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic  Processing  Unit）やＴＰＵ（Tensor  Processing  Unit）と呼ばれるものが利用される場合もある。近年ではこうした人工知能（ＡＩ）専用ハードの「ニューラルネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵなどその他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。
【００６９】
シナリオ作成部４４は、関連メタデータに基づいて、シナリオを作成する。シナリオ作成部４４は、メモリと、ＣＰＵやＧＰＵ等のハードウェアを用いて構成される。これがガイドを作成してもよい。例えば、ユーザが好きな画像を選択したりファインダーで捉えたりしたら、その画像の各メタデータに対して不足しているものがあれば、類似の画像から不足項目のメタデータを補完することによって、ガイドやシナリオを作成するために必要な全てのメタデータが揃った画像には、その画像がどのように撮られ、どのような活用結果が得られるかの文脈的な情報が入っているため、ユーザにガイドを提供することができる。
【００７０】
また、逆引き的に、ある場所に行く予定が立てられたらそこで撮るべき写真が紹介されるような使い方もできる。これには、撮影者や利用者の嗜好や行動パターンや現在の状況や予定などが反映された場合の方が、便利で有効なガイドになりうるので、こうした嗜好やプロフィールや予定などは、このサーバが管理できるようにしてもよい。これは、ユーザが利用登録時やアクセス時に入力できるようにしてもよいし、ユーザの持っているスマートフォンやウェアラブル端末と連携して、現在の居場所や状況を反映可能にしてもよい。過去の行動のパターンから、その人が現在、何をしたがっているかを推測するようなこともできる。こうしたユーザニーズ判定部が判定した結果に従ってリッチなメタデータを有する画像を検索し、上記画像に関連するメタデータ群に従ってガイドを出せばよい。画像を検索して表示すれば、ユーザは、どのようなガイドであるかを直感的に把握することが可能となるし、好みに合わない場合は、他の画像を選ぶといった選択が簡単に出来る。このガイドは、これまでの行動圏、行動範囲内などユーザの行動パターンの制限を広げるようなガイドであれば、そのユーザの可能性を広げる提案となり喜ばれる。例えば、ユーザが行ったことのない場所の画像やユーザが行ったことがあっても、行った時の時間帯とは異なる時間帯の風景であれば、こうしたガイドが可能となる。
【００７１】
つまり、ユーザの想定する行動より広い範囲をガイドするが、これは、その方が、ＳＮＳの評判が高い画像が撮影される可能性まで含めて判断すればよい。ＳＮＳの評判なども、メタデータとしておく。撮影前のライブビュー画像などからもユーザの状況を把握してガイドは出せる。まだ、撮影パラメータなどの設定が終わっておらず、ライブビュー画像に対応して生成されるメタデータ項目が不十分な状況でも補充して有効なガイドを出すことができる。
【００７２】
沢山の写真撮影経験があり、カメラの設定だけでなく、写真と撮りに行くまでの、機材購入から移動手段まで、幅広くガイドをしてくれ、尚且つユーザが成長できるように体験すべき苦労や失敗を経験させる「先生のような存在」のような、撮影のみならず、その他の行動を促すようなガイドを出すことが出来る。
【００７３】
操作判定部４５は、通信部４１を経由してクライアント端末からの操作を判定し、この判定結果を第２のサーバ制御部４８へ出力する。
【００７４】
推論モデル４６は、複数の画像ファイルの各々に含まれる画像データのメタデータと撮影条件情報とを教師データとして学習した学習結果を記録する。推論モデル４６は、例えばニューラルネットワークによる学習モデルを用いて構成される。推論モデル４６は、例えばＧＰＵやメモリ等のハードウェアを用いて構成される。これらの技術の実現のためには、ＣＰＵやＦＰＧＡといったこれまでの汎用的な演算処理回路などを使ってもよいが、ニューラルネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵやＴＰＵと呼ばれるものが利用される場合もある。近年ではこうした人工知能（ＡＩ）専用ハードの「ニューラルネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵなどその他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。
【００７５】
記録部４７は、第２のサーバ４０が実行する各種プログラムを記録するプログラム記録部４７１を有する。記録部４７は、各種情報および画像ファイルを記録する。記録部４７は、ＨＤＤ、ＳＳＤ、揮発性メモリおよび不揮発性メモリ等を用いて構成される。
【００７６】
第２のサーバ制御部４８は、第２のサーバ４０を構成する各部を制御する。第２のサーバ制御部４８は、メモリと、ＣＰＵ、ＡＳＩＣおよびＦＰＧＡ等のハードウェアと、を有するプロセッサを用いて構成される。第２のサーバ制御部４８は、表示制御部４８１を有する。
【００７７】
表示制御部４８１は、通信部４１を経由してアクセスされたクライアント端末に対して、指定画像に応じたメタデータの不足分に関する不足分情報をクライアント端末に表示させる。
【００７８】
このように構成された第２のサーバ４０は、第２のサーバ制御部４８が通信部４１からのクライアント端末（端末装置１０）からのアクセスを判定し、この判定結果に応じて、様々な画像データに関するサービスを行う。このサービスは、もっぱら、ユーザが指定した画像データに対する注釈を示すものである。つまり、第２のサーバ４０は、通信部４１を経由してユーザによって指定された画像データのメタデータを含む情報を受信した場合、判定部４３が画像データのメタデータの過不足を判定する。この過不足は、画像データによって必要なものと不要なものが分かれる場合がある。このため、判定部４３は、画像データや関連情報を分類して判定する。具体的には、判定部４３は、画像データが明らかに風景写真であるか否かを判定し、風景である判定した場合、注釈の必要がないといった判定を行う。判定部４３は、特に画像データを鑑賞したり、研究したりするうえでないと鑑賞できないような情報を判定する。
【００７９】
また、第２のサーバ４０は、推論部４２が通信部４１を経由して受信した画像データにメタデータがない場合であっても、メタデータの情報を推論することによって追記または補充する。ここで追記または補充されるメタデータの情報としては、特に、画像データを撮影した時の状況や条件などの情報である。
【００８０】
こうして推測された画像データの撮影時の状況や条件は、表示制御部４８１によって表示可能な情報に変換されて通信部４１から送信されるので、ユーザの端末装置１０等で、それを確認することが可能となる。この場合、表示制御部４８１は、単に、撮影の機材やレンズの種別等が記号で出てきてもわかりにくい場合、シナリオ作成部４４がメタデータに基づいて、どの時期に発売された人気の機種といったシナリオに変換して生成したシナリオデータを通信部４１に送信させることによって、各メタデータをわかりやすく補足するようにユーザのクライアント端末で表示させてもよい。
【００８１】
〔端末装置の処理〕
次に、端末装置１０が実行する処理について説明する。
図６は、端末装置１０が実行する処理の概要を示すフローチャートである。
【００８２】
図６に示すように、まず、端末装置１０のモードが撮影モードに設定されている場合（ステップＳ１：Ｙｅｓ）について説明する。この場合、端末装置１０は、撮影を行う撮影モード処理を実行する（ステップＳ２）。なお、撮影モード処理の詳細は、後述する。
【００８３】
続いて、操作部１４が操作されることによって終了する場合（ステップＳ３：Ｙｅｓ）、端末装置１０は、本処理を終了する。これに対して、操作部１４が操作されることなく終了しない場合（ステップＳ３：Ｎｏ）、端末装置１０は、上述したステップＳ１へ戻る。
【００８４】
ステップＳ１において、端末装置１０のモードが撮影モードに設定されていない場合（ステップＳ１：Ｎｏ）、端末装置１０は、ステップＳ４へ移行する。
【００８５】
続いて、端末装置１０のモードが画像鑑賞モードに設定されている場合（ステップＳ４：Ｙｅｓ）、端末装置１０は、記録部１７に記録された画像データまたは通信部１５を経由して外部のサーバにアクセスして画像データを鑑賞する画像鑑賞モード処理を実行する（ステップＳ５）。なお、画像鑑賞モード処理の詳細は、後述する。ステップＳ５の後、端末装置１０は、ステップＳ３へ移行する。
【００８６】
ステップＳ４において、端末装置１０のモードが画像鑑賞モードに設定されていない場合（ステップＳ４：Ｎｏ）、端末装置１０は、後述するステップＳ６へ移行する。
【００８７】
続いて、端末装置１０は、操作部１４の操作に応じて、各種設定を行い（ステップＳ６）、通信またはその他の動作を行う（ステップＳ７）。ステップＳ７の後、端末装置１０は、ステップＳ３へ移行する。
【００８８】
〔撮像モード処理〕
次に、上述した図６のステップＳ２において説明した撮影モード処理の詳細について説明する。
図７は、撮影モード処理の概要を示すフローチャートである。
【００８９】
図７に示すように、まず、端末制御部１９は、撮像部１１に撮像を開始させる（ステップＳ１０１）。
【００９０】
続いて、表示制御部１９４は、撮像部１１によって生成された画像データに対応するライブビュー画像を表示部１６に表示させる（ステップＳ１０２）。
【００９１】
連携機器判定部１８は、端末装置１０にアクセサリが接続されているか否かを判定する（ステップＳ１０３）。具体的には、連携機器判定部１８は、端末装置１０にフラッシュ等のアクセサリが接続されているか否かを判定する。連携機器判定部１８によって端末装置１０にアクセサリが接続されていると判定された場合（ステップＳ１０３：Ｙｅｓ）、端末装置１０は、後述するステップＳ１０４へ移行する。これに対して、連携機器判定部１８によって端末装置１０にアクセサリが接続されていないと判定された場合（ステップＳ１０３：Ｎｏ）、端末装置１０は、後述するステップＳ１０５へ移行する。
【００９２】
ステップＳ１０４において、記録制御部１９３は、端末装置１０に接続されたアクセサリに関するアクセサリ情報を記録部１７に仮記録する。ここで、アクセサリ情報とは、アクセサリの機能、性能および識別ＩＤ等を含む情報である。ステップＳ１０４の後、端末装置１０は、後述するステップＳ１０５へ移行する。
【００９３】
ステップＳ１０５において、操作判定部１９１は、操作部１４に対して操作が行われたか否かを判定する。操作判定部１９１によって操作部１４に対して操作が行われたと判定された場合（ステップＳ１０５：Ｙｅｓ）、端末装置１０は、後述するステップＳ１０６へ移行する。これに対して、操作判定部１９１によって操作部１４に対して操作が行われていないと判定された場合（ステップＳ１０５：Ｎｏ）、端末装置１０は、後述するステップＳ１０９へ移行する。
【００９４】
ステップＳ１０６において、操作判定部１９１は、操作部１４に対するユーザの操作に特徴があるか否かを判定する。操作判定部１９１によって操作部１４に対するユーザの操作に特徴があると判定された場合（ステップＳ１０６：Ｙｅｓ）、端末装置１０は、後述するステップＳ１０７へ移行する。これに対して、操作判定部１９１によって操作部１４に対するユーザの操作に特徴がないと判定された場合（ステップＳ１０６：Ｎｏ）、端末装置１０は、後述するステップＳ１０８へ移行する。
【００９５】
記録制御部１９３は、ユーザが操作部１４に対して行った特徴的な操作の履歴を特徴情報符号化として記録部１７に仮記録する（ステップＳ１０７）。ここで、特徴的な操作とは、ユーザが操作部１４に対して、通常の操作と異なる操作である。
【００９６】
続いて、パラメータ設定部１９２は、ユーザが操作部１４に対して行った操作によって定まるモードおよびパラメータに撮像部１１を設定することによって制御する（ステップＳ１０８）。この場合、記録制御部１９３は、パラメータ設定部１９２が設定したモードおよびモードに関する設定情報を記録部１７に仮記録する。
【００９７】
続いて、パラメータ設定部１９２によって設定されたモードにおいてユーザをガイドするガイドが必要である場合（ステップＳ１０９：Ｙｅｓ）、表示制御部１９４は、パラメータ設定部１９２によって設定されたモードにおいてユーザをガイドするためのガイドを表示部１６に表示させる（ステップＳ１１０）。この時、取得中の画像や撮像機器や撮影者から得られる情報があるので、これをメタデータの項目と対応付けられるように取得し、これを整理された画像関連情報と比較すれば、有効なガイドが出せる。つまり、整理された画像関連情報（リッチなメタデータ、例えば、文章の５Ｗ１Ｈのように組み合わせることで文脈として理解できるものである。情報として抜けているところは類似画像、類似メタデータから補充する。）があれば、このように撮影前に得られた撮像データに対するアドバイスなどにも使え、撮影者に有効な情報を提示することが可能である。この整理されたリッチなメタデータは、項目ごとに分類された複数の撮影情報や撮影条件やパラメータ等を想定している。そのほか、画像と関連付けられて記録されている文章や地図や撮影者た対象物に関連する各種データを利用して作ったものでもよい。画像と一緒に投稿されたＳＮＳやネット上の日記、記録、ブログ、レポートなどの文章には、上記項目に対応する情報も含まれている可能性があるので、これを特定のメタデータ項目として分類し、メタデータとして扱ってもよい。ここから、画像の撮影前、撮影中、撮影後のさまざまな活動が読み取れるので、当然、他のカメラマンの参考になる。状況（環境）データ、行動データ、感情データの観点で記録しておけばよく、テキストや音声のように手動で入力しても良いし、バイタルデータや画像解析から推論して入力しても良い。この時に、所定項目からの不足メタデータがある場合には、他の情報を流用したり参照したり、他のデータからの推論によって補充してもよい。メタデータの分類は、整理とも言え、メタデータとして整理とはコンテンツに含まれる各種メタデータを、種類ごとに切り分けそれぞれの項目の値として画像データと関連付けて記録、格納しておけば、後述のように鑑賞や観察時の重要な参考情報となる。ガイドとはこれから起きることに対して出される情報であり、過去の経験から出されるものである。過去のどの経験と関連付けて、参照可能な情報であるとするのかが重要である。例えば、まだＳＮＳ等にアップしていない画像に対して、ＳＮＳ等での評判を事前に推測や判定で適宜ガイドされれば、撮影内容を調整することも可能となる。ステップＳ１１０の後、端末装置１０は、後述するステップＳ１１１へ移行する。これに対して、パラメータ設定部１９２によって設定されたモードにおいてユーザをガイドするガイドが必要でない場合（ステップＳ１０９：Ｎｏ）、端末装置１０は、後述するステップＳ１１１へ移行する。
【００９８】
ユーザが操作部１４に対して撮影操作を行った場合（ステップＳ１１１：Ｙｅｓ）、端末制御部１９は、撮像部１１に撮影を実行させる（ステップＳ１１２）。この場合、記録制御部１９３は、撮像部１１が生成した画像データに対して、対象物情報、日時情報、操作情報および状況情報等をメタデータとして対応付けた画像ファイル化を行って画像ファイル記録部１７２に記録する。ステップＳ１１２の後、図６のメインルーチンへ戻る。これに対して、ユーザが操作部１４に対して撮影操作を行っていない場合（ステップＳ１１１：Ｎｏ）、端末装置１０は、図６のメインルーチンへ戻る。
【００９９】
〔画像鑑賞モード処理〕
次に、上述した図６のステップＳ５において説明した画像鑑賞モード処理について説明する。
図８は、画像鑑賞モード処理の概要を示すフローチャートである。
【０１００】
図８に示すように、端末制御部１９は、表示部１６において表示することができる画像を検索する（ステップＳ２０１）。この場合、端末制御部１９は、画像ファイル記録部１７２、通信部１５を経由して外部のサーバ、例えば第１のサーバ２０および第２のサーバ４０に記録された複数の画像ファイルのいずれ１つ以上かから表示部１６において表示することができる画像を検索する。
【０１０１】
続いて、表示制御部１９４は、表示部１６において表示可能な画像一覧を表示部１６に表示させる（ステップＳ２０２）。
【０１０２】
その後、操作判定部１９１によって操作部１４に対するユーザの操作によって表示部１６が一覧表示する複数の画像の中から鑑賞画像が選択されたと判定された場合（ステップＳ２０３：Ｙｅｓ）、端末装置１０は、後述するステップＳ２０４へ移行する。これに対して、操作判定部１９１によって操作部１４に対するユーザの操作によって表示部１６が一覧表示する複数の画像の中から鑑賞画像が選択されていないと判定された場合（ステップＳ２０３：Ｎｏ）、端末装置１０は、後述するステップＳ２１１へ移行する。
【０１０３】
ステップＳ２０４において、表示制御部１９４は、操作部１４に対するユーザの操作によって選択された鑑賞画像を拡大して表示部１６に表示させる、または鑑賞画像の詳細を表示部１６に表示させる。
【０１０４】
続いて、操作部１４に対して表示部１６が表示する画像のメタデータを確認する操作が行われた場合（ステップＳ２０５：Ｙｅｓ）、端末装置１０は、後述するステップＳ２０６へ移行する。これに対して、操作部１４に対して表示部１６が表示する画像のメタデータを確認する操作が行われていない場合（ステップＳ２０５：Ｎｏ）、端末装置１０は、後述するステップＳ２０８へ移行する。
【０１０５】
ステップＳ２０６において、端末制御部１９は、通信部１５を経由して画像に関連するメタデータを含む画像ファイルを外部へ送信することによって第２のサーバ４０へ確認依頼する。ここでのメタデータは、項目ごとに分類された複数の撮影情報や撮影条件やパラメータ等を想定しているが、そのほか、画像と関連付けられて記録されている文章や地図や撮影者た対象物に関連する各種データも一緒に扱ってもよい。また、この文章などのコンテンツには、上記項目に対応する情報も含まれている可能性があるので、これを特定のメタデータ項目として分類し、メタデータとして扱ってもよい。画像の撮影前、撮影中、撮影後のさまざまな活動を、状況（環境）データ、行動データ、感情データの観点で記録したもので、テキストや音声のように手動で入力しても良いし、バイタルデータや画像解析から推論して入力しても良い。この時に、所定項目からの不足メタデータがある場合には、他の情報を流用したり参照したり、他のデータからの推論によって補充してもよい。メタデータの分類は、整理とも言え、メタデータとして整理とはコンテンツに含まれる各種メタデータを、種類ごとに切り分けそれぞれの項目の値として画像データと関連付けて記録、格納しておけば、鑑賞や観察時の重要な参考情報となる。また、このような整理された画像関連情報があれば、撮影した後の画像の整理のみならず、撮影前に得られた撮像データに対するアドバイスなどにも使える（図７のＳ１１０）。
【０１０６】
続いて、表示制御部１９４は、通信部１５を経由して第２のサーバ４０から受信した受信結果を表示部１６に表示する（ステップＳ２０７）。この場合、表示制御部１９４は、第２のサーバ４０から受信結果として送信した画像ファイルに関連するメタデータを表示部１６に表示する。
【０１０７】
その後、操作部１４に対して表示部１６が表示する画像を、例えば第１のサーバ２０に送信することによって外部シェアを指示する操作が行われた場合（ステップＳ２０８：Ｙｅｓ）、端末制御部１９は、表示部１６が表示する画像ファイルを指定先の第１のサーバ２０に通信部１５へ送信させる（ステップＳ２０９）。
【０１０８】
続いて、操作部１４が操作されることによって画像鑑賞を終了する場合（ステップＳ２１０：Ｙｅｓ）、端末装置１０は、図６のメインルーチンへ戻る。これに対して、操作部１４が操作されず、画像鑑賞を終了しない場合（ステップＳ２１０：Ｎｏ）、端末装置１０は、上述したステップＳ２０４へ戻る。
【０１０９】
ステップＳ２１１において、操作部１４に対して表示部１６が表示する画像のメタデータを確認する操作が行われた場合（ステップＳ２１１：Ｙｅｓ）、端末装置１０は、後述するステップＳ２１２へ移行する。この場合、ユーザは、画像の鑑賞よりもメタデータを確認しないときである。これに対して、操作部１４に対して表示部１６が表示する画像のメタデータを確認する操作が行われていない場合（ステップＳ２１１：Ｎｏ）、端末装置１０は、ステップＳ２１０へ移行する。
【０１１０】
ステップＳ２１２において、端末制御部１９は、通信部１５を経由して画像に関連するメタデータを含む画像ファイルを外部へ送信することによって第２のサーバ４０へ確認依頼する。
【０１１１】
続いて、表示制御部１９４は、通信部１５を経由して第２のサーバ４０から受信した受信結果を表示部１６に表示する（ステップＳ２１３）。ステップＳ２１３の後、端末装置１０は、ステップＳ２１０へ移行する。
【０１１２】
〔第１のサーバの処理〕
次に、第１のサーバ２０が実行する処理について説明する。
図９は、第１のサーバ２０が実行する処理の概要を示すフローチャートである。
【０１１３】
図９に示すように、通信部２１を経由して端末装置１０等を含むクライアント端末から画像をシェアするための画像ファイルの投稿を受け付けた場合（ステップＳ３０１：Ｙｅｓ）、第１のサーバ制御部２３は、通信部２１を経由してクライアント端末から画像ファイルを含むコンテンツデータを取得する（ステップＳ３０２）。
【０１１４】
続いて、第１のサーバ制御部２３は、コンテンツデータに含まれるメタデータを削除し（ステップＳ３０３）、コンテンツデータに付加する新メタデータを作成する（ステップＳ３０４）。具体的には、第１のサーバ制御部２３は、メタデータに含まれる位置情報、コンテンツデータを作成したユーザのプライバシーに関するプライバシー情報等を含む各種情報を削除し、この削除後のメタデータを新メタデータとして作成する。
【０１１５】
その後、第１のサーバ制御部２３は、画像ファイルを含むコンテンツデータを整理して記録部２２に記録する（ステップＳ３０５）。ステップＳ３０５の後、第１のサーバ制御部２３は、上述したステップＳ３０１へ戻る。
【０１１６】
ステップＳ３０１において、通信部２１を経由して端末装置１０等のクライアント端末から画像をシェアするための画像ファイルの投稿を受け付けていない場合（ステップＳ３０１：Ｎｏ）、第１のサーバ２０は、後述するステップＳ３０６へ移行する。
【０１１７】
ステップＳ３０６において、通信部２１を経由してクライアント端末から画像を検索する指示信号が入力された場合（ステップＳ３０６：Ｙｅｓ）、表示制御部２３１は、通信部２１を経由して検索結果の一覧をクライアント端末に表示させる（ステップＳ３０７）。
【０１１８】
続いて、通信部２１を経由してクライアント端末から画像を指定する指定信号が入力された場合（ステップＳ３０８：Ｙｅｓ）、表示制御部２３１は、指定画像をクライアント端末において拡大表示する（ステップＳ３０９）。
【０１１９】
その後、通信部２１を経由してクライアント端末から指定した画像の閲覧を終了する指示信号が入力された場合（ステップＳ３１０：Ｙｅｓ）、第１のサーバ２０は、後述するステップＳ３１１へ移行する。これに対して、通信部２１を経由してクライアント端末から指定した画像の関連を終了する指示信号が入力されていない場合（ステップＳ３１０：Ｎｏ）、第１のサーバ２０は、この判断を続ける。
【０１２０】
ステップＳ３１１において、通信部２１を経由して画像の閲覧を終了する終了信号が入力された場合（ステップＳ３１０：Ｙｅｓ）、第１のサーバ２０は、上述したステップＳ３０１へ戻る。これに対して、通信部２１を経由して画像の閲覧を終了する終了信号が入力されていない場合（ステップＳ３１１：Ｎｏ）、第２のサーバ４０は、上述したステップＳ３０８へ戻る。
【０１２１】
ステップＳ３０６において、通信部２１を経由してクライアント端末から画像を検索する指示信号が入力されていない場合（ステップＳ３０６：Ｎｏ）、第１のサーバ２０は、後述するステップＳ３１２へ移行する。
【０１２２】
続いて、第１のサーバ制御部２３は、通信部２１を経由してクライアント端末から画像に対するコメントの書き込む等を指示する指示信号に基づいて、画像を含むコンテンツデータにコメント等の書き込みを行う（ステップＳ３１２）。ステップＳ３１２の後、第１のサーバ２０は、上述したステップＳ３０１へ戻る。
【０１２３】
〔第２のサーバの処理〕
次に、第２のサーバ４０が実行する処理について説明する。
図１０は、第２のサーバ４０が実行する処理の概要を示すフローチャートである。なお、図１０において、第２のサーバ４０は、データベースサーバ３０と連動しながら下記の処理を行う。
【０１２４】
図１０に示すように、まず、通信部４１を経由してクライアント端末から画像を含む画コンテンツデータをシェアするＳＮＳを行う指示信号の入力を受け付けた場合（ステップＳ４０１：Ｙｅｓ）、第２のサーバ４０は、後述するステップＳ４０２へ移行する。これに対して、通信部４１を経由してクライアント端末から画像を含むコンテンツデータをシェアするＳＮＳを行う指示信号の入力を受け付けていない場合（ステップＳ４０１：Ｎｏ）、第２のサーバ４０は、後述するステップＳ４０３へ移行する。
【０１２５】
ステップＳ４０２において、第２のサーバ４０は、クライアント端末から受信した画像ファイルを含むコンテンツデータを他のクライアント端末に閲覧させる画像ＳＮＳ処理を実行する（ステップＳ４０２）。なお、画像ＳＮＳ処理の詳細は、後述する。ステップＳ４０２の後、第２のサーバ４０は、上述したステップＳ４０１へ戻る。
【０１２６】
ステップＳ４０３において、通信部４１を経由してクライアント端末から画像データのメタデータの確認を指示する指示信号が入力された場合（ステップＳ４０３：Ｙｅｓ）、第２のサーバ４０は、後述するステップＳ４０４へ移行する。これに対して、通信部４１を経由してクライアント端末から画像データのメタデータの確認を指示する指示信号が入力されていない場合（ステップＳ４０３：Ｎｏ）、第２のサーバ４０は、上述したステップＳ４０１へ戻る。
【０１２７】
ステップＳ４０４において、第２のサーバ４０は、画像データのメタデータを確認する確認処理を実行する（ステップＳ４０４）。なお、確認処理の詳細は、後述する。ステップＳ４０４の後、第２のサーバ４０は、上述したステップＳ４０１へ戻る。
【０１２８】
〔画像ＳＮＳ処理〕
次に、上述した図１０のステップＳ４０２において説明した画像ＳＮＳ処理の詳細について説明する。
図１１は、画像ＳＮＳ処理の概要を示すフローチャートである。
【０１２９】
図１１に示すように、通信部４１を経由してクライアント端末から画像をシェアするための画像ファイルを含むコンテンツデータの投稿を受け付けた場合（ステップＳ５０１：Ｙｅｓ）、第２のサーバ４０は、後述するステップＳ５０２へ移行する。これに対して、通信部４１を経由してクライアント端末から画像をシェアするための画像ファイルを含むコンテンツデータの投稿を受け付けていない場合（ステップＳ５０１：Ｎｏ）、第２のサーバ４０は、後述するステップＳ５０５へ移行する。
【０１３０】
ステップＳ５０２において、第２のサーバ制御部４８は、通信部４１を経由してクライアント端末から画像ファイル、音声ファイルおよびテキストデータのいずれか一つ１以上を含むコンテンツデータを取得する。
【０１３１】
続いて、第２のサーバ制御部４８は、コンテンツデータに付加する新メタデータを作成して追加し（ステップＳ５０３）、コンテンツデータを整理して記録部４７に記録する（ステップＳ５０４）。ここで、第２のサーバ制御部４８は、コンテンツデータのメタデータに含まれる、撮影した人等の個人情報やプライバシー関わる情報を削除し、それ以外のユーザが付けたタイトル、ユーザのハンドルネーム、ニックネーム、テーマ、アップデート日時等、このサービスで取り決められたものを新メタデータとして作成して追加する。そして、第２のサーバ制御部４８は、新メタデータをコンテンツデータのメタデータとして書き込んで記録部４７に記録する。さらに、第２のサーバ制御部４８は、コンテンツデータが送信された日時、コンテンツデータにおける特定の分類、ハッシュタグ毎に整理して記録部４７に記録する。ステップＳ５０４の後、第２のサーバ４０は、図１０のメインルーチンへ戻る。
【０１３２】
ステップＳ５０５において、通信部４１を経由してクライアント端末から画像を検索する指示信号が入力された場合（ステップＳ５０５：Ｙｅｓ）、表示制御部３８１は、通信部４１を経由して検索結果一覧をクライアント端末に表示させる（ステップＳ５０６）。例えば、表示制御部３８１は、通信部４１を経由してクライアント端末から画像を検索する指示信号、例えばハッシュタグ、検索キーワードおよびユーザ名を指示する指示信号が入力された場合、この指示信号に応じた検索結果の一覧をクライアント端末に表示させる。
【０１３３】
続いて、通信部４１を経由してクライアント端末から画像を指定する指定信号が入力された場合（ステップＳ５０７：Ｙｅｓ）、表示制御部４８１は、指定画像をクライアント端末において拡大表示する（ステップＳ５０８）。
【０１３４】
その後、通信部４１を経由してクライアント端末から指定画像のメタデータを確認する確認信号が入力された場合（ステップＳ５０９：Ｙｅｓ）、第２のサーバ４０は、指定画像のメタデータを確認するメタデータ確認処理を実行する（ステップＳ５１０）。
【０１３５】
〔メタデータ確認処理〕
ここで、図１１のステップＳ５１０において説明したメタデータ確認処理の詳細について説明する。
図１２は、メタデータ確認処理の概要を示すフローチャートである。
【０１３６】
図１２に示すように、まず、第２のサーバ制御部４８は、通信部４１を経由してデータベースサーバ３０から画像データに関連するデータを受信する（ステップＳ６０１）。具体的には、第２のサーバ制御部４８は、ユーザが指定した確認対象（研究対象）の指定画像に対して、同じファイル名で拡張子が違うもの、同じ機器が同じタイミングで出力したデータ、および、撮影と同じ環境下にあったセンサ等が出力したデータのいずれかをネット検索などで検索した結果をデータとして受信することによって取得する。
【０１３７】
続いて、判定部４３は、データベースサーバ３０に関連する画像ファイルがある場合、この画像ファイル内の関連メタデータに基づいて、指定画像データのメタデータとして付与された撮影条件情報の不足分を判定し、この判定結果をクライアント端末に表示する（ステップＳ６０２）。
【０１３８】
その後、判定部４３は、ユーザが確認したいメタデータが条件を満たすか否かを判定する（ステップＳ６０３）。具体的には、ユーザが求めるメタデータの条件、例えば予め決められた項目のメタデータの内容が欠落しているか否かを判定する。判定部４３によってメタデータの確認したい条件を満たすと判定された場合（ステップＳ６０３：Ｙｅｓ）、第２のサーバ４０は、後述するステップＳ６０５へ移行する。これに対して、判定部４３によってメタデータの確認したい条件を満たさないと判定された場合（ステップＳ６０３：Ｎｏ）、第２のサーバ４０は、メタデータを推測することによって判定する判定処理を実行する（ステップＳ６０４）。ステップＳ６０４の後、第２のサーバ４０は、後述するステップＳ６０５へ移行する。
【０１３９】
〔判定処理〕
次に、図１２のステップＳ６０４の判定処理の詳細について説明する。
図１３は、判定処理の詳細を示すフローチャートである。図１４は、推論部４２が推論モデル４６を用いて推論を行う際の概要を模式的に示す図である。
【０１４０】
図１３に示すように、推論部４２は、指定画像の撮影対象が分かる場合（ステップＳ７０１：Ｙｅｓ）、指定画像に写る対象物の大きさ、色、距離分布、動きの特徴、影等から撮影時の光源、関連機材および設定等を推論し、この推論結果を候補化する（ステップＳ７０２）ステップＳ７０２の後、第２のサーバ４０は、後述するステップＳ７０３へ移行する。
【０１４１】
ここで、推論部４２が行う推論結果の候補化について説明する。
推論部４２は、推論モデル４６を用いて、富士山が指定画像内における特定の大きさで撮影されている場合において、手前の山が推論することができるとき、焦点距離、撮っている方角、富士山等の陰影から撮影時刻を推論することができる。また、推論部４２は、推論モデル４６を用いて、撮影時の焦点距離に関して、クライアント端末の撮像素子のサイズにもよるが、広角または望遠等の撮影画角に対応する。このため、推論部４２は、主要被写体（例えば富士山）の大きさと、背景の山の大きさと、に基づいて、空間圧縮効果を加味することによって推論する撮影時の焦点距離を推論することができる。
【０１４２】
また、推論部４２は、推論モデル４６を用いて、指定画像における撮影時の焦点距離が推論できた場合において、特定した対象物が人等であるとき、撮影画像内の大きさに基づいて、対象物の距離も推論することができる。また、推論部４２は、特定の対象物が推論できた場合、特定の対象物の形状に基づいて、撮影している場所等も推測することができる。例えば、推論部４２は、特定の対象物が冠雪の形状であると指定した場合、季節を推論することができるうえ、遠近の描写から絞り値等も推論することができる。また、推論部４２は、特定の対象物の撮影位置に基づいて、換算した対象物の位置も推論するようにしてもよい。
【０１４３】
また、推論部４２は、推論モデル４６を用いて、指定画像内における空間周波数が最も高い像を主要被写体とし、その他の像を背景と定義することで、コントラストの比較でボケ量を推論することができ、絞り値を推論することができる。さらに、推論部４２は、指定画像内におけるランダムノイズ成分を抽出し、この抽出結果に基づいて、感度を推論することができる。推論部４２は、絞り値と感度とが推論できた場合、一般的なシャッタースピードを推論することができる。また、推論部４２は、特定の対象物として花火または滝等を推論することができた場合、花火における火の粉または滝の水の流れ等によって発生する輝点の線長に基づいて、起点の線長を計測し、この計測結果に基づいてシャッタースピードを推論することができる。さらにまた、推論部４２は、特定の対象物として移動体の場合、動いている対象物の速度と画角とブレ具合とに基づいて、シャッタースピードを推論することができる。
【０１４４】
また、推論部４２は、推論モデル４６を用いて、指定画像の画素の画素ピッチに基づいて、機材の機種を推論することができる。さらに、推論部４２は、指定画像内における収差、周辺光量落ち、および周辺と中心の解像度の特徴に基づいて、レンズの種別、例えばズームレンズ、単焦点レンズ、およびレンズメーカ等を推論することができる。推論部４２は、レンズの種別が推論できた場合、価格帯等も推論することができる。
【０１４５】
また、推論部４２は、推論モデル４６を用いて、指定画像内における天気または時刻で太陽光の色成分が変わる場合があるため、指定画像内における天気または時刻で太陽光の色成分に基づいて、ホワイトバランスの設定を推論することができる。また、推論部４２は、指定画像の明るさのバランス、色特性、特定の点光源の形状等に基づいて、利用された光学フィルタ（ハーフＮＤ、ＰＬフィルタ、ソフトフォーカスフィルタ）等を推論することができる。また、推論部４２は、指定画像内の明るさの分布、水面、ガラス面の反射光の分布および表現に基づいて、ハーフＮＤフィルタ、偏光フィルタ（ＰＬフィルタ）の使用を推論することができる。この場合、推論部４２は、メタデータの候補としてもよい。
【０１４６】
また、推論部４２は、推論モデル４６を用いて、指定画像内における異なる距離または明るさであるはずの対象物を検出し、この検出結果に基づいて境界部の表現を判定することによって、深度合成やＨＤＲ合成の処理が行われたか否かを推論することができる。また、推論部４２は、指定画像内における主要被写体と背景被写体の明るさの分布とに基づいて、アクセサリであるストロボ等の光源が使用されているかを推論することができる。
【０１４７】
また、推論部４２は、推論モデル４６を用いて、指定画像の全体的な色の強調具合に基づいて、画像処理の種別を推論することができる。また、推論部４２は、特殊効果処理（ソフトフォーカスや彩度強調処理）等の画像処理効果の有無を推論することができる。例えば、推論部４２は、主要被写体を特定した後、標準的な色相と画像の色相との違いに基づいて、画像処理の種別を推論することができる。
【０１４８】
ステップＳ７０１において、推論部４２は、撮影対象が分からない場合（ステップＳ７０１：Ｎｏ）、第２のサーバ４０は、後述するステップＳ７０３へ移行する。
【０１４９】
ステップＳ７０３において、推論部４２は、推論モデル４６を用いて、指定画像の収差およびボケに基づいて、レンズ、絞り値を推論し、この推論結果を候補化する。具体的には、推論部４２は、指定画像内における対象物を検出できない場合、画像のゆがみ、または明るさの分布に基づいて、癖のある特徴のレンズを推論する。また、推論部４２は、指定画像内における特有の画素欠陥やフィルムの傷に基づいて、クライアント端末の種別や特定の機器を推論することができる。
【０１５０】
続いて、推論部４２は、指定画像のメタデータに類似する類似画像または関連する関連画像がデータベースサーバ３０にあるか否かを判定し（ステップＳ７０４）、指定画像のメタデータに類似する類似画像または関連する関連画像がデータベースサーバ３０にある場合（ステップＳ７０４：Ｙｅｓ）、第２のサーバ４０は、後述するステップＳ７０５へ移行し、指定画像のメタデータに類似する類似画像または関連する関連画像がデータベースサーバ３０にない場合（ステップＳ７０４：Ｎｏ）、第２のサーバ４０は、後述するステップＳ７０７へ移行する。
【０１５１】
ステップＳ７０５において、判定部４３は、指定画像のメタデータに関連する関連画像または類似画像に関連メタデータがあるか否かを判定する。判定部４３が指定画像のメタデータに関連する関連画像または類似画像に関連メタデータがあると判定し場合（ステップＳ７０５：Ｙｅｓ）、判定部４３は、関連メタデータに含まれるプライバシー情報と非プライバシー情報とに分類し、個人情報（プライバシー情報）以外の関連メタデータを候補化する（ステップＳ７０６）。この場合、判定部４３は、類似画像における画像特有の個人情報などが含まれていれば、個人情報やプライバシー情報を削除して状態で関連メタデータとして候補化を行う。また、判定部４３は、データベースサーバ３０以外に、様々なサービスを行っている複数のサーバが管理する類似画像を利用してメタデータを参照することによって関連メタデータを候補化してもよい。さらに、判定部４３は、各サーバのサービスの特徴ごとに、画像に付随したコンテンツが異なるので、これらも広義のメタデータとして取り扱ってもよい。さらに、判定部４３は、推論部４２が推論した関連メタデータに基づいて、指定画像データのメタデータとして過不足または矛盾が生じているか否かを判定する。ステップＳ７０６の後、第２のサーバ４０は、後述するステップＳ７０７へ移行する。これに対して、判定部４３は、指定画像のメタデータに関連する関連画像または類似画像に関連メタデータがないと判定された場合（ステップＳ７０５：Ｎｏ）、第２のサーバ４０は、後述するステップＳ７０７へ移行する。
【０１５２】
続いて、推論部４２は、画像データまたは特徴量データに基づいて、メタデータを推論する（ステップＳ７０７）。具体的には、図１４に示すように推論部４２は、ニューラルネットワークを用いて、複数の画像データＭ１０、個人情報Ｍ１１、メタデータＭ１００およびメタデータ１０１を教師データとして学習した学習結果を記録する推論モデル４６を用いて、指定画像Ｆ１００を入力画像として推論モデル４６に入力することによって、ユーザによって指定された指定画像Ｆ１００と推論モデル４６とを比較し、ユーザによって指定された指定画像に関連する関連メタデータを推論する。つまり、推論部４２は、データベースの複数の画像ファイルの各々に含まれる画像データのメタデータと撮影条件情報とを教師データとし、入力を画像データとして出力が撮影条件情報となる確率を所定の値以上なるように学習した推論モデルに従って、関連メタデータを推論する。ここで、推論部４２が推論したメタデータは、画像データを補足するデータであるが、複数の項目からなるので、どのデータがどの項目であるかを整理した推論を行う。これは、項目ごとに異なる推論エンジンを利用して推論すればよい。また、同じ推論エンジンでも異なる推論モデルを採用しながら推論を行ってもよく、いくつかの項目を一括して推論してもよいが、これらの時は、教師データを正しく項目ごとに用意する。これによって、複数のメタデータの過不足または矛盾が生じているかどうかが判定可能となる。この確率を向上させるために、教師データを画像データまたはメタデータによって分類して取捨選択したりする機能を有してもよい。この時の学習条件が後で、追跡できるように、記録部４７に使った教師データや学習の経過や正答率や日付など、その来歴を記載するようにしてもよい。これまで説明したように、「教師あり学習」が、アノテーションによって出力を定められた教師データを使って「入力と出力の関係」を学習するもので、特定の条件下での信頼性の高い推論を行うものであるのに対し、「データの構造」を学習する「教師なし学習」の手法を用いることによって、より複雑な状況に対応できる推論モデルを取得してもよい。また、「強化学習」と呼ばれる、「価値や効果を最大化するような行動」を学習する手法を用いても良い。これは、状態行動価値が増大化するような法則を見つけるように学習させるもので、現在ではなく次の状態の価値を見積もって高めたり、特定の報酬が得られたりするまで試行錯誤した結果を学習に反映させる。学習結果の検証には、教師データを使ってもよい。アノテーションによって得られた正解の出力をそのまま学習するのではなく、さらに良い回答が得られるよう学習させるもので、未知の状況に対応できるようにしたものである。これらは、教師あり学習と併用してもよく、教師なし学習による推論のあと、教師あり学習による推論を行ってもよい。アノテーション用データは、こうした「教師なし学習」、「強化学習」の検証用データとしても利用が可能である。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要があり、ここでは画像の判定を、機械学習により導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。
【０１５３】
その後、表示制御部４８１は、通信部４１を経由して候補化されたデータをクライアント端末へ送信することによってクライアント端末に表示させる（ステップＳ７０８）。
【０１５４】
続いて、表示制御部４８１は、判定部４３によって推論部４２が推論した関連メタデータと指定画像のファイルなどが有するメタデータとを比較して、対応するデータ同士を比較する。これが正しく比較されるためには、図１４で推論したメタデータが、どのデータがどの項目であるかを整理した推論が行われている必要がある。これによって、過不足または矛盾が生じているかどうかが判定可能となる。したがって、特定の規格や標準で定められた項目ごとに判定することで、過不足が分かりやすくなる。分類されていない場合は、それがどのようなメタデータであるかの判定を行うデータベースや推論エンジンを設けて、比較するに足りる情報（メタデータ）同士を比較する。また、この時、メタデータはなくとも、画像から読みとって有益な情報もあるので、それを比較してもよい。例えば、富士山の写真であれば、画像判定で「富士山」という情報をメタデータ化して比較しても良い。また、規格化されたメタデータの比較の例としては、例えば、露出用の設定値など撮影パラメータの数値が同一か近似か特定の割合や数値以上異なるかを比較するが、対応するメタデータがない場合、図１４で説明した方式とは異なる仕様の推論エンジン（パラメータ解析専用推論エンジン）で推論した結果と比べて、対応するデータ同士を比較してもよい。これによって、数値やテキストや符号など、メタデータが一方の画像にはなく、一方の画像にはある場合、過不足の情報が得られる。また、異なる数値であったり、撮影環境、撮影条件や対象物などが一致していたり、どうかによって矛盾が生じているかどうかが判定可能となる。このように、他の画像との比較、参照に基づいて、指定画像データのメタデータとして不足または矛盾が生じていると判定するには、項目ごとに対応する情報を入れた時に、あらかじめ定められたフォーマットに則ったデータが入力されるかどうかなどで判定ができる。また、画像データから得られるメタデータとして期待されるデータを特定のデータベースや演算によって求めておき、これとの差異の大きさを調べることによって判定が出来る。また、図１４で説明したような深層学習の構成や機構、方法でも、データの不備や矛盾は判定が可能である。例えば、複数の画像データと、上記複数の画像データのそれぞれについて、精度が確認されているメタデータを用意して、この画像データとメタデータを組み合わせたものを群として教師データとた学習を行えばよい。この時、特定の画像データと当該特定の画像用に精度が低いメタデータを入力としたときに、矛盾判定信号を出力する確率が所定の値以上となるように学習させればよい。こうした推論モデルの作成方法を用いて作成された推論モデルを使えば、画像データに対して付与されている、あるいは関連付けされているメタデータが正しいかどうかを判定することができる。もちろん、こうした推論モデルに対して、正しいデータに近いメタデータを画像データと入力すると、判定信号は所定値以下となるので、正しいデータを導くための方法としても有効である。このような工夫によっても、正しいメタデータの導出が可能となる。また、ガイドを出すためのメタデータは、５Ｗ１Ｈ的な情報が有効なので、足りない項目があれば、適宜、それを推論する。つまり推論によって、不完全なものを補完するが、この補完とは画像の類似、メタ―データの（組み合わせの）類似から、メタデータを持つ類似性の高い他の画像（しかも、リッチなコンテンツやメタデータを持つもの）から補完すればよい。類似画像が複数ある場合は、撮影者や鑑賞者の状況やプロフィールなども考慮し、その類似度合いに応じて算出したメタデータを補完する。上記補充（補完）されてできたメタデータ群とは文章の５Ｗ１Ｈのように組み合わせることで文脈として理解できるものであることが、撮影者や鑑賞者のプロフィールや生体情報や感情情報などを含めた状況などから、ガイドを出すには好ましい。情報として抜けているところは類似画像、類似メタデータから補充する。表示制御部４８１は、判定部４３によって推論部４２が推論した過不足または矛盾が生じていると判定されている場合、通信部４１を経由して関連データに過不足または矛盾が生じている旨をクライアント端末に送信することによってクライアント端末に表示させる（ステップＳ７０９）。この場合、表示制御部４８１は、ユーザの求める情報、および予め期待されたメタデータの項目が埋まらないとき、その過不足のメタデータ情報をクライアント端末に送信することによってクライアント端末に表示させることで、ユーザに情報の確からしさを把握させる。この結果、ユーザは、指定した画像から十分な情報を得られないことを把握することができるので、これ以上、参考にするのをやめて、他の画像を調べる、という方法を取れるので効率的である。また、表示制御部４８１は、メタデータのための必要な条件が揃いそうか否かをクライアント端末において表示するようにしてもよい。具体的には、表示制御部４８１は、画像の一覧表示ときに、メタデータのための必要な条件が揃いそうな類似する画像を強調してクライアント端末に表示させてもよい。これにより、ユーザは、データの多いものを尊重して調べるようになる。ステップＳ７０９の後、図１２のサブルーチンへ戻る。
【０１５５】
図１２に戻り、ステップＳ６０５以降の説明を続ける。
ステップＳ６０５において、判定部４３は、推論部４２によって判定されて推論された判定結果に、指定画像データのメタデータとして付与された撮影条件情報の不足分の関連情報があるか否かを判定する。判定部４３によって関連情報があると判定された場合（ステップＳ６０５：Ｙｅｓ）、第２のサーバ４０は、後述するステップＳ６０６へ移行する。具体的には、判定部４３は、関連情報が、例えばデータの羅列の場合、ユーザが具体的なイメージが湧かない場合があるので、ここで得られたデータから、さらに関連情報をネットワーク等で検索することによって判定してもよい。これに対して、判定部４３によってデータベースサーバ３０に関連情報がないと判定された場合（ステップＳ６０５：Ｎｏ）、第２のサーバ４０は、図１１のサブルーチンへ戻る。
【０１５６】
ステップＳ６０６において、表示制御部４８１は、通信部４１を経由してクライアント端末へ関連情報を送信することによってクライアント端末において関連情報を表示させる。具体的には、表示制御部４８１は、上述したステップＳ６０２およびステップＳ６０４において推論部４２が推論したメタデータを元に、撮影時の撮影パラメータの設定や撮影時間および画角等の一部要素の異なるメタデータを関連情報としてクライアント端末に表示させる。
【０１５７】
続いて、シナリオ作成部４４は、関連情報のシナリオ化を行えるか否かを判定する（ステップＳ６０７）。シナリオ作成部４４によって関連情報のシナリオ化を行えると判定された場合（ステップＳ６０７：Ｙｅｓ）、第２のサーバ４０は、後述するステップＳ６０８へ移行する。これに対して、シナリオ作成部４４によって関連情報のシナリオ化を行えないと判定された場合（ステップＳ６０７：Ｎｏ）、第２のサーバ４０は、図１１のサブルーチンへ戻る。
【０１５８】
ステップＳ６０８において、シナリオ作成部４４は、関連メタデータに基づいて、シナリオを作成し、この作成したシナリオを、通信部４１を経由してクライアント端末へ送信することによってシナリオをクライアント端末に表示させる。ステップＳ６０８の後、第２のサーバ４０は、図１１のサブルーチンへ戻る。
【０１５９】
ここで、シナリオ作成部４４が作成するシナリオについて説明する。
シナリオ作成部４４は、ユーザのイメージを主語として５Ｗ１Ｈなどの情報が集まれば、撮影までの経緯などが文章化でき、よりキャッチーなアピールで、ユーザを鼓舞して、さらなる撮影に駆り立てることができるシナリオを作成する。このため、第２のサーバ４０は、データを集めて他のコンピュータと分担したりに任せたりしてもよい。また、シナリオ作成部４４は、一つのシナリオに複数の撮影が試せるよう、同一環境でカメラの設定違いや画角の違う複数の画像を候補として複数のシナリオを作成してもよい。シナリオ作成部４４は、同じような画像やメタデータが検索された場合、同一機材で撮影できるものの中から、評価や人気の高い（ＳＮＳ映えする）画像を優先に選択してシナリオを作成する。さらに、シナリオ作成部４４は、ユーザの購買意欲向上のために、ユーザが所有しておらず、機材追加で取れる高評価画像もシナリオとして選択して作成する。さらに、シナリオ作成部４４は、上述したステップＳ６０４において判定した撮影日時を元に、その数時間前を開始時間としてシナリオを作成してもよい。例えば、シナリオ作成部４４は、「夜明け前に○○へ足を運ぶ。カメラバッグの中身は○レンズと○○レンズ、○○対応ボディのカメラ。今日の被写体は○○。太陽が登る前の東の空にカメラを向け、構図を考える。ドラマティックな雲が見えたため、画角の割合は空を多めに。画質を重視して絞り値をＦ５．６まで絞り込んだ。Ｓモードでシャッタースピードは、カメラに任せる。ＥＶをマイナス「１」に補正、そして、レンズを○○に変えて、今度はカメラを○○に向けた・・・」等の冗長なシナリオを作成する。
【０１６０】
また、シナリオ作成部４４は、どうすればシナリオ化するときに役立つＥｘｉｆデータが作れるかと言えば、画像投稿時のハッシュタグをメタデータに入れられたら、そこから類推して撮影した人の気持ちを含めたシナリオを作成する。すなわち、シナリオ作成部４４は、画像を見た人の感想（テキストデータ）を含むメタデータに基づいて、シナリオを作成してもよい。例えば、シナリオ作成部４４は、かわいい、かっこいい、きれい、おいしそう等の特定のキーワードのテキストデータに基づいて、シナリオを作成する。これにより、どんな画像かがわかるようになるので、これらの単語や文章をメタデータにすればよい。
【０１６１】
また、一実施の形態では、カメラと一緒に持ち歩いていたスマホから撮影した場所、移動ルート、温度、天気および季節をメタデータに入れてもよい。また、一実施の形態では、被写体の顔の表情、色調から撮影者が何を表現したいかを推測して、メタデータ化できる。さらに、一実施の形態では、服装（ユニフォーム、かしこまった服）や日付、看板の文字から、行事を推測してメタデータ化してもよい。さらにまた、一実施の形態では、マイクを使って歓声・撮影時の声をメタデータ化してもよい。また、一実施の形態では、自然災害・事件・事故・紛争を場所と日付からメタデータ化する。スマホやカメラの持つ音声認識機能でテキスト化したものをメタデータ化してもよい。シナリオ作成部４４は、メタデータ活用ときには、その撮影者の写真コンテスト受賞歴を参考にして、優先度を決めてシナリオを作成してもよい。この場合、受賞歴が立派な場合、メタデータで検索されたときに上位にあがりやすいようにしてもよいし、初心者は受賞歴がない人の方が参考になる場合もある。
【０１６２】
図１１に戻り、ステップＳ５１１以降の説明を続ける。
ステップＳ５１１において、通信部４１を経由してクライアント端末からメタデータの確認を終了する終了信号が入力された場合（ステップＳ５１１：Ｙｅｓ）、第２のサーバ４０は、後述するステップＳ５１２へ移行する。これに対して、通信部４１を経由してクライアント端末からメタデータの確認を終了する終了信号が入力されていない場合（ステップＳ５１１：Ｎｏ）、第２のサーバ４０は、上述したステップＳ５０９へ戻る。
【０１６３】
ステップＳ５１２において、通信部４１を経由してクライアント端末から画像の閲覧を終了する終了信号が入力された場合（ステップＳ５１２：Ｙｅｓ）、第２のサーバ４０は、図１０のメインルーチンへ戻る。これに対して、通信部４１を経由してクライアント端末から画像の閲覧を終了する終了信号が入力されていない場合（ステップＳ５１２：Ｎｏ）、第２のサーバ４０は、上述したステップＳ５０７へ戻る。
【０１６４】
ステップＳ５０９において、通信部４１を経由してクライアント端末から指定画像のメタデータを確認する確認信号が入力されていない場合（ステップＳ５０９：Ｎｏ）、第２のサーバ４０は、ステップＳ５１２へ移行する。
【０１６５】
ステップＳ５０５において、通信部４１を経由してクライアント端末から画像を検索する指示信号が入力されていない場合（ステップＳ５０５：Ｎｏ）、第２のサーバ制御部４８は、通信部４１を経由してクライアント端末から画像に対するコメントの書き込む等を指示する指示信号に基づいて、画像にコメント等の書き込みを行う（ステップＳ５１３）。ステップＳ５１３の後、第２のサーバ４０は、図１０のメインルーチンへ戻る。
【０１６６】
〔確認処理〕
次に、上述した図１０のステップＳ４０４において説明した確認処理の詳細について説明する。
図１５は、確認処理の概要を示すフローチャートである。
【０１６７】
図１５に示すように、まず、第２のサーバ制御部４８は、通信部４１を経由してクライアント端末から画像ファイルを含むコンテンツデータを取得する（ステップＳ８０１）。
【０１６８】
続いて、第２のサーバ４０は、メタデータを確認するメタデータ確認処理を実行する（ステップＳ８０２）。なお、メタデータ確認処理は、上述した図１２の内容と同様のため、詳細な説明は省略する。
【０１６９】
その後、通信部４１を経由してクライアント端末からメタデータを採用する採用信号が入力された場合（ステップＳ８０３：Ｙｅｓ）、第２のサーバ４０は、後述するステップＳ８０４へ移行する。これに対して、通信部４１を経由してクライアント端末からメタデータを採用する採用信号が入力されていない場合（ステップＳ８０３：Ｎｏ）、第２のサーバ４０は、後述するステップＳ８０５へ移行する。
【０１７０】
ステップＳ８０４において、第２のサーバ制御部４８は、新規メタデータを、画像ファイル等のコンテンツデータに関連付けてデータベースサーバ３０に記録する。
【０１７１】
続いて、通信部４１を経由してクライアント端末からメタデータの確認を終了する終了信号が入力された場合（ステップＳ８０５：Ｙｅｓ）、第２のサーバ４０は、上述した図１０のメインルーチンへ戻る。これに対して、通信部４１を経由してクライアント端末からメタデータの確認を終了する終了信号が入力されていない場合（ステップＳ８０５：Ｎｏ）、第２のサーバ４０は、上述したステップＳ８０１へ戻る。
【０１７２】
以上説明した一実施の形態によれば、コンテンツファイルのメタデータがない場合であっても、そのときのコンテンツファイルのメタデータを把握させることができる。
【０１７３】
（変形例）
次に、上述した一実施の形態の変形例について説明する。上述した一実施の形態に係るデータベースサーバ３０は、単純化して図示しているが、これらがいくつかのサービス（サーバー、コンピュータ等）が連携したものであってもよい。なお、上述した一実施の形態１に係る情報システム１と同一の構成には同一の符号を付して詳細な説明は省略する。
【０１７４】
図１６は、一実施の形態の変形例に係る情報システム１の概略構成を模式的に示す図である。図１７は、一実施の形態の変形例に係る用語を補足するための図である。上述した一実施の形態では、特に撮影時の情報をリッチ化する説明を特にしてきたが、変形例では、撮影時の設定情報やセンサで検知できる範囲のメタデータ（基本メタデータ）に限定するものではなく、画像データや、撮影に至る状態、撮影中の活動、撮影後の活用で、得られるメタデータの組み合わせの類似によって、画像同士の関連性を決定し、不足しているメタデータを補完し合うことで、全てのメタデータが文脈的に揃った画像群ができるため、それを使ってユーザの撮影に有用なガイドを提供できる。
【０１７５】
まず、図１６では、様々な有用情報をユーザに提供できるだけの豊富なメタデータ類を備えた、活動モデルの構築方法について説明する。
【０１７６】
データベースサーバ９００は、画像（データ）に対して、撮影中の機材・設定のメタデータがついているのみならず、写真を見る、写真を撮りに行こうとする、写真を撮ろうとする、写真を撮る、写真を活用する、などの写真に関する関連活動と、さらにその周辺にある時間や季節、天気、場所や移動、体調や健康、思考や感情などの一連の関連情報を含んだメタデータが付加された画像群に対して、画像やメタデータが類似する画像を関連付け、画像に対してメタデータが不足している場合には、他の画像からの補完によって付加し、活動モデルとして記録する。データベースサーバ９００は、ＨＤＤ、ＳＳＤ、メモリおよびＣＰＵ等のハードウェアを用いて構成される。データベースサーバ９００に全てのデータの実体を持っていても良いし、外部のサーバのデータとの関係性情報だけを持っていても良い。
【０１７７】
活動モデルとしてのデータベースサーバ９００は、有用なガイドが出せる情報であり、必ずしも使われない情報については、あってもなくてもよい。この活動モデルは、図１６におけるデータベースサーバ９００の縦方向に示したメタデータ類を具備して、画像が撮影から活用に至る文脈を表している。なお、活動モデルとしての画像に付加されるメタデータ群の文脈の種類は、類似の対象となる画像の部分やメタデータの項目ごとに、複数のパターンがあってもよい。こうしたいろいろな状況やユーザに対して有用な多くのパターンを持つ「活動モデル」のデータベースを構築できることが、サービス提供者の重要な資産となる。技術的には、図１のデータベースサーバ３０のような構成をとるが、複数のサービスのデータベースが補いあって、仮想的にこうしたモデルが用意されるようにしてもよい。つまり、撮影条件推論が指定された画像と比較するための画像は複数の画像であり、この複数の画像は異なるサーバに管理された類似画像であることを特徴とする第２のサーバ４０等が、こうした働きを担えばよい。
【０１７８】
このような活動モデルは、多くのメタデータ項目を持っているため有効なガイドの材料、情報となり、撮影に至るあらゆる内容やタイミングでガイドが可能である。得られている画像や、現状の場所や感情や思考や機材など照会条件をデータベースサーバ９００と照会して、理想モデルの中から有用なガイドを出力することが可能である。これにより、ユーザの現状をそれに近い理想の状況と比較して、差分を解消するような提案、ガイドを出す。その中では、すべての差分は解消できないので、優先的、現実的なものから提案をすればよい。時間的、場所的な差異がないもの、金銭的な負担の少ないものを選ぶなどの選択の仕方もある。撮影時ライブビュー画像の利用を一例として説明する。クライアント端末１０Ａのように、まだ撮影に至っていないライブビューの画像において、得られている画像をデータベースサーバ９００の活動モデルと照会して、ユーザが新たな活動をおこなうための有用なガイドを出力することが可能である。活動モデルには、撮影機材を買う、撮影知識を学ぶ、旅行や撮影の計画を立てる、旅行や撮影に行く、写真を撮る対象の活動をおこなう、写真を撮る、写真を活用する、などの活動範囲が含まれ、ユーザ以外のパターンも含んだ活動モデルの中から、ユーザの嗜好や現状に応じて最適なパターンが選ばれることで新たな活動へのガイドが可能になる。
【０１７９】
また、このような活動モデルが用意されるだけでなく、目標となる理想モデルを選定する、ユーザの現状を把握する、差分から不足部分を抽出する、抽出したものに優先順位を付ける、ユーザが行動を起こしたくなるような形でガイドを伝達する、という各段階が必要となる。
なお、クライアント端末１０Ａは、上述した一実施の形態に係る端末装置１０と同様の構成を有するため、詳細な説明は省略する。
【０１８０】
ここで、照会とは、情報システム１Ａが、データベースサーバ９００から、クライアント端末１０Ａの情報と、ユーザの過去の活動モデルが記録されたデータベースサーバ９０４と、ユーザの未来の予定情報が記録されたデータベースサーバ９０５に沿った理想モデルを選出し、比較し過不足を抽出することである。即ち、照会とは、複数のデータベースサーバ９００から、クライアント端末１０Ａの情報に沿った理想モデルを選出し、比較し、個々のユーザの現状の状況に相応しいパターンを抽出することである。
【０１８１】
理想モデルの選出方法は、ユーザの現状に対して、全ての活動モデルの中から一般的な幸福度が高い理想モデル候補を選び出し、さらにユーザの過去の活動モデルや嗜好データにもとづき実施に物理的、金銭的、技術的、知識的に無理のない範囲の提案に絞り込むことで、ユーザがこれまで体験したことがないパターンも含めた中から最適な理想モデルを選出することができる。
【０１８２】
これは、実際の撮影中のガイド例だが、撮影に行く前においては、ライブビュー画像がない。ただし、活動モデルとしてのデータベースサーバ９００には、場所や季節の情報も入っているので、ユーザの予定情報と比較参照（照会）して、撮影場所に行く前から、有用なガイド情報を提供できる。まず、そこに行けば、どのような画像が撮れるかが視覚的にわかり、写真を撮りたい気持ちを高めることができる。そのときに撮りたい画像を選択すれば（複数枚でもよい）メタデータの情報から、撮影機材の情報まで分かるので、同様の写真撮影を行うための機材の用意が出発前にできる。前述のように、活動モデルのデータベースサーバ９００には、ユーザに似た撮影者のプロフィールや感情情報が入っていれば、この情報システム１Ａを使って画像鑑賞しているユーザのプロフィールや感情に即したガイドも可能となる。複数の理想モデル状態画像を選べば、それらに共通するガイドを優先して出すなどの工夫もできる。撮るときにはわからないが、何年もあとになってから思い出になる画像かどうか、といった判断も撮影後の感情メタデータなどから類推できる。情報システム１Ａはデータベースサーバ９００、クライアント端末１０Ａのいづれかの中にあってもよいし、別の場所にあってもよい。
【０１８３】
上述した一実施の形態では、推論モデルでメタデータを推論する例を示したが、図１６で示したような画像やデータの比較参照を行ってもよい。一般のカメラ、スマートフォン、ウエアラブルデバイスが連携したＩｏＴ環境（単品でもよい）では、顔画像情報など生体情報は簡単に得られるので、こうした情報から現在のユーザの感情や健康状態が分かり、スケジュール帳から予定などもわかり、状況が分かる。ＳＮＳなどへの投稿履歴から、機材、アクセサリ、よく使う設定や好みなども検出できる。不足している機材やこれから行動する事で満たされる部分などに対してアドバイス情報を提供することができる。この不足状態検出によって、今後の長いスパンでの休暇の確保や費用や健康の管理をアドバイスしてもよく、このアドバイスは、順次、提供されてもよい。
【０１８４】
データベースサーバ９００は、画像を中心とした、機器の情報や設定の情報、撮影中の状況、環境、操作などのメタデータのみならず、撮影前、撮影中、撮影後の、思考・感情・活動のメタデータまでを有した、拡張されたメタデータを概念的に図示したが、必ずしもメタデータの各情報が豊富に存在しない。このため、データベースサーバ９００は、他のデータベースサーバ９０１、データベースサーバ９０２およびデータベースサーバ９０３が記録するメタデータを含む各種情報に基づいて、ガイド作成するために不足する項目を判定し、この判定結果に応じて各メタデータを補充および補足を行ってデータベースサーバ９００に類似するメタデータの情報を作成してもよい。
【０１８５】
データベースサーバ９０１は、ＨＤＤ、ＳＳＤ、メモリおよびＣＰＵ等のハードウェアを用いて構成される。データベースサーバ９０１は、撮影後の活用・感情のメタデータが十分でなくとも、個人が旅行から帰って作るアルバムのように、撮った時（写真撮影前と撮影中）の日記のようなコメントが付いたメタデータ付きメタデータモデルを記録する。
これは、一部のカメラマンはブログなどの記事で、これらをすべて満たしたコンテンツを生成し、公開しているが、一般的にはここまでの情報を画像と関連付けて、その画像の意味を満たしているものは少ない。
データベースサーバ９０１は、撮影機材、撮影機材の設定、環境等の基本メタデータだけでなく、撮影に至る経緯や、思考、感情のメタデータを持った画像データを含むコンテンツデータを記録する。このデータベースサーバ９０１が記録する一連のメタデータによって、画像がどのような経緯で撮影されたか否か、撮影時の設定内容を明らかにすることができる。データベースサーバ９０１は、データベースサーバ９０２が記録する画像データを含むコンテンツデータと機材、設定、状況のメタデータしか持っていないコンテンツデータよりは、実際の文脈がもっとも揃った画像で、例えば、写真愛好家や写真教室のコミュニティサイトなどで公開するものである。データベースサーバ９０２は、文脈的に繋がった多項目のメタデータを直接持っているためデータベースサーバ９００の活動モデルの構築精度を上げるのに有用である。
【０１８６】
ここで、データベースサーバ９０１が記録するコンテンツデータの一例について説明する。
富士山が雪をかぶっていてAEがアンダーになったので、露出補正をプラスにした（被写体を適正に撮るためのレシピ例）。
富士山を撮るときには一般に山肌の表情が分かるように露出を決めるが、富士山を黒くシルエットにして、夕日を主役に印象的に表現した（どの被写体を表現したいかのレシピ例）。
南国の強い日差しを表現するために、建物の影を暗く表現し、扉や窓枠の色彩を濃く調整した（被写体のどんな風に表現したいかのレシピ例）。
心を落ち着かせて感傷的な旅がしたかったのでヨーロッパを訪れた。この思い出を写真に写したいと沈んだ曇り空を大きくフレーミングして撮影した（自分のどんな状況や感情を表現したいかのレシピ例）。
以前母に高山植物の写真を見せたら喜ばれたことがあったので、この花を撮影した（活用方法を想定したレシピ例）。
【０１８７】
データベースサーバ９０２は、ＨＤＤ、ＳＳＤ、メモリおよびＣＰＵ等のハードウェアを用いて構成される。データベースサーバ９０２は、一般的なデジタルカメラまたはスマートフォンで撮影した画像データと基本メタデータ（機材、環境、設定等）とが関連付けられたコンテンツデータを記録する。
【０１８８】
データベースサーバ９０３は、ＨＤＤ、ＳＳＤ、メモリおよびＣＰＵ等のハードウェアを用いて構成される。データベースサーバ９０３は、基本メタデータを削除された画像データを含むコンテンツデータを記録する。多くのＳＮＳでは、プライバシーの観点から画像データに関連付けられたメタデータを削除することが知られている。ＳＮＳは、非常に普及したメディアであり、大量の画像データとユーザが存在し、活発なコミュニケーションによって大量のコンテンツが形成されている。一方、多くのユーザに閲覧されリツイートおよびコメント、いいね、等の活用メタデータが付与されるため、画像データと活用内容との関係の教師データにすることができる。これは、コミュニティに設けられたコメント書き込み機能を駆使して、多くの鑑賞者のコメント、さらに撮影者の応答などが得られる。このため、データベースサーバ９０３が記録するコンテンツデータは、撮影後の活用・感情のメタデータがデータベースサーバ９０２およびデータベースサーバ９０１のメタデータよりリッチとなっている。こうした状況を整理してデータの補い合い（類似画像の各データを参照し合って補う、あるいはメタデータが類似だから参照し、抜けているデータを補う、画像とメタデータの一部の関係が似ていることから他のデータを補う）ができれば、データベースサーバ９００の活動モデルを構成するのに有用である。
【０１８９】
ここで、データベースサーバ９０３が記録するコンテンツデータのコメント（共感）の一例について説明する。
富士山の荒々しい立体感がハッキリ見えて彫刻的で美しい。
夕陽が綺麗な富士山の写真をみていたら、泊り掛けの旅行にいきたくなった。
冬の窓際で写真を見ていたら、日差しの強さを一瞬感じることができた。
この写真を見ていると心が落ち着く。無理に元気づけないのが心地よい。
いつも花の写真を見せてくれて気にかけてくれて嬉しい。
【０１９０】
このようにデータベースサーバ９０１、データベースサーバ９０２およびデータベースサーバ９０３は、データ量やアクセスする人の数を概念的に示すと、図１６に示す三角形Ｔ１００の関係となるが、少量のデータに対し、大量のデータが情報補足できる状況を示した。こうしてリッチ化された画像データを含むコンテンツデータとメタデータのモデルを使えば、ユーザに対して、きめの細やかなアドバイス（長期間にわたってシーケンシャルに情報出しする等）を含むガイドを提示することができる。
【０１９１】
なお、図１６では、撮影のときに参考になる情報の例を示している。同じ画像を撮影する時でも、撮影に際しての思考、感情、テクニック、操作が出れば助けになる場合がある。さらに、さらにその画像を見たときに、第三者やフォロアーから得られる感想（自分で何年かたってから感じた事など）を提示可能であることを示した。ユーザの行動は自分の知っている機能や表現に偏ってしまったりしがちであるが、多様な可能性を持った活動モデルの中から、ユーザの状況に応じて、かつ実現可能で、新しい機能や体験となるガイドが可能になる。
【０１９２】
ここでは、一般的なコンシューマのデジタルカメラで撮影した例を説明したが、専門的な科学的画像や医用画像でも、撮影者視点での注意点と、それを参考にして、研究をする人の感想を同時に（一方でも良い）参照して撮影が可能になり、より多くの人が参考にしたくなる画像撮影を促進できる。
撮影時の機材の設定だけでなく、その準備段階まで一連の文脈として紐づけることで、より高い再現性や意図的な差異の派生などが可能になる。また問題があった場合の原因発見にも利用することができる。
【０１９３】
端末装置１０は、撮影中の状態で、撮影前であるが、撮影場所が分かっていて、ライブビュー画像に被写体が映っている状態である。また何らかの現設定がカメラにされている。また移動前であっても行動予定が予め分かっているのであれば予定情報を利用しても良い。端末装置１０は、撮影時に生成されるライブビュー画像と関連する環境データ、行動データ、感情データからなる現状データを情報システム１Ａに送信し、データベースサーバ９００とデータベースサーバ９０４と、データベースサーバ９０５とマッチングを行わせ理想モデルを選定する。さらに、理想モデルに対して現状の不足部分を抽出し、ガイドを提示する。データベースサーバ９０４およびデータベースサーバ９０５は、ＨＤＤ、ＳＳＤ、メモリおよびＣＰＵ等のハードウェアを用いて構成される。
【０１９４】
以上説明した一実施の形態の変形例によれば、ユーザが画像情報に触れることで、さまざまな情報とつながり、ユーザの行動につながっていくように促すことができる。
【０１９５】
また、一実施の形態の変形例によれば、撮影行動だけを誘発することに限定しないが、写真撮影を通して発見性・幸福感を感じられるようにすることに注力させることができる。メタデータには失敗や試行錯誤、長年の努力などの情報、そこから成功に変化したプロセスが記載されているもがあり、そのことがユーザの発見性・幸福感にとって重要であれば失敗や試行錯誤、努力の過程を許容するようなガイドを提供することもできる。
【０１９６】
また、一実施の形態の変形例によれば、撮影がカメラ操作だけでは成り立たないため、活動の総合体として、画像データに関連付けられたメタデータ（情報）が、活動情報、撮影情報、活用情報をまとめて扱うことができる。
【０１９７】
また、一実施の形態の変形例によれば、全ての画像のメタデータを豊かにするための手段として、削除されたメタデータの情報の復元または推論による復元や、その後に付く情報の追加されるメタデータを推論することができる。推論によって付加されたメタデータとオリジナルのメタデータは同様に利用することができるが、表示や利用にあたってオリジナルのメタデータの方を優先して使うなど扱いの比重を変えたりしても良い。
【０１９８】
また、一実施の形態の変形例によれば、メタデータを豊かに持ったデータベースサーバ９０１、データベースサーバ９０２およびデータベースサーバ９０３の各々からパターンを抽出し、メタデータの乏しい画像データに対して豊かなメタデータを推論して付加することができる。メタデータを推論するにあたり、例えばすでにメタデータを持つ画像のSNSでの評判が高いなどの特徴によって、メタデータの乏しい画像のメタデータを推論するときに参照する比重を変えたりしても良い。
【０１９９】
また、一実施の形態の変形例によれば、ユーザがこれから活動や撮影をおこなう場合に、成功パターンと比較して、不足している要素を表示することで、ユーザを成功（幸福）に導くガイドを提示することができる。
【０２００】
また、一実施の形態の変形例によれば、旅行に行く前にレンズ購入をレコメンドしたり、少し移動すると出会える風景と移動手段を表示したり（絶景時間に合わせた旅行ガイド）、撮影中に設定を変更した場合のサンプルの表示したり等のガイドを提示することができる。
【０２０１】
また、一実施の形態の変形例によれば、ユーザに提供する情報は、ユーザの個性情報や状況情報も利用して、最適な内容のガイドを提供してもよい。
理想シナリオの中には、カメラが自動で設定を変えるいわゆるオートで実行した方が良い項目と、ユーザ自身が設定や調整をおこなった方が幸福になれる項目が含まれているが、ユーザの現状や撮影状況から、カメラが自動で設定した方が良いと判断した場合、またはユーザ自身がおこなった方が良いと判断される場合は、元のメタデータの内容を変更することができる。
【０２０２】
また、一実施の形態の変形例によれば、ユーザに対して、最適な形式でガイドを提供するため、文脈をベースにした時系列や関係性を持ったシナリオとして表示させることができる。
【０２０３】
また、一実施の形態の変形例によれば、現在持っている機材の情報を利用したり、旅行の日程や現在の場所などの情報を利用したり（活動・生体センサの情報からより詳細なユーザの状況を把握しても良い）、ユーザの思考や感情といった外部のサービスと共通のキーワードによって連携して、例えば撮影に合わせたＢＧＭとしてテーマ音楽などを提供したりしてもよい。
【０２０４】
（その他の実施の形態）
上述した本開示の一実施の形態に係る情報提供システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態に係る情報提供システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る情報提供システムで説明した構成要素を適宜組み合わせてもよい。
【０２０５】
また、本開示の一実施の形態に係る情報提供システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
【０２０６】
また、本開示の一実施の形態に係る情報提供システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０２０７】
また、本開示の一実施の形態に係る情報提供システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
【０２０８】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。その場合、ユーザにマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。
【０２０９】
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【符号の説明】
【０２１０】
１、１Ａ・・・情報システム；１０・・・端末装置；１０Ａ・・・クライアント端末；１１・・・撮像部；１２・・・時刻部；１３・・・位置情報取得部；１４・・・操作部；１５，２１，３１，４１・・・通信部；１６・・・表示部；１７，２２，３２，４７・・・記録部；１８・・・連携機器判定部；１９・・・端末制御部；２０・・・第１のサーバ；２３・・・第１のサーバ制御部；３０，９００，９０１，９０３，９０４，９０５・・・データベースサーバ；３３・・・データベース；３４・・・データベース制御部；４０・・・第２のサーバ；４２・・・推論部；４３・・・判定部；４４・・・シナリオ作成部；４５・・・操作判定部；４６・・・推論モデル；４８・・・第２のサーバ制御部；１０１・・・メタデータ；１７１，２２１，３２１，４７１・・・プログラム記録部；１７２・・・画像ファイル記録部；１９１・・・操作判定部；１９２・・・パラメータ設定部；１９３・・・記録制御部；１９４，２３１，３８１，４８１・・・表示制御部；２２２・・・画像ファイル記録部；２２３・・・ユーザ情報記録部；３４１・・・管理部
【図１】
2020194472.tif 000003
【図２】
2020194472.tif 000004
【図３】
2020194472.tif 000005
【図４】
2020194472.tif 000006
【図５】
2020194472.tif 000007
【図６】
2020194472.tif 000008
【図７】
2020194472.tif 000009
【図８】
2020194472.tif 000010
【図９】
2020194472.tif 000011
【図１０】
2020194472.tif 000012
【図１１】
2020194472.tif 000013
【図１２】
2020194472.tif 000014
【図１３】
2020194472.tif 000015
【図１４】
2020194472.tif 000016
【図１５】
2020194472.tif 000017
【図１６】
2020194472.tif 000018
【図１７】
2020194472.tif 000019