(57)【要約】【課題】画像の特徴に応じた文字情報を、メタデータとして画像に付与する作業を効率化するとともに、画像の特徴に適したメタデータが付与された画像を蓄積することを課題とする。【解決手段】コンピュータに、文字情報に対応付けられた第一の画像に類似する第二の画像を特定し、前記第二の画像を識別可能な態様で表示装置に表示させるとともに、前記文字情報を該表示装置にさらに表示させ、前記第二の画像に対する前記文字情報の採用を指示する指示情報を受付け、前記指示情報に基づいて、前記第二の画像に関する画像情報と前記文字情報とを対応付けて、記憶装置に記憶する処理を実行させることを特徴とする画像蓄積プログラム。【選択図】図１
2013152543.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに、
文字情報に対応付けられた第一の画像に類似する第二の画像を特定し、
前記第二の画像を識別可能な態様で表示装置に表示させるとともに、前記文字情報を該表示装置にさらに表示させ、
前記第二の画像に対する前記文字情報の採用を指示する指示情報を受付け、
前記指示情報に基づいて、前記第二の画像に関する画像情報と前記文字情報とを対応付けて、記憶装置に記憶する
処理を実行させることを特徴とする画像蓄積プログラム。
【請求項２】
前記文字情報は、前記第一の画像で視認される物体または状態を表す文字列であって、
前記コンピュータは、
前記記憶する処理において、
前記文字情報を前記第二の画像で視認される物体または状態を表す文字列として記憶する処理を実行させる請求項１記載の画像蓄積プログラム。
【請求項３】
前記第一の画像と前記第二の画像とは一の映像に含まれており、
前記第二の画像を特定する処理において、前記コンピュータに、
前記第一の画像の第一の特徴量を算出し、
前記第二の画像の候補となる候補画像について、第二の特徴量を算出し、
前記第一の特徴量と、前記第二の特徴量との差分、および前記映像における前記第一の画像が取得された時間と前記候補画像が取得された時間との差分に基づいて、評価値を算出し、
算出した前記評価値に基づいて、前記候補画像の中から、前記第一の画像に類似する前記第二の画像を特定する処理を実行させる請求項１または２記載の画像蓄積プログラム。
【請求項４】
前記コンピュータに、
前記第二の画像を特定する処理に先駆けて、
第三の画像に含まれる複数の領域を、複数の前記第一の画像として受付け、
前記評価値を算出する処理において、
前記候補画像において、前記複数の領域のそれぞれと類似する領域の個数に応じて、前記評価値を算出することを特徴とする請求項３記載の画像蓄積プログラム。
【請求項５】
前記コンピュータに、さらに、
前記映像に含まれる複数の画像を、複数の画像群に分類し、
前記第二の画像を特定する処理において、
前記複数の画像群のそれぞれから前記候補画像を抽出し、前記第一の画像に類似する前記第二の画像を特定する処理を実行させる請求項３または請求項４記載の画像蓄積プログラム。
【請求項６】
前記画像群に分類する処理において、
前記映像のシーン変化に基づいて、各々のシーンごとに前記複数の画像群に分類し、
前記記憶する処理の後に、
前記第二の画像と同じ画像群に含まれる該第二の画像以外の画像を表示する処理を実行させる請求項５記載の画像蓄積プログラム。
【請求項７】
前記コンピュータに、
前記第二の画像を特定する処理において、
前記評価値が閾値以上である前記候補画像を、前記第一の画像に類似する前記第二の画像として特定する処理を実行させることを特徴とする請求項３乃至請求項６のいずれか一項に記載の画像蓄積プログラム。
【請求項８】
前記第二の画像は、第四の画像の一部領域の画像である場合に、
前記コンピュータに、前記表示する処理において、
前記第四の画像上に、前記第二の画像の領域が識別可能な形態で表示させる処理を実行させるとする請求項１乃至７のいずれか一項に記載の画像蓄積プログラム。
【請求項９】
前記コンピュータに、さらに、
前記第二の画像が複数特定された場合に、複数の第二の画像の表示順序を決定する処理を実行させることを特徴とする請求項１乃至請求項８のいずれか一項に記載の画像蓄積プログラム。
【請求項１０】
コンピュータが、
文字情報に対応付けられた第一の画像に類似する第二の画像を特定し、
前記第二の画像を識別可能な態様で表示装置に表示させるとともに、前記文字情報を該表示装置にさらに表示させ、
前記第二の画像に対する前記文字情報の採用を指示する指示情報を受付け、
前記指示情報に基づいて、前記第二の画像に関する画像情報と前記文字情報とを対応付けて、記憶装置に記憶する
処理を実行することを特徴とする画像蓄積方法。
【請求項１１】
文字情報に対応付けられた第一の画像に類似する第二の画像を特定する特定部と、
前記第二の画像を識別可能な態様で表示装置に表示させるとともに、前記文字情報を該表示装置にさらに表示させる生成部と、
前記第二の画像に対する前記文字情報の採用を指示する指示情報を受付る受付部と、
前記指示情報に基づいて、前記第二の画像に関する画像情報と前記文字情報とを対応付けて、記憶部に記憶する記憶制御部とを有することを特徴とする画像蓄積装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書に開示する技術は、メタデータとしての文字情報が関連付けられた画像を蓄積する技術に関する。
【背景技術】
【０００２】
従来、画像に対して、画像の特徴に応じたメタデータを付与する技術がある。なお、メタデータとは、画像に対する付加的なデータであって、画像に関連する情報を記述したデータである。例えば、映像を構成する複数の画像に対してメタデータを付与することで、映像を管理する技術がある。あるメタデータ編集装置は、映像における場面の切り替わりを検出する。そして、ユーザより、各々の場面の先頭画像に対するコメントが入力されると、メタデータ編集装置は、各先頭画像と入力されたコメントを対応付けて管理する（例えば、特許文献１）。なお、コメントがメタデータに相当する。
【０００３】
一方、画像に写っている物体を識別する技術がある。例えば、ある顔識別装置は、特定の人物の顔が写っている複数の画像から、当該特定の人物の顔に関する特徴量を算出する。そして、顔識別装置は、特定の人物の人名と算出した特徴量とを記憶する。次に、顔識別装置は、顔識別処理の対象として受け付けた画像から抽出した特徴量と、予め算出された特徴量とに基づいて、画像に写っている人物を識別する（例えば、特許文献２）。
【０００４】
さらに、利用者により指定された画像に類似する画像を、複数の画像から検索する技術がある。例えば、ある類似画像の検索装置は、映像中のあるフレーム画像を参照画像とし、他のフレーム画像と参照画像とを逐一比較する。そして、ある類似画像の検索装置は、比較した結果、相関の高い画像を参照画像と同じクラスタに属する画像として検出する（例えば、特許文献３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３４８５５３号公報
【特許文献２】特開２０１０−７２７０８号公報
【特許文献３】特開平０８−２４９４６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献２などの物体識別の技術では、識別対象の特徴量を事前に準備する必要があるが、特徴量の算出の為には、画像を大量に収集する必要がある。なお、以下、物体識別の技術において、事前に準備される識別対象毎の特徴量を辞書値と称する。
【０００７】
そこで、特許文献１などのように、メタデータと画像とが対応付けて予め管理されていれば、辞書値を算出する対象の画像を容易に収集することができる。例えば、メタデータが、画像に写っている物体の物体名であれば、蓄積された画像群から、特定の物体が写っている画像を効率的に抽出することができる。そして、抽出した画像を用いて、当該特定の物体に関する辞書値を求めることができる。
【０００８】
特許文献１などの技術では、ユーザが、大量の画像に対して、各々メタデータを付与する作業を行わなければならない。
【０００９】
そこで、例えば、特許文献３などの類似画像検索を利用することで、画像に対するメタデータの付与作業の負担を軽減することが考えられる。例えば、ユーザが、参照画像として、識別対象の物体が写る画像を与えることで、類似画像検索装置が、参照画像に類似画像を検索する。そして、類似画像には、参照画像に写る物体名と同一の物体名を付与することで、参照画像と類似画像とに、物体名をメタデータとして付与することができる。
【００１０】
しかし、参照画像と類似する類似画像は、あくまでも類似であって、必ずしも、参照画像のメタデータが、類似画像の特徴に対して適切であるとは限らない。例えば、参照画像に写っている物体と異なる物体が写っているにも関わらず、検索された類似画像に同じ物体名を付与してしまう場合がある。
【００１１】
そこで、本実施例に開示の技術は、画像の特徴に応じた文字情報を、メタデータとして画像に付与する作業を効率化するとともに、画像の特徴に適したメタデータが付与された画像を蓄積することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決する為に、本発明に開示する画像蓄積プログラムは、コンピュータに、文字情報に対応付けられた第一の画像に類似する第二の画像を特定し、前記第二の画像を識別可能な態様で表示装置に表示させるとともに、前記文字情報を該表示装置にさらに表示させ、前記第二の画像に対する前記文字情報の採用を指示する指示情報を受付け、前記指示情報に基づいて、前記第二の画像に関する画像情報と前記文字情報とを対応付けて、記憶装置に記憶する処理を実行させる。
【発明の効果】
【００１３】
本発明の一観点によれば、画像の特徴に応じた文字情報を、メタデータとして画像に付与する作業を効率化するとともに、画像の特徴に適したメタデータが付与された画像を蓄積することが可能になる。
【図面の簡単な説明】
【００１４】
【図１】図１は、実施例１に係る画像蓄積装置の機能ブロック図である。
【図２】図２（ａ）乃至図２（ｃ）は、記憶部のデータテーブル例を示す図である。
【図３】図３は、実施例１に係る画像蓄積処理のフローチャートである。
【図４】図４は、実施例１における参照画面の画面イメージである。
【図５】図５は、実施例１における確認画面の画面イメージである。
【図６】図６は、実施例１に係る類似画像特定処理のフローチャートである。
【図７】図７は、候補領域を設定する処理を説明するための図である。
【図８】図８は、実施例２に係る画像蓄積装置の機能ブロック図である。
【図９】図９は、実施例２に係る画像蓄積処理のフローチャートである。
【図１０】図１０は、実施例２に係る類似画像特定処理のフローチャートである。
【図１１】図１１は、実施例３に係る画像蓄積処理のフローチャートである。
【図１２】図１２は、実施例３における参照画面の画面イメージである。
【図１３】図１３は、実施例３に係る類似画像特定処理のフローチャート（その１）である。
【図１４】図１４は、実施例３に係る類似画像特定処理のフローチャート（その２）である。
【図１５】図１５は、実施例３に係る類似画像特定処理のフローチャート（その３）である。
【図１６】図１６Ａおよび図１６Ｂは、実施例４を説明する為の図である。
【図１７】図１７は、実施例４に係る確認画面の生成処理のフローチャートである。
【図１８】図１８は、画像蓄積装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下詳細な本発明の実施例に関して説明する。なお、以下の各実施例は、処理の内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下に開示する各実施例において、メタデータとして文字情報が画像に付与される。そして、文字情報は、画像に写っている物体の名称や、シーンの名称、状態の名称等である。
【００１６】
（実施例１）
実施例１は、複数の画像に文字情報を対応付けて記憶する画像蓄積装置および画像蓄積方法を開示する。
【００１７】
図１は、実施例１に係る画像蓄積装置の機能ブロック図である。画像蓄積装置１は、ネットワークを介して、端末装置３と通信する。また、画像蓄積装置１は、ネットワークを介して画像ストレージＡ４−１または映像ストレージＡ４−２と通信する。なお、画像蓄積装置１は、ネットワークを介さずに、画像ストレージＢ５−１や映像ストレージＢ５−２と直接通信してもよい。ネットワークは、例えば、インターネット、携帯電話網、電話網等の通信網である。通信網は、有線通信網または無線通信網である。
【００１８】
画像蓄積装置１は、画像に文字情報を対応付けて蓄積するコンピュータである。
【００１９】
端末装置３は、画像蓄積装置１を管理する管理者または作業者が操作するコンピュータである。以下、端末装置３を操作する管理者または作業者をユーザと称する。
【００２０】
画像ストレージＡ４−１は、画像を管理する装置である。画像ストレージＡ４−１は、インターネット上に公開された画像を記憶する。なお、画像ストレージＡ４−１は、複数であってもよい。映像ストレージＡ４−２は、複数のフレーム画像からなる映像を管理する装置である。映像ストレージＡ４−２は、インターネット上に公開された映像を記憶する。なお、映像ストレージＡ４−２は、複数であってもよい。
【００２１】
画像ストレージＢ５−１は、画像を管理する装置である。画像ストレージＢ５−１は、ユーザにより記憶された画像を記憶する。映像ストレージＢ５−２は、複数のフレーム画像からなる映像を管理する装置である。映像ストレージＢ５−２は、ユーザにより記憶された映像を記憶する。
【００２２】
なお、画像蓄積装置１は、画像ストレージＡ４−１、映像ストレージＡ４−２、画像ストレージＢ５−１、映像ストレージＢ５−２の少なくとも一つと通信できればよい。以下、特に区別する必要がある場合を除いて、画像ストレージＡ４−１、映像ストレージＡ４−２、画像ストレージＢ５−１、映像ストレージＢ５−２をまとめて、画像ストレージと称する。
【００２３】
画像蓄積装置１は、通信部１０と、制御部１１と、記憶部１２とを有する。通信部１０は、受付部１４と出力部１３とを有する。制御部１１は、特定部１５と、生成部１６と、記憶制御部１７とを有する。なお、画像ストレージＢ５−１と映像ストレージＢ５−２は、画像蓄積装置１に含まれるとしても良い。
【００２４】
受付部１４は、他の装置から情報を受け付ける処理部である。例えば、端末装置３から参照画像と文字情報とを受信する。参照画像は、文字情報が対応付けられた画像であって、後述する類似画像特定処理において参照される画像である。
【００２５】
出力部１３は、他の装置へ情報を出力する処理部である。例えば、出力部１３は、端末装置３に画面情報を出力する。画面情報は、端末装置３が表示する画面に関する情報であって、端末装置３における画面描画処理の対象となる情報である。
【００２６】
特定部１５は、文字情報が対応づいた参照画像と類似する類似画像を特定する処理部である。なお、類似画像を特定する処理については、後述する。
【００２７】
生成部１６は、画面情報を生成する処理部である。例えば、生成部１６は、特定部１５により特定された類似画像を端末装置３に表示させる為の画面情報を生成する。
【００２８】
記憶制御部１７は、指示情報に基づいて、類似画像と文字情報とを対応付けて、記憶部１２に記憶する処理部である。なお、指示情報とは、類似画像と文字情報との整合性を保証する情報であって、端末装置３を介して、ユーザに類似画像と文字情報とを確認させた結果入力される情報である。例えば、指示情報は、文字情報が物体名である場合には、類似画像に描画された物体が、参照画像に写る物体と一致することが保証される情報である。
【００２９】
記憶部１２は、画像情報と、文字情報とを対応付けて記憶する記憶部である。なお、画像情報は、画像ファイルや、当該画像の所在を示す識別情報である。また、画像情報は、画像が映像を構成するフレーム画像である場合は、フレーム番号であってもよい。例えば、記憶部１２は、記憶制御部１７の制御の下、類似画像に関する画像情報と、文字情報とを対応付けて記憶する。
【００３０】
なお、端末装置３が画像蓄積装置１の機能を有してもよい。
【００３１】
図２（ａ）乃至図２（ｃ）は、記憶部１２が記憶するデータテーブル例である。記憶部１２は、文字情報と画像情報とを対応付けて格納する。
【００３２】
図２（ａ）Ａは、画像情報として、画像ファイルを記憶する場合のデータテーブルである。図２（ａ）の例では、記憶制御部１７の制御により、記憶部１２は、文字情報「Ａ」と対応付けて、画像ファイル「ｆｉｌｅ＿００１」「ｆｉｌｅ＿００２」とを対応付けて管理する。例えば、文字情報が物体名である場合に、画像ファイル「ｆｉｌｅ＿００１」の画像は、物体Ａが写る画像である。
【００３３】
また、画像ファイル「ｆｉｌｅ＿００１」の画像は、他の画像ファイルの画像から、一部領域が切り出された画像の画像ファイルであってもよい。例えば、物体Ａ（物体名「Ａ」）と物体Ｘ（物体名「Ｘ」）とが写る画像の内、物体Ａが写る領域の画像が、画像ファイル「ｆｉｌｅ＿００１」として蓄積されてもよい。一方、物体Ａ（物体名「Ａ」）と物体Ｘ（物体名「Ｘ」）とが写る画像の全体を「ｆｉｌｅ＿００１」として蓄積してもよい。
【００３４】
図２（ａ）のように、各々の文字情報に画像ファイルを対応付けて記憶することで、画像蓄積装置１は、外部の画像ストレージ上で画像が削除された場合でも、画像ファイルを保管することができる。
【００３５】
また、図２（ｂ）には、記憶部１２が記憶する他のデータテーブル例を示す。図２（ｂ）は、画像情報として画像の所在を示す識別情報を記憶する場合のデータテーブルである。図２（ｂ）の例では、文字情報「Ａ」に関連する画像は、「ａｂｃ￥ｄｅｆ￥ｇ」「ａｂｃ￥ｄｅｆ￥ｈ」に格納されていることが示されている。例えば、識別情報として、各画像ストレージでのパスやアドレスが記憶される。特に、記憶部１２が識別情報を記憶することで、画像ファイルを記憶する場合と比べて、画像蓄積装置１は、記憶部１２のメモリ量を削減できる。
【００３６】
さらに、図２（ｃ）には、記憶部１２が記憶する他のデータテーブル例を示す。図２（ｃ）は、画像情報として画像の所在を示す識別情報を記憶するとともに、さらに、範囲情報を記憶する場合のデータテーブルである。範囲情報とは、文字情報に対応する画像の領域を示す情報である。図２（ｃ）の例では、文字情報「Ａ」に関連する画像は、「ａｂｃ￥ｄｅｆ￥ｇ」から取得できること、さらに当該画像の「ｘ１からｘ２まで」「ｙ１からｙ２まで」の領域が、文字情報「Ａ」に関連する画像の領域であることが示されている。
【００３７】
なお、範囲情報は、図２（ｃ）の例では、水平方向と垂直方向との各々について、下限座標と上限座標とを有する情報として、記載しているが、これに限られるものではない。例えば、領域を形成する各頂点の座標を複数記憶する形態でもよい。なお、以下の説明においては、記憶部１２は、図２（ａ）のデータテーブルを記憶するとして説明を行うが、他の構成のデータテーブルを採用する場合は、適宜処理が変更される場合もある。
【００３８】
続いて、画像蓄積処理の処理フローについて、図３を用いて説明する。
【００３９】
受付部１４は、画像ストレージから複数の画像を取得する（Ｏｐ．１）。なお、Ｏｐ．１に先駆けて、画像ストレージに対して検索条件を入力し、検索条件に合致する複数の画像を取得することとしてもよい。例えば、検索条件は、画像の撮影日時や、静止画または映像の指定、キーワードなどである。キーワードとしては、映像の場合は、映像全体に付与されたタイトル、静止画像の場合は、複数の静止画像を含むアルバム全体に付与されたタイトルなどがある。
【００４０】
そして、生成部１６は、参照画面を端末装置３が描画するための画面情報を生成する。参照画面は、画像蓄積装置１が取得した複数の画像のうち少なくとも一つ以上の画像を表示する画面である。なお、詳細は後述する。出力部１３は、参照画面の画面情報を端末装置３に送信することで、端末装置３に画像を表示させる（Ｏｐ．３）。
【００４１】
なお、端末装置３は、画像蓄積装置１から受信した画像のうち少なくとも一つの画像を表示する。そして、端末装置３は、表示画像または表示画像の一部領域の画像の指定を、ユーザから受け付ける。指定された画像または、指定された一部領域の画像が参照画像となる。さらに、端末装置３は、ユーザから、参照画像に対する文字情報の入力を受け付ける。
【００４２】
ここで、図４を用いて、端末装置３に表示される参照画面を説明する。図４は、参照画面の画面イメージである。なお、参照画面は、生成部１６が生成した画面情報に基づいて描画される。参照画面４１は、表示領域４２と、表示領域４３と、入力領域４４と、操作ボタン４５および４６と、開始ボタン４８とを有する。なお、参照画面４１はこれらすべてを含む必要はなく、例えば、表示領域４２と入力領域４４とを含む画面であってもよい。
【００４３】
表示領域４２は、画像蓄積装置から受信した画像が表示される領域である。例えば、図４の例では、丸で示した物体と、四角で示した物体が写る画像「００１」が表示されている。そして、表示領域４２に表示された画像の少なくとも一部の領域が、ユーザにより指定される。例えば、図４の例では、丸で示した物体を含む領域４７が、ユーザの操作により指定される。また、端末装置３は、表示画像にて、一部の領域が指定されなかった場合は、表示画像全体が指定されたとみなす。
【００４４】
表示領域４３は、ユーザが、文字情報を入力する操作を支援するための支援情報が表示される領域である。支援情報として、文字情報の候補が複数表示される。さらに、支援情報は、各文字情報に対応する見本画像を含んでもよい。
【００４５】
例えば、文字情報が物体名である場合に、表示領域４３は、物体名を複数表示する。ユーザは、複数表示された文字情報の候補の中から、一の文字情報を選択することで、文字情報を入力領域４４に入力する必要がなくなる。さらに、支援情報によれば、文字情報のゆれを吸収することができる。つまり、ある物体に対して、異なる表現の文字情報が入力される可能性を低減する。なお、支援情報は、画像蓄積装置１から画像情報の一部として取得してもよいし、端末装置３が備える記憶領域から取得されてもよい。
【００４６】
入力領域４４は、参照画像に対応する文字情報が入力される領域である。例えば、支援情報から選択された文字情報が、入力領域に設定される。また、ユーザが入力した文字列が、文字情報として入力領域に設定される。予め、文字情報が対応付けられている画像が参照画像として指定された場合には、当該文字情報が表示されるとしてもよい。図４は、丸で示す物体を含む領域４７の参照画像に対して、「物体名Ｓ」が入力された例を示している。
【００４７】
操作ボタン４５および４６は、表示領域に表示された表示画像を、他の表示画像に変更する指示を、ユーザから受け付けるためのボタンである。例えば、操作ボタン４６が参照画面を介して選択されることで、表示領域４２に表示される表示画像は「画像００１」から「画像１００」に変更される。
【００４８】
開始ボタン４８は、参照画像と文字情報とを、画像蓄積装置１へ送信する指示を、ユーザから受け付けるためのボタンである。例えば、開始ボタン４７が画面を介して選択されることで、端末装置３は、参照画像４７と、文字情報「物体名Ｓ」とを、画像蓄積装置１へ送信する。つまり、開始ボタン４８は、画像蓄積装置に、類似画像特定処理の開始を指示するためのボタンでもある。
【００４９】
なお、端末装置３は、開始ボタン４８が操作された場合に、参照画像のファイル名や識別情報を、画像蓄積装置１へ送信してもよい。さらには、参照画像が、ある画像の一部領域に相当する場合は、端末装置３は、範囲情報も画像蓄積装置１へ送信してもよい。
【００５０】
図３の説明に戻る。受付部１４は、端末装置３から、参照画像および文字情報を受信する（Ｏｐ．５）。例えば、受付部１４は、図４における画像「００１」の領域４７の参照画像と、文字情報「物体名Ｓ」を受信する。
【００５１】
記憶制御部１７は、受付部１４から参照画像および文字情報を受け取り、記憶部１２へ格納する（Ｏｐ．７）。なお、受け取った文字情報と同じ文字情報が、記憶部１２に存在する場合には、該当する文字情報に対応付けて、参照画像の画像ファイルを記憶する。一方、記憶制御部１７は、受け取った文字情報と同じ文字情報が、記憶部１２に存在しない場合には、記憶部１２に新たなレコードを作成する。そして、新たなレコードに文字情報と参照画像の画像ファイルとを対応付けて記憶する。
【００５２】
特定部１５は、参照画像に類似する類似画像を特定する（Ｏｐ．９）。なお、類似画像を特定する処理については、後述する。
【００５３】
生成部１６は、特定した類似画像を表示する確認画面の画面情報を生成する（Ｏｐ．１１）。確認画面は、類似画像を端末装置３のユーザに確認させるためのである。よって、画面情報には、特定した類似画像に係る画像情報と、Ｏｐ．５で受信した参照画像に対する文字情報とが含まれる。出力部１３は、確認画面の画面情報を端末装置３に送信することで、端末装置３に確認画面を表示させる（Ｏｐ．１３）。
【００５４】
ここで、図５を用いて、端末装置３に表示される確認画面を説明する。図５は、確認画面の画面イメージである。なお、確認画面は、画像蓄積装置１がＯｐ．１１で生成した画面情報に基づいて、端末装置３にて描画される。確認画面５１は、表示領域５２と、表示領域５４と、指示ボタン５５および５６と、操作ボタン５７および５８とを有する。なお、表示画面はこれらすべてを含む必要はなく、例えば、表示領域５２と表示領域５４とを含む画面であってもよい。
【００５５】
表示領域５２は、画像蓄積装置１が特定した類似画像を表示する。例えば、図５の例では、類似画像として領域５３で示した画像が特定された例を示す。類似画像５３を含む「画像２００」が、表示領域５２に表示される。
【００５６】
類似画像がある画像の一部領域である場合には、元の画像中に矩形５３を表示することで、ユーザは、より類似画像を確認しやすくなる。画像情報に類似画像の領域を示す範囲情報が含まれた場合に、当該範囲情報に相当する領域に矩形が表示される。
【００５７】
なお、類似画像の領域が識別可能な表示形態であれば、図５の矩形表示以外の方法でもかまわない。例えば、類似画像に相当する領域をカラーで表示し、他の領域をモノクロで表示するなどしてもよい。なお、確認画面を閲覧するユーザは、矩形領域５３を拡大、縮小、または変形させてもよい。ユーザがマウス等を操作することで、矩形領域５３は変更される。
【００５８】
一方、端末装置３は、類似画像のみを、表示領域５３に表示してもよい。
【００５９】
表示領域５４は、文字情報が表示される領域である。つまり、画像蓄積装置１が類似画像を特定する際に用いた参照画像に対応づけられた文字情報が、表示される。ユーザは、表示領域５２に表示された類似画像と、表示領域５４に表示された文字情報とを、確認画面で確認する。そして、ユーザは、類似画像が、文字情報に対して適切であるか否かを確認することができる。
【００６０】
指示ボタン５５および５６は、類似画像が文字情報に対して適切であるかの判定結果を、ユーザから受け付けるためのボタンである。例えば、類似画像が文字情報に対して適切である場合には、ユーザは指示ボタン５５が確認画面を介して選択する。指示ボタン５５が選択された場合には、端末装置３は、類似画像と文字情報とが適切であることを示す指示情報を生成する。一方、指示ボタン５６が確認画面を介して選択されることで、類似画像と文字情報とが適切でないことを示す指示情報を、端末装置３が生成する。
【００６１】
例えば、文字情報が物体名である場合には、類似画像に写っている物体と、表示された物体名とが合致していれば、指示ボタン５５が選択される。なお、端末装置３は、指示ボタン５５が押下された場合にのみ、指示情報を生成するとしてもよい。
【００６２】
操作ボタン５７および５８は、表示領域５２に表示された類似画像を、他の類似画像に変更する指示を、ユーザから受け付けるためのボタンである。例えば、操作ボタン５８が画面を介して選択されることで、表示領域５２に表示される画像は「画像２００」から「画像３００」に変更される。なお、指示ボタン５５または５６が押下された場合に、他の類似画像に表示が切り替わる構成でもよい。
【００６３】
図３の説明に戻る。受付部１４は、端末装置３から、指示情報を受信する（Ｏｐ．１５）。つまり、受付部１４は、類似画像に対して文字情報が適切であるかを示す指示情報を受信する。指示情報は、指示情報の入力対象となった類似画像の画像情報を含む。入力対象となった類似画像とは、確認画面５１の表示領域５２に表示されていた類似画像である。さらに、確認画面の表示領域５４に表示された文字情報を含んでもよい。さらに、指示情報は、類似画像の範囲を特定する範囲情報を含んでもよい。
【００６４】
例えば、図５の指示ボタン５５が押下された場合は、受付部１４は、端末装置３から、類似画像に対して文字情報が適切であることを示す指示情報を受け付ける。一方、図５の指示ボタン５６が押下された場合は、受付部１４は、端末装置３から、類似画像に対して文字情報が適切でないことを示す指示情報を受け付ける。
【００６５】
なお、端末装置３が表示した確認画面で、類似画像が文字情報に対して適切である場合にのみ、指示ボタンが操作される構成にした場合は、画像蓄積装置１は、指示情報を受け付けると（Ｏｐ．１５）、処Ｏｐ．１７に移行するとしても良い。
【００６６】
記憶制御部１７は、受付部１４から指示情報を取得し、指示情報に基づいて類似画像を蓄積するか否かを判定する（Ｏｐ．１７）。指示情報が、類似画像に対して文字情報が適切であることを示す情報である場合は（Ｏｐ．１７のＹＥＳ）、類似画像を文字情報に対応付けて記憶部１２に記憶する（Ｏｐ．１９）。指示情報が、類似画像に対して文字情報が適切ではないことを示す情報である場合は（Ｏｐ．１７のＮＯ）、Ｏｐ．２１へ進む。
【００６７】
生成部１６は、Ｏｐ．９で特定した類似画像を、すべて端末装置３に表示させたかを判定する（Ｏｐ．２１）。すべて表示させた場合は（Ｏｐ．２１ＹＥＳ）、一連の処理を終了する。一方、未表示の類似画像が残っている場合は（Ｏｐ．２１ＮＯ）、Ｏｐ．１１に戻る。なお、Ｏｐ．１１において、すべての類似画像に係る確認画面を生成してもよい。その場合は、Ｏｐ．２１は省略される。
【００６８】
以上の処理により、画像蓄積装置１は、参照画像に類似する類似画像を特定することができる。さらに、画像蓄積装置１は、参照画像に対応する文字情報が、類似画像に対して適切であるかをユーザに確認させることができる。つまり、画像蓄積装置１は、多くの画像に対して、効率的にメタデータを付与することができる。
【００６９】
さらに、画像蓄積装置１は、メタデータと画像との整合性を保証した上で、画像とメタデータとを対応付けて管理することができる。特に、辞書値を算出するために、メタデータ付きの画像を収集した際に、誤ったメタデータに対応づいた画像が含まれてしまうと、収集した画像から求められた辞書値の信頼性が低下する。よって、メタデータと画像との整合性を保証した上で、画像とメタデータとを対応付けて管理することは、有用である。
【００７０】
そして、類似画像に対して文字情報が適切である場合にのみ、類似画像に文字情報を対応付けて記憶部１２に蓄積することができる。さらに、画像蓄積装置１は、端末装置３のユーザが類似画像を確認しやすい確認画面を表示させることができる。また、ユーザは、類似画像に対して再度文字情報を入力する操作を行うことなく、参照画像に対応する文字情報を、類似画像に対応付けることができる。
【００７１】
ここで、図３の類似画像特定処理（Ｏｐ．９）について、図６を用いて説明する。図６は、類似画像特定処理の処理フローである。
【００７２】
特定部１５は、Ｏｐ．５で受信した参照画像について、特徴量を算出する（Ｏｐ．３１）。特徴量は、例えば、色ヒストグラム特徴量を用いる。色ヒストグラム特徴量としては、例えば、HSIヒストグラム特徴量が採用される。特定部１５は、参照画像の各画素値を、HSI色座標に変換する。特定部１５は、HSI空間を格子状に分割し、各ブロックに含まれる画素数を計数する。特定部１５は、さらに、計数した結果を列挙したベクトルに変換することで、HSIヒストグラム特徴量を算出する。なお、特徴量は、色ヒストグラム特徴量以外にも、ウェーブレット特徴量などの形状に係る特徴量であってもよい。また、２種以上の特徴量を合算した、総合的な特徴量であってもよい。
【００７３】
次に、特定部１５は、Ｏｐ．１で取得した複数の画像のうち、類似画像特定処理の対象となっていない未処理の画像があるか否かを判定する（Ｏｐ．３３）。
【００７４】
未処理の画像がある場合は（Ｏｐ．３３ＹＥＳ）、特定部１５は、未処理の画像を処理対象とする（Ｏｐ．３５）。特定部１５は、処理対象の画像に未処理の候補領域があるかを判定する（Ｏｐ．３７）。なお、候補領域については、図７を用いて後述する。
【００７５】
未処理の候補領域がある場合は（Ｏｐ．３７ＹＥＳ）、未処理の候補領域を処理対象とする（Ｏｐ．３９）。特定部１５は、処理対象の候補領域の画像について、特徴量を算出する（Ｏｐ．４１）。
【００７６】
特定部１５は、参照画像の特徴量と、候補領域の画像の特徴量との差分を算出し、差分と閾値とを比較する（Ｏｐ．４３）。特徴量の算出と比較については、従来の手法を用いることができる。例えば、特徴量が、ベクトル形式で表現される場合は、特定部１５は、各次元の値の差分を総和する。なお、総和した値が小さいほど、参照画像と候補領域の画像との類似性が高いということになる。
【００７７】
差分が閾値未満である（Ｏｐ．４３ＹＥＳ）場合は、特定部１５は、処理対象の候補領域の画像を、類似画像とみなす（Ｏｐ．４５）。なお、特定部１５は、メモリに類似画像を一時的に記憶する。さらに特定部１５は、類似画像として特定した候補領域の範囲情報も併せて記憶する。例えば、特定部１５は、Ｏｐ．３５で処理対象とした候補領域の座標を、範囲情報として、図示しないメモリに一時的に記憶する。
【００７８】
続いて、特定部１５は、Ｏｐ．３７へ戻る。また、特徴量の差分が閾値以上であった場合も、Ｏｐ．３７へ戻る。
【００７９】
Ｏｐ．３７において、特定部１５は処理対象の画像の全領域に対して処理を終了したと判定した場合に（Ｏｐ．３７ＮＯ）、Ｏｐ．３３へ戻る。また、Ｏｐ．３３において、特定部１５は、未処理の画像がないと判定した場合に（Ｏｐ．３３ＮＯ）、類似画像特定処理を終了する。
【００８０】
なお、図６では、Ｏｐ．４３において、特徴量の差分が閾値以上の候補領域の画像を、類似画像として特定したが、これに限られない。例えば、特定部１５は、全画像の全候補領域を処理した後に、閾値の差分が小さい方から所定数の候補領域の画像を、類似画像として特定するなどとしても良い。
【００８１】
候補領域の設定について、図７を用いて説明する。図７は、候補領域を設定する処理を説明するための図である。特定部１５は、処理対象の画像７１上に、領域７２−１を設定する。設定された領域が候補領域となる。なお、特定部１５は、処理対象の画像上をスライドさせながら、順次、７２−１、７２−２のように設定する。さらに、特定部１５は、領域の大きさを、７３、７４、７５のように順次小さくし、種々の大きさの候補領域を設定する。なお、初めは、処理対象の画像全体を、候補領域としてもよい。
【００８２】
以上のように、画像蓄積装置１は、取得した画像から類似画像を特定することができる。つまり、端末装置３のユーザは、類似性の高い画像のみを確認することで、効率的に類似画像に対する文字情報の整合性を確認することができる。
【００８３】
類似画像と文字情報の整合性を向上させる為に、参照画像と類似か否かの閾値を厳しく設定するが考えられる。つまり、より類似性の高い画像を抽出する手法である。そして、従来技術を利用して、検索した類似画像とメタデータとをそのまま対応付けて記憶する技術が考えられる。しかし、適切な閾値の設定の仕方が難しく、厳しく設定しすぎると、類似画像が検索されないなどの不都合が生じる。
【００８４】
ある文字情報に対応する画像を、より多く集めたいという場合には、閾値を厳しく設定することは、適切ではない。一方、本願発明は、指示情報に基づいて、類似画像と文字情報とを対応付けて記憶する為、類似画像検索の精度に関わらず、効率的に画像を収集することができる。
【００８５】
（実施例２）
実施例２は、映像を構成する複数の画像に対して文字情報を付与し、蓄積する画像蓄積装置および画像蓄積方法を開示する。実施例２の画像蓄積装置は、映像を構成する全画像に対して類似画像特定処理を行わずに、映像に含まれるいくつかの画像を対象として類似画像特定処理を行う。さらに、実施例２は、類似画像特定処理が実施例１と異なる。
【００８６】
図８は、実施例２に係る画像蓄積装置２の機能ブロック図である。画像蓄積装置２は、通信部１０と、制御部２１と、記憶部１２とを有する。通信部１０は、受付部１４と出力部１３とを有する。制御部２１は、生成部１６と、記憶制御部１７とを有する。制御部２１は、実施例１と異なる処理を行う特定部２３と、さらに抽出部２２を有する。なお、実施例１と同様の機能を有する処理部には、同様の番号を付す。さらに、実施例１と異なる機能について、以下説明する。
【００８７】
抽出部２２は、複数の画像を含む映像から、代表画像を抽出する処理部である。例えば、抽出部２２は、複数の画像を複数の画像群に分類する。そして、抽出部２２は、各画像群から少なくとも一つの画像を代表画像として抽出する。
【００８８】
例えば、抽出部２２は、従来の技術により映像におけるシーン変化を検出する。そして、抽出部２２は、各シーンに含まれる画像を画像群とする。また、抽出部２２は、一定時間ごとの画像を、画像群を生成してもよい。代表画像は、例えば、シーンの先頭の画像や、フレーム番号に応じた画像が採用される。なお、フレーム番号とは、映像を構成する複数の画像に対して一意に付与された番号である。各画像が生成された時間が早い画像ほど、若い番号が付与される。
【００８９】
また、特定部２３は、類似画像を特定する処理部である。ただし、特定部２３は、実施例１とは異なる処理内容で類似画像を特定する。実施例２における類似画像特定処理については、後述する。
【００９０】
図９を用いて、実施例２に係る画像蓄積装置２の処理の流れを説明する。図９は、実施例２に係るフローチャートである。
【００９１】
受付部１４は、映像ストレージから映像を取得する（Ｏｐ．２３）。なお、Ｏｐ．２３に先駆けて、映像ストレージに対して検索条件を入力し、検索条件に合致する映像を取得することとしてもよい。例えば、検索条件は、映像の撮影日時などである。
【００９２】
抽出部２２は、映像を構成する複数の画像から、代表画像を複数抽出する（Ｏｐ．２５）。そして、生成部１６は、端末装置３が参照画面を描画するための画面情報を生成する。参照画面は、複数の代表画像のうち少なくとも一以上の代表画像を表示する画面である。初めに表示させる代表画像は、ランダムに選択されてもよいし、フレーム番号が最も若い代表画像であってもよい。
【００９３】
なお、抽出した代表画像に対して、以下の画像蓄積処理を実行することで、画像蓄積装置２は、映像に含まれる全画像に対して処理を行う場合と比較して、処理時間を短縮することができる。
【００９４】
次に、出力部１３は、画面情報を端末装置３に送信することで、端末装置３に代表画像を表示させる（Ｏｐ．２７）。以降の処理は、類似画像特定処理（Ｏｐ．２９）の処理内容を除いて、実施例１と同様である。
【００９５】
つまり、最終的に、画像蓄積装置２は、指示情報に基づいて、参照画像に対応付けられた文字情報と類似画像とを対応付けて記憶部１２に記憶する。なお、参照画像は、複数の代表画像のいずれかの画像、または、代表画像の一部領域の画像である。また、類似画像は、複数の代表画像のいずれかの画像、または、代表画像の一部領域の画像である。
【００９６】
つまり、画像蓄積装置２は、多くの画像に対して、効率的にメタデータを付与することができる。さらに、画像蓄積装置２は、メタデータと画像との整合性を保証した上で、画像とメタデータとを対応付けて管理することができる。
【００９７】
ここで、実施例２における類似画像特定処理について、図１０を用いて説明する。図１０は、実施例２に係る類似画像特定処理の処理フローである。
【００９８】
特定部２３は、Ｏｐ．５で受信した参照画像について、特徴量を算出する（Ｏｐ．５１）。次に、特定部２３は、Ｏｐ．２５で取得した複数の代表画像のうち、未処理の画像があるか否かを判定する（Ｏｐ．５３）。
【００９９】
なお、参照画像となった代表画像から所定フレーム以内の他の代表画像のみを、処理対象として限定してもよい。この場合は、例えば、参照画像から１０００フレーム以内に、未処理の代表画像があるか否かを判定する。画像蓄積装置２は、全画像を処理対象とした場合に比べて、短縮することができる。つまり、参照画像のフレームから一定以上の時間が経過したフレームには、類似画像が含まれる可能性が低いと想定した場合に、可能性が高いフレーム画像に限って類似画像の特定処理を行うことが有効である。
【０１００】
未処理の代表画像がある場合は（Ｏｐ５３ＹＥＳ）、特定部２３は、未処理の代表画像を処理対象の画像とする（Ｏｐ．５５）。特定部２３は、処理対象の画像に未処理の候補領域があるかを判定する（Ｏｐ．５７）。未処理の候補領域がある場合は（Ｏｐ．５７ＹＥＳ）、未処理の候補領域を処理対象とする（Ｏｐ．５９）。特定部２３は、処理対象の候補領域の画像について、特徴量を算出する（Ｏｐ．６１）。
【０１０１】
特定部２３は、参照画像の特徴量と、候補領域の画像の特徴量との差分を算出する（Ｏｐ．６３）。そして、特定部２３は、差分と閾値とを比較する（Ｏｐ．６５）。差分が閾値未満である場合（Ｏｐ．６５ＹＥＳ）は、特定部２３は、画像間の特徴量の類似度および、画像間の時間の近接度を算出する（Ｏｐ．６７）。
【０１０２】
類似度は、参照画像の特徴と処理対象画像の特徴との類似の度合を示す値である。類似度は、各画像の特徴量の差分が小さいほど、大きな値となる。近接度は、各画像が生成された時間または撮影された時間の近さの度合いを示す値である。近接度は、各画像が生成された時間または撮影された時間の差分が小さいほど、大きな値となる。
【０１０３】
例えば、参照画像の特徴量Ｖｉが数１であらわされており、候補領域の画像の特徴量Ｖｊが数２であらわされているとする。なお、ｋは、ベクトルの次元数である。
【数１】
2013152543.tif 000003
【数２】
2013152543.tif 000004
まず、各画像の特徴量の差分に基づいて、数３により、特徴量ＶｉとＶｊとの類似度Ｒijが算出される。なお、ＲＴは、サンプルデータを用いて求めた数４の最大値よりも大きな値に設定する。つまり、類似度Ｒijは、０から１の間の値をとる。
【数３】
2013152543.tif 000005
【数４】
2013152543.tif 000006
続いて、映像のスタート時点から参照画像が含まれるフレームまでの経過時間Ｔｉと、映像のスタート時点から候補領域が含まれるフレームまでの経過時間Ｔｊとの差分に基づいて、数５により、近接度Ｄijを算出する。
【０１０４】
なお、ＤＴは、サンプルデータを用いて求めた数４の最大値よりも大きな値に設定する。つまり、近接度Ｄijは、０から１の間の値をとる。なお、経過時間ではなく、各フレームの撮影時間を用いてもよい。さらには、フレーム間の時間の差分の代りに、参照画像を含むフレームのフレーム番号と、候補領域を含むフレームのフレーム番号との差分を算出してもよい。
【数５】
2013152543.tif 000007
【数６】
2013152543.tif 000008
続いて、特定部２３は、評価値を算出する（Ｏｐ．６９）。評価値Ｐijは、例えば、数７により求められる。評価値Ｐijは、０から１の間の値をとる。評価値は、参照画像に対応付けられた文字情報が、候補領域にも該当する可能性の高低を表す値である。例えば、評価値は、参照画像の特徴と候補領域の画像の特徴とが、類似するほど、大きな値になるとともに、参照画像を含むフレームと候補領域を含むフレームとが時間的に近接している場合に、大きな値になる。
【数７】
2013152543.tif 000009
なお、評価値の算出に際しては、他の要素を考慮してもよい。各代表画像になんらかの付与情報が紐づけられている場合は、付与情報の一致不一致も加味してもよい。例えば、付与情報として、シーン名や撮影場所などの情報が考えられる。例えば、互いの画像の付与情報が一致する場合には、Ｐijに１を乗算する。一方、互いの画像の付与情報が一致しない場合には、Ｐijに０．５や０を乗算するなどである。
【０１０５】
評価値が閾値以上である場合に（Ｏｐ．７１ＹＥＳ）、処理対象の候補領域の画像を、類似画像とみなす（Ｏｐ．７３）。なお、特定部２３は、メモリに類似画像を一時的に記憶する。さらに特定部２３は、類似画像として特定した候補領域の範囲情報も併せて記憶する。続いて、特定部２３は、ＯＰ．５７へ戻る。また、評価値が閾値未満である場合（Ｏｐ．７１ＮＯ）も、Ｏｐ．５７へ戻る。
【０１０６】
Ｏｐ．５７において、特定部２３は未処理の候補領域が存在しないと判定した場合に（Ｏｐ．５７ＮＯ）、Ｏｐ．５３へ戻る。さらに、Ｏｐ．５３において、特定部２３は、未処理の代表画像がないと判定した場合に（Ｏｐ．５３ＮＯ）、類似画像特定処理を終了する。
なお、図１０では、類似画像の特定のために、評価値と閾値とを比較する処理を行う例を説明したが、これに限られない。
【０１０７】
例えば、評価値を算出する処理を、特徴量の差分が閾値未満である候補領域について、実行する。そして、画像蓄積装置２は、評価値が、上位所定数または所定割合の候補領域を類似画像とみなしてもよい。
【０１０８】
以上の処理により、画像蓄積装置２は、評価値を用いて類似画像を特定することができる。参照画像の特徴量と候補領域の画像の特徴量との差分とともに、参照画像と候補領域の画像との時間の差分を加味して、類似画像を特定することができる。
【０１０９】
映像の場合は、撮影時間または生成された時間が近い２つの画像には、同一の物体が写っている可能性が高い。そこで、時間の差分を考慮して類似画像を特定することで、類似画像を精度よく特定することができる。また、特徴量の差分だけで判断した場合に類似性が低いと判断される画像であっても、時間的に近接するがぞうであれば、類似画像と判定することができる。よって、時間の差分を加味して類似画像を特定する事で、より多くの類似画像を、文字情報と対応付けて蓄積することができる。
【０１１０】
また、画像蓄積装置２は、図１０の処理により特定された類似画像が含まれる画像群を、図９のＯｐ．１３において、端末装置に表示させてもよい。画像群は同じシーンを形成する為、類似画像を特定する際に参照した参照画像と類似する可能性が高い。つまり、文字情報を付与する対象となる可能性がある画像を広くユーザに確認させることで、より多くの画像を文字情報に対応付けて収集することができる。
【０１１１】
（実施例３）
実施例３は、ユーザが、ある画像上に複数の参照領域を指定した場合の実施例である。複数の参照領域を含む画像を参照画像とした場合に、実施例３は、参照画像に類似する類似画像を特定する画像蓄積装置２および画像蓄積方法を開示する。つまり、端末装置３を操作するユーザは、ある参照画像上で、複数の領域を、複数の参照領域として指定する。
なお、実施例３は、実施例２と同様に、映像を構成する複数の画像を対象に、画像蓄積処理を実行する。また実施例３における画像蓄積装置２の機能構成は、実施例２と同様である。
【０１１２】
機能構成については、実施例２と同様である。ただし、生成部１６の処理が一部異なる。詳細は、実施例３における画像蓄積処理のフローチャートを用いて、以下説明する。図１１は、実施例３における画像蓄積処理のフローチャートである。
【０１１３】
図１１のＯｐ．２３とＯｐ．２５とＯｐ．２７との各処理は、図９のＯｐ．２３とＯｐ．２５とＯｐ．２７との各処理に同様である。受付部１４は、複数の参照領域を、それぞれの参照領域に対応付けられた文字情報とともに受信する（Ｏｐ。８１）。
【０１１４】
複数の参照画像および複数の文字情報について、図１２を用いて説明する。図１２は、端末装置３に表示される参照画面の画面イメージ図である。参照画面は、図４と同様に、画像蓄積装置が生成した画面情報に基づいて、端末装置３にて描画される。参照画面６１は、表示領域６２と、入力領域６４と、開始ボタン６８とを有する。
【０１１５】
なお、参照画面６１は、図４と同様に、入力を支援する支援情報を表示する表示領域４３と、表示する画像を変更する操作を受け付ける操作ボタン４５および４６と、をさらに有してもよい。
【０１１６】
表示領域６２には、画像蓄積装置２から取得した画像を表示する。表示領域６２に表示された画像の少なくとも一部の領域が、ユーザにより指定される。例えば、図１２の例では、丸で示した物体を含む領域６７−１と、三角で示した物体を含む領域６７−２とが、指定される。つまり、このように指定された領域が、複数の参照領域として、画像蓄積装置２に通知される。さらに、端末装置３がユーザから領域の指定を受けた際に、表示領域６２に表示されている画像が参照画像である。
【０１１７】
入力領域６４は、参照領域の画像に対応する文字情報が表示される領域である。例えば、丸で示した物体を含む参照領域６７−１に対して、入力領域６４−１に文字情報「物体名Ａ」が入力される。なお、文字情報は、エンターキーが押下されること等により、確定される。確定された後に、空欄の入力領域６４−２が表示される。そして、さらに、ユーザが三角で示した物体を含む参照領域６７−２を指定した場合に、新たに表示された入力領域６４−２に文字情報「物体名Ｂ」が入力され、確定される。
【０１１８】
開始ボタン６８は、各参照領域と文字情報を、画像蓄積装置２へ送信する指示を、ユーザから受け付けるためのボタンである。例えば、開始ボタン４７が画面を介して選択されることで、端末装置３は、参照領域６７−１に関する画像情報と文字情報「物体名Ａ」、および参照領域６７−２に関する画像情報と文字情報「物体名Ｂ」とを、画像蓄積装置２へ送信する。なお、画像情報とともに、参照領域の範囲情報が、画像蓄積装置２に送信される。
【０１１９】
例えば、画像情報「００１」と、参照領域６７−１の範囲情報「（１０、１０）（３０、１０）（１０、５０）（３０、５０）」が送信される。なお、範囲情報は、４点の座標に限らず、Ｘ座標の範囲（１０から３０）およびＹ座標の範囲（１０から５０）であってもよい。
以上のとおり、端末装置３の指示により、複数の参照領域が、各々文字情報と対応づいた状態で、画像蓄積装置２に送信される。
【０１２０】
図１１の説明に戻る。記憶制御部１７は、各参照領域と、各文字情報とを対応付けて記憶する（Ｏｐ．８３）。例えば、図２（ｃ）のテーブルに、図１２の参照領域６７−１の情報と、図１２の参照領域６７−２の情報の２つのレコードが追加される。なお、図２（ｃ）の画像情報の部分には、参照画像「００１」の識別情報が、記憶される。
【０１２１】
以降の処理は、類似画像特定処理（Ｏｐ．８５）の処理内容を除いて、実施例１と同様である。つまり、最終的に、画像蓄積装置２は、参照領域に対応付けられた文字情報と類似画像とを対応付けて記憶部１２に記憶する。
【０１２２】
つまり、画像蓄積装置２は、多くの画像に対して、効率的にメタデータを付与することができる。さらに、画像蓄積装置２は、メタデータと画像との整合性を保証した上で、画像とメタデータとを対応付けて管理することができる。
【０１２３】
ここで、実施例３における類似画像特定処理（Ｏｐ．８５）について、図１３乃至図１５を用いて説明する。図１３は、実施例３における類似画像特定処理の処理フローチャートの一部を示す図である。
【０１２４】
特定部２３は、参照画像における複数の参照領域について、各々特徴量を算出する（Ｏｐ．９３）。続いて、特定部２３は、類似画像特定処理が未処理の代表画像があるか否かを判定する（Ｏｐ．９５）。
【０１２５】
未処理の代表画像がある場合は（Ｏｐ．９５ＹＥＳ）、特定部２３は、未処理の代表画像を処理対象として設定する（Ｏｐ．９７）。特定部２３は、処理対象画像に未処理の領域があるかを判定する（Ｏｐ．９９）。未処理の領域がある場合は（Ｏｐ．９９ＹＥＳ）、未処理の領域を処理領域として設定する（Ｏｐ．１０１）。特定部２３は、処理領域の画像について、特徴量を算出する（Ｏｐ．１０３）。
【０１２６】
特定部２３は、第ｎの参照領域の特徴量と、処理領域の画像の特徴量との差分を算出する（Ｏｐ．１０５）。そして、特定部２３は、差分と閾値とを比較する（Ｏｐ．１０７）。ここで、ｎは、１からＮまでの整数である。そして、Ｎは、参照画像に含まれる参照領域の個数である。例えば、図１２の例では、Ｎは２である。
【０１２７】
差分が閾値未満である場合は（Ｏｐ．１０７ＹＥＳ）、特定部２３は、処理領域を候補領域と設定する（Ｏｐ．１０９）。なお、候補領域が設定された画像は、候補領域を示す範囲情報とともに、一時的にメモリに記憶される。
【０１２８】
一方、差分が閾値以上である場合は（Ｏｐ．１０７ＮＯ）、Ｏｐ．１１１へ進む。特定部２３は、ｎがＮであるかを判定する（Ｏｐ．１１１）。ｎ＝Ｎである場合は、全参照領域の特徴量と処理領域の特徴量とが比較されたことを示す。一方、ｎがＮでない場合は、Ｏｐ．１０１で設定した処理領域の特徴量と、全参照領域の特徴量とを比較し終えていないことを示す。
【０１２９】
特定部２３は、ｎがＮでない場合は（Ｏｐ．１１１ＮＯ）、ｎに１を加算して、Ｏｐ．１０５へ戻る。一方、特定部２３は、ｎがＮである場合は（Ｏｐ，１１１ＹＥＳ）、Ｏｐ．９９へ戻る。
【０１３０】
Ｏｐ．９９において、未処理の領域がないと判定された場合に（Ｏｐ．９９ＮＯ）、特定部２３は、Ｏｐ．９５に戻る。さらに、未処理の代表画像がない場合（Ｏｐ．９５ＮＯ）、特定部２３は、図１５のＯｐ．１１３を実行する。
【０１３１】
図１４は、実施例３における類似画像特定処理の処理フローチャートの一部を示す図である。
【０１３２】
特定部２３は、候補領域を有する未処理画像が存在するかを判定する（Ｏｐ．１１３）。存在する場合は、特定部２３は、候補領域を有する未処理画像を、処理対象画像として設定する（Ｏｐ．１１５）。
【０１３３】
特定部２３は、参照画像から参照領域を一つ、処理対象画像から候補領域を一つ抽出し、参照領域と候補領域の組（Ｉ，ｊ）を設定する（Ｏｐ．１１７）。特定部２３は、設定した組について、各領域の画像の類似度を算出する（Ｏｐ．１１９）。例えば、特定部２３は、実施例２と同様に、数３を用いて類似度を算出する。
【０１３４】
さらに、特定部２３は、設定した組について、参照画像と処理対象画像との近接度を算出する（Ｏｐ．１２１）。例えば、特定部２３は、実施例２と同様に、数６を用いて近接度を算出する。
【０１３５】
次に、特定部２３は、仮評価値を算出する（Ｏｐ．１２３）。仮評価値Ｏijは、例えば、数８により求められる。
【数８】
2013152543.tif 000010
仮評価値とは、参照領域に対応付けられた文字情報が、候補領域に該当する可能性の高低を表す値である。例えば、仮評価値は、参照領域の画像の特徴と候補領域の画像の特徴とが、類似するほど、大きな値になるとともに、参照画像と処理対象画像とが時間的に近接したフレームである場合に、大きな値になる。また、実施例２における評価値の算出と同様、仮評価値についても、他の要素を考慮してもよい。
【０１３６】
仮評価値が閾値以上である場合に（Ｏｐ．１２５ＹＥＳ）、特定部２３は、Ｏｐ．１１７で設定した組（i，ｊ）には、フラグＦｉ，ｊに「１」を設定する（Ｏｐ．１２９）。仮評価値が閾値未満である場合に（Ｏｐ．１２５ＮＯ）、特定部２３は、Ｏｐ．１１７で設定した組（Ｉ，ｊ）には、フラグＦｉ，ｊに「０」を設定する（Ｏｐ．１２７）。
【０１３７】
特定部２３は、参照画像に含まれる各参照領域、処理対象画像に含まれる１以上の候補領域の全組み合わせに対して、フラグを付与したかを判定する（Ｏｐ．１３１）。全組み合わせにフラグを付与していない場合は（Ｏｐ．１３１ＮＯ）、Ｏｐ．１１７へ戻る。
【０１３８】
一方、全組み合わせにフラグを付与した場合は（Ｏｐ．１３１ＥＳ）、特定部２３は、Ｏｐ．１１５で設定した処理対象画像と参照画像との間に、フラグが１である領域の組数をカウントする（Ｏｐ．１３３）。なお、参照画像をα、処理対象画像をβとした場合に、フラグが１である小域の組数を、Ｎαβと記す。
【０１３９】
そして、特定部２３は、参照画像αと処理対象画像βとの間の評価値を算出する（Ｏｐ．１３５）。そして、図１６のＯｐ．１３７へ処理を進める。
【０１４０】
評価値Ｗαβは、例えば、数９により求められる。なお、評価値Ｗαβは、Ｎαβであってもよい。
【数９】
2013152543.tif 000011
評価値Ｗαβは、参照画像全体の特徴と処理対象画像全体の特徴との関連性を示す値である。例えば、フラグが１である候補領域が多い処理対象画像ほど評価値が大きくなる。つまり、参照画像に設定された複数の参照領域の文字情報と対応する可能性が高い候補領域を、より多く有する処理対象画像ほど、評価値は大きくなる。さらに、数９のように、参照画像αと処理対象画像βとの時間的な近接度Ｄαβを加味する事で、より詳細に評価することができる。
【０１４１】
図１５は、実施例３における類似画像特定処理の処理フローチャートの一部を示す図である。
【０１４２】
評価値が閾値以上である場合に（Ｏｐ．１３７ＹＥＳ）、処理対象画像を、類似画像とみなす（Ｏｐ．１３９）。閾値は、参照領域の個数に応じて、適宜変更してもよい。例えば、参照領域の個数が多ければ、大きな値に設定される。なお、特定部２３は、メモリに類似画像を一時的に記憶する。さらに特定部２３は、類似画像に含まれる候補領域の範囲情報も併せて記憶する。続いて、特定部２３は、Ｏｐ．１１３へ戻る。また、評価値が閾値未満であった場合（Ｏｐ．１３７ＮＯ）も、Ｏｐ．１１３へ戻る。
【０１４３】
Ｏｐ．１１３において、特定部２３は、候補領域を有する全画像に対して、Ｏｐ１１５以降の処理を実行していると判断した場合には（Ｏｐ．１１３ＮＯ）、類似画像特定処理を終了する。
【０１４４】
以上の処理により、参照画像に設定された参照領域と、類似する候補領域を多く有する類似画像を特定することができる。ユーザは、より多くの候補領域を有する類似画像を確認することで、効率的に文字情報と類似画像との整合性の確認作業を行うことができる。
【０１４５】
さらに、映像を構成する複数の画像に対して類似画像特定処理を実行する場合には、フレーム間の時間的な近接を考慮して、類似画像を特定することができる。つまり、映像の特性上、時間的に近接する画像間には、同様の物体や状態が写っている可能性が高い。よって、画像の特徴の類似度以外に、時間的な近接度を考慮することで、文字情報に対応する可能性のある類似画像を広く、ユーザに確認させることができる。
【０１４６】
（実施例４）
実施例４は、生成部１６が確認画面を生成する際に、複数の画像の表示順序を制御する実施例である。なお、実施例４は、実施例３と確認画面の生成処理が異なる。また実施例４における画像蓄積装置２の機能構成は、実施例３と同様である。
【０１４７】
図１６（ａ）および図１６（ｂ）は、実施例４を説明する為の図である。図１６（ａ）のように、参照画像ａに参照領域１００−１、参照領域１０１−１、参照領域１０２−１が設定されているとする。そして、実施例３と同様の類似画像特定処理により、類似画像ｂ、類似画像ｃ、類似画像ｄが特定されたとする。
【０１４８】
このとき、実施例４の画像蓄積装置２の生成部１６は、参照画像ａに続いて表示される類似画像の表示順序を、決定する。そして、生成部は、確認画面の生成する処理において、決定された表示順序で類似画像を表示する確認画面を生成する。
【０１４９】
図１７は、確認画面の生成処理の処理フローである。
【０１５０】
生成部１６は、参照画像と、特定部２３が特定した類似画像とを取得する（Ｏｐ．１４０）。例えば、生成部１６は、参照画像ａ、類似画像ｂ、類似画像ｃ、類似画像ｄを取得する。
【０１５１】
次に、生成部１６は、複数の類似画像のうちのひとつの類似画像を、スタート画像に設定する（Ｏｐ．１４１）。スタート画像は、参照画像に続いて表示される類似画像の事である。例えば、生成部１６は、類似画像ｂを、スタート画像として設定する。スタート画像は、表示順序「ｍ＝１」となる。
【０１５２】
なお、Ｏｐ．１４１の前に、類似画像が複数であるか、生成部１６が判定してもよい。類似画像が単数である場合は、以下のＯｐ．１４１からＯｐ．１５７を省略し、Ｏｐ．１５９に進むようにしてもよい。
【０１５３】
次に、生成部１６は、ｍ＋１番目に表示する画像の候補である処理対象画像を設定する。例えば、生成部１６は、類似画像ｃを処理対象画像として設定する。例えば、類似画像ｃは、表示順序「ｍ＝２」となる。
【０１５４】
生成部１６は、表示順序が連続する画像間で、評価値を算出する（Ｏｐ．１４５）。なお、評価値は、実施例３と同様である。つまり、Ｏｐ．１１９乃至Ｏｐ．１３５を用いて、第ｍ画像と第ｍ＋１画像との類似度や近接度に基づいて求められる。例えば、生成部１６は、第１画像である類似画像ｂと、処理対象画像である類似画像ｃとの評価値Ｗ＿ｂｃを算出する。
【０１５５】
さらに、生成部１６は、残りの類似画像に対して評価値を算出したかを判定する（Ｏｐ．１４７）。全類似画像に対して評価値を算出していない場合は、Ｏｐ．１４３へ戻る。例えば、図１（ａ）の例では、類似画像ｄに対して評価値を算出していないため、Ｏｐ．１４３に戻る。そして、生成部１６は、類似画像ｄを処理対象画像として、類似画像ｂと類似画像ｄとの評価値Ｗｂｄを算出する。
【０１５６】
全類似画像に対して評価値を算出した場合は（Ｏｐ．１４７ＹＥＳ）、生成部１６は、評価値が最大の類似画像を、第ｍ＋１番目に表示する次表示画像として設定する（Ｏｐ．１４９）。ここで、例えば、類似画像ｂと類似画像ｃとの評価値Ｗｂｃが、類似画像ｂと類似画像ｄとの評価値Ｗｂｄよりも大きければ、類似画像ｃが次表示画像として設定される。ここまでの処理により、スタート画像を類似画像ｂとした場合には、類似画像ｂが１番目に、類似画像ｃが２番目に表示される。
【０１５７】
続いて、生成部１６は、表示順序が未定の類似画像が存在するか判定する（Ｏｐ．１５１）。表示順序が未定の類似画像が存在する場合は（Ｏｐ．１５１ＹＥＳ）、生成部１６は、Ｏｐ．１４９で次表示画像として設定した類似画像を、第ｍ画像と設定しなおした上で、処理対象画像を設定する（Ｏｐ．１４３）。ただし、類似画像が残り１枚になった時点で、残りの類似画像に表示順序第ｍ＋１を割り当ててもよい。
【０１５８】
例えば、図１６（ａ）であれば、類似画像ｄが存在する為、Ｏｐ．１５１で判定ＮＯとなる。よって、Ｏｐ．１４９で次表示画像として設定された類似画像ｃの次に表示する類似画像を、Ｏｐ．１４３乃至Ｏｐ．１４９で決定する。図１６（ａ）の場合は、処理対象画像として類似画像ｄが設定される（Ｏｐ．１４３）。
【０１５９】
続いて、評価値Ｗｃｄが算出される（Ｏｐ．１４５）。なお、全類似画像を処理したことになるので（Ｏｐ．１４７ＹＥＳ）、生成部１６は、類似画像ｄを次表示画像として設定する（Ｏｐ．１４９）。
【０１６０】
表示順序が未定の類似画像が存在しなければ（Ｏｐ．１５１ＮＯ）、生成部１６は、Ｏｐ．１４１で設定したスタート画像に対するパス評価値を算出する（Ｏｐ．１５３）。パス評価値は、表示順序が前後となる画像間の類似性が高いほど、大きな値となる。つまり、パス評価値は、連続表示される画像間が類似する度合を示す値である。
【０１６１】
パス評価値は、数１０により求められる。数１０において、Ａが参照画像、Ｂがスタート画像、Ｘ１〜ＸＮはスタート画像以外の類似画像である。例えば、ＷＸ１Ｘ２は、第３番目の表示画像として設定された類似画像Ｘ１と、第４番目の表示画像として設定された類似画像Ｘ２との評価値を示す。
【数１０】
2013152543.tif 000012
例えば、Ｏｐ．１４１乃至Ｏｐ．１５１の処理において、図１６（ａ）で、スタート画像を類似画像ｂとした場合のパスが「ｂ」「ｃ」「ｄ」と決定された場合には、スタート画像ｂの評価値は、「Ｗｂ＝Ｗａｂ＋Ｗｂｃ＋Ｗｃｄ」であらわされる。
【０１６２】
次に、生成部１６は、Ｏｐ．１４０で取得した全類似画像をスタート画像として、パス評価値を算出したか判定する（Ｏｐ．１５５）。全類似画像について、パス評価値を算出していない場合は（Ｏｐ．１５５ＮＯ）、Ｏｐ．１４１に戻る。例えば、図１６（ａ）の場合は、類似画像ｃおよび類似画像ｄについて、パス評価値を算出していないため、Ｏｐ．１５５の判定はＮＯとなる。
【０１６３】
一方、全類似画像について、パス評価値を算出した場合は（Ｏｐ．１５５ＹＥＳ）、生成部１６は、パス評価値が最大となる表示順序を最適パスとして決定する（Ｏｐ．１５７）。生成部１６は、最適パスとして決定した表示順序にそって、類似画像が表示されるように、確認画面を生成する（Ｏｐ．１５９）。
【０１６４】
図１６（ｂ）を用いて、最適パスについて説明する。画像領域１００＿１、画像領域１００＿２および画像領域１００＿３は、互いに、画像の特徴が類似する領域とする。画像領域１００＿１、画像領域１００＿２および画像領域１００＿３は、Ｏｐ．１２９においてフラグ１が互いに設定される領域として説明を行う。
【０１６５】
同様に、画像領域１０１＿１、画像領域１０１＿２および画像領域１０１＿３は、互いに、画像の特徴が類似する領域である。画像領域１０２＿１および画像領域１０２＿２は、互いに、画像の特徴が類似する領域である。
【０１６６】
参照画像ａ、類似画像ｂ、類似画像ｃ、類似画像ｄは、参照画像ａ、類似画像ｂ、類似画像ｃ、類似画像ｄの順で撮影された画像であるとする。また、参照画像ａ、類似画像ｂ、類似画像ｃ、類似画像ｄは、撮影された順に、各画像間に１秒の時間間隔があるとする。また、２画像間の近接度については、ＤＴ＝５として式５により算出するものとする。なお、式５において、ｉを第ｍ番目の画像、ｊを第ｍ＋１番目の画像として取り扱う。
【０１６７】
スタート画像を類似画像ｂとした場合のパス１０３を例に説明する。まず、参照画像ａと類似画像ｂとの評価値Ｗａｂは、フラグが１に設定される領域の組み合わせの個数「２」と、近接度「１−１／５」との積で与えられる。
【０１６８】
なお、近接度「１−１／５」であらわされる理由は、上述の通り、参照画像ａと類似画像ｂとは、時間間隔１秒である為である。さらに、類似画像ｂと類似画像ｃとの評価値Ｗｂｃは、個数「１」と近接度「１−１／５」との積で与えられる。また、類似画像ｃと類似画像ｄとの評価値Ｗｃｄは、類似する領域の個数「０」と近接度「１−１／５」との積で与えられる。以上から、パス１０３のパス評価値は、「１２／５」となる。
【０１６９】
スタート画像を、類似画像ｂとした場合の他のパスのパス評価値は、図１６（ｂ）の１０４に示した通りである。なお、図１７で示す処理フローでは、Ｏｐ．１４９において、生成部１６は、最大の評価値を有する類似画像を次表示画像に設定する。よって、図１７の実施例では、図１６（ｂ）の１０４については、パス評価値は算出されない。ただし、図１７の処理フローにかわり、全パスについて、パス評価値を算出し、最終的に最大のパス評価値を有するパスを最適パスとして決定してもよい。
【０１７０】
また、スタート画像を、類似画像ｃや類似画像ｄとした場合についても、同様にパス評価値が算出される。図１６（ｂ）に示した例においては、最大のパス評価値を有する１０５のパスが、最適パスとして採用される。
【０１７１】
以上の様に、最適パスの表示順序を決定することで、画像間の類似性がなるべく高くなるような順序で類似画像を、端末装置に表示させることができる。したがって、本実施形態の画像蓄積装置２は、文字情報に対する類似画像の適否を入力するユーザの負担を軽減することができる。
【０１７２】
例えば、ユーザは、ある類似画像に対して文字情報の適否を確認した後に、他の類似画像についても文字情報の適否を確認する。他の類似画像が、類似画像と同じ物体が写っている可能性が高い領域を有していれば、ユーザは、効率的に文字情報の適否を確認する事ができる。特に、複数の参照領域に類似する類似領域を有する類似画像について、複数の文字情報の適否を確認する場合には、各参照領域に類似する領域が重複する類似画像を連続して表示することで、ユーザは、より効果的に確認作業を行うことができる。
【０１７３】
（実施例５）
図１８は画像蓄積装置１０００のハードウェア構成の一例を示す図である。図１８に示す画像蓄積装置は、実施例１乃至実施例４に示した画像蓄積装置と同様の処理を実行するコンピュータである。コンピュータ１０００はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１００１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１００２，ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１００３，通信装置１００４、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１００５、入力装置１００６、表示装置１００７、媒体読取装置１００９を有しており、各部はバス１００８を介して相互に接続されている。そしてＣＰＵ１００１による管理下で相互にデータの送受を行うことができる。
【０１７４】
各実施例のフローチャートに示した画像蓄積処理を記述した画像蓄積プログラムは、コンピュータが読み取り可能な記録媒体に記録される。コンピュータが読み取り可能な記録媒体には、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ＨＤＤ、フレキシブルディスク（ＦＤ）、磁気テープ（ＭＴ）などがある。
【０１７５】
光ディスクには、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  −  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）などがある。光磁気記録媒体には、ＭＯ（Ｍａｇｎｅｔｏ  −  Ｏｐｔｉｃａｌ  ｄｉｓｋ）などがある。このプログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売されることが考えられる。
【０１７６】
そして画像蓄積プログラムを実行するコンピュータ１０００は、例えば媒体読取装置１００９が、画像蓄積プログラムを記録した記録媒体から、該プログラムを読み出す。なお、読みだすプログラムによって、コンピュータ１０００は、実施例１乃至実施例４の画像蓄積装置として機能する。ＣＰＵ１００１は、読み出されたプログラムをＨＤＤ１００５若しくはＲＯＭ１００２、ＲＡＭ１００３に格納する。
【０１７７】
ＣＰＵ１００１は、画像蓄積装置全体の動作制御を司る中央処理装置である。通信装置１００４はネットワークを介して端末装置３などからの信号を受信し、その信号の内容をＣＰＵ１００１に渡す。さらに通信装置１００４はＣＰＵ１００１からの指示に応じてネットワークを介して端末装置３などに信号を送信する。
【０１７８】
ＨＤＤ１００５には、上記の各実施例に示した画像蓄積装置と同様の機能をコンピュータに発揮させるプログラムとして、各実施例の各処理をコンピュータに実行させるプログラムが記憶されている。
【０１７９】
そして、ＣＰＵ１００１が、実施例１に係る画像蓄積プログラムをＨＤＤ１００５から読み出して実行することで、図１に示す通信部１０、制御部１１として機能するようになる。ＣＰＵ１００１が、実施例２乃至４に係る画像蓄積プログラムをＨＤＤ１００５から読み出して実行することで、図８に示す通信部１０、制御部２１として機能するようになる。また、画像蓄積プログラムはＣＰＵ１００１とアクセス可能なＲＯＭ１００２またはＲＡＭ１００３に格納されていても良い。
【０１８０】
さらにＨＤＤ１００５にはＣＰＵ１００１の管理下で図２（ａ）乃至（ｃ）のいずれかに示した記憶部のデータテーブルに相当する情報が記憶される。プログラム同様、記憶部のデータテーブルに相当する情報はＣＰＵ１００１とアクセス可能なＲＯＭ１００２またはＲＡＭ１００３に格納されても良い。つまり、記憶部のデータテーブルは、ＨＤＤ１００５や、ＲＯＭ１００２またはＲＡＭ１００３などの記憶装置に格納される。そして入力装置１００６はＣＰＵ１００１の管理下でデータの入力を受付ける。表示装置１００７は、各情報を出力する。
【符号の説明】
【０１８１】
１      画像蓄積装置
２      画像蓄積装置
３      端末装置
４−１  画像ストレージA
４−２  映像ストレージA
５−１  画像ストレージB
５−１  映像ストレージB
１０    通信部
１１    制御部
１２    記憶部
１３    出力部
１４    受付部
１５    特定部
１６    生成部
１７    記憶制御部
２１    制御部
２２    抽出部
２３    特定部
【図１】
2013152543.tif 000013
【図２】
2013152543.tif 000014
【図３】
2013152543.tif 000015
【図４】
2013152543.tif 000016
【図５】
2013152543.tif 000017
【図６】
2013152543.tif 000018
【図７】
2013152543.tif 000019
【図８】
2013152543.tif 000020
【図９】
2013152543.tif 000021
【図１０】
2013152543.tif 000022
【図１１】
2013152543.tif 000023
【図１２】
2013152543.tif 000024
【図１３】
2013152543.tif 000025
【図１４】
2013152543.tif 000026
【図１５】
2013152543.tif 000027
【図１６】
2013152543.tif 000028
【図１７】
2013152543.tif 000029
【図１８】
2013152543.tif 000030