(57)【要約】【課題】撮影中にリアルタイムかつ自動的に、参照画像に基づいて、利用者に負担をかけることなく、タグを付与することにより、利用者にとって視聴しやすい動画を提供出来る携帯電話等を提供すること。【解決手段】動画データ格納部と、動画データ展開部と、を備えた携帯電話であって、参照画像と、参照画像の特徴量と、キーワードとを対応づけて記憶する参照画像特徴記憶部と、動画データに含まれる画像の特徴量を算出する特徴量算出部と、特徴量算出部により算出された特徴量と、前記参照画像特徴記憶部に記憶されている特徴量とを比較する特徴量比較部と、特徴量比較部の比較結果に基づいて、前記動画データに含まれる画像に類似する参照画像のキーワードを含むタグ情報を生成し保存するタグ情報保存部と、を備えることを特徴とする。【選択図】図１
2010287974.tif 000002
【特許請求の範囲】
【請求項１】
画像入力部から入力された画像と、音声入力部から入力された音声とから、動画データを作成し、動画ストレージに格納する動画データ格納部と、前記動画ストレージから、動画データを読み出して、画像及び音声を展開して、画像を画像出力部に、音声を音声出力部に出力する動画データ展開部と、を備えた携帯電話であって、
参照画像と、参照画像の特徴量と、キーワードとを対応づけて記憶する参照画像特徴記憶部と、
前記動画データに含まれる画像の特徴量を算出する特徴量算出部と、
前記特徴量算出部により算出された特徴量と、前記参照画像特徴記憶部に記憶されている特徴量とを比較する特徴量比較部と、
前記特徴量比較部の比較結果に基づいて、前記動画データに含まれる画像に類似する参照画像のキーワードを含むタグ情報を生成し保存するタグ情報保存部と、
を備えることを特徴とする携帯電話。
【請求項２】
前記タグ情報保存部は、前記参照画像に類似する画像の動画データの開始時刻をダグ情報に更に含めて保存することを特徴とする請求項１に記載の携帯電話。
【請求項３】
前記タグ情報保存部は、前記参照画像に類似する画像の動画データの終了時刻をダグ情報に更に含めて保存することを特徴とする請求項２に記載の携帯電話。
【請求項４】
前記タグ情報保存部は、前記参照画像に対応するキーワードに応じたシーンの情報についてタグ情報に含めて保存することを特徴とする請求項１から３の何れか一項に記載の携帯電話。
【請求項５】
前記動画データ展開部に対し、前記動画データに基づいたタグ情報に基づいて、再生の指示を行う再生指示部を更に有することを特徴とする請求項１から４の何れか一項に記載の携帯電話。
【請求項６】
前記再生指示部は、キーワードが含まれているシーンを前記タグ情報から特定し、当該シーンが連続して再生されるように前記動画データ展開部に対して再生指示を行うことを特徴とする請求項５に記載の携帯電話。
【請求項７】
前記動画データ展開部は、再生指示部から早送りの指示があった際、前記タグ情報に基づき、各タグの先頭フレームのみ又は各タグの先頭から数秒間のフレームのみを、時系列にしたがって順に動画データを展開して出力することを特徴とする請求項５に記載の携帯電話。
【請求項８】
画像出力装置及び音声出力装置を備えたコンピュータに、
画像データと、音声データとから、動画データを作成し、動画ストレージに格納する動画データ格納機能と、前記動画ストレージから、動画データを読み出して、画像及び音声を展開して、画像を画像出力装置に、音声を音声出力装置に出力する動画データ展開機能と、を実現させるプログラムであって、
参照画像と、参照画像の特徴量と、キーワードとを対応づけて記憶する参照画像特徴記憶機能と、
前記動画データに含まれる画像の特徴量を算出する特徴量算出機能と、
前記特徴量算出機能により算出された特徴量と、前記参照画像特徴記憶機能により記憶されている特徴量とを比較する特徴量比較機能と、
前記特徴量比較機能の比較結果に基づいて、前記動画データに含まれる画像に類似する参照画像のキーワードを含むタグ情報を生成し保存するタグ情報保存機能と、
を実現するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像入力部から入力された画像と、音声入力部から入力された音声とから、動画データを作成し、動画ストレージに格納する動画データ格納部と、前記動画ストレージから、動画データを読み出して、画像及び音声を展開して、画像を画像出力部に、音声を音声出力部に出力する動画データ展開部を備えた携帯電話等に関する。
【背景技術】
【０００２】
画像や、動画を撮影し、再生する画像処理装置が種々知られている。ここで、携帯電話等の装置においも、メモリ媒体が安価になったことや、高画素のカメラが搭載されたことにより、高品質な動画を長時間撮影することが出来るようになってきている。
【０００３】
長時間の撮影を行うと、特に見たいシーンを発見するには早送り等の操作を行う必要があり、時間がかかる。ＤＶＤなどで販売されている映像ソフトでは、あらかじめチャプタ分割されており、チャプタを指定してジャンプすれば、目的の場面をすぐに見ることが出来るが、携帯電話等で撮影された動画は、撮影後にパソコンなどにデータを移動し、専用の編集ソフトで、あるいは自分で場面の区切り目をつけるなどの作業が必要であった。したがって、長時間撮影する能力を持ちながらも、見たい場面をすぐに見られないという使いにくさは、動画撮影機能を利用者に使ってもらえないことの一因となっていた。
【０００４】
ここで、ＴＶ向け録画装置等の場合、ＣＭ等で自動的に区切る装置があるが、無音を検出する方式や、音声のモノラル／ステレオの切り替わりを検出する方式であり、携帯電話での撮影においては利用が難しかった。
【０００５】
ここで、分類画像が動画である場合にも適用可能なメタデータ付与装置及びメタデータ付与方法が開示されている（例えば、特許文献１参照）。例えば、インターネットから収集した静止画像データから特徴量を抽出し、動画の各フレームデータ（画像）から抽出した特徴量と照合し、近い静止画像データに関連するキーワードをメタデータとして付与する手段を提供している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２１７７０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述した方法を用いれば、動画像の各フレームに類似画像検索を行い、各フレームにメタデータを付与することが出来るが、一般的に各画像の特徴ベクトルを算出する処理や、特徴ベクトルに基づく類似画像検索は処理量が大きく時間がかかり、特に画像サイズが大きくなればなるほどより多くの時間がかかるようになるため、録画時にどのように適用するのかという課題が残ってしまう。特に、ビデオカメラなど、専用の録画装置ではサイズの大きい動画を扱うための専用のハードウェアが使われるため比較的実現しやすいが、携帯電話等のように、電話等他の機能と共通で使う汎用かつ小型のＣＰＵなどを使わなければならないなどの制約の中では実現困難であった。
【０００８】
また、すべての動画フレームに対してメタデータを付与できたとして、シーンの変わり目、すなわち何か特徴的なものが初めて写る場面を一覧として再生時に利用者に提示するには、一度すべてのメタデータを読み込む必要があるが、動画に連続して同じものが写っている限りそのフレーム数分のメタデータが付与されることとなり、読み込みに時間がかかるといった問題点が生じていた。
【０００９】
上述した課題に鑑み、本発明が目的とするところは、比較的処理能力が低い携帯電話で高解像度な動画像を撮影する場合であっても、撮影中にリアルタイムかつ自動的に、参照画像に基づいて、利用者に負担をかけることなく、タグを付与することにより、利用者にとって視聴しやすい動画を提供出来る携帯電話等を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題に鑑み、本発明の携帯電話は、画像入力部から入力された画像と、音声入力部から入力された音声とから、動画データを作成し、動画ストレージに格納する動画データ格納部と、前記動画ストレージから、動画データを読み出して、画像及び音声を展開して、画像を画像出力部に、音声を音声出力部に出力する動画データ展開部と、を備えた携帯電話であって、参照画像と、参照画像の特徴量と、キーワードとを対応づけて記憶する参照画像特徴記憶部と、前記動画データに含まれる画像の特徴量を算出する特徴量算出部と、前記特徴量算出部により算出された特徴量と、前記参照画像特徴記憶部に記憶されている特徴量とを比較する特徴量比較部と、前記特徴量比較部の比較結果に基づいて、前記動画データに含まれる画像に類似する参照画像のキーワードを含むタグ情報を生成し保存するタグ情報保存部と、を備えることを特徴とする。
【００１１】
また、本発明の携帯電話において、前記タグ情報保存部は、前記参照画像に類似する画像の動画データの開始時刻をダグ情報に更に含めて保存することを特徴とする。
【００１２】
また、本発明の携帯電話において、前記タグ情報保存部は、前記参照画像に類似する画像の動画データの終了時刻をダグ情報に更に含めて保存することを特徴とする。
【００１３】
また、本発明の携帯電話において、前記タグ情報保存部は、前記参照画像に対応するキーワードに応じたシーンの情報についてタグ情報に含めて保存することを特徴とする。
【００１４】
また、本発明の携帯電話は、前記動画データ展開部に対し、前記動画データに基づいたタグ情報に基づいて、再生の指示を行う再生指示部を更に有することを特徴とする。
【００１５】
また、本発明の携帯電話において、前記再生指示部は、キーワードが含まれているシーンを前記タグ情報から特定し、当該シーンが連続して再生されるように前記動画データ展開部に対して再生指示を行うことを特徴とする。
【００１６】
また、本発明の携帯電話において、前記動画データ展開部は、再生指示部から早送りの指示があった際、前記タグ情報に基づき、各タグの先頭フレームのみ又は各タグの先頭から数秒間のフレームのみを、時系列にしたがって順に動画データを展開して出力することを特徴とする。
【００１７】
本発明のプログラムは、画像出力装置及び音声出力装置を備えたコンピュータに、画像データと、音声データとから、動画データを作成し、動画ストレージに格納する動画データ格納機能と、前記動画ストレージから、動画データを読み出して、画像及び音声を展開して、画像を画像出力装置に、音声を音声出力装置に出力する動画データ展開機能と、を実現させるプログラムであって、参照画像と、参照画像の特徴量と、キーワードとを対応づけて記憶する参照画像特徴記憶機能と、前記動画データに含まれる画像の特徴量を算出する特徴量算出機能と、前記特徴量算出機能により算出された特徴量と、前記参照画像特徴記憶機能により記憶されている特徴量とを比較する特徴量比較機能と、前記特徴量比較機能の比較結果に基づいて、前記動画データに含まれる画像に類似する参照画像のキーワードを含むタグ情報を生成し保存するタグ情報保存機能と、を実現することを特徴とする。
【発明の効果】
【００１８】
本発明の携帯電話によれば、参照画像と、参照画像の特徴量と、キーワードとを対応づけて記憶する参照画像特徴記憶部を有しており、動画データに含まれる画像の特徴量を算出し、算出された特徴量と、前記参照画像特徴記憶部に記憶されている特徴量とを比較する。そして、比較結果に基づいて、前記動画データに含まれる画像に類似する参照画像のキーワードを含むタグ情報を生成し保存する。したがって、撮影者が意識することなく、参照画像特徴記憶部に記憶されている参照画像に基づいてタグ情報が生成されることとなり、利用者が再生時にタグ情報を利用して再生可能な動画データを提供することができる。
【００１９】
また、利用者がキーワードを指定することによって、動画データからキーワードを含むシーンのみを再生するといったことが、本発明の携帯電話により実現可能となる。
【図面の簡単な説明】
【００２０】
【図１】本実施形態における携帯電話の機能構成を説明するための図である。
【図２】本実施形態における携帯電話が、動画データを撮影する場合に使用される機能部を説明するための図である。
【図３】本実施形態における携帯電話が、動画データを再生する場合に使用される機能部を説明するための図である。
【図４】本実施形態における参照画像特徴ＤＢのデータ構成の一例を説明するための図である。
【図５】本実施形態における動画ストレージのデータ構成の一例を説明するための図である。
【図６】本実施形態におけるタグ情報の一例を説明するための図である。
【図７】本実施形態におけるタグ情報生成処理の一例を説明するための図である。
【図８】本実施形態におけるタグ保存処理の一例を説明するための図である。
【図９】本実施形態における動画データのタイムシーケンスを表している図である。
【図１０】本実施形態における画面表示の一例を説明するための図である。
【図１１】本実施形態における動画データのタイムシーケンスを表している図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明を実施するための最良の形態について説明する。なお、本実施形態では、一例として、高解像度の動画撮影が可能な携帯電話１に適用した場合について説明する。
【００２２】
［機能構成］
まず、携帯電話１の機能構成について説明する、図１は、携帯電話１の機能構成の全体を示したものであり、図２は、携帯電話１において動画を記録する場合に利用される機能部を中心に、図３は、動画を再生する場合に利用される機能部を中心にそれぞれ表した図である。
【００２３】
図１に示すように、携帯電話１は、制御部１０に、通信部２０と、画像入出力部２２と、カメラ部２４と、表示部２６と、画像処理部３０と、音声入出力部４０と、マイク４２と、スピーカ４４と、音声処理部５０と、記憶部６０と、動画処理部７０と、画像解析部８０と、再生指示部９０とが、バスを介して接続されている。
【００２４】
制御部１０は、携帯電話１を制御する機能部であり、例えばＣＰＵ等の処理装置により構成されている。制御部１０は、記憶部６０に記憶されている各種プログラムを読み出して実行することにより、各機能を実現することとなる。
【００２５】
通信部２０は、携帯電話１が基地局と通信を行う為の機能部であり、通信部２０を介して音声データ及び各データをネットワーク（例えば、携帯電話網）を介して通信可能となる。
【００２６】
画像入出力部２２は、入力された画像を処理して各機能部に出力する機能部である。例えば、カメラ部２４から入力された画像を処理したり、表示部２６に適した表示形態にて画像を出力したりする機能部である。
【００２７】
ここで、画像入出力部２２は、出力する装置及び機能部に応じて適宜適切な大きさの画像に変換し、出力する画像変換機能を備えるものとする。例えば、入力された画像データ（例えば、解像度がＸＧＡの画像データ）を表示部２６（例えば、表示能力としてＶＧＡの表示部）に出力する場合には、表示部２６の表示サイズ（解像度がＶＧＡの画像データ）に適切に変換されて出力することとなる。
【００２８】
また、本実施形態においては、画像入出力部２２から特徴量算出部８２に出力される画像データは、表示部２６に出力される画像データにて出力されることとする。これにより、画像のエンコードの次に処理負荷の大きい特徴量を抽出する処理において、表示用の画像データ（すなわち、撮影されたデータより解像度の低い画像データ）を利用することで、処理負荷を軽減することができる。
【００２９】
カメラ部２４は、被写体や風景等を撮影するための機能部であり、例えば、ＣＣＤ等で構成されている。カメラ部２４で撮影された画像は、画像入出力部２２に出力される。
【００３０】
表示部２６は、携帯電話１における種々の情報を表示したり、画像又は動画像を表示したりする機能部である。例えば、液晶ディスプレイや、有機ＥＬディスプレイ等により構成されている。
【００３１】
画像処理部３０は、携帯電話１において、所定の形式にて画像データを符号化したり、復号したりする機能部である。画像処理部３０は、画像データを符号化する画像エンコーダ部３２と、画像データを復号する画像デコーダ部３４とを備えている。
【００３２】
音声入出力部４０は、入力された音声を処理して各機能部に出力する機能部である。例えば、マイク４２から入力された音声を処理したり、スピーカ４４に出力したりする機能部である。なお、本実施形態においては、音声出力部としてスピーカ４４を利用して説明するが、例えばヘッドフォン等の他の音声出力装置で構成されても良いことは勿論である。
【００３３】
音声処理部５０は、携帯電話１において、所定の形式にて音声データを符号化したり、復号したりする機能部である。音声処理部５０は、音声データを符号化する音声エンコーダ部５２と、音声デコーダ部５４とを備えている。
【００３４】
記憶部６０は、携帯電話１の設定状態を記憶したり、一時的な画像データを保存したりするための機能部である。ここで、記憶部６０は、例えば、半導体メモリ、ハードディスクドライブ、光学式ディスクドライブ等のいずれかの記憶装置により構成されている。また、携帯電話１を動作させる為の各種データやプログラム等も記憶している。制御部１０は、記憶部６０に記憶されている制御プログラムを読み出して実行することにより、各種制御処理を実行する。
【００３５】
また、記憶部６０には、参照画像特徴ＤＢ６２と、動画ストレージ６４との領域が確保されている。
【００３６】
ここで、参照画像特徴ＤＢ６２のデータ構造の一例として図４に示す。参照画像特徴ＤＢ６２は、参照画像のファイルパスと、参照画像に対応するキーワードと、参照画像の特徴量データとが対応づけて記憶されている。
【００３７】
ここで、同じ被写体であっても、撮影条件などにより画像の特徴量には差異が生じるため、同じキーワードに該当する画像を複数登録することでより高い識別率を得ることができる。また、参照画像は携帯電話の製造者があらかじめ登録しておいても良いし、使用者が後から登録できるようにしても良い。また、携帯電話には人物名と対応する画像を登録可能な電話帳機能が備わっていることが多いため、これを参照画像として用いても良い。さらに、携帯電話での静止画像撮影では、ＧＰＳを用いて位置情報を埋め込んだりできるので、これを利用するのもよい。
【００３８】
動画ストレージ６４は、動画データと、動画データに対応するタグ情報とが記憶されている記憶領域である。例えば、図５に示すように、動画像データ（例えば、「recorded100.mp4」）に対応づけて、タグ情報（例えば、「<taglist>〜」）がそれぞれ記憶されている。
【００３９】
ここで、タグ情報について、図６を用いて説明する。まず、ｆｉｌｅｎａｍｅタグ（Ｔ１）により、動画像データが指定されており、当該動画像データ内のタグがｔａｇ  ｉｄタグ（Ｔ１００）で指定されている。この、ｔａｇ  ｉｄタグで囲まれている範囲（例えば、Ｔ１０やＴ１２）が一つのタグとなる。
【００４０】
また、各タグ情報の詳細については、以下の通りである。
ｒｅｆ−ｉｍｇタグ（Ｔ１０２）：参照画像にアクセスするためのパス情報が記録されている。
ｔｈｕｍｂｎａｉｌタグ（Ｔ１０４）：サムネイル画像に関するパス情報が記録されている。
ｋｅｙｗｏｒｄタグ（Ｔ１０６）：コンテンツに対するキーワードが記録されている。
ｓｔａｒｔ−ｔｉｍｅタグ（Ｔ１０８）：コンテンツの開始時間が記録されている。
ｅｎｄ−ｔｉｍｅタグ（Ｔ１１０）：コンテンツの終了時間が記録されている。
【００４１】
なお、本実施形態には、タグ情報の一例としてＸＭＬ形式としているが、他の形式にて保存されることとしても良いことは勿論である。
【００４２】
動画処理部７０は、入力された画像データ及び音声データを結合することにより動画データを例えば、Ｍｐｅｇ４形式等の所定の形式に符号化したり、逆に読み出された動画データを、画像データ及び音声データに分離して出力したりする機能部である。動画処理部７０には、動画データを符号化して格納する動画データ格納部７２と、動画データを展開して画像データと音声データに分離（展開）する動画データ展開部７４とを備えている。
【００４３】
画像解析部８０は、各種画像を解析したり、動画ストレージ６４からタグ情報を読み出したり保存したりする機能部である。画像解析部８０には、特徴量算出部８２と、特徴量比較部８４と、タグ保存部８６と、タグ読み出し部８８とを含んでいる。
【００４４】
特徴量算出部８２は、入力された１フレーム分の画像データの特徴情報を算出する機能部である。本実施形態では特徴情報の算出方法は特に問わないが、例えば、ＲＧＢ方式におけるＲ、Ｇ、Ｂ各色のヒストグラムを特徴情報とする方法や、ＹＵＶ方式におけるＹのみのヒストグラムを特徴情報とする方法などがより適する。
【００４５】
なお、特徴量算出部８２に入力されるデータは、画像入出力部２２から出力される表示用の画像データであることとする。なお、特徴量算出部８２の処理性能により、撮影された画像データ（すなわち、高解像度の画像データ）を利用しても良い。
【００４６】
特徴量比較部８４は、特徴量算出部８２で算出した特徴情報と、参照画像特徴ＤＢ６２から取得した特徴情報とを比較し、類似度を算出するための機能部である。
【００４７】
タグ保存部８６は、特徴量比較部８４で一定以上の類似度を持つと判断された参照画像情報と、特徴量算出部８２で特徴算出処理をしたフレームデータのタイムスタンプ情報を元に、録画中の動画データのタグ情報を作成し、動画データ対応づけて動画ストレージ６４に記憶する。
【００４８】
タグ読み出し部８８は、動画ストレージ６４に含まれているタグ情報を読み出し、動画データ展開部７４及び画像入出力部２２にタグ情報を出力する。
【００４９】
再生指示部９０は、表示部２６に表示されたタグ情報を見た利用者が、動画像の好みの位置から再生するように位置を指定する役割を持つハードウェア及びソフトウェアである。ハードウェアとしては、表示部２６と一体となったタッチパネルを用いる方法でもよいし、携帯電話のキー、携帯電話に接続されたキーボードなどを用いる方法でも良い。
【００５０】
［動画記録時について］
つづいて、各機能部について、動画を記録する場合と、動画を再生する場合に利用される機能部を中心に説明する。まず、動画を記録する場合について説明する。
【００５１】
カメラ部２４、マイク４２はそれぞれ携帯電話１に取り付けられた撮影装置と音声入力装置である。
【００５２】
カメラ部２４から入力された画像（動画）は、画像入出力部２２に出力され、画像データとして、表示部２６、画像エンコーダ部３２、特徴量算出部８２に出力される。特徴量算出部は、画像入出力部２２から入力された画像に基づいて特徴量を算出する。そして、参照画像特徴ＤＢ６２に記憶されている参照画像の特徴量と、特徴量算出部８２により算出された特徴量とを比較し、類似する参照画像（すなわち、タグ）を認識する。
【００５３】
ここで、画像入出力部２２から画像エンコーダ部３２により所定の形式にエンコードされた画像データが送信される。
【００５４】
また、マイク４２から入力された音声は、音声入出力部４０により音声データに変更される。また、音声エンコーダ部５２により、所定の形式にエンコードされ、動画データ格納部７２に出力する。
【００５５】
また、動画データ結合部は、画像エンコーダ部３２により出力された画像データと、音声エンコーダ部５２により出力された音声データとを、動画ファイルとする。そして、動画ファイルは、動画ストレージ６４に、タグ保存部８６により記憶されたタグ情報と併せて、動画ストレージ６４に記憶される。
【００５６】
［再生機能］
続いて、動画を再生する場合について説明する。図３は本実施形態における携帯電話１で動画像を再生する機能を実現するための一実施形態例を示すシステム図である。
【００５７】
再生指示部９０より、利用者により動画の再生が指示されると、動画データ展開部７４は、動画ストレージ６４より対応する動画データと、タグ情報を読み出す。
【００５８】
そして、動画ストレージ６４から読み出された動画データは動画データ展開部７４に、タグ情報はタグ読み出し部８８を介して動画データ展開部７４及び画像入出力部２２にそれぞれ出力される。
【００５９】
動画データ展開部７４は、入力された動画データを画像データと音声データとにそれぞれ分離して出力する。具体的には、画像データを画像デコーダ部３４に、音声データを音声デコーダ部５４にそれぞれ出力する。
【００６０】
そして、画像デコーダ部３４により、画像が復号され、画像入出力部２２を介して表示部２６に出力される。また、音声デコーダ部５４により、音声が復号され、音声入出力部４０を介してスピーカ４４に出力される。
【００６１】
［タグ情報生成処理］
続いて、動画像撮影時におけるタグ情報生成手順について、図７を用いて説明する。携帯電話１内には、あらかじめ参照画像となる画像と、それに対応するキーワードを参照画像特徴ＤＢ６２に登録しておく。ここで、参照画像は複数登録することができ、撮影開始前に特徴量算出部８２において特徴量を算出し、参照画像特徴ＤＢ６２に登録しておく。
【００６２】
撮影を開始すると、まず参照画像特徴ＤＢ６２から特徴量比較部８４に特徴量データをすべて読み込む（ステップＳ１０）。具体的には、特徴量データがｎ個登録されていれば、変数Ｆｒ１〜Ｆｒｎとして読み込む。読み込みが終わったら、カメラ部２４からの画像の入力を開始する（ステップＳ１２）。
【００６３】
画像入出力部２２は、撮影パラメータに従い画像エンコーダ部３２に画像を出力する。また、画像エンコーダ部３２に提供した画像がどのような画像であるかを利用者にわかりやすくするため、表示部２６にも画像を出力する。また、画像入出力部２２には、常に最新の画像データを取得可能なバッファが備わっており、１フレーム分のデータが貯まると特徴量算出部８２に通知する。
【００６４】
携帯端末の場合、一般に表示部２６の解像度は撮影可能なサイズよりも小さいため、画像エンコーダ部３２に出力される画像よりも表示部２６に出力する画像の解像度の方が粗くなる。そこで本実施形態では、実際に符号化する画像を特徴抽出対象として使うのではなく、表示部２６で表示するための画像を使うことにする。
【００６５】
すなわち、画像入出力部２２のバッファには、表示部２６で表示するための画像と同じデータを格納する。特徴量算出部８２は、データを取得する準備が整っていれば、任意のタイミングでそれを取得することが出来るが、データを取得する前にカメラから新たな画像が入力されると画像入出力部２２内にデータは上書きされる。特徴量算出部８２は、バッファにデータがたまったことを通知されると、１フレーム分のデータが入力され（ステップＳ１４）、特徴量データを算出する。ここで、算出した特徴量はｉ番目のフレームの特徴量データを意味するＦｉに格納される（ステップＳ１６）。
【００６６】
次に、特徴量比較部８４でＦｉとＦｒ１〜Ｆｒｎの類似度を算出する（ステップＳ１８）。類似度の算出方法は、特徴量データの算出方法によりさまざまな算出方法があるが、例えばＹＵＶ方式におけるＹのみのヒストグラムを特徴量データとしたときには、各要素の差分を全要素にわたって加算したものを類似度とすることができる。すなわち、Ｆｉの各要素をＦｉ、Ｆｒ１〜Ｆｒｎの各要素をＦｒ１〜Ｆｒｎ、要素数をｍとすれば、Ｆｉとｎ番目の参照画像の特徴量データとの類似度Ｓｒｎは以下の式で求められる。
【数１】
2010287974.tif 000003
この算出方法では、ヒストグラムのすべての要素が同じ値の時にはＳｒｎ＝０となり、もっとも類似している画像であると判断でき、Ｓｒｎが大きいほど類似していないと判断することができる。類似度の算出は読み込んである参照画像データの特徴量データの数だけ算出するので、ｎ個読み込んであればＳｒ１〜Ｓｒｎに格納される。
【００６７】
そして、算出した類似度のうち、一定以下の値（閾値）を持つ、すなわち一定以上の値を持っていると判断できるものを抽出し、タグ情報の候補として抽出する（ステップＳ２０）。この一定の閾値は、すべての参照画像で同じ値でも良いし、参照画像に個々に設定しても良い。
【００６８】
つづいて、タグ保存処理（ステップＳ２２）が実行される。そして、録画を終了しない場合には、ステップＳ１４から繰り返し処理を実行し、他の場合には、本処理を終了する。
【００６９】
［タグ保存処理］
続いて、図７のステップＳ２２において実行されるタグ保存処理について図８を用いて説明する。
【００７０】
タグ保存部８６では、図７のステップＳ２０において、一定以上類似していると判定された画像データのそれぞれについて、ステップＳ５０からＳ５８を繰り返すことによってフレームのタグ情報を記録する。
【００７１】
まず、１つの類似する参照画像データに着目し、その参照画像データが前のフレームでも類似すると判断されていたかどうかを判断する（ステップＳ５０）。もし前のフレームでもその画像が類似と判断されていれば、そのタグ情報候補はスキップする（ステップＳ５０；Ｙｅｓ→ステップＳ６０）。
【００７２】
他方、前のフレームでは類似と判断されていなければ、タグリストにタグ情報として追加する（ステップＳ５２）。ここで追加されるのは、図５におけるｔａｇタグと、そのｉｄである（例えば、Ｔ１００）。次に、ステップＳ５２で追加したタグ情報に、参照画像にアクセスするためのパス情報と、参照画像のキーワード情報を記録する（ステップＳ５４）。これらは、図５におけるｒｅｆ−ｉｍｇタグ（例えば、Ｔ１０２）とｋｅｙｗｏｒｄタグ（例えば、Ｔ１０６）に該当する。次に、Ｓ４４において、入力したフレームデータのタイムスタンプ情報を記録する（ステップＳ５６）。これは図５におけるｓｔａｒｔ−ｔｉｍｅタグ（例えば、Ｔ１０８）に該当する。
【００７３】
次に、フレームデータをサムネイル画像として記録し、アクセスするための情報として記録する（ステップＳ５８）。これは、動画像再生時に、場面一覧として視聴者にわかりやすく提示するための情報である。もちろん、そのような用途がない場合にはこの手順は不要であり、例えばタグ情報の開始時間情報に基づきそのフレームをデコードして視聴者に提示しても良い。
【００７４】
このように、ステップＳ５０からＳ５８までを繰り返すと、新たにタグ情報候補として抽出された参照画像データに基づいたタグ情報が追加される。この後、総てのタグについて処理が完了すると（ステップＳ６０；Ｙｅｓ）、Ｓ５０からＳ６０までの一連の処理で変更されていないタグ情報のうち、終了時刻が記録されていないタグ情報に、フレームデータのタイムスタンプを終了時刻として記録する（ステップＳ６２）。これは図５におけるｅｎｄ−ｔｉｍｅタグ（例えば、Ｔ１１０）に該当する。これは、ある参照画像に類似していると判断された場面が終了したことを意味する。なお、１フレームあたりのタグ保存処理はここまでで終了である。
【００７５】
このように、一つのタグに対して開始時刻から終了時刻の範囲を「シーン」という。例えば、タグ情報（キーワード）として「山」に対応する動画データの範囲を一つの「シーン」とする。
【００７６】
図９は、図５のように保存されたタグが示す、動画データ内の一部の場面を時系列で示したイメージ図である。この区間では、花、人物、紅葉のシーンが撮影されており、図４に示したその他のキーワード（夜景、新設、雪景色）に該当するシーンはない。また、花と人物、人物と紅葉のシーンは一部が同時に被写体となっていることがわかる。
【００７７】
具体的には、タグｉｄ＝１（タイムスタンプが１２３４５〜１３３４５のフレーム）については花が、タグｉｄ＝２（タイムスタンプが１３０００〜１６０００のフレーム）については人物が、タグｉｄ＝３（タイムスタンプが１８００１〜１９１２３のフレーム）については紅葉が、タグｉｄ＝４（タイムスタンプが１８５８３〜２４２１０のフレーム）については人物が写っている。ここで、タイムスタンプが１３０００〜１３３４５のフレームについては、花と人物と両方の被写体が映っていることが解る。
【００７８】
このように、本実施形態では、ある動画フレームがどのようなシーンなのかを一意に決めるのではなく、参照画像との類似度が閾値以上であるという条件の中で、複数の意味を持つシーンであることを許容する。このようにすることで、人物が写っているのに花も写っているから花のシーンとして判断されてしまい、人物の登場シーンから再生することが出来なかった、というようなことを防ぐことが出来る。
【００７９】
図１０は、視聴者が見たいシーンを選ぶための画面の一例である。図１０（ａ）では、シーン一覧を表示して、その中からシーンを選んで再生することができる。ここでは、「花」「人物」「紅葉」「人物」と例示した４つのシーンを時系列で並べている。表示しているのは、どのような場面かを視覚的に判断するためのサムネイル画像と、何の場面であるかを示すキーワードと、開始時刻とである。
【００８０】
もちろん、サムネイル画像のみを表示してシーンを選択できるようにしてもよいし、シーンが多い場合には画面をスクロールして表示できるようにしてもよい。また、サムネイル画像は図５に示したタグ情報に含まれるサムネイル画像を使用しても良いし、タグが示す時刻から実際に動画像を再生し、動く映像として提示しても良い。
【００８１】
図１０（ｂ）では、シーン名を指定して、同じシーン名を持つシーンをまとめて再生する方法の例を示している。上述した実施形態の例で示した動画で「人物」を選択すると、タグｉｄ＝２と、タグｉｄ＝４のシーンを連続して再生することが出来る。これと同じ手法で、例えば人物が写っているシーンだけを抜き出して別の動画ファイルとして作成するといったことも行うことが出来る。
【００８２】
また、タグ情報のもう一つの使用方法として、動画の早送りへの利用が考えられる。これまでの早送りは、すべてのフレームを通常より速くデコードして表示する方法（倍速再生など）と、一定時間毎のフレームのみを表示する方法と、ＭＰＥＧ４などにおけるイントラフレーム符号化されたフレームのみを表示する方法などが使用されてきた。
【００８３】
しかしながら、これは動画の内容とは関係なく一定区間の表示が飛ばされるため、ちょうど見たい位置にあわせるのが難しかった。そこで、記録したタグ情報のサムネイル画像を次々と表示することで、早送りをどの位置で解除しても何らかのシーンが始まる位置から再生を再開することが出来るようになる。
【００８４】
また、早送りの場合に、サムネイル画像表示するだけでなく、各タグの先頭から数秒間のみを連続して表示することで、内容をより具体的に把握しやすいかたちで再生する（ダイジェスト再生を行う）こともできる。図１１は、上述した実施形態による方法で録画した動画像を、早送りする場合に、再生されるフレームと再生されないフレームを時系列で表した図である。
【００８５】
動画データ展開部７４は、各タグの再生時間をあらかじめ決めておき（利用者に設定させる方法でもよい）、利用者による早送り操作(あるいはダイジェスト再生操作)があった場合にこの再生動作を開始する。
【００８６】
まず、現在の再生時刻に最も近い時刻のタグ情報を取得し、その開始時刻から、あらかじめ設定された再生時間分のデータを再生する。その後は、次のタグデータを取得し、同様に指定時間分のデータを再生する動作を繰り返す。
【００８７】
タグ情報は、参照画像が複数ある場合には同時刻に複数存在する場合がある。早送り操作があった時刻、または、早送り中にあるタグ情報の再生が終わった時刻が、次のタグ情報の再生すべきフレームの時刻と重複している場合には、その分のフレームを再生しないなどとする。
【００８８】
［変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
【００８９】
また、上述した携帯電話の各機能や、その他の機能をハードウェア的に実現することは勿論として、上述した各機能を備えるコンピュータプログラムを、コンピュータのメモリにロードすることによっても実現できる。このコンピュータプログラムは、携帯電話に備えられた半導体メモリ等の記録媒体に格納される。そして、その記録媒体から携帯電話に内蔵されるコンピュータのメモリにロードされ実行されることにより、上述した各機能が実現される。
【符号の説明】
【００９０】
１  携帯電話
１０  制御部
２０  通信部
２２  画像入出力部
２４  カメラ部
２６  表示部
３０  画像処理部
３２  画像エンコーダ部
３４  画像デコーダ部
４０  音声入出力部
４２  マイク
４４  スピーカ
５０  音声処理部
５２  音声エンコーダ部
５４  音声デコーダ部
６０  記憶部
６２  参照画像特徴ＤＢ
６４  動画ストレージ
７０  動画処理部
７２  動画データ格納部
７４  動画データ展開部
８０  画像解析部
８２  特徴量算出部
８４  特徴量比較部
８６  タグ保存部
８８  タグ読み出し部
９０  再生指示部
【図１】
2010287974.tif 000004
【図２】
2010287974.tif 000005
【図３】
2010287974.tif 000006
【図４】
2010287974.tif 000007
【図５】
2010287974.tif 000008
【図６】
2010287974.tif 000009
【図７】
2010287974.tif 000010
【図８】
2010287974.tif 000011
【図９】
2010287974.tif 000012
【図１０】
2010287974.tif 000013
【図１１】
2010287974.tif 000014