(57)【要約】【課題】イベント項目が付加されていない映像に、付加するためのイベント項目として信頼性のあるイベント項目の候補を選定する。【解決手段】映像を撮像する撮像手段と、前記撮像手段によって撮像された映像にイベント項目を関連付けるイベント項目付加手段と、前記映像の内容を解析する画像処理手段と、前記画像処理手段の解析結果に基づきイベント項目を抽出する第１のイベント項目抽出手段と、記録されているイベント映像の撮影状況に基づいてイベント項目を抽出する第２のイベント項目抽出手段と、前記第１のイベント項目抽出手段と前記第２のイベント項目抽出手段の結果に基づいてイベント項目の候補を選定するイベント項目選定手段と、を備え、前記イベント項目付加手段によってイベント項目が付加されていない映像が撮像された場合に、前記イベント項目選定手段は、前記映像に付加するためのイベント項目の候補を選定することを特徴とする。【選択図】図１
2016201713.tif 000002
【特許請求の範囲】
【請求項１】
撮影された映像にイベント項目を関連づけたイベント映像を撮影する撮像装置であって、
映像を撮像する撮像手段と、
前記撮像手段によって撮像された映像にイベント項目を関連付けるイベント項目付加手段と、
前記映像の内容を解析する画像処理手段と、
前記画像処理手段の解析結果に基づきイベント項目を抽出する第１のイベント項目抽出手段と、
記録されているイベント映像の撮影状況に基づいてイベント項目を抽出する第２のイベント項目抽出手段と、
前記第１のイベント項目抽出手段と前記第２のイベント項目抽出手段の結果に基づいてイベント項目の候補を選定するイベント項目選定手段と、
を備え、
前記イベント項目付加手段によってイベント項目が付加されていない映像が前記撮像手段によって撮像された場合に、
前記イベント項目選定手段は、前記映像に付加するためのイベント項目の候補を選定することを特徴とする撮像装置。
【請求項２】
前記イベント項目は、テーマ情報に関連付けられてあり、テーマ情報は少なくとも１つのイベント項目が関連付けられている構成であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２のイベント項目抽出手段は、
前記テーマ情報に関連付けられているイベント項目情報において、記録済みのイベント映像に対応するイベント項目以外から、前記映像に関連付けるイベント項目を抽出することを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記イベント項目に時間的関係が関連付けられてあり、
前記第２のイベント項目抽出手段は、
記録済みのイベント映像の時間的関係から、前記映像に関連付けるイベント項目を抽出することを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項５】
前記第２のイベント項目抽出手段は、
記録済みのイベント映像に関連付けられているイベント項目との時間的関係に基づいて、抽出したイベント項目に優先度を設定することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記イベント映像は撮影場所、撮影日時が関連付けられてあり、
前記第２のイベント項目抽出手段は、
記録済みのイベント映像に関連付けられている少なくとも撮影場所、撮影日時のいずれか１つを用いて、前記映像に対応するテーマ情報を選定することを特徴とする請求項１乃至請求項５の何れか一項に記載の撮像装置。
【請求項７】
前記イベント項目は登録被写体情報が関連付けられてあり、
前記撮像手段によって撮影された被写体を識別する被写体識別手段を有し、
前記第１のイベント項目抽出手段は、前記被写体識別手段による識別結果と、前記登録被写体情報から、前記映像に関連付けるイベント項目を抽出することを特徴とする請求項１乃至請求項６の何れか一項に記載の撮像装置。
【請求項８】
前記イベント項目選定手段は、
前記第１のイベント項目抽出手段と前記第２のイベント項目抽出手段の両方で抽出された同一のイベント項目を、前記映像に付加するためのイベント項目の候補として選定することを特徴とする請求項１乃至請求項７の何れか一項に記載の撮像装置。
【請求項９】
前記イベント項目選定手段は、
前記第１のイベント項目抽出手段と前記第２のイベント項目抽出手段の両方で抽出されたイベント項目が複数抽出された場合に、
前記第２のイベント項目抽出手段で設定された優先度に基づいて選定することを特徴とする請求項５又は請求項８に記載の撮像装置。
【請求項１０】
再生されている映像にイベント項目を関連づけたイベント映像を作成する再生装置であって、
映像を再生する再生手段と、
前記再生手段によって再生されている映像にイベント項目を関連付けるイベント項目付加手段と、
前記映像の内容を解析する映像解析手段と、
前記映像解析手段が解析した結果に基づきイベント項目を抽出する第１のイベント項目抽出手段と、
記録されているイベント映像の撮影状況に基づいてイベント項目を抽出する第２のイベント項目抽出手段と、
前記第１のイベント項目抽出手段と前記第２のイベント項目抽出手段の結果に基づいてイベント項目の候補を選定するイベント項目選定手段と、
を備え、
前記イベント項目付加手段によってイベント項目が付加されていない映像が前記再生手段によって再生された場合に、
前記イベント項目選定手段は、前記第１のイベント項目抽出手段と前記第２のイベント項目抽出手段の結果に基づいて前記映像に付加するためのイベント項目の候補を選定することを特徴とする再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラ等の撮像装置や再生装置を用いて、各種テーマのシナリオに基づいて構成されるイベントを、シナリオに従って撮影するシナリオモードを有する撮像装置及び再生装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラやビデオカメラの普及に伴い、子供の運動会や友人の結婚式などと言った場において、多くのユーザが自身の望む映像を撮影している風景を見る機会が増えた。
【０００３】
しかし、このような場での撮影において、「運動会」や「結婚式」と言った各テーマの流れに沿ったストーリー性且つ完成度の高い動画撮影を行いたいというニーズがある。
【０００４】
このようなニーズに対する手段として、各テーマの流れに基づいて構成されるイベントの情報をデジタルカメラやデジタルビデオカメラなどの撮像装置に与え、そのイベントの情報に従って映像を撮影することで、ストーリー性に優れ且つ完成度の高い動画撮影を行うことができる「シナリオモード」を有する撮像装置が知られている。
【０００５】
例えば、結婚式のテーマの流れにおけるイベントとしては、新郎新婦入場、乾杯、ケーキ入刀、新郎新婦退場などがあり、これらのイベントをイベント情報として撮像装置に記録する。
【０００６】
これにより、各テーマの流れに基づいて進行しているイベントをイベント情報に従ってユーザは撮影を行うことで、そのテーマで撮影すべきイベントを取り逃すことなく、ストーリー性且つ完成度の高い動画撮影を行うことができる。
【０００７】
ところで、このような撮像装置では、撮影者は、撮影操作を行う前に、予め、テーマとイベント情報を指定する。いずれかのテーマにおけるイベント情報が指定された状態で撮影が行われると、撮影した映像に、指定されたテーマとイベント情報が関連付けられて記録される。
【０００８】
そのため、撮影者が、撮影操作を行う前にテーマやイベント情報の指定を忘れてしまった場合には、映像にイベント情報が付加されず、ストーリー性に優れ且つ完成度の高い動画にはならなくなってしまう。これを回避するため、テーマやイベント項目の付加を忘れて撮影された映像に対して、撮影終了後にイベント項目を付加する必要がある。
【０００９】
特許文献１では、撮影した映像に対し映像解析を用いてイベントを識別し、識別結果のイベントに対応するシナリオを選定し、選定されたシナリオに関連付けられている編集内容に基づいて編集処理を施す映像編集装置が提案されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１０−２３２８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
イベント項目の付加を忘れて映像を撮影し、イベント項目が関連付けられているイベント映像を記録できなかった場合に、撮影後において、映像に付加するためのイベント項目の候補を簡単に付加したい。
【００１２】
しかしながら、上記特許文献１に記載の方法では、付加するイベント項目として信頼性のあるイベント項目を選定することができない。
【課題を解決するための手段】
【００１３】
上記目的は、
撮影された映像にイベント項目を関連づけたイベント映像を撮影する撮像装置であって、
映像を撮像する撮像手段と、
前記撮像手段によって撮像された映像にイベント項目を関連付けるイベント項目付加手段と、
前記映像の内容を解析しイベント項目を抽出する第１のイベント項目抽出手段と、
記録されているイベント映像の撮影状況に基づいてイベント項目を抽出する第２のイベント項目抽出手段と、
前記第１のイベント項目抽出手段と前記第２のイベント項目抽出手段の結果に基づいてイベント項目の候補を選定するイベント項目選定手段と、
を備え、
前記イベント項目付加手段によってイベント項目が付加されていない映像が前記撮像手段によって撮像された場合に、
前記イベント項目選定手段は、前記第１のイベント項目抽出手段と前記第２のイベント項目抽出手段の結果に基づいて前記映像に付加するためのイベント項目の候補を選定することを特徴とする撮像装置によって達成される。
【発明の効果】
【００１４】
本発明の撮像装置によれば、イベント項目の付加を忘れて映像を撮影し、イベント項目が関連付けられているイベント映像を記録できなかった場合に、撮影後において、映像に付加するためのイベント項目の候補として信頼性のあるイベント項目を選定することができる。具体的には、映像解析結果の結果と記録済みのイベント映像の撮影状況から、すでに撮影済みのイベント項目や撮影した映像の内容とは異なるイベント項目を選定の候補外にすることにより、信頼性のあるイベント項目を選定することができる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】第１の実施形態に係るテーマ情報の管理データ示すである。
【図３】第１の実施形態に係るテーマ／イベント選択画面である。
【図４】第１の実施形態に係るイベント項目情報の管理データを示す図である。
【図５】第１の実施形態に係るイベント映像の管理データを示す図である。
【図６】第１の実施形態に係るイベント項目選定部の処理過程を説明する図である。
【図７】第２の実施形態に係る再生装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。
【００１７】
＜第１の実施形態＞
図１は本発明に係る実施の形態における撮像装置１００の一例である概略構成を示すブロック図である。撮像装置１００は、撮影して得られた映像にイベント項目が付加されていない場合に、映像解析と記録済みのイベント映像の撮影状況からイベント項目を抽出し、付加するためのイベント項目の候補を選定する機能を有する。
【００１８】
ここで、テーマ情報の構成の詳細を、図２を参照して説明する。図２は第１の実施形態に係る撮像装置１００が有するシナリオモードにおけるテーマ情報の管理データを示す図である。
【００１９】
テーマとは、「運動会」、「結婚式」、「旅行」と言った大まかな概念を表し、テーマ毎にテーマ情報として、各テーマの名前２０１とテーマの全編を構成する主要なイベントを定めるイベント項目２０２が関連付けられている。例えば、「結婚式」のテーマ情報におけるイベント項目は、「新郎新婦入場」、「乾杯」、「ケーキ入刀」などがある。
【００２０】
撮像レンズ１０１によって被写体像を表す光線が集光され、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような撮像素子１０２に入射する。撮像素子１０２は、入射した光線の強度に応じた電気信号を画素単位で出力する。この電気信号が映像信号である。撮像素子１０２から出力された映像信号は、アナログ信号処理部１０３において相関二重サンプリング（ＣＤＳ）等のアナログ信号処理が行われる。
【００２１】
アナログ信号処理部１０３から出力された映像信号は、Ａ／Ｄ変換部１０４においてデジタルデータの形式に変換され、デジタル化された画像が生成される。デジタル化された画像は処理対象の画像として制御部１０５および画像処理部１０６に入力される。
【００２２】
制御部１０５は、ＣＰＵ（Central Processing Unit）やマイクロコントローラなどであり、撮像装置１００の動作を中央制御する。具体的には、制御部１０５は、ＲＯＭ（Read Only Memory）に記憶されたプログラムコードをＲＡＭ（Random Access Memory）の作業領域に展開して順次実行することで、撮像装置１００の各部を制御する。
【００２３】
また、制御部１０５は、撮像素子１０２で撮像する際の焦点状況や露出状況などの撮像条件を制御する。具体的には、制御部１０５は、Ａ／Ｄ変換部１０４から出力された映像信号に基づいて、撮像レンズ１０１の焦点制御機構や露出制御機構（いずれも図示しない）を制御する。例えば、焦点制御機構は撮像レンズ１０１を光軸方向へ駆動させるアクチュエータなどであり、露出制御機構は絞りやシャッターを駆動させるアクチュエータなどである。
【００２４】
画像処理部１０６においては、入力された処理対象の画像についてガンマ補正、ホワイトバランス処理などの画像処理が行われる。なお、画像処理部１０６は通常の画像処理に加え、後述する第１のイベント項目抽出部１１１によるイベント項目の抽出を行う場合に、入力された処理対象の画像に対して映像解析を行う。画像処理部１０６から出力された映像信号は、表示部１０７に送られる。表示部１０７は、例えばＬＣＤや有機ＥＬディスプレイであり、映像信号を表示する。時系列的に連続撮影した画像を逐次表示部１０７に表示することで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、映像信号は記録媒体１０８（例えば着脱可能なメモリカード）に記録される。なお、記録先はカメラの内蔵メモリやカメラに装着されたメモリであってもよいし、通信可能に接続された外部装置であっても良い。
【００２５】
操作部１０９は、シャッターボタンや十字キー、モード切り替えスイッチなど、ユーザが撮像装置１００に対して指示する際に使用するものである。ここで述べた、モード切り替えスイッチは、制御部１０５の動作モードを静止画記録モード、動画記録モード、再生モードなどのいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモードなどがある。
【００２６】
本実施形態における撮像装置の制御部１０５は動画記録モードに含まれるモードとしてシナリオモードを有する。
【００２７】
本実施形態では、撮像装置１００があらかじめ定義されたテーマ情報を複数有し、各々のテーマ情報には、テーマ名とテーマに基づいた複数のイベント項目が関連付けられている。
【００２８】
本実施形態が有するシナリオモードでは、イベント付加手段１１０を用いて撮影した映像にテーマ情報に関連付けられたイベント項目を付加し、記録媒体１０８などに記録する。ここで述べたテーマ情報は、例えば制御部１０５に含まれるＲＯＭなどに記録されている。
【００２９】
イベント項目付加部１１０は、制御部１０５に入力された処理対象の画像で構成される映像にテーマ情報に関連付けられているイベント項目を付加する。イベント項目付加部１１０によるイベント項目の付加方法としては、操作部１０９を操作して選択してユーザが付加したいイベント項目を付加したり、後述するイベント項目選定手段によって選定されたイベント項目を手動もしくは自動で選択して付加したりする方法がある。
【００３０】
ユーザが選択したイベント項目を付加する際の手順として、例えばテーマ情報「結婚式」における「新郎新婦入場」のイベント項目を付加する場合について、図３を参照して説明する。図３はイベント項目を付加する際のテーマ情報選択画面とイベント項目選択画面を示す図である。
【００３１】
ユーザは、操作部１０９を操作して表示部１０７にテーマ選択画面３０１を表示する。テーマ選択画面には、例えば制御部１０５に含まれるＲＯＭなどに記録されている複数のテーマ情報３０２が表示されている。このテーマ情報３０２の中から、操作部１０９を操作して目的とするテーマ情報の「結婚式」を選択する。目的とするテーマを選択した後、続いて、操作部１０９を操作してイベント項目選択画面３０３を表示部１０７に表示する。イベント項目選択画面には、選択されたテーマ情報「結婚式」に関連付けられているイベント項目３０４が表示されている。このイベント項目情報３０４から、目的とするイベント項目情報の「新郎新婦入場」を選択する。
【００３２】
これにより、撮影した映像にテーマ情報に関連付けられているイベント項目情報を付加することができる。
【００３３】
ここで、イベント項目選定部１１３によって選定されたイベント項目を手動もしくは自動で付加する際の構成及び動作の詳細を、図４及び図５を参照して説明する。
【００３４】
図４は第１の実施形態おけるイベント項目情報のデータ構造を示す図である。当該のイベント項目情報は、例えば、制御部１０５に含まれるＲＯＭなどに記録されている。図４は、例えば、図２に示すテーマ情報における「結婚式」に関するイベント項目を示すデータである。当該のイベント項目情報には、例えば図４に示すように、「登録被写体情報」及び撮影順番を示す「時間的関係情報」が含まれている。
【００３５】
図５は第１の実施形態のシナリオモードにおいて、既に撮影されたイベント映像の管理データを示す図である。本実施例においては、当該のイベント映像管理データは、上述のイベント項目情報が関連付けられた状態で、記録媒体１０８に記録されている。図５に示すように、本実施例におけるイベント映像管理データは、「映像ＩＤ」、「テーマ名」、「イベント項目」、「撮影場所情報」、及び、「撮影日時情報」を含む。
【００３６】
図６は第１の実施形態に係るイベント項目選定部１１３の処理の説明図である。第１のイベント項目抽出部１１１は、制御部１０５に入力された処理対象の画像で構成される映像にイベント項目付加部１１０によってイベント項目が付加されていない場合に、イベント項目の候補を抽出する。この時、第１のイベント項目抽出部１１１は、画像処理部１０６の画像解析の結果を用いて、イベント項目の候補を抽出する。第１イベント項目抽出部１１１の処理については、後段で図６を用いて具体的に説明する。
【００３７】
画像処理部１０６における画像解析は、撮影された映像に写っている被写体を識別する被写体識別などがある。本実施形態では、図４に示したように、テーマ情報に関連付けられているイベント項目に被写体情報を関連付けしておく（以降、登録被写体情報と呼ぶ）。被写体情報とは、撮影するイベントに登場する想定被写体の顔画像や被写体名などである。この登録被写体情報は、画像処理部１０６の画像解析結果との比較に使用される。
【００３８】
また、本実施形態における撮像装置の画像処理部１０６は処理対象の画像に対し、画像に写っている被写体を識別する被写体識別機構を有する（図示しない）。
【００３９】
本実施形態の被写体識別機構における、顔認証機能を用いた場合の被写体識別方法について述べる。当該顔認証機能においては、まず、撮影された映像に対し顔領域が検出され、検出された顔領域について個人毎に異なる特徴データが抽出される。次に、抽出された特徴データと予め登録してある特徴データとを比較することにより、検出した顔領域が、登録されている人物か否かが識別される。本実施形態における撮像装置１００では、識別したい被写体に関する特徴データが登録されているが、前述した登録被写体情報における想定被写体の画像から特徴データを算出し、この特徴データを用いて識別処理を行っても良い。
【００４０】
以降の説明では、予め識別したい被写体の特徴データとその被写体の名前を関連付けて登録しておき、登録被写体情報として被写体名を登録した場合について述べる。
【００４１】
第１のイベント項目抽出部は、このイベント項目に関連付けられている登録被写体情報と、画像処理部１０６により入力された処理対象の画像に対する被写体識別結果との照合を行い、イベント項目の候補を抽出する。
【００４２】
第２のイベント項目抽出部１１２は、制御部１０５に入力された処理対象の画像で構成される映像にイベント項目付加部１１０によってイベント項目が付加されていない場合に、記録媒体１０８に記録されているイベント映像の撮影状況からイベント項目の候補を抽出する。第２のイベント項目抽出部１１２における処理については、図６を用いて後段で具体的に説明する。
【００４３】
本実施形態では、図４に示したように、テーマ情報に関連付けられているイベント項目に時間的関係を表す情報を関連付けしておく（以降、時間的関係情報と呼ぶ）。また、図５に示したように、撮影した映像にイベント名、及び撮影情報として撮影場所情報、撮影日時情報を関連付けて記録する。
【００４４】
撮影場所情報は、特開２００３−０１８５０６号公報に開示されているように、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）から取得し、映像に関連付けて記録することができる。
【００４５】
時間的関係情報は、各テーマに関連付けられているイベント項目の流れを表すものである。例えば「結婚式」の流れにおいては、「新郎新婦入場」の前に「ケーキ入刀」や「新郎新婦退場」などのイベントは発生することはなく、「新郎新婦退場」の前に「ケーキ入刀」のイベントは発生する。このような「新郎新婦入場」→「ケーキ入刀」→「新郎新婦退場」と言った「結婚式」の流れを、時間的関係を表す情報をイベント項目に関連付けてしておく。
【００４６】
第２のイベント項目抽出部１１２は、記録媒体１０８に記録されているイベント映像の撮影場所情報と撮影日時情報を用いて、制御部１０５に入力された処理対象の画像で構成される映像に対応するテーマ情報を抽出する。
【００４７】
また、第２のイベント項目抽出部１１２は、抽出されたテーマ情報において、記録媒体１０８に記録されている抽出された同一テーマ情報のイベント動画に関連付けられているイベント項目以外から、制御部１０５に入力された処理対象の画像で構成される映像に付加するためのイベント項目の候補を抽出する。
【００４８】
また、第２のイベント項目抽出部１１２は、記録媒体１０８に記録されているイベント映像に関連付けられている時間的関係情報と制御部１０５に含まれるＲＯＭなどに記録されているテーマ情報に関連付けられているイベント項目情報の時間的関係情報との比較から、制御部１０５に入力された処理対象の画像で構成される映像に付加するためのイベント項目の候補を抽出する。この時、抽出されたイベント項目において、時間的関係情報と記録媒体１０８に記録されている同一テーマ情報のイベント映像の撮影状況に基づいて、優先度を設定する。
【００４９】
上記したような、第２のイベント項目抽出部１１２におけるテーマ情報の抽出動作、及び、イベント項目の抽出動作に関しては、後段で図６を用いて具体的に説明する。
【００５０】
第２のイベント項目抽出部１１２における優先度付けの方法は、同一テーマ情報のイベント映像に関連付けられている時間的関係情報と、例えば制御部１０５に含まれるＲＯＭなどに記録されているイベント項目情報に関連付けられている時間的関係情報に基づいて行う。
【００５１】
本実施例の優先度付け動作を、図4、及び、図5を用いて説明する。本実施例では、例えば、図４のテーマ情報に関連付けられているイベント項目情報が制御部１０５に含まれるＲＯＭなどに記録されているとともに、図５の映像情報が記録媒体１０８に記録されている。
【００５２】
図５の映像情報においては、テーマ情報「結婚式」における「新郎新婦入場」と「乾杯」のイベント項目が関連付けられているイベント映像が、既に記録されている。この「新郎新婦入場」と「乾杯」のイベント項目は、付与されている時間的関係情報が、図４のイベント項目情報に示されているように、「１番目」と「２番目」である。このような状況において、第２のイベント項目抽出部１１２が「ケーキ入刀」と「新郎新婦退場」を映像に付加するためのイベント項目の候補として抽出したと仮定する。この場合には、第２のイベント項目抽出部１１２は、この２つのイベント項目の候補の時間的関係情報から、「新郎新婦退場」よりも「ケーキ入刀」のイベント項目を優先度高く設定する。
【００５３】
イベント項目選定部１１３は、第１のイベント項目抽出部１１１と第２のイベント項目抽出部１１２が抽出したイベント項目の中から、制御部１０５に入力された処理対象の画像で構成される映像に付加するためのイベント項目の候補を選定する。この時、選定されるイベント項目は、第１のイベント項目抽出部１１１及び第２のイベント項目抽出部１１２の両方で抽出された同一のイベント項目である。
【００５４】
また、第１のイベント項目抽出部１１１及び第２のイベント項目抽出部１１２の両方で抽出された同一のイベント項目が複数ある場合には、第２のイベント項目抽出部１１２によって設定された優先度に基づいてイベント項目を選定する。ここで、第１のイベント項目抽出部１１１及び第２のイベント項目抽出部１１２、イベント項目選定部１１３の処理の詳細に関して、図６を参照して説明する。
【００５５】
図６中の６０１は、イベント項目付加部１１０でイベント項目が付加されていない映像を示している。６０２は、例えば制御部１０５に含まれるＲＯＭなどに記録されている各テーマ情報に関連付けられているイベント項目のイベント項目情報を示している。６０６は、記録媒体１０８に記録されている映像に関連付けられている映像情報を示している。
【００５６】
イベント項目が付加されていない映像６０１は、画像処理部１０６にも入力される。入力された映像６０１は、画像処理部１０６で被写体識別処理により、友人Ａ（新郎）と友人Ｂ（新婦）が映像６０１に写っていると識別される。
【００５７】
６０３、６０４、６０５は、第１のイベント項目抽出部１１１が、画像処理部１０６の識別結果である友人Ａ（新郎）と友人Ｂ（新婦）と、６０２のイベント項目情報における登録被写体情報の比較から、映像６０１に付加する為のイベント項目の候補として抽出されたイベント項目である。
【００５８】
第２のイベント項目抽出部１１２は、映像６０１が撮影された撮影場所情報と撮影日時情報を取得し、記録媒体１０６に記録されている映像の撮影場所情報と撮影日時情報から映像６０１に対応するテーマ情報を抽出する。この時、第２のイベント項目抽出部１１２は、撮影場所情報である「△△プリンスホテル」と撮影日時情報「2010/6/1 PM3:30」を取得したとする。この時、取得した撮影情報と記録媒体１０８に記録されているイベント映像の撮影情報を比較し、同一の撮影場所であり、撮影日時が近い６０７、６０８のテーマ情報「結婚式」を抽出する。
【００５９】
６０７、６０８は、抽出されたテーマ情報「結婚式」における、記録媒体１０６に記録されているテーマ情報「結婚式」のイベントである。第２のイベント抽出部１１２は、テーマ情報「結婚式」における６０７、６０８（「新郎新婦入場」、「乾杯」）以外のイベント項目から映像６０１に付加するためのイベント項目の候補を抽出する。これにより、第２のイベント項目抽出部１１２は、６０４、６０５、６０９のイベント項目を抽出する。
【００６０】
また、第２のイベント項目抽出部１１２は、イベント項目情報６０２に関連付けられている時間的関係情報から６０４→６０９→６０５の順に優先度を高く設定する。
【００６１】
イベント項目選定部１１３は、第１のイベント項目抽出部１１１の抽出結果である６０３、６０４、６０５と第２のイベント項目抽出部１１２の抽出結果である６０４、６０５、６０９から、映像６０１に付加するためのイベント項目の候補を選定する。イベント項目選定部１１３は、第１のイベント項目抽出部１１１と第２のイベント項目抽出部１１２の両方で抽出され、且つ第２のイベント項目抽出手段によって設定された優先度に基づいてイベント項目を選定するため、６０４が選定される。
【００６２】
これにより、選定されたイベント項目の６０４を映像６０１に付加するイベント項目として選定することができた。この選定されたイベント項目の６０４は、イベント項目付加部１１０によって映像６０１に自動で付加されても良いし、イベント項目選定部１１３で選定されたイベント項目を優先度順に表示部１０７に表示してユーザに選択するよう促しても良い。
【００６３】
以上の実施形態によれば、イベント項目が付加されていない映像に対して映像解析とイベント映像の撮影状況に基づいて信頼性のあるイベント項目を抽出することができる。
【００６４】
また、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。
【００６５】
＜第２の実施形態＞
第２の実施形態に係る再生装置の構成及び動作に関して図７を参照し、第１の実施形態との差異を中心に説明する。なお、第１の実施形態と同一の構成及び動作については、その説明を省略する。
【００６６】
図７は第２の実施の形態に係る再生装置７００の一例である概略構成を示すブロック図である。
【００６７】
再生装置７００では、イベント項目の付加されていない再生されている映像に対して、第１のイベント項目抽出部７０７と第２のイベント項目抽出部７０８で抽出されたイベント項目の結果に基づき、イベント項目選定部７０９が映像に付加するためのイベント項目の候補を選定する場合について説明する。
【００６８】
第２の実施形態に係る再生装置７００の構成及び動作として、第１の実施形態との差異があるのは、第２のイベント項目抽出部７０８である。また、第１の実施形態における撮像レンズ１０１、撮像素子１０２、アナログ信号処理部１０３、A/D変換部１０４を有しないことである。第２の実施形態の例としては、外部機器や記録媒体などから供給される画像（再生データ）を再生する再生装置などである。
【００６９】
この再生装置では、再生されている記録媒体７０４などに記録されている映像を第１の実施形態における撮影された映像とし、イベント項目が付加されていない記録済みの映像が再生されている場合に、付加するためのイベント項目の候補の抽出及び選定を行うこととなる。
【００７０】
記録媒体７０４に記録されているデジタル化された画像で構成される映像は、制御部７０１と画像処理部７０２に処理対象の画像として入力される。
【００７１】
画像処理部７０２は、第１のイベント項目抽出部７０７によるイベント項目の抽出を行う場合に、入力された処理対象の画像に対して映像解析を行う。画像処理部７０２から出力された映像信号は、表示部７０３に送られる。
【００７２】
この再生装置におけるマイクロコントローラなどの制御部７０１は、入力された処理対象の画像で構成される映像にイベント項目が付加されていない場合に、第１のイベント項目抽出部７０７と第２のイベント項目抽出部７０８により、映像に付加するためのイベント項目の候補を抽出するよう制御を行う。
【００７３】
第１のイベント項目抽出部７０７は、第１の実施形態同様、制御部７０１に入力された処理対象の画像で構成される映像にイベント項目が付加されていない場合に、画像処理部７０２の画像解析の結果を用いて、イベント項目の候補を抽出する。
【００７４】
第２のイベント項目抽出部７０８は、第１の実施形態同様、制御部７０１に入力された処理対象の画像で構成される映像にイベント項目が付加されていない場合に、記録媒体７０４に記録されているイベント映像の撮影状況からイベント項目の候補を抽出する。
【００７５】
第２の実施形態における第２のイベント項目抽出部７０８は、処理対象の画像で構成される映像が記録媒体７０４に記録済みの映像において、第１の実施形態とは異なり、その映像よりも時間的に前に撮影された映像に加え、その映像よりも時間的に後に撮影された映像の情報も使用することができる。よって、第２のイベント項目抽出部７０８は、入力された処理対象の画像で構成される映像に関連付けられている撮影日時情報及び撮影場所情報とその前後に撮影されているイベント映像の撮影日時情報及び撮影場所情報からテーマ情報を抽出する。
【００７６】
また、第２のイベント項目抽出部７０８は時間的関係情報を用いたイベント項目の抽出においても、入力された処理対象の画像で構成される映像に関連付けられている時間的関係情報とその前後に撮影されているイベント映像の時間的関係情報から、イベント項目の候補を抽出する。この時、第２のイベント項目抽出部７０８が抽出したイベント項目に優先度を設定する方法に関しては、第１の実施形態と同様の方法で行う。
【００７７】
イベント項目選定部７０９は、第１の実施形態同様、第１のイベント項目抽出部７０７と第２のイベント項目抽出部７０８の両方で抽出された同一のイベント項目の中から第２のイベント項目抽出部７０８によって設定された優先度に基づいてイベント項目を選定する。
【００７８】
以上の実施形態によれば、記録媒体に記録されているイベント項目が付加されていない映像を再生している場合において、映像解析とイベント映像の撮影状況に基づいて信頼性のあるイベント項目を抽出することができる。
【００７９】
また、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。
【００８０】
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００８１】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００８２】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００８３】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【符号の説明】
【００８４】
１００  撮像装置、１０１  撮像レンズ、１０２  撮像素子、
１０３  アナログ信号処理部、１０４  A/D変換部、１０５  制御部、
１０６  画像処理部、１０７  表示部、１０８  記憶媒体、１０９  操作部、
１１０  イベント項目付加部、１１１  第１のイベント項目抽出部、
１１２  第２のイベント項目抽出部、１１３  イベント項目選定部、７０１  制御部、
７０２  画像処理部、７０３  表示部、７０４  記録媒体、７０５  操作部、
７０６  イベント項目付加部、７０７  第１のイベント項目抽出部、
７０８  第２のイベント項目抽出部、７０９  イベント項目選定部
【図１】
2016201713.tif 000003
【図２】
2016201713.tif 000004
【図３】
2016201713.tif 000005
【図４】
2016201713.tif 000006
【図５】
2016201713.tif 000007
【図６】
2016201713.tif 000008
【図７】
2016201713.tif 000009