(57)【特許請求の範囲】
【請求項１】
動画像を含み且つ外部から入力されて来る入力情報であって予め設定された特定態様の変化を含む当該入力情報が備えるべき属性として予め設定された特定属性を示す属性情報を予め記憶する記憶手段と、
入力されて来た前記入力情報における変化を検出する検出手段と、
前記検出された変化と、前記記憶されている属性情報と、に基づいて、当該検出された変化が前記特定態様の変化であるとき、当該特定態様の変化を含む前記入力情報に対して当該特定態様の変化に対応する前記特定属性を示す前記属性情報を関連付ける関連付手段と、
を備え、
前記特定態様の変化は、前記動画像が撮像される際に用いられた撮像手段自体における撮像者による特殊な動きであって当該撮像者の前記入力情報に対する評価を少なくとも示す予め設定された特殊な動きが当該撮像時において実行されたことにより前記動画像に含まれることとなった変化であり、且つ当該変化の直前及び直後における前記入力情報から識別可能に独立した変化であることを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記関連付けられた属性情報に基づいて、当該属性情報により示される前記特定属性に対応する処理を、当該属性情報が関連付けられた前記入力情報に対して施す処理手段を備えることを特徴とする情報処理装置。
【請求項３】
請求項２に記載の情報処理装置において、
前記処理手段は、前記入力情報の出力処理、当該入力情報の削除処理又は当該入力情報に対する特殊効果の付与処理のいずれか一つを実行する処理手段であることを特徴とする情報処理装置。
【請求項４】
請求項１から３のいずれか一項に記載の情報処理装置において、
前記特定態様の変化は、前記入力情報の時間的変化、前記動画像の変化又は前記入力情報に含まれている音の変化の少なくともいずれか一つであることを特徴とする情報処理装置。
【請求項５】
請求項１から４のいずれか一項に記載の情報処理装置において、
前記属性情報の内容を変更する変更手段を更に備えることを特徴とする情報処理装置。
【請求項６】
請求項１から５のいずれか一項に記載の情報処理装置において、
前記属性情報は、前記特定態様の変化が前記入力情報において発生するタイミングを示すタイミング情報、前記特定態様の変化に対応した前記入力情報の重要度を示す重要度情報又は前記属性情報が関連付けられる前記入力情報の時間範囲を示す時間範囲情報の少なくともいずれか一つであることを特徴とする情報処理装置。
【請求項７】
動画像を含み且つ外部から入力されて来る入力情報であって予め設定された特定態様の変化を含む当該入力情報が備えるべき属性として予め設定された特定属性を示す属性情報を記憶手段に予め記憶させる記憶工程と、
入力されて来た前記入力情報における変化を検出する検出工程と、
前記検出された変化と、前記記憶されている属性情報と、に基づいて、当該検出された変化が前記特定態様の変化であるとき、当該特定態様の変化を含む前記入力情報に対して当該特定態様の変化に対応する前記特定属性を示す前記属性情報を関連付ける関連付工程と、
を含み、
前記特定態様の変化は、前記動画像が撮像される際に用いられた撮像手段自体における撮像者による特殊な動きであって当該撮像者の前記入力情報に対する評価を少なくとも示す予め設定された特殊な動きが当該撮像時において実行されたことにより前記動画像に含まれることとなった変化であり、且つ当該変化の直前及び直後における前記入力情報から識別可能に独立した変化であることを特徴とする情報処理方法。
【請求項８】
コンピュータを、請求項１から６のいずれか一項に記載の情報処理装置として機能させることを特徴とする情報処理用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、情報処理装置、情報処理方法及び情報処理用プログラムの技術分野に属し、より詳細には、外部から入力されて来る画像情報等の入力情報に対する処理を行う情報処理装置及び情報処理方法並びに当該情報処理用のプログラムの技術分野に属する。
【背景技術】
【０００２】
近年、動画撮影用のいわゆるデジタルビデオカメラが広く一般に普及している。これに伴い、当該デジタルビデオカメラで撮影した動画像を家庭で簡易に編集するための技術が求められている。【０００３】
しかしながら、従来のいわゆる動画像編集では、成功映像又は失敗映像を含む上記デジタルビデオカメラを用いて撮影された様々な映像素材の中から、例えば当該撮影に成功した部分のみを続けて再生する場合には、一般に、その撮影した映像を撮影後に改めて編集し直し、その成功した部分のみを繋ぎ合わせた動画像を作成しておくか、手動にて当該映像素材を選別していわゆる再生リストを作成しておくか、又はその映像素材の再生の度に当該再生される映像素材を選択して再生する等の作業を行う必要があった。【０００４】
そこで、上述したような簡易編集の要請に答えるべく、当該デジタルビデオカメラにより撮影された動画像をその後に編集（再生）する際、その動画像を撮影した撮影者の意図を汲み取って当該撮影された動画像の中から重要な部分を自動的に選択し、その動画像を編集する編集者（視聴者）の作業を補助する技術が、例えば下記特許文献１及び２に記載されているように種々開発されている。【０００５】
すなわち、下記特許文献１には、動画と静止画の両方を撮影可能で、夫々を別々の媒体に記録するビデオレコーダにおいて、動画と静止画を同時に撮影したタイミングを、動画の中での重要シーンであるとし、動画又は静止画の記録媒体上にフラグを保存し、その前後の時間の動画に対する編集作業における優先度を上げる構成とされている。【０００６】
また、下記特許文献２には、撮影された動画像の中で、画像信号又は音声信号が所定の基準を満たす部分を特定することで、当該動画像における優先度の高い部分を検出する構成が開示されている。より具体的には、例えば特定の人物の顔が映し出されている部分や、撮影の際にズームアップのための操作が行われた部分、或いは対応する音の音量が所定値を越えた部分等を、重要部分として特定し、撮影された動画像に相当する動画像ファイルからそれら特定された部分を抽出して結合することにより、当該重要部分について動画像の自動編集を行う構成が開示されている。
【特許文献１】特開２００２−３５９８０４
【特許文献２】特開２００２−１７６６１３
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に開示された技術では、動画像とは別に、静止画像が撮影されたタイミングとして重要部分の情報を保存するため、同一の保存方式（すなわち、動画像の重要部分を示すものとして静止画像を保存するという方式）に対応したデジタルビデオカメラと編集装置との間でなければ、動画像中の重要度を示す情報を共有できず、汎用性が低いという問題点があった。【０００８】
更に、当該特許文献１に開示された技術では、静止画撮影を行った部分を動画像における重要部分と認識する構成とされているため、換言すれば、動画像における重要部分を示す情報を記録するためには、「静止画像を撮影する」という動作が撮影者に（動画像撮影という動作とは別に）求められることとなる。すなわち、動画像としての重要部分（重要シーン）において、動画像の撮影だけでなく静止画像の撮影まで意識する必要があり、動画像の撮影に対する撮影者の集中を妨げ、結果として所望の動画像が撮影できない場合があるという問題点もあった。【０００９】
一方、上記特許文献２に開示された技術では、「通常の撮影中」に発生する動画像内の特徴を利用しているに過ぎないため、換言すれば、通常の撮影中に発生する状況でしか特徴付けができないこととなり、結果として必ずしも撮影者が意図する重要部分を重要部分として選別できるとは限らないという問題点があった。【００１０】
そこで、本願は上記の各問題点に鑑みて為されたもので、その課題の一例は、例えば動画像を撮影するための装置に対して何ら特別の構成を備えさせることなく当該撮影後の動画像の編集作業等を自動化することが可能な情報処理装置及び情報処理方法並びに当該情報処理用のプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、請求項１に記載の発明は、動画像を含み且つ外部から入力されて来る入力情報であって予め設定された特定態様の変化を含む当該入力情報が備えるべき属性として予め設定された特定属性を示す属性情報を予め記憶する記録部等の記憶手段と、入力されて来た前記入力情報における変化を検出する映像解析部等の検出手段と、前記検出された変化と、前記記憶されている属性情報と、に基づいて、当該検出された変化が前記特定態様の変化であるとき、当該特定態様の変化を含む前記入力情報に対して当該特定態様の変化に対応する前記特定属性を示す前記属性情報を関連付ける評価部等の関連付手段と、を備え、前記特定態様の変化は、前記動画像が撮像される際に用いられた撮像手段自体における撮像者による特殊な動きであって当該撮像者の前記入力情報に対する評価を少なくとも示す予め設定された特殊な動きが当該撮像時において実行されたことにより前記動画像に含まれることとなった変化であり、且つ当該変化の直前及び直後における前記入力情報から識別可能に独立した変化であるように構成される。
【００１２】
上記の課題を解決するために、請求項７に記載の発明は、動画像を含み且つ外部から入力されて来る入力情報であって予め設定された特定態様の変化を含む当該入力情報が備えるべき属性として予め設定された特定属性を示す属性情報を記録部等の記憶手段に予め記憶させる記憶工程と、入力されて来た前記入力情報における変化を検出する検出工程と、前記検出された変化と、前記記憶されている属性情報と、に基づいて、当該検出された変化が前記特定態様の変化であるとき、当該特定態様の変化を含む前記入力情報に対して当該特定態様の変化に対応する前記特定属性を示す前記属性情報を関連付ける関連付工程と、を含み、前記特定態様の変化は、前記動画像が撮像される際に用いられた撮像手段自体における撮像者による特殊な動きであって当該撮像者の前記入力情報に対する評価を少なくとも示す予め設定された特殊な動きが当該撮像時において実行されたことにより前記動画像に含まれることとなった変化であり、且つ当該変化の直前及び直後における前記入力情報から識別可能に独立した変化であるように構成される。
【００１３】
上記の課題を解決するために、請求項８に記載の発明は、コンピュータを、請求項１から６のいずれか一項に記載の情報処理装置として機能させる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態に係る情報再生装置の概要構成を示すブロック図である。
【図２】第１実施形態に係る情報再生装置の動作を示すフローチャートである。
【図３】第１実施形態に係るルール情報の内容を示す図であり、（ａ）は当該ルール情報の内容を一般的に示す図であり、（ｂ）は当該ルール情報の内容を具体的に例示する図である。
【図４】第１実施形態に係るルール情報の内容と映像素材との関係を例示する図である。
【図５】第１実施形態に係る付加情報の内容を例示する図である。
【図６】第２実施形態に係る撮影装置の概要構成を示すブロック図である。
【図７】第３実施形態に係る情報再生装置の概要構成を示すブロック図である。
【図８】第３実施形態に係る情報再生装置の動作を示す図であり、（ａ）はその動作を示すフローチャートであり、（ｂ）はルール設定画面を例示する図である。
【図９】第４実施形態に係る情報再生装置の構成を示す図であり、（ａ）は当該構成を示すブロック図であり、（ｂ）は第４実施形態に係るルール情報の内容を一般的に示す図である。
【符号の説明】
【００１５】
１０１    映像入力部
１０２    記録部
１０３    ディスクドライブ
１０４    映像出力部
１０５    制御部
１０６    映像解析部
１０７    評価部
１０８    ＧＵＩ制御部
１０９    再生制御部
１１０    編集制御部
１１１    操作入力部
３０１、８１０    ルール情報
３１０、８１１    条件情報部
３２０    付加情報定義部
３１１    映像表現情報
３１２    タイミング情報
３２２    適用区間情報
３２１    意味付情報
４００    付加情報
５０１    撮像部
５０２    エンコード部
６００    ルール設定部
６０１    適用ルール設定部
７００、７０１、７０２、７０３    設定部
８００    音声入力部
８０１    音声解析部
８１２    音声表現情報
８１３    音声タイミング情報
Ｓ、ＳＳ、ＳＡ    情報再生装置
ＢＯ    外部バス
ＢＩ    内部バス
ＣＭＲ    撮影装置
ＲＧ    ＧＵＩ画面
【発明を実施するための最良の形態】
【００１６】
次に、本願を実施するための最良の形態について、図面に基づいて説明する。なお、以下に説明する実施形態は、デジタルビデオカメラ等の撮影装置を用いて撮影者が撮影した映像（動画像）をその後に再生する情報再生装置又は当該撮影装置自体に対して本願を適用した場合の実施の形態である。【００１７】
（Ｉ）本願の原理
先ず、本願に係る実施形態について説明する前に、本願に係る原理について簡単に説明する。【００１８】
上記デジタルビデオカメラ等の撮影装置で映像を撮影する場合、一般に、夫々のカット（映像の部分）を撮影した直後には、撮影者がその撮影内容を思い出し、「今のは成功だった、編集する時にはぜひ使いたい」とか「直ぐに消すほどではないが、編集時には残したいとは思わない」のような評価を行うことができる。【００１９】
そこで、本願では、その撮影の直後に、その撮影者の意思としての評価等（被写体に対する評価等）を、その撮影された映像と共に当該撮影者の特定の動作として記録することとし、これにより、撮影後にその映像の内容を確認しながら評価することを不要とした。【００２０】
また、これに加えて、当該評価として記録できる情報の種類を複数として、その撮影者をして使い分けられる構成とした。これにより、撮影した映像における重要シーン、当該重要シーンよりは重要度が低いシーン又は特定のものが撮影されているシーン等のように使い分けて、夫々の映像の評価を示す情報を記録する（残す）ことを可能とすると共に、撮影時における例えば特定の動作の回数を判断することにより、「数の表現」を含んだ意味を、撮影した映像に簡易に付加することができる。【００２１】
（ＩＩ）第１実施形態
次に、上述した原理に基づく本願に係る第１実施形態について、図１乃至図５を用いて説明する。【００２２】
なお、図１は第１実施形態に係る情報再生装置の概要構成を示すブロック図であり、図２は当該情報再生装置の動作を示すフローチャートであり、図３及び図４は第１実施形態に係るルール情報を説明する図であり、図５は第１実施形態に係る付加情報を例示する図である。【００２３】
図１に示すように、第１実施形態に係る情報再生装置Ｓは、映像入力部１０１と、いわゆるハードディスク及びハードディスクドライブ等からなる記憶手段としての記録部１０２と、図示しない光ディスクに対する情報の記録再生が可能なディスクドライブ１０３と、液晶ディスプレイ等により構成される映像出力部１０４と、制御部１０５と、操作ボタン又はリモートコントロール装置等からなる操作入力部１１１と、により構成されており、当該映像入力部１０１、記録部１０２、ディスクドライブ１０３、映像出力部１０４、制御部１０５及び操作入力部１１１は、外部バスＢＯにより相互にデータの授受が可能に接続されている。【００２４】
また、制御部１０５は、検出手段としての映像解析部１０６と、関連付手段としての評価部１０７と、ＧＵＩ（Graphical User Interface）制御部１０８と、再生制御部１０９と、編集制御部１１０と、により構成されており、当該映像解析部１０６、評価部１０７、ＧＵＩ制御部１０８、再生制御部１０９及び編集制御部１１０は、内部バスＢＩにより相互にデータの授受が可能に接続されている。
【００２５】
次に、全体的な動作を説明する。
先ず、映像入力部１０１には、図示しない上記撮影装置から、当該撮影された音声付き映像に相当するアナログ信号としての映像情報が入力される。そして、映像入力部１０１は、当該映像情報を記録部１０２に記録する際の記録形式に変換する処理、すなわち、例えば、当該映像情報をデジタル変換し、ＭＰＥＧ（Moving Picture Expert Group）２方式で符号化し、符号化映像データとして外部バスＢＯを介して記録部１０２に出力する。【００２６】
これにより、記録部１０２は、映像入力部１０１により符号化された符号化映像データを上記映像素材として記録する。【００２７】
そして、映像出力部１０４は、記録部１０２に記録されている符号化映像データを復号して表示すると共に、必要に応じて、上記制御部１０５により生成されたいわゆるＧＵＩ画像等をその符号化映像データに重畳して出力する。【００２８】
このとき、ディスクドライブ１０３は、制御部１０５からの制御の下、上記記録部１０２に記録されている符号化映像データを外部バスＢＯを介して取得し、これを上記光ディスク等に記録する。【００２９】
一方、制御部１０５は、具体的にはＣＰＵ等の演算装置及び揮発性メモリ及び不揮発性メモリにより構成されており、操作入力部１１１において実行された使用者による操作に基づいて、当該メモリに読み込まれたプログラムに対応する第１実施形態に係る処理を実行する他、情報再生装置Ｓの上記各構成部材を制御する。【００３０】
次に、制御部１０５を構成する映像解析部１０６等の動作について説明する。なお、上記映像解析部１０６、評価部１０７、ＧＵＩ制御部１０８、再生制御部１０９及び編集制御部１１０は、上記プログラムに基づいて制御部１０５が実行するソフトウェア処理によって実現されるものである。【００３１】
すなわち、先ず映像解析部１０６は、記録部１０２に記録されている符号化映像データに相当する映像素材中に、第１実施形態に係る「ルール」に含まれた映像表現があるか否かを解析する。【００３２】
ここで、当該ルールとは、上記映像素材中に画像として含まれている映像表現と、第１実施形態に係る情報再生装置Ｓにおける編集作業の際に用いられる特定の意味付けと、を関連付けたものであり、予め設定されて記録部１０２内に記録されているものである。当該ルールについて具体的には、後ほど詳述する。【００３３】
次に、評価部１０７は、映像解析部１０６の解析結果と上記ルールとを照合することにより、当該映像素材に対して部分的に例えば重要度等を表す付加情報（具体的には、いわゆるメタデータの形態で当該映像情報に付加される情報である）を作成し、元の映像素材と関連付けて記録部１０２に記録させる。【００３４】
一方、再生制御部１０９は、操作入力部１１１において使用者により実行された再生支持操作等に基づき、上記評価部１０７による評価結果として元の映像素材に付加された付加情報を参照しつつ、記録部１０２に記録されている映像素材の中から再生が指示された映像素材の一部又は全部を読出し、映像出力部１０４を介してその出力を行う。【００３５】
また、編集制御部１１０は、同様に操作入力部１１１における操作及び上記付加情報に基づき、上記映像素材の編集処理（具体的には、元々連続していた映像素材の分割、一部又は全部の削除、特定の映像効果の付加等の編集処理）を実行する。【００３６】
これらと並行して、ＧＵＩ制御部１０８は、いわゆるＧＵＩ表示のためのメニュー画面生成処理等を管理する。より具体的には、当該ＧＵＩ制御部１０８は、映像出力部１０４を介して当該生成されたメニュー画面を出力し、当該メニュー画面の内容に応じて操作入力部１１１において実行された操作に基づいてその操作内容を確定し、更に情報再生装置Ｓを構成する他の構成部材に対して当該操作内容に基づく制御信号等を出力する。すなわち例えば、映像素材の再生時においては、メニュー画面を表示して使用者に再生対象の映像素材を選択させ、その結果を再生制御部１０９に出力して実際の再生を実行させる。【００３７】
次に、第１実施形態に係る情報再生装置Ｓにおいて実行される情報処理について、具体的に図２乃至図６を用いて説明する。【００３８】
先ず、図２に示すステップＳ１の処理は図１において図示しない撮影装置において実行されるものであり、ステップＳ２以降の処理が第１実施形態に係る情報再生装置Ｓにおいて実行される処理である。【００３９】
図２に示すように、第１実施形態に係る当該情報処理としては、先ず、画像の撮影者は、自らが操作する撮影装置を用いて所望の動画像（映像）の撮影を行う（ステップＳ１）。このとき、当該撮影者は、その撮影中における自己の判断に従って、上記ルールとして予め定められた映像表現を盛り込みつつ、当該動画像の撮影を行う。【００４０】
ここで、第１実施形態に係る、映像表現と意味付けとを予め関連付けて記録部１０２に記録されている上記ルールについて、具体的に説明する。【００４１】
当該ルールとは、その適用対象となる映像素材（すなわち、上記ステップＳ１において撮影された動画像を含む映像素材）に含まれる特定の態様（例えば特定の映像表現）と、その特定の態様に対応付けられる「特定の意味付け」と、の関係を予め規定したものである。すなわち、適用対象の映像素材中に当該特定の態様の映像部分が存在した場合、その映像部分を含む映像素材の一部又は全部に対して、予めその特定の態様に対応付けられている「特定の意味付け」を行う（すなわち、上記付加情報を付加する）。そして、当該ルールは、それに相当するルール情報として記録部１０２内に記録されている。【００４２】
次に、当該ルール情報として記録されているルールの構造について、図３に例示しつつ説明する。【００４３】
図３（ａ）に示すように、一つのルール情報３０１は、条件情報部３１０と付加情報定義部３２０とからなり、映像素材が条件情報部３１０内に記述されている条件に合致した場合に、付加情報定義部３２０内に記述されている意味付けに相当する付加情報を当該映像素材に付加する。【００４４】
より具体的には、条件情報部３１０には、例えば映像表現情報３１１とタイミング情報３１２とが含まれている。【００４５】
このとき、映像表現情報３１１には、撮影装置を用いる撮影者（図２ステップＳ１参照）が、その撮影中に自ら撮影装置に対して操作又は処理を行うことによりその時に撮影する映像に含ませる映像表現の内容が記述されている。また、タイミング情報３１２には、映像表現情報３１１として記述されている映像表現に対応する時間条件が記述されている。そして、撮影された映像素材中にこれら二つの両方が同時に合致した場合に、そのルールを適用する。【００４６】
具体例を挙げつつ説明すると、映像表現情報３１１には、通常の撮影では、撮影者が意図しない限り現れないような映像表現の内容が記述されている。【００４７】
例えば、単純に「ズームする」又は「カメラを横に動かす」の如き映像表現は、通常の撮影でよく用いられ、しかも避けることが難しい映像表現であるため、第１実施形態に係る映像表現には該当しない。【００４８】
これに対し、第１実施形態に係る映像表現は、「敢えて意識的に実行しなければ発生し得ない」映像表現である。具体的には、以下の如き映像表現が考えられる。
・撮影装置自体を上下に数回動かす。
・撮影装置自体を、円を描くように動かす。
・地面を撮影する。
・空を撮影する。
・突然暗くする（例えば手でレンズ部を覆う）。【００４９】
また、これらに限らず、小道具を使った映像表現も以下のように考えられる。
・レンズの前で指を使って特定の動きをする。
・文字やバーコードが書いてある紙を撮影する。【００５０】
すなわち、例えば撮影装置自体を上下に動かした回数やレンズ前での手の動きに応じて、意味付や、それに付随する情報の程度（例えばその意味付の適用区間の長さや重要度の高さ等）を変更できるようにしてもよい。【００５１】
一方、タイミング情報３１２には、上述したように、そのルールにおいて上記各映像表現が含まれているべきタイミングを示す時間条件が記述されている。【００５２】
より具体的には、例えば「カット点直前」という条件を「上下に動かす」という映像表現に対応付けておけば、映像素材中においてカット点の直前以外のタイミングに対応する特定の映像表現（この場合、「上下に動かす」）が含まれていても、それに対応するルールは適用されない。これにより、例えば撮影者が何かにぶつかる等して撮影装置自体を誤って（換言すれば意図せずに）上下に動かしてしまった場合でも、その直後に撮影を終了しなければ、「上下に動かす」なる特定映像表現の直後にカット点が発生しないこととなるので、そのときに撮影された映像素材には、対応するルールを適用させずに済ませることができる。この場合、本当にそのルールをその時の映像素材に適用させたいのであれば、撮影終了直前に改めてその映像表現を行えばよいことになる。【００５３】
なお、図３に示す場合においては、上記映像表現情報３１１及びタイミング情報３１２の二つの情報により条件情報部３１０を構成する場合について説明したが、これに限らず、例えば、「撮影装置自体を上下に数回動かした後にカットする」の如く、映像表現と、その映像表現が実行されているべきタイミングと、を纏めて一つの映像表現情報３１１とすることで、当該映像表現情報３１１のみをもって条件情報部３１０を構成することも可能である。【００５４】
これに対し、上記付加情報定義部３２０には、適用区間情報３２２と、意味付情報３２１と、が含まれている。【００５５】
このとき、意味付情報３２１として含まれる意味付けとして具体的には、次のようなものが考えられる。
・その映像素材に高い得点を付ける。
・その映像素材に低い得点を付ける。
・その映像素材をタイトルとして（すなわち、例えば自動再生又は編集時に先頭として）使用する。
・再生順序として先に（前倒しに）する。
・撮影されなかったことにする。
・特定のカテゴリ（例えばカテゴリＡ）に属させる。【００５６】
また、適用区間情報３２２には、上記のような意味付を付加する区間（映像素材内の時間範囲としての区間）が、例えば「直前のカット点からその映像表現まで」又は「その映像表現の直前○○秒」と言った形で記述されている。【００５７】
そして、上述の映像表現情報３１１、タイミング情報３１２、意味付情報３２１及び適用区間情報３２２の夫々につき、異なる内容同士の組み合わせをルール情報３０１として複数予め記録しておくことで（図３（ａ）参照）、図３（ｂ）に例示するように、例えば、
「突然画面を暗くするという表現があった場合はいつでも、その映像表現の直前２０秒の区間に低い点数を付ける」又は、
「カット点直前にカメラを上下に数回動かす映像表現があった場合、その表現の直前のカット点からその表現までの間の区間に高い点数を付ける」
と言ったルールに相当するルール情報３０１を複数記録部１０２内に記録しておくのである。【００５８】
次に、図２のフローチャートにおけるステップＳ１に戻って、例えば図３（ｂ）に例示するようなルールを使用する際、撮影者が、そのとき撮影した動画像について、「高い得点を付けたい（撮影者の意図としては、例えば「後で情報再生装置Ｓが、自動的に今の部分を選び出してほしい」というような意図に相当する）」と思った場合は、撮影を終了するタイミング（すなわち、カット点）の前に撮影装置を上下に動かし、その直後に撮影装置における図示しない「録画終了ボタン」を操作することになる（図３（ｂ）最上段に記載のルール情報３０１参照）。【００５９】
次に、撮影者による、上記特定の映像表現を含んだ撮影が完了すると（ステップＳ１）、その撮影された動画像を映像素材として情報再生装置Ｓに取り込み、それを一纏まりの符号化映像データ群として記録部１０２に記録する（ステップＳ２）。【００６０】
その後、記録した符号化映像データ群につき、映像解析部１０６において従来と同様の映像解析を行い、上記各ルール情報３０１内の映像表現情報３１１に記述されている特定の映像表現に相当する映像部分があるか否かを判断する（ステップＳ３）。【００６１】
そして、ステップＳ３の処理において、いずれかのルールに合致する映像部分があった場合は、評価部１０７において当該合致したルールに従って付加情報を生成し、その映像素材に関連付けて記録部１０２に記録し直す（保存する）。【００６２】
すなわち、上記ステップＳ３及びＳ４の処理について具体的には、上記ステップＳ３においては、各ルール情報３０１内の映像表現情報３１１として記述されている映像表現が解析対象となっている符号化映像データ群内に含まれているか否かを先ず判断する。【００６３】
そして、例えば図４に例示するように、記録部１０２に記録されていたある符号化映像データＡＶ（当該符号化映像データＡＶの名称を、例えば「０００１」とする）において、その開始後３２秒の位置に映像表現「上下に動かす」が存在していたとすると、次に、この符号化映像データＡＶに適用されるルールを示すルール情報３０１の中から、映像表現情報３１１として映像表現「上下に動かす」を含むルール情報３０１が抽出される。【００６４】
その結果、抽出されたルール情報３０１（図４参照）には、タイミング情報３１２として、「カット点直前」という条件が記述されている。【００６５】
そして、符号化映像データＡＶを更に解析すると、カット点が検出できることとなるので、これにより、そのカット点の直前までの符号化映像データＡＶは、当該抽出されたルール情報３０１内の条件情報部３１０として記述されている条件に合致することになる。【００６６】
これにより、評価部１０７は、当該抽出されたルール情報３０１内の今度は付加情報定義部３２０に記述されている条件に則り、映像表現「上下に動かす」が含まれていたタイミングの直前２０秒間に相当する符号化映像データＳＰに対して、「重要度を上げる」ことを示す付加情報を付加する（図２ステップＳ４参照）。【００６７】
次に、各符号化映像データＡＶに付加される付加情報の内容について、具体的に図５を用いて例示しつつ説明する。【００６８】
図５に示すように、上記図４に示した例の場合、名称「０００１」の符号化映像データＡＶにおける区間０時間００分１２秒から０時間００分３２秒までに相当する符号化映像データＳＰに対して、重要度を示すパラメータである「ＳＣＯＲＥ」の値が「１００」である付加情報４００が付加されて記録部１２に記録し直されることになる。これにより、符号化映像データＳＰに対応する付加情報４００におけるパラメータＳＣＯＲＥの値は、符号化映像データＡＶ内の他の部分に対して高い重要度を示す値となる。【００６９】
以上説明したように、第１実施形態に係る情報再生装置Ｓの動作によれば、撮影者が映像素材中に残した映像表現を解析し、その撮影者の意図に沿った意味付けをその映像素材に対して行うので、例えば撮影者を含む使用者が再生や編集の対象とする映像素材を選択するための選択メニュー表示等において、付加情報４００の内容を反映させることができることになる。すなわち、例えば重要度が高い（すなわち、パラメータＳＣＯＲＥの値が高い）映像素材を選択メニューの中の上位部分に表示したり、或いは、その重要度に応じて対応する映像素材に記号を付けて表示したり、更には重要度が低い映像素材を選択メニューに表示しないようにすると言った処理が可能となる。【００７０】
このため、撮影者の評価に基きその撮影時において行われた映像素材の選別結果を利用し、その後のその映像素材の視聴や編集の際に改めて映像を吟味する作業における負荷を低減することができる。【００７１】
すなわち、第１実施形態に係る情報再生装置Ｓの動作によれば、特定の映像表現に対応するルール情報３０１を予め記憶しておき、入力されて来た映像素材の変化が特定の映像表現であるとき、当該特定の映像表現に対応する特定属性を示すルール情報３０１を関連付けるので、当該映像素材自体の撮影時において撮影装置に対して何ら特別の構成を備えることなく当該生成された映像素材に特定のルールを関連付けることができると共に、映像素材の一部又は全部の内容自体に対して特定のルールを関連付けることができる。【００７２】
従って、当該映像素材の取得後における当該ルールに対応した編集作業等の処理を簡易に自動化することができる。【００７３】
また、関連付けられたルール情報３０１に基づき、当該ルール情報３０１が関連付けられた映像素材に対して当該ルール情報３０１により示されるルールに対応する処理を施すので、映像素材の内容自体に適合した適切な処理を当該映像素材に対して施すことができる。【００７４】
更に、映像素材に対する処理が、例えば当該映像素材の再生処理、映像素材の削除処理又は特殊効果の付与処理のいずれか一つであるので、映像素材の内容自体に応じた処理を簡易な構成で実行することができる。【００７５】
更にまた、ルール情報３０１の関連付けの対象となる特定の映像表現が、映像素材の時間的変化又は映像素材に含まれている画像の変化の少なくともいずれか一つであるので、正確に解析可能な変化に基づいてルール情報３０１の関連付けを行うことができる。【００７６】
また、撮影装置における特殊な動きに対応して映像素材としての動画像に含まれている特定の映像表現との関連でルール情報３０１が関連付けられるので、当該撮影装置自体に特定の構成を備えることなく、映像素材自体に特定のルールを関連付けることができる。【００７７】
更に、ルール情報３０１の内容が、タイミング情報３１２、意味付情報３２１及び適用区間情報３２２を含んでいるので、映像素材の特性に応じた属性を適切に関連付けることができる。【００７８】
（ＩＩＩ）第２実施形態
次に、本願に係る他の実施形態である第２実施形態について、図６を用いて説明する。なお、図６は第２実施形態に係る撮影装置の概要構成を示すブロック図であり、第１実施形態に係る情報再生装置Ｓと同様の構成部材については同様の部材番号を付して細部の説明は省略する。【００７９】
上述した第１実施形態においては、図１において図示しない撮影装置において撮影された映像素材が入力されてくる情報再生装置Ｓに対して本願を適用した場合について説明したが、以下に説明する第２実施形態は、その撮影装置自体に、本願に係る映像素材の解析に係る構成部材を搭載した場合の実施形態である。【００８０】
すなわち、図６に示すように、第２実施形態に係る撮影装置ＣＭＲは、具体的には、デジタルビデオカメラとして実現されるものであり、第１実施形態に係る情報再生装置Ｓにおける映像入力部１０１に代えて、レンズ部を含む撮像部５０１と、エンコード部５０２と、を備えており、これらが外部バスＢＯを介して制御部１０５等に接続されている。【００８１】
この構成において、撮像部５０１は、図示しないレンズ部を介して受光した光を電気信号に変換し、その後デジタル映像に変換してエンコード部５０２に出力する。【００８２】
これにより、エンコード部５０２は、当該変換されたデジタル映像に対応する符号化映像データを、外部バスＢＯを介して記録部１０２に記録する。【００８３】
これ以降の制御部１０５等の構成は、基本的に第１実施形態に係る情報再生装置Ｓのそれと同様のであるので、細部の説明は省略する。【００８４】
次に、動作を説明する。
先ず、撮影前に予め上記ルールに対応するルール情報３０１が設定／記録されている点は第１実施形態に係る情報再生装置Ｓと同様である。【００８５】
そして、映像素材が撮影されると、第１実施形態の場合と同様に映像解析部１０６においてルール情報３０１に含まれている映像表現の検出をその撮影された映像素材に相当する符号化映像データを対象として実行し、評価部１０７において、その検出結果に対応する付加情報４００を生成する。これにより、当該生成された付加情報４００と対応する符号化映像データとを関連付けて記録部１０２に記録する。【００８６】
このとき、一旦撮影して更に映像解析した符号化映像データに対して、後から新たにルールを設定して適用できるようにしてもよい。【００８７】
一方、再生処理又は編集処理等のために記録部１０２に記録されている符号化映像データを外部に出力する場合には、例えば再生制御部１０９により、当該外部出力されるべき符号化映像データに関連付けられた付加情報４００の内容に基づいて当該符号化映像データの選別を行って出力する自動再生を実現することができる。【００８８】
更には、同様に付加情報４００に基づいて自動的に符号化映像データの選別を行って編集リストを作成し、それらを繋ぎ合わせた編集済み映像を作成して外部出力するように構成することもできる。【００８９】
また、ＧＵＩ制御部１０８により、撮影中において、撮影装置ＣＭＲとしての映像出力部１０４を構成するいわゆるビューファインダ等に現在使用可能なルールを示すルール情報４００の内容を表示し、撮影者がそのルールの確認をしながら撮影するように構成することもできる。【００９０】
更に、撮影者が一つの映像カットを撮影し終えた時点で直ぐに映像を解析して、今撮ったばかりの映像が不要であれば自動的に削除したり、又は「削除しますか？」のような選択画面を表示して、簡単な操作で削除するか否かを選択するように構成することもできる。【００９１】
このように、第２実施形態に係る撮影装置ＣＭＲの動作によれば、撮影装置ＣＭＲ自体において映像解析処理を行うことにより、当該撮影装置ＣＭＲ内で自動的に編集を行うことが可能であり、更には図６において図示しない映像処理装置に映像を全て保存させてから解析処理を行う時間を短縮することができる。すなわち、撮影者の自宅に帰って撮影装置ＣＭＲを上記映像処理装置に接続すれば直ぐに、自動編集された映像を見ることができるのである。【００９２】
また、撮影装置ＣＭＲを用いた撮影に失敗した場合に、その場で容易に当該失敗に相当する映像を消去することができるので、撮影装置ＣＭＲ内の記録部１０２を有効に活用することができる。【００９３】
（ＩＶ）第３実施形態
次に、本願に係る他の実施形態である第３実施形態について、図７及び図８を用いて説明する。なお、図７は第３実施形態に係る情報再生装置の概要構成を示すブロック図であり、第１実施形態に係る情報再生装置Ｓと同様の構成部材については同様の部材番号を付して細部の説明は省略する。また、図８は第３実施形態に係る情報再生装置の動作を示す図であり、第１実施形態に係る情報再生装置Ｓと同様の動作については同様のステップ番号を付して細部の説明は省略する。【００９４】
上述した第１実施形態においては、ルール情報３０１については予め記録部１０２に記録されているものとして説明したが、以下に説明する第３実施形態は、そのルール情報３０１の内容を使用者において変更可能に構成するものである。【００９５】
すなわち、第３実施形態に係る情報再生装置ＳＳは、第１実施形態に係る情報再生装置Ｓに加えて、ルール設定部６００と、適用ルール設定部６０１と、を備える。【００９６】
このとき、ルール設定部６００では、使用者、すなわち、撮影された映像素材の編集者等が希望する態様で、操作入力部１１１を介したその操作により、新たなルールに相当するルール情報３０１を設定する。このとき、具体的には、編集対象の映像素材中に含まれるはずの特定の映像表現と、その映像表現に対応させる意味付け及びその他の条件を組み合わせて、新たなルールに相当するルール情報３０１を生成させることとなる。そして、生成された新たなルール情報３０１は、第１実施形態の場合と同様に記録部１０２に記録する。【００９７】
一方、適用ルール設定部６０１は、ある映像素材の自動再生処理等を行う場合に、ルール設定部６００を用いて新たに作成したルールや、予め用意されて記録部１０２に記録されていたルールの中から、いずれのルール（一つ又は複数）を適用するかを設定する。このとき、適用すべきルールについて使用者からの指定が特にない場合は、初期設定済みの（すなわち、記録部１０２に予め記録済みの）のルールを適用する。【００９８】
次に、上記した第３実施形態に係る情報再生装置ＳＳにおける情報処理について、具体的に図８を用いて説明する。【００９９】
当該情報処理においては、図８（ａ）に示すように、始めに第１実施形態に係る情報再生装置Ｓと同様の処理を実行する（ステップＳ１及びＳ２）。【０１００】
次に、操作入力部１１１及ルール設定部６００を用いて新たなルールの設定を行う（ステップＳ１０）。【０１０１】
すなわち、ステップＳ１０の処理において、ＧＵＩ制御部１０８は、自らが管理するルール設定用のＧＵＩ画面を映像出力部１０４に表示する。【０１０２】
このとき、当該ＧＵＩ画面ＲＧの例としては、例えば図８（ｂ）に示すものが考えられる。そして、使用者は、このＧＵＩ画面ＲＧを表示させながら、先ず、映像解析の結果がこのルールに当て嵌まるか否かを判定するための上記条件情報部３１０と、当該当て嵌まった時にその映像素材に付加される上記付加情報定義部３２０と、を選択／設定してルール情報３０１を新たに生成する。なお、当該選択／設定に当たり、上記タイミング情報３１２及び付加情報定義部３２０については、予め作成済みのルール情報３０１のものを用いてもよいし、使用者自ら新たに作成してもよい。このとき、映像表現情報３１１については、対応する映像表現を映像素材内から検出するためのアルゴリズムと共に予め定義されているものを用いることが望ましい。【０１０３】
次に、ルールの設定が完了すると、使用者は、その設定したルールのうち、現在編集対象となっている映像素材（符号化映像データ）に対して適用させるルールを選択し（ステップＳ１１）、その後、第１実施形態に係る情報再生装置Ｓと同様の解析処理等を実行する（ステップＳ３、Ｓ４）。【０１０４】
ここで、図８（ｂ）に例示するＧＵＩ画面ＲＧについて詳説する。
当該ＧＵＩ画面ＲＧにおいて、上記条件情報部３１０の設定には、設定部７００及び７０１を用い、当該設定部７００及び７０１の上部及び下部に夫々ある黒色矢印を操作入力部１１１において操作することにより条件情報部３１０内の映像表現情報３１１及びタイミング情報３１２として採用すべき各候補を巡回的に選択する。更に、上記付加情報定義部３２０の設定には、設定部７０２及び７０３を用い、当該設定部７０２及び７０３の上下にある黒色矢印を操作入力部１１１において操作することにより付加情報定義部３２０内の意味付情報３２１及び適用区間情報３２２として採用すべき各候補を巡回的に選択する。なお、ＧＵＩ画面ＲＧ内には、一度選択された情報をキャンセルするためのキャンセルボタン７０５と、選択された情報を決定するための決定ボタン７０４と、が含まれている。【０１０５】
また、設定されたルールの選択（上記ステップＳ１１参照）や既存ルールの再編集に当っては、ＧＵＩ画面ＲＧ内の一覧表示部７０６内に表示されている、その時点で選択可能なルールの中から、新規ルール設定ボタン７０７、ルール編集ボタン７０８又は終了ボタン７０９を用いつつ当該再編集等を行うこととなる。なお、図８（ｂ）の一覧表示部７０６においては、その最上部に表示されているルールが編集中であることを示している。【０１０６】
なお、当該ルールは、複数を纏めて「ルールセット」として規定しておき、一つの映像素材に対して適用するルールをセットの単位で選択できるようにしてもよい。【０１０７】
また、上記ステップＳ１０及びＳ１１は、基本的には撮影処理（ステップＳ１）に対してどのようなタイミングで行ってもよいが、使用するルール（又はルールセット）を念頭に置いて撮影する必要がある。【０１０８】
以上説明したように、第３実施形態に係る情報再生装置ＳＳの動作によれば、第１実施形態に係る情報再生装置Ｓの効果に加えて、ルール情報３０１の内容が変更可能とされているので、情報再生装置ＳＳの使用者の嗜好等に合わせて映像素材に関連付けるルールを変更することができる。【０１０９】
より具体的には、予めルールが設定されている場合、誰でも利用できるような、例えば「重要シーン」といった抽象度のルールを設定しておくことは考えられるが、特定の使用者の要求に合致した細かいルール設定を予め設定しておくことは困難であり、例えば「××が写っている部分」というようにその使用者特有の事情に合致した情報を残すことは難しい。【０１１０】
このため、第３実施形態に係る情報再生装置ＳＳの如く、使用者が独自にルールを設定できるように構成されていれば、所望の処理が映像素材に対して施されることを簡易にルールとして設定することができる。【０１１１】
（Ｖ）第４実施形態
最後に、本願に係る更に他の実施形態である第４実施形態について、図９を用いて説明する。なお、図９（ａ）は第４実施形態に係る情報再生装置の概要構成を示すブロック図であり、第１実施形態に係る情報再生装置Ｓと同様の構成部材については同様の部材番号を付して細部の説明は省略する。また、図９（ｂ）は第４実施形態に係るルール情報の構成を示す図であり、第１実施形態に係るルール情報３０１と同様の情報については同様の部材番号を付して細部の説明は省略する。【０１１２】
以下に説明する第４実施形態に係る情報再生装置においては、第１実施形態に係る情報再生装置Ｓの動作に加えて、音声をもルールの関連付けの手がかりとして用いる。【０１１３】
すなわち、第４実施形態に係る情報再生装置ＳＡは、第１実施形態に係る情報再生装置Ｓに加えて、外部バスＢＯに接続された音声入力部８００と、内部バスＢＩに接続された音声解析部８０１と、を備える。【０１１４】
この構成において、映像入力部１０１から映像素材が入力され、更に音声入力部８００から当該映像素材に対応する音声素材が入力されると、映像解析部１０６は、既存のルールに含まれている映像表現がその映像素材内に含まれているか否かを解析し、更に音声解析部８０１は、当該ルールに含まれている後述の音声表現がその音声素材内に含まれているか否かを解析する。【０１１５】
ここで、当該音声解析部８０１の処理として具体的には、当該音声解析部８０１は、例えば入力されてきた音声素材における音声レベルの大小の判定のような単純なものだけでもよいが、いわゆる音声認識処理（すなわち、発話内容の認識）を行うように構成することもできる。【０１１６】
そして、映像素材及び音声素材の解析結果夫々に基づき、評価部１０７は、その素材に付加する付加情報４００を生成し、記録部１０２内に記録する。これ以降、当該素材に対する再生処理や編集処理等において付加情報４００の内容を反映させて行うことは、上述して来た各実施形態と同様である。【０１１７】
次に、第４実施形態に係るルール情報について、図９（ｂ）を用いて詳説する。
図９（ｂ）に示すように、第４実施形態に係るルール情報８１０は、第１実施形態に係るルール情報３０１に対して、当該ルール情報３０１における条件情報部３１０に代えて、映像表現情報３１１、タイミング情報３１２、音声表現情報８１２及び音声タイミング情報８１３を含む条件情報部８１１を含んでいる。【０１１８】
このとき、当該音声表現情報８１２に相当する音声表現としては、例えば以下のようなものが考えられる。
・マイク（音声入力部８００）を叩く。
・特定のリズムでマイクを叩く。
・特定の言葉を録音可能に発声する。
・使用者が予め設定した言葉を録音可能に発声する。【０１１９】
ここで、「使用者が予め設定した言葉」を音声表現として使用するためには、その使用者が予めその言葉を記録部１０２内に録音しておく必要がある。【０１２０】
以上説明したように、第４実施形態に係る情報再生装置ＳＡの動作によれば、第１実施形態に係る情報再生装置Ｓの効果に加えて、音声表現もルールとの関連付けに用いることができるので、より正確に映像素材を解析してルールとの関連付けを行うことができる。【０１２１】
なお、上述した第４実施形態に係る情報再生装置ＳＡにおいて、映像表現と音声表現との関係を設定することにより、音声と映像の表現を、夫々組み合わせて利用することもできる。【０１２２】
より具体的には、例えば、次のような関係をルールとの関連付けの手掛かりとして利用することができる。
・特定の映像表現を行った直後に、特定の音声表現を行う。
・特定の映像表現と特定の音声表現とを同時に行う。
・特定の映像表現と特定の音声表現のいずれか一方を行う。【０１２３】
更に、条件情報部８１１全体として見た場合は、例えば次のようなものがルールとして活用可能になる。
・カット点直前に、レンズを手で隠しながらマイクを数回叩く。
・いつでも、カメラを数回動かした後に特定の言葉を録音可能に話す。【０１２４】
これらにより、撮影時に素材と共に残す符号化映像データの表現の幅を更に広げることができる。【０１２５】
すなわち、より具体的には、例えば、映像のみを用いてで何かの意味のある言葉を記録するには、紙に書いてそれを撮影する等の操作が必要となるが、音声であれば撮影者が発言したものを音声認識によって取得して用いることができる。【０１２６】
ここで、映像表現を撮影者が意図的に変化させ得る点に比べると、音声は、周辺環境（例えば、被写体である人の発言等）によって、撮影者の意図が及ばない領域からの影響を受け易い。【０１２７】
そこで、映像表現と音声表現とを組み合わせることによって、撮影者の意図を反映させた上で、音声による幅広い表現を利用することができることになる。【０１２８】
なお、上述した各実施形態においては、本願を例えばデジタルビデオカメラ等の撮影装置やプレーヤ等の情報再生装置に適用した場合について説明したが、これ以外に、より具体的には、例えば以下の装置に適用することも可能である。
・デジタルビデオレコーダ（ＤＶＤレコーダ、ＨＤＤ（Hard Disc Drive）レコーダ、ＤＶＤ／ＨＤＤレコーダ、ホームサーバ等）、デジタルビデオカメラ、デジタルスチルカメラ
・カーナビゲーション装置
・コンピュータ関連機器（パーソナルコンピュータ、コンピュータ周辺機器、携帯端末、携帯型情報端末、携帯電話機、コンシューマ用ゲーム機）
・その他、デジタル映像を扱う製品全般
また、図２又は図８（ａ）に示すフローチャートに対応するプログラムを、フレキシブルディスク又はハードディスク等の情報記録媒体に記録しておき、又はインターネット等を介して取得して記録しておき、これらを汎用のコンピュータで読み出して実行することにより、当該コンピュータを各実施形態に係る制御部１０５として活用することも可能である。
【図１】
0004673916.tif 000002
【図２】
0004673916.tif 000003
【図３】
0004673916.tif 000004
【図４】
0004673916.tif 000005
【図５】
0004673916.tif 000006
【図６】
0004673916.tif 000007
【図７】
0004673916.tif 000008
【図８】
0004673916.tif 000009
【図９】
0004673916.tif 000010