(57)【要約】【課題】所望の撮影シーンに対応する動画像の記録区間を容易に特定可能な、情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】所定の撮影操作に応じて変化する操作パラメータの第１の時系列データ（比較用操作情報）を保持する比較用操作情報保持部３８と、実際の撮影操作に応じて記録される動画像と対応付けられ、実際の撮影操作に応じて変化する操作パラメータの第２の時系列データ（操作情報）を、第１の時系列データと比較し、第２の時系列データのうち第１の時系列データと一致するデータ区間を特定する撮影操作判定部３６と、を備える。これにより、所望の撮影シーンを記録するために行われる所定の撮影操作を表す第１の時系列データをビデオカメラ１０に保持させておくことで、所望の撮影シーンに対応する動画像の記録区間を容易に特定することができる。【選択図】図１４
2010166256.tif 000002
【特許請求の範囲】
【請求項１】
所定の撮影操作に応じて変化する操作パラメータの第１の時系列データを保持するデータ保持部と、
実際の撮影操作に応じて記録される動画像と対応付けられ、前記実際の撮影操作に応じて変化する前記操作パラメータの第２の時系列データを、前記第１の時系列データと比較するデータ比較部と、
前記第１および第２の時系列データの比較に基づいて、前記第２の時系列データのうち前記第１の時系列データと一致するデータ区間を特定するデータ区間特定部と、
を備える情報処理装置。
【請求項２】
前記データ区間特定部は、前記第１および第２の時系列データの比較に基づいて、前記第２の時系列データのうち、前記第１の時系列データの誤差範囲に含まれるデータ区間を特定する、請求項１に記載の情報処理装置。
【請求項３】
前記第１の時系列データの前記誤差範囲は、任意に設定される値である、請求項２に記載の情報処理装置。
【請求項４】
前記データ比較部は、前記実際の撮影操作に応じて記録される動画像が記録される間に、前記第２の時系列データを前記第１の時系列データと比較する、請求項１に記載の情報処理装置。
【請求項５】
前記データ比較部は、前記実際の撮影操作に応じて記録される動画像が記録された後に、前記第２の時系列データを前記第１の時系列データと比較する、請求項１に記載の情報処理装置。
【請求項６】
前記データ保持部は、複数の操作パラメータからなる第１の時系列データを保持し、
前記データ比較部は、前記複数の操作パラメータからなる第２の時系列データを、前記複数の操作パラメータからなる前記第１の時系列データと比較し、
前記データ区間特定部は、前記複数の操作パラメータからなる前記第２の時系列データのうち、前記複数の操作パラメータからなる前記第１の時系列データと一致するデータ区間を特定する、請求項１に記載の情報処理装置。
【請求項７】
実際の撮影操作に応じて記録される動画像と対応付けられ、前記実際の撮影操作に応じて変化する操作パラメータの第２の時系列データから、前記所定の撮影操作に応じて変化する前記操作パラメータの第１の時系列データを作成するデータ作成部をさらに備える、請求項１に記載の情報処理装置。
【請求項８】
実際の操作に応じて変化する操作パラメータの第２の時系列データを、前記実際の撮影操作に応じて記録される動画像と対応付けて記録する記録部をさらに備える、請求項１に記載の情報処理装置。
【請求項９】
前記操作パラメータは、パン操作、チルト操作、ドリー操作、ズーム操作のうちいずれかに応じて変化するパラメータである、請求項１に記載の情報処理装置。
【請求項１０】
所定の撮影操作に応じて変化する操作パラメータの第１の時系列データを、実際の撮影操作に応じて記録される動画像と対応付けられ、前記実際の撮影操作に応じて変化する前記操作パラメータの第２の時系列データと比較するデータ比較ステップと、
前記第１および第２の時系列データの比較に基づいて、前記第２の時系列データのうち前記第１の時系列データと一致するデータ区間を特定するデータ区間特定ステップと、
を含む情報処理方法。
【請求項１１】
所定の撮影操作に応じて変化する操作パラメータの第１の時系列データを、実際の撮影操作に応じて記録される動画像と対応付けられ、前記実際の撮影操作に応じて変化する前記操作パラメータの第２の時系列データと比較するデータ比較ステップと、
前記第１および第２の時系列データの比較に基づいて、前記第２の時系列データのうち前記第１の時系列データと一致するデータ区間を特定するデータ区間特定ステップと、
を含む情報処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
動画像の編集作業に際して、ユーザは、再生／切出し等の対象となる所望の撮影シーン（または撮影ショット）を探索して特定しなければならない。従来、ユーザは、早送り再生される動画像を確認しながら所望の撮影シーンに対応する動画像の記録区間を特定しているが、編集作業の対象となる動画像の記録時間が長くなると、動画像の記録区間の特定が困難となる。
【０００３】
このため、下記特許文献１には、記録装置に対して行われるパン、チルト、ズーム操作等、特定の撮影操作の開始／終了時点に応じて、所望の撮影シーンに対応する記録区間を自動的に特定することが提案されている。これにより、動画像の記録区間を容易に特定することができるので、編集作業の効率の向上が見込まれる。
【０００４】
【特許文献１】特開２００７−１３４７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮影操作の開始／終了時点に応じて特定される動画像の記録区間は、必ずしも所望の撮影シーンに対応する動画像の記録区間と一致しておらず、編集作業の効率を向上させることができない場合がある。
【０００６】
本発明は上記問題点に鑑みてなされたものであり、その目的は、所望の撮影シーンに対応する動画像の記録区間を容易に特定可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の第１の観点によれば、所定の撮影操作に応じて変化する操作パラメータの第１の時系列データを保持するデータ保持部と、実際の撮影操作に応じて記録される動画像と対応付けられ、実際の撮影操作に応じて変化する操作パラメータの第２の時系列データを、第１の時系列データと比較するデータ比較部と、第１および第２の時系列データの比較に基づいて、第２の時系列データのうち第１の時系列データと一致するデータ区間を特定するデータ区間特定部と、を備える情報処理装置が提供される。
【０００８】
かかる構成によれば、所定の撮影操作を表す操作パラメータの第１の時系列データが、実際の撮影操作を表す操作パラメータの第２の時系列データと比較され、第２の時系列データのうち第１の時系列データと一致するデータ区間が特定される。これにより、特定されたデータ区間の第２の時系列データと対応付けられる動画像の記録区間が、所定の撮影操作に応じて記録された動画像の記録区間として特定される。よって、ユーザは、所望の撮影シーンを記録するために行われる所定の撮影操作を表す第１の時系列データを情報処理装置に保持させておくことで、所望の撮影シーンに対応する動画像の記録区間を容易に特定することができる。
【０００９】
また、上記データ区間特定部は、第１および第２の時系列データの比較に基づいて、第２の時系列データのうち、第１の時系列データの誤差範囲に含まれるデータ区間を特定してもよい。ここで、上記第１の時系列データの誤差範囲は、任意に設定される値でもよい。
【００１０】
また、上記データ比較部は、実際の撮影操作に応じて記録される動画像が記録される間に、または実際の撮影操作に応じて記録される動画像が記録された後に、第２の時系列データを第１の時系列データと比較してもよい。
【００１１】
また、上記データ保持部は、複数の操作パラメータからなる第１の時系列データを保持し、データ比較部は、複数の操作パラメータからなる第２の時系列データを、複数の操作パラメータからなる第１の時系列データと比較し、データ区間特定部は、複数の操作パラメータからなる第２の時系列データのうち、複数の操作パラメータからなる第１の時系列データと一致するデータ区間を特定してもよい。
【００１２】
また、上記情報処理装置は、実際の撮影操作に応じて記録される動画像と対応付けられ、実際の撮影操作に応じて変化する操作パラメータの第２の時系列データから、所定の撮影操作に応じて変化する操作パラメータの第１の時系列データを作成するデータ作成部をさらに備えてもよい。
【００１３】
また、上記情報処理装置は、実際の操作に応じて変化する操作パラメータの第２の時系列データを、実際の撮影操作に応じて記録される動画像と対応付けて記録する記録部をさらに備えてもよい。
【００１４】
また、上記操作パラメータは、パン操作、チルト操作、ドリー操作、ズーム操作のうちいずれかに応じて変化するパラメータでもよい。
【００１５】
また、本発明の第２の観点によれば、第１の観点による情報処理装置に適用可能な情報処理方法が提供される。また、本発明の第３の観点によれば、第２の観点による情報処理方法をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００１６】
本発明によれば、所望の撮影シーンに対応する動画像の記録区間を容易に特定可能な、情報処理装置、情報処理方法、およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下に、添付した図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１８】
［１．情報処理装置の構成］
まず、図１を参照しながら、本発明の一実施形態に係る情報処理装置の構成について説明する。情報処理装置は、ビデオカメラ、スチルカメラ、携帯電話機等、動画像を記録および／または再生可能な装置である。なお、以下では、情報処理装置が動画像を記録再生可能なビデオカメラ１０である場合を一例として説明する。
【００１９】
図１に示すように、ビデオカメラ１０は、制御部１２、撮像部１４、映像コーディック１６、表示部１８、音声入力部２０、音声コーディック２２、音声出力部２４、表示画像生成部２６、操作Ｉ／Ｆ２８、フォーマット処理部３０、再生記録部３２、センサ群３４、操作情報処理部３６、比較用操作情報保持部３８を含んで構成される。
【００２０】
制御部１２は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなり、ビデオカメラ１０の動作に必要な処理、バス４０を介して接続されている各部に対する制御を行う。ＣＰＵは、ＲＯＭからプログラムを読出し、ＲＡＭ上に展開して実行する。
【００２１】
撮像部１４は、撮像レンズ、撮像素子、レンズ駆動機構等からなり、撮像対象を電気信号に変換し、映像情報として映像コーディック１６に出力する。撮像部１４は、操作Ｉ／Ｆ２８を用いたズーム操作に応じて撮像レンズを駆動することで、撮像レンズのズーム動作も行う。
【００２２】
映像コーディック１６は、撮像部１４から入力される映像情報をＭＰＥＧ、ＡＶＣ（Advanced Video
Coding）等の映像データにエンコード処理し、フォーマット処理部３０に出力する。映像コーディック１６は、フォーマット処理部３０から入力される映像データを映像信号にデコード処理し、表示部１８に出力する。映像コーディック１６は、エンコード処理時に得られる映像データ中の動きベクトルを操作情報処理部３６に出力する。表示部１８は、液晶パネル等からなり、映像コーディック１６から入力される映像信号に対応する映像、および表示画像生成部２６から入力される表示用画像を出力する。
【００２３】
表示画像生成部２６は、比較用操作情報の作成に際して、一時停止された動画像、操作パラメータの時系列データ等の表示用画像を生成して表示部１８に出力する。操作Ｉ／Ｆ２８は、操作ボタン、操作キー等を含んでおり、ユーザ操作に応じた操作信号を制御部１２等に出力する。操作Ｉ／Ｆ２８は、ズーム操作用のズームレバーを含んでおり、ズームレバーの操作に応じて変化するズーム検出値を操作情報処理部３６に出力する。
【００２４】
音声入力部２０は、マイク等からなり、撮影対象から入力される音声を音声信号に変換し、音声情報として音声コーディック２２に出力する。音声コーディック２２は、音声入力部２０から入力される音声情報をＡＡＣ（Advanced Audio
Coding）等の音声データにエンコード処理し、フォーマット処理部３０に出力する。音声コーディック２２は、フォーマット処理部３０から入力される音声データを音声信号にデコード処理し、音声出力部２４に出力する。音声出力部２４は、スピーカー等からなり、音声コーディック２２から入力される音声信号に対応する音声を出力する。
【００２５】
フォーマット処理部３０は、動画像の記録に際して、映像コーディック１６および音声コーディック２２から映像データおよび音声データを各々に入力され、操作情報処理部３６から後述する操作情報を入力される。フォーマット処理部３０は、映像データ、音声データ、および操作情報から所定の動画像データを作成し、再生記録部３２に出力する。ここで、動画像データは、映像データおよび音声データに同期するように、映像データおよび音声データに操作情報を対応付けて作成される。フォーマット処理部３０は、操作情報処理部３６から後述する記録区間情報を入力され、再生記録部３２に出力する。
【００２６】
フォーマット処理部３０は、動画像の記録区間の特定に際しては、再生記録部３２から入力される動画像データから操作情報を抽出し、操作情報処理部３６に出力する。また、フォーマット処理部３０は、比較用操作情報の作成に際して、動画像の記録時または記録区間の特定時と同様に、比較用操作情報を含む動画像データを作成したり、動画像データから比較用操作情報を抽出したりする。再生記録部３２は、フォーマット処理部３０から入力される動画像データを記録媒体に書込み、記録媒体から読出される動画像データをフォーマット処理部３０に出力する。なお、フォーマット処理部３０および再生記録部３２は、データ記録部として機能する。
【００２７】
センサ群３４は、加速度センサ、角速度センサ、重力センサ、方位センサ等からなり、ビデオカメラ１０に対して行われる撮影操作に応じて変化する、加速度値、角速度値、重力値、方位等を検出し、操作情報処理部３６に出力する。
【００２８】
ここで、図２を参照しながら、センサ群３４により検出される検出値について説明する。図２に示すように、レンズの光軸方向をＹ軸、Ｙ軸に直交しビデオカメラ１０の左右方向に相当する方向をＸ軸、Ｘ軸およびＹ軸に直交しビデオカメラ１０の上下方向に相当する方向をＺ軸と想定する。加速度センサでは、例えば、Ｘ軸、Ｙ軸、Ｚ軸の各軸方向へビデオカメラ１０を移動させる撮影操作が検出される。角速度センサでは、例えばＸ軸、Ｙ軸、Ｚ軸の各軸に対してビデオカメラ１０を回転させる撮影操作が検出される。
【００２９】
操作情報処理部３６は、動画像の記録に際して、操作情報を作成するためのデータを取得・解析して操作情報を作成する。そして、操作情報処理部３６は、操作情報と比較用操作情報との比較に基づいて、所定の撮影シーンに対応する動画像の記録区間を特定し、特定された記録区間を示す記録区間情報を作成する。操作情報処理部３６は、操作情報および記録区間情報をフォーマット処理部３０に出力する。
【００３０】
ここで、操作情報とは、ビデオカメラ１０に対して行われるパン、チルト、ドリー、ズーム等の撮影操作に応じて変化する、パン角度、チルト角度、ドリー速度、ズーム倍率等の操作パラメータの時系列データである。本実施形態に係るビデオカメラ１０では、操作情報処理部３６は、センサ群３４から入力される加速度、角速度、重力、方位等の検出値、操作Ｉ／Ｆ２８から入力されるズーム検出値を解析し、検出値の解析結果から操作情報を作成する。ここで、比較用操作情報とは、ビデオカメラ１０に対して行われる所定の撮影操作に応じて変化する操作パラメータの時系列データである。
【００３１】
操作情報の作成に際して、Ｘ−Ｙ平面上での回転速度の検出値からパン角度に関する操作情報が作成され、Ｙ−Ｚ平面上での回転速度の検出値からチルト角度に関する操作情報が作成される。また、Ｙ軸方向での加速度の検出値からドリー速度に関する操作情報が作成され、ズーム検出値からズーム倍率に関する操作情報が作成される。なお、操作情報は、パン、チルト、ドリー、ズーム操作以外にも、Ｘ軸、Ｙ軸、Ｚ軸に対する位置、速度、加速度、方位、角速度、角加速度の任意の組合せからなる操作を表す操作パラメータとして作成されてもよい。
【００３２】
操作情報処理部３６は、動画像の記録区間の特定に際して、フォーマット処理部３０から入力される操作情報と比較用操作情報とを比較し、比較に基づいて特定される記録区間を示す記録区間情報をフォーマット処理部３０に出力する。また、操作情報処理部３６は、比較用操作情報の作成に際して、比較用操作情報を作成するためのデータを取得・解析して比較用操作情報を作成し、比較用操作情報および作成区間情報をフォーマット処理部３０に出力する。ここで、作成区間情報とは、詳細は後述するが、比較用操作情報の作成区間を特定するための情報である。なお、操作情報処理部３６は、データ比較部、データ区間特定部、データ作成部として機能する。
【００３３】
比較用操作情報保持部３８は、メモリ等からなり、ユーザまたはビデオカメラ１０により作成される比較用操作情報を保持している。また、比較用操作情報保持部３８は、比較用操作情報とともに、比較用操作情報の誤差範囲に関する情報も保持している。なお、比較用操作情報保持部３８は、データ保持部として機能する。
【００３４】
次に、図３を参照しながら、本発明の一実施形態の変形例に係るビデオカメラ６０の構成について説明する。図３に示すように、ビデオカメラ６０では、前述したビデオカメラ１０からセンサ群３４が省略されている。操作情報処理部３６は、動画像の記録に際して、操作Ｉ／Ｆ２８から入力されるズーム検出値を解析するとともに、映像コーディック１６から入力される映像データ（ＭＰＥＧ等の映像ストリームデータ）中の動きベクトルを解析し、検出値および映像データの解析結果から操作情報を作成する。
【００３５】
［２．記録区間の特定方法］
次に、図４〜図９を参照しながら、撮影シーンに対応する動画像の記録区間の特定方法について具体例を用いて説明する。以下では、滑走路２に着陸する飛行機１を被写体として撮影する場合を例として説明する。図４は、ビデオカメラ１０と被写体との位置関係を示し、図５は、撮影操作に応じて変化するパン角度およびチルト角度の時系列データからなる操作情報を示している。
【００３６】
図４に示すように、被写体である飛行機１は、ビデオカメラ１０に対して右側の上空から降下し、ビデオカメラ１０の略正面で滑走路２に着陸し、ビデオカメラ１０に対して左側へ滑走路２上を走行している。このため、被写体の動きに追従するように、ビデオカメラ１０に対してパン操作およびチルト操作が行われる。なお、図４では、紙面の上側を北として位置関係が示され、図５では、真北および水平を０°としてパン角度（方位）およびチルト角度（仰角）の時系列データが示されている。
【００３７】
図５に示す操作情報によれば、パン角度は、まず、＋６０°から＋４０°へ徐々に変化し、＋４０°から−４０°へ急激に変化し、−４０°から−６０°へ徐々に変化している。また、チルト角度は、パン角度が＋６０°から０°へ変化する期間に対応して、＋３０°から０°へ徐々に変化し、パン角度が０°から−６０°へ変化する期間に対応して、０°でほぼ一定値を示している。なお、パン角度およびチルト角度の変化に含まれる短い周期の増減は、撮影者による手振れの影響によるものである。
【００３８】
図６は、パン角度およびチルト角度の時系列データからなる比較用操作情報を示し、図７は、図５に示した操作情報と図６に示した比較用操作情報との比較結果を示している。
【００３９】
図６に示す比較用操作情報は、判定区間の開始時点でのパン角度（方位）およびチルト角度（仰角）を０°として示されている。図６に示すように、比較用操作情報では、パン角度は、まず、０°から−２０°へ徐々に変化し、−２０°から−１００°へ急激に変化し、−１００°から−１２０°へ徐々に変化している。また、チルト角度は、パン角度が０°から−６０°へ変化する期間に対応して、０°から−３０°へ徐々に変化し、パン角度が−６０°から−１２０°へ変化する期間に対応して、−３０°でほぼ一定値を示している。
【００４０】
比較用操作情報では、撮影者による手振れの影響を考慮するために、パン角度およびチルト角度に対して所定の誤差範囲（例えば±１０°）が設定されている。ここで、誤差範囲は、ユーザまたはビデオカメラ１０により調節して設定されてもよい。誤差範囲を小さくすると、動画像の記録区間の特定精度が向上し、誤差範囲をある程度大きくすると、撮影者による手振れの影響がある程度大きい場合でも、動画像の記録区間を特定することができる。
【００４１】
図７に示す比較用操作情報は、判定区間の開始時点でのパン角度（方位）を０°から＋６０°に変換し、チルト角度（仰角）を０°から＋３０°に変換して示されている。つまり、操作情報は、比較用操作情報との間で判定区間の開始時点を基準とする相対的な角度変化を比較される。図７に示すように、操作情報は、パン角度およびチルト角度ともに比較用操作情報の誤差範囲に含まれている。この場合、ビデオカメラ１０は、操作情報が比較用操作情報と一致していると判断する。一方、パン角度またはチルト角度の少なくとも一方が比較用操作情報の誤差範囲から一部でも逸脱している場合、ビデオカメラ１０は、操作情報が比較用操作情報と一致していないと判断する。
【００４２】
図６に示した比較用操作情報によれば、判定区間の開始時点の操作パラメータの値にかかわらず、判定区間の開始時点の値を基準とする操作パラメータの相対的な変化に特徴を有する撮影シーンに対応して、動画像の記録区間を特定することができる。
【００４３】
図８は、パン角度からなる比較用操作情報の変形例を示している。図８に示す比較用操作情報では、判定区間の開始時点でのパン角度（方位）が０°に設定されている。図８に示す比較用操作情報は、判定区間の開始時点でのパン角度（方位）を操作情報に合わせて変換せずに、操作情報と比較される。つまり、操作情報は、比較用操作情報との間で絶対的な角度の変化を比較される。このため、判定区間の開始時点を基準とする相対的なパン角度の変化が比較用操作情報と一致している場合でも、判定区間の開始時点でのパン角度に応じて、操作情報と比較用操作情報の間で一致が判断される。
【００４４】
図８に示す例では、上側の操作情報は、判定区間の開始時点のパン角度が＋６０°であるので、比較用操作情報と一致していないと判断され、下側の操作情報は、判定区間の開始時点のパン角度が約０°であるので、比較用操作情報と一致していると判断される。
【００４５】
図８に示した比較用操作情報によれば、判定区間の開始時点での操作パラメータの値とともに、判定区間の開始時点の値を基準とする操作パラメータの相対的な変化に特徴を有する撮影シーンに対応して、動画像の記録区間を特定することができる。
【００４６】
図９は、比較用操作情報のデータ構成を示している。比較用操作情報１は、パン角度およびチルト角度の時系列データからなり、比較用操作情報２は、パン角度の時系列データのみからなる。比較用操作情報１を用いる場合、操作情報がパン角度およびチルト角度の双方に関して比較用操作情報と一致している場合にのみ、両者が一致していると判断される。なお、比較用操作情報１では、ドリー速度、ズーム倍率については考慮されない。また、比較用操作情報２を用いる場合、操作情報がパン角度に関して比較用操作情報と一致している場合に、両者が一致していると判断される。なお、比較用操作情報２では、チルト角度、ドリー速度、ズーム倍率については考慮されない。
【００４７】
［３．情報処理装置の動作］
次に、図１０〜図１５を参照しながら、本発明の一実施形態に係る情報処理方法について説明する。以下では、まず、図１０〜１３を参照しながら、比較用操作情報を作成する方法について説明する。次に、図１４を参照しながら、動画像の記録中に動画像の記録区間を特定する方法について説明する。そして、図１５を参照しながら、動画像の記録後に動画像の記録区間を特定する方法について説明する。
【００４８】
図１０は、操作情報および比較用操作情報の構成を模式的に示している。操作情報は、動画像の記録期間中に、所定のサンプリング周期Ｔ（例えば、Ｔ＝０．１秒）で検出される検出値に基づく時系列データとして作成される。また、説明の便宜上、比較用操作情報は、サンプリング周期Ｔに対応する周期を有する時系列データとして設定されるものとする。
【００４９】
図１０に示すように、操作情報は、記録開始時刻ｔａ＝０のデータｄａ０、…、記録時刻ｔａ＝ｉのデータｄａｉ、…、記録終了時刻ｔａ＝ｎのデータｄａｎからなるものとする。また、比較用操作情報は、判定開始時刻ｔｃ＝０のデータｄｃ０、…、判定時刻ｔｃ＝ｊのデータｄｃｊ、…、判定終了時刻ｔｃ＝ｍのデータｄｃｍ（ｍ≦ｎ）からなるものとする。ここで、データｄａｉ、ｄｃｊは、記録時刻ｔａ＝ｉまたは判定時刻ｔｃ＝ｊでのパン角度、チルト角度、ドリー速度、ズーム倍率等の各操作パラメータの値を示している。
【００５０】
そして、操作情報のデータｄａ０、…、ｄａｎからベクトルｖａ１〜ｖａｎが作成され、比較用操作情報のデータｄｃ０、…、ｄｃｍから比較ベクトルｖｃ１〜ｖｃｍが作成される。ベクトルｖａｉは、データｄａｉ−１、ｄａｉから作成され、比較ベクトルｖｃｊは、同様にデータｄｃｊ−１、ｄｃｊから作成される。つまり、ベクトルｖａおよび比較ベクトルｖｃは、サンプリング周期Ｔ毎の各操作パラメータ（パン角度、チルト角度、ドリー速度、ズーム倍率等）の変化量を示している。
【００５１】
また、比較用操作情報には、ユーザまたはビデオカメラ１０により誤差範囲（例えば、角度誤差、速度誤差、倍率誤差等）が設定される。誤差範囲は、操作パラメータ毎に一律に設定されてもよく、比較ベクトルｖｃ１〜ｖｃｍの少なくとも一部の区間に設定されてもよい。これにより、所望の撮影シーンの状況に応じて、撮影シーンに対応する動画像の記録区間の特定精度を調節することができる。
【００５２】
［３−１．比較用操作情報の作成］
図１１Ａ、１１Ｂは、動画像の記録中に比較用操作情報を作成する方法のフローを示している。制御部１２は、動画像の記録中または記録前に、操作Ｉ／Ｆ２８を介して比較用操作情報の作成開始または作成停止が指示されると、作成動作の開始または停止を各部に指示する。
【００５３】
作成動作の開始を指示されると（ステップＳ１０）、映像コーディック１６は、映像情報からエンコード処理された映像データをフォーマット処理部３０に出力し、音声コーディック２２は、音声情報からエンコード処理された音声データをフォーマット処理部３０に出力する。操作情報処理部３６は、実際の撮影操作に応じて変化するセンサ群３４および操作Ｉ／Ｆ２８からの検出値に基づいて、所定の操作パラメータについて比較用操作情報を作成する（Ｓ１２）。ここで、所定の操作パラメータは、パン角度、チルト角度、ドリー速度、ズーム倍率等のうちから、ユーザまたはビデオカメラ１０により予め設定されるものとする。
【００５４】
操作情報処理部３６は、作成された比較用操作情報をフォーマット処理部３０に出力する。フォーマット処理部３０は、映像データ、音声データ、および比較用操作情報から所定の動画像データを作成する。ここで、比較用操作情報は、映像データおよび音声データと同期するように、映像データおよび音声データに対応付けられる。フォーマット処理部３０は、動画像データを再生記録部３２に出力し、再生記録部３２は、動画像データを記録媒体に書込む（Ｓ１４）。比較用操作情報の作成、記録は、作成動作の停止が指示されるまで継続して行われる（Ｓ１６）。
【００５５】
ここで、操作情報処理部３６は、比較用操作情報の作成区間を特定するための作成区間情報をフォーマット処理部３０に出力する（Ｓ１８）。フォーマット処理部３０は、動画像データとともに作成区間情報を再生記録部３２に出力し、再生記録部３２は、記録媒体に書き込む。
【００５６】
制御部１２は、比較用操作情報の作成動作が完了し、操作Ｉ／Ｆ２８を介して比較用操作情報の確認動作の開始が指示されると、再生記録部３２、フォーマット処理部３０、映像コーディック１６、音声コーディック２２、および操作情報処理部３６に、確認動作の開始を指示する（Ｓ２０）。
【００５７】
確認動作の開始を指示されると、再生記録部３２は、作成区間情報に基づいて、作成開始時点に対応する動画像データから順に、動画像データをフォーマット処理部３０に出力する。フォーマット処理部３０は、動画像データから抽出される映像データを映像コーディック１６に出力し、動画像データから抽出される音声データを音声コーディック２２に出力する。映像コーディック１６は、映像データをデコード処理した映像信号を表示部１８に出力し、音声コーディック２２は、音声信号をデコード処理した音声信号を音声出力部２４に出力する。これにより、比較用操作情報の作成区間に対応する動画像が再生される（Ｓ２２）。
【００５８】
また、フォーマット処理部３０は、動画像の再生と同期して、動画像データから抽出される比較用操作情報を操作情報処理部３６に出力する。操作情報処理部３６は、比較用操作情報から所定の操作パラメータの時系列データを作成して表示画像生成部２６に出力する。表示画像生成部２６は、対応する表示用画像を生成して表示部１８に出力し、表示部１８は、動画像の再生と同期して表示用画像を表示する（Ｓ２４）。これにより、ユーザは、動画像の再生とともに操作パラメータの時系列変化を確認することができる。なお、動画像の再生速度は、操作Ｉ／Ｆ２８を介してユーザにより適宜調節されてもよい。
【００５９】
確認動作に際して、動画像の再生は、操作Ｉ／Ｆ２８を介してユーザにより一時停止され（Ｓ２６）、一時停止された動画像および操作パラメータの時系列データが表示部１８に表示される。ここで、ユーザは、一時停止された動画像（以下では、操作対象画像と称する。）および操作パラメータの時系列データを、操作Ｉ／Ｆ２８を介して適宜調整することができる。
【００６０】
ユーザは、操作対象画像に対する調整操作を通じて、比較用操作情報を調整することができる。例えば、図１２に示すように、操作対象画像が表示領域上で左右方向に移動されると（Ｓ２８）、表示画像生成部２６は、移動後の位置に操作対象画像を表示するための調整後の表示用画像を生成し、表示部１８に出力する（Ｓ３０）。そして、操作情報処理部３６は、以下に示すように、操作対象画像の移動量δＭに応じた変化量δＰで、パン角度の比較用操作情報を調整する。なお、チルト角度の比較用操作情報を調整する場合についても同様に説明される。
【００６１】
この場合、一時停止時点の前後で所定の記録区間の映像データを画像解析することで、ビデオカメラ１０の左右方向における視点（レンズの光軸方向に対応する位置）の移動変化量が検出される。例えば、画像解析により画像中の静止物が特定され、所定の記録区間での静止物の位置変化から視点移動の変化量が検出される。また、記録区間に対応するパン角度の時系列データが比較用操作情報から抽出され、視点移動の変化量と比較される。そして、視点移動の変化量およびパン角度の変化量から、視点移動の単位当り変化量に対応するパン角度の変化量が推定される（Ｓ３２）。これにより、操作情報処理部３６は、視点移動の単位当り変化量に基づいて、操作対象画像の移動量δＭに対応するパン角度の変化量δＰを推定し、変化量の推定値に基づいてパン角度の比較用操作情報を調整することができる（Ｓ３４）。
【００６２】
また、操作対象画像が表示領域上で拡大／縮小されると（Ｓ２８）、表示画像生成部２６は、拡大／縮小後の操作対象画像を表示するための調整後の表示用画像を生成し、表示部１８に出力する（Ｓ３０）。そして、操作情報処理部３６は、操作対象画像の拡大／縮小量に応じてドリー速度の比較用操作情報を調整する。なお、ズーム倍率の比較用操作情報を調整する場合についても同様に説明される。
【００６３】
この場合も、映像データの画像解析により画角（ビデオカメラ１０による撮影範囲）の変化量が検出される。例えば、画像解析により画像中の静止物が特定され、静止物が占める画像領域のサイズ変化から画角の変化量が検出される。また、ドリー速度の時系列データが比較用操作情報から抽出され、画角の変化量と比較される。そして、画角の変化量およびドリー速度の変化量から、画角の単位当り変化量に対応するドリー速度の変化量が推定される（Ｓ３２）。これにより、操作情報処理部３６は、画角の単位当り変化量に基づいて、操作対象画像の拡大／縮小量に対応するドリー速度の変化量を推定し、変化量の推定値に基づいてドリー速度の比較用操作情報を調整することができる（Ｓ３４）。
【００６４】
また、ユーザは、操作パラメータの時系列データに対する調整操作を通じて、比較用操作情報を調整することができる。例えば、図１３に示すように、パン角度の表示用データ上で特定の時刻のデータが変更されると（Ｓ３６）、調整操作に対応して比較用操作情報を調整する（Ｓ３８）。そして、操作情報処理部３６は、操作対象画像に対する調整操作を通じて調整する場合と同様の方法を用いて、パン角度のデータの変更量δＰに対応する操作対象画像の移動量δＭを推定する（Ｓ４０）。表示画像生成部２６は、推定された移動量δＭにより移動された位置に、操作対象画像を表示するための調整後の表示用画像を生成し、表示部１８に出力する（Ｓ４２）。
【００６５】
以上のように、ユーザによる調整操作を通じて比較用操作情報が調整されると、操作情報処理部３６は、調整後の比較用操作情報をフォーマット処理部３０に出力し、表示画像生成部２６は、調整後の表示画像に相当する映像データをフォーマット処理部３０に出力する。フォーマット処理部３０は、調整後の比較用操作情報および映像データを用いて、調整後の動画像データを作成し、再生記録部３２に出力する。
【００６６】
調整後の動画像データが作成されると、調整後の動画像データを用いて確認動作が再開される（Ｓ４４）。ユーザは、動画像データの調整操作を繰り返すことで、比較用操作情報を最適化することができる。そして、比較用操作情報の最適化が完了すると（Ｓ４６）、ユーザは、操作Ｉ／Ｆ２８を介して、比較用操作情報を登録し、比較用操作情報の誤差範囲を設定する。比較用操作情報の登録が指示されると、フォーマット処理部３０は、動画像データから比較用操作情報を抽出し、誤差範囲とともに比較用操作情報保持部３８に出力し、比較用操作情報保持部３８は、誤差範囲とともに比較用操作情報を格納する（Ｓ４８）。
【００６７】
これにより、ユーザは、動画像の記録中に、実際の操作情報から、比較用操作情報を作成することができる。よって、動画像の記録中に作成される比較用操作情報をビデオカメラ１０に保持させておくことで、所望の撮影シーンに対応する動画像の記録区間を容易に特定することができる。
【００６８】
なお、動画像の記録中に比較用操作情報を作成する場合について説明したが、動画像の記録とは関係なく、操作パラメータの時系列データを編集することで、比較用操作情報を直接作成してもよい。
【００６９】
［３−２．動画像の記録中における記録区間の特定］
図１４は、動画像の記録中に動画像の記録区間を特定する方法のフローを示している。制御部１２は、操作Ｉ／Ｆ２８を介して動画像の記録開始または記録停止が指示されると、記録動作の開始または停止を各部に指示する。
【００７０】
記録動作の開始を指示されると、映像コーディック１６は、映像情報からエンコード処理された映像データをフォーマット処理部３０に出力し、音声コーディック２２は、音声情報からエンコード処理された音声データをフォーマット処理部３０に出力する。操作情報処理部３６は、センサ群３４および操作Ｉ／Ｆ２８の検出値から操作情報を作成してフォーマット処理部３０に出力する。フォーマット処理部３０は、映像データ、音声データ、および操作情報から所定の動画像データを作成して再生記録部３２に出力し、再生記録部３２は、動画像データを記録媒体に書込む。以下では、操作情報処理部３６の動作について詳細に説明する。
【００７１】
記録動作の開始を指示されると、操作情報処理部３６は、カウンタｉを初期値０に設定する（Ｓ５０）。操作情報処理部３６は、操作情報（記録動作の開始直後であれば、記録開始時刻ｔａ＝０のデータｄａ０）を作成する（Ｓ５２）。操作情報処理部３６は、カウンタｉが０を超えているかを判定し（Ｓ５４）、該当する場合には後続するステップＳ５６の処理を行い、該当しない場合にはステップＳ７４の処理に移行してカウンタｉをインクリメントさせる。なお、カウンタｉのインクリメントに際しては、カウンタｉの初期化時点からサンプリング周期Ｔに相当する時間が経過しているものとする。
【００７２】
ステップＳ５４の処理でカウンタｉが０を超えている場合には、操作情報処理部３６は、時刻ｔａ＝ｉ、ｉ−１のデータｄａｉ、ｄａｉ−１からベクトルｖａｉを作成する（Ｓ５６）。そして、操作情報処理部３６は、ベクトルｖａｉを、比較用操作情報の比較ベクトルｖｃ１と比較する（Ｓ５８）。また、ベクトルｖａｉは、比較ベクトルｖｃ１の誤差範囲にあれば、比較ベクトルｖｃ１と一致していると判定される。ここで、操作情報処理部３６は、時刻ｔａ＝ｉ−１のデータｄａｉ−１を先頭とする操作情報のデータ列ｄａｉ−１、ｄａｉ、…が、比較用操作情報のデータ列ｄｃ１、ｄｃ２、…と一致する可能性を有しているかを判定している。
【００７３】
なお、図８に示した比較用操作情報を用いる場合、ベクトルｖａｉと比較ベクトルｖｃ１との間の一致とともに、操作情報のデータｄａｉと比較用操作情報のデータｄｃ０との間の一致も確認される。また、ベクトルｖａｉおよび比較ベクトルｖｃ１は、比較用操作情報に含まれる操作パラメータ（例えば、パン角度、チルト角度等）毎に比較され、全ての操作パラメータ（考慮されないものを除く。）について一致する場合にのみ、一致の可能性を有していると判定される。
【００７４】
そして、操作情報処理部３６は、該当する場合には後続するステップＳ６０の処理を行い、該当しない場合にはステップＳ６２の処理に移行する。ベクトルｖａｉおよび比較ベクトルｖｃ１が一致している場合には、操作情報処理部３６は、操作情報のデータ列ｄａｉ−１、ｄａｉ、…を候補データ列として登録する（Ｓ６０）。ここで、候補データ列に関する情報として、候補データ列の先頭データｄａｉ−１に対応する時刻ｔａ＝ｉ−１、およびベクトルｖａｉと比較ベクトルｖｃ１との間で一致が確認されたことが例えばメモリ等に格納される。
【００７５】
操作情報処理部３６は、時刻ｔａ＝ｉ−１以前のデータｄａｉ−２、ｄａｉ−３、…、ｄａ０を先頭とする候補データ列が登録されているかを判定する（Ｓ６２）。そして、該当する場合には、操作情報処理部３６は、ベクトルｖａｉが、比較ベクトル列ｖｃ１〜ｖｃｍのうち各候補データ列に対応する比較ベクトルｖｃｘと一致しているかを判定する（Ｓ６４）。なお、ベクトルｖａｉは、比較ベクトルｖｃｘの誤差範囲内にあれば、比較ベクトルｖｃｘと一致していると判定される。例えば、カウンタｉ＝５であり、データｄａ２を先頭とする候補データ列ｄａ２、ｄａ３、…が登録されている場合には、比較ベクトルｖｃ３が比較ベクトルｖｃｘに該当し、ベクトルｖａ５が比較ベクトルｖｃ３と一致しているかが判定される。
【００７６】
つまり、各候補データ列は、カウンタｉがインクリメントされる度に、比較ベクトルｖｃ１、ｖｃ２、…、ｖｃｍの順序で比較される。例えば、上記例では、カウンタｉ＝３の時点で、候補データ列ｄａ２、ｄａ３、…が登録され、カウンタｉ＝４の時点でベクトルｖａ４と比較ベクトルｖｃ２が比較され、カウンタｉ＝５の時点でベクトルｖａ５と比較ベクトルｖｃ３が比較される。ここでも、ベクトルｖａｉ、ｖｃｘは、比較用操作情報に含まれる操作パラメータ毎に比較され、全ての操作パラメータについて一致する場合にのみ、一致している判定される。
【００７７】
そして、操作情報処理部３６は、ベクトルｖａｉ、ｖｃｘが一致している場合には、候補データ列に関する情報を更新する（Ｓ６６）。これにより、候補データ列に対応するベクトルｖａのうち比較ベクトル列ｖｃ１〜ｖｃｍとの間で一致が確認された範囲が更新される。例えば、上記例では、候補データ列ｄａ２、ｄａ３、…のベクトル列ｖａ３〜ｖａ５と比較ベクトル列ｖｃ１〜ｖｃ３との間で一致が確認された旨が、候補データ列ｄａ２、ｄａ３、…に関する情報として更新される。一方、操作情報処理部３６は、該当しない場合にはステップＳ６８の処理に移行し、ベクトルｖａｉおよび比較ベクトルｖｃｘが一致していない候補データ列に関する情報を棄却する。
【００７８】
操作情報処理部３６は、各候補データ列について、ベクトル列ｖａ１〜ｖａｉに、比較ベクトル列ｖｃ１〜ｖｃｍが含まれているかを判定する（Ｓ７０）。ここで、候補データ列に関する情報に基づいて、候補データ列に対応するベクトルｖａのうち、比較ベクトルｖｃ１〜ｖｃｍとの間で全て一致が確認されているかが判定される。例えば、上記例では、カウンタｉ＝ｍ＋２の時点で、ベクトルｖａｉと比較ベクトルｖｃｍとの間で一致が確認されていれば、ベクトル列ｖａ０〜ｖａｉに、比較ベクトル列ｖｃ１〜ｖｃｍが含まれていると判定される。
【００７９】
そして、操作情報処理部３６は、比較ベクトル列ｖｃ１〜ｖｃｍが含まれている場合には、該当する候補データ列に関する情報に基づいて、候補データ列に対応する開始時点および終了時点を記録区間情報として、フォーマット処理部３０に出力する（Ｓ７２）。例えば、上記例では、開始時刻ｔａ＝２、終了時刻ｔａ＝ｍ＋２からなる記録区間情報が出力される。
【００８０】
操作情報処理部３６は、ステップＳ７４で、前回のインクリメントの時点からサンプリング周期Ｔに相当する時間が経過していれば、カウンタｉをインクリメントさせる。そして、操作情報処理部３６は、ステップＳ５２の処理に復帰し、データｄａｉを作成し、後続するステップＳ５４〜Ｓ７４の処理を行う。操作情報処理部３６は、制御部１２から記録動作の終了指示または処理の中断指示等を受けるまで、上記ステップＳ５２〜Ｓ７４の処理を継続する。
【００８１】
なお、上記説明では、比較用操作情報が１つのみ設定されている場合について説明したが、比較用操作情報が２つ以上（例えば、比較用操作情報１、２、…等）設定されている場合には、ステップＳ５８〜Ｓ７２の処理が比較用操作情報毎に行われる。また、上記説明では、操作情報のサンプリング周期Ｔと比較用操作情報の設定周期が同一である場合について説明したが、両周期が異なる場合には、タイマー等を用いて両周期が一致するように処理の進行が調整される。
【００８２】
これにより、ユーザは、記録区間情報を参照することで、動画像の記録中に、所望の撮影シーンに対応する動画像の記録区間を特定することができる。よって、動画像の記録後に記録区間の特定処理を行わずとも、所望の撮影シーンに対応する動画像の記録区間を特定することができる。
【００８３】
［３−３．動画像の記録後における記録区間の特定］
図１５は、動画像の記録後に動画像の記録区間を特定する方法のフローを示している。なお、動画像の記録後に動画像の記録区間を特定する方法でも、図１０に示した構成を有する操作情報および比較用操作情報が用いられるものとする。また、本方法は、動画像の記録機能の有無にかかわらず、再生機能を有する情報処理装置により行うことができる。
【００８４】
制御部１２は、操作Ｉ／Ｆ２８を介して動画像の記録区間の特定処理の開始が指示されると、再生記録部３２、フォーマット処理部３０、および操作情報処理部３６に、処理動作の開始を指示する。また、制御部１２は、フォーマット処理部３０により動画像データの終端が読み出されたことを通知されると、再生記録部３２、フォーマット処理部３０、および操作情報処理部３６に、処理動作の停止を指示する。
【００８５】
特定処理の開始を指示されると、再生記録部３２は、記録媒体から読み出される動画像データをフォーマット処理部３０に出力し、フォーマット処理部３０は、動画像データから抽出される操作情報を操作情報処理部３６に出力する。操作情報処理部３６は、操作情報と比較用操作情報との比較に基づいて撮影シーンを特定し、特定された動画像の記録区間を示す記録区間情報をフォーマット処理部３０に出力する。フォーマット処理部３０は、記録区間情報を再生記録部３２に出力し、再生記録部３２は、記録区間情報を記録媒体に書き込む。なお、操作情報処理部３６の動作については、ステップＳ１５２の処理で、操作情報を作成する代わりにフォーマット処理部３０から取得する以外は、図１４に示した動作と同様であるので省略する。
【００８６】
これにより、ユーザは、動画像の記録後に、所望の撮影シーンに対応する動画像の記録区間を特定することができる。よって、動画像の記録時から保持されていた比較用操作情報とともに、動画像の記録時に保持されていなかった比較用操作情報を用いて、所望の撮影シーンに対応する動画像の記録区間を特定することもできる。
【００８７】
［４．まとめ］
以上説明したように、本実施形態に係る情報処理方法によれば、所定の撮影操作を表す比較用操作情報が、実際の撮影操作を表す操作情報と比較され、操作情報のうち比較用操作情報と一致する記録区間が特定される。これにより、特定された記録区間の操作情報と対応付けられる動画像の記録区間が、所定の撮影操作に応じて記録された動画像の記録区間として特定される。よって、ユーザは、所望の撮影シーンを記録するために行われる所定の撮影操作を表す比較用操作情報をビデオカメラ１０に保持させておくことで、所望の撮影シーンに対応する動画像の記録区間を容易に特定することができる。
【００８８】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８９】
例えば、上記説明では、操作情報のデータｖａ０、…、ｖａｉと、比較用操作情報のデータｄｃ０〜ｄｃｍの全ての一致により動画像の記録区間を特定する場合について説明した。しかしながら、比較用操作情報のデータｄｃ０〜ｄｃｍのうち先頭の一部（例えばデータｄｃ０〜ｄｃｍ／２）の一致により動画像の記録開始位置を特定するようにしてもよい。これにより、所望の撮影シーンである可能性が高い撮影シーンに対応する動画像を高速に検索することができる。
【図面の簡単な説明】
【００９０】
【図１】本発明の一実施形態に係るビデオカメラの構成を示すブロック図である。
【図２】操作情報を作成するための検出値について説明する図である。
【図３】本発明の一実施形態の変形例に係るビデオカメラの構成を示すブロック図である。
【図４】ビデオカメラと被写体との位置関係を示す図である。
【図５】パン角度およびチルト角度からなる操作情報を示す図である。
【図６】パン角度およびチルト角度からなる比較用操作情報を示す図である。
【図７】図５に示した操作情報と図６に示した比較用操作情報との比較結果を示す図である。
【図８】パン角度からなる比較用操作情報の変形例を示す図である。
【図９】比較用操作情報のデータ構成を示す図である。
【図１０】操作情報および比較用操作情報の構成を模式的に示す図である。
【図１１Ａ】動画像の記録中に比較用操作情報を作成する方法を示すフロー図である。
【図１１Ｂ】動画像の記録中に比較用操作情報を作成する方法を示すフロー図である。
【図１２】動画像の記録中に比較用操作情報を作成する方法を説明するための図である。
【図１３】動画像の記録中に比較用操作情報を作成する方法を説明するための図である。
【図１４】動画像の記録中に動画像の記録区間を特定する方法を示すフロー図である。
【図１５】動画像の記録後に動画像の記録区間を特定する方法を示すフロー図である。
【符号の説明】
【００９１】
１０、６０    ビデオカメラ
３６    操作情報処理部
３８    比較用操作情報保持部
４０    センサ群
【図１】
2010166256.tif 000003
【図２】
2010166256.tif 000004
【図３】
2010166256.tif 000005
【図４】
2010166256.tif 000006
【図５】
2010166256.tif 000007
【図６】
2010166256.tif 000008
【図７】
2010166256.tif 000009
【図８】
2010166256.tif 000010
【図９】
2010166256.tif 000011
【図１０】
2010166256.tif 000012
【図１１Ａ】
2010166256.tif 000013
【図１１Ｂ】
2010166256.tif 000014
【図１２】
2010166256.tif 000015
【図１３】
2010166256.tif 000016
【図１４】
2010166256.tif 000017
【図１５】
2010166256.tif 000018