(57)【要約】【課題】高速に移動している場合であっても、撮像した画像の画像データや収音した音声の音声データの適切な位置にマークを付して記録したり、記録したそれらのデータを目的とする位置から再生したりできるようにする。【解決手段】撮像部２からの画像データと録音部４からの音声データとの一方または両方が記録媒体７に記録される場合において、入力部１１を通じて「しおり」を付加することの指示入力を受け付けた場合に、制御部１２は、移動速度検出部１０により検出される移動速度を考慮して、注目点の指示入力の受付時点よりも前（過去）に取得した画像データと音声データとの一方または両方に注目マークを設定し、注目する画像や音声を確実に利用できるようにする。【選択図】図１
2005303915.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像を撮像して画像データを生成する撮像手段からの画像データと、音声を収音して音声データを生成する収音手段からの音声データとの一方または両方を記録媒体に記録する情報記録装置であって、
操作者からの注目点の指示入力を受け付ける受付手段と、
自機の空間移動速度を検出する移動速度検出手段と、
前記受付手段を通じて前記指示入力を受け付けた場合に、前記移動速度検出手段により検出される前記空間移動速度に基づいて、当該指示入力を受け付けた時点よりも以前に、前記撮像手段を通じて取得した前記画像データと、前記収音手段を通じて取得した前記音声データとの一方あるいは両方に、注目点を示す注目マークを設定するマーク設定手段と
を備えることを特徴とする情報記録装置。
【請求項２】
請求項１に記載の情報記録装置であって、
前記受付手段を通じて前記注目点の指示入力を受け付けた場合に、前記撮像手段が当該受付時点から過去に生成した複数フレーム分の画像データを用いて、注目被写体の変位を検出する検出手段と、
前記検出手段からの検出結果に基づいて、前記注目被写体と自機との間の相対速度を算出する算出手段と
を備え、
前記マーク設定手段は、前記算出手段で算出された前記相対速度をも考慮して、前記注目マークを設定することを特徴とする情報記録装置。
【請求項３】
被写体の画像を撮像して画像データを生成する撮像手段からの画像データと、音声を収音して音声データを生成する収音手段からの音声データとの一方または両方を記録媒体に記録する情報記録装置であって、
操作者からの注目点の指示入力を受け付ける受付手段と、
前記受付手段を通じて前記注目点の指示入力を受け付けた場合に、前記撮像手段が当該受付時点から過去に生成した複数フレーム分の画像データを用いて、注目被写体の変位を検出する検出手段と、
前記検出手段からの検出結果に基づいて、前記注目被写体と自機との間の相対速度を算出する算出手段と、
前記算出手段により検出される前記相対速度に基づいて、前記指示入力を受け付けた時点よりも以前に、前記撮像手段を通じて取得した前記画像データと、前記収音手段を通じて取得した前記音声データとの一方あるいは両方に、注目点を示す注目マークを設定するマーク設定手段と
を備えることを特徴とする情報記録装置。
【請求項４】
被写体の画像を撮像して画像データを生成する撮像手段からの画像データと、音声を収音して音声データを生成する収音手段からの音声データとの一方または両方を記録媒体に記録する情報記録装置であって、
操作者からの注目点の指示入力を受け付ける受付手段と、
自機の空間移動速度を検出する移動速度検出手段と、
前記受付手段を通じて前記指示入力を受け付けた場合に、前記指示入力を受け付けた時点において、前記撮像手段を通じて取得した前記画像データと、前記収音手段を通じて取得した前記音声データとの一方あるいは両方に対して、注目点を示す注目マークと前記移動速度検出手段により検出された前記空間移動速度とを付加する情報付加手段と
を備えることを特徴とする情報記録装置。
【請求項５】
請求項４に記載の情報記録装置であって、
前記情報付加手段により、前記画像データと前記音声データとの一方あるいは両方に対して付加した前記注目マークの付加位置を、前記注目マークとともに付加した前記空間移動速度に基づいて調整する調整手段を備えることを特徴とする情報記録装置。
【請求項６】
請求項４に記載の情報記録装置であって、
前記記録媒体に記録された前記画像データと前記音声データとの一方あるいは両方を読み出して再生する再生処理手段と、
前記記録媒体に記録された前記画像データと音声データとの一方あるいは両方について、  前記注目マークが付加された目的とする位置からの再生の指示入力を受け付ける再生指示受付手段と、
前記再生指示受付手段を通じて、前記再生の指示入力を受け付けた場合に、指示された前記注目マークに対応する前記空間移動速度に基づいて、前記注目マークが付加された位置よりも時間的に前の位置から前記画像データと音声データとの一方または両方を再生するように、前記再生処理手段を制御する再生制御手段と
を備えることを特徴とする情報記録装置。
【請求項７】
請求項４、請求項５または請求項６に記載の情報記録装置であって、
前記受付手段を通じて前記注目点の指示入力を受け付けた場合に、前記撮像手段が当該受付時点から過去に生成した複数フレーム分の画像データを用いて、注目被写体の変位を検出する検出手段と、
前記検出手段からの検出結果に基づいて、前記注目被写体と自機との間の相対速度を算出する算出手段と
を備え、
前記情報付加手段は、前記注目マークと前記空間移動速度とに加えて、前記算出手段により算出した前記相対速度をも、前記画像データと音声データとの一方あるいは両方に付加することを特徴とする情報記録装置。
【請求項８】
被写体の画像を撮像して画像データを生成する撮像手段からの画像データと、音声を収音して音声データを生成する収音手段からの音声データとの一方または両方を記録媒体に記録する情報記録装置であって、
操作者からの注目点の指示入力を受け付ける受付手段と、
前記受付手段を通じて前記注目点の指示入力を受け付けた場合に、前記撮像手段が当該受付時点から過去に生成した複数フレーム分の画像データを用いて、注目被写体の変位を検出する検出手段と、
前記検出手段からの検出結果に基づいて、前記注目被写体と自機との間の相対速度を算出する算出手段と、
前記指示入力を受け付けた時点において、前記撮像手段を通じて取得した前記画像データと、前記収音手段を通じて取得した前記音声データとの一方あるいは両方に対して、注目点を示す注目マークと前記算出手段により算出された前記相対速度とを付加する情報付加手段と
を備えることを特徴とする情報記録装置。
【請求項９】
請求項８に記載の情報記録装置であって、
前記情報付加手段により、前記画像データと前記音声データとの一方あるいは両方に対して付加した前記注目マークの付加位置を、前記注目マークとともに付加した前記相対速度に基づいて調整する調整手段を備えることを特徴とする情報記録装置。
【請求項１０】
請求項８に記載の情報記録装置であって、
前記記録媒体に記録された前記画像データと前記音声データとの一方あるいは両方を読み出して再生する再生処理手段と、
前記記録媒体に記録された前記画像データと音声データとの一方あるいは両方について、  前記注目マークが付加された目的とする位置からの再生の指示入力を受け付ける再生指示受付手段と、
前記再生指示受付手段を通じて、前記再生の指示入力を受け付けた場合に、指示された前記注目マークに対応する前記相対速度に基づいて、前記注目マークが付加された位置よりも時間的に前の位置から前記画像データと音声データとの一方または両方を再生するように、前記再生処理手段を制御する再生制御手段と
を備えることを特徴とする情報記録装置。
【請求項１１】
請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８、請求項９または請求項１０に記載の情報記録装置であって、
前記受付手段は、ユーザーからの生体情報の供給を受けて、当該生体情報の所定の変化を前記注目点の指示入力として受け付けることを特徴とする情報記録装置。
【請求項１２】
被写体の画像を撮像して画像データを生成する撮像手段からの画像データと、音声を収音して音声データを生成する収音手段からの音声データとの一方または両方を記録媒体に記録して利用できるようにする情報処理方法であって、
操作者からの注目点の指示入力を受け付ける受付ステップと、
自機の空間移動速度を検出する移動速度検出ステップと、
前記受付ステップにおいて、前記指示入力を受け付けた場合に、前記移動速度検出ステップにおいて検出した前記空間移動速度に基づいて、当該指示入力を受け付けた時点よりも以前に、前記撮像手段を通じて取得した前記画像データと、前記収音手段を通じて取得した前記音声データとの一方あるいは両方に、注目点を示す注目マークを設定するマーク設定ステップと
を有することを特徴とする情報処理方法
【請求項１３】
請求項１２に記載の情報処理方法であって、
前記受付ステップを通じて前記注目点の指示入力を受け付けた場合に、前記撮像手段が当該受付時点から過去に生成した複数フレーム分の画像データを用いて、注目被写体の変位を検出する検出ステップと、
前記検出ステップにおいての検出結果に基づいて、前記注目被写体と自機との間の相対速度を算出する算出ステップと
を有し、
前記マーク設定ステップにおいては、前記算出ステップにおいて算出した前記相対速度をも考慮して、前記注目マークを設定することを特徴とする情報処理方法。
【請求項１４】
被写体の画像を撮像して画像データを生成する撮像手段からの画像データと、音声を収音して音声データを生成する収音手段からの音声データとの一方または両方を記録媒体に記録して利用できるようにする情報処理方法であって、
操作者からの注目点の指示入力を受け付ける受付ステップと、
前記受付ステップにおいて前記注目点の指示入力を受け付けた場合に、前記撮像手段が当該受付時点から過去に生成した複数フレーム分の画像データを用いて、注目被写体の変位を検出する検出ステップと、
前記検出ステップにおいての検出結果に基づいて、前記注目被写体と自機との間の相対速度を算出する算出ステップと、
前記算出ステップにおいて算出される前記相対速度に基づいて、前記指示入力を受け付けた時点よりも以前に、前記撮像手段を通じて取得した前記画像データと、前記収音手段を通じて取得した前記音声データとの一方あるいは両方に、注目点を示す注目マークを設定するマーク設定ステップと
を有することを特徴とする情報記録方法。
【請求項１５】
被写体の画像を撮像して画像データを生成する撮像手段からの画像データと、音声を収音して音声データを生成する収音手段からの音声データとの一方または両方を記録媒体に記録して利用できるようにする情報処理方法であって、
操作者からの注目点の指示入力を受け付ける受付ステップと、
自機の空間移動速度を検出する移動速度検出ステップと、
前記受付ステップにおいて、前記指示入力を受け付けた場合に、前記指示入力を受け付けた時点において、前記撮像手段を通じて取得した前記画像データと、前記収音手段を通じて取得した前記音声データとの一方あるいは両方に対して、注目点を示す注目マークと前記移動速度検出ステップにおいて検出した前記空間移動速度とを付加する情報付加ステップと
を有することを特徴とする情報処理方法。
【請求項１６】
請求項１５に記載の情報処理方法であって、
前記情報付加ステップにおいて、前記画像データと前記音声データとの一方あるいは両方に対して付加した前記注目マークの付加位置を、前記注目マークとともに付加した前記空間移動速度に基づいて調整する調整ステップを有することを特徴とする情報処理方法。
【請求項１７】
請求項１５に記載の情報処理方法であって、
前記記録媒体に記録された前記画像データと音声データとの一方あるいは両方について、  前記注目マークが付加された目的とする位置からの再生の指示入力を受け付ける再生指示受付ステップと、
前記再生指示受付ステップにおいて、前記再生の指示入力を受け付けた場合に、指示された前記注目マークに対応する前記空間移動速度に基づいて、前記注目マークが付加された位置よりも時間的に前の位置から前記画像データと音声データとの一方または両方を再生するように制御する再生制御ステップと
を有することを特徴とする情報処理方法。
【請求項１８】
請求項１５、請求項１６または請求項１７に記載の情報処理方法であって、
前記受付ステップにおいて、前記注目点の指示入力を受け付けた場合に、前記撮像手段が当該受付時点から過去に生成した複数フレーム分の画像データを用いて、注目被写体の変位を検出する検出ステップと、
前記検出ステップにおいての検出結果に基づいて、前記注目被写体と自機との間の相対速度を算出する算出ステップと
を有し、
前記情報付加ステップにおいては、前記注目マークと前記空間移動速度とに加えて、前記算出ステップにおいて算出した前記相対速度をも、前記画像データと音声データとの一方あるいは両方に付加することを特徴とする情報処理方法。
【請求項１９】
被写体の画像を撮像して画像データを生成する撮像手段からの画像データと、音声を収音して音声データを生成する収音手段からの音声データとの一方または両方を記録媒体に記録して利用できるようにする情報処理方法であって、
操作者からの注目点の指示入力を受け付ける受付ステップと、
前記受付ステップにおいて前記注目点の指示入力を受け付けた場合に、前記撮像手段が当該受付時点から過去に生成した複数フレーム分の画像データを用いて、注目被写体の変位を検出する検出ステップと、
前記検出ステップにおいて検出した検出結果に基づいて、前記注目被写体と自機との間の相対速度を算出する算出ステップと、
前記指示入力を受け付けた時点において、前記撮像手段を通じて取得した前記画像データと、前記収音手段を通じて取得した前記音声データとの一方あるいは両方に対して、注目点を示す注目マークと前記算出ステップにおいて算出した前記相対速度とを付加する情報付加ステップと
を有することを特徴とする情報記録方法。
【請求項２０】
請求項１９に記載の情報記録方法であって、
前記情報付加ステップにおいては、前記画像データと前記音声データとの一方あるいは両方に対して付加した前記注目マークの付加位置を、前記注目マークとともに付加した前記相対速度に基づいて調整する調整ステップを有することを特徴とする情報記録方法。
【請求項２１】
請求項１９に記載の情報記録方法であって、
前記記録媒体に記録された前記画像データと前記音声データとの一方あるいは両方を読み出して再生する再生処理ステップと、
前記記録媒体に記録された前記画像データと音声データとの一方あるいは両方について、  前記注目マークが付加された目的とする位置からの再生の指示入力を受け付ける再生指示受付ステップと、
前記再生指示受付ステップにおいて、前記再生の指示入力を受け付けた場合に、指示された前記注目マークに対応する前記相対速度に基づいて、前記注目マークが付加された位置よりも時間的に前の位置から前記画像データと音声データとの一方または両方を再生するように制御する再生制御ステップと
を有することを特徴とする情報記録方法。
【請求項２２】
請求項１２、請求項１３、請求項１４、請求項１５、請求項１６、請求項１７、請求項１８、請求項１９、請求項２０または請求項２１に記載の情報処理方法であって、
前記受付ステップにおいては、ユーザーからの生体情報の供給を受けて、当該生体情報の所定の変化を前記注目点の指示入力として受け付けることを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、画像データや音声データ等のデータを長時間記録する場合に、利用しやすい態様でデータを記録媒体に記録する装置及び方法に関する。
【背景技術】
【０００２】
画像や音声を長時間記録する装置には、例えば、監視システムや画像観測システムなどの監視や観測を目的とするものがある。このようなシステムにおいては、長時間記録される例えば画像データなどの有効利用を図るため、監視者などがいわゆる「しおり」などと呼ばれるマークを画像データ等の記録されるデータに対して付加（設定）することができるようにしたものがある。
【０００３】
例えば、後に記す特許文献１には、監視システムの入力装置から入力を行うことにより、監視カメラにより撮像し記録媒体に記録する画像データに対して、いわゆる「しおり」を付すことができるようにし、この「しおり」を利用することにより、目的とするシーンの画像を迅速に検索できるようにする技術が説明されている。
【０００４】
この特許文献１に記載の技術の場合、一般に、画像を撮像する監視カメラは予め決められた位置に固定的に設置される。また、注目する被写体は例えば侵入者などの人間であり、その移動速度は比較的に遅い。このため、監視カメラからの画像をモニター表示装置を通じて監視している場合に、侵入者などの異常を認識して、記録するようにしている監視カメラからの画像データに対して「しおり」を付す操作を行うと、目的とする被写体を含む画像を形成する画像データに対して「しおり」（マーク）を付すことができるようにされている。
【０００５】
そして、この画像データに付すようにした「しおり」を用いることにより、長時間記録される画像データのうちの目的とする被写体の画像を含む画像の位置に再生位置を簡単かつ迅速に位置付けて、目的とする被写体の画像を含む画像を迅速に再生して見ることができるようにされる。
【特許文献１】特開２０００−２５０９２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、情報圧縮技術の向上や、記録媒体の高集積化あるいは高密度化、更には、記録装置の小型化、低価格化が進んだことなどにより、個人においても高画質な画像を長時間記録することが可能になってきている。これにより、個人ユーザーが、種々の目的で、ビデオカメラなどの撮像装置を身につけるなどして常時持ち歩き、長時間に渡って画像や音声を収録して記録媒体に記録することも行われるようになると考えられる。
【０００７】
しかしながら、例えば、高スピードで走行中の自動車や電車から窓の外の景色を撮影している場合などにおいては、上述した特許文献１に記載の技術と異なり、興味のあるもの（目的とする被写体などの記録対象）が見えたために、撮影して記録媒体に記録する画像データに対して「しおり」を付すようにする操作を行っても、移動速度が高速であるために、「しおり」が付される画像データは、興味のあるものの画像を含むものではなく、興味のあるものの画像が含まれていた画像よりも時間的に後の画像を形成する画像データに対して「しおり」が付加されてしまう場合があると考えられる。
【０００８】
さらに詳しく言えば、例えば、走行中の自動車内から外の景色を撮影する場合、撮影者が注目して「しおり」を付すようにしようという意識のきっかけとなった記録対象（注目した被写体など）と、走行中の自動車内の撮像装置との相対速度が速い場合には、一定時間に撮影者の視界に入る物の量が多くなるため、撮影者が興味を持つものや感じたものを認識することが遅くなってしまう。
【０００９】
そのため、撮影者が注目する記録対象を捕らえて、その記録対象を含む画像の画像データに対して「しおり」の設定を行いたいことを認識して、反応し、目的とする記録対象を含む画像データに「しおり」を付加する操作を行うようにしても、「しおり」を付加する操作が遅れる。そして、上述もしたように、注目する被写体などの記録体操に対して撮像装置自体が高速で移動していることが相俟って、撮影者の視界、または、用いている撮像装置の記録範囲より、撮影者が注目した記録対象が消えてしまい、撮影者が意図する「しおり」位置よりも時間軸において後方（未来）のデータに対して「しおり」が設定されてしまうことが多くなる。
【００１０】
このように、高スピードで移動している状態で画像を撮像して利用する場合には、目的とする記録対象を含む画像の画像データに対して適切に「しおり」を設定することができないという問題が発生する。このような問題は、例え撮像装置が移動していなくても、注目する被写体などの記録対象が高速に移動している場合にも同じように発生し、また、撮像装置と記録対象との双方が移動している場合にも発生する。
【００１１】
そして、この場合、目的とするシーンの画像データに対して「しおり」を正確に設定することができない場合には、付された「しおり」の位置に再生位置を位置付けた後に、早戻しや早送りなどの操作を適宜行って、目的とする記録対象の画像を含む画像の位置に再生位置を位置付け直すというマニュアル操作が必要になり、面倒であるし、目的とする記録対象を含む画像を見ることができるようになるまでに時間がかかる場合も発生すると考えられる。
【００１２】
この発明は、以上のことにかんがみ、高速に移動している場合であっても、撮像した画像の画像データや収音した音声の音声データの適切な位置にマークを付して記録したり、記録したそれらのデータを目的とする位置から再生したりできるようにする装置、方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するため、請求項１に記載の発明の情報記録装置は、
被写体の画像を撮像して画像データを生成する撮像手段からの画像データと、音声を収音して音声データを生成する収音手段からの音声データとの一方または両方を記録媒体に記録する情報記録装置であって、
操作者からの注目点の指示入力を受け付ける受付手段と、
自機の空間移動速度を検出する移動速度検出手段と、
前記受付手段を通じて前記指示入力を受け付けた場合に、前記移動速度検出手段により検出される前記空間移動速度に基づいて、当該指示入力を受け付けた時点よりも以前に、前記撮像手段を通じて取得した前記画像データと、前記収音手段を通じて取得した前記音声データとの一方あるいは両方に、注目点を示す注目マークを設定するマーク設定手段と
を備えることを特徴とする。
【００１４】
この請求項１に記載の発明の情報記録装置によれば、撮像手段からの画像データと収音手段からの音声データとの一方または両方が記録媒体に記録される場合において、受付手段を通じて注目点の指示入力が受け付けられると、マーク設定手段によって、移動速度検出手段により検出される空間移動速度が考慮されて、注目点の指示入力の受付時点よりも時間的に前（過去）に取得した画像データと音声データとの一方または両方に注目マークが設定するようにされ、この注目マークが示す位置に例えば再生位置を位置付けて、再生を行うなどのことができるようにされる。
【００１５】
これにより、撮像手段や収音手段が高速に移動している場合であっても、目的とする被写体を含むフレームの画像データや目的とする音声を含む音声データに対して、注目マークを設定し、これを利用することにより、記録媒体に大量に記録した画像データや音声データの中から、自分が注目すべきであると意識した画像や音声を含む画像データや音声データを確実にしかも簡単に見つけ出して利用することができるようにされる。
【００１６】
すなわち、撮像手段や収音手段が高速に移動している場合に、注目する被写体や注目する音声などの記録対象に気が付くのに遅れたり、また、注目点の指示入力が遅れたりした場合であっても、記録対象を含む画像データや音声データに対して注目マークを設定し、これを利用して、長時間に渡って記録された画像データや音声データから、目的とする記録対象を含む画像データや音声データに再生位置を位置付けて、目的とする記録対象を含む画像や音声を迅速に探し出すことができるようにされる。
【００１７】
また、請求項２に記載の発明の情報記録装置は、請求項１に記載の情報記録装置であって、
前記受付手段を通じて前記注目点の指示入力を受け付けた場合に、前記撮像手段が当該受付時点から過去に生成した複数フレーム分の画像データを用いて、注目被写体の変位を検出する検出手段と、
前記検出手段からの検出結果に基づいて、前記注目被写体と自機との間の相対速度を算出する算出手段と
を備え、
前記マーク設定手段は、前記算出手段で算出された前記相対速度をも考慮して、前記注目マークを設定することを特徴とする。
【００１８】
この請求項２に記載の情報記録装置によれば、例えば、撮像手段からの画像データを記録するようにしている場合に、受付手段を通じて注目点の指示入力が受け付けられると、撮像手段から提供された過去数フレームの画像データ（過去に取得した複数フレーム分の画像データ）を用いて、変位検出手段により、各フレームの画像に含まれる注目被写体（注目する被写体）の変位（変位量）が検出され、この検出された変位に基づいて、算出手段により、注目被写体と自機との間の相対速度が算出される。この算出手段により算出された相対速度も考慮されて、マーク設定手段により、受付手段を通じて注目点の指示入力を受け付けた時点よりも時間的に前（過去）に取得した画像データや音声データに対して注目マークが設定される。
【００１９】
これにより、注目被写体（記録対象物）が移動している場合であっても、その注目被写体と自機との間の相対速度をも考慮することによって、注目被写体自身の移動速度をも考慮して、注目マークを記録対象の画像データや音声データに対して設定することができるようにされる。したがって、より正確の注目マークを記録対象の画像データや音声データに対して記録することができるようにされる。
【００２０】
また、請求項３に記載の発明の情報記録装置は、
被写体の画像を撮像して画像データを生成する撮像手段からの画像データと、音声を収音して音声データを生成する収音手段からの音声データとの一方または両方を記録媒体に記録する情報記録装置であって、
操作者からの注目点の指示入力を受け付ける受付手段と、
前記受付手段を通じて前記注目点の指示入力を受け付けた場合に、前記撮像手段が当該受付時点から過去に生成した複数フレーム分の画像データを用いて、注目被写体の変位を検出する検出手段と、
前記検出手段からの検出結果に基づいて、前記注目被写体と自機との間の相対速度を算出する算出手段と、
前記算出手段により検出される前記相対速度に基づいて、前記指示入力を受け付けた時点よりも以前に、前記撮像手段を通じて取得した前記画像データと、前記収音手段を通じて取得した前記音声データとの一方あるいは両方に、注目点を示す注目マークを設定するマーク設定手段と
を備えることを特徴とする。
【００２１】
この請求項３に記載の発明の情報記録装置によれば、撮像手段からの画像データと収音手段からの音声データとの一方または両方が記録媒体に記録される場合において、受付手段を通じて注目点の指示入力が受け付けられると、マーク設定手段によって、検出手段により検出される記録対象となっている注目被写体の変位に基づいて、算出手段により算出される相対速度が考慮されて、注目点の指示入力の受付時点よりも時間的に前（過去）に取得した画像データと音声データとの一方または両方に注目マークが設定するようにされ、この注目マークが示す位置に例えば再生位置を位置付けて、再生を行うなどのことができるようにされる。
【００２２】
これにより、撮像手段や収音手段が高速に移動している場合であっても、目的とする被写体を含むフレームの画像データや目的とする音声を含む音声データに対して、注目マークを設定し、これを利用することにより、記録媒体に大量に記録した画像データや音声データの中から、自分が注目すべきであると意識した画像や音声を含む画像データや音声データを確実にしかも簡単に見つけ出して利用することができるようにされる。
【００２３】
すなわち、撮像手段や収音手段が高速に移動している場合に、注目する被写体や注目する音声などの記録対象に気が付くのに遅れたり、また、注目点の指示入力が遅れたりした場合であっても、記録対象を含む画像データや音声データに対して注目マークを設定し、これを利用して、長時間に渡って記録された画像データや音声データから、目的とする記録対象を含む画像データや音声データに再生位置を位置付けて、目的とする記録対象を含む画像や音声を迅速に探し出すことができるようにされる。
【００２４】
また、請求項４に記載の発明の情報記録装置は、
被写体の画像を撮像して画像データを生成する撮像手段からの画像データと、音声を収音して音声データを生成する収音手段からの音声データとの一方または両方を記録媒体に記録する情報記録装置であって、
操作者からの注目点の指示入力を受け付ける受付手段と、
自機の空間移動速度を検出する移動速度検出手段と、
前記受付手段を通じて前記指示入力を受け付けた場合に、前記指示入力を受け付けた時点において、前記撮像手段を通じて取得した前記画像データと、前記収音手段を通じて取得した前記音声データとの一方あるいは両方に対して、注目点を示す注目マークと前記移動速度検出手段により検出された前記空間移動速度とを付加する情報付加手段と
を備えることを特徴とする。
【００２５】
この請求項４に記載の発明の情報記録装置によれば、撮像手段からの画像データと収音手段からの音声データとの一方または両方が記録媒体に記録される場合において、受付手段を通じて注目点の指示入力が受け付けられると、その指示入力を受け付けた時点において取得した画像データと音声データとの一方または両方に対して、注目マークと、移動速度検出手段により検出される空間移動速度とが、情報付加手段により付加される。
【００２６】
これにより、記録終了後の適宜の時、例えば、再生処理を行う直前などにおいて、記録された画像データや音声データに対して付加された注目マークの付加位置を、当該注目マークに対応する空間移動速度に基づいて調整することができるようにした画像情報や音声情報を記録した記録媒体を作成することができるようにされる。
【００２７】
また、請求項５に記載の情報記録装置は、請求項４に記載の情報記録装置であって、
前記情報付加手段により、前記画像データと前記音声データとの一方あるいは両方に対して付加した前記注目マークの付加位置を、前記注目マークとともに付加した前記空間移動速度に基づいて調整する調整手段を備えることを特徴とする。
【００２８】
この請求項５に記載の情報記録装置によれば、記録媒体に記録された画像データや音声データに対して付加されている注目マークの付加位置が、各注目マークに対応して付加されている空間移動速度に基づいて、最初に注目マークが付加された位置よりも時間的に前（過去）の位置に付け変えることができるようにされる。
【００２９】
これにより、撮像手段や収音手段が高速に移動している場合であっても、再生時までに目的とする被写体を含むフレームの画像データや目的とする音声を含む音声データに対して、注目マークを付け変えることができるようにされる。
【００３０】
したがって、撮像手段や収音手段が高速に移動している場合に、注目する被写体や注目する音声などの記録対象に気が付くのに遅れたり、また、注目点の指示入力が遅れたりした場合であっても、再生時までに記録対象を含む画像データや音声データに対して注目マークを付け直し、これを利用して、長時間に渡って記録された画像データや音声データから、目的とする記録対象を含む画像データや音声データに再生位置を位置付けて、目的とする記録対象を含む画像や音声を迅速に再生することができるようにされる。
【００３１】
また、請求項６に記載の発明の情報記録装置は、請求項４に記載の情報記録装置であって、
前記記録媒体に記録された前記画像データと前記音声データとの一方あるいは両方を読み出して再生する再生処理手段と、
前記記録媒体に記録された前記画像データと音声データとの一方あるいは両方について、  前記注目マークが付加された目的とする位置からの再生の指示入力を受け付ける再生指示受付手段と、
前記再生指示受付手段を通じて、前記再生の指示入力を受け付けた場合に、指示された前記注目マークに対応する前記空間移動速度に基づいて、前記注目マークが付加された位置よりも時間的に前の位置から前記画像データと音声データとの一方または両方を再生するように、前記再生処理手段を制御する再生制御手段と
を備えることを特徴とする。
【００３２】
この請求項６に記載の情報記録装置によれば、再生処理手段を備え、記録再生装置として機能するようにされ、再生指示手段を通じて、注目マークが付加された位置からの再生が指示された場合に、再生制御手段により、指示された注目マークに対応して付加されている空間移動速度を用いて、注目マークが付加された位置よりも過去の位置から画像データや音声データの再生を行うことができるようにされる。
【００３３】
これにより、撮像手段や収音手段が移動するようにされている場合に取得され記録された画像データであって、かつ、ユーザーによって、注目マークが付加された画像データや音声データであっても、注目被写体などの記録対象の画像、あるいは、記録対象の音声を含む位置から再生することができるようにされる。したがって、注目被写体に気がつくのが遅れたり、注目点の指示入力の操作が遅れたりした場合であっても、再生時において、本来、注目マークが付加されるべき位置の画像データや音声データから再生を行うようにすることができるようにされる。
【００３４】
また、請求項７に記載の発明の情報記録装置は、請求項４、請求項５または請求項６に記載の情報記録装置であって、
前記撮像手段からの画像データを記録している場合であって、前記受付手段を通じて前記注目点の指示入力を受け付けた場合に、前記撮像手段が当該受付時点から過去に生成した複数フレーム分の画像データを用いて、注目被写体の変位を検出する検出手段と、
前記検出手段からの検出結果に基づいて、前記注目被写体と自機との間の相対速度を算出する算出手段と
を備え、
前記情報付加手段は、前記注目マークと前記空間移動速度とに加えて、前記算出手段により算出した前記相対速度をも、前記画像データと音声データとの一方あるいは両方に付加することを特徴とする。
【００３５】
この請求項７に記載の発明の情報記録装置によれば、例えば、撮像手段からの画像データを記録するようにしている場合に、受付手段を通じて注目点の指示入力が受け付けられると、撮像手段から提供された過去に複数フレーム分の画像データを用いて、変位検出手段により、各フレームの画像に含まれる注目被写体（注目する被写体）の変位（変位量）が検出され、この検出された変位に基づいて、算出手段により、注目被写体と自機との間の相対速度が算出される。この算出手段により算出された相対速度も、注目マーク、自機の空間移動速度に加えて、情報付加手段により記録対象の画像データや音声データの一方または両方に付加される。
【００３６】
これにより、再生が指示される前の適宜のタイミングにおいて、記録媒体に記録された画像データに対して付加されている注目マークの付加位置を変更するようにしたり、また、再生時において、注目マークが付加されている位置と、空間移動速度と、相対速度とに対して、再生位置を調整したりすることができるようにされる。
【００３７】
また、請求項８に記載の発明の情報記録装置は、
被写体の画像を撮像して画像データを生成する撮像手段からの画像データと、音声を収音して音声データを生成する収音手段からの音声データとの一方または両方を記録媒体に記録する情報記録装置であって、
操作者からの注目点の指示入力を受け付ける受付手段と、
前記受付手段を通じて前記注目点の指示入力を受け付けた場合に、前記撮像手段が当該受付時点から過去に生成した複数フレーム分の画像データを用いて、注目被写体の変位を検出する検出手段と、
前記検出手段からの検出結果に基づいて、前記注目被写体と自機との間の相対速度を算出する算出手段と、
前記指示入力を受け付けた時点において、前記撮像手段を通じて取得した前記画像データと、前記収音手段を通じて取得した前記音声データとの一方あるいは両方に対して、注目点を示す注目マークと前記算出手段により算出された前記相対速度とを付加する情報付加手段と
を備えることを特徴とする。
【００３８】
この請求項８に記載の発明の情報記録装置によれば、撮像手段からの画像データと収音手段からの音声データとの一方または両方が記録媒体に記録される場合において、受付手段を通じて注目点の指示入力が受け付けられると、その指示入力を受け付けた時点において取得した画像データと音声データとの一方または両方に対して、注目マークと、相対移動速度とが、情報付加手段により付加される。ここで相対速度は、検出手段により検出される注目被写体の変位に応じて、算出手段により算出されるものである。
【００３９】
これにより、記録終了後の適宜の時、例えば、再生処理を行う直前などにおいて、記録された画像データや音声データに対して付加された注目マークの付加位置を、当該注目マークに対応する相対速度に基づいて調整することができるようにした画像情報や音声情報を記録した記録媒体を作成することができるようにされる。
【００４０】
また、請求項９に記載の発明の情報処理装置は、請求項８に記載の情報記録装置であって、
前記情報付加手段により、前記画像データと前記音声データとの一方あるいは両方に対して付加した前記注目マークの付加位置を、前記注目マークとともに付加した前記相対速度に基づいて調整する調整手段を備えることを特徴とする。
【００４１】
この請求項９に記載の情報記録装置によれば、記録媒体に記録された画像データや音声データに対して付加されている注目マークの付加位置が、各注目マークに対応して付加されている相対速度に基づいて、最初に注目マークが付加された位置よりも時間的に前（過去）の位置に付け変えることができるようにされる。
【００４２】
これにより、撮像手段や収音手段が高速に移動している場合であっても、再生時までに目的とする被写体を含むフレームの画像データや目的とする音声を含む音声データに対して、注目マークを付け変えることができるようにされる。
【００４３】
したがって、撮像手段や収音手段が高速に移動している場合に、注目する被写体や注目する音声などの記録対象に気が付くのに遅れたり、また、注目点の指示入力が遅れたりした場合であっても、再生時までに記録対象を含む画像データや音声データに対して注目マークを付け直し、これを利用して、長時間に渡って記録された画像データや音声データから、目的とする記録対象を含む画像データや音声データに再生位置を位置付けて、目的とする記録対象を含む画像や音声を迅速に再生することができるようにされる。
【００４４】
また、請求項１０に記載の発明の情報記録装置は、請求項８に記載の情報記録装置であって、
前記記録媒体に記録された前記画像データと前記音声データとの一方あるいは両方を読み出して再生する再生処理手段と、
前記記録媒体に記録された前記画像データと音声データとの一方あるいは両方について、  前記注目マークが付加された目的とする位置からの再生の指示入力を受け付ける再生指示受付手段と、
前記再生指示受付手段を通じて、前記再生の指示入力を受け付けた場合に、指示された前記注目マークに対応する前記相対速度に基づいて、前記注目マークが付加された位置よりも時間的に前の位置から前記画像データと音声データとの一方または両方を再生するように、前記再生処理手段を制御する再生制御手段と
を備えることを特徴とする。
【００４５】
この請求項１０に記載の発明の情報記録装置によれば、再生処理手段を備え、記録再生装置として機能するようにされ、再生指示手段を通じて、注目マークが付加された位置からの再生が指示された場合に、再生制御手段により、指示された注目マークに対応して付加されている相対速度を用いて、注目マークが付加された位置よりも過去の位置から画像データや音声データの再生を行うことができるようにされる。
【００４６】
これにより、撮像手段や収音手段が移動するようにされている場合に取得され記録された画像データであって、かつ、ユーザーによって、注目マークが付加された画像データや音声データであっても、注目被写体などの記録対象の画像、あるいは、記録対象の音声を含む位置から再生することができるようにされる。したがって、注目被写体に気がつくのが遅れたり、注目点の指示入力の操作が遅れたりした場合であっても、再生時において、本来、注目マークが付加されるべき位置の画像データや音声データから再生を行うようにすることができるようにされる。
【００４７】
また、請求項１１に記載の発明の情報記録装置は、請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８、請求項９または請求項１０に記載の情報記録装置であって、
前記受付手段は、ユーザーからの生体情報の供給を受けて、当該生体情報の所定の変化を前記注目点の指示入力として受け付けることを特徴とする。
【００４８】
この請求項１１に記載の発明の情報記録装置によれば、受け付け手段は、例えば、操作キーなどのユーザーによって操作されるものではなく、ユーザーの脈拍、心拍などの生体情報を検出し、検出される生体情報が閾値を超えた場合などにおいて、注目点の指示入力を発生させるように構成される。
【００４９】
これにより、例えば、急に驚いて心拍数が急激に高くなった場合などにおいて、ユーザーが操作キーなどを押下操作することができなくても、注目マークを付すべき画像データや音声データに対して、自動的に、しかも確実に注目マークを付すことができるようにされる。
【発明の効果】
【００５０】
この発明によれば、移動しながら、画像を撮像して記録媒体に記録したり、音声を収音して記録媒体に記録したりする場合において、目的とする被写体の画像を含む画像データや、目的とする音声を含む音声データに対して、いわゆる「しおり」などと呼ばれる注目マークを適切に付加することができる。
【００５１】
また、目的とする被写体や、目的とする音声を発するもの（発音体）などが移動している場合であっても、被写体や発音体と撮像手段や収音手段との間の相対速度を考慮して、目的とする被写体の画像を含む画像データや、目的とする音声を含む音声データに対して、いわゆる「しおり」などと呼ばれる注目マークを適切に付加することができる。これにより、目的とする画像や音声を迅速に再生し、利用することができる。
【００５２】
また、「しおり」などと呼ばれる注目マークを撮像したり収音したりして記録媒体に記録する画像データや音声データに対して付加する場合に、その注目マークを付加する時点の撮像手段や収音手段の空間移動速度も一緒に付加しておくことにより、付加された空間移動速度に対して、注目マークの付加位置を調整（変更）したり、また、再生時において、注目マークが付加された位置に応じた再生開始位置を、その注目マークに対応する空間移動速度によって調整したりすることが可能となり、目的とする画像や音声を迅速に再生し、利用することができる。
【００５３】
また、注目マークや撮像手段や収音手段の空間移動速度に加えて、目的とする被写体や目的とする音声を発する発音体と撮像手段や収音手段との相対移動速度をも画像データや音声データに対して付加しておくことにより、より適正に注目マークの位置を調整したり、再生位置を調整したりすることができる。
【００５４】
また、生体情報の変化を、注目マークを付加する場合の指示入力として用いることにより、脈拍や心拍などの急激な変化が発生した時点において、取得した画像データや音声データに対して注目マークを付したり、撮像手段や収音手段の空間移動速度や目的とする被写体や発音体と撮像手段や収音手段との相対移動速度を検出して、これらを画像データや音声データに対して付すことができる。これにより、無意識に感じた興味に応じて画像データや音声データに対して、注目マークを付すことができる。
【発明を実施するための最良の形態】
【００５５】
以下、図を参照しながら、この発明による装置、方法の一実施の形態について説明する。以下においては、ビデオカメラのような動画像を撮像するとともに、音声を収音し、撮像した動画像の画像データと、収音した音声の音声データとを記録媒体に記録するデータ記録装置（情報記録装置）にこの発明を適用した場合を例にして説明する。
【００５６】
［データ記録装置１の概要］
図１は、この実施の形態のデータ記録装置の構成例を説明するためのブロック図である。図１に示すように、この実施の形態のデータ記録装置１は、撮像部２、撮像データ格納部３、録音部４、録音データ格納部５、記録部６、記録媒体７、変位検出部８、日時検出部９、移動速度検出部１０、入力部１１、制御部１２を備えるものである。記録媒体７は、データ記録装置１に対して着脱可能なものであり、例えば、デジタルビデオテープ、記録可能なＤＶＤなどの光ディスク、あるいは、光磁気ディスク、あるいは、半導体メモリなどの比較的に記録容量の大きなものである。
【００５７】
図１において、撮像部２は、内蔵するＣＣＤ(Charge Coupled Device) 等の撮像素子上に被写体の画像を結像させ、撮像素子上に蓄積された画像のデータを、各画素毎にアナログ信号からデジタル信号に変換した後、１画像分のデータ毎に撮像データ格納部３に転送する。
【００５８】
撮像データ格納部３は、半導体メモリ等を含み、撮像部２から入力される撮像データ（画像データ）の複数画像分（複数フレーム分）を一時記憶することができるものである。なお、撮像データ格納部３に格納される撮像データには、後述する日時検出部９から供給される日時情報が一定時間ごとに付加される。そして、撮像データ格納部３に格納（記憶）された撮像データは、詳細を後述する記録部６および変位検出部８によって必要に応じて読み出されることになる。
【００５９】
録音部４は、図示しないが、マイクロホンやＡ／Ｄ（Analog/Digital）変換器を含み、マイクロホンによって収音され電気信号に変換されたアナログ音声信号を、デジタル音声信号に変換した後、これを一定時間ごとに録音データ格納部５に転送する。
【００６０】
録音データ格納部５は、半導体メモリ等を含み、録音部４から入力される一定時間分の録音データ（音声データ）を一時記憶することができるものである。なお、録音データ格納部５に格納される録音データには、後述する日時検出部９から供給される日時情報が一定時間ごとに付加される。そして、録音データ格納部５に格納（記憶）された録音データは、詳細を後述する記録部６によって必要に応じて読み出されることになる。
【００６１】
記録部６は、撮像データ格納部３、録音データ格納部５が記憶している撮像データ、録音データを読み出し、これらを記録媒体７に書き込む。なお、記録部６は、撮像データ格納部３、録音データ格納部５からの撮像データ、録音データについて、所定の方式でデータ圧縮するなどのこともできるものである。
【００６２】
また、記録部６は、詳しくは後述もするが、制御部１２からの制御信号に応じた日時情報が付加されている画像データや音声データに対して、再生時に再生位置を指定する場合などにおいて用いられるマーク（注目マーク）であるいわゆる「しおり」を付加することができるものである。
【００６３】
なお、この実施の形態のデータ記録装置１において、日時情報や「しおり」は、例えば、画像データの場合には、各フレーム単位の画像データのヘッダ部分の所定のエリアに付加されるというように、予め決められる所定単位のデータのヘッダ部分などの所定のエリアに付加するようにしている。
【００６４】
変位検出部８は、撮像データ格納部３が記憶している例えば複数フレーム分の撮像データから、画像上における被写体の変位を検出し、これを変位データとして制御部１２に通知する。
【００６５】
日時検出部９は、例えば、ＧＰＳ（Global Positioning System）や電波時計などの機能を備え、人口衛星からの情報を受信して、あるいは、所定の送信局からの時刻情報を受信して正確に現在時刻を取得して、歩進するようにして、常時正確な現在時刻を提供できるようにし、この現在時刻を撮像データ格納部３、録音データ格納部５、制御部１２に提供することができるものである。
【００６６】
移動速度検出部１０は、この実施の形態のデータ記録装置１の空間移動速度を検出し、その検出結果を移動速度情報として制御部１２に通知する。具体的には、移動速度検出部１０は、速度センサーや加速度センサーを備え、これらのセンサーからの検出出力を用いて空間移動速度を算出したり、あるいは、自動車などから速度情報の供給を受けて、これを取り込んで利用できるようにしたりするものである。また、ＧＰＳなどの位置センサーからの情報に基づいて、空間移動速度を算出するようにしてもよい。
【００６７】
入力部１１は、ユーザーからの指示入力（入力コマンド）を受け付けて、受け付けた指示入力に応じた信号を制御部１２に通知することができるものである。この実施の形態のデータ記録装置１において、入力部１１は、「しおり」付加ボタンスイッチ（以下、「しおり」付加ボタンという。）を備えており、この「しおり」付加ボタンが押下操作された場合には、入力部１１は、「しおり」付加コマンドを生成して、これを制御部１２に供給する。
【００６８】
制御部１２は、入力部１１から「しおり」付加コマンドを受けたタイミングを基点とし、移動速度検出部１０からの当該データ記録装置１の空間移動速度データと変位検出部８からの変位データとに基づいて、被写体と当該データ記録装置１との相対速度を算出し、この相対速度を考慮して、「しおり」を付加する画像データ、音声データを選定し、その選定した画像データ、音声データに「しおり」を付すことを指示する制御信号を形成して、これを記録部６に供給する。これにより、上述もしたように、記録部６が、制御部１２からの制御信号に基づいて、制御部１２において「しおり」を付加するように選定された画像データ、音声データに対して「しおり」を付加することができるようにしている。
【００６９】
この制御部１２における「しおり」を付す画像データ、音声データの選定処理について説明すると、制御部１２に入力部１１からの「しおり」付加コマンドが供給されたタイミングで、日時検出部９からの現在時刻が取得され、この「しおり」付加コマンドの供給時点の現在時刻を基点とする。
【００７０】
この「しおり」付加コマンドの受け付けタイミングと同じタイミングで取得された（同じ現在時刻が付加された）画像データや音声データに対して「しおり」を付加したのでは、このデータ記録装置１が、例えば自動車や電車などで移動中に外の景色を撮影するために用いられている場合には、目的とする被写体の画像を含む画像ではなく、それよりも後に撮像された画像データに対して「しおり」が付加されてしまう。
【００７１】
そこで、制御部１２は、移動速度検出部１０からの自機の空間移動速度に基づいて、注目すべき被写体を撮像したことを意識して、入力部１１の「しおり」付加ボタンを押下操作するまでに移動してしまった距離を考慮し、その距離分について移動するのにかかる時間分前に取得した画像データと音声データとを、「しおり」を付加する画像データ、音声データとして選定するようにしている。ここで、空間移動速度は、このデータ記録装置１が存在している空間においてのデータ記録装置１自体の移動速度を意味し、自動車の速度などの一般的に用いられる移動速度を意味するものである。
【００７２】
なお、この実施の形態においては、後述もするが、「しおり」を付加する画像データ、音声データの選定に際しては、データ記録装置１の空間移動速度だけではなく、変位検出部８からの変位データに基づいて、注目する被写体と撮像部２との相対速度を算出し、この相対速度をも考慮して、「しおり」を付加する画像データ、音声データを選定することができるようにしている。
【００７３】
このように、データ記録装置１は、被写体の画像を撮像して画像データとして取り込み、また、音声を収音して音声データとして取り込み、これらを記録媒体に記録することができるものであるが、記録時において、「しおり」付加ボタンが押下操作され、これが入力部１１から制御部１２に通知されたタイミングを基点として、データ記録装置１の空間移動速度や、目的とする被写体とデータ記録装置１との間の相対速度を考慮して、目的とする被写体の画像を含む画像データや目的とする音声を含む音声データに対して、注目マークである「しおり」を付加することができるようにしている。
【００７４】
［データ記録装置１の変位検出部８について］
次に、図１に示したこの実施の形態のデータ記録装置１の変位検出部８の構成例について説明する。変位検出部８は、図２に示すように、撮像データ受信部８１、特徴点抽出部８２、バッファメモリ８３、変位データ演算部８４を備えたものである。
【００７５】
撮像データ受信部８１は、上述した撮像データ格納部３に新たに格納された撮像データ（画像データ）を読み出し、取得した撮像データを特徴点抽出部８２に供給する。撮像データ格納部３からの撮像データの読み出しは、撮像データ格納部３に新たな撮像データが格納される度に実行する以外に、定期的に撮像データ格納部３から撮像データを読み出すようにしても良い。もちろん、入力部１１を通じて受け付けた入力をきっかけにして撮像データ格納部にある過去数フレームのデータを読み出すようにしてもよい。
【００７６】
特徴点抽出部８２は、撮像データ受信部８１より供給される撮像データから特徴点を抽出し、その結果をバッファメモリ８３に蓄積する。例えば、画像データのエッジ成分を検出することによって特徴点とすることができる。
【００７７】
変位データ演算部８４は、バッファメモリ８３に蓄積された、複数フレームの各フレーム毎の画像データの特徴点に基づいて、各フレーム間の画像データ間の変位量および変位方向を算出し、その結果を変位データとして制御部１２に供給する。
【００７８】
画像データの特徴点としてエッジ成分を利用する場合は、時間的に古い画像データのエッジ成分を基準として、時間的に新しい画像データのエッジ成分とのマッチングを取ることによって、画像データ間の変位方向と変位量を求めることができる。
【００７９】
例えば、撮像部２が直進移動している状態で撮像した撮像データや、撮像部２が移動している状態でそれとは別に移動しているものを撮像した撮像データなどでは、撮像データ上に変位量の異なる部分が混在することになる。このような場合には、変位量の異なる部分それぞれの面積のうち、最も広い部分における変位量を、その画像データにおける変位量としたり、或いは、画像データの中心部における変位量を、その画像データにおける変位量としたり、或いは、各部分の変移量にその部分の面積比を積算したものの総和を、その画像データの変位量とすることができる。画像データ上に変位方向の異なる部分が複数混在する場合も、上述した変位量を求める方法と同様にして求めることができる。
【００８０】
具体的には、例えば、図４Ａに示すように、フレーム内に移動するオブジェクトＯｂｊがある場合に、このオブジェクトＯｂｊの連続するフレーム間の変位量を画像データの変位量とすることができる。また、図４Ｂに示すように、フレームに占める面積が小さなオブジェクトＯｂｊ１、Ｏｂｊ２、Ｏｂｊ３が移動しているような場合ももちろんある。このような場合には、上述のように、各オブジェクトの面積も考慮して各オブジェクトの変位量を求め、これを画像データの変位量することが可能となる。
【００８１】
また、ＧＰＳを備えている場合には、目的とする被写体の変位自体の検出には、上述したように画像処理を用いて行う他に、ＧＰＳなどの位置を検出する機器を用いて、前後のデータを取得した際の位置関係により変位の検出を行うようにしてもよい。
【００８２】
［画像記録装置１の制御部１２について］
次に、図１に示したこの実施の形態のデータ記録装置１の制御部１２の構成例について説明する。記録部１２は、図３に示すように、日時データ受信部１２１、入力コマンド受信部１２２、変位データ受信部１２３、移動速度演算部１２４、移動速度受信部１２５、演算部１２６、「しおり」位置制御部１２７を備えたものである。
【００８３】
日時データ受信部１２１は、日時検出部９からの検出結果を受信し、これを演算部１２６へ転送する。日時データの受信は、常時行う以外に定期的に行うようにすることもでき、また、入力コマンド受信部１２２が「しおり」付加コマンドを受信した場合にのみ、日時検出部９からの検出結果を受信するようにしてもよい。
【００８４】
また、日時検出部９からの検出結果は、日付情報と時刻情報との両方でなくてもよく、例えば、時分秒からなる時刻情報、あるいは、分秒からなる時刻情報だけの提供でもよい。これは、「しおり」位置が、数日、数時間単位でずれることはないからである。このようにして、日時検出部９から制御部１２に供給される日時情報は、「しおり」の付加位置を、時間軸においてどの程度手前に取得した画像データ、音声データに対して付加するかを決めるための指標としている。
【００８５】
入力コマンド受信部１２２は、入力部１１からの入力コマンド、この場合には「しおり」付加コマンドを受信し、これを演算部１２６に転送する。
【００８６】
変位データ受信部１２３は、変位検出部８からの検出結果（変位データ）を受信し、これを移動速度演算部１２４に転送する。この変位データ受信部１２３は、一定間隔で変位データを受信するようにしてもよいが、変位データに所定範囲を超える変動が生じた場合や、入力コマンド受信部１２２により「しおり」付加コマンドが受信された場合にのみ、変位データを受信するようにすることもできる。
【００８７】
移動速度演算部１２４は、変位データ受信部１２３から受信した変位データに基づいて、被写体とこのデータ記録装置１との相対速度を算出し、これを移動速度受信部１２５に転送する。
【００８８】
移動速度演算部１２４における相対速度の算出は、例えば、撮像部２のレンズのフォーカスの調整情報などから、目的とする被写体までの距離を求め、この距離に応じて、各画像フレーム間の変位量、すなわち変位距離を求め、この変位距離とフレームの形成周期、例えば、１／３０秒（３０分の１秒）などのフレーム間時間とに基づいて、相対速度を算出することが可能である。
【００８９】
このほか、例えば、２台のカメラで同じ被写体を撮像するようにし、それぞれの映像で物体の位置がカメラから物体までの距離に応じてずれることを利用し、このずれを三角測量の原理で変位量を検出して、これを利用して相対速度を算出するようにすることもできる。すなわち、目的とする被写体と撮像部２を備えたデータ記録装置１との間の相対速度は種々の方式を用いて算出することが可能である。
【００９０】
移動速度受信部１２５は、移動速度検出部１０の検出結果と移動速度演算部１２４の演算結果との一方、あるいは、両方を受信し、受信した情報を演算部１２６に転送する。移動速度検出部１０からの検出結果は、入力コマンド受信部１２２が「しおり」付加コマンドを受信した場合にのみ受信するようにすることもできる。
【００９１】
なお、この実施の形態のデータ記録装置１の移動速度受信部１２５においては、移動速度検出部１０の検出結果と移動速度演算部１２４の演算結果との両方を演算部１２６に転送するようにしている。
【００９２】
「しおり」位置制御部１２７は、演算部１２６からの演算結果を受信し、この演算結果に基づいて、「しおり」位置制御信号を形成し、これを記録部６に供給する。
【００９３】
そして、演算部１２６は、移動速度受信部１２５から受信した移動速度データを基に「しおり」を付加する位置（「しおり」位置）を決めるための演算を行う。演算結果は、入力コマンド受信部１２２からの入力コマンドの受信をきっかけとして、日時データ受信部１２１を通じて受信した日時データと共に「しおり」位置制御部１２７に転送される。
【００９４】
なお、入力コマンド受信部１２２からの入力コマンドの受信をきっかけとして「しおり」位置制御部１２７に対して演算部１２６からの演算結果の転送を行う以外に、入力コマンド受信部１２２からの入力コマンドの受信をきっかけに演算を行い、その演算結果を「しおり」位置制御部１２７に転送するようにしてもよい。
【００９５】
このように、この実施の形態のデータ記録装置１の制御部１２は、変位検出部８からの変位データ、日時検出部９からの日時データ、移動速度検出部１０からの移動速度データの供給を受けて、「しおり」付加コマンドの入力を受け付けた場合に、自機の空間移動速度や被写体と自機との相対速度を考慮し、「しおり」を付加する画像データや音声データを適正に選定することができるようにしている。
【００９６】
［データ記録装置１の記録部６について］
次に、図１に示したこの実施の形態のデータ記録装置１の記録部６の構成例について説明する。記録部６は、図５に示すように、撮像データ受信部６１、録音データ受信部６２、画像データ処理部６３、音声データ処理部６４、「しおり」位置制御信号受信部６５、記録媒体制御部６６を備えたものである。
【００９７】
撮像データ取得部６１は、上述した撮像データ格納部３に格納されている撮像データを読み出し、これを画像データ処理部６３に転送する。録音データ受信部６２は、上述した録音データ格納部５に格納されている録音データを読み出し、これを録音データ処理部６４に転送する。
【００９８】
「しおり」位置制御信号受信部６５は、制御部１２からの「しおり」位置制御信号の送信があった場合に、これを受信して取り込み、取り込んだ「しおり」位置制御信号を画像データ処理部６３、音声データ処理部６４に供給する。
【００９９】
画像データ処理部６３は、画像データ受信部６１より転送された撮像データ（画像データ）に対して、例えば、データ圧縮処理やデータ形式変換処理等、所定の処理を実行し、「しおり」位置制御信号受信部６５を通じて受信した制御部１２からの「しおり」位置制御信号がある場合にはこれに基づいて、指示された画像データに対して「しおり」を付加する設定を行い、処理後の画像データを記録媒体制御部６６に転送する。
【０１００】
音声データ処理部６４は、音声データ受信部６２より転送された録音データ（音声データ）に対して、例えば、データ圧縮処理やデータ形式変換処理等、所定の処理を実行し、「しおり」位置制御信号受信部６５を通じて受信した制御部１２からの「しおり」位置制御信号がある場合にはこれに基づいて、指示された音声データに対して「しおり」を付加する設定を行い、処理後の音声データを記録媒体制御部６６に転送する。
【０１０１】
このように、この実施の形態のデータ記録装置１の記録部６は、撮像部２を通じて取り込んだ撮像データと録音部４を通じて取り込んだ録音データとを、データ圧縮するなどして記録用データを形成し、これに制御部１２からの「しおり」位置制御信号が供給された場合には、その「しおり」位置制御信号により指示された位置の画像データと音声データとに、「しおり」を付して記録媒体に記録することができるものである。
【０１０２】
[「しおり」位置の決定方法について]
次に、この実施の形態のデータ記録装置１の主に制御部１２において行うようにされるしおり位置の決定方法（しおりを付加する画像データや音声データの選択方法。）に付いて具体的に説明する。
【０１０３】
「しおり」位置を決定する方法としては、まず、この実施の形態のデータ記録装置１への「しおり」付加コマンドを受け付けた瞬間（「しおり」受付ボタンが押下操作された瞬間）に取得した画像データ、音声データに対して、「しおり」の設定を行うのでなく、時間軸上において、手前（過去）に取得した画像データと音声データとの一方または両方に対して「しおり」の設定を行おうとする場合の最小速度の閾値を設定する。
【０１０４】
例えば、最小速度の閾値を時速５ｋｍと設定すると、この時速５ｋｍを基点とし、データ記録装置１のユーザー（記録者）が「しおり」を設定したいと意識し、「しおり」付加ボタンを押下操作したときに、移動速度検出部１０において検出されるデータ記録装置１の空間移動速度が、時速５ｋｍ未満の場合には、入力部１１の「しおり」付加ボタンが押下操作された瞬間に取得した画像データ、音声データに対して「しおり」を付加（設定）する。
【０１０５】
一方、データ記録装置１の空間移動速度が、時速５ｋｍ以上の場合には、当該空間移動速度に応じた分だけ、「しおり」付加ボタンが押下操作された時点よりも前（過去）の画像データ、音声データに対して「しおり」を付加（設定）する。もちろん、ここで、最小速度の閾値を時速０ｋｍとすれば、「しおり」を付加するすべての場合において、データ記録装置１の空間移動速度に応じて、「しおり」の付加位置の補正を行うようにすることができる。
【０１０６】
次に、時間軸上において、最大でどれだけ前（過去）のデータに対してまで「しおり」の付加位置を変更するかの最大時間の閾値の設定を行う。例えば、１５秒と設定すれば、記録者が「しおり」を設定しようと着目した時点において、データ記録装置１の空間移動速度がどんなに速くても、入力部１１の「しおり」付加ボタンを押下操作した時点から１５秒より前（過去）に取得された画像データ、音声データに対して「しおり」が付加されるようなことはないようにすることができる。
【０１０７】
次に、時速何ｋｍ以上の速さのときに、上述の最大時間の閾値として設定した時間だけ「しおり」の付加位置を補正するかを示す最大速度の閾値を設定する。移動速度受信部１２５から演算部１２６へ転送された空間移動速度の値が最大速度の閾値に設定した速度以上の場合には、入力部１１の「しおり」付加ボタンが押下操作された瞬間の日時（時刻）よりも最大時間の閾値として設定した時間分だけ前（過去）の日時データが付加されている画像データ、音声データに対して「しおり」の設定を行う。
【０１０８】
このように、最小速度の閾値、補正最大時間の閾値、最大速度の閾値を設定しておくことにより、「しおり」の付加位置を補正したくないのに補正されてしまったり、逆に補正したいのに補正されなかったなどというような不都合を生じさせることなく、精度よく「しおり」の付加位置を補正することが可能な信頼性の高いデータ記録装置を実現することができる。
【０１０９】
なお、ここでは、説明を簡単にするため、データ記録装置１の空間移動速度に対する最小速度の閾値、最大速度の閾値を設定するようにしたが、これに限るものではない。データ記録装置１と目的とする被写体（記録対象物）との相対速度に対して、最小速度の閾値、最大速度の閾値を設定し、相対速度を用いて、「しおり」の付加位置を補正するようにしてもよい。
【０１１０】
また、データ記録装置１の空間移動速度とデータ記録装置１と記録対象物との相対速度との両方を考慮して演算により求められた速度情報に対して各閾値を設定するようにし、演算により求められた速度に基づいて、「しおり」の付加位置を調整（補正）するようにしてもよい。
【０１１１】
［「しおり」の付加（設定）処理について］
次に、この実施の形態のデータ記録装置１において行われる「しおり」の付加（設定）処理について、図６のフローチャートを参照しながら説明する。図６に示す処理は、主に、制御部１２において行われるものである。
【０１１２】
入力部１１の「しおり」付加ボタンが押下操作され、制御部１２の入力コマンド受信部１２２を通じて、「しおり」付加コマンドを受信すると、制御部１２は、図６に示す処理を開始し、まず、「しおり」付加ボタンの押下操作時の日時データを日時データ受信部１２１を通じて、日時検出部９から取得する（ステップＳ１０１）。
【０１１３】
次に、制御部１２の演算処理部１２６は、移動速度受信部１２５から転送されてきた移動速度データと予め設定されている最小速度の閾値とを比較し、移動速度データは、最小速度の閾値よりも大きいか否かを判断する（ステップＳ１０２）。ステップＳ１０２の判断処理において、移動速度データが最小速度の閾値よりも大きいと判断したときには、演算部１２６は、移動速度受信部１２５から転送されてきた移動速度データと予め設定されている最大速度の閾値とを比較し、移動速度データは、最大速度の閾値よりも小さいか否かを判断する（ステップＳ１０３）。
【０１１４】
ステップＳ１０３の判断処理において、移動速度データが最大速度の閾値よりも小さいと判断したときには、演算部１２６は、移動速度受信部１２５からの移動速度データを用い、「しおり」付加ボタンが押下操作されたタイミングを基点として、時間軸に対し、「しおり」を付加する位置を時間軸上においてどれだけ前（過去）のデータに対して「しおり」の設定を行うかを演算により求める処理（「しおり」を付加するデータの選定処理）を実行し、ここで得られる演算結果と、ステップＳ１０１で取得した日時データとを「しおり」位置制御部１２７に転送する（ステップＳ１０４）。
【０１１５】
そして、「しおり」位置制御部１２７は、これに供給された演算結果と、予め設定された補正範囲を定める最大時間の閾値とを比較し、演算結果は最大時間の閾値の範囲内にあり「しおり」の付加が可能か否かを判断するとともに、演算結果に応じて決まる「しおり」を付したい画像データ、音声データが存在しているか否かを判断する（ステップＳ１０５）。
【０１１６】
このステップＳ１０５において、「しおり」を付したい画像データ、音声データが存在しているか否かの判断は、例えば、記録開始直後に「しおり」付加ボタンを押下操作された場合であって、例えば、１４時３０分２５秒からデータの記録を開始したにもかかわらず、１４時３０分２４秒などの記録開始時点よりも過去のデータに対して「しおり」を設定しなければならないなどの場合に不正確な位置に「しおり」を付加しないようにするための対応である。
【０１１７】
ステップＳ１０５の判断処理において、設置可能であると判断したときには、「しおり」位置制御部１２７は、「しおり」付加ボタンが押下操作された時点から演算結果が示す時間分前の画像データ、音声データに対して「しおり」を付加するための制御信号を形成し、これを記録部６に供給して、目的とする画像データ、音声データに対して「しおり」を付加するようにし（ステップＳ１０６）、この図６に示す処理を終了する。
【０１１８】
また、ステップＳ１０２の判断処理において、移動速度データが最小速度の閾値よりも小さいと判断した場合、または、ステップＳ１０５の判断処理において、「しおり」は設置不能であると判断したときには、「しおり」位置制御部１２７は、ステップＳ１０１で取得した日時データと同じ日時データが付加されている画像データ、音声データに対して「しおり」を設定するようにし（ステップＳ１０７）、この図６に示す処理を終了する。
【０１１９】
また、ステップＳ１０３の判断処理において、移動速度データが最大速度の閾値よりも大きいと判断したときには、「しおり」位置制御部１２７は、予め決められた最大時間の閾値分前のデータに「しおり」を設定するようにし（ステップＳ１０８）、この図６の処理を終了する。
【０１２０】
なお、このステップＳ１０８、または、その前段において、上述したステップＳ１０５の処理の場合と同様に、「しおり」を付したい画像データ、音声データが存在しているか否かを判断し、存在する場合にのみ、「しおり」を付加するようにしたり、存在していない場合には、その時点において最古の画像データ、音声データに対して「しおり」を付加したり、ステップＳ１０７の処理と同様に、ステップＳ１０１において取得した日時データと同じ日時データが付加された画像データ、音声データに対して「しおり」を付加するようにすることもできる。
【０１２１】
また、時間軸上において、「しおり」付加ボタンが押下操作されてからどれだけ前（過去）のデータに「しおり」を付加するかを示すデータと、ステップＳ１０１で取得した日時データとを元にして、どの日時データが付加された画像データ、音声データに対して「しおり」を付加するかを演算した後に、その演算結果を演算部１２６から「しおり」位置制御部１２７へ転送してもよい。
【０１２２】
すなわち、上述した例に従えば、入力部１１の「しおり」付加ボタンが押下操作された時間が０９：０５：０３（９時５分３秒）であり、演算により「しおり」を付加するデータは、０９：０５：００（９時５分００秒）であることを示す情報が得られた場合には、この９時５分００秒に「しおり」を付すことを指示するデータを転送するようにしてもよい。
【０１２３】
また、「しおり」を設置すべき日時のデータが存在しない場合には、「しおり」を設置したい日時データに最も近い日時データが付加されたデータに「しおり」を付加するようにすることももちろんできる。
【０１２４】
［変形例］
上述した実施の形態においては、データ記録装置１の空間移動速度に基づいて、あるいは、データ記録装置１と目的とする被写体である記録対象物との相対速度に基づいて、「しおり」を付加する画像データ、音声データ上の位置を補正するようにしたが、これに限るものではない。
【０１２５】
例えば、画像処理により、目的とする被写体である記録対象物の位置に応じて、「しおり」を付加する位置を補正するようにすることもできる。例えば、図７に示すように、図７（Ａ）が最新に取り込んだフレームの画像、図７（Ｂ）が、その１つ前のフレームの画像、図７（Ｃ）が、さらに１つ前の画像というように、過去に複数フレーム分の画像データを用いることができる場合を考える。
【０１２６】
この場合、隣接するフレーム間で画像データを比較処理することにより、注目している被写体（記録対象物）が何であるかを認識することが可能である。図７に示した例の場合、各フレームの画像に含まれるのは、円状の画像Ｐでありこの画像Ｐが目的とする記録対象物であると認識することが可能である。
【０１２７】
そして、図７（Ａ）に示したフレームＦＬ（ｎ）を取り込んだ時点において、入力部１１の「しおり」付加ボタンが押下操作されたとする。この場合、例えば、変位検出部８において、過去方向に向かって、各フレーム間の画像を比較処理し、記録対象物の画像はどれかを認識し、その認識した記録対象物の画像が最初に登場するフレームまで、遡る処理を行う。そして、記録対象物が最初に登場したフレームの画像データ、音声データに対して、「しおり」を付加する。
【０１２８】
具体的には、変位検出部８において、隣接するフレーム間の画像を比較処理して、記録対象物の画像が最初に登場するフレームを特定する情報、例えば、そのフレームに付加された時刻情報やフレーム番号などの情報を取得し、これを制御部１２に供給することにより、その情報に応じて「しおり」位置を制御する制御信号を形成し、これを記録部６に供給する音によって、目的とするフレームの画像データに対して「しおり」を付加することができる。
【０１２９】
図７の例の場合には、認識した記録対象物の画像は、画像Ｐであり、図７（Ａ）、図７（Ｂ）、図７（Ｃ）、図７（Ｄ）に示した各フレームの画像には、記録対象物の画像Ｐがふくまれるが、図７（Ｅ）に示したフレームの画像には、記録対象物Ｐの画像は存在しない。したがって、この記録対象物の画像Ｐが最初に登場するフレームは、図７（Ｅ）に示したＦＬ（ｎ−４）のフレームの次のＦＬ（ｎ−３）のフレームであることが認識できる。そして、このＦＬ（ｎ−３）のフレームの画像データに「しおり」を付加するようにすることで、記録対象物が最初に登場するフレームに対して確実に「しおり」を付加することができる。
【０１３０】
なお、説明を簡単にするため、図７においては、「しおり」付加ボタンが押下操作された時点から３フレーム前のフレームの画像データに対して「しおり」を付す場合を例にして説明したが、これに限るものではない。例えば、数十秒間程度の動画の画像データを記録しておくことが可能なメモリを変位検出部８が備えていれば、その範囲内にある画像データに対して、「しおり」を付すことが可能であり、数秒前、数十秒前などの画像データに対して「しおり」を付すことも可能である。
【０１３１】
［記録再生装置への適用について］
上述した実施の形態のデータ記録装置１においては、記録時において、「しおり」を付加する場合に、データ記録装置１の空間移動速度や、データ記録装置１と記録対象物との間の相対速度に応じて、「しおり」の付加位置を補正し、補正した位置に「しおり」を付加する場合を説明した。しかし、記録時に「しおり」の付加位置を補正するのではなく、記録後、再生するまでの間において、あるいは、再生時において、「しおり」の付加位置を補正するようにすることもできる。
【０１３２】
図８は、この発明を記録再生装置に適用した場合の例を説明するためのブロック図であり、データ記録再生装置１００を示す図である。図８において、図１に示したデータ記録装置と同様に構成される部分には同様の参照符号を付し、その詳細な説明に付いては省略する。
【０１３３】
この図８のデータ記録再生装置１００は、記録／再生部１３が設けられるとともに、画像信号（映像信号）出力端子１４、音声信号出力端子１５が設けられたものである。
【０１３４】
記録／再生部１３は、上述したデータ記録部６の場合と同様に、撮像データ格納部３、録音データ格納部５を通じて供給される撮像データ、画像データのデータ圧縮及び形式変換処理、さらに、「しおり」や日時データの付加などを行って、記録用の信号を形成し、これを記録媒体７に記録することができるものである。
【０１３５】
この記録／再生部１３は、記録時において、画像データ、音声データとに対して、「しおり」を付加することができるが、上述したデータ記録装置１のように、空間移動速度や相対速度に応じて、「しおり」の付加位置を調整する処理は行うことなく、「しおり」付加ボタンが押下操作された時点において取り込まれた画像データや音声データ、あるいはその両方に対して、「しおり」を付加するとともに、このデータ記録再生装置１００の空間移動速度データおよびデータ記録再生装置１００と記録対照物との相対速度データをも付加して、記録媒体７に記録する。
【０１３６】
空間移動速度データ、相対速度データは、上述したデータ記録装置１の場合と同様に取得され、制御部１２を通じて記録／再生部１３に供給されて、「しおり」と共に、画像データ、音声データに付加される。
【０１３７】
そして、記録／再生部１３は、記録処理終了後の適宜の時、例えば、ユーザーからの指示があった場合に、記録媒体７に記録されている画像データ、音声データを読み出し、「しおり」が付加されている画像データ、音声データに付加されている日時データ、空間移動速度データ、相対速度データを抽出して、これらを制御部１２に供給する。
【０１３８】
制御部１２は、記録／再生部１３からの日時データ、空間移動速度データ、相対速度データに基づいて、上述したデータ記録装置１の場合と同様に、「しおり」を付加する位置を演算により求め直し、この演算結果を記録／再生部１３に供給して、「しおり」の付加位置を変更するようにする。
【０１３９】
すなわち、記録／再生部１３は、既に付加されている「しおり」を打ち消すようにし、新たな位置に「しおり」を付加するようにする。このようにすることにより、記録時に「しおり」の付加位置の補正を行わなくてもよくなり、記録時の付加を軽減することができるとともに、例えば、空き時間を利用して、既に付加された「しおり」の付加位置を変更することができる。
【０１４０】
また、「しおり」の付加位置を変更することなく、再生位置を調整することもできる。すなわち、入力部１１を通じて、「しおり」が付加された位置からの再生が指示された場合には、記録／再生部１３がその位置の画像データ、音声データに付加されている空間移動速度データ、相対速度データとを読み出し、これを制御部１２に戻して、本来「しおり」を付加すべき位置を求める演算処理を行い、この演算結果を記録／再生部１３に供給する。
【０１４１】
記録／再生部１３は、制御部１２からの演算結果に基づいて、本来「しおり」を付すべき位置に再生位置を位置付け直し、その位置から再生を行うようにする。このようにすることにより、「しおり」を画像データ、音声データに付け直すことなく、データ記録再生装置１００の空間移動速度やデータ記録再生装置と記録対象物との相対速度に応じて、本来「しおり」を付すべきデータ位置から画像データ、音声データの再生を行うことができるようにされる。
【０１４２】
そして、再生時において、記録／再生装置１３は、記録媒体７から読み出した画像データ、音声データを分離・デコードする。そして、画像データに付いては、アナログ信号に変換して、画像信号出力端子１４から出力するようにし、音声データに付いては、アナログ信号に変換して、音声信号出力端子１５から出力するようにする。
【０１４３】
そして、画像信号出力端子１４には、ＬＣＤ（Liquid Crystal Display）などの表示素子が接続され、記録媒体７から読み出されて再生するようにされた画像データに応じた画像が表示するようにされる。また、音声信号出力端子１５には、スピーカが接続され、記録媒体７から読み出されて再生するようにされた音声データに応じた音声が放音するようにされる。
【０１４４】
このように、再生機能を備えたデータ記録装置（記録させ装置）の場合には、記録時に「しおり」の付加位置を調整するようにしなくても、再生するまでの間の適宜のときに、「しおり」を付け直したり、あるいは、再生時において、再生位置を調整したりすることもできる。
【０１４５】
［その他］
［生体情報の利用について］
上述した実施の形態においては、入力部１１の「しおり」付加ボタンが押下操作された場合に、画像データや音声データに対して「しおり」を付加（設定）するようにしたが、これに限るものではない。例えば、ユーザーに対して取り付けられ、ユーザーの脈拍や心拍を計測する機器からの計測結果を制御部１２に通知し、脈拍や心拍の変化が一定値以上あるいは一定値以下になった場合に、「しおり」を付加することが指示されたと判断するようにしてもよい。
【０１４６】
すなわち、図１、図８に示した入力部１１を、脈拍や心拍の計測機器に置き換えるようにすることもできる。これにより、脈拍や心拍などのユーザーの生体情報の変化を「しおり」を付すことのトリガーとして用いるようにすることもできる。また、生体情報は、脈拍や心拍だけでなく、例えば、血圧、呼吸数、心電の変化、人体に発生するマイクロウエーブ、瞳孔径など、種々の生体情報を用いるようにすることが可能である。したがって、入力部１１として、種々の生体センサーを用いるようにすることができる。
【０１４７】
［音声情報の利用について］
また、上述した実施の形態においては、画像の変位を検出することにより、データ記録装置１と記録対象物との相対速度を求めるようにしたが、これに限るものではない。記録対象の音声に着目し、相対速度を求めるようにすることもできる。例えば、緊急自動車のサイレンや、自動車のエンジン音などが耳に入り、「しおり」付加ボタンを押下操作した場合に、例えば、ドップラー効果を利用して、収音する音声の周波数の変化と変換時間とを測定するようにし、データ記録装置１と記録対象物との相対速度を求めるようにすることも可能である。
【０１４８】
また、音声の場合にも、単位時間あたりの音声データ同士を比較し、注目する音声を特定してその注目する音声が最初に認識できる位置に「しおり」を付すようにするなどのことも可能である。
【０１４９】
なお、上述の実施の形態においては、画像データと音声データとに「しおり」を付すものとして説明したが、これに限るものではない。画像データだけに「しおり」を付すようにしたり、音声データだけに「しおり」を付すようにすることももちろん可能である。
【０１５０】
また、上述した実施の形態においては、「しおり」は、画像データや音声データのヘッダ部などに付加するものとして説明したが、これに限るものではない。例えば、画像データや音声データとは別にファイルを設け、画像データや音声データが記録されたファイルのファイル名と、「しおり」を付すべき画像データ、音声データの識別情報、空間移動速度データ、相対速度データなどからなるデータベースを実データとは別に設けるようにしてももちろんよい。このようにした場合には、「しおり」の付け変えは、当該データベース内だけで処理できるので、処理の簡単化、迅速化を実現することができる。
【０１５１】
なお、上述もしたように、記録時において、検出される空間移動速度に基づいて、「しおり」を付加する画像データと音声データとの一方あるいは両方を選定するようにしたり、また、記録時において、「しおり」を付加するようにされた時点において取得した画像データと音声データとの一方あるいは両方に「しおり」と空間移動速度を示す情報とを付加しておき、これを用いて再生時までに「しおり」の付加位置を調整したり、あるいは、再生処理における再生位置を変更したりすることが可能である。
【０１５２】
同様に、記録時において、算出される被写体と記録装置（自機）との相対速度に基づいて、「しおり」を付加する画像データと音声データとの一方あるいは両方を選定するようにしたり、また、記録時において、「しおり」を付加するようにされた時点において取得した画像データと音声データとの一方あるいは両方に「しおり」と、算出した相対速度を示す情報とを付加しておき、これを用いて再生時までに「しおり」の付加位置を調整したり、あるいは、再生処理における再生位置を変更したりすることが可能である。
【０１５３】
もちろん、上述の場合において、検出する空間移動速度と算出する相対移動速度との両方を用いるようにしてもよいことは言うまでもない。
【０１５４】
また、上述した実施の形態においては、「しおり」や空間移動速度、相対速度の画像データや音声データへの付加位置（設定位置）は、所定単位ごとの画像データや音声データのヘッダ部分の所定の位置であるものとして説明したが、これに限るものではない。「しおり」を別ファイルで管理するようにしてもよい。
【０１５５】
具体的には、「しおり」の付加指示を受け付けるごとに、受付タイミングを示す時刻情報（例えば記録開始からのその受付時点を示す時刻情報などの画像データや音声データを特定することが可能な時刻情報）を、画像データや音声データとは別のファイルに記録するようにしておく。この場合には、時刻情報が「しおり」を意味する情報になる。
【０１５６】
そして、この場合には、各時刻情報と空間移動速度や相対速度を一緒に記録し、管理するようにしてもよい。また、時刻情報に変えて、記録開始からの画像データのフレーム番号などを「しおり」を意味する情報として用い、画像データや音声データとは別のファイルで管理するようにしてももちろんよい。
【０１５７】
このようにした場合であっても、空間移動速度や相対速度、あるいは、その両方に応じて、「しおり」を意味する時刻情報やフレーム番号を変更したり、再生時までに調整（補正）したり、あるいは、再生時において、その時刻情報やフレーム番号が示す画像データや音声データの再生位置を変更したりすることが可能である。
【図面の簡単な説明】
【０１５８】
【図１】本発明を適用したデータ記録装置の構成を示すブロック図である。
【図２】図１の変位検出部の構成を示すブロック図である。
【図３】図１の制御部の構成を示すプロック図である。
【図４】画像データの変位量の求め方について説明するための図である。
【図５】図１の記録部の構成を示すプロック図である。
【図６】「しおり」を付加する処理を説明するためのフローチャートである。
【図７】「しおり」の付加位置の他の調整方法を説明するための図である。
【図８】本発明を適用したデータ記録再生装置の構成を示すブロック図である。
【符号の説明】
【０１５９】
１…データ記録装置、２…撮像部、３…撮像データ格納部、４…録音部、５…録音データ格納部、６…記録部、７…記録媒体、８…変位検出部、９…日時検出部、１０…移動速度検出部、１１…入力部、１２…制御部、
【図１】
2005303915.tif 000003
【図２】
2005303915.tif 000004
【図３】
2005303915.tif 000005
【図４】
2005303915.tif 000006
【図５】
2005303915.tif 000007
【図６】
2005303915.tif 000008
【図７】
2005303915.tif 000009
【図８】
2005303915.tif 000010