(57)【要約】【課題】  ユーザのウェアラブル環境での映像への情報の書き込みを支援する。【解決手段】  インデクシング部１３は得られた映像のオプティカルフローよりユーザの視線状態が、実世界の対象を見詰めている状態「ｓｔａｒｅ」、実世界の対象を目で追っている状態「ｃｈａｓｅ」、実世界にランダムな視線を送っている状態「ｒａｎｄｏｍ」、実世界の対象から離れ手元で映像に書き込みを行う状態「ｉｎｐｕｔ」のうちのどれであるかを判定し、映像に対してインデックスを付与し、インデックスに応じて情報書き込みモードのオン／オフを切り替える。書き込み処理部２１は情報書き込みモードオンである時、オン時に付与されたインデックス「ｉｎｐｕｔ」より前のインデックス「ｓｔａｒｅ」または「ｃｈａｓｅ」を抽出し、該インデックスに対応する映像データをユーザが書き込みをしたい映像データの第１候補として選択し、ディスプレイ１６に提示する。【選択図】  図１
2005348350.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの頭部に搭載され、光軸が該ユーザの視線方向に設定されたビデオカメラで映像・音声データを取得する映像・音声データ取得ステップと、
前記映像・音声データ取得ステップで取得された映像データの、設定された秒数間に連続して存在するフレームのフレーム間の画像内のオプティカルフローより、設定された秒数間の先頭フレーム再生時から最終フレーム再生時までの前記ビデオカメラの移動ベクトルを、最終フレームに対応するオプティカルフロー推定データとして求めるオプティカルフロー推定ステップと、
前記最終フレームに対応するオプティカルフロー推定データの絶対値である移動距離が、第１の設定された距離未満の場合をユーザが実世界の対象を見詰めている状態とみなし、該フレームにインデックス「ｓｔａｒｅ」を付与し、移動距離が第１の設定された距離以上、かつフレーム間の移動ベクトルの絶対値のうち一番大きい値と一番小さい値の差が、第２の設定された距離未満である場合をユーザが実世界の対象を目で追っている状態とみなし、該フレームにインデックス「ｃｈａｓｅ」を付与し、移動距離が第１の設定された距離以上、かつフレーム間の移動ベクトルの絶対値のうち一番大きい値と一番小さい値の差が、第２の設定された距離以上であり、かつ移動ベクトルの方向が映像における上方向に対して設定された角度以内の場合をユーザの視線が実世界の対象から離れ手元に移りユーザが映像に書き込みをしようとする状態とみなし、該フレームにインデックス「ｉｎｐｕｔ」を付与し、移動距離が第１の設定された距離以上、かつフレーム間の移動ベクトルの絶対値のうち一番大きい値と一番小さい値の差が、第２の設定された距離以上であり、かつインデックス「ｉｎｐｕｔ」以外の場合を実世界にランダムな視線を送っている状態とみなし、該フレームにインデックス「ｒａｎｄｏｍ」を付与するインデックス付与ステップと、
ユーザが直接映像に書き込みすることを可能にし、インデックス「ｉｎｐｕｔ」が対応するフレームに付与された時で、かつ情報書き込みモードオフである時、情報書き込みモードをオンとし、インデックス「ｃｈａｓｅ」もしくは「ｒａｎｄｏｍ」が対応するフレームに付与された時で、かつ情報書き込みモードがオンである時、情報書き込みモードをオフとすることで情報書き込みモードのオン／オフを切り替える書き込みモード切り替えステップと、
情報書き込みモードオンである時、モードオン時に付与されたインデックス「ｉｎｐｕｔ」より前のインデックス「ｓｔａｒｅ」もしくは「ｃｈａｓｅ」を抽出し、該インデックスに対応する映像データをユーザが書き込みをしたい映像データの第１候補として選択し、自動的にディスプレイ部に提示するステップと、
提示された映像データに入力手段からの情報の書き込みを行う書き込みステップと
を有する、映像データへの情報書き込み支援方法。
【請求項２】
書き込みするために提示される映像データ再生時に次のインデックスの前フレームまでが再生された時、書き込みする対象の映像が終了したものとみなし、書き込みモードをオフにし、書き込みモードを終了する、請求項１に記載の方法。
【請求項３】
実際に映像への書き込みがされた場合、書き込みが開始されたフレームに対するオプティカルフロー推定データを用いて、映像と書き込みの対応関係が保たれるように書き込みデータの座標データを変換して得られた座標データを映像データのタイムコードに対応させて、移動処理済書き込みデータとして保存する、請求項１または２に記載の方法。
【請求項４】
ユーザの頭部に搭載され、光軸が該ユーザの視線方向に設定されたビデオカメラと、
前記ビデオカメラで取得された映像データの、設定された秒数間に連続して存在するフレームのフレーム間の画像内のオプティカルフローより、設定された秒数間の先頭フレーム再生時から最終フレーム再生時までの前記ビデオカメラの移動ベクトルを、最終フレームに対応するオプティカルフロー推定データとして求めるオプティカルフロー推定手段と、
前記最終フレームに対応するオプティカルフロー推定データの絶対値である移動距離が、第１の設定された距離未満の場合をユーザが実世界の対象を見詰めている状態とみなし、該フレームにインデックス「ｓｔａｒｅ」を付与し、移動距離が第１の設定された距離以上かつフレーム間の移動ベクトルの絶対値のうち一番大きい値と一番小さい値の差が、第２の設定された距離未満である場合をユーザが実世界の対象を目で追っている状態とみなし、該フレームにインデックス「ｃｈａｓｅ」を付与し、移動距離が第１の設定された距離以上かつフレーム間の移動ベクトルの絶対値のうち一番大きい値と一番小さい値の差が、第２の設定された距離以上であり、かつ移動ベクトルの方向が映像における上方向に対して設定された角度以内の場合をユーザの視線が実世界の対象から離れ手元に移りユーザが映像に書き込みをしようとする状態とみなし、該フレームにインデックス「ｉｎｐｕｔ」を付与し、移動距離が第１の設定された距離以上、かつフレーム間の移動ベクトルの絶対値のうち一番大きい値と一番小さい値の差が、第２の設定された距離以上であり、かつインデックス「ｉｎｐｕｔ」以外の場合を実世界にランダムな視線を送っている状態とみなし、該フレームにインデックス「ｒａｎｄｏｍ」を付与するインデックス付与手段と、
ユーザが直接映像に書き込みすることを可能にし、インデックス「ｉｎｐｕｔ」が対応するフレームに付与された時で、かつ情報書き込みモードオフである時、情報書き込みモードをオンとし、インデックス「ｃｈａｓｅ」もしくは「ｒａｎｄｏｍ」が対応するフレームに付与された時で、かつ情報書き込みモードオンである時、情報書き込みモードをオフとすることで情報書き込みモードのオン／オフを切り替える書き込みモード切り替え手段と、
情報書き込みモードオンである時、モードオン時に付与されたインデックス「ｉｎｐｕｔ」より前のインデックス「ｓｔａｒｅ」もしくは「ｃｈａｓｅ」を抽出し、該インデックスに対応する映像データをユーザが書き込みをしたい映像データの第１候補として選択し、自動的にディスプレイ部に提示する映像データ提示手段と、
提示された映像データに情報の書き込みを行うための入力手段と
を有する、映像データへの情報書き込み支援装置。
【請求項５】
請求項１から３のいずれかに記載の、映像データへの情報書き込み支援方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部に設置されたカメラで映像をリアルタイムで取得している時、その場での該映像データへの情報書き込みを支援する方法に関するものである。
【背景技術】
【０００２】
デジタルカメラやＰＤＡ（Personal Digital Assistants）に付属のカメラによって撮影した静止画像への情報書き込みを支援する方法として、リアルタイム処理ではないが端末などでアプリケーションを立ち上げ、画像を読み込んで情報の書き込みをする方法が多々ある。
【０００３】
また、映像への情報書き込みを支援する方法として、注釈として映像の枠外に書き込みを行うものや、映像中のオブジェクトを切り出し、オブジェクト自体にデータベースを付与する方法がある。
非特許文献１に記載された方法は、注釈として枠外に書き込みを行う方法であり、表示されている映像に対応した場所で、対応した注釈を提示することができる。ただし、パソコン上のアプリケーションを用いた処理が必要であり、リアルタイムでの処理や、ウェアラブルで処理することは想定されていない。
【非特許文献１】Fluid Interaction Techniques for the control and Annotation of Digital Video 2003UIST Proceedings of the 16th Annual ACM Dysprosium on User Interface Software and Technology Gonzalo Romas, Ravin Balakrishnan University of Toronto
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしこれらの方法による書き込み処理は、別途蓄積しておいた映像にオフラインで情報を付加していくものであり、アプリケーションを立ち上げてデータの読み込み処理をする、などの煩雑な方法が必要である。
【０００５】
本発明の目的は、映像へ書き込むためのタイミングと映像の撮影に戻るタイミングを効果的に検出し、ユーザのウェアラブル環境での映像への情報の書き込みを支援する、映像データの情報書き込み支援方法、装置、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の、映像データへの情報書き込み支援方法は、
ユーザの頭部に搭載され、光軸が該ユーザの視線方向に設定されたビデオカメラで映像・音声データを取得する映像・音声データ取得ステップと、
前記映像・音声データ取得ステップで取得された映像データの、設定された秒数間に連続して存在するフレームのフレーム間の画像内のオプティカルフローより、設定された秒数間の先頭フレーム再生時から最終フレーム再生時までの前記ビデオカメラの移動ベクトルを、最終フレームに対応するオプティカルフロー推定データとして求めるオプティカルフロー推定ステップと、
前記最終フレームに対応するオプティカルフロー推定データの絶対値である移動距離が、第１の設定された距離未満の場合をユーザが実世界の対象を見詰めている状態とみなし、該フレームにインデックス「ｓｔａｒｅ」を付与し、移動距離が第１の設定された距離以上、かつフレーム間の移動ベクトルの絶対値のうち一番大きい値と一番小さい値の差が、第２の設定された距離未満である場合をユーザが実世界の対象を目で追っている状態とみなし、該フレームにインデックス「ｃｈａｓｅ」を付与し、移動距離が第１の設定された距離以上、かつフレーム間の移動ベクトルの絶対値のうち一番大きい値と一番小さい値の差が、第２の設定された距離以上であり、かつ移動ベクトルの方向が映像における上方向に対して設定された角度以内の場合をユーザの視線が実世界の対象から離れ手元に移りユーザが映像に書き込みをしようとする状態とみなし、該フレームにインデックス「ｉｎｐｕｔ」を付与し、移動距離が第１の設定された距離以上、かつフレーム間の移動ベクトルの絶対値のうち一番大きい値と一番小さい値の差が、第２の設定された距離以上であり、かつインデックス「ｉｎｐｕｔ」以外の場合を実世界にランダムな視線を送っている状態とみなし、該フレームにインデックス「ｒａｎｄｏｍ」を付与するインデックス付与ステップと、
ユーザが直接映像に書き込みをすることを可能にし、インデックス「ｉｎｐｕｔ」が対応するフレームに付与された時で、かつ情報書き込みモードオフである時、情報書き込みモードをオンとし、インデックス「ｃｈａｓｅ」もしくは「ｒａｎｄｏｍ」が対応するフレームに付与された時で、かつ情報書き込みモードがオンである時、情報書き込みモードをオフとすることで情報書き込みモードのオン／オフを切り替える書き込みモード切り替えステップと、
情報書き込みモードオンである時、モードオン時に付与されたインデックス「ｉｎｐｕｔ」より前のインデックス「ｓｔａｒｅ」もしくは「ｃｈａｓｅ」を抽出し、該インデックスに対応する映像データをユーザが書き込みをしたい映像データの第１候補として選択し、自動的にディスプレイ部に提示するステップと、
提示された映像データに入力手段からの情報の書き込みを行う書き込みステップを有する。
【０００７】
映像への情報書き込みは、オフラインで行うよりも映像の撮影中にリアルタイムで行う方が効率的であり、かつその瞬間に思った内容を記録することができ、便利である。撮影した映像にその場で書き込むためには、ウェアラブルでかつリアルタイム処理可能な映像への書き込み支援システムが必要であり、該システムを想定した場合、映像の撮影と映像への書き込み作業が交互に頻繁に行われることが予想されるので、映像書き込み状態へ移行するタイミングと、書き込みを終了して映像の撮影に戻るタイミングを検出し、映像の撮影と映像への書き込みのモード切り替えを滑らかに行う。
【発明の効果】
【０００８】
以上説明したように、本発明は、映像を撮影しながら映像に書き込みを行う場合において、映像データのオプティカルフロー推定データを活用し映像への書き込みのタイミングを推定し、ユーザの書き込みをしたい映像を提示することで、撮影する映像へのその場での書き込みが可能となり、アプリケーションを立ち上げてデータの読み込み処理などの複雑の処理を必要としない。
【発明を実施するための最良の形態】
【０００９】
次に、本発明の実施の形態について図面を参照して説明する。
【００１０】
図１を参照すると、本発明の一実施形態の映像データへの情報書き込み支援装置はビデオカメラ１１とオプティカルフロー推定部１２とインデクシング部１３とデータ保存・探索部１４と音データ選択ボタン１５とディスプレイ１６とスピーカ１７とメモ用マイク１８とインデックス選択ボタン１９と書き込み探索ボタン２０と書き込み移動処理部２１とを有している。
【００１１】
図２は映像撮影から書き込み開始までの処理を示すフローチャートである。
【００１２】
ビデオカメラ１１は映像・音データを取得可能であり、ユーザの頭部付近に装着され、ユーザの顔正面方向とビデオカメラの光軸が一致するように設置される。これによりユーザの視界に存在するものをビデオカメラ１１で簡易に撮影することが可能である。映像・音声データの取得は、書き込みモードのオン・オフに関わらず、常に行われる（ステップ１０１）。
【００１３】
オプティカルフロー推定部１２はビデオカメラ１１で撮影された映像データの、設定された秒数間の先頭フレームから最終フレームへのオプティカルフローを移動ベクトルとして数値化し、オプティカルフロー推定データとして、データ保存・探索部１４に保存する（ステップ１０２、１０９）。
【００１４】
インデクシング部１３はオプティカルフロー推定データを用いてユーザ視線がシステムの想定している状態のうち、どの状態にあるかを判定し、判定結果が前フレームの状態と異なる場合にのみ映像データの該フレームに対してインデックスを付与し、またインデックスデータをデータ保存・探索部１４に保存する（ステップ１０３、１０９）。
【００１５】
インデックス判定に用いるオプティカルフロー推定データに関しては、映像データ中の連続するフレームＡ、Ｂ、Ｃ、Ｄ、Ｅが１秒間（ビデオカメラ移動秒間）にあった場合、各フレーム間の画像内のオプティカルフローの平均値を用いる計算方法により、各フレーム間のビデオカメラ１１の移動ベクトルを求め、フレームＡからフレームＥの間のビデオカメラ１１の移動ベクトルを足し合せ、フレームＡに対するフレームＥのビデオカメラ１１の移動ベクトルを算出し、これをオプティカルフロー推定データとする。移動ベクトルの絶対値である移動距離をユーザ状態判定距離とし、ユーザ状態判定距離は装置装着時のキャリブレーションによって設定される。そのキャリブレーション方法とは、例えばディスプレイ１６上に“書き込み時の姿勢をし、合図の音と共にディスプレイに書き込みを開始して下さい”と指示し、その合図の音の再生から書き込み終了までのオプティカル推定データより、動作時の頭部動作の速度を算出し、ユーザ状態判定距離の初期値を設定する。また、フレーム間の移動ベクトルの絶対値のうち一番大きい値と一番小さい値の差に対する基準値を等速判定距離とし、移動ベクトルの映像における上方向に対する基準方向をユーザ頭部移動方向とする。インデックス判定に必要なユーザ状態判定距離、等速判定距離、ユーザ頭部移動方向には初期設定値が与えられており、ユーザに応じてカスタマイズ可能である。ユーザ状態判定距離を３０ｍｍ、等速判定距離を１０ｍｍ、ユーザ頭部移動方向を映像における上方向に対して４５度とした場合、移動ベクトルの絶対値である移動距離が３０ｍｍ未満の場合をユーザが実世界の対象を見つめている状態とみなし、フレームＥにインデックス「ｓｔａｒｅ」を付与し、移動距離が３０ｍｍ以上、かつフレーム間の移動ベクトルの絶対値のうち一番大きい値と一番小さい値の差が１０ｍｍ未満である場合をユーザが実世界の対象を目で追っている状態とみなし、フレームＥにインデックス「ｃｈａｓｅ」を付与し、移動距離が３０ｍｍ以上、かつフレーム間の移動ベクトルの絶対値のうち一番大きい値と一番小さい値の差が１０ｍｍ以上であり、かつ移動ベクトルの方向が映像における上方向に対して角度４５度以内の場合をユーザの視線が実世界の対象から離れた手元に移りユーザが映像に書き込みをしようとする状態とみなし、フレームＥにインデックス「ｉｎｐｕｔ」を付与し、移動距離が３０ｍｍ以上、かつフレーム間の移動ベクトルの絶対値のうち一番大きい値と一番小さい値の差が１０ｍｍ以上であり、かつインデックス「ｉｎｐｕｔ」以外の場合を実世界にランダムな視線を送っている状態とみなし、フレームＥにインデックス「ｒａｎｄｏｍ」を付与する。
【００１６】
また、インデクシング部１３では、書き込みを開始・終了を決める書き込みモードフラグを管理する。書き込みモードオフの時、インデックス「ｉｎｐｕｔ」が付与されると書き込みモードオンとなり書き込みが開始され（ステップ１０４、１０５）、書き込みモードオンの時、インデックス「ｃｈａｓｅ」もしくは「ｒａｎｄｏｍ」が付与されると書き込みモードオフとなり書き込みは終了される（ステップ１０６、１０７）。書き込みモードオンの時、インデックス「ｉｎｐｕｔ」が付与されると、書き込みモードはオンのままであり、再度、書き込み開始の処理が行われる。書き込みモードオフの時、インデックス「ｃｈａｓｅ」、「ｓｔａｒｅ」もしくは「ｒａｎｄｏｍ」が付与されても、インデックスデータが映像に付与される以外何も起こらない。書き込みモードオンの時、インデックス「ｓｔａｒｅ」が付与されても、インデックスデータが映像に付与される以外何も起こらない。
【００１７】
図３は書き込みモードがオンの時のフローチャートである。
【００１８】
書き込みモードがオンになると、データ保存・探索部１４はユーザが書き込みをしたいと推測される映像を提示するために、インデックス「ｉｎｐｕｔ」が付与されたフレームより前で、かつインデックス「ｓｔａｒｅ」もしくは「ｃｈａｓｅ」が付与されたフレームを探索する（ステップ２０１、２０２）。ここで、探索される映像とはユーザが映像に書き込みをしようと思う以前に見ていた対象の映像である可能性が高く、ユーザが書き込みをしたい対象が含まれている可能性が高い。探索されたインデックスが「ｓｔａｒｅ」もしくは「ｃｈａｓｅ」でなかった場合は、さらに一つ前のインデックスを探索し、同様の処理をする（ステップ２０１）。
【００１９】
ディスプレイ１６では、データ保存・探索部１４でインデックス「ｓｔａｒｅ」もしくは「ｃｈａｓｅ」が探索されると、そのインデックスデータに対応する映像、インデックスデータ、書き込み移動処理部２１においてオプティカルフローを用いて移動させた書き込みデータである移動処理済書き込みデータを抽出し（ステップ２０３）、該当するインデックスを先頭として映像の再生をする（ステップ２０４）。
【００２０】
探索されたインデックスから次のインデックスの前フレームまでが再生された時、書き込みする対象の映像が終了したものとみなし、書き込みモードをオフにし、書き込みモードを終了する（ステップ２０５）。
【００２１】
実際に映像への書き込みがされた場合、ディスプレイ１６上での書き込みデータを書き込み移動処理部２１に送る（ステップ２０６、２０４）。書き込みデータは、あるフレーム表示時から次フレーム表示時までに書き込みがあった場合、ディスプレイ上の書き込みがあった２次元座標を、映像データのタイムコードと同期する２次元座標データ群として取得したものである。書き込み移動処理部２１で書き込みが開始されたフレームに対するオプティカルフロー推定データを用いて、映像と書き込みの対応関係が保たれるように書き込みデータの座標データを変換して得られた座標データを映像データのタイムコードに対応させて、移動処理済書き込みデータとして保存する（ステップ２０７）。
【００２２】
図４は音データ選択時の処理のフローチャートである。この処理は、書き込みモードオン時の処理と平行して行われる。音データ選択ボタン１５が押された時、音データもしくはメモ音声データを交互に選択することができ（ステップ３０１〜３０４）、選択された音データもしくはメモ音声データをスピーカ１７で再生する。
【００２３】
図５はメモ音声入力時の処理のフローチャートである。移動済み書き込みデータがある場合、もしくは書き込みデータが入力中の場合、自動的に音声入力待ち状態が開始され（ステップ４０１〜４０３）、メモ用マイク１８が移動済み書き込みデータを持つフレームの再生時より５秒間、音声の入力を待つ（ステップ４０４）。この間に音声入力があった場合は、メモ音声データとして音声入力待ち状態を開始した移動処理済書き込みデータが対応している映像データのフレームに対応するデータとして保存する（ステップ４０５、４０６）。メモ音声データにはデータ容量や入力時間の制限はなく、メモ音声入力が開始された後、終了されるまで録音を続け、終了された時点で１データとし、映像の１フレームに対して、１データのみ入力することが可能である。既にメモ音声データ入力済みのフレームに対して、再度メモ音声データを入力した場合、入力済みのデータを入力中のデータによって上書きするか、入力中のデータを破棄するかを選択可能である（ステップ４０２、４０３）。
【００２４】
図６はデータ検索時の処理のフローチャートである。映像の再生時にインデックス探索ボタン１９が押された時、ディスプレイ１６では再生中の映像を停止し、再生中のフレームより前あるいは後ろのインデックスを探索し、探索された位置より映像・音データの再生を開始する（ステップ５０１、５０２）。また、書き込み探索ボタン２０が押された時は、再生中のフレームより前あるいは後ろの書き込みの位置を探索し、探索された位置より映像・音データの再生を開始する（ステップ５０３、５０４）。これらの機能により、ユーザが書き込みをしたい映像が再生されなかった場合、任意にユーザの書き込みをしたい映像を探索することが可能である。
【００２５】
図７はデータ保存・探索部１４においてデータファイルに保存されるデータの構成を示している。データ保存・探索部１４には、ビデオカメラ１１で取得され時系列にタイムコードに対応して映像・音データが保存される。オプティカルフロー推定部１２で算出されたフレーム画像中の各分割領域に対応するオプティカルフロー推定データが移動ベクトルとして保存され、インデクシング部１３で判定されたインデックスデータが「ｓｔａｒｅ」である場合は１が、「ｃｈａｓｅ」である場合は２が、「ｉｎｐｕｔ」である場合は３が、「ｒａｎｄｏｍ」である場合は４が、そしてインデクシングがなされなかった場合は０が保存され、書き込み移動処理部２１で書き込み時のフレーム画像上の点座標データである書き込みデータを元に変換された移動処理済書き込みデータの座標データが保存され、メモ用マイク１８で入力されたメモ音声データは対応するインデックスデータと共に保存される。オプティカルフロー推定データ、インデックスデータ、移動処理済書き込みデータ、メモ音声データのインデックスデータは映像・音データに対応するタイムコードに対応する形で、データファイルとして保存され、メモ音声データ自体は該インデックスデータと共にデータ保存・探索部１４の別領域に保存される。
【００２６】
なお、図１の映像への書き込み支援装置の機能は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【図面の簡単な説明】
【００２７】
【図１】本発明の映像への書き込み支援装置の基本構成と主要データの流れを示す図である。
【図２】ユーザが映像撮影を行い、書き込みを開始するまでの処理のフローチャートである。
【図３】書き込みモードがオンの時の処理のフローチャートである。
【図４】音データ選択時の処理のフローチャートである。
【図５】メモ音声入力時の処理のフローチャートである。
【図６】データ検索時の処理のフローチャートである。
【図７】データ保存・探索部１４においてデータファイルのデータ構成とメモ音声データへのインデックスデータの対応関係を示す図である。
【符号の説明】
【００２８】
１１    ビデオカメラ
１２    オプティカルフロー推定部
１３    インデクシング部
１４    データ保存・探索部
１５    音データ選択ボタン
１６    ディスプレイ
１７    スピーカ
１８    メモ用マイク
１９    インデックス探索ボタン
２０    書き込み探索ボタン
２１    書き込み移動処理部
１０１〜１０８、２０１〜２０８、３０１〜３０４、４０１〜４０６、５０１〜５０４          ステップ
【図１】
2005348350.tif 000003
【図２】
2005348350.tif 000004
【図３】
2005348350.tif 000005
【図４】
2005348350.tif 000006
【図５】
2005348350.tif 000007
【図６】
2005348350.tif 000008
【図７】
2005348350.tif 000009