(57)【要約】【課題】映像と同時に色、音声以外の情報を、動画像の一部の画素に記録し、再生する際には補間して修正する映像への情報記録および再生方法を提供する。【解決手段】数値化された時間変動する量を記憶する手段と、前記数値を、動画像の１画素あたりのビット深度以下のビット深度の変動量に変換する手段と、次のフレームの変動量が、次のフレームの動画像のどの画素位置に記録されるかという記録画素位置情報を決定し記憶する手段と、初期フレームの変動データの記録位置変動量の記録ビット深度記録画素位置情報の記録ビット深度を、変動量の記録ビット深度と記録画素位置情報の記録ビット深度との合計が動画像の１画素あたりのビット深度以下であるように設定する手段と、変換後の変動量と記録画素位置情報とを動画像の所定の位置に記録する手段とデータを記録した動画像を通常の動画像のように記録する手段とを有する動画像への情報記録装置。【選択図】        図１
2004356968.tif 000002
【特許請求の範囲】
【請求項１】
動画像をフレームごとに入力し短期的に記憶する手段と、
前記動画像と時間的同期が取れている一種類または複数種類の数値化された時間変動する量を入力し短期的に記憶する手段と、
前記数値を、前記動画像の色情報を記録する際の１画素あたりのビット深度以下の所定のビット深度で表されうる数値（以下、変動量と称する）として変換する手段と、
次のフレームの変動量が、次のフレームの動画像のどの画素位置に記録されるかという情報（以下、記録画素位置情報と称する）を、所定のビット深度で表されうる数値範囲内で決定し記憶する手段と、
初期フレームの動画像における変動データの記録位置、変動量の記録ビット深度、および、前記記録画素位置情報の記録ビット深度を、前記変動量の記録ビット深度と、前記記録画素位置情報の記録ビット深度との合計が、動画像の色情報を記録する際の１画素あたりのビット深度以下であるように設定する手段と、
前記変換後の変動量と、前記記録画素位置情報とを、現在のフレームの動画像の所定の位置に記録する手段と、
前記データを記録した動画像を通常の動画像のように記録する手段と、
を有することを特徴とする動画像への情報記録装置。
【請求項２】
請求項１に記載の情報記録装置において、画素値として記録する変動データは、輝度情報と、変換後の変動量と、記録画素位置情報とを含むことを特徴とする動画像への情報記録装置。
【請求項３】
請求項１または２の情報記録装置により記録された映像を再生する情報再生装置であって、
動画像を読み込む手段と、
動画像のある画素位置に記録されている変動データから、再帰的に次のフレームにおける変動データが記録されている画素位置を取得する手段と、
前記再帰的に得られる画素位置から変動データを取得する手段と、
前記変動量を変換する手段と、
前記変換された変動量を記憶する手段と、
当該位置の画素値を周囲の画素値から補間する手段と、
前記補間後の動画像を記憶する手段と、
を有することを特徴とする動画像からの情報再生装置。
【請求項４】
情報記録装置における情報記憶方法であって、
動画像をフレームごとに入力し短期的に記憶するステップと、
前記動画像と時間的同期が取れている一種類または複数種類の数値化された時間変動する量を入力し短期的に記憶するステップと、
前記数値を、前記動画像の色情報を記録する際の１画素あたりのビット深度以下の所定のビット深度で表されうる数値（以下、変動量と称する）として変換するステップと、
次のフレームの変動量が、次のフレームの動画像のどの画素位置に記録されるかという情報（以下、記録画素位置情報と称する）を、所定のビット深度で表されうる数値範囲内で決定し記憶するステップと、
初期フレームの動画像における変動データの記録位置、変動量の記録ビット深度、および、前記記録画素位置情報の記録ビット深度を、前記変動量の記録ビット深度と、前記記録画素位置情報の記録ビット深度との合計が、動画像の色情報を記録する際の１画素あたりのビット深度以下であるように設定するステップと、
前記変換後の変動量と、前記記録画素位置情報とを、現在のフレームの動画像の所定の位置に記録するステップと、
前記データを記録した動画像を通常の動画像のように記録するステップと、
を有することを特徴とする動画像への情報記録方法。
【請求項５】
請求項４に記載の情報記録方法において、画素値として記録する変動データは、輝度情報と、変換後の変動量と、記録画素位置情報とを含むことを特徴とする動画像への情報記録方法。
【請求項６】
請求項４または５に記載の情報記録方法により記録された映像を再生する情報再生装置の情報再生方法であって、
動画像を読み込むステップと、
動画像のある画素位置に記録されている変動データから、再帰的に次のフレームにおける変動データが記録されている画素位置を取得するステップと、
前記再帰的に得られる画素位置から変動データを取得するステップと、
前記変動量を変換するステップと、
前記変換された変動量を記憶するステップと、
当該位置の画素値を周囲の画素値から補間するステップと、
前記補間後の動画像を記憶するステップと、
を有することを特徴とする動画像からの情報再生方法。
【請求項７】
請求項４乃至６のいずれか１項に記載の各ステップをコンピュータに実行させるためのプログラム。
【請求項８】
請求項４乃至６のいずれか１項に記載の各ステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能か記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディジタル動画像のある画素に、色情報ではなく他の情報を数値化して記録し、また、前記動画像を再生する際には当該画素から記録情報を取得しつつ、当該画素の色情報は周辺の画素の色情報から補間して再生することにより、複数の測定記録ファイルを用いることなく動画像と撮影時の各種データを同時に記録および再生できることを目的とする、動画像への情報記録装置および動画像からの情報再生装置、方法、プログラム、並びに記録媒体に関するものである。
【０００２】
【従来の技術】
映像撮影と同時に温度等の情報を測定し記録する手法として、以下のような方法がある。
【０００３】
特許文献１「映像データ保存装置」がある。これは、撮影と平行してセンサ等から取り込まれる各種信号の条件により、短期映像記録を長期映像に切り替えるものである。ここでは、センサから取り込まれた信号自体は、映像を記録するかどうかのトリガーとして用いており、信号自体の記録については言及されない。
【０００４】
いわゆる色情報ではないものを映像として記録する方法として、例えば特許文献２「撮像システム及びそれを用いた温度計測方法」がある。これは、物体の撮影と、該物体の温度分布を高精度に計測し、映像を処理して温度情報を計算し、映像と温度情報とを表示手段に表示することができるものであり、温度計測手段は映像処理手段からの各色光に対する出力信号のうち、少なくとも１つの出力信号が予め設定した値に達しないときに温度計測を中断又は温度計算を中断する制御手段を有することを特徴としている。
【０００５】
また、特許文献３「映像記録再生システム」においては、映像、音声信号以外の環境情報を、ビデオカメラの記録媒体である磁気テープ等の音声信号チャネルに記録することを特徴としている。
【０００６】
これらをまとめると、従来手法においては、動画像を記録する部分にはあくまで色情報を記録するものであり、赤外線カメラのように温度情報を色情報に変換することはあるが、色情報を記録している動画像部分に、色情報以外の情報を記録することはない。これは、動画像情報記録部に、色情報に対応したもの以外を記録すると、その部分の画質が周囲と異なるため、画像が劣化してしまうためである。
【０００７】
一般にビデオ撮影などにおいて、画像信号と音声信号以外の情報を記録する場合は、撮影日時やタイムコードなどの比較的小量な情報は同時に記録できるが、気温や湿度など、映像と同程度の長さを記録する場合、映像ファイル以外のファイルに記録するか、あるいは音声記録チャネルの一部を使用するなどの手段しかなかった。
【０００８】
【特許文献１】
特許第３３８７９５７号
【特許文献２】
特開２００１−２７２２７８号公報
【特許文献３】
特開平８−１１１８３８号公報
【０００９】
【発明が解決しようとする課題】
本発明の目的は、映像と同時に記録した色、音声以外の情報を、動画像の一部の画素に記録し、再生する際には該当画素の色情報が周囲に比べ不自然とならないように修正する映像への情報記録および再生方法を提供することにある。
【００１０】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
【００１１】
本発明の動画像への情報記録装置は、動画像をフレームごとに入力し短期的に記憶する手段と、前記動画像と時間的同期が取れている一種類または複数種類の数値化された時間変動する量を入力し短期的に記憶する手段と、前記数値を、前記動画像の色情報を記録する際の１画素あたりのビット深度以下の所定のビット深度で表されうる数値（以下、変動量と称する）として変換する手段と、次のフレームの変動量が、次のフレームの動画像のどの画素位置に記録されるかという情報（以下、記録画素位置情報と称する）を、所定のビット深度で表されうる数値範囲内で決定し記憶する手段と、初期フレームの動画像における変動データの記録位置、変動量の記録ビット深度、および、前記記録画素位置情報の記録ビット深度を、前記変動量の記録ビット深度と、前記記録画素位置情報の記録ビット深度との合計が、動画像の色情報を記録する際の１画素あたりのビット深度以下であるように設定する手段と、前記変換後の変動量と、前記記録画素位置情報とを、現在のフレームの動画像の所定の位置に記録する手段と、前記データを記録した動画像を通常の動画像のように記録する手段と、を有することを特徴とする。
【００１２】
また、本発明の動画像への情報記録装置は、前記の情報記録装置において、画素値として記録する変動データは、輝度情報と、変換後の変動量と、記録画素位置情報とを含むことを特徴とする。
【００１３】
また、本発明の動画像からの情報再生装置は、前記情報記録装置により記録された映像を再生する情報再生装置であって、動画像を読み込む手段と、動画像のある画素位置に記録されている変動データから、再帰的に次のフレームにおける変動データが記録されている画素位置を取得する手段と、前記再帰的に得られる画素位置から変動データを取得する手段と、前記変動量を変換する手段と、前記変換された変動量を記憶する手段と、当該位置の画素値を周囲の画素値から補間する手段と、前記補間後の動画像を記憶する手段と、を有することを特徴とする。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を詳細に説明する。
【００１５】
本発明の実施の形態では、動画像の色情報のビット深度と同じビット深度を持ち、変動量、記録画素位置その他を含めて前記ビット深度で表したものをまとめて変動データと称する。また、記録画素位置以外の情報を、変動量と称する。
【００１６】
本発明の実施の形態は、時間変動する情報を数値化したもの、即ち前記変動量を、映像ファイルの一部の画素に画素値として記録する手段を有することを最も主要な特徴とする。
【００１７】
時間変動する情報の例としては、温度、湿度、圧力、気圧、血圧、濃度、風力、光量等、測定可能な物理量が挙げられる。
【００１８】
図１は、本実施の形態の基本的な考え方を示している。映像と同じ時間軸に沿って変動する量がある時、本来色情報、あるいは輝度情報として記録すべき動画像の画素に、当該量を記録するものである。画像記録部に記録することにより、記録された画素位置に記録されるべき情報は失われてしまうものの、記録される画素位置の数が画像記録の画素数に比べて充分に少なければ、見た目の自然さを損なうことなく有用なデータを記録することが可能となる。
【００１９】
また、図２に示すように、なるべく画像情報の見た目の自然さを損なわないように、記録する画素位置を毎フレームごとに変更すれば、より効果的である。
【００２０】
図３は、本実施の形態の記録側の基本構成図である。本実施の形態は、
１００  基本情報設定機能、
１０１  動画像短期記憶機能、
１０２  変動量短期記憶機能、
１１１  変動量変換機能、
１１２  記録位置記憶機能、
１１３  変動データ記録機能、
１２１  動画像記録機能、
１３０  基本情報記録機能、
から構成される。
【００２１】
また、本実施の形態によって記録された映像ファイルを再生する際の基本構成図を図４に示す。図４に示すように、再生側の基本構成図は、
２００  基本情報読込機能、
２０１  動画像読込機能、
２０２  記録位置取得機能、
２０３  変動データ読込機能、
２０４  変動量変換機能、
２０５  変動量記憶機能、
２１１  画素値補間機能、
２１２  動画像記憶機能、
から構成される。
【００２２】
なお、音声記録部は本発明の手段とは直接関連がないため、本明細書では、音声に関わる部分の説明は省略する。もちろん、本発明により記録される映像に、従来の映像ファイルと同様、音声データを記録することを妨げるものではない。
【００２３】
本実施の形態の作用を例を挙げて説明する
本実施の形態を適用する際に、どのような変動量が記録されているか、データの型は何か、数値の範囲はどれほどか、記録数値の単位は何か、という情報は、あらかじめ既知であるものとする。これらの情報は本発明において本質的なものではないが、後述する基本情報に加えて別途データファイルとして記録しても良いし、あるいは、これらの情報を動画像のヘッダ部分に記録しても良く、再生時にこれを利用してもよい。
【００２４】
いずれにせよ、これらの情報は時間変動するデータのように、時系列データとして記録する必要はないため、その記録容量は少ない。
【００２５】
また、変動データの記録を行う画素位置は複数あっても良いが、１画素の場合の組み合わせで実現できるため、１画素の場合につき説明を行う。これを複数画素に拡張可能なことは明白である。
【００２６】
まず、図３における１００の基本情報設定機能において、基本情報、即ち、記録開始の１フレーム目のどの位置に１フレーム目の変動データを記録するか、という位置情報、および、変動量のビット深度、および、前記位置情報を記述するためのビット深度を設定する。例えば図５（ａ）に示すように、変動量と位置情報とを記録するような場合はその合計値が動画像の１画素あたりのビット深度に相当するように、また、請求項２のように変動量が輝度情報を含む場合は、図５（ｂ）に示すように、輝度情報記録部、変動量記録部、位置情報記録部の合計値が動画像の１画素あたりのビット深度に相当するように設定する。なお、説明を容易にするために、特に混乱しない限り、輝度情報も変動量に含めて考えることとする。
【００２７】
以下、映像の１画素あたりのビット深度をＢ、位置記録用ビット深度（水平方向）をＷ、位置記録用ビット深度（鉛直方向）をＨ、変動量記録用ビット深度をｄ＝Ｂ−（Ｗ＋Ｈ）とする。初期フレームの変動データ記録画素位置を（ｗ０，ｈ０）とする。
【００２８】
これらの情報は、本発明を利用した形態において全て共通であれば、特に外部ファイルとして記録する必要はないが、そうでない場合には１３０の基本情報記録機能によって出力する。
【００２９】
次に、１０１の動画像短期記憶機能によって、ビデオ信号等の動画像情報を短期的に記憶する。同時に、１０２の変動量短期記憶機能によって、ビデオ信号、音声信号以外の測定量を短期的に記憶する。この記憶の順序は重要ではないが、変動量は動画像と同じ周期で記憶されるものである。動画像よりも短い周期で記録したい場合は、動画像１フレームに記録する変動データの数を増やし、複数画素分記録すればよい。
【００３０】
次に、１１１の変動量変換機能により、１００の基本情報設定機能により設定された変動量用のビット深度にて変動量を変換する。
【００３１】
１１２の記録位置記憶機能は、次のフレームのどの画素位置に記録するかを決定し、当該画素位置を記憶する機能である。
【００３２】
１１３の変動データ記録機能は、１０１の動画像短期記憶機能により記憶された動画像の所定の画素位置に、１１１の変動量変換機能により変換されたデータと、１１２の記録位置記憶機能により決定された次のフレームの変動データ記録位置を記録する機能である。
【００３３】
そして、１２１の動画像記録機能により、１１３の変動データ記録機能の結果生成される動画像を、非圧縮または可逆圧縮にて外部記憶装置に記録・出力する。
以上により、本発明の目的である、時間変動する測定量を動画像の画素値として記録することが可能となる。
【００３４】
また、本発明によって記録された映像ファイルを再生する際には、以下の処理を行うこととなる。図４の２００基本情報読込機能により、再生する動画像に付随する基本情報を読込み、当該動画像の１画素あたりのビット深度Ｂ、位置記録用ビット深度（水平方向）Ｗ、位置記録用ビット深度（鉛直方向）Ｈ、変動量記録用ビット深度ｄ＝Ｂ−（Ｗ＋Ｈ）、初期フレームの変動データ記録画素位置（ｗ０，ｈ０）を取得する。
【００３５】
次に、２０１の動画像読込機能により動画像を読込み、１フレームずつ記憶する。
【００３６】
次に２０２の記録位置取得機能により、記憶したフレームのどの画素位置に変動データが記録されているかを取得する。初期フレームについては画素位置（ｗ０，ｈ０）が既知である。２フレーム目は、初期フレームの変動データから取得可能であり、以降、再帰的に取得することになる。
【００３７】
次に２０３の変動データ読込機能により、記録画素位置から変動データを読み込む。２フレーム目以降は、この変動データから、２０２の記録位置取得機能により記録画素位置を取得することとなる。
【００３８】
次に、２０４の変動量変換機能により、２０３の変動データ読込機能により読み込んだ変動データから測定された量を取得し、利用可能な形に変換し、２０５の変動量記憶機能により記憶する。どのような形に変換するか、記憶した量をどのように利用するかは、本発明の利用形態に依存し、本発明の範疇ではない。
【００３９】
次に、２１１の画素値補間機能により、前記変動量が記録されていた部分の色情報を決定する。その際、例えば周囲の画素値の平均を取っても良いし、変動データの記録位置が直前のフレームと異なる場合は、直前のフレームの同じ画素位置の色情報を用いても良い。この補間の方法も本発明にとって本質的ではない。
【００４０】
次に２１２の動画像記憶機能により、補間された動画像を記憶する。記憶された動画像をどのように利用するかは、本発明の利用形態に依存する。
【００４１】
なお、以上において、画素位置がフレームごとに変動する場合、今回のフレームに前回のフレームの記録画素位置を記録する方法もありえる。この場合、再生時に、次に示す実施例のように逐次的に情報を読み込んでいくのではなく、一度最終フレームまで読み込んだ上で、情報を取り出す処理を行うことになるが、その処理は次の再生側の実施例と同様になり、フレーム番号が先頭フレームからのインクリメントではなく、最終フレームからのデクリメントになるのみである。
【００４２】
［実施例］
以下、本発明の実施例を示す。
まず、記録側の実施例について説明する。
画像上の位置は、左上隅を原点に取り、右にｘ軸、下向きにｙ軸とし、画像上の画素の位置は原点からの整数値で表せるものとする。
【００４３】
本実施例では、映像の１画素あたりのビット深度を２４ビット、位置記録用ビット深度（水平方向）を４ビット、位置記録用ビット深度（鉛直方向）を４ビット、データ記録用ビット深度を１６ビット（２４−（４＋４））とし、変動量は１６ビットの範囲内で記述できるものとする。初期フレームでの記録位置を（ｗ０，ｈ０）＝（０，０）とする。これらの情報は、記録動画像の付随ファイルとして別ファイルに出力する。
【００４４】
例えば、センサーおよびビデオカメラが計算機に接続されているものとする。センサーからの信号は、ビデオカメラと同期が取れており、例えば１／３０秒毎に計算機に入力するものとする。
【００４５】
以下、フレーム番号をｉ（ｉ＝０，１，・・・）で表し、ｉ番目の動画像をＩ（ｉ）、ｉ番目の変動量をＤ（ｉ）とおく。
【００４６】
記録開始後のステップにおいて、動画像Ｉ（０）を取得し、短期記憶装置上に記憶する。同時に、センサーからの信号も記憶されている。センサーからの信号は、この段階では何ビットで表現されていても良い。この際の変換の手法は本発明の本質とするところではない。
【００４７】
この段階で、センサー信号を１６ビットに変換し、これをＤ’（０）と表す。次のフレームの映像信号Ｉ（１）を取得し、短期記憶装置上に記憶する。同時に、センサーからの信号も記憶する。
【００４８】
次のフレームＩ（１）のどこに記録するかを決定する。例えば、本実施例では、水平方向、鉛直方向ともに４ビット（１６）で表すので、現在の記録位置（０，０）から、縦横１６画素の距離以内にある画素位置を決定する。この画素位置の決定手段は本発明の本質ではないが、例えば、再生時にこの画素部分の色情報を補間するため、周囲の色情報と同じような色情報を持っていることが望ましい。この位置を（ｗ１，ｈ１）とする。
【００４９】
この段階で、（ｗ０，ｈ０）の位置に書くべき情報が揃ったため、画像Ｉ（０）の位置（ｗ０，ｈ０）に、ｗ１、ｈ１、Ｄ’（０）を書き込む。
【００５０】
以下、この処理を繰り返すこととなる。この処理手順を以下に示す：
１  初期記録位置Ｐ（０）を設定する。
２  映像Ｉ（０）を取得し、記憶する。
３  情報Ｄ（０）を取得し、記憶する。
４  映像Ｉ（０）上の記録画素位置Ｐ（ｉ）を記憶する。
５  ｉ＝０とおき、以下を繰り返す。
６  情報Ｄ（ｉ）を指定されたビット深度ｄで記述し、これをＤ’（ｉ）とする。
７  映像Ｉ（ｉ＋１）を取得し、記憶する。
８  情報Ｄ（ｉ＋１）を取得し、記憶する。
９  映像Ｉ（ｉ＋１）上の記録画素位置Ｐ（ｉ＋１）を決定する。
１０  映像Ｉ（ｉ）上の記録画素位置Ｐ（ｉ）を参照する。
１１  映像Ｉ（ｉ）上の位置Ｐ（ｉ）に、Ｄ’（ｉ）とＰ（ｉ＋１）とを上書きする。
１２  映像Ｉ（ｉ）を書き出す。
１３  処理を終了するなら終了し、しない場合はｉをインクリメントし、７に戻る。
【００５１】
図６はこの処理手順を示したフローチャートである。
図６において、動画像ビット深度（Ｂ）を設定し（６０１）、変動量ビット深度（ｄ）を設定し（６０２）、位置情報ビット深度（Ｗ＋Ｈ）を設定し（６０３）、フレーム番号ｉを０として（６０４）、初期フレームでの記録画素位置（Ｐ（ｉ＝０））を設定する。ここまでのステップは図３の１００の基本情報設定機能によって実行される。そして、１３０の基本情報記録機能によって、変動量ビット深度（ｄ）、位置情報ビット深度（Ｗ＋Ｈ）、初期フレームでの記録画素位置（Ｐ（ｉ＝０））が記録される（６０６）。そして、図３の１０１の動画像短期記憶機能により最初のフレームの動画像Ｉ（ｉ＝０）が読み込まれ記憶され（６０７）、１０２の変動量短期記憶機能により最初のフレームに記録する変動量Ｄ（ｉ＝０）が読み込まれ記憶される（６０８）。
【００５２】
次に、ステップ６０９以降のループに入る。図３の１１１の変動量変換機能により変動量Ｄ（ｉ）がＤ’（ｉ）に変換され、１０１の動画像短期記憶機能により次のフレームの動画像Ｉ（ｉ＋１）が読み込まれ記憶され（６１０）、１０２の変動量短期記憶機能により変動量Ｄ（ｉ＋１）が読み込まれ記憶され（６１１）、ｉ＝ｉ＋１として、ステップ６０９に戻る。
【００５３】
一方、図３の１１２の記録位置記憶機能により次のフレームの記録位置Ｐ（ｉ＋１）が決定され記憶される（６１２）。そして、１１３の変動データ記録機能により次のフレームの記録位置Ｐ（ｉ＋１）と変換されたｉ番目の変動量Ｄ’（ｉ）がｉ番目のフレームの動画像Ｉ（ｉ）の記録位置Ｐ（ｉ）に記録される（６１３）。次に、１２１の動画像記録機能によりｉ番目のフレームの動画像Ｉ（ｉ）が記録される（６１４）。ここで記録される動画像Ｉ（ｉ）は、記録位置Ｐ（ｉ）以外の画素は通常の動画の画素と同じものであるが、記録位置Ｐ（ｉ）には、ステップ６１３による処理により、次のフレームの記録位置Ｐ（ｉ＋１）と変換されたｉ番目の変動量Ｄ’（ｉ）が記録されている。
【００５４】
なお、記録画素位置を全く変更しない場合は、この処理の特殊な場合であり、Ｗ＝Ｈ＝０とおいて、以下のような処理の流れになる：
１  初期記録位置Ｐ（０）を設定する。
２  ｉ＝０とおき、以下を繰り返す。
３  映像Ｉ（ｉ）を取得し、記憶する。
４  情報Ｄ（ｉ）を取得し、記憶する。
５  映像Ｉ（ｉ）上の記録画素位置をＰ（ｉ）＝Ｐ（０）とする。
６  映像Ｉ（ｉ）上の位置Ｐ（ｉ）に、Ｄ’（ｉ）を上書きする。
７  映像Ｉ（ｉ）を書き出す。
８  処理を終了するなら終了し、しない場合はｉをインクリメントし、３に戻る。
次に、再生側の実施例について説明する。
【００５５】
再生側においては、映像の１画素あたりのビット深度２４ビット、位置記録用ビット深度（水平方向）４ビット、位置記録用ビット深度（鉛直方向）４ビット、データ記録用ビット深度１６ビット、および、初期記録画素位置（０，０）については、基本情報ファイルを読み込むことで取得する。
本実施例では、画素値を周囲の色情報の平均値により補間するものとする。
【００５６】
動画像を読込み、１フレーム目の色情報を取得し記憶する。その際、（０，０）に記録されているデータを変換し、１フレーム目の情報Ｄ’（０）を取得する。同時に２フレーム目の情報記録画素位置Ｐ（１）を取得する。
【００５７】
次に、（０，０）位置の色情報を、周囲の画素値の平均値を取ることにより、補間する。（０，０）の場合、隣接する画素は（１，０）、（１，１）、（０，１）の３点なので、この３点の色情報の平均値としてもよい。例えば、周囲に９画素あるような場合は９画素分の平均値としてよいし、直前のフレームの記録画素位置が異なる場合、直前のフレームの同じ位置にある色を用いても良い。いずれにせよ、この補間方法は本究明の本質的な問題ではない。
【００５８】
補間後に、１フレーム目の画像情報、１フレーム目に付随する変動情報を出力し、記憶部へ記憶する。また、２フレーム目の情報記録画素位置Ｐ（１）を記憶部へ記憶する。
【００５９】
以上を繰り返すことにより、動画像、および、動画像のある画素に記録された情報を取得し、利用することが可能となる。
１  画素値補間方法を設定する。
２  必要があればデータファイルを読み込む。
３  Ｂ、Ｗ、Ｈ、ｄを得る。
４  初期記録位置Ｐ（０）を取得する。
５  ｉ＝０とおき、以下を繰り返す。
６  映像Ｉ（ｉ）を取得し、記憶する。
７  Ｉ（ｉ）上のＰ（ｉ）からＤ’（ｉ）を取得し、記憶する。
８  Ｄ’（ｉ）からデータおよび次のフレームでの記録位置Ｐ（ｉ＋１）を得る。
９  Ｐ（ｉ＋１）を記憶する。
１０  映像Ｉ（ｉ）上の位置Ｐ（ｉ）の色情報を補間する。
１１  映像Ｉ（ｉ）を書き出す。
１２  ｉをインクリメントし、６に戻る。
【００６０】
図７はこの処理手順を示したフローチャートである。
図７において、まず、変動データの記録位置の画素を補間する補間方法を設定する（７０１）。そして、図４の２００の基本情報読込機能により基本ファイルが読み込まれる、すなわち、変動量ビット深度（ｄ）、位置情報ビット深度（Ｗ＋Ｈ）、初期記録画素位置（Ｐ（ｉ＝０））が取得される（７０２）。次に、２０１の動画像読込機能により最初の動画像が読み込まれ（７０３）、フレーム番号ｉを０にして（７０４）、７０５以降のループに入る。
【００６１】
図３の２０１の動画像読込機能によりｉ番目のフレームの動画像Ｉ（ｉ）が読み込まれ記憶される（７０５）。２０２の記録位置取得機能によりｉ番目のフレームの記録位置Ｐ（ｉ）上のデータが取得され（７０６）、このデータから次のフレームの記録位置Ｐ（ｉ＋１）が取得され記録される（７０７）。そして、２０３の変動データ読込機能によりｉ番目のフレームに記録された変換された変動量Ｄ’（ｉ）が取得され（７０８）、２０４の変動量変換機能により変換された変動量Ｄ’（ｉ）が変換前の変動量Ｄ（ｉ）に変換され（７０９）、２０５の変動量記憶機能により変動量Ｄ（ｉ）が記憶される（７１０）。
【００６２】
一方、図３の２１１の画素値補間機能によりｉ番目のフレームの記録位置Ｐ（ｉ）の色情報を補間し（７１１）、変動データが記録されていた記録位置Ｐ（ｉ）に補間した色情報を上書きし（７１２）、ｉ番目のフレームの動画像Ｉ（ｉ）を記憶する（７１３）。
【００６３】
なお、以上のフローチャートに基づいて、コンピュータプログラムを作成することができ、また、そのプログラムを記録媒体に記録することも、ネットワークを通じて提供することも可能であることは明らかである。
【００６４】
以上、本発明者によってなされた発明を、前記実施の形態および実施例に基づき具体的に説明したが、本発明は、前記実施の形態および実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００６５】
【発明の効果】
以上説明したように、本発明は、映像と同期した時間変動する情報を数値化したものを、映像ファイルの一部の画素に画素値として記録することにより、前記時間変動する情報を別ファイルとして記録する必要がなくなり、また、前記映像ファイルを再生する際に、記録された変動情報を取り出しながら、動画像自体の見た目の自然さを損なうことなく再生可能である、という効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態の基本概念図を示す図である。
【図２】本発明の実施の形態の記録位置が変動する例を示す図である。
【図３】本発明の実施の形態の基本構成図（記録部）を示す図である。
【図４】本発明の実施の形態の基本構成図（再生部）を示す図である。
【図５】変動量記録データ構造を示す図である。
【図６】本発明の実施例の処理の流れ（記録部）を示す図である。
【図７】本発明の実施例の処理の流れ（再生部）を示す図である。
【符号の説明】
１００…基本情報設定機能、１０１…動画像短期記憶機能、１０２…変動量短期記憶機能、１１１…変動量変換機能、１１２…記録位置記憶機能、１１３…変動データ記録機能、１２１…動画像記録機能、１３０…基本情報記録機能、２００…基本情報読込機能、２０１…動画像読込機能、２０２…記録位置取得機能、２０３…変動データ読込機能、２０４…変動量変換機能、２０５…変動量記憶機能、２１１…画素値補間機能、２１２…動画像記憶機能。
【図１】
2004356968.tif 000003
【図２】
2004356968.tif 000004
【図３】
2004356968.tif 000005
【図４】
2004356968.tif 000006
【図５】
2004356968.tif 000007
【図６】
2004356968.tif 000008
【図７】
2004356968.tif 000009