(57)【要約】【課題】  コンピュータの画像処理性能の向上は、種々の可能性をもたらした。【解決手段】  画像処理装置１０において、画像入力部１２は動画を構成する複数のフレームを取得して画像バッファ１４へ格納し、処理実行部１６は画像バッファ１４から再生対象となるフレームを再生対象として読み出す。画像変換部１８は、再生対象となるフレームに画像処理を施し、そのフレームを画像出力部２０がモニタ２４へ出力する。バッファ調整部２２は再生対象となった後のフレームを画像バッファ１４へ過去のフレームとして格納するとともに、それらのフレームを所定の時間間隔で間引く。【選択図】  図１
2005167518.tif 000002
【特許請求の範囲】
【請求項１】
時系列的に順序付けられて動画データを構成する複数のフレームを順次取得する画像入力部と、
前記取得した複数のフレームを一時的に格納する画像バッファと、
前記画像バッファから前記複数のフレームを順次読み出し、読み出したフレームを再生処理の対象とする処理実行部と、
前記再生処理の対象となった複数のフレームのうち少なくともいずれかを、前記再生処理の対象となった後、所定の時間間隔で間引く形で前記画像バッファから消去するバッファ調整部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記バッファ調整部は、前記再生処理の対象となった複数のフレームのうち、時間的により古いフレームほど、残存させるフレーム間の時間間隔が長くなるよう前記画像バッファから消去することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記バッファ調整部は、前記残存させるフレームをフレーム内圧縮およびフレーム間圧縮のうちいずれかの方式で圧縮して前記画像バッファに残存させることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記再生処理の対象である注目フレームに含まれる画像の画面内位置ごとに、前記画像バッファに残存するいずれかのフレームを読出元フレームに決定し、決定した読出元フレームから前記画面内位置に対応するデータを読み出してこれを合成する画像変換部と、
前記合成により再構成されたフレームを順次出力する画像出力部と、
をさらに備えることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記画像変換部は、前記画面内位置ごとにその座標に応じて前記読出元フレームを決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像変換部は、前記画面内位置ごとにその属性値に応じて前記読出元フレームを決定することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記画像変換部は、前記読出元フレームとして複数のフレームを決定するとともに、その複数のフレームを前記画面内位置ごとにその属性値に応じた割合で合成することを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記画像変換部は、前記注目フレームに含まれる画像の画面内位置ごとに、その属性値に応じて所定量の画素値を付加することを特徴とする請求項４に記載の画像処理装置。
【請求項９】
前記画像変換部は、前記注目フレームに含まれる画像の画面内位置ごとに、その位置の属性値に応じて演出的効果を施すことを特徴とする請求項４に記載の画像処理装置。
【請求項１０】
前記属性値は奥行き値であることを特徴とする請求項６から９のいずれかに記載の画像処理装置。
【請求項１１】
前記属性値は所望の画像パターンとの近似度であることを特徴とする請求項６から９のいずれかに記載の画像処理装置。
【請求項１２】
前記属性値は画像領域の時間的な変化の度合いを示す数値であることを特徴とする請求項６から９のいずれかに記載の画像処理装置。
【請求項１３】
前記属性値は画素値であることを特徴とする請求項６から９のいずれかに記載の画像処理装置。
【請求項１４】
前記画像入力部は、カメラに接続され、前記カメラで撮像された画像を順次取得してこれを前記画像バッファへ送ることを特徴とする請求項１から１３のいずれかに記載の画像処理装置。
【請求項１５】
時系列的に順序付けられて動画データを構成する複数のフレームを順次取得する画像入力部と、
前記取得した複数のフレームを一時的に格納する画像バッファと、
前記画像バッファから前記複数のフレームを順次読み出し、読み出したフレームを再生処理の対象とする処理実行部と、
前記再生処理の対象となった複数のフレームのうち少なくともいずれかを、前記再生処理の対象となった後、フレーム内圧縮およびフレーム間圧縮のうちいずれかの方式で圧縮して前記画像バッファに残すバッファ調整部と、
を備えることを特徴とする画像処理装置。
【請求項１６】
時系列的に順序付けられて動画データを構成する複数のフレームを順次取得するステップと、
前記取得した複数のフレームを画像バッファへ格納するステップと、
前記画像バッファから前記複数のフレームを順次読み出すステップと、
前記読み出したフレームを再生処理の対象とするステップと、
前記再生処理の対象となった複数のフレームのうち少なくともいずれかを、前記再生処理の対象となった後、所定の時間間隔で間引く形で前記画像バッファから消去するステップと、
を備えることを特徴とする画像処理方法。
【請求項１７】
前記消去するステップは、前記再生処理の対象となった複数のフレームのうち、時間的により古いフレームほど、残存させるフレーム間の時間間隔が長くなるよう前記画像バッファから消去することを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
時系列的に順序付けられて動画データを構成する複数のフレームを順次取得するステップと、
前記取得した複数のフレームを画像バッファへ格納するステップと、
前記画像バッファから前記複数のフレームを順次読み出すステップと、
前記読み出したフレームを再生処理の対象とするステップと、
前記再生処理の対象となった複数のフレームのうち少なくともいずれかを、前記再生処理の対象となった後、所定の時間間隔で間引く形で前記画像バッファから消去するステップと、
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１９】
時系列的に順序付けられて動画データを構成する複数のフレームを順次取得するステップと、
前記取得した複数のフレームを画像バッファへ格納するステップと、
前記画像バッファから前記複数のフレームを順次読み出すステップと、
前記読み出したフレームを再生処理の対象とするステップと、
前記再生処理の対象となった複数のフレームのうち少なくともいずれかを、前記再生処理の対象となった後、所定の時間間隔で間引く形で前記画像バッファから消去するステップと、
をコンピュータに実行させることを特徴とするコンピュータプログラムを格納したコンピュータにて読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理方法および画像処理装置に関する。この発明は特に、画像再生に利用するバッファリングの技術に関する。
【背景技術】
【０００２】
近年、コンピュータ技術の目覚ましい発展の下で、コンピュータがもつ画像処理性能は著しく向上している。一般消費者向けのＰＣ（パーソナルコンピュータ）やゲーム専用機であっても、かつては画像処理用ワークステーションなどのハイエンド機によって行われていた各種処理を容易に実現できるまでに至った。また、ＤＶＤ（Digital Versatile Disc）が現在のように広く利用されるようになったのは、専用の再生機や録画機の普及だけでなく、ＰＣやゲーム機への搭載によるところが大きい。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
画像処理性能の向上は、ＰＣやゲーム機の用途にこれまでとは別の角度からの可能性をもたらした。すなわち、一般消費者による利用を想定した動画再生、動画編集、オーサリングなどに用いる各種ツールが低価格で提供されるようになった。これらを使用すれば特殊な方法で再生したり、プロでなくても簡単な操作で手軽に動画を加工できる。こうした中、本発明者は、より簡便に動画を再生または加工でき、しかも斬新な映像を得ることのできる画期的な画像処理の手法を模索するに至った。
【０００４】
本発明者は以上の認識に基づき本発明をなしたもので、その目的は、斬新な画像を得ることにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明のある態様の画像処理装置は、時系列的に順序付けられて動画データを構成する複数のフレームを順次取得する画像入力部と、取得した複数のフレームを一時的に格納する画像バッファと、画像バッファから複数のフレームを順次読み出し、読み出したフレームを再生処理の対象とする処理実行部と、再生処理の対象となった複数のフレームのうち少なくともいずれかを、再生処理の対象となった後、所定の時間間隔で間引く形で画像バッファから消去するバッファ調整部と、を備える。
【０００６】
本態様の画像処理装置は、再生処理の対象となったフレームの一部を画像バッファへ残存させるので、その残存フレームを過去のフレームとして再利用することができる。この画像処理装置は、すべてのフレームを画像バッファへ残存させるのではなく、間引いた形で一部のフレームのみを画像バッファへ残存させるので、画像バッファを圧迫しない。この画像処理装置は、残存フレームを用いて逆順再生したり、残存フレームと最新フレームとの比較結果に基づいて最新フレームに特殊な画像処理を施すこともできる。
【０００７】
バッファ調整部は、再生処理の対象となった複数のフレームのうち、時間的により古いフレームほど、残存させるフレーム間の時間間隔が長くなる形で画像バッファから消去してもよい。この場合、残存フレームを逆順再生すると時間的に過去へ遡る速度が加速するような斬新な映像が得られる。また、より古いフレームを画像バッファを圧迫させずに残存させることができる。
【０００８】
本発明の別の態様もまた、画像処理装置である。この装置は、時系列的に順序付けられて動画データを構成する複数のフレームを順次取得する画像入力部と、取得した複数のフレームを一時的に格納する画像バッファと、画像バッファから複数のフレームを順次読み出し、読み出したフレームを再生処理の対象とする処理実行部と、再生処理の対象となった複数のフレームのうち少なくともいずれかを、再生処理の対象となった後、フレーム内圧縮およびフレーム間圧縮のうちいずれかの方式で圧縮して画像バッファに残すバッファ調整部と、を備える。
【０００９】
本態様の画像処理装置は、再生処理の対象となった複数のフレームの一部を、再び圧縮した形で画像バッファに残存させるので、その残存フレームを過去のフレームとして再利用することができる。この画像処理装置は、再生処理の対象となったフレームを圧縮させた状態で画像バッファへ残存させるので、画像バッファを圧迫しない。再生処理の対象となったフレームが例えばＭＰＥＧ（Motion Picture Expert Group）形式の動画における中間フレームであった場合、中間フレームを単体で残存させても前後のキーフレームが残存していなければ復号できない。そうした中間フレームに対し、この画像処理装置はフレーム内圧縮を施すことにより単体で復号できる状態にしてもよいし、他の残存フレームとの間でフレーム間圧縮を施すことにより復号できる状態にしてもよい。この画像処理装置は、残存フレームを用いて逆順再生したり、残存フレームと最新フレームとの比較結果に基づいて最新フレームに特殊な画像処理を施すこともできる。
【００１０】
本発明のさらに別の態様は、画像処理方法である。この方法は、時系列的に順序付けられて動画データを構成する複数のフレームを順次取得するステップと、取得した複数のフレームを画像バッファへ格納するステップと、画像バッファから複数のフレームを順次読み出すステップと、読み出したフレームを再生処理の対象とするステップと、再生処理の対象となった複数のフレームのうち少なくともいずれかを、再生処理の対象となった後、所定の時間間隔で間引く形で画像バッファから消去するステップと、を備える。
【００１１】
本態様の画像処理方法もまた、再生処理の対象となったフレームの一部を画像バッファへ残存させるので、その残存フレームを過去のフレームとして再利用することができる。この画像処理方法は、すべてのフレームを画像バッファへ残存させるのではなく、間引いた形で一部のフレームのみを画像バッファへ残存させるので、画像バッファを圧迫しない。この画像処理方法は、残存フレームを用いて逆順再生したり、残存フレームと最新フレームとの比較結果に基づいて最新フレームに特殊な画像処理を施すこともできる。
【００１２】
なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体、データ構造などの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１３】
本発明によれば、バッファの利用を効率化しつつ斬新な映像を得ることができる。
【発明を実施するための最良の形態】
【００１４】
実施例においては、再生済の動画フレームを画像バッファに蓄積することによって、過去のフレームを利用した特殊な画像処理を実現する。画像バッファには、過去のすべてのフレームが蓄積されるのではなく、所定のフレーム間隔で間引かれた形や圧縮された形で蓄積されるので、比較的長時間遡った過去のフレームまで残存させても画像バッファがさほど圧迫されない。過去のフレームを間引いたり圧縮したりするのは、人間の過去の記憶が曖昧であったりぼやけていたりするのと似ており、本実施例においても人間の記憶の感覚に近い手法を用いている。
【００１５】
（実施例１）
実施例１における画像処理装置は、過去のフレームを圧縮して画像バッファに蓄積する。このとき、時間的に古いフレームほど高い圧縮率で圧縮される。
【００１６】
図１は、実施例における画像処理装置の基本的な構造を示す機能ブロック図である。画像処理装置１０は、画像入力部１２、画像バッファ１４、処理実行部１６、画像変換部１８、画像出力部２０およびバッファ調整部２２を備える。画像処理装置１０は、ハードウェア的には、コンピュータのＣＰＵをはじめとする素子で実現でき、ソフトウェア的にはデータ保持機能、画像処理機能、描画機能のあるプログラムなどによって実現されるが、以下説明する図１ではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できる。
【００１７】
画像入力部１２は、ビデオカメラで撮影された動画データや、ＤＶＤ等の記録媒体に格納された動画データを原動画として取得する。この動画データは、時系列的に順序付けられた複数のフレームで構成され、例えばＭＰＥＧ等の動画形式で圧縮されている。画像入力部１２によりビデオカメラまたはＤＶＤから順次取得された原動画に含まれる複数のフレームは、画像バッファ１４へ一時的に格納される。画像バッファ１４は、書込データで一杯になったときに最も古いデータから順に上書きするリングバッファでもよい。画像入力部１２は、ビデオカメラに接続されてもよく、その場合ビデオカメラで撮像された画像を順次リアルタイムに取得して画像バッファ１４へ送る。なお、画像入力部１２自体がビデオ撮影機能、ＤＶＤ再生機能、ＡＤ変換機能等の動画データ取得機能を有してもよい。
【００１８】
処理実行部１６は、画像バッファ１４から複数のフレームを順次読み出し、その読み出したフレームを再生処理の対象とする。この再生処理の対象となるフレームを以下「注目フレーム」と呼ぶ。処理実行部１６は、注目フレームを復号する。注目フレームがキーフレームであった場合、処理実行部１６は注目キーフレームを単体で復号する。注目フレームが中間フレームであった場合、処理実行部１６は時間的に前または後のキーフレームを参照して注目フレームを復号する。
【００１９】
画像変換部１８は、処理実行部１６によって復号された注目フレームに対し、画像バッファ１４に格納された過去のフレームに基づく画像処理を施す。まず、画像変換部１８は、注目フレームに含まれる画像の画面内位置ごとに、画像バッファ１４に残存するいずれかの過去のフレームをデータの読出元に決定する（以下、読出元に決定されるフレームを「読出元フレーム」とする。）。ここでいう「画面内位置」は、ピクセル単位の位置であってもよいし、複数ピクセルを含んだ領域単位の位置であってもよい。すなわち、画像変換部１８は、ピクセルごとに読出元フレームを決定してもよいし、領域ごとに読出元フレームを決定してもよい。
【００２０】
画像変換部１８は、読出元フレームから画面内位置に対応するデータを読み出してこれを注目フレームの対応箇所に合成してもよいし、画面内位置ごとに読み出したデータを結合して一つの新たなフレームを構成してもよい。画面内位置ごとに異なる読出元フレームから読み出されたデータが合成または結合されるので、単に同一の過去のフレームから読み出して合成した画像と違って斬新な画像が得られる。
【００２１】
画像変換部１８がいずれのフレームからデータを読み出すかについては種々の決定方法がある。第１の決定方法として、画像変換部１８は、画面内位置ごとにその座標に応じて読出元フレームを決定してもよい。例えば画像変換部１８は、合成または結合で生成されるフレームにおいて、水平方向または垂直方向のピクセルラインごとに異なる読出元フレームからデータを取得してもよい。画像変換部１８は、水平方向のピクセルラインごとに異なる読出元フレームからデータを取得する場合に、例えば最上部に近いピクセルラインほどより新しいフレームからデータを読み出し、最下部に近いピクセルラインほどより古いフレームからデータを読み出してもよい。
【００２２】
第２の決定方法として、画像変換部１８は、画面内位置ごとにその属性値に応じて読出元フレームを決定してもよい。ここでいう画面内位置ごとの属性値は、例えば奥行き値、所望の画像パターンとの近似度、画像領域の時間的な変化の度合いを示す数値、画素値等のパラメータである。例えば画像変換部１８は、撮影ポイントから離れた被写体ほどより古いフレームからデータを取得する画像処理や、所望の画像パターンと近似する部位ほどより古いフレームからデータを取得するといった画像処理を実行してもよい。また画像変換部１８は、時間的な変化が大きい部位ほどより古いフレームからデータを取得する画像処理を実行してもよいし、画素値が小さい部位ほどより古いフレームからデータを取得する画像処理を実行してもよい。画像変換部１８は、複数の過去のフレームを読出元フレームに決定するとともに、その複数のフレームを画面内位置ごとにその属性値に応じた割合で合成してもよい。以上の各決定方法に基づく画像処理を経て合成または結合された新たなフレームは斬新な映像となる。なお、画像変換部１８が決定した読出元フレームがすでに画像バッファ１４から消去されて存在しなかった場合、画像変換部１８はその位置の前後で時間的に最も近いフレームを読出元フレームに決定してもよい。
【００２３】
画像出力部２０は、合成または結合により構成されたフレームを再生し、ビデオデータをモニタ２４へ、音声データをスピーカ２６へそれぞれ順次出力する。バッファ調整部２２は、再生処理の対象となった後のフレームを、フレーム内圧縮またはフレーム間圧縮のいずれかの方式で圧縮し、これを残存フレームとして画像バッファ１４に格納する。画像バッファ１４における残存フレームの格納場所は、これから再生処理の対象となるフレームが格納された領域とは別の独立した領域であってもよい。これから再生処理の対象となるフレームが格納される領域と再生処理がなされたフレームが格納される領域とは物理的に別の画像バッファまたはメモリで構成されてもよい。
【００２４】
バッファ調整部２２は、画像バッファ１４に格納された複数の残存フレームをそれぞれの圧縮率で圧縮する。圧縮方法としては、数ピクセルを単位として画素値の平均をとり、それら平均値を行列状に配置した低い解像度のフレームを生成する。バッファ調整部２２は、記録処理部１４に格納された複数の残存フレームをそれぞれの解像度で縮小することにより圧縮する。このとき、より古いフレームほど解像度が低くなるよう縮小する。これにより、画像バッファ１４に蓄積する過去のフレームの数が増加しても、データ量の増加を抑えることができる。また、ＪＰＥＧなどの圧縮技術を採用し、古いフレームほど圧縮率を高めたり、古いフレームほど色数を減らしてもよい。
【００２５】
図２は、実施例１における時系列的に連続する複数のフレームを模式的に示す。フレーム１００は最新のフレームであり、フレーム１０２、１０４、１０６、１０８、１１０、１１２、１１４、１１６、１１８の順に時間的に遡る。すなわち、フレーム１１８は最も古いフレームである。図示する通り、フレーム１００からフレーム１１８へ遡るにつれて画像サイズが小さくなっている。古いフレームほど画質が荒くぼやけた画像となるが、人間の記憶と同様で、必ずしも高精細であることが求められない用途に特に有用である。
【００２６】
図３は、フレーム再生から圧縮までの過程を示すフローチャートである。まず複数のフレームを画像入力部１２がビデオカメラやＤＶＤ等から取得し（Ｓ３０）、その取得したフレームを画像バッファ１４へ順次一時的に格納する（Ｓ３２）。バッファ調整部２２は、フレーム参照カウンタ値ｎを１にリセットし（Ｓ３４）、ｎフレーム分過去に遡ったフレームを参照し（Ｓ３６）、参照したフレームを１／ｎに圧縮する（Ｓ３８）。参照したフレームが画像バッファ１４に格納された最も古いフレームではない場合（Ｓ４０のＮ）、フレーム参照カウンタｎを１増加させ（Ｓ４２）、Ｓ３６へ戻る。参照したフレームが画像バッファ１４に格納された最も古いフレームであった場合（Ｓ４０のＹ）、フローを終了する。なお、Ｓ３８において、フレームを１／ｎに縮小する処理を説明したが、変形例におけるバッファ調整部２２は、二次関数的または指数関数的に変化する比率で各フレームを縮小してもよい。
【００２７】
（実施例２）
実施例２における画像処理装置は、過去のフレームを間引きした形で画像バッファに蓄積する。このとき、時間的に古いフレームほど隣接するフレームとの時間的間隔が開くよう間引きする。本実施例の画像処理装置の構成は、図１に示される各構成と同様である。ただし、実施例２におけるバッファ調整部２２は、画像バッファ１４に格納された複数の残存フレームのうちいずれかを、それらフレームの間隔が所定の時間間隔になるよう間引く形で画像バッファ１４から消去する。またバッファ調整部２２は、時間的により古いフレームほど、残存フレーム間の時間間隔が長くなるよういずれかの残存フレームを画像バッファ１４から消去する。これにより、残存フレームの増加を抑えながらより古いフレームまで画像バッファ１４に蓄積することができる。
【００２８】
より古いフレームほど隣接するフレームとの間隔が開くので、過去に遡るほどフレーム間隔が加速的に離れていく。したがって、画像変換部１８が上記の第１の決定方法にて読出元フレームを決定する場合、例えば、最上部に近いピクセル列ほどより新しい読出元フレームから読み出され、最下部に近づくほど古い読出元フレームから読み出され、隣接するピクセル列間の時間的間隔は最下部に近いほど離れている。以上のように、この画像処理装置１０は、再生処理済のフレームを画像バッファ１４へ残存させるので、過去のフレームを利用した画像処理を最新のフレームに対して施すことができる。また画像バッファ１４に残存させるフレームは時間間隔が間引かれた形となっているので、画像バッファ１４を圧迫させにくい。また、より古いフレームほど隣接するフレームとの間隔が開けられているので、画像バッファ１４を圧迫させずにより古いフレームをより長期間保存することができる。これにより、より古いフレームを利用した斬新な映像を得ることができる。
【００２９】
図４は、実施例２における時系列的に連続する複数のフレームを模式的に示す図である。図に向かって右側が現在を示し、図に向かって左側が過去を示す。注目フレーム５０は、現在再生する最新のフレームであり、注目フレーム５０より左側に位置する残存フレーム５１、５２、５３、５４、５５、５６は再生済である過去のフレームである。残存フレーム５１、５２、５３、５４、５５、５６のそれぞれの間には、動画再生前の段階では消去フレーム６０、６１、６２、６３、６４が存在していたが、動画再生後にこれらは消去されている。図においては消去フレーム６０、６１、６２、６３、６４を破線で示すが、これらのフレームはすでに消去済であることを表すとともに、動画再生前には通常のフレームとして存在していたことを示す。
【００３０】
残存フレーム５１は再生直後であるため、注目フレーム５０との間にまだ消去済のフレームが存在しない。残存フレーム５１と残存フレーム５２の間にはすでに消去された消去フレーム６０が挟まれている。残存フレーム５２と残存フレーム５３の間には、消去フレーム６０より多くの消去フレーム６１が挟まれている。残存フレーム５３と残存フレーム５４の間には、消去フレーム６１よりさらに多くの消去フレーム６２が挟まれている。残存フレーム５４と残存フレーム５５の間には、消去フレーム６２より多くの消去フレーム６３が挟まれている。残存フレーム５５と残存フレーム５６の間には、消去フレーム６３より多くの消去フレーム６４が挟まれている。このように、現在から過去へ遡るにつれてより多くのフレームが消去されており、残存するフレーム間の時間的距離は現在から過去へ遡るにつれてより長くなっている。図においては、現在から過去に向かって消去フレームの数が１枚、２枚、３枚と線形的に増加していくような形で模式的に示しているが、消去フレームの枚数の増加は線形的でなくてもよい。
【００３１】
図５は、時系列的に連続する複数のフレームと時間経過に沿ったフレーム構成の変化を模式的に例示する。図の横方向は画像バッファ１４に格納された複数の残存フレームの配列を示し、右側に位置するフレームほど時間的に新しく、左側に位置するフレームほど時間的に古い。図の縦方向は時間の経過を示し、上側が過去の時点における画像バッファ１４内のフレーム構成であり、下側が現時点における画像バッファ１４内のフレーム構成である。図において下方向へ進行するほど、すなわち時間が経過するにつれて画像バッファ１４内の残存フレーム数が増加している。例えば最上位に示す状態７０においては、３枚の再生済フレームが画像バッファ１４に格納されている。この時点では、一番右側の注目フレーム８０と右から３枚目のフレームの間にあった一つのフレームが消去されている。
【００３２】
図において下方向へ進行するにつれて再生済のフレームが２枚ずつ右側に追加されていく。状態７０からさらに２枚のフレームが再生済として追加された状態７１では、一番右側の注目フレーム８０と右から３枚目のフレームの間にあった一つのフレームがさらに消去されており、１、３、５枚目のフレームのみが残存している。さらに２枚のフレームが再生済となった状態７２では、一番右側の注目フレーム８０と右から３枚目のフレームの間にあった一つのフレームと、右から５枚目のフレームとがさらに消去されており、１、３、７枚目のフレームのみが残存している。この状態７２においては、１枚目と３枚目の間の消去フレーム数よりも３枚目と７枚目の間の消去フレーム数の方が多く、古いフレームほど多く連続して間引かれた形となっている。
【００３３】
さらに２枚のフレームが再生済となった状態７３では、一番右側の注目フレーム８０と右から３枚目のフレームとの間にあった一つのフレームがさらに消去されており、１、３、５、９枚目のフレームのみが残存している。この状態７３においては、１、３、５枚目の間の消去フレーム数よりも５枚目と９枚目の間の消去フレーム数の方が多く、古いフレームほど多く連続して間引かれた形となっている。さらに２枚のフレームが再生済となった状態７４では、一番右側の注目フレーム８０と右から３枚目のフレームとの間にあった一つのフレームと右から３枚目と７枚目のフレームの間にあった一つのフレームとがさらに消去されており、１、３、７、１１枚目のフレームのみが残存している。
【００３４】
残存フレームの枚数に着目すると、状態７０では２枚であった残存フレームが、状態７１で３枚、状態７２で３枚、状態７４で４枚、状態７５で５枚、状態７６で４枚、と枚数が変化しているが、枚数はさほど増加していない。最下部に位置する状態７７においても残存フレーム数は５枚である。このように、随時残存フレームが間引かれているため、より古いフレームを残存させつつ、その枚数は最小限に抑えられている。なお、隣接する残存フレームとの画素値の変化が所定の閾値より大きい場合には、上述の消去ルールにかかわらずその残存フレームを消去しない設定としてもよい。これにより、情報の欠落を少なくしてもよい。
【００３５】
以上のように、バッファ調整部２２は、２枚の再生済フレームが増加するたびに過去のフレームを新たに消去し、古いフレームほど隣接するフレームとの間の消去数が多くなるよう残存フレームを間引く。これにより、残存フレームの総数をさほど増加させずに、より古いフレームを保存しておくことができる。
【００３６】
図６は、フレーム再生から消去までの過程を示すフローチャートである。まず複数のフレームを画像入力部１２がビデオカメラやＤＶＤ等から取得し（Ｓ１０）、その取得したフレームを画像バッファ１４へ順次一時的に格納する（Ｓ１２）。処理実行部１６は画像バッファ１４から再生対象となるフレームを順次読み出し（Ｓ１４）、読み出したフレームに対して画像変換部１８は必要な画像処理を施し（Ｓ１６）、そのフレームを画像出力部２０がモニタ２４へ出力することにより再生する（Ｓ１８）。バッファ調整部２２は、再生済のフレームを圧縮し（Ｓ２０）、その圧縮フレームを画像バッファ１４へ格納する（Ｓ２２）。画像バッファ１４へ格納済のフレームのうち、いずれかのフレーム間隔が消去すべきか否かに関する所定条件に合致した場合（Ｓ２４のＹ）、条件に合致した残存フレームを画像バッファ１４から消去する（Ｓ２６）。いずれの残存フレームも隣接する残存フレームとの間隔が所定条件に合致しない場合（Ｓ２４のＮ）、Ｓ２６をスキップしていずれの残存フレームも消去しない。そのまま再生を継続する場合（Ｓ２８のＹ）、Ｓ１０へ戻り、Ｓ１０〜Ｓ２８の処理を繰り返す。再生を継続しない場合（Ｓ２８のＮ）、フローを終了する。
【００３７】
（実施例３）
実施例３における画像処理装置は、画像バッファに蓄積する過去のフレームを間引く際に、時間的な変化の度合いに応じてフレーム間の時間的間隔を決定する。本実施例の画像処理装置の構成は、図１に示される各構成と同様である。ただし、バッファ調整部２２は、隣接するフレームとの間で画素値を比較した場合に、その画素値の違いが大きいほどフレーム間の時間的間隔を小さくし、画素値の違いが小さいほどフレーム間の時間的間隔を大きくする。
【００３８】
図７は、実施例３における時系列的に連続する複数のフレームを模式的に示す図である。本実施例のバッファ調整部２２は、例えば隣接するフレーム間でそれぞれ数ピクセルずつに区切られたブロック同士を比較し、例えば画素値の平均同士の差をブロック同士の差とする。こうしてフレーム全体同士を比較した結果を算出し、その大きさに応じていずれかのフレームを消去すべきか否かを決定する。フレーム群１３２やフレーム群１３６のように変化の小さい複数のフレームは多く間引かれ、フレーム群１３０やフレーム群１３４のように変化の大きな複数のフレームはあまり間引かれない。したがって、情報の欠落を小さくしつつ、古いフレームを画像バッファ１４に蓄積することができる。
【００３９】
図８は、フレーム再生から消去までの過程を示すフローチャートである。Ｓ５０〜Ｓ５８の処理は、図６におけるＳ１０〜Ｓ１８と同じ処理である。Ｓ５８の処理後、バッファ調整部２２は、画像バッファ１４へ直前に格納された過去のフレームと再生済のフレームを比較し（Ｓ６２）、比較結果、すなわち変化の度合いに応じて再生済フレームを画像バッファ１４へ格納すべきかを判断する（Ｓ６４）。格納すべきと判断された場合（Ｓ６６のＹ）、画像バッファ１４へ再生済フレームを格納し（Ｓ６８）、格納しないと判断された場合（Ｓ６６のＮ）、Ｓ６８をスキップする。そのまま再生を継続する場合（Ｓ７０のＹ）、Ｓ５０へ戻り、Ｓ５０〜Ｓ７０の処理を繰り返す。再生を継続しない場合（Ｓ７０のＮ）、フローを終了する。
【００４０】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を挙げる。
【００４１】
実施例においては、画像バッファ１４に格納した残存フレームを画像処理において参照するフレームとして利用する例を説明した。変形例においては、画像処理で参照するフレーム以外の用途で画像バッファ１４に格納した残存フレームを利用してもよい。
【００４２】
実施例２においては、画像バッファ１４へ格納する過去のフレームを所定の間隔で間引く構成を説明した。変形例においては、過去のフレームを間引くとともに、各フレームの解像度を低くしてよりデータ量を低減させてもよい。この場合、古いフレームほど解像度を低くしてもよい。
【図面の簡単な説明】
【００４３】
【図１】実施例における画像処理装置の基本的な構造を示す機能ブロック図である。
【図２】実施例１における時系列的に連続する複数のフレームを模式的に示す図である。
【図３】フレーム再生から圧縮までの過程を示すフローチャートである。
【図４】実施例２における時系列的に連続する複数のフレームを模式的に示す図である。
【図５】時系列的に連続する複数のフレームと時間経過に沿ったフレーム構成の変化を模式的に例示する図である。
【図６】フレーム再生から消去までの過程を示すフローチャートである。
【図７】実施例３における時系列的に連続する複数のフレームを模式的に示す図である。
【図８】フレーム再生から消去までの過程を示すフローチャートである。
【符号の説明】
【００４４】
１０  画像処理装置、  １２  画像入力部、  １４  画像バッファ、  １６  処理実行部、  １８  画像変換部、  ２０  画像出力部、  ２２  バッファ調整部、  ５０  注目フレーム。
【図１】
2005167518.tif 000003
【図２】
2005167518.tif 000004
【図３】
2005167518.tif 000005
【図４】
2005167518.tif 000006
【図５】
2005167518.tif 000007
【図６】
2005167518.tif 000008
【図７】
2005167518.tif 000009
【図８】
2005167518.tif 000010
【手続補正書】
【提出日】平成16年11月18日(2004.11.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
バッファ調整部２２は、画像バッファ１４に格納された複数の残存フレームをそれぞれの圧縮率で圧縮する。圧縮方法としては、数ピクセルを単位として画素値の平均をとり、それら平均値を行列状に配置した低い解像度のフレームを生成する。バッファ調整部２２は、画像バッファ１４に格納された複数の残存フレームをそれぞれの解像度で縮小することにより圧縮する。このとき、より古いフレームほど解像度が低くなるよう縮小する。これにより、画像バッファ１４に蓄積する過去のフレームの数が増加しても、データ量の増加を抑えることができる。また、ＪＰＥＧなどの圧縮技術を採用し、古いフレームほど圧縮率を高めたり、古いフレームほど色数を減らしてもよい。