【手続補正書】
【提出日】平成20年2月25日(2008.2.25)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像内のオブジェクトを処理する画像処理装置であって、
第１の画像内のオブジェクトに関するエッジ情報を抽出するエッジ抽出手段と、
該抽出されたエッジ情報に基づいて注目画素を取り出し、第２の画像内で該注目画素の位置に対応する所定長の線状画素を設定する線状画素設定手段と、
前記第１の画像内で取り出された該注目画素に対応する画素データと、前記第２の画像内で設定された前記線状画素の各画素データとを比較する画素データ比較手段と、
該比較結果に基づいて、前記第１の画素内で取り出された該注目画素に対応する前記第２の画像内の対応画素を特定する対応画素特定手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記線状画素設定手段は、前記第１の画像内で取り出された該注目画素を通過する前記オブジェクトに関するエッジの法線に平行な直線上の複数の画素を線状画素として設定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
エッジ情報に基づいて取り出されたすべての画素について、前記線状画素設定手段による線状画素の設定、前記画素データ比較手段による画素データ比較、並びに前記対応画素特定手段による前記第２の画像内の対応画素の特定を実行して、得られた対応画素群を基に、前記オブジェクトの前記第２の画像内におけるエッジ情報を抽出するエッジ情報抽出手段をさらに備える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記線状画素設定手段は、前記対応画素特定手段により特定された対応画素の位置に応じて線状画素の長さを決定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記対応画素特定手段は、前記線状画素上の画素のうちで前記第１の画像内で取り出された該注目画素に対応する画素データとの差が閾値以下となる画素データを持つものを対応画素として特定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第１の画像内のエッジ情報に基づいて取り出された隣接する複数の注目画素における前記画素データ比較手段による画素データの比較結果に基づいて、前記対応画素特定手段により特定された該複数の注目画素における対応画素を評価する対応画素評価手段をさらに備える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記対応画素特定手段により対応画素が特定されなかった場合、前記線状画素設定手段により設定した線状画素の長さを増して、前記画素データ比較手段による画素データの比較及び前記対応画素特定手段による対応画素の特定を改めて行う、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記対応画素特定手段により対応画素が特定されなかった場合、前記第１の画像及び前記第２の画像間での前記オブジェクトの動き量を推定して、該推定された動き量に基づいて前記線状画素設定手段により設定した線状画素にオフセットを与えて、前記画素データ比較手段による画素データの比較及び前記対応画素特定手段による対応画素の特定を改めて行う、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記対応画素特定手段により対応画素が特定されなかった場合、前記第１の画像及び前記第２の画像間で前記オブジェクトが等速で動いたと仮定して、該仮定された速度から算出される動き量に基づいて前記線状画素設定手段により設定した線状画素にオフセットを与えて、前記画素データ比較手段による画素データの比較及び前記対応画素特定手段による対応画素の特定を改めて行う、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記対応画素特定手段により対応画素が特定されなかった場合、前記第１の画像及び前記第２の画像間で前記オブジェクトが等加速で動いたと仮定して、該仮定された加速度から算出される動き量に基づいて前記線状画素設定手段により設定した線状画素にオフセットを与えて、前記画素データ比較手段による画素データの比較及び前記対応画素特定手段による対応画素の特定を改めて行う、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
画像内のオブジェクトを処理する画像処理方法であって、
第１の画像内のオブジェクトに関するエッジ情報を抽出するエッジ抽出ステップと、
該抽出されたエッジ情報に基づいて注目画素を取り出し、第２の画像内で該注目画素の位置に対応する所定長の線状画素を設定する線状画素設定ステップと、
前記第１の画像内で取り出された該注目画素に対応する画素データと、前記第２の画像内で設定された前記線状画素の各画素データとを比較する画素データ比較ステップと、
該比較結果に基づいて、前記第１の画素内で取り出された該注目画素に対応する前記第２の画像内の対応画素を特定する対応画素特定ステップと、
を具備することを特徴とする画像処理方法。
【請求項１２】
画像内に存在するオブジェクトに関する処理をコンピュータ上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは前記コンピュータを、
第１の画像内のオブジェクトに関するエッジ情報を抽出するエッジ抽出手段と、
該抽出されたエッジ情報に基づいて注目画素を取り出し、第２の画像内で該注目画素の位置に対応する所定長の線状画素を設定する線状画素設定手段と、
前記第１の画像内で取り出された該注目画素に対応する画素データと、前記第２の画像内で設定された前記線状画素の各画素データとを比較する画素データ比較手段と、
該比較結果に基づいて、前記第１の画素内で取り出された該注目画素に対応する前記第２の画像内の対応画素を特定する対応画素特定手段と、
として機能させることを特徴とする記憶媒体。
【請求項１３】
画像内に存在するオブジェクトに関する処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
第１の画像内のオブジェクトに関するエッジ情報を抽出するエッジ抽出手段と、
該抽出されたエッジ情報に基づいて注目画素を取り出し、第２の画像内で該注目画素の位置に対応する所定長の線状画素を設定する線状画素設定手段と、
前記第１の画像内で取り出された該注目画素に対応する画素データと、前記第２の画像内で設定された前記線状画素の各画素データとを比較する画素データ比較手段と、
該比較結果に基づいて、前記第１の画素内で取り出された該注目画素に対応する前記第２の画像内の対応画素を特定する対応画素特定手段と、
として機能させるためのコンピュータ・プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１５４
【補正方法】変更
【補正の内容】
【０１５４】
可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。例えば、図６、図２２〜図２４、図３０〜図３２の各フローチャートで示した処理手順をコンピュータ可読形式で記述した画像処理ソフトウェアを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。また、画像処理の結果として生成される緩衝領域データを、これら可搬型メディアを利用して機器間で物理的に流通・配布することができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１５８
【補正方法】変更
【補正の内容】
【０１５８】
また、本発明によれば、各画像フレーム内でのオブジェクトのエッジ情報を抽出するための処理時間や演算量を軽減することができる、優れた画像処理装置及び方法、記憶媒体、コンピュータ・プログラムを提供することができる。
【図面の簡単な説明】
【図１】
本発明の実現に供される画像処理装置１の機能構成を模式的に示したブロック図である。
【図２】
緩衝領域生成部３０によりオブジェクトのエッジ情報の緩衝領域を生成する様子を説明するための図である。
【図３】
緩衝領域生成部３０によりオブジェクトのエッジ情報の緩衝領域を生成する様子を説明するための図である。
【図４】
緩衝領域生成部３０によりオブジェクトのエッジ情報の緩衝領域を生成する様子を説明するための図である。
【図５】
緩衝領域生成部３０によりオブジェクトのエッジ情報の緩衝領域を生成する様子を説明するための図である。
【図６】
画像処理装置１上の動作によって動画像の画像フレームからオブジェクトのエッジ情報を抽出するための処理手順を概略的に示したフローチャートである。
【図７】
過去画像フレームから現在画像フレームの間でオブジェクト（人物など）が大きく動いたため、過去画像フレームのエッジ情報からは現在画像フレーム上で緩衝領域を探索できない様子を描写した図である。
【図８】
オブジェクトの大動き補正をした様子を描写した図である。
【図９】
図６に示したステップＳ４で実行されるオブジェクトの大動き補正の処理手順の一例を示した図である。
【図１０】
図６に示したステップＳ４で実行されるオブジェクトの大動き補正の処理手順の他の例を示した図である。
【図１１】
図６に示したステップＳ４で実行されるオブジェクトの大動き補正の処理手順の他の例を示した図である。
【図１２】
緩衝領域生成部３０の一構成例を示した図である。
【図１３】
エッジ抽出部３１の一構成例を示した図である。
【図１４】
エッジ抽出部３１の他の構成例を示した図である。
【図１５】
エッジ抽出部３１の他の構成例を示した図である。
【図１６】
過去画像フレームの一例を示した図である。
【図１７】
図１６に示す過去画像フレームに対してエッジ抽出部３１でエッジ抽出処理を行った結果を示した図である。
【図１８】
過去画像フレームにおけるオブジェクトのエッジ情報から取り出された注目画素を通過するエッジの法線を設定する様子を示した図である。
【図１９】
マッチング部３４による注目画素の対応画素を探索する処理を説明するための図である。
【図２０】
連続する複数の注目画素に設定された複数本（又は所定本数）の線状画素毎に線状画素を評価する処理手順を説明するための図である。
【図２１】
緩衝領域生成部３０の他の構成例を示した図である。
【図２２】
緩衝領域生成部３０による緩衝領域生成処理の手順の一例を示したフローチャートである。
【図２３】
緩衝領域生成部３０による緩衝領域生成処理の手順の他の例を示したフローチャートである。
【図２４】
緩衝領域生成部３０による緩衝領域生成処理の手順の他の例を示したフローチャートである。
【図２５】
現在画像フレームのエッジ情報を例示した図である。
【図２６】
図２５に示す現在画像フレームに対して生成された緩衝領域を示した図である。
【図２７】
過去画像フレームと現在画像フレームの各々から特定の領域を切り出して、その領域内での画素データ値を表示した図である。
【図２８】
注目画素との差分の閾値を１から５まで変えていったときに、図２７に示した各線状画素＃１〜＃５が「解」として判定されたか否かを表記した図である。
【図２９】
注目画素との差分の閾値を１から５まで変えていったときに、線状画素＃１〜＃５の範囲内で、「解」と判定された線状画素の個数と、注目画素との画素データ値の差分が閾値以下となった画素の個数をそれぞれ表記した図である。
【図３０】
注目画素との画素データ比較に用いる閾値を設定するための処理手順を示したフローチャートである。
【図３１】
エッジ抽出部４０において、緩衝領域生成部３０で生成された緩衝領域からオブジェクトのエッジを抽出する処理手順を示したフローチャートである。
【図３２】
画像処理装置１上の動作によって動画像の画像フレームからオブジェクトのエッジ情報を抽出するための処理手順の他の例を示したフローチャートである。
【図３３】
画像処理を実現可能な計算機システム１００の構成を模式的に示した図である。
【符号の説明】
１０…入力部
２０…フレーム・メモリ
３０…緩衝領域生成部
３１…エッジ抽出部
３２…注目点の法線設定部
３３…線分設定部
３４…マッチング部
３５…動き推定部
４０…エッジ抽出部
５０…出力部
６０…ユーザインターフェース部
１００…計算機システム
１０１…ＣＰＵ，１０２…メモリ
１０３…ディスプレイ・コントローラ
１０４…入力機器インターフェース
１０５…ネットワーク・インターフェース
１０７…外部機器インターフェース，１０８…バス
１１１…ディスプレイ，１１２…キーボード，１１３…マウス
１１４…ハード・ディスク装置，１１５…メディア・ドライブ