(57)【要約】【課題】本発明は、画像データ処理方法及び装置並びに記憶媒体に関し、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能とし、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることを目的とする。【解決手段】第１の被写体に関する第１の画像データと、第１の被写体とは異なる第２の被写体又は背景に関する第２の画像データとを含む画像データを格納し、第１の画像データの少なくとも一部に対して、各画素データが第１の画像データに含まれる確立を示す分布情報を格納し、第１の画像データを画像データから抽出する際に分布情報を付加するように構成する。【選択図】図５
2007026460.tif 000002
【特許請求の範囲】
【請求項１】
第１の被写体に関する第１の画像データと、第１の被写体とは異なる第２の被写体又は背景に関する第２の画像データとを含む画像データを格納するステップと、
該第１の画像データの少なくとも一部に対して、各画素データが該第１の画像データに含まれる確立を示す分布情報を格納するステップと、
該第１の画像データを該画像データから抽出する際に該分布情報を付加するステップとを含む、画像データ処理方法。
【請求項２】
前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含む、請求項１記載の画像データ処理方法。
【請求項３】
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて該第１の画像データの前記少なくとも一部を半透明処理することで合成するステップを更に含む、請求項１又は２記載の画像データ処理方法。
【請求項４】
前記画像データは動画を示す、請求項１〜３のいずれか１項記載の画像データ処理方法。
【請求項５】
第１の被写体に関する第１の画像データと、第１の被写体とは異なる第２の被写体又は背景に関する第２の画像データとを含む画像データを格納する第１の格納部と、
該第１の画像データの少なくとも一部に対して、各画素データが該第１の画像データに含まれる確立を示す分布情報を格納する第２の格納部と、
該第１の画像データを該画像データから抽出する際に該分布情報を付加する分布情報付加手段とを備えた、画像データ処理装置。
【請求項６】
前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含む、請求項５記載の画像データ処理装置。
【請求項７】
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて該第１の画像データの前記少なくとも一部を半透明処理することで合成する合成部を更に備えた、請求項５又は６記載の画像データ処理装置。
【請求項８】
前記画像データは動画を示す、請求項５〜８のいずれか１項記載の画像データ処理装置。
【請求項９】
コンピュータに画像の一部を抽出させるプログラムを格納したコンピュータ読み取り可能な記憶媒体であって、
第１の被写体に関する第１の画像データと、第１の被写体とは異なる第２の被写体又は背景に関する第２の画像データとを含む画像データを前記コンピュータに格納させる手段と、
該第１の画像データの少なくとも一部に対して、各画素データが該第１の画像データに含まれる確立を示す分布情報を前記コンピュータに格納させる手段と、  該第１の画像データを該画像データから抽出する際に前記コンピュータに該分布情報を付加させる手段とを備えた、記憶媒体。
【請求項１０】
前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含む、請求項９記載の記憶媒体。
【請求項１１】
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて該第１の画像データの前記少なくとも一部を半透明処理することで前記コンピュータに合成させる手段を更に備えた、請求項９又は１０記載の記憶媒体。
【請求項１２】
前記画像データは動画を示す、請求項９〜１１のいずれか１項記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ処理方法及び装置並びに記憶媒体に係り、特に境界が曖昧な被写体を画像から抽出するのに適した画像データ処理方法及び装置と、コンピュータにそのような画像データ処理方法を用いた画像データ処理を行わせるプログラムを格納したコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
マルチメディアシステム等においては、画像内の任意の被写体を抽出して処理を施すことが行われる。例えば、抽出された被写体は、他の画像と合成されて新たな画像を生成する。画像内の被写体を抽出する方法としては、被写体を含む円形や矩形等の所定形状の画像部分を抽出する方法や、被写体の境界線情報を生成して被写体をこの境界線情報に基づいて抽出する方法等がある。前者の方法の場合、被写体ではない部分も被写体と共に抽出されてしまうので、被写体を抽出して他の背景等と合成するような処理には合成画像が不自然なものとなるので適さない。これに対し、後者の方法の場合は、被写体のみが抽出されるので、被写体を抽出して他の背景等と合成するような処理にも適している。
【０００３】
しかし、静止画像中の被写体の場合、撮影時のシャッタスピード、フォーカス、カメラや被写体の移動の有無、背景の状況等に応じて、必ずしも被写体の境界が鮮明であるとは限らない。又、動画像中の被写体の場合は、各フレームにおいて被写体の領域が不定型であり、更に、撮影時のシャッタスピード、フォーカス、カメラや被写体の移動の有無、背景の状況等に応じて、必ずしも被写体の境界が鮮明であるとは限らない。
【０００４】
図１は、境界が不鮮明な被写体の一例を示す図であり、テニスプレイヤ４０１が持っているラケット４０２の境界が不鮮明である。同図の例では、ラケット４０２の動きが速いため、領域４０３においては、ラケット４０２であるか、テニスプレイヤ４０１であるか、或いは、背景であるかが曖昧である。
【特許文献１】特開平９−２１２６４８号公報
【特許文献２】特開平１０−１０８１９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
境界が不鮮明な被写体の場合、従来の方法では、例えば被写体であるラケット４０２の境界が不鮮明であるにも拘わらず、適当に境界を定義して被写体を画像から抽出することになるので、特に背景等と合成した場合には、境界が際だってしまい、合成画像が不自然なものになってしまうという問題があった。つまり、領域４０３を除くラケット４０２と思われる部分のみを抽出すると、ラケット４０２の動きが損なわれてしまい、又、領域４０３を含んでラケット４０２と思われる部分を抽出すると、他の背景等と合成した場合に領域４０３がこの他の背景等となじまず画像が不自然となってしまう。
【０００６】
他方、抽出した被写体の境界が際だってしまうのを防止するために、境界部分にグラデーション処理を施すことも考えられるが、この場合は、本来鮮明である境界部分までグラデーション処理を施されてしまうため、合成画像の画質が低下してしまうという問題があった。
【０００７】
そこで、本発明は、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能とし、画質を低下させることなく抽出画像を他の画像と合成することも可能とする画像データ処理方法及び装置並びに記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題は、第１の被写体に関する第１の画像データと、第１の被写体とは異なる第２の被写体又は背景に関する第２の画像データとを含む画像データを格納するステップと、該第１の画像データの少なくとも一部に対して、各画素データが該第１の画像データに含まれる確立を示す分布情報を格納するステップと、該第１の画像データを該画像データから抽出する際に該分布情報を付加するステップとを含む画像データ処理方法によって達成される。本発明によれば、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能となる。
【０００９】
前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含んでも良い。
【００１０】
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて該第１の画像データの前記少なくとも一部を半透明処理することで合成するステップを更に含んでも良い。この場合、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることができる。
【００１１】
前記画像データは動画を示しても良い。
【００１２】
上記の課題は、第１の被写体に関する第１の画像データと、第１の被写体とは異なる第２の被写体又は背景に関する第２の画像データとを含む画像データを格納する第１の格納部と、該第１の画像データの少なくとも一部に対して、各画素データが該第１の画像データに含まれる確立を示す分布情報を格納する第２の格納部と、該第１の画像データを該画像データから抽出する際に該分布情報を付加する分布情報付加手段とを備えた画像データ処理装置によっても達成される。本発明によれば、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能となる。
【００１３】
前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含んでも良い。
【００１４】
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて該第１の画像データの前記少なくとも一部を半透明処理することで合成する合成部を更に備えた構成としても良い。この場合、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることができる。
【００１５】
前記画像データは動画を示しても良い。
【００１６】
上記の課題は、コンピュータに画像の一部を抽出させるプログラムを格納したコンピュータ読み取り可能な記憶媒体であって、第１の被写体に関する第１の画像データと、第１の被写体とは異なる第２の被写体又は背景に関する第２の画像データとを含む画像データを前記コンピュータに格納させる手段と、該第１の画像データの少なくとも一部に対して、各画素データが該第１の画像データに含まれる確立を示す分布情報を前記コンピュータに格納させる手段と、該第１の画像データを該画像データから抽出する際に前記コンピュータに該分布情報を付加させる手段とを備えた記憶媒体によっても達成される。本発明によれば、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能となる。  前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含んでも良い。
【００１７】
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて該第１の画像データの前記少なくとも一部を半透明処理することで前記コンピュータに合成させる手段を更に備えても良い。この場合、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることができる。
【００１８】
前記画像データは動画を示しても良い。
【発明の効果】
【００１９】
本発明によれば、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能とし、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施例を図２〜図１２と共に説明する。
【実施例】
【００２１】
図２は、本発明になる画像データ処理装置の一実施例を示す斜視図である。画像データ処理装置の本実施例は、本発明になる画像データ処理方法の一実施例を採用する。本実施例では、画像データ処理装置は、パーソナルコンピュータ等の汎用コンピュータシステムで構成されている。
【００２２】
図２に示すコンピュータシステム１００は、ＣＰＵやディスクドライブ等を内蔵した本体部１０１、本体部１０１からの指示により表示画面１０２ａ上に画像を表示するディスプレイ１０２、コンピュータシステム１００に種々の情報を入力するためのキーボード１０３、ディスプレイ１０２の表示画面１０２ａ上の任意の位置を指定するマウス１０４、外部のデータベース等にアクセスして他のコンピュータシステムに記憶されているプログラム等をダウンロードするモデム１０５等を備えている。ディスク１１０等の可搬型記録媒体に格納されるか、モデム１０５等の通信装置を使って他のコンピュータシステムの記録媒体１０６からダウンロードされるプログラムは、コンピュータシステム１００に入力されてコンパイルされる。このプログラムは、コンピュータシステム１００のＣＰＵに本実施例の画像データ処理方法により画像データを処理させるプログラムを含む。  本発明になる記憶媒体の一実施例は、上記プログラムを格納したディスク１１０等の記録媒体である。尚、記録媒体は、ＩＣカードメモリ、フロッピィディスク、光磁気ディスク、ＣＤ−ＲＯＭ、各種半導体メモリデバイス等の取り外し可能な記録媒体に限定されず、モデムやＬＡＮ等の通信装置や通信手段を介して接続されるコンピュータシステムでアクセス可能な記録媒体を含む。
【００２３】
図３は、コンピュータシステム１００の本体部１０１内の要部の構成を示すブロック図である。同図中、本体部１０１は、大略バス２００により接続されたＣＰＵ２０１と、ＲＡＭやＲＯＭ等からなるメモリ部２０２と、ディスク１１０用のディスクドライブ２０３と、ハードディスクドライブ２０４とからなる。
【００２４】
尚、コンピュータシステム１００の構成は、図２及び図３に示す構成に限定されるものではなく、代わりに各種周知の構成を使用しても良い。
【００２５】
本実施例では、図４に示す動画像に対し、各フレームを任意の大きさの領域に分割し、各領域内の画素データ毎に、画素データが目的とする被写体に含まれている確立を示す分布情報を作成する。作成された分布情報は、例えば動画像に関する画像データの各フレームのヘッダ等に付加する。
【００２６】
図４に示す動画像の場合、テニスプレイヤ１が持っているラケット２の境界が不鮮明である。この場合、ラケット２の動きが速いため、領域３においては、ラケット２であるか、テニスプレイヤ１であるか、或いは、背景であるかが曖昧である。このような曖昧な領域３は、動画像に関する画像データの各フレームにおいて動画像中の被写体の領域が不定型であることと、動画像の撮影時のシャッタスピード、フォーカス、カメラや被写体の移動の有無、背景の状況等に応じて発生する。そこで、動画像を任意の大きさの領域１１に分割し、この領域１１内の画素データ毎に、画素データが目的とする被写体、即ち、この場合はラケット２に含まれている確立を示す図５に示す如き分布情報を作成する。図５では、説明の便宜上、領域１１が５×８画素からなるものとして、各画素データが目的とするラケット２に含まれている確立が分布情報として、各画素に対して作成される。図５では、ラケット２がブレている部分の画素データの値を１０％以上に設定し、ラケット２がブレていない部分の画素データの値を９０％以上に設定してある。分布情報は、例えばメモリ部２０２、ディスクドライブ２０３内のディスク１１０又はハードディスクドライブ２０４内のハードディスクに格納される。例えばモデム１０５を介して受信されるか、或いは、メモリ部２０２、ディスクドライブ２０３内のディスク１１０又はハードディスクドライブ２０４内のハードディスクから読み出された図４に示す動画像全体に関する入力動画像データからラケット２の画像データを抽出する際には、格納された分布情報を付加することで、ラケット２として抽出されるべき部分に関する画素データが抽出される。
【００２７】
尚、動画像全体を複数の任意の大きさの領域に分割して分布情報を各領域に対して作成しても、動画像の曖昧な部分を含む領域のみに対して分布情報を作成するようにしても良い。
【００２８】
このようにして、ディスプレイ１０２の表示画面１０２ａに図４に示す動画像のフレームを表示している時に、領域３内の画素をマウス１０４でクリックした場合、図５の如き分布情報中のクリックされた画素位置対応する分布情報が１０％以上であればこの画素が動いているラケット２の一部として認識され、９０％以上であれば単純にラケット２の一部として認識される。従って、分布情報に基づいて、動画像中の各被写体の有無を段階的に判別し、他の被写体への関連付けの強弱や合成の濃度等に利用することができる。又、複数の被写体が重複している部分において、どの被写体に重点を置くかを、分布情報の基準値を変更することにより、動的に設定することができる。
【００２９】
更に、抽出したラケット２等の被写体と、他の画像とを合成して新たな画像を生成する場合、抽出した被写体の境界部分の不明瞭な部分と明瞭な部分とに対して、上記分布情報に基づいて各画素の透明度を決定することで、抽出した被写体の境界部分が不自然に際だったりせずに自然な合成画像を生成することができる。
【００３０】
図６は、本実施例において、図４に示す動画像中のテニスプレイヤ１及びラケット２を抽出して、背景２０及び木２１からなる画像と合成した場合の合成画像を示す図である。この場合、領域３内の画素データに対しては、図５に示す分布情報に基づいて半透明処理が施されるので、領域３が図６の画像になじみ、あたかもラケット２が木２１の前で動いているかのように見える合成画像を得ることができる。
【００３１】
これに対し、従来の方法で図４に示す動画像中のテニスプレイヤ１及びラケット２を抽出して、背景２０及び木２１からなる画像と合成した場合の合成画像は、図７に示すようになる。図７中、図６と同一部分には同一符号を付し、その説明は省略する。この例では、領域３も全てラケット２として抽出されるので、ラケット２の部分、特に領域３が図７の画像になじまず、合成画像が非常に不自然となってしまうことがわかる。又、ラケット２のみを抽出して領域３は抽出しないと、合成画像ではラケット２の動きが表現できなくなり、不自然な合成画像しか得ることができない。
【００３２】
次に、本実施例におけるＣＰＵ２０１の動作を、図８〜図１１と共に説明する。
【００３３】
図８は、ＣＰＵ２０１のメインループの処理を説明するフローチャートである。同図中、ステップＳ１は、例えばモデム１０５を介して受信されるか、或いは、メモリ部２０２、ディスクドライブ２０３内のディスク１１０又はハードディスクドライブ２０４内のハードディスクから読み出された入力動画像データのフレームが進んだか否かを判定する。ステップＳ１の判定結果がＮＯであると、処理は後述するステップＳ４へ進む。他方。ステップＳ１の判定結果がＹＥＳであると、ステップＳ２は図９と共に後述するデコード処理を行う。又、ステップＳ３は、図１０と共に後述するレンダリング処理を行う。ステップＳ４は、マウス１０４で表示画面１０２ａ上の画素位置が指定されたか否かを判定し、判定結果がＮＯであれば、処理はステップＳ１へ戻る。他方、ステップＳ４の判定結果がＹＥＳであると、ステップＳ５は、図１１と共に後述するピッキング処理を行い、処理はステップＳ１へ戻る。
【００３４】
図９は、ステップＳ２のデコード処理を説明するフローチャートである。同図中、ステップＳ１１は、入力動画像データに分布情報が付加されているか否かを判定する。ステップＳ１１の判定結果がＮＯであると、処理は後述するステップＳ１３へ進む。他方、ステップＳ１１の判定結果がＹＥＳであると、ステップＳ１２は、分布情報の詳細を読み込む。ステップＳ１３は、読み込まれた分布情報に基づいて、動画像データをデコードして表示画面１０２ａに表示するべき画像データを生成し、処理は終了する。
【００３５】
図１０は、ステップＳ３のレンダリング処理を説明するフローチャートである。同図中、ステップＳ２１は、ＣＰＵ２０１内の画面サイズループカウンタをセットする。ステップＳ２２は、転送元カラーＳｒｃをセットし、ステップＳ２３は、転送先カラーＤｓｔをセットする。転送元カラーＳｒｃは、図４に示すテニスプレイヤ１及びラケット２を抽出する場合、これらのテニスプレイヤ１及びラケット２の色に関する情報である。又、転送先カラーＤｓｔは、抽出されたテニスプレイヤ１及びラケット２を図６に示す背景２０及び木２１からなる画像と合成する場合、背景２０及び木２１の色に関する情報である。
【００３６】
ステップＳ２４の判定結果がＮＯであると、ステップＳ２５は、合成画像において、抽出されたテニスプレイヤ１及びラケット２を元の転送先カラーＤｓｔで描画し、処理はステップＳ２７へ進む。他方、ステップＳ２４の判定結果がＹＥＳであると、ステップＳ２６は、分布情報に基づいて転送先カラーＤｓｔ及び転送先カラーＤｓｔの合成割合を決定し、合成画像において、抽出されたテニスプレイヤ１及びラケット２をこの決定された合成割合の色で描画し、処理はステップＳ２７へ進む。ステップＳ２７は、合成画像の全ての画素の描画が終了したか否かを判定し、判定結果がＮＯであれば処理はステップＳ２２へ戻り、判定結果がＹＥＳであれば処理は終了する。
【００３７】
図１１は、ステップＳ５のピッキング処理を説明するためのフローチャートである。同図中、ステップＳ３１は、入力動画像データに分布情報が付加されているか否かを判定する。ステップＳ３１の判定結果がＮＯであると、本実施例の分布情報を使用した画像データ処理は行われない。他方、ステップＳ３１の判定結果がＹＥＳであると、ステップＳ３２は、被写体識別閾値を取得する。図４及び図５で説明した場合、ラケット２に対する被写体識別閾値は、１０％である。ステップＳ３３は、マウス１０４で指定された目的画素の分布率を獲得する。ステップＳ３４は、ステップＳ３３で獲得された目的画素の分布率が被写体識別閾値を越えたか否かを判定する。ステップＳ３３の判定結果がＹＥＳであれば、目的画素は被写体、即ち、ラケット２の一部であると判定される。他方、ステップＳ３３の判定結果がＮＯであれば、目的画素は被写体、即ち、ラケット２の一部ではないと判定される。
【００３８】
ところで、上記分布情報を画像データに付加する方法は、特に限定されないが、画像データがＭＰＥＧ１ビデオストリームの場合、分布情報は図１２のように付加することができる。同図において、ＭＰＥＧ１ビデオストリームは、シーケンスヘッダ、分布情報ヘッダ、１フレーム目のピクチャヘッダ、１フレーム目の分布情報、１フレーム目のピクチャデータ、２フレーム目のピクチャデータ等から構成される。この場合、分布情報ヘッダは、分布情報ヘッダサイズ、分布情報圧縮形式及び分布情報ビット深さ（ｂｉｔ  ｄｅｐｔｈ）からなる。又、１フレーム目の分布情報は、分布情報サイズ及び分布情報圧縮データからなる。このようにして、シーケンスヘッダのユーザデータ拡張部分等に分布情報の格納形式を示す拡張データを付加し、夫々のピクチャデータの拡張部分に各フレームの分布情報を付加する。分布情報は、その用途に応じてビット深さを変更可能とし、ランレングス等による圧縮処理を施されて格納される。
【００３９】
尚、上記実施例では、動画像に対する画像データ処理を説明したが、静止画像中の被写体の場合も、撮影時のシャッタスピード、フォーカス、カメラや被写体の移動の有無、背景の状況等に応じて、必ずしも被写体の境界が鮮明であるとは限らないので、本発明を静止画像に対する画像データ処理にも同様に適用可能である。
【００４０】
以上、本発明を実施例により説明したが、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
【図面の簡単な説明】
【００４１】
【図１】境界が不鮮明な被写体の一例を示す図である。
【図２】本発明になる画像データ処理装置の一実施例を示す斜視図である。
【図３】コンピュータシステムの本体部内の要部の構成を示すブロック図である。
【図４】曖昧な領域を含む画像を示す図である。
【図５】分布情報を示す図である。
【図６】実施例において、図４に示す動画像中の被写体を抽出して、背景及び木からなる画像と合成した場合の合成画像を示す図である。
【図７】従来の方法で、図４に示す動画像中の被写体を抽出して、背景及び木からなる画像と合成した場合の合成画像を示す図である。
【図８】ＣＰＵのメインループの処理を説明するフローチャートである。
【図９】デコード処理を説明するフローチャートである。
【図１０】レンダリング処理を説明するフローチャートである。
【図１１】ピッキング処理を説明するフローチャートである。
【図１２】画像データがＭＰＥＧ１ビデオストリームの場合の分布情報の付加を説明する図である。
【符号の説明】
【００４２】
１００      コンピュータシステム
１０１      本体部
１０２ａ      表示画面
１０４      マウス
２０１      ＣＰＵ
２０２      メモリ部
２０３      ディスクドライブ
２０４      ハードディスクドライブ
【図１】
2007026460.tif 000003
【図２】
2007026460.tif 000004
【図３】
2007026460.tif 000005
【図４】
2007026460.tif 000006
【図５】
2007026460.tif 000007
【図６】
2007026460.tif 000008
【図７】
2007026460.tif 000009
【図８】
2007026460.tif 000010
【図９】
2007026460.tif 000011
【図１０】
2007026460.tif 000012
【図１１】
2007026460.tif 000013
【図１２】
2007026460.tif 000014
【手続補正書】
【提出日】平成18年10月10日(2006.10.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の被写体に関する第１の画像データと、第１の被写体とは異なる第２の被写体又は背景に関する第２の画像データとを含む動画の画像データを格納するステップと、
該第１の画像データの少なくとも一部に対して、各画素データが該第１の画像データに含まれる確率を示す分布情報を作成して格納するステップと、
該第１の画像データを該画像データから抽出する際に該分布情報を付加するステップとを含み、
該第１の画像データの少なくとも一部は、該第１の被写体であるか、或いは、該第２の被写体又は背景であるかが曖昧な領域である、画像データ処理方法。
【請求項２】
前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含む、請求項１記載の画像データ処理方法。
【請求項３】
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成することにより該第１の画像データの前記少なくとも一部を半透明処理するステップを更に含む、請求項１又は２記載の画像データ処理方法。
【請求項４】
前記画像データは動画を示す、請求項１〜３のいずれか１項記載の画像データ処理方法。
【請求項５】
第１の被写体に関する第１の画像データと、第１の被写体とは異なる第２の被写体又は背景に関する第２の画像データとを含む動画の画像データを格納する第１の格納部と、
該第１の画像データの少なくとも一部に対して、各画素データが該第１の画像データに含まれる確率を示す分布情報を作成して格納する第２の格納部と、
該第１の画像データを該画像データから抽出する際に該分布情報を付加する分布情報付加手段とを備え、
該第１の画像データの少なくとも一部は、該第１の被写体であるか、或いは、該第２の被写体又は背景であるかが曖昧な領域である、画像データ処理装置。
【請求項６】
前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含む、請求項５記載の画像データ処理装置。
【請求項７】
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成することにより該第１の画像データの前記少なくとも一部を半透明処理する合成部を更に備えた、請求項５又は６記載の画像データ処理装置。
【請求項８】
前記画像データは動画を示す、請求項５〜８のいずれか１項記載の画像データ処理装置。
【請求項９】
コンピュータに画像の一部を抽出させるプログラムを格納したコンピュータ読み取り可能な記憶媒体であって、該コンピュータを、
第１の被写体に関する第１の画像データと、第１の被写体とは異なる第２の被写体又は背景に関する第２の画像データとを含む動画の画像データを前記コンピュータに格納させる手段と、
該第１の画像データの少なくとも一部に対して、各画素データが該第１の画像データに含まれる確率を示す分布情報を前記コンピュータに作成させて格納させる手段と、
該第１の画像データを該画像データから抽出する際に前記コンピュータに該分布情報を付加させる手段と、
して機能させるためのプログラムを格納しており、
該第１の画像データの少なくとも一部は、該第１の被写体であるか、或いは、該第２の被写体又は背景であるかが曖昧な領域である、記憶媒体。
【請求項１０】
前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含む、請求項９記載の記憶媒体。
【請求項１１】
前記プログラムは、更に、
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成させることにより該第１の画像データの前記少なくとも一部を半透明処理させる手段として前記コンピュータを機能させる、請求項９又は１０記載の記憶媒体。
【請求項１２】
前記画像データは動画を示す、請求項９〜１１のいずれか１項記載の記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記の課題は、第１の被写体に関する第１の画像データと、第１の被写体とは異なる第２の被写体又は背景に関する第２の画像データとを含む動画の画像データを格納するステップと、該第１の画像データの少なくとも一部に対して、各画素データが該第１の画像データに含まれる確率を示す分布情報を作成して格納するステップと、該第１の画像データを該画像データから抽出する際に該分布情報を付加するステップとを含み、該第１の画像データの少なくとも一部は、該第１の被写体であるか、或いは、該第２の被写体又は背景であるかが曖昧な領域である画像データ処理方法によって達成される。本発明によれば、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能となる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成することにより該第１の画像データの前記少なくとも一部を半透明処理するステップを更に含んでも良い。この場合、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
上記の課題は、第１の被写体に関する第１の画像データと、第１の被写体とは異なる第２の被写体又は背景に関する第２の画像データとを含む動画の画像データを格納する第１の格納部と、該第１の画像データの少なくとも一部に対して、各画素データが該第１の画像データに含まれる確率を示す分布情報を作成して格納する第２の格納部と、該第１の画像データを該画像データから抽出する際に該分布情報を付加する分布情報付加手段とを備え、該第１の画像データの少なくとも一部は、該第１の被写体であるか、或いは、該第２の被写体又は背景であるかが曖昧な領域である画像データ処理装置によっても達成される。本発明によれば、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能となる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成することにより該第１の画像データの前記少なくとも一部を半透明処理する合成部を更に備えた構成としても良い。この場合、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
上記の課題は、コンピュータに画像の一部を抽出させるプログラムを格納したコンピュータ読み取り可能な記憶媒体であって、該コンピュータを、第１の被写体に関する第１の画像データと、第１の被写体とは異なる第２の被写体又は背景に関する第２の画像データとを含む動画の画像データを前記コンピュータに格納させる手段と、該第１の画像データの少なくとも一部に対して、各画素データが該第１の画像データに含まれる確率を示す分布情報を前記コンピュータに作成させて格納させる手段と、該第１の画像データを該画像データから抽出する際に前記コンピュータに該分布情報を付加させる手段として機能させるためのプログラムを格納しており、該第１の画像データの少なくとも一部は、該第１の被写体であるか、或いは、該第２の被写体又は背景であるかが曖昧な領域である記憶媒体によっても達成される。本発明によれば、画像中の被写体の境界部分が曖昧であっても、良好に被写体を画像から抽出可能となる。
前記第１の画像データの少なくとも一部は、該第１の被写体の境界領域を含んでも良い。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
前記プログラムは、更に、前記抽出され分布情報を付加された第１の画像データと、任意の画像に関する第３の画像データとを、該分布情報に基づいて決定された合成割合で合成させることにより該第１の画像データの前記少なくとも一部を半透明処理させる手段として前記コンピュータを機能させても良い。この場合、画質を低下させることなく抽出画像を他の画像と合成することも可能とすることができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
図４に示す動画像の場合、テニスプレイヤ１が持っているラケット２の境界が不鮮明である。この場合、ラケット２の動きが速いため、領域３においては、ラケット２であるか、テニスプレイヤ１であるか、或いは、背景であるかが曖昧である。このような曖昧な領域３は、動画像に関する画像データの各フレームにおいて動画像中の被写体の領域が不定型であることと、動画像の撮影時のシャッタスピード、フォーカス、カメラや被写体の移動の有無、背景の状況等に応じて発生する。そこで、動画像を任意の大きさの領域１１に分割し、この領域１１内の画素データ毎に、画素データが目的とする被写体、即ち、この場合はラケット２に含まれている確率を示す図５に示す如き分布情報を作成する。図５では、説明の便宜上、領域１１が５×８画素からなるものとして、各画素データが目的とするラケット２に含まれている確率が分布情報として、各画素に対して作成される。図５では、ラケット２がブレている部分の画素データの値を１０％以上に設定し、ラケット２がブレていない部分の画素データの値を９０％以上に設定してある。分布情報は、例えばメモリ部２０２、ディスクドライブ２０３内のディスク１１０又はハードディスクドライブ２０４内のハードディスクに格納される。例えばモデム１０５を介して受信されるか、或いは、メモリ部２０２、ディスクドライブ２０３内のディスク１１０又はハードディスクドライブ２０４内のハードディスクから読み出された図４に示す動画像全体に関する入力動画像データからラケット２の画像データを抽出する際には、格納された分布情報を付加することで、ラケット２として抽出されるべき部分に関する画素データが抽出される。