(57)【特許請求の範囲】
【請求項１】
背景画像と、この背景画像と同じ背景で抽出対象を含む抽出対象画像とを入力する画像入力手段と、
前記背景画像と前記抽出対象画像のピクセル値の差分に基づいて非背景ピクセルと背景ピクセルを有するシルエット画像を作成する画像分離手段と、
前記シルエット画像を入力し、この入力画像のラインごとに非背景ピクセルに囲まれた領域をマークし、このマーク領域が隣接する行または列の背景ピクセルに接する場合は、当該マーク領域を背景領域に順次変更していき、残ったマーク領域を非背景領域に変換してシルエット画像を編集する背景ノイズ除去手段と、
数値化された非背景度に基づいて、前記背景ノイズ除去手段によって編集されたシルエット画像の画像領域の端からピクセルごとに当該ピクセルの近傍領域の非背景度の平均化処理を順次行い、その後画像領域範囲を補正するノイズ緩和手段と、
前記平均化処理された非背景度と前記抽出対象画像をもとにα合成用画像を作成し、別に入力された背景画像と共に出力する画像出力手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記画像分離手段によって作成されたシルエット画像のエッジ抽出画像を作成し、当該エッジ抽出画像と前記シルエット画像とを合成して前記シルエット画像の非背景領域を拡大させることによってエッジノイズを背景ノイズに変換する前処理手段を備え、
前記背景ノイズ除去手段は、前記前処理手段によって作成されたシルエット画像を入力画像とすることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像分離手段によって作成されたシルエット画像の縦方向または横方向のヒストグラムを取り、当該ヒストグラムの幅に基づいて前記背景ノイズ除去手段または前記ノイズ緩和手段によって編集または補正する範囲を決定するシルエット領域抽出手段を備えたことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記画像分離手段は、背景画像と抽出対象画像のピクセル値の差分を閾値と比較することによって非背景ピクセルであるか、または、背景ピクセルであるかを判定し、かつ、
前記閾値に基づいて作成されノイズ度合いの判定可能な画像を表示し、入力部から入力される前記閾値の変更要求に基づいて前記閾値を変更するする閾値調整手段を備えることを特徴とする請求項１ないし３のいずれか一に記載の画像処理装置。
【請求項５】
表示部に抽出対象領域を指示する範囲指定情報を表示する手段を備え、
前記画像入力手段は、この範囲指定情報に基づいて当該範囲の抽出対象画像を入力することを特徴とする請求項１ないし３のいずれか一に記載の画像処理装置。
【請求項６】
入力した画像から特定の画像を抽出して、別の画像と合成する画像処理方法であって、
背景画像と、この背景画像と同じ背景で抽出対象を含む抽出対象画像とを入力するステップと、
前記背景画像と前記抽出対象画像のピクセル値の差分に基づいて非背景ピクセルと背景ピクセルを有するシルエット画像を作成するステップと
このシルエット画像のラインごとに非背景ピクセルに囲まれた領域をマークし、このマーク領域が隣接する行または列の背景ピクセルに接する場合は、当該マーク領域を背景領域に順次変更していき、残ったマーク領域を非背景領域に変換してシルエット画像を編集した後、数値化された非背景度に基づいて、当該シルエット画像の画像領域の端からピクセルごとに当該ピクセルの近傍領域の非背景度を平均化する処理を順次行い、その後画像領域範囲を補正するステップと、
前記平均化処理された非背景度と前記抽出対象画像をもとにα合成用画像を生成し、別に入力された背景画像と共に出力するステップと、
を含むことを特徴とする画像処理方法。
【請求項７】
入力した画像から特定の画像を抽出して、別の画像と合成する画像処理方法であって、
背景画像と、この背景画像と同じ背景で抽出対象を含む抽出対象画像とを入力するステップと、
前記背景画像と前記抽出対象画像のピクセル値の差分に基づいて非背景ピクセルと背景ピクセルを有するシルエット画像を作成するステップと、
このシルエット画像の非背景領域を拡大させることによってエッジノイズを背景ノイズに変換するステップと、
このシルエット画像のラインごとに非背景ピクセルに囲まれた領域をマークし、このマーク領域が隣接する行または列の背景ピクセルに接する場合は、当該マーク領域を背景領域に順次変更していき、残ったマーク領域を非背景領域に変換してシルエット画像を編集した後、数値化された非背景度に基づいて、当該シルエット画像の画像領域の端からピクセルごとに当該ピクセルの近傍領域の非背景度を平均化する処理を順次行い、その後画像領域範囲を補正するステップと、
前記平均化処理された非背景度と前記抽出対象画像をもとにα合成用画像を生成し、別に入力された背景画像と共に出力するステップと、
を含むことを特徴とする画像処理方法。
【請求項８】
カメラで撮影されたゲームプレーヤの画像をゲームの背景中に表示してゲームを進行するコンピュータゲーム用プログラムであって、
背景画像を入力して保存する処理と、
前記背景画像と同じ背景でプレーヤを含む抽出対象画像を入力する処理と、
前記保存されている背景画像と前記抽出対象画像のピクセル値の差分に基づいて非背景ピクセルと背景ピクセルを有するシルエット画像を作成する画像分離処理と、
このシルエット画像のラインごとに非背景ピクセルに囲まれた領域をマークし、このマーク領域が隣接する行または列の背景ピクセルに接する場合は、当該マーク領域を背景領域に順次変更していき、残ったマーク領域を非背景領域に変換してシルエット画像を編集する背景ノイズ除去処理と、
数値化された非背景度に基づいて、前記背景ノイズ除去手段によって編集されたシルエット画像の画像領域の端からピクセルごとに当該ピクセルの近傍領域の非背景度を平均化する処理を順次行い、その後画像領域範囲を補正するノイズ緩和処理と、
前記平均化処理された非背景度と前記抽出対象画像をもとにα合成用画像を作成し、ゲームの進行を実行する処理によって作成され、または、外部記憶装置から入力された背景画像と共に出力する画像出力処理と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した画像から特定の画像を抽出して、別の画像と合成する技術に係り、特に、合成画像のノイズを軽減して、ゲームなどのリアルタイム性が要求される条件でも使用することのできる画像処理装置、方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、撮影した画像から人物などの特定の画像を抽出して、任意の背景画像と合成する手法をして、いわゆるブルーバックと呼ばれる技術がある。これは、撮影する画像の背景を青色にしておき、この青色に相当する部分を色彩認識手段によって背景とみなして、この部分を別の背景画像に置き換えるというものである。この特定色を認識して背景に置き換えれば良いので、青色以外の色彩でも可能であるが、人物画像を抽出するときは、背景に置き換える色を青色にしておけば、人物の肌の色と補色関係に近くなり、顔などの一部が背景になる、すなわち、ノイズが乗る可能性を低減することができる。【０００３】
このブルーバック技術は、たとえば抽出する人物がその背景に置き換わる色と同じ色の模様を有する衣服を着用していると、その模様は背景に置き換わってしまうという問題がある。【０００４】
これに対して、背景のみの画像と、人物などの抽出対象をその背景と共に写した画像を撮影し、両画像の差分から抽出対象のみを抽出して、ノイズ処理を行う技術が提案されている。（特許文献１参照）。この技術は、両画像のピクセル情報（たとえばＲＧＢデータ）の差分からマスク画像（シルエット画像）を作成して、ノイズを編集によって削除するというものである。
【特許文献１】特開２０００−３６０３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述の従来の技術は、コンピュータによって自動的にノイズを検出して除去することを目的としたものではないため、たとえば、動画のゲームとして、予めゲームのシナリオに応じて記録した背景画像に、常時カメラで撮影しているゲームプレーヤである人物の画像のみを抽出してそのゲームの背景画像と合成して表示させようとすると、ＣＰＵに負荷がかかりすぎて、リアルタイム性が損なわれるという問題がある。また、ゲーム装置などコンピュータによって画像処理を実行する装置にはメモリ容量の制約もある。【０００６】
本発明は、上記のかかる事情に鑑みてなされたものであり、撮影した画像から背景部分を消去して別の画像と合成する際に、コンピュータに負荷をかけずに、自動的に画像ノイズを検出して、除去または緩和することのできる画像処理装置、方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、本発明に係わる画像処理装置は、背景画像と、この背景画像と同じ背景で抽出対象を含む抽出対象画像とを入力する画像入力手段と、背景画像と抽出対象画像のピクセル値の差分に基づいて非背景ピクセルと背景ピクセルを有するシルエット画像を作成する画像分離手段と、このシルエット画像を入力し、この入力画像のラインごとに非背景ピクセルに囲まれた領域をマークし、このマーク領域が隣接する行または列の背景ピクセルに接する場合は、当該マーク領域を背景領域に順次変更していき、残ったマーク領域を非背景領域に変換してシルエット画像を編集する背景ノイズ除去手段と、数値化された非背景度に基づいて、背景ノイズ除去手段によって編集されたシルエット画像の画像領域の端からピクセルごとに当該ピクセルの近傍領域の非背景度の平均化処理を順次行い、その後画像領域範囲を補正するノイズ緩和手段と、平均化処理された非背景度と抽出対象画像をもとにα合成用画像を作成し、別に入力された背景画像と共に出力する画像出力手段とを備えたことを特徴とする。【０００８】
本発明の基本的な考え方は、次の如くである。
背景画像と抽出対象画像の差分をとったときに発生するノイズとしては、抽出対象の一部を背景とみなしてしまう背景ノイズ、背景の一部を抽出対象とみなしてしまう非背景ノイズ、抽出対象と背景の境界部分が他の領域に食い込んでしまうエッジノイズがある。【０００９】
このうち、背景ノイズについては、非背景領域中の閉じた背景領域をノイズと捉え、閉じた背景領域を走査し、非背景に変換することによって、ノイズを除去する。一方、非背景ノイズとエッジノイズについては、これらが小さい領域、細い領域である傾向を考慮して、エッジ部分で半透明のグラデーションをかけることで、目立たなくするというものである。【００１０】
本発明によれば、背景ノイズについては除去でき、また、非背景ノイズとエッジノイズについては緩和することができ、ＣＰＵに負荷をかけずに画像処理の品質を向上させることができる。また、背景画像と非背景画像との境界にグラデーションがかかることになるので、非背景画像が背景画像になじんで自然な合成画像が作成できる。【００１１】
また、本発明では、シルエット画像の複製を保存する必要が無く、その画像を直接編集しながらノイズの除去ないし緩和処理を行うことができるため、メモリ容量が少なくてすみ、ハードウェア資源の節約を図ることができる。【００１２】
本発明に係わる画像処理装置は、さらに、画像分離手段によって作成されたシルエット画像のエッジを抽出した画像（エッジ抽出画像）を作成し、当該エッジ抽出画像とシルエット画像とを合成することによって非背景領域が拡大したシルエット画像を作成する前処理手段を備え、背景ノイズ除去手段は、この前処理手段によって作成されたシルエット画像を入力画像として、背景ノイズの除去処理を行うことを特徴とする。
非背景領域が拡大したシルエット画像を作成することによって、エッジノイズの非背景領域と背景領域の境界のいわゆる口の部分を閉じて背景ノイズに変換して、背景ノイズ除去手段によってこの背景ノイズを除去する。これによって、エッジノイズを除去することができるので画質が向上する。【００１３】
なお、非背景領域を拡大させて、エッジノイズを背景ノイズに変換させ、背景ノイズ除去処理を実行した後に、この非背景領域を元のサイズに向けて縮小処理するのが好ましい。【００１４】
また、本発明に係わる画像処理装置では、さらに、画像分離手段によって作成されたシルエット画像の縦方向または横方向のヒストグラムを取り、当該ヒストグラムの幅に基づいて背景ノイズ除去手段またはノイズ緩和手段によって編集または補正する範囲を決定するシルエット領域抽出手段を備えたことを特徴とする。【００１５】
シルエット領域を限定することによってノイズの除去や緩和などのフィルタリング処理に要する計算機の負荷を減少させることができる。【００１６】
本発明に係わる画像処理装置において、好ましくは、画像分離手段は、背景画像と抽出対象画像のピクセル値の差分を閾値と比較することによって非背景ピクセルであるか、または、背景ピクセルであるかを判定し、かつ、閾値に基づいて作成されノイズ度合いの判定可能な画像を表示し、入力部から入力される閾値の変更要求に基づいて閾値を変更するする閾値調整手段を備えるのがよい。【００１７】
これによって、ノイズをある程度抑えた状態でノイズ処理を行うことができ、合成後の品質を予測することができる。【００１８】
より好ましくは、ノイズ度合いを表示させた状態で抽出対象の範囲指定を行うようにする。このようにすれば、範囲外は、無条件に背景とし、範囲内のノイズ処理のみを行えば良いので、コンピュータの負担が減ると共に、画像処理の速度を上げることができる。さらに、操作者（ユーザ）が背景ノイズ、非背景ノイズ、エッジノイズのいずれかのノイズ処理を実行するかを設定可能にすることにより、コンピュータの負荷を軽減して操作者の要求に合った品質の画像処理が可能となる。【００１９】
なお、操作者が抽出対象の範囲を入力するのに替えて、予め表示部に抽出対象領域を指示する範囲指定情報（たとえば枠線）を表示しておき、画像入力手段は、この範囲指定情報に基づいて当該範囲の抽出対象画像を入力して処理するようにしてもよい。【００２０】
ここで、「画像処理装置」は、画像処理機能を有する装置の意味であり、汎用的なコンピュータ装置の他、当該機能を有するゲーム装置、テレビ電話、カメラ等の撮像装置なども含む趣旨である。【００２１】
また、「非背景度」とは、抽出対象画像のピクセルごとまたはピクセル群ごと設定され、当該ピクセルまたはピクセル群が非背景（抽出対象）である度合いを示すものである。非背景度を８ビットで表した場合には、０から２５５の間の値をとる。なお、実質的に非背景度の意義を有すれば足りる。したがって、背景度なども含まれる趣旨である。【００２２】
本発明に係わる画像処理方法は、入力した画像から特定の画像を抽出して、別の画像と合成する画像処理方法であって、背景画像と、この背景画像と同じ背景で抽出対象を含む抽出対象画像とを入力するステップと、背景画像と抽出対象画像のピクセル値の差分に基づいて非背景ピクセルと背景ピクセルを有するシルエット画像を作成するステップと、このシルエット画像のラインごとに非背景ピクセルに囲まれた領域をマークし、その領域が隣接する行または列の背景ピクセルに接する場合は、背景領域に順次変更していき、残ったマーク領域を非背景領域に変換してシルエット画像を編集した後、数値化された非背景度に基づいて、当該シルエット画像の画像領域の端からピクセルごとに当該ピクセルの近傍領域の非背景度の平均化処理を順次行い、その後画像領域範囲を補正するステップと、平均化処理された非背景度と抽出対象画像をもとにα合成用画像を生成し、別に入力された背景画像と共に出力するステップと、を含むことを特徴とする。【００２３】
本発明によれば、ノイズの除去、および、緩和についての一連の処理が、シルエット画像を直接編集しながら行うことができるので、メモリの節約になる。【００２４】
また、本発明に係わるプログラムは、カメラで撮影されたゲームプレーヤの画像をゲームの背景中に表示してゲームを進行するコンピュータゲーム用プログラムであって、背景画像を入力して保存する処理と、背景画像と同じ背景でプレーヤを含む抽出対象画像を入力する処理と、保存されている背景画像と抽出対象画像のピクセル値の差分に基づいて非背景ピクセルと背景ピクセルを有するシルエット画像を作成する画像分離処理と、このシルエット画像のラインごとに非背景ピクセルに囲まれた領域をマークし、その領域が隣接する行または列の背景ピクセルに接する場合は、背景領域に順次変更していき、残ったマーク領域を非背景領域に変換してシルエット画像を編集する背景ノイズ除去処理と、数値化された非背景度に基づいて、背景ノイズ除去手段によって編集されたシルエット画像の画像領域の端からピクセルごとに当該ピクセルの近傍領域の非背景度を平均化する処理を順次行い、その後画像領域範囲を補正するノイズ緩和処理と、平均化処理された非背景度と抽出対象画像をもとにα合成用画像を作成し、ゲームの進行を実行する処理によって作成され、または、外部記憶装置から入力された背景画像と共に出力する画像出力処理と、をコンピュータに実行させることを特徴とする。【００２５】
一連のノイズ処理がシルエット画像を直接編集しながら行うことができゲーム装置のメモリの節約を図ることができる。また、ノイズの緩和処理については、ピクセルの近傍領域の非背景度を平均化するため、ヒット率が上がり、処理速度が向上する。【００２６】
なお、好ましくは、α合成用画像の作成処理と、ゲームの進行を実行する処理とを独立に動作可能にする。ゲームプレーヤの表示が必要になった時点で保存されているα合成用画像を用いるため、ゲーム中の応答性の向上を図ることができる。
【発明の効果】
【００２７】
本発明によれば、自動的に画像ノイズ検出して、背景ノイズについては除去、非背景ノイズとエッジノイズについては緩和することができる。また、一連のノイズ処理は、シルエット画像を直接編集しながら行うことができるので、メモリ領域の節約を図ることができる。【００２８】
また、ゲーム用プログラムにおいては、ゲームの背景画像にカメラで撮影したゲームプレーヤなど前影画像（非背景画像）を合成する際、境界部分にグラデーションがかかるため、ゲームプレーヤをゲームの背景に溶け込ますことができて、より臨場感のあるゲームを提供することができる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施形態を説明する。
<第１の実施形態>
図１は、本発明の第１の実施形態による画像処理装置１のブロック図である。ここで、画像処理装置１は、カメラ５１によって撮影された映像信号を入力してデジタル信号に変換するＡ／Ｄ変換手段１１、画像処理を実行する処理部１２、画像データを記憶するメモリ１３、テレビモニタ５２へ送る表示用データを記憶する表示用メモリ１４、デジタル信号をテレビモニタ用の信号に変換するＤ／Ａ変換手段１５、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体の駆動装置（外部記憶装置）１６、および、マウスやキーボードなどの入力部１７を備えている。【００３０】
処理部１２は、図２に示すように画像入力手段（処理）２１、画像分離手段（処理）２２、閾値調整手段（処理）２３、背景ノイズ除去手段（処理）２４、ノイズ緩和手段（処理）２５、および、画像出力手段（処理）２６を有している。また、メモリ１３には、予め背景画像が記憶されているものとする。【００３１】
次に、各手段の動作を説明する。以下の説明において、画像データは、便宜上ＲＧＢ系で説明するが、カメラ５１やテレビモニタ５２の仕様等によって必要ならばＹＣｒＣｂ系など他の単位系に適宜変換するものとする。【００３２】
［画像入力処理］
まず、入力部１７からの要求によって、処理部１２の画像入力手段２１が起動され、カメラ５１で撮影された画像データを入力してメモリ１３に保存する。このとき、人物などの抽出対象を含まない背景のみの画像（背景画像）と、抽出対象を含む画像（抽出対象画像）をそれぞれ撮影してメモリ１３に保存するようにする。図３は背景画像、図４は抽出対象画像の例である。図４は、図３と同じ背景をバックに抽出対象の人物（たとえばゲームのプレーヤ）が撮影されている。【００３３】
［画像分離処理］
次に、画像分離手段２２によって、背景画像と抽出対象画像のピクセルごとの差分をとる。つまり、背景画像と抽出対象画像のＲＧＢ各８ビット（計２４ビット）のＲＧＢそれぞれの差分の合計値を計算する。そして、その合計値が所定の閾値以下のときは、そのピクセルに対応する値（非背景度）を８ビットのデータＡで表して、Ａ＝０とする。一方、合計値が所定の閾値より大きいときは、そのピクセルを抽出対象（非背景）とし、Ａ＝２５５とする。【００３４】
このように背景画像と抽出対象画像をもとに２値化したシルエット画像を作成する。なお、閾値との比較の仕方は上記に限らず、ＲＧＢ値のそれぞれの差分の平均値を閾値とするなど、色相、彩度、明度について両画像の差に基づいて２値化するようにすれば良い。【００３５】
図５は、シルエット画像の説明図である。ここで、黒く塗りつぶした部分が背景（Ａ＝０）、白抜きの部分が抽出対象（Ａ＝２５５）である。【００３６】
しかしながら、実際のシルエット画像は、図６に示すようにノイズが乗っているため、このノイズ処理が必要になる。ノイズの種類としては、図６（ａ）に示す抽出対象の一部を背景とみなしてしまう背景ノイズ、図６（ｂ）に示す背景の一部を抽出対象とみなしてしまう非背景ノイズ、図６（ｃ）に示す抽出対象と背景の境界部分が互いに他の領域に食い込んでしまうエッジノイズがある。【００３７】
背景ノイズは、操作者の服装と背景の色が近いときなどに現れる。非背景ノイズは、蛍光灯のちらつきなどによる背景ピクセルの誤差で現れ、背景の任意の場所にポツポツとして出現する。エッジノイズは、背景ノイズ・非背景ノイズの出現原因が複合して現れ、エッジの部分がぎざぎざになったような状態になる。【００３８】
これらのノイズは、閾値調整手段２３によって、閾値を調整することにより、ある程度は削減可能であるが、背景と抽出対象の色彩が近似している場合などは、完全に除去できない場合がある。また、背景ノイズを減らそうとすると非背景ノイズが増加するなど一定の限界がある。したがって、残存するこれらのノイズの除去ないし緩和が必要になる。【００３９】
以下、これらのノイズ処理の手順を図１７乃至図２２を用いて説明する。
［背景ノイズ除去処理］
背景ノイズ除去処理は、図１７のステップＳ３０１〜ステップ３０４の各処理で構成される。【００４０】
まず、背景ノイズ候補領域マーク処理において、シルエット画像の 画像中の全ての横方向のラインに対して、非背景ピクセル（Ａ＝２５５）にはさまれた背景ピクセル（Ａ＝０）をマークする（Ｓ４０１，Ｓ４０２）。マークとしては、たとえば、グレー（例えばＡ＝１２８）を割り当てる。図７は、背景ノイズ除去処理の説明図である。この図において、黒く塗りつぶされたピクセル（図中の単位正方形）は背景ピクセル、白抜きのピクセルは非背景ピクセルである。各ラインごとにステップＳ４０１とＳ４０２の処理を行い、これを全ラインに対して実施した後の状態は図７（ｂ）となる。ここで、グレー（灰色）のピクセルはマークされたピクセルである。【００４１】
そして、候補領域上方確認処理において、全てのラインに対して上から下にマークされた線分を走査して、マークされた線分のうち少なくともひとつのピクセルに対して、そのひとつ上のピクセルが背景（Ａ＝０）の場合は、そのピクセルに接するマーク部分全体を背景に塗り替える（Ｓ５０１、Ｓ５０２）。つまりマークされたピクセルのＡ値を１２８から０に変更するのである。図７（ｃ）は途中のラインまで処理を終えた状態、図７（ｄ）は全ラインについて処理を完了した後の状態を示す。【００４２】
最下行のラインについて上記の処理が完了すると、次は、候補領域下方確認処理において、全てのラインに対して逆方向、すなわち、下から上にマークされた線分を走査する。そして、マークされた線分のうち少なくともひとつのピクセルに対して、そのひとつ下のピクセルが背景の場合は、マークされた線分全体について背景に塗り替える（Ｓ６０１、Ｓ６０２）。図７（ｅ）（ｆ）は途中のラインまで終了した状態、図７（ｇ）は全ラインについて処理を完了した後の状態である。【００４３】
上記が全て終了した段階で、マークとして残っているピクセルは、背景ノイズなので、非背景として塗り替える（Ｓ７０１、Ｓ７０２）。図７（ｈ）は、背景ノイズ除去処理後のシルエット画像の状態である。
以上の処理によって、背景ノイズを除去する。【００４４】
［非背景ノイズ・エッジノイズの緩和処理］
次に、図８および図２２を用いて非背景ノイズとエッジノイズの緩和処理の手順を説明する。【００４５】
イメージ上の全てのピクセルに対して、右下方向に4x4ピクセルの領域を走査し、その領域のＡ値の平均で置き換える（Ｓ８０１、Ｓ８０２）。たとえば、図８（ｂ）の○部分のピクセルは背景ピクセル（Ａ＝０）だが、平均を取るとＡ＝255*3/16＝48となる。ここで、記号「*」は乗算、「/」は除算を意味している。【００４６】
また、図８（ｃ）のピクセルは非背景ピクセル（Ａ＝２５５）だが、平均を取ると、図８（ｂ）と同様にＡ＝255*3/16＝48となる。【００４７】
この平均化処理を、まず、最上位のラインの左から右のピクセルについて実行し、それが完了すると順に下のラインついて実行していく。この処理を、最下行のラインの右端のピクセルまで繰り返す。図８（ｄ）は、一連の平均化処理の完了後の状態である。【００４８】
なお、演算領域の境界部分の精度が問題になる場合は、演算領域を十分含む形で予め画像を取得しておくようにするとよい。境界部分の精度があまり問題にならなければ、最下行（最も下のライン）から上４行目の平均化処理を行った後、その下のラインはその上のピクセル値と同じ値で埋めるようにしても良い。【００４９】
以上の平均化処理の結果、シルエット画像は左上方向にずれた形になるので、例えば右下方向に2ピクセル、すなわち、平均計算の単位領域４×４の半分だけ全体をずらすことでフィルタを適正な位置にすることができる（Ｓ８０３）。（図８（ｅ）の状態）【００５０】
なお、この位置の移動は、実際にメモリ上のピクセルの値を書き直す必要は無く、シルエット画像の格納されている領域のアドレス情報を２×２だけ左上にずらすのみでよい。【００５１】
上記の説明において便宜上、横、縦という表現をしたが、画像データをＸ軸、Ｙ軸の座標で表したときにどちらを縦または横にして上記の処理を行っても良いがピクセル情報を保存するアドレスが連番になる方向を横方向に取ると処理プログラムを作成しやすくなる。【００５２】
［画像出力処理］
上述の一連のノイズ処理後のシルエット画像をαチャンネル用データとして図４の抽出対象画像データを用いてα合成（アルファブレンディング）用画像データを作成する。【００５３】
ここで、α合成用画像データは、ピクセルごとにＲ：Ｇ：Ｂ：Ａの各８ビット（計３２ビット）のデータの配列として構成されている。【００５４】
そして、外部記憶装置１６のＣＤ−ＲＯＭから読み込んだ合成用の背景データを表示用メモリ１４に書き込み、また、α合成用画像データを同様に表示用メモリ１４に書き込んだ後に、表示出力コマンドを出すことによって、両画像データがテレビモニタ５２上に合成されて表示される。図９は、この説明図である。ＲＧＢ値による抽出対象画像データとＡ値によるシルエット画像データによってα合成用画像データを作成し（図９（ａ））、これとＲＧＢ値による背景データ（図９（ｂ））を画像合成する。具体的には、図９（ｂ）の背景データを描画した上に図９（ａ）のα合成用画像データを上書きする。これによって合成画像が表示される（図９（ｃ））。このこのとき、背景上に表示される抽出対象画像は、ピクセルに対応するＡ値によって、完全透明（Ａ＝０）、完全不透明（Ａ＝２５５）、中間状態（０<Ａ<２５５）となる。【００５５】
上記のノイズ処理の結果、背景ノイズに関しては除去され、非背景ノイズ・エッジノイズに関しては緩和されると共に、背景と対象画像との境界部分についてＡ値が中間値となりグラデーションがかかるため、対象画像が背景になじみ、自然な合成画像となる。【００５６】
なお、処理部１２の各手段については、都度入力部からの要求によって起動するようにしてもよいが、前処理の完了によって自動的に起動されるようにしてもよい。【００５７】
本実施形態によれば、ＣＰＵに負荷をかけずに自動的にノイズ処理を施して画像の合成を行うことができる。【００５８】
特に背景ノイズ除去処理については、まず、ラインごとに非背景ピクセルに囲まれた領域をマークし、その領域が隣接する行または列の背景ピクセルに接する場合は、背景領域に順次変更していき、残ったマーク領域を背景ノイズとして除去するようにしたので、シルエット画像自体を編集しながら処理を行うことができ、処理用一時メモリを確保する必要が無いのでメモリの節約を図ることができる。また、走査するメモリ領域と書き込むメモリ領域が近いためキャッシュヒット率が上がり速度の向上が見込める。【００５９】
また、ノイズ緩和処理については、領域の端から順次平均化処理を行い、最後に領域範囲を補正するようにしたので、背景ノイズ除去処理の出力画像をそのまま編集していくことができ、処理用一時メモリを確保する必要がない。また、背景ノイズ除去処理と同様に、走査するメモリ領域と書き込むメモリ領域が近いためキャッシュヒット率が上がり速度の向上が見込める。【００６０】
<第２の実施形態>
次に、第２の実施形態を説明する。
構成は、図１および図２と同様であるが、図１の画像処理装置１はゲーム装置として機能するものである。また、入力部１７としては、ゲーム用コントローラが用いられる。【００６１】
ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体には、ゲームプログラムおよびゲーム映像の背景として表示される画像データが保存されている。また、ゲーム映像の各フレームに関連付けられてゲームプレーヤ（抽出対象）の画像の挿入位置情報が記憶されている。【００６２】
記憶媒体には、画像入力手段（処理）２１、画像分離手段（処理）２２、閾値調整手段（処理）２３、背景ノイズ除去手段（処理）２４、ノイズ緩和手段（処理）２５、画像処理手段（処理）２６のほか、ゲームの進行を行うゲーム実行手段（処理）２７をコンピュータに実行させるためのプログラムが格納されている。【００６３】
記憶媒体を外部記憶装置１６に挿入して起動すると、ＣＤ−ＲＯＭに保存されている必要なプログラムが、メモリ１３のプログラム領域にローディングされ、処理部１２によって起動される。【００６４】
［事前準備段階］
まず、ゲームスタート前の事前準備として、背景画像と抽出対象画像（プレーヤ画像）を入力して、画像分離手段によって、両画像の差分を取ってシルエット画像を作成する。
なお、背景画像はメモリ１３に保存し、この後のゲーム実行中の画像分離に使用する。  そして、シルエット画像のＡ値（０または２５５）の閾値を調整する。【００６５】
なお、プレーヤ画像を入力するときは、プレーヤ（操作者）に立って欲しい位置を限定するために、図１１に示すように、プレーヤを含む画像にシルエットを表示し、プレーヤの位置を誘導するのが好ましい。図１１では、画面中に「シルエットの位置に立ってプレイしてください」という誘導指示が表示されている。画像中でプレーヤが存在する位置を限定することで、画像解析の範囲を限定しＣＰＵの処理負荷を軽減することができる。【００６６】
［閾値調整処理］
背景・非背景分離のための閾値は経験からある程度固定的に設定可能だが、プレーヤを含む画像を生成する環境を限定することができないため、操作者が調整する機能を搭載するのが好ましい。閾値の大体の目安は0〜255の範囲で40程度の値である。【００６７】
閾値調整用のユーザ画面として、一つは、図１２に例示するように、スライダーを表示して、微調整を可能にする方法がある。プレーヤは、画面上のスライダーを左右に移動させることで、閾値を変更し、変更結果の合成画像を画面上で直接確認する。図１２（ａ）は、閾値が低い、すなわち、背景画像と抽出対象画像とのピクセル値の差が小さい場合でも非背景（抽出対象）と判定するため、非背景ノイズが大きく発生している。図１２（ｂ）は、閾値が適正で、ほとんどノイズが発生していない例である。図１２（ｃ）は、閾値が高い場合は、ピクセル値の差が大きくないと非背景とみなさないため、エッジノイズによって、抽出対象が背景に食い込まれている。【００６８】
もう一つは、図１３に例示するように代表的な閾値を複数個サンプリングし、それぞれの設定ボタンを用意し、プレーヤがボタンを選ぶことで大まかに設定する方法がある。例えば、３つのボタンそれぞれに低め（20くらい）中くらい（40くらい）高め（60くらい）の閾値を割り当て、それぞれの設定ボタンに対応する合成画像を表示するようにして、適正なボタンを選択する。これによって選択されたボタンの閾値がセットされる。【００６９】
この事前準備が終了すると、ゲームが開始される。
ゲーム中の画像処理として、プレーヤ画像抽出処理とゲームの背景画像と合成して出力する画像出力処理が独立して行われる。【００７０】
［プレーヤ画像抽出処理］
プレーヤの画像を周期的に取り込み画像入力処理、画像分離処理、背景ノイズ除去処理、ノイズ緩和処理を実行する（Ｓ１０５〜Ｓ１０８）。【００７１】
なお、画像入力処理では、カメラ５１を通してプレーヤ画像を入力し、この画像と事前処理でメモリ１３に保存した背景画像とを用いて画像分離処理以降の処理を実行する。
これらの処理手順は、第１の実施形態と同様であるため説明を割愛する。
ノイズ緩和処理の出力としては、α合成用画像データが作成され、メモリ１３に保存される。【００７２】
［画像出力処理］
次にゲーム実行中の画像出力処理について説明する。なお、画像出力のためにゲームモジュール（ゲームを実行するプログラム）から渡されるデータは、図１５に示すように、フレーム画像と出力位置情報および変形情報である。ここで、出力位置情報は、プレーヤ画像の出力位置を指定する情報で、画面上の座標（アドレス範囲）で表される。また、変形情報は、縦長、横長に変形する場合の他、画像の一部のみを切り出してクリップ画像としてその拡大、縮小、回転や色彩の変化も含まれる。なお、これらの情報のほかに、プレーヤ画像を出力するか否かのフラグを設けてもよい。【００７３】
テレビモニタ５２への画像出力処理において、まず、ゲームの背景フレームの画像データを出力する（Ｓ２０１）。次に、プレーヤ画像の出力が必要か否かをフラグまたはプレーヤ画像の出力位置情報の有無によって判定して、不要の場合（Ｓ２０２で「Ｎ」）は、表示出力コマンドを送出して（Ｓ２０６）、次のフレームの出力処理に移る。【００７４】
一方、プレーヤ画像の出力が必要な場合（Ｓ２０２で「Ｙ」）は、出力位置情報と変形情報を取得する（Ｓ２０３）。そして、メモリ１３に保存されているα合成用画像データを取得して、変形情報に基づいて編集する（Ｓ２０４）。その後、出力位置情報の座標位置へ出力して（Ｓ２０５）、表示出力コマンドを送出する（Ｓ２０６）。以上の処理を表示フレームごとに繰り返す。【００７５】
（α合成等に関する補足説明）
上記は、ＲＧＢ系の場合の説明であるが、YCrCb 系の場合は、以下のようになる。
YCrCb系では、Y:Cr:Cb = 8:8:8 bitであり、これを、R:G:B = 8:8:8 bitにコンバートし、生成した A = 8 bit を合成して、R:G:B:A = 8:8:8:8 bitのピクセル情報とする。【００７６】
このとき、α合成（アルファブレンド）の式は、下記のとおりとなる。基本的には、グラフィックチップにハードウェアインプリメントされているものである。【００７７】
(Cs - Cd) * As + Cd        ・・・（１）
ここで、
Cs : 書き込み元の RGB 値
Cd : 書き込み先の RGB 値
As : ソースのアルファ値（理論的には 0〜1 の値をとる）
Cs, Cd はそれぞれ RGB ごとに 0〜255 の値
上記（１）式に基づいて、合成処理が行われる。【００７８】
本実施形態によれば、プレーヤ画像抽出処理とゲーム中の画像出力処理を独立に実行させて、画像出力処理でプレーヤ画像との合成が必要になったときにその時点でメモリに保存されているプレーヤのα合成用画像データを用いるようにしたので、プレーヤ画像の抽出処理による待ち時間を削減できるのでリアルタイム性を向上させることができる。【００７９】
また、背景ノイズ除去処理とノイズ緩和処理は、取り込んだ原画像データの複製を取る必要が無く、原画像データ自体を直接変更しながら処理を行うことができるため、メモリ容量の節約を図ることができる。【００８０】
なお、CGの背景とプレーヤのクリップ画像を合成する際にプレーヤのクリップ画像を回転拡大縮小することで、より臨場感のある合成画像を生成できる。【００８１】
<第３の実施形態>
次に第３の実施形態を説明する。
本実施形態は、第１または第２の実施形態に対して、エッジ処理に関して前処理を実行することによって、細いエッジについては除去し、またエッジノイズを背景ノイズ化して、背景ノイズ除去手段２４によってその背景ノイズの除去を可能にするものである。【００８２】
図２３は、本実施形態による画像処理装置のブロック図である。図２の構成に対して、シルエット画像の非背景領域の範囲を抽出するシルエット領域抽出手段２８と、背景ノイズ除去手段２４の前後に前処理手段２９と後処理手段３０を夫々追加している。【００８３】
図２４は、本実施形態の画像処理装置１の処理手順を示すフローチャートである。この図において、ステップＳ９０１、ステップＳ９０６、ステップＳ９０８、および、ステップＳ９０９の各処理は、第１の実施形態と同様である。【００８４】
以下、図２４〜図３４を用いて本実施形態による画像処理装置１の動作について、第１の実施形態との違いを中心に説明する。【００８５】
［画像分離処理］（図２４のステップＳ９０２）
画像分離手段２２は、画像入力手段２１の出力である背景画像と抽出対象画像を用いて第１の実施形態で説明した手順によってシルエット画像を作成し、次にシルエット領域抽出手段２８を起動する。【００８６】
［シルエット領域抽出処理］（ステップＳ９０３）
シルエット領域抽出手段２８は、このシルエット画像に対してヒストグラムを取り、予め定められた所定の閾値と比較して、それよりも幅の狭い領域をノイズと判定して除去する。【００８７】
図２５は、シルエット領域抽出手段２８の処理手順を示すフローチャートである。この図において、シルエット領域抽出手段２８は、起動されると、まず、シルエット画像の縦方向のヒストグラムを生成する（Ｓ１００１）。図２９は、シルエット領域抽出処理の説明図である。図２９（ａ）のシルエット画像において、中央の白抜きの部分は、非背景領域であり、左上の複数の白丸は、背景領域に現れた非背景ノイズを示している。このシルエット画像の縦方向のヒストグラムは、図２９（ｂ）のようになる。この図の白い部分は、図２９（ａ）の対応する縦（列）方向の非背景ピクセル数もしくはその出現割合を意味している。【００８８】
そして、非背景抽出処理として、縦方向の非背景ピクセルのヒストグラムの値が０の区域とそうでない区域に分割し、０でない区域のうち、予め定められた所定値以上の幅を持った区域（図２９（ｂ）中Ａの区域）を選びこの区域をシルエット領域として分割する（Ｓ１００２）。図２９（ｃ）は、この処理によって図２９（ａ）のシルエット画像の両サイドを縦方向に分割した（切り取った）図である。この図で、ヒストグラムの値が０ではないが予め定められた所定値以下の区域（図２９（ｂ）中Ｂの区域）は、非背景ノイズ領域として排除され、ヒストグラムの値が０の区域（図２９（ｂ）中Ｃの区域）は、背景領域として排除されている。【００８９】
次に、図２９（ｃ）のシルエット画像に対して、横方向のヒストグラムを生成する（Ｓ１００３）。図２９（ｄ）は、横方向のヒストグラムを示している。このヒストグラムをもとに、上記と同様に非背景区域を抽出してシルエット領域として分割する（Ｓ１００４）。以上のステップＳ１００１からステップＳ１００４の処理を所定の回数繰り返して、シルエット領域を順次分割しつつ最終のシルエット領域を抽出する。所定回数繰り返す替りに、新しい非背景ノイズ領域が見つからなければ、抽出処理を終了するようにしてもよい。図２９（ｅ）は抽出されたシルエット領域を示している。そして、このシルエット領域以外の領域を背景領域として、背景ピクセル値で埋める（Ｓ１００５）。【００９０】
［前処理］（ステップＳ９０４、Ｓ９０５）
前処理手段２９は、シルエット画像の中のシルエット領域抽出手段２８で抽出された領域に対して細いエッジの除去やエッジノイズの背景化処理を実行する。【００９１】
１．細いエッジノイズ（背景ノイズ）の除去処理（ステップＳ９０４）
背景にサッシなどの窓枠があり、これと操作者の髪の毛などが重なった場合などに操作者シルエットの内側にできてしまう細いエッジノイズの例を図３０（ａ）に示す。図３０（ａ）のＡ部がそのエッジノイズである。【００９２】
以下、図２６に従って、このような細いノイズをシルエット（図３０（ａ）の白抜きの部分）のエッジ抽出と合成によって埋めるときの手順を説明する。
まず、シルエット画像に対して輪郭線抽出フィルタを適用し、シルエットのエッジを抽出する（Ｓ１１０１）。エッジの抽出には、たとえば、図３３の重み付けのラプラシアンフィルタを用いる。この処理によって、エッジ抽出された画像を図３０（ｂ）に示す。【００９３】
次に、エッジ抽出された画像（図３０（ｂ））と、元のシルエット画像（図３０（ａ））を合成する（Ｓ１１０２）。
シルエット部分とエッジ部分は共に255の値を持っているので、重ねると、シルエットのエッジが1ピクセル分拡張された画像になる。
細いエッジノイズは、通常1, 2ピクセル程度の幅しかないので、上記の処理を適用することで、図３０（ｃ）に示すように非背景として埋めることができる。【００９４】
２．エッジノイズの背景ノイズ化処理
大きな穴になってしまっているエッジノイズの例を図３１（ａ）に示す。このエッジノイズは、背景が広い単色領域で、操作者の服装と色が近い場合などに出やすいノイズである。このノイズについては、ノイズの口（図中Ｂ部）の部分を閉じて、背景ノイズ化することで、第１の実施形態で説明した背景ノイズの除去アルゴリズムで除去することができるようになる。【００９５】
以下、図２７を用いてノイズの口の部分を閉じる際の手順を説明する。
まず、シルエット画像（図３１（ａ））に輪郭線抽出フィルタを適用してエッジ画像（図３１（ｂ））を生成し（Ｓ１２０１）、このエッジ画像と元のシルエット画像を合成した画像（図３１（ｃ））を生成する（Ｓ１２０２）。さらに、この合成したシルエット画像に対して、ステップＳ１２０１〜ステップＳ１２０２の処理を複数回繰り返す。（図３１（ｄ）（ｅ））。口が小さいノイズなので、複数回繰り返すと、エッジが膨らみ、口が閉じる。【００９６】
口が閉じた段階で、このシルエット画像について、背景ノイズの除去処理を行うことで、このエッジノイズを除去することができる。（図３１（ｆ））
なお、状況によって、ノイズの口の大きさは様々なので、何回エッジの拡張を繰り返すかは操作者が指定できるようにするとよい。【００９７】
たとえば、第２の実施形態で説明した閾値設定手段２３を用いて、図１２に例示する画面に相当する閾値設定画面を繰り返し回数別に表示して、操作者の設定した繰り返し回数を設定登録するようにすれば、適切な繰り返し数を用いて画像処理を行うことができる。【００９８】
上記の前処理によって、細いエッジについては除去し、大きな穴になってしまっているエッジノイズについては、ノイズの口を閉じて背景ノイズ化したシルエット画像を作成する。【００９９】
［背景ノイズ除去処理］（ステップＳ９０６）
次に、前処理手段２９で作成されたシルエット画像に対して、背景ノイズ除去手段２４によって背景ノイズの除去を行う。この処理は第１の実施の形態と同様であるので説明を割愛する。背景ノイズ除去処理によって、シルエット画像の背景ノイズが除去される。【０１００】
［後処理］（ステップＳ９０７）
上記の処理で作成されたシルエット画像は、ノイズが除去されているものの、元のシルエット画像に対して拡張している。このため、後処理手段３０を起動して、図２８に示す手順によって、この拡張されたシルエット画像を元のシルエット画像に近づける。【０１０１】
まず、輪郭線抽出フィルタを適用して、シルエット画像の内側のエッジを抽出する（Ｓ１３０１）。この際、図３４に例示するラプラシアンフィルタを適用するとよい。次に、元のシルエット画像（拡張画像）のピクセル値からこのフィルタを適用して作ったエッジ画像のピクセル値を引く（Ｓ１３０２）。そして、ピクセルの値が 0 より小さくなった場合は 0 にする（Ｓ１３０３、Ｓ１３０４）。 この処理によって、エッジ部分が1ピクセル分縮小されることになる。以上のステップＳ１３０１〜ステップＳ１３０４の処理を、適用した拡張処理の回数分だけ繰り返す。【０１０２】
［ノイズ緩和処理、画像出力処理］（ステップＳ９０８、Ｓ９０９）
また、ノイズ緩和手段２５によって、残った非背景ノイズやエッジノイズの緩和処理を行い（Ｓ９０８）、画像出力手段２６によって合成画像の出力を行う（Ｓ９０９）。これらの手段２５、２６の処理手順は第１の実施形態と同様であるので説明を割愛する。【０１０３】
以上、本実施形態による画像処理装置の動作を第１の実施形態との違いを中心に説明したが、第２の実施形態に対して本実施形態の前処理手段２９や後処理手段３０等を設けることも可能である。【０１０４】
本実施形態では、シルエット領域抽出手段によってノイズと判定できない領域のみに対してフィルタリング（ノイズの除去、緩和）処理を適用するためフィルタリングの速度が向上する。【０１０５】
また、前処理手段によって、予め細いエッジノイズについては除去し、口の部分が狭く非背景領域に大きな広がりを持つようなエッジノイズについては口を閉じて背景ノイズ化し、以降の背景ノイズ除去手段によってそのノイズを除去するため、第１の実施形態のノイズ緩和効果に比べて品質の良い合成画像を得ることができる。【０１０６】
本発明は上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲内において、種々変形して実施することができる。たとえば、上記の背景ノイズ除去手段と、ノイズ緩和手段を両方実行する場合は、上記の順に実行する必要があるが、ＣＰＵの性能等によって背景ノイズ除去手段とノイズ緩和手段のいずれか一方を実行するのみでもノイズ削減効果がある。また、後処理手段３０は、背景ノイズ除去処理以降ならば、いずれのタイミングで起動しても一定の効果は得られる。たとえば、ノイズ緩和処理の後に起動するようにしても良い。なお、前処理手段によるエッジ拡大処理のループ回数が少ない場合は、後処理手段を省略することも可能である。
【産業上の利用可能性】
【０１０７】
本発明による画像処理装置や画像処理方法は、人物などの特定の画像を抽出し、それ以外の背景部分を他の画像に置き換えるような用途のもの全般に利用することができる。上記の実施形態で説明したゲーム機以外に、たとえば、テレビ電話において、通話者のみを抽出し、背景を他の画像に置き換えるとか、カメラ撮影において特定の被写体のみを抽出して背景を他のものに置き換えるということが可能となる。画像処理装置は、このような機能を有するゲーム機、テレビ電話、カメラなども含む趣旨である。
【図面の簡単な説明】
【０１０８】
【図１】本発明の第１の実施形態による画像処理装置のブロック図である。
【図２】図１の処理部の機能ブロック図である。
【図３】図２の画像入力手段によって入力される背景画像例である。
【図４】図３の背景をバックに撮影された抽出対象（人物）を含む抽出対象画像例である。
【図５】図２の画像分離手段で作成されるシルエット画像の説明図である。
【図６】図５のシルエット画像に発生するノイズの説明図であり、図６（ａ）は背景ノイズの説明図、図６（ｂ）は非背景ノイズの説明図、図６（ｃ）はエッジノイズの説明図である。
【図７】図２の背景ノイズ除去手段の処理手順の説明図である。
【図８】図２のノイズ緩和手段の処理手順の説明図である。
【図９】図２の画像出力手段による画像合成の説明図である。
【図１０】本発明の第２の実施形態による画像処理装置処理部の機能ブロック図である。
【図１１】本発明の第２の実施形態による事前準備段階でのプレーヤの立ち位置限定のしかたの説明図である。
【図１２】本発明の第２の実施形態による閾値設定画面の説明図である。図１２（ａ）は、閾値が低い場合でノイズが多く発生している例である。図１２（ｂ）は、閾値が適正で、ほとんどノイズが発生していない例である。図１２（ｃ）は、閾値が高い場合に、エッジノイズによって、抽出対象が背景に食い込まれている例である。
【図１３】本発明の第２の実施形態による他の閾値設定画面の説明図である。図１３（ａ）は、閾値低の図、図１３（ｂ）は、閾値中の図、図１３（ｃ）は、閾値高の図である。
【図１４】本発明の第２の実施形態によるゲームプレーヤの画像処理の手順を示すフローチャートである。
【図１５】本発明の第２の実施形態によるプレーヤ画像とゲーム背景フレームとを関連付けるデータの例である。
【図１６】図１０の画像出力手段の処理手順を示すフローチャートである。
【図１７】図２および図１０の背景ノイズ除去手段の処理手順を示すフローチャートである。
【図１８】図１７の背景ノイズ候補領域マーク処理ルーチンのフローチャートである。
【図１９】図１７の候補領域上方確認処理ルーチンのフローチャートである。
【図２０】図１７の候補領域下方確認処理ルーチンのフローチャートである。
【図２１】図１７の候補領域変換処理ルーチンのフローチャートである。
【図２２】図２および図１０のノイズ緩和手段の処理手順を示すフローチャートである。
【図２３】本発明の第３の実施形態による画像処理装置処理部の機能ブロック図である。
【図２４】図２３の処理部の各手段によって実行される処理手順のフローチャートである。
【図２５】図２３のシルエット領域抽出手段の処理手順を示すフローチャートである。
【図２６】図２３の前処理手段によって実行される細いエッジノイズの除去処理の手順を示すフローチャートである。
【図２７】図２３の前処理手段によって実行されるエッジノイズ背景ノイズ化処理の手順を示すフローチャートである。
【図２８】図２３の前処理手段によって実行される拡張されたエッジの縮小処理の手順を示すフローチャートである。
【図２９】図２５のシルエット領域抽出処理の説明図である。
【図３０】図２６の細いエッジノイズの除去処理の説明図である。
【図３１】図２７のエッジノイズ背景ノイズ化処理の説明図である。
【図３２】図２８の拡張されたエッジの縮小処理の説明図である。
【図３３】図２６の細いエッジノイズの除去処理または図２７のエッジノイズ背景ノイズ化処理で用いられる重み付けラプラシアンフィルタの例である。
【図３４】図２８の拡張されたエッジの縮小処理で用いられる重み付けラプラシアンフィルタの例である。
【符号の説明】
【０１０９】
１  画像処理装置（ゲーム装置）
１１  Ａ／Ｄ変換手段
１２  処理部
１３  メモリ
１４  表示用メモリ
１５  Ｄ／Ａ変換手段
１６  外部記憶装置
１７  入力部
２１  画像入力手段
２２  画像分離手段
２３  閾値調整手段
２４  背景ノイズ除去手段
２５  ノイズ緩和手段
２６  画像出力手段
２７  ゲーム実行手段
２８  シルエット領域抽出手段
２９  前処理手段
３０  後処理手段
５１  カメラ
５２  テレビモニタ
【図１】
0004399462.tif 000002
【図２】
0004399462.tif 000003
【図３】
0004399462.tif 000004
【図４】
0004399462.tif 000005
【図５】
0004399462.tif 000006
【図６】
0004399462.tif 000007
【図９】
0004399462.tif 000008
【図１０】
0004399462.tif 000009
【図１４】
0004399462.tif 000010
【図１５】
0004399462.tif 000011
【図１６】
0004399462.tif 000012
【図１７】
0004399462.tif 000013
【図１８】
0004399462.tif 000014
【図１９】
0004399462.tif 000015
【図２０】
0004399462.tif 000016
【図２１】
0004399462.tif 000017
【図２２】
0004399462.tif 000018
【図２３】
0004399462.tif 000019
【図２４】
0004399462.tif 000020
【図２５】
0004399462.tif 000021
【図２６】
0004399462.tif 000022
【図２７】
0004399462.tif 000023
【図２８】
0004399462.tif 000024
【図３３】
0004399462.tif 000025
【図３４】
0004399462.tif 000026
【図７】
0004399462.tif 000027
【図８】
0004399462.tif 000028
【図１１】
0004399462.tif 000029
【図１２】
0004399462.tif 000030
【図１３】
0004399462.tif 000031
【図２９】
0004399462.tif 000032
【図３０】
0004399462.tif 000033
【図３１】
0004399462.tif 000034
【図３２】
0004399462.tif 000035