(57)【特許請求の範囲】
【請求項１】
入力される原画像を絵画調画像に変換する画像処理装置であって、
入力された前記原画像に画像をボカす処理及び濃度値を調整する処理を施し、信号調整画像を生成する信号調整手段と、
前記信号調整手段で得られる前記信号調整画像と前記原画像の差分である差分画像を生成する演算手段と、
前記演算手段で得られる前記差分画像の濃度値と前記原画像の濃度値とに基づいて前記差分画像と前記原画像とを合成する合成手段と、を備え、
前記原画像の各画素の濃度値をＢＧ、前記演算手段から出力され、前記合成手段に入力される画像の前記原画像に対応する各画素の濃度値をＦＧ、前記合成手段から出力される画像の各画素の濃度値をＲ、各画像のｂｉｔ数がｑであるとすると、
Ｒ＝（２ｑ−１）−２×（（２ｑ−１）−ＢＧ）×（（２ｑ−１）−ＦＧ）／２ｑ
（ただし、ＦＧ≧２ｑ−１のとき）、
Ｒ＝２×ＢＧ×ＦＧ／２ｑ
（ただし、ＦＧ＜２ｑ−１のとき）、
が成り立つことを特徴とする画像処理装置。
【請求項２】
前記信号調整手段は、前記原画像の撮影条件もしくは前記原画像の画像信号に応じて前記原画像をボカす度合いを調整可能であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記信号調整手段は、前記原画像の撮影条件もしくは前記原画像の画像信号に応じて濃度値の調整の度合いを調整可能であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記合成手段の前に、前記演算手段で得られる前記差分画像の濃度値を正規化して出力する正規化手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記合成手段は、前記差分画像における所定の濃度を基準濃度とし、該基準濃度より濃度が高い画素と前記基準濃度より濃度が低い画素とでそれぞれ別の変換を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記原画像が、異なる露光量で被写体を複数回撮影し、複数の撮像信号を合成した広いダイナミックレンジの画像であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
入力される原画像を絵画調画像に変換する画像処理方法であって、
入力された前記原画像に画像をボカす処理及び濃度値を調整する処理を施し、信号調整画像を生成する信号調整工程と、
前記信号調整工程で得られる前記信号調整画像と前記原画像の差分である差分画像を生成する演算工程と、
前記演算工程で得られる前記差分画像の濃度値と前記原画像の濃度値とに基づいて前記差分画像と前記原画像とを合成する合成工程と、を備え、
前記原画像の各画素の濃度値をＢＧ、前記演算工程から出力され、前記合成工程に入力される画像の前記原画像に対応する各画素の濃度値をＦＧ、前記合成工程から出力される画像の各画素の濃度値をＲ、各画像のｂｉｔ数がｑであるとすると、
Ｒ＝（２ｑ−１）−２×（（２ｑ−１）−ＢＧ）×（（２ｑ−１）−ＦＧ）／２ｑ
（ただし、ＦＧ≧２ｑ−１のとき）、
Ｒ＝２×ＢＧ×ＦＧ／２ｑ
（ただし、ＦＧ＜２ｑ−１のとき）、
が成り立つことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば撮像画像等の原画像を絵画風の画像に処理するといった、画像に特殊な効果を与える処理を行うための画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
従来、画像の鮮明化処理方法としては、原画像に含まれる輪郭や境界等のエッジ部分を抽出し、加工することで、原画像のエッジ強調をしていた。このように画像の輪郭や境界等を線的特徴として捉えて表現した画像は、見た人に強烈な印象を与えることができる。
【０００３】
上記方法を用いた表現の一つとして油絵や水彩画、色鉛筆画、パステル画のような絵画風な画像がある。また、ハローと呼ばれる物体の像周辺に現れる光輪も絵画風の画像の表現として好まれて使われる場合がある。なお、本件では絵画風な画像とは、輪郭や境界等がない平坦部においてグラデーションがあることと定義する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−１６７８５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら従来技術では、輪郭や境界等がない平坦部においてはエッジ強調されず、滑らかでグラデーションが現れず、面白味のない画像となっていた。例えば、特許文献１では、輪郭部を強調する処理をしているが、これでは平坦部においてはグラデーションが現れないという課題がある。
【０００６】
そこで、本発明は上述した課題に鑑みてなされたものであり、その目的は、輪郭や境界等がない平坦部においても濃淡変化を与え、グラデーションを出すことで原画像を絵画風の画像に変換することを可能にした画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明に係わる画像処理装置は、入力される原画像を絵画調画像に変換する画像処理装置であって、入力された前記原画像に画像をボカす処理及び濃度値を調整する処理を施し、信号調整画像を生成する信号調整手段と、前記信号調整手段で得られる前記信号調整画像と前記原画像の差分である差分画像を生成する演算手段と、前記演算手段で得られる前記差分画像の濃度値と前記原画像の濃度値とに基づいて前記差分画像と前記原画像とを合成する合成手段と、を備え、前記原画像の各画素の濃度値をＢＧ、前記演算手段から出力され、前記合成手段に入力される画像の前記原画像に対応する各画素の濃度値をＦＧ、前記合成手段から出力される画像の各画素の濃度値をＲ、各画像のｂｉｔ数がｑであるとすると、
Ｒ＝（２ｑ−１）−２×（（２ｑ−１）−ＢＧ）×（（２ｑ−１）−ＦＧ）／２ｑ
（ただし、ＦＧ≧２ｑ−１のとき）、
Ｒ＝２×ＢＧ×ＦＧ／２ｑ
（ただし、ＦＧ＜２ｑ−１のとき）、
が成り立つことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、輪郭や境界等がない平坦部においても濃淡変化を与え、グラデーションを出すことで原画像を絵画風の画像に変換することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。
【図２】絵画調処理部の第１の実施形態の構成例を示す図。
【図３】濃度値を調整するために与える変換曲線図。
【図４】画像信号に対する各処理前後の波形を示した図。
【図５】濃度値を増加するために与える直線図。
【図６】入力画像と絵画風の画像に変換後の画像を示す写真。
【図７】第１の実施形態における撮像装置の動作を示すフローチャート図。
【図８】絵画調処理部の第２の実施形態の構成例を示す図。
【図９】第２の実施形態における撮像装置の動作を示すフローチャート図。
【図１０】合成比率テーブルの一例を示した図。
【発明を実施するための形態】
【００１０】
以下に、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１１】
（第１の実施形態）
図１（ａ）は、本発明の第１の実施形態に係わる画像処理装置の一例である撮像装置１００の構成を示すブロック図である。撮像装置１００はデジタルカメラ、デジタルビデオカメラなど、被写体を撮像し画像データを得る装置を含む。図１（ａ）において、光学系１０１は、レンズ、シャッター、絞りから構成されていて、被写体の光学像で撮像素子１０２を露光する。ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの撮像素子１０２は、光学系１０１により結像された光学像を画素ごとの輝度情報に変換する。制御部として機能するＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御することで、撮像装置１００の機能を実現させる。なお、以下の説明において、ＣＰＵ１０３がプログラムを実行して実現する機能の少なくとも一部は、ＡＳＩＣ等の専用ハードウェアによって実現されてもよい。
【００１２】
一次記憶装置１０４は、例えばＲＡＭのような揮発性記憶装置であり、ＣＰＵ１０３の作業用に使われる。二次記憶装置１０５は例えばＥＥＰＲＯＭのような不揮発性記憶装置であり、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶する。記憶媒体１０６は、撮影により得られた画像のデータなどを記憶する。なお、記憶媒体１０６は例えば半導体メモリカードのように撮像装置１００から取り外し可能であり、記憶されたデータはパーソナルコンピュータなど他の機器で読み出し可能である。つまり、撮像装置１００は記憶媒体１０６の着脱機構及び読み書き機能を有する。表示部１０７は、撮影時のビューファインダー画像、撮影画像、対話的な操作のためのＧＵＩ画像等の表示を行う。操作部１０８は、ユーザの操作を受け付ける入力デバイス群であり、例えばボタン、レバー、タッチパネル等はもちろん、音声や視線等を用いた入力機器であってもよい。
【００１３】
なお、本実施形態の撮像装置１００は、画像処理装置１１０が撮像画像に適用する画像処理のパターンを複数有し、パターンを撮像モードとして操作部１０８から設定可能である。例えば、撮像画像を鮮やか目に仕上げるパターン、スタンダードな色合いで仕上げるパターン、発色を抑えたニュートラルな画像とするパターン、人物の肌色に重点を置いた画像処理を行うポートレートのパターン等である。例えばポートレートモードでは、人物の肌色の色調や滑らかさに重点を置いた画像処理が行われるため、人物、特に女性や子供をアップで撮影する場合に好適である。
【００１４】
通信装置１０９は、外部装置と接続し制御コマンドやデータの送受信を行う。外部装置と接続を確立し、データ通信するためのプロトコルとしては、例えばＰＴＰ（Picture Transfer Protocol）が用いられる。なお、通信装置１０９は、外部装置と例えばＵＳＢ（Universal SerialBus）ケーブルなどの有線接続により通信を行ってもよいし、無線ＬＡＮなどの無線接続により通信を行ってもよい。また、外部装置と直接接続してもよいし、サーバを経由したりインターネットなどのネットワークを介して接続してもよい。
【００１５】
画像処理装置１１０は、いわゆる現像処理と呼ばれる画像処理を始め、撮影モードに応じた色調の調整等を行う。また、露出の異なる複数の画像を合成してダイナミックレンジを拡張した合成画像を生成する処理も画像処理装置１１０が行う。合成される複数の画像のデータは例えば一次記憶装置１０４に記憶される。なお、画像処理装置１１０の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア的に実現してもよい。
【００１６】
図１（ｂ）は画像処理部１１０の内部構成を示したものである。ホワイトバランス部１１０１では、画像中の白を白くする処理がなされ、具体的には画像中の白くあるべき領域のＲ，Ｇ，Ｂが等色になるようなゲインがＲ，Ｇ，Ｂ各々にかけられる。現像処理部１１０２では色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する補間処理、マトリクス変換処理などのいわゆる現像処理が行われる。ガンマ変換部１１０３では、現像後の画像データに対してガンマ変換がおこなわれる。本実施形態では、この時点での画像データの各画素の濃度値は８ｂｉｔ(０〜２５５)で表現されている。ガンマ変換後の画像データは絵画調処理部１１０４に入力され、本実施形態の特徴である絵画調処理が施され、処理後の画像が出力される。
絵画調処理部１１０４の内部構成や動作の詳細について以下説明する。
【００１７】
図２は、原画像を絵画調画像に変換する場合に用いられる絵画調処理部の第１の実施形態の構成例を示す図である。絵画調処理部１１０４の各部は次のように構成されている。
【００１８】
ボカシ画像生成部２０３は、一次記憶装置１０４から入力された入力画像信号に対して、画像を縮小し、元の画像サイズまで拡大することで入力画像２００をボカす回路である。なお、ボカシ画像を生成する方法としてはこの方法に限らず、フィルタ処理など公知のボカす処理で生成可能である。フィルタ処理でぼかし処理を行うことで周波数帯域の形状をより細かく制御できるという利点はあるが、一方で縮小と拡大によるぼかし処理に比べて演算に時間がかかってしまう。
【００１９】
ここで、入力画像２００は撮像装置１００にて露出（露光量）を変えて撮影された複数枚の画像（撮像信号）を合成した、白とび黒潰れのない広いダイナミックレンジの画像であれば、より絵画風の画像変換効果が期待できる。ここで処理される画像信号で想定するものは、ＲＧＢまたはＹＵＶ信号であるが、ガンマやマトリクス処理されていないデモザイキング後の信号に対して行ってもよい。また、ボカシ画像生成部２０３は、外部制御信号ｃｏｎｔ２０１により縮小率、拡大率を調整できるようになされている。
【００２０】
信号調整部２０４は、ボカシ画像生成部２０３により与えられるボカシ画像信号を入力し、入力された画像信号の濃度値を全体的に低くして信号調整画像を生成する回路である。また、信号調整部２０４は、外部制御信号ｃｏｎｔ２０２により変換曲線を変更できるようになされている。なお図３（ａ）に濃度値を低くするために与える変換曲線の例を示す。
【００２１】
差分演算部２０５は、入力画像信号と、信号調整部２０４により与えられる信号調整信号とを入力し、入力画像信号の濃度値と信号調整信号の濃度値の差分演算をし、入力画像２００から高周波成分が抽出されるとともに低周波成分も残った差分画像を生成する回路である。
【００２２】
ここで、外部制御信号ｃｏｎｔ２０１により縮小率、拡大率を調整することで、入力画像信号の濃度値と信号調整信号の濃度値の差分演算結果が変わり、合成画像信号２０７ａから与えられる合成画像のハローの太さを変えることが可能（調整可能）である。
【００２３】
本実施形態では、操作部１０８で撮影モードが風景に変更された（撮影条件が変更された）場合、輪郭や境界がくっきりとした印象的な画像にしたい、輪郭部に太いハローを付与したいので、制御信号ｃｏｎｔ２０１にて縮小率、拡大率を上げてボカシ具合を大きくする。
【００２４】
ここで、外部制御信号ｃｏｎｔ２０２により変換曲線を調整することで、入力画像信号の濃度値と信号調整信号の濃度値の差分演算結果が変わり、合成画像信号２０７ａから与えられる合成画像のコントラスト強調度合を変えることが可能（調整可能）である。
【００２５】
本実施形態では、操作部１０８で撮影モードがポートレートに変更された場合、人の肌質を損ないたくない、またはコントラスト強調したくないので、図３（ａ）の通常の撮影モードである場合に比べて図３（ｂ）のように変換曲線の下凸の曲率を抑える。
また、変換曲線は図３（ｃ）のように直線であっても良い。このようにすることで、図３（ａ）、（ｂ）のような曲線にした場合に生じる、低輝度部と高輝度部のコントラストが強調されてしまうことも防ぐことができる。
【００２６】
図４は、それぞれ入力画像信号（L1）、ボカシ画像生成部２０３により与えられるボカシ画像信号（L２）、信号調整部２０４により与えられる信号調整信号（L３）、差分演算部２０５より与えられる差分演算信号（L４）の波形を示した図である。横軸は画素の変位(ｘ)、縦軸は濃度値を示しており、濃度値に段差のある領域を説明のために抽出している。上記の処理を経ると、L４のような、入力画像２００のエッジを抽出しつつ低周波成分も含んだ画像信号を得られる。
【００２７】
正規化処理部２０６は、差分演算部２０５より与えられる差分演算信号を入力し、差分演算信号を基準の濃度値（基準濃度）まで線形に増加させる回路である。なお図５（ａ）に濃度値を増加するために与える傾斜線の一例を示す。傾斜線の切片と傾きをそれぞれ調整することで、合成画像信号２０７ａから与えられる合成画像の明るさ、コントラスト強調度合を変えることが可能である。例えば、コントラスト強調度合を増したい場合、図５（ｂ）のように切片を小さく、傾斜線の傾きを大きくすれば良い。
【００２８】
合成処理部２０７は、入力画像信号と、正規化処理部２０６より与えられる正規化信号とを入力し、入力画像信号の濃度値と正規化信号の濃度値から、次式、
Ｒ＝（２ｑ−１）−２×（（２ｑ−１）−ＢＧ）×（（２ｑ−１）−ＦＧ）／２ｑ
（ただし、ＦＧ≧２ｑ−１のとき）
Ｒ＝２×ＢＧ×ＦＧ／２ｑ
（ただし、ＦＧ＜２ｑ−１のとき）    …（１）
Ｒ：演算結果
ＢＧ：入力画像信号
ＦＧ：正規化信号
ｑ：画像のｂｉｔ数
本実施形態では、合成処理部に入力される段階で各画像データは８ｂｉｔであるので、
Ｒ＝２５５−２×（２５５−ＢＧ）×（２５５−ＦＧ）／２５６
（ただし、ＦＧ≧１２８のとき）
Ｒ＝２×ＢＧ×ＦＧ／２５６
（ただし、ＦＧ＜１２８のとき）    …（２）
Ｒ：演算結果
ＢＧ：入力画像信号
ＦＧ：正規化信号
に基づいて演算し、絵画風の合成画像信号を出力する。
【００２９】
なお、絵画風画像の効果の一例として、図６（ａ）に入力画像２００としてボカシ画像生成部２０３に入力される画像、図６（ｂ）に、原画像に対応する、合成処理部２０７から得られる絵画風の画像に変換後の画像を示す。処理前の画像に対してエッジ部が強調されると共にハローが出ており、平坦部も質感が向上され絵画のような雰囲気が出ていることが分かる。
【００３０】
図７は、本実施形態における絵画調処理を含めた撮像装置の動作を示すフローチャートである。なお、各ステップはＣＰＵ１０３あるいはＣＰＵ１０３が指示をだすことにより各部で行われる。
【００３１】
ステップＳ７０１では、ＣＰＵ１０３が撮影モード、露出、ホワイトバランス等の撮影条件を取得する。取得された撮影条件に基づいて後段の各処理は行われる。撮影モードステップＳ７０２では、撮像素子１０２により撮影処理を行い、画像データを取得する。ステップＳ７０３では、ホワイトバランス部１１０１によるホワイトバランス処理、現像処理部１１０２による現像処理及びガンマ変換部によるガンマ変換処理などの一般的な画像処理が行われる。ガンマ変換処理までが行われた処理後の画像データは絵画調処理部に入力され、ステップＳ７０４で前述した絵画調処理が行われる。処理後の画像は圧縮等の処理が行われ一次記憶装置１０４に記憶され（ステップＳ７０５）、処理は終了する。
【００３２】
以上のように、本実施形態では、ぼかし画像を信号調整して原画像と差分をとることで低周波成分を残した差分画像を取得し、この差分画像を原画像と合成することで、平坦部の質感が残った合成画像を得ることができる。
【００３３】
また、ぼかし画像のぼかし具合を調整することで、エッジ部分の強調の程度やエッジ周辺のハローの大きさを調整することができる。
【００３４】
また、ぼかし画像に行う信号調整処理の調整曲線を変えることで、合成画像のコントラストや平坦部の質感を調整することができる。
【００３５】
さらに、本実施形態では、上記のぼかし具合の調整や調整曲線を撮影モードに応じて決定することもできるため、ユーザは撮影モードに応じて適した画像を容易に得ることができる。
【００３６】
（第２の実施形態）
図８は、原画像を絵画調画像に変換する場合に用いられる画像処理装置の第２の実施形態の構成例を示す図である。画像処理装置８１０は、第１の実施形態に対し、ＨＤＲ合成部８１０１および画像解析部８１０２が付加されている。その他は同じであるため、同一部分には同一符号を付している。
【００３７】
本実施形態では、広いダイナミックレンジの画像を得るために、撮像装置１００にて露出を変えて複数回撮影を行い、それぞれの撮影で得られた露出の異なる複数枚の撮影画像データを、一次記憶装置１０４に記憶する。ＨＤＲ合成部８１０１は、一次記憶装置１０４に記憶される複数枚の撮影画像データをそれぞれ所定の合成比率に基づいて画素毎に合成する回路である。
【００３８】
ここで合成比率は、任意の画像データを基準の輝度値として、複数枚撮影された任意の画像データを除いた、各画像データの画素毎の輝度値の高低に応じる。例えば、長時間露光された画像、中時間露光された画像、短時間露光された画像の３枚の画像の撮影が行われた場合、長時間露光された画像と中時間露光された画像が切り替わる１つ目の閾値と、中時間露光された画像と短時間露光された画像が切り替わる２つ目の閾値を設ける。前述の１つ目の閾値より中時間露光された画像の輝度値が低い画素は、長時間露光された画素が採用され、前述の２つ目の閾値より基準の輝度値が高い画素は、短時間露光された画素が採用されるように合成する。
【００３９】
また、合成画像の継目がなるべく現れないようにするため、例えば線形補間関数を用いるなど、補間関数を変えても良い。例えば、図１０のように合成比率を線形に増減することにより、継目を軽減させることが可能である。
【００４０】
前述の複数枚の撮影画像データの合成により、白とび黒潰れのより少ない広いダイナミックレンジの入力画像８００が得られ、より絵画風の画像変換効果が期待できる。
【００４１】
画像解析部８１０２は、ＨＤＲ合成部８１０１より与えられる画像合成信号に対して、人物や車等が含まれているか解析し、判断する回路である。ここで、画像に人物が含まれる場合の解析手法として例えば、画像データから与えられる画像信号から、任意の一つの領域の勾配方向をエッジ強度として捉え、これを特徴量として算出する。この特徴量とデータベースに蓄積されるサンプルの特徴量間の相関係数が高いのであれば、上述の画像データには人物が含まれると判断する。なお、上述の解析手法に限定されず、その要旨の範囲内で種々の変形及び変更が可能なのは明白である。
【００４２】
ここで、外部制御信号ｃｏｎｔ２０１は、画像解析部８１０２にて解析された判断結果に応じて調整される。画像解析部８１０２によって、人物が検出されたと判断された場合、人物の周辺に太いハローを付与するために、制御信号ｃｏｎｔ２０１にて縮小率、拡大率を上げてボカシ具合を大きくする。
【００４３】
また、外部制御信号ｃｏｎｔ２０２も上記の外部制御信号ｃｏｎｔ２０１と同様に、画像解析部８１０２にて解析された判断結果に応じて調整される。本実施形態では、画像解析部８１０２によって、建物が検出されたと判断された場合、グラデーションを出すためにコントラスト強調度合を増したいので、制御信号ｃｏｎｔ２０２にて変換曲線の下凸の曲率を大きくする。
【００４４】
図９は、本実施形態における絵画調処理を含めた撮像装置の動作を示すフローチャートである。なお、各ステップはＣＰＵ１０３あるいはＣＰＵ１０３が指示をだすことにより各部で行われる。
【００４５】
第２の実施形態では、ステップＳ７０３までの処理を終えた画像データを複数枚一次記憶装置１０４に記憶し、これらの画像を用いてステップＳ９０１で上述したＨＤＲ合成処理を行う。ステップＳ９０２では、ＨＤＲ合成処理後の画像に対して上述した画像解析処理を行う。ステップＳ７０４では、上述したように画像解析の結果を用いて絵画調変換処理を行う。
【００４６】
その他の構成は第１の実施形態と同じであるため、同一部分には同一符号を付している。以降の実施方法は、第１の実施形態と同じであるため説明を省略する。
【００４７】
以上のように、本実施形態では、ぼかし画像を信号調整して原画像と差分をとることで低周波成分を残した差分画像を取得し、この差分画像を原画像と合成することで、平坦部の質感が残った合成画像を得ることができる。
【００４８】
また、ぼかし画像のぼかし具合を調整することで、エッジ部分の強調の程度やエッジ周辺のハローの大きさを調整することができる。
【００４９】
また、ぼかし画像に行う信号調整処理の調整曲線を変えることで、合成画像のコントラストや平坦部の質感を調整することができる。
【００５０】
さらに、本実施形態では、上記のぼかし具合の調整や調整曲線を画像解析を行って画像に応じて決定することもできるため、ユーザは画像に応じて適した絵画調処理の行われた画像を容易に得ることができる。
【００５１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００５２】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００５３】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００５４】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【図１】
0005932374.tif 000002
【図２】
0005932374.tif 000003
【図３】
0005932374.tif 000004
【図４】
0005932374.tif 000005
【図５】
0005932374.tif 000006
【図７】
0005932374.tif 000007
【図８】
0005932374.tif 000008
【図９】
0005932374.tif 000009
【図１０】
0005932374.tif 000010
【図６】
0005932374.tif 000011