(57)【要約】【課題】瞳分離像が飽和による像崩れを起こした場合においても正しく像ずれ量を求めることを可能にする画像処理装置を提供すること。【解決手段】マイクロレンズに対して複数の光電変換手段が対応して配列された撮像素子から得られる画像信号を処理する画像処理装置は、一つのマイクロレンズに対応する各光電変換手段からの画像信号が飽和レベルに達しているかどうかを検出し、光電変換手段の飽和の検出結果にしたがって、当該光電変換手段を含む複数の光電変換手段からの画像信号の相関を相関演算手段による像ずれ量の演算に用いるかどうかを制御する。【選択図】図６
2013231793.tif 000002
【特許請求の範囲】
【請求項１】
マイクロレンズに対して複数の光電変換手段が対応して配列された撮像素子から得られる画像信号を処理する画像処理装置であって、
一つのマイクロレンズに対応する各光電変換手段からの前記画像信号の相関を演算し、当該相関に基づいて、各光電変換手段により撮像された像の間の像ずれ量を演算する相関演算手段と、
一つのマイクロレンズに対応する各光電変換手段からの前記画像信号が飽和レベルに達しているかどうかを検出する飽和検出手段と、
前記相関演算手段を制御する制御手段を備え、
前記制御手段は、前記飽和検出手段による前記光電変換手段の飽和検出の結果にしたがって、当該光電変換手段を含む前記複数の光電変換手段からの画像信号の相関を前記相関演算手段による像ずれ量の演算に用いるかどうかを制御することを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記飽和検出手段が光電変換手段の飽和を検出したときは、当該光電変換手段を含む前記複数の光電変換手段からの画像信号の相関を前記相関演算手段が像ずれ量の演算に用いないよう制御することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記相関演算手段は、前記飽和検出手段による前記光電変換手段の飽和検出の結果に従った前記制御手段による制御に従って前記画像信号の相関を前記像ずれ量の演算に用いなかった排除回数を積算し、当該積算した排除回数に基づいて前記像ずれ量の演算に用いる相関の正規化を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記相関演算手段は、前記像ずれ量の演算に用いる相関と前記排除回数とから相関像とそれに対応する排除像を生成し、当該相関像を排除像に基づいて正規化することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記飽和検出手段は、前記画像信号のレベルと予め設定された閾値との比較の結果に基づいて前記光電変換手段の飽和を検出し、前記制御手段は、前記閾値を設定することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
マイクロレンズに対して複数の光電変換手段が対応して配列された撮像素子と、
請求項１乃至５のいずれか一項に記載の画像処理装置を備えることを特徴とする撮像装置。
【請求項７】
前記複数の光電変換手段からの画像信号を加算する加算手段と、当該加算された信号を処理する信号処理手段を備えることを特徴とする請求項６に記載の撮像装置。
【請求項８】
マイクロレンズに対して複数の光電変換手段が対応して配列された撮像素子から得られる画像信号の処理方法であって、
一つのマイクロレンズに対応する各光電変換手段からの前記画像信号の相関を演算し、当該相関に基づいて、各光電変換手段により撮像された像の間の像ずれ量を演算する相関演算ステップと、
前記一つのマイクロレンズに対応する各光電変換手段からの前記画像信号が飽和レベルに達しているかどうかを検出する飽和検出ステップと、
前記相関演算ステップを制御する制御ステップを備え、
前記制御ステップは、前記飽和検出ステップでの前記光電変換手段の飽和検出の結果に従って、当該光電変換手段を含む前記複数の光電変換手段からの画像信号の相関を前記相関演算ステップでの像ずれ量の演算に用いるかどうかを制御することを特徴とする画像処理方法。
【請求項９】
コンピュータを、
マイクロレンズに対して複数の光電変換手段が対応して配列された撮像素子から得られる画像信号を処理する画像処理装置の制御方法において、
前記一つのマイクロレンズに対応する各光電変換手段からの前記画像信号の相関を演算し、当該相関に基づいて、各光電変換手段により撮像された像の間の像ずれ量を演算する相関演算手段、
一つのマイクロレンズに対応する各光電変換手段からの前記画像信号が飽和レベルに達しているかどうかを検出する飽和検出手段、
前記飽和検出手段による前記光電変換手段の飽和検出の結果に従って、当該光電変換手段を含む前記複数の光電変換手段からの画像信号の相関を前記相関演算手段による像ずれ量の演算に用いるかどうかを制御する制御手段として機能させるプログラム。
【請求項１０】
請求項９のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項１１】
コンピュータを、請求項１乃至５のいずれか一項に記載された画像処理装置の各手段として機能させるコンピュータプログラム。
【請求項１２】
コンピュータを、請求項１乃至５のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１つのマイクロレンズに対して複数の光電変換部を持った撮像素子を利用して瞳分割像を取得し、得られた２つの瞳分割画像の位相差から焦点検出を行うための画像処理に関する。特に光電変換部の飽和による像崩れの影響を受けない相関演算を行なう画像処理に関する。
【背景技術】
【０００２】
従来、１つのマイクロレンズに対して複数の光電変換部が対応する撮像素子により瞳分離像を取得し、得られた２つの瞳分割像の位相差を求めて焦点検出を行う技術が知られている。
【０００３】
例えば、特許文献１では瞳分割した像により位相差を求めて焦点検出を行うと同時に、同一のマイクロレンズに対応した光電変換部の信号を全て加算して１つの画素の信号として出力する技術が開示されている。後者のように画像信号を取り扱うことで従来の撮像画素の配列で得られた画像信号と同じになるようにし、従来の信号処理技術により観賞用の画像を作成する技術を開示している。
【０００４】
分割された光電変換部の１つでも飽和に達してしまうと、同一マイクロレンズに対応した全ての光電変換部の出力を加算しても、飽和の影響により加算出力はリニアな特性とはならず、画質が劣化してしまうのである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−８３４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献に開示された従来技術では、最終的に得られる画像における許容飽和レベルが改善され画質が向上するが、加算前の瞳分離像の飽和レベルは改善されることはない。むしろ、飽和した画素から漏れ出した電荷を吸収した画素の影響により像崩れが生じて、位相差を求める際の像の相関が悪化してしまう。
【０００７】
すなわち、焦点検出に悪影響が生じて焦点検出精度が悪化もしくは焦点検出不能な状態になってしまう。
【０００８】
良好な画像が得られているにも関わらず焦点検出が不能となるため、焦点検出が可能な時と焦点検出不能な時の区別がつかない場合が出現し、使用者を混乱させることにもなる。
【０００９】
そこで、本発明の目的は、瞳分離像が飽和による像崩れを起こした場合でも、正しく像ずれ量を求めることを可能にする画像信号処理を提供することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の画像処理装置は、マイクロレンズに対して複数の光電変換手段が対応して配列された撮像素子から得られる画像信号を処理する画像処理装置であって、一つのマイクロレンズに対応する各光電変換手段からの画像信号の相関を演算し、当該相関に基づいて、各光電変換手段により撮像された像の間の像ずれ量を演算する相関演算手段と、一つのマイクロレンズに対応する各光電変換手段からの画像信号が飽和レベルに達しているかどうかを検出する飽和検出手段と、相関演算手段を制御する制御手段あり、飽和検出手段による光電変換手段の飽和の検出結果にしたがって、当該光電変換手段を含む複数の光電変換手段からの画像信号の相関を相関演算手段による像ずれ量の演算に用いるかどうかを制御する制御手段を備える。
【発明の効果】
【００１１】
本発明の画像信号処理によれば、瞳分離像が飽和による像崩れを起こした場合においても、正しく像ずれ量を求めることが可能になる相関演算を行なうことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係わる撮像素子の画素構造を示す図。
【図２】図１の画素における入射光量出力レベル特性を示す図。
【図３】本発明の実施形態に係わる撮像素子の画素の撮像出力波形を示す図。
【図４】図３に示す撮像出力波形から得られる相関像を示す図。
【図５】本発明の第１の実施形態に係わる撮像装置のブロック図。
【図６】本発明の第１の実施形態に係わる画素差分値の絶対値積算回路の回路図。
【図７】本発明の実施形態に係わる撮像素子の画素配列を示す図。
【図８】図７に示す画素配列の撮像素子の出力信号から得られる相関像および排除カウント像を示す図。
【図９】像高が高い画素への入射光を模式的に示す図。
【図１０】本発明の第２の実施形態に係わる相関演算動作のフローチャートを示す図。
【図１１】図１０に示す相関演算動作での相関像正規化のフローチャートを示す図。
【発明を実施するための形態】
【００１３】
以下に、本発明の好ましい実施形態を、添付の図面を参照して詳細に説明する。
【００１４】
最初に、本発明の実施形態に係わる撮像装置の構成を説明する。
図１は、本発明の実施形態に係わる撮像素子の画素（光電変換手段）の構造を示した図である。
図において、１０１は画素に光を集光するためのマイクロレンズ、１０２はカラーフィルター、一般にＲＧＢなどの複数の色のカラーフィルターが一定周期の繰り返しで配列されている。
【００１５】
１０３は半導体の配線層、１０４と１０５は光電変換を行うフォトダイオードである。
【００１６】
通常の撮像素子では１０５と１０４は１つの光電変換部であるが、本発明の前提となる画素構造ではその光電変換部を分割する事によって瞳分割像を得る。即ち、一つのマイクロレンズに２つの光電変換部が対応する画素構造を有する。
【００１７】
光電変換部１０４のみの光電変換信号（画像信号）から構成した画像（Ｂ像）と光電変換部１０５のみの画像信号から構成した画像（Ａ像）では瞳が分割されているため、両画像には視差が生じている。その視差のある画像は、焦点検出やステレオ画像を得るなどの用途で利用できる。
【００１８】
また、光電変換部１０５（Ｂ像画素）と１０４（Ａ像画素）の画像信号を加算すれば、一般の画素と同じ瞳形状に戻るため、加算された画像信号に対して一般的な信号処理をすれば従来の撮像素子と同様の画像を得ることができる。
【００１９】
ここで上記光電変換部の飽和の問題について図２を用いて説明する。
図２は光電変換部が分割された画素の一つにおける入射光と出力の関係を示す図である。横軸はマイクロレンズに入射する光量、縦軸は光電変換部から出力される画像信号値を示している。
【００２０】
図２（ａ）は、図１の画素の入射光と出力の関係を示し、折れ線２０１は光電変換部を分割しない場合の特性を示し、飽和レベルに達するまでリニアリティが保たれている。もし、マイクロレンズに入射した光が分割された光電変換部に均等に当たれば、各光電変換部の画像信号を加算した画像信号は２０１のような特性を示す。
しかし、像高中心で且つ焦点が合っている状態でもない限り、画素に当たる光はその受光面内で均等にはならない。
【００２１】
図９は像高の高い場所の画素、つまり画面の周辺の画素に光が当たっている様子を示している。画面の周辺の画素では光は斜めから入射するため光電変換部１０４のほとんどに光があたらない状態となり、光電変換部１０５ばかりに光が当たっている。したがって１０５が先に飽和に達してしまう。
【００２２】
図２（ａ）の折れ線２０３は光電変換部１０５の、また２０４は光電変換部１０４の特性を示している。特性２０３が先に飽和レベルに達してしまうため光電変換部１０５と１０４の画像信号を加算した信号は折れ線２０２のようになってしまい、特性３０１に比べて早く飽和の影響が出てしまう。
【００２３】
その影響をさける対策として次のような画素構造にする方法がある。
即ち、光電変換部１０５が飽和に達してしまった場合、そこで発生した電荷が光電変換部１０４に漏れこむように画素を構成する。これにより光電変換部１０５と１０４の画像信号を加算した信号は図２（ｂ）の折れ線２０１のような特性を示すようになる。その場合の画素１０４の特性は図２（ｂ）の２０５のようになる。
【００２４】
２０５のカーブは、光電変換部１０５（特性２０３）が飽和に達し、それから電荷が流入するため入射光に対する出力の傾きが立ってきている。
【００２５】
さらに、Ａ像とＢ像はデフォーカス量に応じて視差がつくため、ボケた（デフォーカスした）画像においては大きくレベルが異なることになるが、飽和した電荷が漏れることによりハイライト部分においてはＡ像とＢ像共に飽和してしまう。
【００２６】
図３はデフォーカスしたＡ像とＢ像それぞれの一部が飽和を起こしている場合の画像信号の例を示す。図において、実線３０１はＢ像、破線３０２はＡ像の波形を示す。
【００２７】
デフォーカス量は、Ａ像とＢ像の像ずれ量に基線長で決まる定数を掛けることで算出できる。Ａ像とＢ像は像ずれを起こしているため、デフォーカス量を求めることができるべきだが、飽和を起こしている部分においては像がずれていない。この影響度が大きいために、Ａ像とＢ像が像ずれしていない上記位置で最も一致度が高くなってしまう。
【００２８】
つまり、相関演算の結果、Ａ像とＢ像が像ずれしていないと判断されるため、合焦状態にあると誤判断されてしまう。
【００２９】
図４は図３のＡ像の画像信号３０２とＢ像の画像信号３０１を相関演算して得られる相関像である。
相関像とはＡ像とＢ像を少しずつずらして、ずれ量に応じて得られる相関量を像としたものである。相関量としてはＳＡＤ(Sum of Absolute Difference)と呼ばれる差の絶対値の総和やＳＳＤ(Sum of Squared Difference)と呼ばれる差の絶対値の二乗の総和などを指標とするのが一般的である。
【００３０】
図４の横軸の目盛り０がずれ量０の部分であり、相関量が最も小さくなっている。相関量の最も小さくなっている場所は相関の高い場所であり、図４の例ではずれ量０の部分の像の一致度が最も高いといえる。
このように、飽和による電荷漏れが発生すると、実際のデフォーカス量とは無関係に電荷漏れに起因するデフォーカス量０に引っ張られてしまうという現象が発生する。
【実施例１】
【００３１】
以下、図５を参照して、本発明の第1の実施例に係わる画像処理装置を、図１に示す画素からなる撮像素子を有する撮像装置に適用した場合について説明する。
【００３２】
図５は本発明の第一の実施例に係わる撮像装置のブロック図である。
同図において、５０１はレンズ、５０２は撮像素子、５０３はＡＤ変換器、５０４はＡＢ像加算回路、５０５はＡＢ像分離回路、５０６は信号処理回路、５０７は相関演算回路、５０８はデフォーカス量算出部である。これらは、システム全体を制御するマイクロコンピュータ５０９により制御される。
【００３３】
撮像素子５０２の画素は図１で説明した構造であり、１つのマイクロレンズに対して２つの光電変換部をもっている。図７は撮像素子の表面の画素配列を示した図である。７０３と７０４はそれぞれグリーンのＡ像画素、Ｂ像画素である。同様に７０１はレッドのＢ像画素、７０２はブルーのＡ像画素である。
【００３４】
このようにＡ像画素とＢ像画素をあわせて１つの画素にするとＲＧＢのベイヤー配列という配列になる。
【００３５】
ＡＤ変換器５０３の出力はＲＧＢそれぞれについてＡ像データとＢ像データが順次出力されるためＡＢ像加算回路５０４で同色の隣接画素データを加算するとベイヤー配列に戻る。
【００３６】
５０６はベイヤー配列からカラー映像信号を作成する信号処理回路である。
【００３７】
ＡＢ像分離回路５０５によってＡ像データとＢ像データを分離して５０７の相関演算部に渡される。
【００３８】
相関演算部５０７ではＡ像とＢ像の像のずれ量を相関像として算出してデフォーカス部５０８に出力する。
【００３９】
デフォーカス量算出部５０８では相関像を解析して像ずれ量を得て、それにＡ像Ｂ像の基線長で決まる定数を乗算して+デフォーカス量を求める。制御マイコン５０９ではデフォーカス量に応じてレンズ５０１を制御してピントをあわせる。
【００４０】
図６は図５に示される相関演算部５０７を構成する差の絶対値積算部の回路図である。
【００４１】
６０１の飽和スレッシュレベルは制御マイコン５０９によって変更可能に与えられる設定値であり、センサーの特性として飽和を始めるレベルを閾値として指定するものである。
【００４２】
６０２はＡ像データ入力、６０３はＢ像データ入力である。相関演算部の前段のバッファーに蓄積されたＡ像データとＢ像データはシフト量を１つずつずらしながら何度も６０２、６０３に入力される。差分絶対値演算部６０５でＡ像データとＢ像データの差の絶対値が算出され積算部６０８で差の絶対値の総和が求められる。
【００４３】
１つのシフト量に対してＡ像データとＢ像データの入力６０２、６０３が終えた時点で積算出力６１０を後段で取り込み、積算部６０８をリセットする。シフト量を変更して最初から入力し、像を入力し終えたら積算出力６１０を取り込む。以下同じ動作を何度も繰り返すことで相関像を得る。飽和検出部６０４ではＡ像画素とＢ像画素のどちらかが飽和に達しているかを、上記閾値６０１と比較して検出する。
【００４４】
飽和検出部６０４が飽和を検出するとのスイッチ６０６がＯＦＦになり、飽和を検出した処理サイクルでは差分絶対値が６０８に取り込まれない。それにより６１０の相関量出力から飽和の影響を排除することができる。即ち、画像信号の相関を像ずれ量の演算に用いるかどうかを飽和検出部６０４の飽和検出の結果に従って制御することができる。
【００４５】
カウンタ回路６０７では飽和検出部６０４の出力が１だったサイクルに１つカウントアップする。それにより飽和で排除した回数（排除回数）がカウンタ部６０７でカウントされる。積算出力６１０の相関量の出力を取り込むサイクルで飽和排除カウンタ値６０９を取り込むことで飽和排除像を得ることができる。
【００４６】
図８の（ａ）は図６の絶対値積算部の出力に基づいて相関演算部５０７で得られる相関像を示している。
同図において、曲線８０１が図６の絶対値積算部で積算した相関量による相関像である。
【００４７】
図８（ｂ）はそれに対する飽和排除カウンタ像である。ずれ量０の時にＡ像の飽和領域とＢ像の飽和領域が向かい合うことになり、最も少ない飽和カウンタ値を示すことになる。点線８０２は相関像８０１を飽和排除カウンタ像８０３で正規化した正規化相関像である。具体的には以下のような式で正規化する。
式：
正規化済み相関量  ＝  相関量＊視野画素数/(視野画素数-飽和排除カウンタ値)
飽和により差分絶対値の加算を排除した分だけ重みを補正している。
【００４８】
デフォーカス量算出部５０８によって相関像と飽和排除カウンタ像から正規化を行い、点線８０２のような正規化された相関像を得る。
【００４９】
その後デフォーカス量算出部５０８では、パラボラフィッティングという手法でサブピクセルマッチングを行う。
【００５０】
パラボラフィッティングでは相関量の極小値の前後の像の傾きを利用してサブピクセルマッチング位置を算出するため（例えば、極小値の前後の異なるずれ量の４点での値）、正規化によりサブピクセルマッチングの精度が向上する。
【００５１】
また、飽和画素が占める割合が多い場合は正規化をしないと極小値そのものが狂ってしまい正しくずれ量を算出できなくなるため、相関像は必ず正規化して利用する。
【実施例２】
【００５２】
次に、図１０および１１を参照して、本発明の第２の実施例に係わる画像信号処理装置について説明する。
【００５３】
実施例１に係わる画像信号処理装置においては、相関演算部５０７は図６に示す差分絶対値積算部の演算回路などよって構成されていたが、実施例２においては相関演算部５０７の機能をマイクロコンピュータによる処理で達成する。この場合のマイクロコンピュータによる処理は、制御マイコン５０９に行わせることが可能であるが、専用のマクロコンピュータに処理を分担させてもよい。処理は、図示しないメモリに記憶されたコンピュータプログラムをマイクロコンピュータがロードして実行することで達成される。相関演算部５０７以外の構成は図５の構成と同じであり、ここでの説明は省略する。
【００５４】
図１０は実施例２の相関演算部５０７の機能を実現するためのマイクロコンピュータ処理のフローチャートである。
【００５５】
まず、ステップＳ１００１で相関演算を開始すると、ステップＳ１００２でシフト量（ここでは仮に−１００〜＋１００とする）だけ相関量積算の繰り返しを開始する。
【００５６】
ステップＳ１００３でＡ像視野の画素数分の繰り返しを開始する。
【００５７】
ステップＳ１００４ではＡ像画素位置に対してシフト量分ずれたＢ像画素位置の画素をそれぞれ取り出す。
【００５８】
ステップＳ１００５でＡ像画素もしくはＢ像画素が飽和しているかどうかを判断し、飽和していればステップＳ１００８へ分岐し飽和回数カウンタをカウントアップしてステップＳ１０１０に進む。
【００５９】
ステップＳ１００５でＡ像画素、Ｂ像画素ともに飽和していなければステップＳ１００７に進み、Ａ像画素とＢ像画素の差の絶対値をＳＡＤ値として積算して、ステップＳ１０１０に進む。
【００６０】
ステップＳ１０１０でＡ像Ｂ像の画素位置を＋１インクリメントして（１画素分ずらす）ステップＳ１００３に戻る。
【００６１】
ステップＳ１００３からステップＳ１０１０を視野長分繰り返したら（ステップＳ１００３でＮ）、ステップＳ１００６へ進み、ＳＡＤ値と排除カウンタ値を配列のシフト量に対応した位置に格納する。
【００６２】
ステップＳ１００９でシフト量を＋１インクリメントして（１画素分シフト）ステップＳ１００２へ戻る。
【００６３】
ステップＳ１００２からステップＳ１００９までをシフト量分繰り返すことで、各シフト量に対する相関像と排除カウンタのテーブルを生成し（ステップＳ１００２でＮ）、ステップＳ１０１１へ進む。
【００６４】
ステップＳ１０１１では正規化演算を行い、ステップＳ１０１２でこの処理を終了する。
【００６５】
図１１は図１０のステップＳ１０１１の正規化演算の詳細なフローチャートを示す。
【００６６】
ステップＳ１１０１で正規化を開始する。
【００６７】
ステップＳ１１０２で相関像長（０〜２００）の繰り返しを開始する。
【００６８】
ステップＳ１１０３で相関量と排除カウンタを上記生成されたテーブルから取り出す。
【００６９】
ステップＳ１１０４で相関量に（視野長÷（視野長―排除カウンタ値））を掛けて正規化を行う。
【００７０】
ステップＳ１１０５では、正規化演算の結果をテーブルに格納してポインタを１つすすめてＳ１１０２に戻る。
【００７１】
ステップＳ１１０２〜Ｓ１１０５を相関像長だけ繰り返したら（ステップＳ１１０２でＮ）、Ｓ１１０６に進み、図１０の処理に復帰する。
【００７２】
上述したように、本実施例においても第１の実施例と同等の技術的効果を達成することが可能である。なお、第２の実施例において図１０−１１に示した各処理は、上述のように各処理の機能を実現する為のプログラムを不図示のメモリから読み出して制御マイクコン５０９などが実行することによりその機能を実現させるものである。
【００７３】
しかし、上述した構成に限定されるものではなく、図１０−１１に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、上述したメモリは、コンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。例えば、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリ、あるいはこれらの組合せにより構成された記録媒体である。
【００７４】
また、図１０−１１に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた場合も含む。この場合、書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【００７５】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。このように、一定時間プログラムを保持しているものも「コンピュータ読み取り可能な記録媒体」に含むものとする。
【００７６】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００７７】
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００７８】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
【００７９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
2013231793.tif 000003
【図２】
2013231793.tif 000004
【図３】
2013231793.tif 000005
【図４】
2013231793.tif 000006
【図５】
2013231793.tif 000007
【図６】
2013231793.tif 000008
【図７】
2013231793.tif 000009
【図８】
2013231793.tif 000010
【図９】
2013231793.tif 000011
【図１０】
2013231793.tif 000012
【図１１】
2013231793.tif 000013