(57)【要約】【課題】  ぼけの少ない新たな画像を作成することができるフィルタおよび画像内挿装置、並びに、フィルタ係数特定方法を提供する。【解決手段】  画像内挿外挿装置１は、入力された画像が連続する動画像の内挿を行うものであって、動画像に含まれている画像を遅延させる遅延手段３と、遅延された画像にフィルタ係数を乗算するフィルタ係数乗算手段５と、乗算結果を切り替えて出力する切替手段７と、乗算結果を加算して新たな画像（内挿画像）を生成する画像生成手段９と、を備えた。【選択図】      図１
2006211010.tif 000002
【特許請求の範囲】
【請求項１】
画像が連続する動画像に内挿をする際に用い、当該画像に乗算する複数のフィルタ係数を有するフィルタであって、
存在する画像間に内挿する内挿画像の前後画像からサンプリングする個数を３個とすると共に、サンプリングする位置を当該内挿画像の２個前と１個前と１個後とにする場合には、
前記内挿画像に係るフィルタ係数を１とし、前記後画像に係るフィルタ係数から列挙すると、前記フィルタ係数が（３／８，１，３／４，０，−１／８）、または、前記前画像に係るフィルタ係数から列挙すると、前記フィルタ係数が（−１／８，０，３／４，１，３／８）であることを特徴とするフィルタ。
【請求項２】
画像が連続する動画像に内挿をする際に用い、当該画像に乗算する複数のフィルタ係数を有するフィルタであって、
存在する画像間に内挿する内挿画像の前後画像からサンプリングする個数を５個とすると共に、サンプリングする位置を当該内挿画像の２個前と１個前と１個後と２個後と３個後とにする場合には、
前記内挿画像に係るフィルタ係数を１とし、前記後画像に係るフィルタ係数から列挙すると、前記フィルタ係数が（−１／９６，０，−１／４８，０，１／２，１，２９／４８，０，−７／９６）、または、前記前画像に係るフィルタ係数から列挙すると、前記フィルタ係数が（−７／９６，０，２９／４８，１，１／２，−１／４８，０，−１／９６）であることを特徴とするフィルタ。
【請求項３】
請求項１または請求項２に記載のフィルタを備え、入力された画像が連続する動画像の内挿を行う画像内挿装置であって、
入力された画像を遅延させる遅延手段と、
この遅延手段で遅延された画像に、遅延された遅延量に応じて、前記フィルタで設定されているフィルタ係数を乗算するフィルタ係数乗算手段と、
このフィルタ係数乗算手段で乗算された画像の出力を、前記内挿するタイミングに従って切り替える切替手段と、
この切替手段で出力が切り替えられた画像同士を加算して、前記内挿に用いる内挿画像を生成する画像生成手段と、
を備えることを特徴とする画像内挿装置。
【請求項４】
画像が連続する動画像に内挿または外挿をする際に用いるフィルタにおいて、当該画像に乗算する複数のフィルタ係数を特定するフィルタ係数特定方法であって、
前記動画像の画像レベルの変化を示す関数が微分可能な回数を予め設定された処理方法によって決定する微分回数決定ステップと、
この微分回数決定ステップにて決定された微分回数に基づいて、内挿または外挿する画像を挿入する挿入位置をｘとし、前記微分回数決定ステップにて決定した、前記関数が微分可能な画像を取得する取得位置をａとした場合に、次に示す数式１について、微分係数を示す項の数を設定すると共に、この項における微分係数を、当該微分係数を求めた画像の前後の画像を示す関数を用いた差分方程式に置換する微分係数置換ステップと、
ｆ（ｘ）＝ｆ（ａ）＋（ｘ−ａ）ｆ′（ａ）／１！＋（ｘ−ａ）2ｆ″（ａ）／２！・・・＋（ｘ−ａ）nｆn（ａ）／ｎ！
・・・数式１
この微分係数置換ステップにて置換された差分方程式の各項にかかる係数を、前記画像を示す関数ごとに加算することで、前記フィルタ係数とするフィルタ係数特定ステップと、
を含むことを特徴とするフィルタ係数特定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に画像を内挿する際に用いるフィルタおよび画像内挿装置、並びに、当該フィルタの係数を特定するフィルタ係数特定方法に関する。
【背景技術】
【０００２】
一般に、動画像、または、ＣＴスキャンやＭＲＩによって得られる人体等の３次元断層画像は、複数の静止画（以下、単に画像という）から構成されている。この画像が時間的に連続している場合に、瞬時に取り替えて（１秒間に６０回）表示することで、動画像となり、当該画像が空間的に連続している場合に、取り替えて表示することで、３次元断層画像となる。
【０００３】
この動画像では、複数の画像をまとめて取り扱ったものであるので、同一の内挿技術が適用可能である。この内挿技術は、既知の画像間において、新たな画像を作り出すものである。この応用技術として、動画像における方式変換やノンインタレース変換等のアプリケーションがあり、３次元断層画像では、当該３次元断層写真間の画像から形状データを生成するポリゴンメッシュ生成等のアプリケーションがある。
【０００４】
ちなみに、方式変換やノンインタレース変換では、画像間における被写体の動きを示す動きベクトルを用いることで、当該画像の解像度を保ったままで、内挿画像を作成する技術が確立している（例えば、特許文献１、２参照）。
【０００５】
ここで、図５を参照して、内挿と外挿について説明する。図５は横軸に時間、縦軸に画像レベルを取ったグラフにおいて、画像が連続してなる動画像の画像レベルの変化を示したものである。このグラフにおいて、動画像は、時間経過に伴って画像レベルが緩やかな波状に変化しており、「○」が離散的に連続して存在している画像を示しており、「△」、「×」が内挿または外挿する新たな画像を示している
【０００６】
内挿の場合、例えば、区間ｂに含まれている「○」の画像を用いて、新たな画像を作成し、当該区間ｂ内に挿入することである。
外挿の場合、例えば、区間ｂに含まれている「○」の画像を用いて、新たな画像を作成し、当該区間ｂ以外の区間、すなわち、区間ａまたは区間ｃに挿入するものである。
【特許文献１】特開昭６２−２３０１８０号公報
【特許文献２】特開昭６２−２３０１７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、全ての画像に対して適切な動きベクトルを、当該画像を所定の画素数に細分化したブロック画像単位で検出することは困難である。このため、適切な動きベクトルが検出できなかった画像に対しては、図６に示す線形内挿を用いて、新たな画像を作り出している。
【０００８】
図６に示したように、既存の画像ｘ（１）＝５０（画像レベル）と既存の画像ｘ（３）＝６０（画像レベル）との間に、新たな画像ｘ（２）を線形内挿によって作り出す場合、既存の画像ｘ（１）から新たな画像までの画像数がｍ＝３であり、既存の画像ｘ（３）から新たな画像までの画像数がｎ＝２であるならば、
ｘ（２）＝｛２・ｘ（１）＋３・ｘ（３）｝／（ｍ＋ｎ）
＝５６
となる。
【０００９】
このような線形内挿は、簡単な計算で新たな画像を作成することができる有効な手法であるが、新たな画像を、既存の画像の画素の画素値に拘わらず一律に求めているので、作成された新たな画像はぼけた画像となりやすいという問題がある。
【００１０】
そこで、本発明では、前記した問題を解決し、ぼけの少ない新たな画像を作成することができるフィルタおよび画像内挿装置、並びに、フィルタ係数特定方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記課題を解決するため、請求項１記載のフィルタは、画像が連続する動画像に内挿をする際に用い、当該画像に乗算する複数のフィルタ係数を有するフィルタであって、存在する画像間に内挿する内挿画像の前後画像からサンプリングする個数を３個とすると共に、サンプリングする位置を当該内挿画像の２個前と１個前と１個後とにする場合には、前記内挿画像に係るフィルタ係数を１とし、前記後画像に係るフィルタ係数から列挙すると、前記フィルタ係数が（３／８，１，３／４，０，−１／８）、または、前記前画像に係るフィルタ係数から列挙すると、前記フィルタ係数が（−１／８，０，３／４，１，３／８）であることを特徴とする。
【００１２】
かかる構成によれば、フィルタは、サンプリング個数を３個とし、サンプリング位置を当該内挿画像の２個前と１個前と１個後とにした場合におけるフィルタ係数を有している。このフィルタは、例えば、３タップの非対称のデジタルフィルタとして構成される。また、例えば、フィルタ係数は、動画像の画像レベルの変化を示す関数が微分可能な回数を決定して、テイラー展開を実行して求めたものであり、テイラー展開とは、ある区間において、ある関数ｆ（ｘ）がｎ回微分可能ならば、当該区間において、ａを定点（存在する画像のサンプル位置に相当）とし、ｘを任意の点（内挿する画像のサンプル位置に相当）とするとき、
ｆ（ｘ）＝ｆ（ａ）＋（ｘ−ａ）ｆ′（ａ）／１！＋（ｘ−ａ）２ｆ″（ａ）／２！＋・・・＋（ｘ−ａ）n-1ｆ(n-1)（ａ）／（ｎ−１）！＋（ｘ−ａ）nｆ(n)（ξ）／ｎ！・・・数式（１）が成立する。
【００１３】
ただし、ξ＝ａ＋θ（ｘ−ａ）、０＜θ＜１、この数式（１）では、ｆ（ａ）とｆ（ａ）のｎ回微分が与えられれば、ｆ（ｘ）の値が計算できることを意味している。
【００１４】
なお、内挿画像は、時間軸方向に内挿する場合、一方の画像から他方の画像までの間の任意の画像を作成して、挿入するものである。また、内挿画像は、水平垂直方向に内挿する場合、当初の画像の水平画素数がｍおよび垂直画素数がｎである際に、水平画素数をｍ＋α、垂直画素数をｎ＋βにするものである。また、サンプリング個数とは、内挿する際に用いる画像（または画素）の数であり、サンプリング位置とは、存在する画像がフレーム番号若しくはフィールド番号または時刻に相当、或いは、１つの画像における画素の位置に相当する。参考までに、外挿画像の場合、一方の画像から他方の画像までで限られた区間内の画像を用いて、当該区間外の任意の画像を作成して挿入するものである。
【００１５】
請求項２記載のフィルタは、画像が連続する動画像に内挿をする際に用い、当該画像に乗算する複数のフィルタ係数を有するフィルタであって、存在する画像間に内挿する内挿画像の前後画像からサンプリングする個数を示すサンプリング個数を５個とすると共に、サンプリングする位置を示すサンプリング位置を当該内挿画像の２個前と１個前と１個後と２個後と３個後とにする場合には、前記内挿画像に係るフィルタ係数を１とし、前記後画像に係るフィルタ係数から列挙すると、前記フィルタ係数が（−１／９６，０，−１／４８，０，１／２，１，２９／４８，０，７／９６）、または、前記前画像に係るフィルタ係数から列挙すると、前記フィルタ係数が（−７／９６，０，２９／４８，１／２，−１／４８，０，−１／９６）であることを特徴とする。
【００１６】
かかる構成によれば、フィルタは、サンプリング個数を５個とし、サンプリング位置を当該内挿画像の２個前と１個前と１個後と２個後と３個後とにした場合におけるフィルタ係数を有している。このフィルタは、例えば、５タップの非対称のデジタルフィルタとして構成される。
【００１７】
請求項３記載の画像内挿装置は、請求項１または請求項２に記載のフィルタを備え、入力された画像が連続する動画像の内挿を行う画像内挿装置であって、遅延手段と、フィルタ係数乗算手段と、切替手段と、画像生成手段と、を備える構成とした。
【００１８】
かかる構成によれば、画像内挿装置は、遅延手段によって、入力された画像を遅延させる。この遅延手段により、内挿する新たな画像から複数のサンプリング位置（例えば、請求項１のフィルタを用いた場合、２個前、１個前、１個後）になるように、入力された画像を複数段に亘って予め設定した遅延量だけ遅延させる。続いて、画像内挿装置は、フィルタ係数乗算手段によって、遅延手段で遅延された画像に、遅延された遅延量に応じて、フィルタで設定されているフィルタ係数を乗算する。つまり、遅延された画像ごとにフィルタ係数が乗算される。
【００１９】
そして、画像内挿装置は、切替手段によって、フィルタ係数乗算手段で乗算された画像の出力を、内挿するタイミングに従って切り替えて、画像生成手段によって、切替手段で出力が切り替えられた画像同士を合成して、内挿に用いる内挿画像を生成する。つまり、切替手段により、フィルタ係数が乗算されたものが切り替えられて合成され、出力するタイミングが調整されることで、正確なタイミングで、当初の動画像に新たな画像（内挿画像）が挿入されることになる。
【００２０】
請求項４記載のフィルタ係数特定方法は、画像が連続する動画像に内挿または外挿をする際に用いるフィルタにおいて、当該画像に乗算する複数のフィルタ係数を特定するフィルタ係数特定方法であって、微分回数決定ステップと、微分係数置換ステップと、フィルタ係数特定ステップと、を含む手順とした。
【００２１】
かかる手順によれば、フィルタ係数特定方法は、微分回数決定ステップにおいて、動画像の画像レベルの変化を示す関数が微分可能な回数を予め設定された処理方法によって決定する。予め設定された処理方法とは、内挿画像を、フレーム画像間若しくはフィールド画像間、つまり、時間軸方向に生成する場合の処理方法と、内挿画像を、水平垂直方向に生成する場合（画像を拡大する場合）の処理方法を指している。この微分回数決定ステップでは、例えば、内挿画像を時間軸方向に生成する場合、微分可能な回数を３回と設定し、内挿画像を水平垂直方向に生成する場合、微分可能な回数を２回と設定している。なお、この微分可能な回数は、フィルタのタップ数に相当している。
【００２２】
続いて、フィルタ係数特定方法は、微分係数置換ステップにおいて、微分回数決定ステップにて決定された微分回数に基づいて、内挿または外挿する画像を挿入する挿入位置をｘとし、関数が微分可能な画像を取得する取得位置をａとした場合に、次に示す数式１について、微分係数を示す項の数を設定すると共に、この項における微分係数を、当該微分係数を求めた画像の前後の画像を示す関数を用いた差分方程式に置換する。
【００２３】
ｆ（ｘ）＝ｆ（ａ）＋（ｘ−ａ）ｆ′（ａ）／１！＋（ｘ−ａ）2ｆ″（ａ）／２！・・・＋（ｘ−ａ）nｆn（ａ）／ｎ！
・・・数式１
【００２４】
すなわち、フィルタ係数特定方法は、この数式１におけるｆ′（ａ）、ｆ″（ａ）、・・・、ｆn（ａ）の項の数を設定し、これらの項を、前後の画像を示す関数を用いた差分方程式、例えば、ｆ′（ａ）であれば、ｆ′（ａ）＝ｆ（ａ＋１）−ｆ（ａ−１）に置換する。なお、この数式１は、テイラー展開の原理を用いたものである。
【００２５】
そして、フィルタ係数特定方法は、フィルタ係数特定ステップにおいて、微分係数置換ステップにて置換された差分方程式の各項にかかる係数を、画像を示す関数ごとに加算することで、フィルタ係数とする。つまり、微分係数の項を差分方式により置換した項をｆ（ａ＋１）として、計算した結果、例えば、Ａｆ（ａ＋１）、Ｂｆ（ａ＋１）、Ｃｆ（ａ＋１）が求められた場合、この項ｆ（ａ＋１）にかかる係数Ａ＋Ｂ＋Ｃがフィルタ係数の一つになる。
【発明の効果】
【００２６】
請求項１、２記載の発明によれば、フィルタ係数を、挿入する内挿画像のサンプリング位置に対して非対称にサンプリング位置を設定することで、非対称のデジタルフィルタが実現できる。その結果、このフィルタを用いて画像の内挿を行えば、均一なフィルタ係数ではないので、単純な線形内挿に比べて、ぼけの少ない新たな画像（内挿画像）を作成することができる。
【００２７】
請求項３記載の発明によれば、内挿画像のサンプリング位置に対して非対称にサンプリング位置を設定したフィルタ係数を有するフィルタを用いて、遅延させた画像に当該フィルタ係数を乗算して、出力するタイミングを調整して加算することで、ぼけの少ない新たな画像（内挿画像）を作成することができる。
【００２８】
請求項４記載の発明によれば、微分可能な回数決定して、テイラー展開の原理に基づいた数式における各項を、微分係数を求めた画像の前後の画像を示す関数を用いた差分方程式に置換して、計算していくことで、フィルタのフィルタ係数を特定することができる。このフィルタを用いれば、均一なフィルタ係数ではないので、単純な線形内挿に比べて、ぼけの少ない新たな画像（内挿画像）を作成することができる。
【発明を実施するための最良の形態】
【００２９】
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
〈画像内挿装置の構成〉
図１は、画像内挿装置のブロック図である。この図１に示すように、画像内挿装置１は、入力された動画像に、当該動画像に含まれている画像（フレーム画像、フィールド画像）を利用して、新たな画像を作成し、この作成した新たな画像を動画像に挿入（内挿）するもので、遅延手段３と、フィルタ係数乗算手段５と、切替手段７と、画像生成手段９とを備えている。なお、この画像内挿装置１は、フィルタ係数乗算手段５に非対称デジタルフィルタ等を用いることで実現されている。
【００３０】
遅延手段３は、入力された動画像を予め設定された遅延量だけ順次遅延させるもので、遅延素子である複数の遅延部（３1、３2、３3、・・・、３n）を備えている。この遅延部（３1、３2、３3、・・・、３n）は直列に接続されている。なお、この遅延部（３1、３2、３3、・・・、３n）の数は、入力された動画像を数式（１）に従って、微分する回数に相当している。また、遅延量は、入力された動画像のサンプリングレートである。図１は３倍の画素、図２は２倍の画素を生成する例を示している。
【００３１】
フィルタ係数乗算手段５は、遅延手段３の遅延部（３1、３2、３3、・・・、３n）のそれぞれで遅延された画像に、フィルタ係数を乗算するもので、乗算部（５1、５2、５3、・・・、５n+1）を備えている。この乗算部（５1、５2、５3、・・・、５n+1）は、遅延手段３の遅延部（３1、３2、３3、・・・、３n）の数ｎに応じて１つ多く設けられている。さらに、それぞれの乗算部（５1、５2、５3、・・・、５n+1）は、３つのフィルタ係数（α0〜α3n+2の中で連続する３つ）が並列に設定されており、３つの乗算結果を出力するように構成されている。この乗算結果の１つが切替手段７で切り替えられて（選択されて）、画像生成手段９で加算されることになる。
【００３２】
このフィルタ係数は、単なる周波数変換で得られたものではなく、テイラー展開によって求められたものであり、以下、詳細に説明する。
テイラー展開は、周知の如く、以下に示す数学の定理であり、「ある区間において、ｆ（ｘ）が第ｎ回まで微分可能であれば、当該区間においてａを定点、ｘを任意の点とするとき、ｆ（ｘ）＝ｆ（ａ）＋（ｘ−ａ）ｆ′（ａ）／１！＋（ｘ−ａ）2ｆ″（ａ）／２！＋・・・＋（ｘ−ａ）n-1ｆ(n-1)（ａ）／（ｎ−１）！＋（ｘ−ａ）nｆ(n)（ξ）／ｎ！・・・数式（１）が成立している（前記した数式（１）を再度記載）。ただし、ξ＝ａ＋θ（ｘ−ａ）、０＜θ＜１」
【００３３】
この数式（１）では、定点ａの値であるｆ（ａ）と、ｆ（ａ）のｎ回微分が与えられれば、ｆ（ｘ）の値が計算できることを意味している。すなわち、動画像において、ある時刻（ｔ）における画像ｆ（ｔ）と、ｆ（ｔ）のｎ回微分が与えられれば、任意時刻ｔｘにおける画像レベルｆ（ｔｘ）が計算できることになる。
【００３４】
例えば、数式（１）において、定点ａ（ｘ＝ａ）におけるｆ（ａ）と、ｆ（ａ）を１回微分したものであるｆ′（ａ）と、ｆ（ａ）を２回微分したものであるｆ″（ａ）とが存在していると仮定して、ある点ｂ（ｘ＝ｂ）におけるｆ（ｂ）を求める。
ｆ（ｂ）＝ｆ（ａ）＋（ｂ−ａ）ｆ′（ａ）／１！＋（ｂ−ａ）2ｆ″（ａ）／２！＋・・・＋（ｂ−ａ）n-1ｆ(n-1)（ａ）／（ｎ−１）！＋（ｂ−ａ）nｆ(n)（ξ）／ｎ！・・・数式（２）が成立する。ただし、ξ＝ａ＋θ（ｂ−ａ）、０＜θ＜１である。
【００３５】
ここで、ａ≠ｂ、すなわち、定点ａと、ある点ｂとは同一ではないが、２つの点は近傍にあると仮定する。なお、数式（２）は連続関数であるが、ここで取り扱っている動画像、つまり、デジタル化された画像群は、所定の微小時間ごとの離散値として与えられている。このため、数式（２）のただし書きにあるξはａとｂとの間にあるはずである。しかし、離散化された動画像においては、定点ａ（時刻ａ）において画像ｆ（ａ）は存在しているが、時刻ξにおける画像ｆ（ξ）は存在していない。つまり、時刻ａの最隣接点はある点ｂ（時刻ｂ）となり、この時刻ｂにおける画像ｆ（ｂ）を求めているので、ξ＝ａとして、数式（２）は、
ｆ（ｂ）≒ｆ（ａ）＋（ｂ−ａ）ｆ′（ａ）／１！＋（ｂ−ａ）2ｆ″（ａ）／２！＋・・・＋（ｂ−ａ）n-1ｆ(n-1)（ａ）／（ｎ−１）！＋（ｂ−ａ）nｆ(n)（ａ）／ｎ！・・・数式（３）に近似できる。
【００３６】
さらに、時刻ａにおける画像ｆ（ａ）は２回まで微分可能とする。そうすると、数式（３）は、
ｆ（ｂ）≒ｆ（ａ）＋（ｂ−ａ）ｆ′（ａ）／１！＋（ｂ−ａ）2ｆ″（ａ）／２！・・・数式（４）に近似できる。
【００３７】
なお、この数式（４）において、時刻ａにおける画像ｆ（ａ）が既存の画像となり、時刻ｂにおける画像ｆ（ｂ）が作成する新たな画像となる。また、内挿用の内挿画像、または、外挿用の外挿画像を作成する際に、動画像に含まれている画像をサンプリングするサンプリング間隔はｂ−ａとなる。そして、ａとｂとが隣接しいるとすると、ａ＝ｎ、ｂ＝ｎ＋１とすることができる（つまり、ａ＜ｂとすると共に、サンプリング間隔を１とする）。
【００３８】
そうすると、数式（４）は、
ｆ（ｎ＋１）≒ｆ（ｎ）＋ｆ′（ｎ）／１！＋ｆ″（ｎ）／２！・・・数式（５）に近似できる。
【００３９】
また、ａとｂとが隣接しているとして、ａ＝ｎ＋１、ｂ＝ｎとすることができる（つまり、ａ＞ｂとすると共に、サンプリング間隔を１とする）。
そうすると、数式（４）は、
ｆ（ｎ）≒ｆ（ｎ＋１）−ｆ′（ｎ＋１）／１！＋ｆ″（ｎ＋１）／２！・・・数式（６）に近似できる。
【００４０】
ここで、図２を参照して、数式（５）または数式（６）を用い、動画像に画像を内挿する際のフィルタ係数を算出するプロセスについて説明する。図２（ａ）に示した動画像の画像レベルの変化おいて、既存の画像を○印、存在していない画像を×印で表している。ここでは、存在していない画像であるｘ（６）を、既存の画像であるｘ（１）、ｘ（３）、ｘ（５）、ｘ（７）およびｘ（９）から、数式（５）または数式（６）を用いて求める。
【００４１】
数式（５）に従うと、
ｘ（６）≒ｘ（５）＋ｘ′（５）／１！＋ｘ″（５）／２！・・・数式（７）となり、
数式（６）に従うと、
ｘ（６）≒ｘ（７）−ｘ′（７）／１！＋ｘ″（７）／２！・・・数式（８）となる。
【００４２】
ここから数式（７）について展開していくことにする。
まず、ｘ′（５）＝｛ｘ′（４）＋ｘ′（６）｝／２
そうすると、ｘ′（５）＝｛ｘ′（４）＋ｘ′（６）｝／２となり、そして、ある点における１回の微分は、当該ある点と隣接している点同士の差分を分母とし、隣接している点における関数の差分を分子として求められるとすると、
ｘ′（５）＝〔｛ｘ（５）−ｘ（３）｝／（５−３）＋｛ｘ（７）−ｘ（５）｝／（７−５）〕／２＝｛ｘ（７）−ｘ（３）｝／４・・・数式（９）となる。
【００４３】
また、ある点における２回の微分は、当該ある点と隣接している点の１回微分から当該ある点における１回微分を減算して求められるとすると、ｘ″（５）＝ｘ′（６）−ｘ′（５）・・・数式（１０）となる。
数式（９）を求めた前提に従うと、ｘ′（６）＝｛ｘ（７）−ｘ（５）｝／２・・・数式（１１）となる。
この数式（１１）と、数式（９）を数式（１０）に代入すると、
ｘ″（５）＝｛ｘ（７）−ｘ（５）｝／２−｛ｘ（７）−ｘ（３）｝／４
＝ｘ（７）／２−ｘ（５）／２−ｘ（７）／４＋ｘ（３）／４
＝ｘ（７）／４−ｘ（５）／２＋ｘ（３）／４・・・数式（１２）となる。
【００４４】
そして、数式（７）に、数式（９）および数式（１２）を代入すると、
ｘ（６）≒ｘ（５）＋｛ｘ（７）−ｘ（３）｝／４＋｛ｘ（７）／４−ｘ（５）／２＋ｘ（３）／４｝／２となり、整理すると、
ｘ（６）≒ｘ（５）＋ｘ（７）／４−ｘ（３）／４＋ｘ（７）／８−ｘ（５）／４＋ｘ（３）／８
ｘ（６）≒３ｘ（７）／８＋３ｘ（５）／４−ｘ（３）／８
≒（３／８）ｘ（７）＋（３／４）ｘ（５）＋（−１／８）ｘ（３）・・・数式（１３）となる。
【００４５】
この数式（１３）を、一般化すると、存在していない画像は偶数番目（時刻が２の倍数）であるので、ｘ（２ｎ）の画像は、
ｘ（２ｎ）≒（３／８）ｘ（２ｎ＋１）＋（３／４）ｘ（２ｎ−１）＋（−１／８）ｘ（２ｎ−３）・・・数式（１４）、ただし、ｎは任意の整数である。
【００４６】
この数式（１４）をフィルタ係数として表現すると、フィルタ係数（３／８，１，３／４，０，−１／８）となる。すなわち、ｘ（６）を新たな画像（内挿画像）として作成しようとした場合、ｘ（７）に乗算される数値が３／８となり、ｘ（６）に乗算される数値が１となり、ｘ（５）に乗算される数値が３／４となり、ｘ（４）に乗算される数値が０となり、ｘ（３）に乗算される数値が−１／８となる。
【００４７】
以上のようにフィルタ係数が求めるので、フィルタ係数乗算手段５の乗算部（５1、５2，５3、・・・、５n+1）は３タップの非対称デジタルフィルタとして構成することができる。
【００４８】
なお、同様の計算を行って、５タップの非対称デジタルフィルタを構成すると、フィルタ係数は、（−１／９６，０，−１／４８，０，１／２，１，２９／４８，０，−７／９６）となる。
【００４９】
ここで、図２（ｂ）に、ｘ（６）を新たな画像（内挿画像）として、作成しようとする際の画像内挿装置１（ここでは、画像内挿装置１′とする）のフィルタ係数乗算手段５における乗算部（５1、５2、５3、５4）を限定した場合の構成を示す。
ここでは、乗算部（５1、５2、５3、５4）は２タップの非対称デジタルフィルタとして構成することができる。すなわち、乗算部５1のフィルタ係数α0が３／８およびフィルタα1が１となり、乗算部５2のフィルタ係数α2が３／４およびフィルタ係数α3が０となり、乗算部５3のフィルタ係数α4が−１／８およびフィルタ係数α5が０となり、乗算部５4のフィルタ係数α6が０およびフィルタ係数α7が０となる。
【００５０】
図２（ａ）と図２（ｂ）との関係を整理して説明すると、遅延手段３の各遅延部の入力に図２（ａ）に示した（１）、（３）、（５）および（７）が入力される（存在する）と、切替スイッチ７を切り替えることで、図２に示した（６）と（７）とが出力される。また、入力される動画像が次の画像になった際（画像が１つ進んだ場合）に遅延手段３の各遅延部の入力に図２（ａ）に示した（３）、（５）、（７）および（９）が入力される（存在する）と、切替スイッチ７を切り替えることで、図２に示した（８）と（９）とが出力される。
ちなみに、従来の内挿技術に供される線形補間フィルタでは、フィルタ係数が（１／２，１，１／２）の対称デジタルフィルタとなる。
【００５１】
なお、この画像内挿装置１′は、入力された動画像がテレビジョン信号である場合、当該動画像に含まれている画像、すなわち、フレーム画像またはフィールド画像が、１回微分、または、２回微分まで連続していることを前提に設計されている。
【００５２】
また、テレビジョン信号の代わりに、ＣＴスキャンやＭＲＩによって人体の内部が撮像された３次元断層画像が入力される場合には、当該３次元断層画像において人体中の臓器が連続した物体と想定されるため、テレビジョン信号よりも微分回数が多くなり、画像内挿装置１（図１参照）では、フィルタ係数乗算手段５を構成する非対称デジタルフィルタのタップ数を増加させる必要がある。
【００５３】
図１に戻って画像内挿装置１の構成の説明を続ける。
切替手段７は、フィルタ係数乗算手段５の乗算部（５1、５2、５3、・・・、５n+1）から出力される乗算結果（フィルタ係数が乗算された画像）を切り替えて、画像生成手段９に出力するもので、当該乗算部に対応した複数の切替スイッチ（７1、７2、７3、・・・、７n+1）を備えて構成されている。
【００５４】
この切替スイッチ（７1、７2、７3、・・・、７n+1）を切り替えるタイミングは、画像生成手段９で生成される画像（内挿画像）を出力するタイミング（入力された動画像に挿入するタイミング）によって決定される。なお、この出力するタイミングは、全ての切替スイッチ（７1、７2、７3、・・・、７n+1）を切替後、遅延量が１つ進むごと（１つの画像ごと）に行われる。
【００５５】
画像生成手段９は、切替手段７の切替スイッチ（７1、７2、７3、・・・、７n+1）それぞれから出力された乗算結果（フィルタ係数が乗算された画像）を加算（合成）して、内挿に用いる内挿画像を生成して、外部に出力するものである。
【００５６】
この画像内挿装置１によれば、テイラー展開を実行して設定したフィルタ係数を有するフィルタ係数乗算手段５によって遅延手段３で遅延させた画像に当該フィルタ係数を乗算して、切替手段７によって、出力するタイミングを調整して、画像生成手段９によって加算することで、内挿する新たな画像の前後の画像に対して、非対称に均一でないフィルタ係数を乗算しているので、ぼけの少ない新たな画像（内挿画像）を作成することができる。
【００５７】
また、この画像内挿装置１では、入力される動画像が３次元信号（時間軸、水平軸および垂直軸）であるが、２次元以上の信号（例えば、３次元断層画像）を入力して、拡張して用いることも容易に行うことができる。
【００５８】
〈画像内挿装置の動作〉
次に、図３に示すフローチャートを参照して、画像内挿装置１の動作について説明する（適宜、図１参照）。
まず、画像内挿装置１は、遅延手段３の遅延部（３1、３2、３3、・・・、３n）によって、入力された画像（動画像）を複数段に亘り（遅延部［３1、３2、３3、・・・、３n］それぞれで１回ずつ）遅延させる（ステップＳ１）。
【００５９】
続いて、画像内挿装置１は、フィルタ係数乗算手段５の乗算部（５1、５2、５3、・・・、５n+1）によって、遅延手段３で遅延させた画像に、フィルタ係数を乗算する（ステップＳ２）。そして、画像内挿装置１は、切替手段７の切替スイッチ（７1、７2、７3、・・・、７n+1）によって、フィルタ係数乗算手段５で乗算された乗算結果を切り替えて、画像生成手段９によって、合成（加算）して新たな画像とし、内挿する内挿画像として出力する（ステップＳ３）。
【００６０】
その後、画像内挿装置１は、入力された画像（動画像）について、内挿する内挿画像の生成が終了したか否かを判定し（ステップＳ４）、生成が終了したと判定されない場合（ステップＳ４、Ｎｏ）、ステップＳ１に戻り、生成が終了したと判定された場合（ステップＳ４、Ｙｅｓ）、動作を終了する。
【００６１】
〈フィルタ係数特定方法について〉
次に、図４を参照して、画像内挿装置１に用いられているフィルタのフィルタ係数を特定するフィルタ係数特定方法について説明する。フィルタ係数特定方法において、フィルタ係数は、前記したように、テイラー展開の数式を用いることにより、大きく３つの段階を経て特定される。この３つの段階は、微分回数特定ステップと、微分係数置換ステップと、フィルタ係数特定ステップとである。
【００６２】
微分回数特定ステップでは、動画像の画像レベルの変化を示す関数が微分可能な回数を、予め設定された処理方法によって決定する。処理方法は内挿画像を内挿する方向、つまり時間軸方向に処理する方法と、水平垂直方向に処理する方法とがある。そして、微分可能な回数は、内挿画像を内挿する方向によって異なっており、内挿する方向が時間軸方向である場合には、２回から３回程度とし、内挿する方向が水平垂直方向である場合には１回から２回程度としている。なお、この微分可能な回数は、テイラー展開の理論上、任意に設定することが可能であるが、実験結果より、動画像の内挿に用いる場合には、前記した回数が最適であることがわかっている。
【００６３】
微分係数置換ステップでは、微分回数決定ステップにて決定された微分回数に基づいて、前記した数式（１）において、微分係数を示す項の数を設定し、この項における微分係数を、当該微分係数を求めた画像の前後の画像を用いた差分方程式に置換する。なお、数式（１）において、内挿または外挿する画像を挿入するサンプリング位置である挿入位置をｘとし、動画像の画像レベルの変化を示す関数が微分可能な画像を取得するサンプリング位置である取得位置をａとしている。
また、この微分係数置換ステップでは、数式（９）に示したように、微分係数を差分方程式に置換している。
【００６４】
フィルタ係数特定ステップでは、微分係数置換ステップにて置換された差分方程式の各項にかかる係数を、画像を示す関数ごとに加算することで、フィルタ係数とする。このフィルタ係数特定ステップでは、数式（９）から数式（１３）にフィルタ係数を特定している。
【００６５】
これらの動作を図４に則して順に述べると、まず、フィルタ係数特定方法は、微分回数を決定し（ステップＳ１１）、テイラー展開に基づく数式（１）における微分係数の項数を設定する（ステップＳ１２）。
そして、フィルタ係数特定方法は、微分係数の項を差分方程式に置換し（ステップＳ１３）、当該微分係数の項にかかる係数をそれぞれ加算して、フィルタ係数を特定する（ステップＳ１４）。
【００６６】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、画像内挿装置１（画像内挿装置１′）として説明したが、これらの各構成の処理を実行できるように、汎用的または特殊なコンピュータ言語で記述した画像内挿プログラムとみなすことができる。また、画像内挿装置１（画像内挿装置１′）の各構成の処理を１つずつの過程と捉えた画像内挿方法とみなすことができる。これらの場合、画像内挿装置１（画像内挿装置１′）と同様の効果を得ることができる。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施形態に係る画像内挿装置のブロック図である。
【図２】動画像に画像を内挿する際のフィルタ係数を算出するプロセスについて説明した図であり、（ａ）は動画像の画像レベルの変化において、既存の画像と、存在していない画像とを示した図であり、（ｂ）は（ａ）において存在していない画像を求める際の画像内挿装置のブロック図である。
【図３】図１に示した画像内挿装置の動作を説明したフローチャートである。
【図４】本発明に係るフィルタ係数特定方法を説明したフローチャートである。
【図５】内挿と外挿とについて説明した図である。
【図６】従来の内挿技術について説明した図である。
【符号の説明】
【００６８】
１、１′      画像内挿装置
３            遅延手段
５            フィルタ係数乗算手段
７            切替手段
９            画像生成手段
【図１】
2006211010.tif 000003
【図２】
2006211010.tif 000004
【図３】
2006211010.tif 000005
【図４】
2006211010.tif 000006
【図５】
2006211010.tif 000007
【図６】
2006211010.tif 000008