(57)【要約】【課題】画像信号の標本数を増加させる際の違和感を低減すること。【解決手段】画像信号変換装置は、画像の１次元入力信号において３つの連続した第１標本点、第２標本点、第３標本点を選択する選択部と、前記第２標本点を複製して複数の前記第２標本点を生成する複製部と、前記第１標本点の値と前記第２標本点の値との差である第１差、及び、前記第２標本点の値と前記第３標本点の値との差である第２差のうち、絶対値が小さい差に基づいて補正量を特定する補正量特定部と、前記複製部が複製した複数の前記第２標本点のうち、いずれか１つの信号値に前記補正量を加算し、別のいずれか１つの信号値から前記補正量を減算する補正部と、を備える。【選択図】図１
2018056929.tif 000002
【特許請求の範囲】
【請求項１】
画像の１次元入力信号において３つの連続した第１標本点、第２標本点、第３標本点を選択する選択部と、
前記第２標本点を複製して複数の前記第２標本点を生成する複製部と、
前記第１標本点の値と前記第２標本点の値との差である第１差、及び、前記第２標本点の値と前記第３標本点の値との差である第２差のうち、絶対値が小さい差に基づいて補正量を特定する補正量特定部と、
前記複製部が複製した複数の前記第２標本点のうち、いずれか１つの信号値に前記補正量を加算し、別のいずれか１つの信号値から前記補正量を減算する補正部と、
を備える画像信号変換装置。
【請求項２】
前記補正量特定部は、前記第１差又は前記第２差を引数とした関数により第１差又は第２差に比して小さい値に補正量を調整する
請求項１に記載の画像信号変換装置。
【請求項３】
前記関数とは、比例関数である
請求項２に記載の画像信号変換装置。
【請求項４】
前記選択部は、多次元入力信号の各軸方向に沿った１次元入力信号のそれぞれについて、前記第１標本点、前記第２標本点、前記第３標本点を選択する
請求項１から請求項３のいずれか一項に記載の画像信号変換装置。
【請求項５】
コンピュータに、
画像の１次元入力信号において３つの連続した第１標本点、第２標本点、第３標本点を選択する第１ステップと、
前記第２標本点を複製して複数の前記第２標本点を生成する第２ステップと、
前記第１標本点の値と前記第２標本点の値との差である第１差、及び、前記第２標本点の値と前記第３標本点の値との差である第２差のうち、絶対値が小さい差に基づいて補正量を特定する第３ステップと、
前記第２ステップにおいて生成された複数の前記第２標本点のうち、いずれか１つの信号値に前記補正量を加算し、別のいずれか１つの信号値から前記補正量を減算する第４ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号変換装置及びプログラムに関し、特に、画像信号の標本数（解像度）を向上させる技術に関する。
【背景技術】
【０００２】
従来、画像の解像度を向上させる超解像手法として、補間内挿が用いられてきた。また、近年では、信号のナイキスト周波数を超える周波数成分を補完することで、補間内挿に比してぼやけの少ない精細な信号に変換する超解像手法が、いくつか実用に供されている。
超解像手法の一つとして、正規化を用いる手法がある。この手法では、高解像画像から低解像画像への変換を仮定し、正則化項を導入することで逆変換を可能とし、高解像化を実現する（例えば、特許文献１）。
別の超解像技術として、入力画像の高域成分から、ナイキスト周波数を超える周波数成分を、比較的平易な演算を用いて合成する手法が提案されている。例えば、特許文献２では、ディジタルフィルタ列を用いることが提案されている。また、例えば、特許文献３には、非線形関数を用いることが提案されている。
さらに、低解像パッチと高解像パッチの対をデータベース化しておき、データベースを参照して低解像画像から高解像画像を得る事例ベース型の超解像手法も提案されている（例えば、特許文献４）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４２１４４０９号公報
【特許文献２】特開２０１４−１１９９４９号公報
【特許文献３】特許第５６２９９０２号公報
【特許文献４】特許第５７４３６１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、正則化を用いる超解像手法の場合、特に低解像の単一フレームから高解像画像を得ようすると、未知変数の次元数が拘束の次元数を大きく上回る。そのため、正則化項の導入によって逆問題を解くには無理が生じる。従って、この場合は、近似する画素値が連続するような平板な画調となってしまう。
【０００５】
ナイキスト周波数を超える周波数成分を入力信号の高域成分から合成する手法では、確実に超ナイキスト成分が付加されるため、見た目の精細感を得ることは可能である。しかしながら、入力画像の高周波成分から超ナイキスト成分を合成する演算方法が単純であるがために、不自然な超ナイキスト成分を生成してしまう可能性がある。特に特許文献２に記載の手法の場合、超ナイキスト成分のパターンによって、本来あるべきパターンよりもエッジが太くなる傾向がある。
【０００６】
データベースを参照する手法では、十分な量のデータを蓄積したデータベースが構築されていれば比較的自然な超解像結果が得られる。しかしながら、データの蓄積が不十分な場合には、十分にマッチしない低解像パッチに対応する高解像パッチに基づいて高解像化が行われることがある。このとき用いられる高解像パッチは実際に画像として存在した絵柄であるため、それがいわば誤用されて、高解像化がなされてしまう。例えば、顔画像に別人の目の画像を当てはめてしまうことになる。この場合、生成される高解像度画像の違和感は甚大である。
以上のように、従来の超解像手法では、画像信号の標本数を増加させると、違和感を生じることがあった。
【０００７】
本発明のいくつかの態様は、画像信号の標本数を増加させる際の違和感を低減することができる画像信号変換装置及びプログラムを提供することを目的の一つとする。
【０００８】
また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にする画像信号変換装置及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明の一態様は、画像の１次元入力信号において３つの連続した第１標本点、第２標本点、第３標本点を選択する選択部と、前記第２標本点を複製して複数の前記第２標本点を生成する複製部と、前記第１標本点の値と前記第２標本点の値との差である第１差、及び、前記第２標本点の値と前記第３標本点の値との差である第２差のうち、絶対値が小さい差に基づいて補正量を特定する補正量特定部と、前記複製部が複製した複数の前記第２標本点のうち、いずれか１つの信号値に前記補正量を加算し、別のいずれか１つの信号値から前記補正量を減算する補正部と、を備える画像信号変換装置である。
【００１０】
また、本発明の一態様において、前記補正量特定部は、前記第１差又は前記第２差を引数とした関数により第１差又は第２差に比して小さい値に補正量を調整する。
【００１１】
また、本発明の一態様において、前記関数とは、比例関数である。
【００１２】
また、本発明の一態様において、前記選択部は、多次元入力信号から各軸方向に沿った１次元入力信号のそれぞれを取得する。
【００１３】
また、本発明の一態様は、コンピュータに、画像の１次元入力信号において３つの連続した第１標本点、第２標本点、第３標本点を選択する第１ステップと、前記第２標本点を複製して複数の前記第２標本点を生成する第２ステップと、前記第１標本点の値と前記第２標本点の値との差である第１差、及び、前記第２標本点の値と前記第３標本点の値との差である第２差のうち、絶対値が小さい差に基づいて補正量を特定する第３ステップと、前記第２ステップにおいて生成された複数の前記第２標本点のうち、いずれか１つの信号値に前記補正量を加算し、別のいずれか１つの信号値から前記補正量を減算する第４ステップと、を実行させるためのプログラムである。
【発明の効果】
【００１４】
本発明の一態様によれば、画像信号の標本数を増加させる際の違和感を低減することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態に係る画像信号変換装置の構成を示すブロック図である。
【図２】同実施形態に係る比較判定部の構成を示すブロック図である。
【図３】同実施形態に係る画像信号変換装置による処理の流れを示すフローチャートである。
【図４】同実施形態に係る画像信号変換装置の多次元入力信号に対する処理を説明するための模式図である。
【図５】同実施形態に係る画像信号変換装置による処理結果を説明するための第１図である。
【図６】同実施形態に係る画像信号変換装置による処理結果を説明するための第２図である。
【図７】同実施形態に係る画像信号変換装置による処理結果を説明するための第３図である。
【図８】同実施形態に係る画像信号変換装置による処理結果を説明するための第４図である。
【図９】同実施形態に係る入力画像の一例を示す図である。
【図１０】同実施形態に係る画像信号変換装置による出力画像の一例を示す第１図である。
【図１１】同実施形態に係る画像信号変換装置による出力画像の一例を示す第２図である。
【図１２】従来技術に係る画像信号変換装置による出力画像の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態について、図面を参照して説明する。
[第１の実施形態]
本発明の第１の実施形態について説明する。
図１は、本実施形態に係る画像信号変換装置１０の構成を示すブロック図である。
本実施形態に係る画像信号変換装置１０は、入力された画像信号の標本数を増加させることにより、画像信号の解像度を向上させる装置である。画像信号変換装置１０は、標本数を整数倍にして出力することができる。ここでは、説明を簡単にするため、入力信号系列と、出力信号系列の標本数の比が１：２となる解像度変換を行う場合について説明する。つまり、画像信号変換装置１０は、入力信号系列の標本数を２倍にする。
入力信号系列は、１次元の信号系列であってもよいし、多次元の信号系列であってもよい。本実施形態では、一例として、入力信号系列が１次元の信号系列である場合について説明する。
【００１７】
画像信号変換装置１０は、選択部１１と、第１減算部１２と、第２減算部１３と、補正量特定部１４と、複製部１７と、補正部１８と、を備える。
選択部１１は、入力信号系列ＩＰの１回の処理において、連続する３つの標本点を選択する。選択部１１は、入力信号系列ＩＰの各標本点を先頭から最後まで順次選択する。選択部１１が選択した３つの標本点（ｘ−１）、（ｘ）、（ｘ＋１）の信号値が、それぞれ、値Ａ、Ｂ、Ｃであるとして説明する。選択部１１は、信号値Ａを第１減算部１２に出力する。選択部１１は、信号値Ｂを第１減算部１２と、第２減算部１３と、複製部１７とに出力する。選択部１１は、信号値Ｃを第２減算部１３に出力する。
【００１８】
第１減算部１２は、信号値Ａから信号値Ｂを減じた差を算出する。第１減算部１２は、差ｐを補正量特定部１４に出力する。第１減算部１２の出力値ｐは、以下の式（１）で示される。
【００１９】
【数１】
2018056929.tif 000003
【００２０】
第２減算部１３は、信号値Ｂから信号値Ｃの値を減じた差ｑを算出する。第２減算部１３は、差ｑを補正量特定部１４に出力する。第２減算部１３の出力値ｑは、以下の式（２）で示される。
【００２１】
【数２】
2018056929.tif 000004
【００２２】
補正量特定部１４は、信号値の補正に用いる補正量を特定する。補正量特定部１４は、比較判定部１５と、補正量調整部１６と、を備える。
比較判定部１５は、差ｐの絶対値と、差ｑの絶対値との大小関係を比較する。比較判定部１５は、判定結果に応じて、差ｐ又は差ｑのいずれかを、補正量調整部１６に出力する。比較判定部１５の出力値ｒは、例えば以下の式（３）で示される。
【００２３】
【数３】
2018056929.tif 000005
【００２４】
あるいは、比較判定部１５の出力値ｒは、例えば以下の式（４）、（５）で示されてもよい。
【００２５】
【数４】
2018056929.tif 000006
【００２６】
ここで、比較判定部１５の構成について説明する。
図２は、比較判定部１５の構成を示すブロック図である。
比較判定部１５は、第１絶対値演算部１５１と、第２絶対値演算部１５２と、絶対値比較部１５３と、切替部１５４と、を備える。
第１絶対値演算部１５１は、入力値ｐに対して、その絶対値｜ｐ｜を、絶対値比較部１５３に出力する。
第２絶対値演算部１５２は、入力値ｑに対して、その絶対値｜ｑ｜を、絶対値比較部１５３に出力する。
【００２７】
絶対値比較部１５３は、入力値｜ｐ｜と入力値｜ｑ｜とを比較する。絶対値比較部１５３は、比較結果を示す出力値ｓを切替部１５４に出力する。絶対値比較部１５３は、絶対値｜ｐ｜より絶対値｜ｑ｜が大きい場合（｜ｐ｜＞｜ｑ｜）には、出力値ｓを「１」とする（ｓ＝１）。絶対値比較部１５３は、絶対値｜ｐ｜が絶対値｜ｑ｜より小さい場合（｜ｐ｜＜｜ｑ｜）には、出力値ｓを「０」とする（ｓ＝０）。また、絶対値比較部１５３は、差ｐと差ｑとが等しい場合（ｐ＝ｑ）には、出力値ｓを「０」又は「１」のいずれかとする（ｓ＝０又はｓ＝１）。この場合は、いずれであっても画像信号変換装置１０の挙動は変わらない。また、絶対値比較部１５３は、差ｐと差ｑの正負が反転している場合（ｐ＝−ｑ）には、出力値ｓとして「２」を出力する（ｓ＝２）。なお、式（４）、（５）を採用する場合において、差ｐと差ｑの正負が反転している場合（ｐ＝−ｑ）には、比較判定部１５は、出力値ｓを「０」又は「１」のいずれかとする（ｓ＝０又はｓ＝１）。
【００２８】
切替部１５４は、入力値ｓに応じて出力値ｒを切り替える。切替部１５４は、出力値ｒを補正量調整部１６に出力する。切替部１５４は、入力値ｓが「０」である場合（ｓ＝０）には、出力値ｒとして差ｑを出力する（ｒ＝ｐ）。また、切替部１５４は、入力値ｓが「１」である場合（ｓ＝１）には、出力値ｒとして差ｑを出力する（ｒ＝ｑ）。また、切替部１５４は、入力値ｓが「２」である場合（ｓ＝２）には、出力値ｒとして「０」を出力する（ｒ＝０）。
【００２９】
補正量調整部１６は、入力値ｒを所定の関数に代入し、補正量Ｒを算出する。補正量調整部１６は、算出した補正量Ｒを補正部１８に出力する。
補正量調整部１６は、例えば、広義単調増加関数により、補正量Ｒを算出する。
具体的には、補正量調整部１６は、この広義単調増加関数を、比例係数ｇの比例関数としてもよい。比例係数ｇは、好ましくは０＜ｇ≦１とする。なお、比例係数ｇ＝１の場合には、出力値ｒが補正量Ｒになるため、補正量調整部１６を省略することができる。この場合、比較判定部１５の出力が、補正部１８に直接入力されるようにしてもよい。
また、補正量調整部１６は、例えば、下記の式（６）により補正量を演算してもよい。
【００３０】
【数５】
2018056929.tif 000007
【００３１】
ここで、乗数γ（ガンマ）は正の実数とする。また、ｓｇｎ（ｒ）は、引数ｒの符号が正の場合には「＋１」を、引数ｒの符号が負の場合には「−１」を、引数ｒが「０」の場合には「０」を、それぞれ出力する関数とする。
【００３２】
複製部１７は、標本点（ｘ）を複製する。複製部１７の複製数は、解像度の変換倍率に対応する。本実施形態では、一例として、解像度を２倍に変換するため、複製部１７は、標本点（ｘ）を、２つに複製する。ここで、複製される２つの標本点は、出力信号系列ＯＰにおいて、座標（２ｘ）、（２ｘ＋１）の標本点になる。複製部１７は、２つの信号値Ｂを補正部１８に出力する。
【００３３】
補正部１８は、複製部１７が複製した標本点の各々の信号値を補正する。本実施形態では、一例として、解像度を２倍に変換するため、補正部１８は、２つの演算部を備える。具体的には、補正部１８は、補正加算部１８１と、補正減算部１８２と、を備える。補正部１８は、補正後の信号値を出力信号系列として出力部に出力する。出力部は、例えば、記憶部や表示装置である。
補正加算部１８１は、標本点（２ｘ）に対応する入力値Ｂに対して、補正量Ｒを加えた結果を出力値Ｂ０として出力する。補正加算部１８１の出力値Ｂ０は、以下の式（７）で示される。
【００３４】
【数６】
2018056929.tif 000008
【００３５】
補正減算部１８２は、標本点（２ｘ＋１）に対応する入力値Ｂに対して、補正量Ｒを減ずる。補正減算部１８２の出力値Ｂ１は、以下の式（８）で示される。
【数７】
2018056929.tif 000009
以上が、画像信号変換装置１０の構成についての説明である。
【００３６】
次に、画像信号変換装置１０の動作について説明する。
図３は、画像信号変換装置１０による画像信号変換処理の流れを示すフローチャートである。
（ステップＳ１０）画像信号変換装置１０は、入力信号系列ＩＰを取得する。画像信号変換装置１０は、通信を介して、入力信号系列ＩＰを他の装置から受信してもよいし、予め記憶部に記憶された入力信号系列ＩＰを読み出してもよい。ここでは、入力信号系列ＩＰが、Ｍ個（Ｍは正の整数）の標本点（０≦ｘ≦Ｍ−１）を有する場合について説明する。その後、画像信号変換装置１０は、ステップＳ１２に処理を進める。
【００３７】
（ステップＳ１２）画像信号変換装置１０は、入力信号系列ＩＰのうち、先頭の標本点を取得する（ｘ＝０）。その後、画像信号変換装置１０は、ステップＳ１４に処理を進める。
（ステップＳ１４）画像信号変換装置１０は、標本点を複製する。その後、画像信号変換装置１０は、ステップＳ１６に処理を進める。
（ステップＳ１６）画像信号変換装置１０は、補正量を特定する。その後、画像信号変換装置１０は、ステップＳ１８に処理を進める。
【００３８】
（ステップＳ１８）画像信号変換装置１０は、複製した標本点の各々について、信号値に補正量を加算又は減算して補正する。その後、画像信号変換装置１０は、ステップＳ２０に処理を進める。
（ステップＳ２０）画像信号変換装置１０は、補正後の標本点を出力する。その後、画像信号変換装置１０は、ステップＳ２２に処理を進める。
【００３９】
（ステップＳ２２）画像信号変換装置１０は、最後の標本点についてステップＳ１４〜２０の処理を行ったか否かを判定する。最後の標本点について処理を行った場合（ステップＳ２２；ＹＥＳ、ｘ＝Ｍ−１）、画像信号変換装置１０は、図３に示す処理を終了する。また、最後の標本点について処理を行っていない場合（ステップＳ２２；ＮＯ、ｘ＜Ｍ−１）、画像信号変換装置１０は、ステップＳ２４に処理を進める。
【００４０】
（ステップＳ２４）画像信号変換装置１０は、入力信号系列ＩＰについて、次の標本点を選択する（ｘ＋＋）。つまり、画像の場合には、ラスタ走査のように、標本点が順次選択される。その後、画像信号変換装置１０は、ステップＳ１４に処理を戻す。
以上の処理により、入力信号系列ＩＰの各標本点について、複製、補正の処理が実行される。これにより、画像信号変換装置１０は、見た目の精細感を保ちつつ、解像度を向上させた出力信号系列ＯＰを生成することができる。
以上が、画像信号変換装置１０の動作についての説明である。
【００４１】
次に、多次元の入力信号系列に画像信号変換装置１０を適用する場合について説明する。
図４は、多次元の入力信号系列に対する処理を説明するための模式図である。
入力信号が多次元である場合、画像信号変換装置１０は、各次元の軸方向について、例えばラスタ走査により順次、画像信号変換処理を行う。図８には、一例として、２次元の入力信号系列ＩＰ’に対する処理を示す。入力信号系列ＩＰ’は、ＸＹ直交座標系の信号である。画像信号変換装置１０は、まず、Ｘ軸方向について画像信号変換処理を行う。これにより、Ｘ軸方向に標本数を２倍にした中間信号系列ＭＰ’が取得される。次に、画像信号変換装置１０は、中間信号系列ＭＰ’を入力として、Ｙ軸方向について、画像信号変換処理を行う。これにより、Ｘ軸方向、Ｙ軸方向のそれぞれについて、標本数を２倍にした出力信号系列ＯＰ’が取得される。
以上が、多次元の入力信号系列に対する処理についての説明である。
【００４２】
次に、画像信号変換装置１０による処理結果について説明する。
図５〜図８は、画像信号変換装置１０の処理結果を説明するための図である。
ここでは、一例として、補正量Ｒを比較判定部１５の出力値ｒとする場合について説明する。
図５〜図８において、（ａ）は、入力信号系列ＩＰの信号値を示すグラフである。（ｂ）は、各標本点を複製した中間的な信号系列の信号値を示すグラフである。（ｃ）は、画像信号変換装置１０が特定する補正量を示すグラフである。（ｄ）は、出力信号系列ＯＰの信号値を示すグラフである。
【００４３】
図５において、処理対象の標本点（ｘ）の信号値Ｂは、直前の信号値Ａと直後の信号値Ｃとの間にある。また、信号値Ｂは、直前の信号値Ａに近い。従って、この場合の補正量Ｒは、差ｐになる。画像信号変換装置１０は、複製された２つの標本点のうち前側の標本点（２ｘ）については、補正量Ｒを加算するため、信号値Ａとなる。また、複製された２つの標本点のうち後側の標本点（２ｘ＋１）については、補正量Ｒを減算するため、信号値Ｂ−Ｒ（Ｒは負の値）となる。つまり、前側の標本点（２ｘ）については、入力信号系列ＩＰにおける直前の信号値と同一になる。そのため、標本数を増やしているにも関わらず、入力信号系列ＩＰのエッジを保持することができる。
【００４４】
図６において、処理対象の標本点（ｘ）の信号値Ｂは、直前の信号値Ａと直後の信号値Ｃとの間にある。また、信号値Ｂは、直後の信号値Ｃに近い。従って、この場合の補正量Ｒは、差ｑになる。画像信号変換装置１０は、複製された２つの標本点のうち前側の標本点（２ｘ）については、補正量Ｒを加算するため、信号値Ｂ＋Ｒ（Ｒは負の値）となる。また、複製された２つの標本点のうち後側の標本点（２ｘ＋１）については、補正量Ｒを減算するため、信号値Ｃとなる。つまり、後側の標本点（２ｘ＋１）については、入力信号系列ＩＰにおける直後の信号値と同一になる。そのため、画像信号変換装置１０は、標本数を増やしているにも関わらず、入力信号系列ＩＰのエッジを保持することができる。
【００４５】
図７において、処理対象の標本点（ｘ）の信号値Ｂは、直前の信号値Ａと直後の信号値Ｃとの丁度中間の値である。従って、この場合の補正量Ｒは、差ｐ（＝ｑ）になる。画像信号変換装置１０は、複製された２つの標本点のうち前側の標本点（２ｘ）については、補正量Ｒを加算するため、信号値Ａとなる。また、複製された２つの標本点のうち後側の標本点（２ｘ＋１）については、補正量Ｒを減算するため、信号値Ｃとなる。つまり、画像信号変換装置１０は、処理対象の標本点の信号値が前後の信号値の中間となる場合には、前後の信号値に一致させる。
【００４６】
図８において、処理対象の標本点（ｘ）の信号値Ｂは、直後の信号値Ｃに一致している。従って、この場合の補正量Ｒは、「０」になる。この場合、複製された２つの標本点（２ｘ）、（２ｘ＋１）は、いずれも信号値Ｂとなる。そのため、画像信号変換装置１０は、標本数を増やしているにも関わらず、入力信号系列ＩＰのエッジを保持することができる。
【００４７】
ここで、比例係数ｇの値を１未満とした場合には、補正量Ｒが小さくなる。この場合の処理結果を、図５を例に考えると、前側の標本点（２ｘ）は、信号値Ａに近い値ではあるが、一致はしなくなる。従って、出力信号系列ＯＰではエッジがやや失われることになる。これに対して、図７を例に考えると、複製された２つの標本点は、信号値Ａ、Ｃではなく、信号値Ａ、Ｃの中間的な値になる。つまり、この場合は、入力信号系列ＩＰが持っていた画像の滑らかさが保持される。このように、補正量Ｒを比較判定部１５の出力値ｒに近づける程、エッジの保持が優先される。他方、補正量Ｒを比較判定部１５の出力値ｒから小さくする程、画像の滑らかさの保持が優先される。従って、画像信号変換装置１０は、補正量を比例係数ｇ、乗数γの値を調整することにより、エッジの保持と画像の滑らかさとのバランスを調整することができる。つまり、画像信号変換装置１０は、補正量Ｒを調整することにより、解像度を向上させつつ、入力信号系列ＩＰの特性（すなわち、元画像の特性）を保持することができる。
【００４８】
次に、画像を参照しながら、画像信号変換装置１０による処理結果について説明する。
図９は、入力画像の一例を示す図である。図１０、図１１は、画像信号変換装置１０による出力画像の一例を示す図である。図１２は、従来技術に係る画像信号変換装置による出力画像の一例を示す図である。
図９の入力画像には、左側に人の顔が撮像されている。図９の入力画像は、図１０〜図１２の出力画像に比して、縦方向、横方向の解像度が半分となっている。入力画像を、出力画像と同サイズで示すに際し、図９の例では、各標本点をそのまま複製して単純に２倍とする処理を行っている。そのため、特に顔の輪郭付近において、ブロック型のノイズが目立っている。
【００４９】
図１２は、バイキュービック補完による出力画像である。バイキュービック法では、周囲の１６個の標本点の信号値から、３次関数を用いて補間するため、演算量が大きい。図９に示す入力画像に現れたブロック型のノイズが除去され、全体的に滑らかな画像になっている。しかしながら、例えば、瞼周辺など、エッジが細かく変化している部分では、画像が不鮮明になっている。
【００５０】
図１０は、比例係数ｇを「０．７」（ｇ＝０．７）、乗数γを「１」（γ＝１）とした場合の出力画像である。この場合、図１２に示す画像に比して顔の輪郭や瞼周辺等のエッジがさらに明確になり、画像の滑らかさも失われていない。
図１１は、比例係数ｇを「１」（ｇ＝１．０）、乗数γを「１」（γ＝１）とした場合の出力画像である。この場合、図１０に示す画像に比してエッジがさらに明確になっているが、図１０に示す画像に比べると、画像の滑らかさが若干劣る。図１０、図１１の出力画像のいずれにしても、図９に示す入力画像に比べ、画像の精細感、エッジが向上している。
【００５１】
以上説明してきたように、本実施形態に係る画像信号変換装置１０は、画像の１次元入力信号において３つの連続した第１標本点（例えば、標本点（ｘ−１））、第２標本点（例えば、標本点（ｘ））、第３標本点（例えば、標本点（ｘ＋１））を選択する選択部１１と、第２標本点を複製して複数の第２標本点（例えば、標本点（２ｘ）、（２ｘ＋１））を生成する複製部１７と、第１標本点の値と第２標本点の値との差である第１差（例えば、差ｐ）、及び、第２標本点の値と第３標本点の値との差である第２差（例えば、差ｑ）のうち、絶対値が小さい差に基づいて補正量を特定する補正量特定部１４と、複製部１７が複製した複数の第２標本点のうち、いずれか１つの信号値に補正量（例えば、補正量Ｒ）を加算し、別のいずれか１つの信号値から補正量を減算する補正部１８と、を備える。
【００５２】
これにより、画像信号変換装置１０は、各標本点を複製する際に隣接する標本点の値を参照するため、画像信号の標本数を増加させる際の違和感を低減することができる。さらに、画像信号変換装置１０は、入力信号波形にもよるが、入力信号のナイキスト周波数を超える信号成分の生成能力を備え、ナイキスト周波数を超えるという意味合いにおいては超解像処理を実現するものであるといえる。
【００５３】
また、画像信号変換装置１０は、増加させる標本点の信号値の特定において、隣接標本点との間の絶対値の差の算出と、差の大小関係の比較、入力された信号値に対する補正量の加減算という簡単な演算を最低限行えばよい。例えば、図１に示す例では、画像信号変換処理を、加算器１個、減算器３個、絶対値演算器２個、比較演算器１個、及び切替器１個のみで実現することができる。つまり、画像信号変換装置１０をハードウェアで構成する場合には、少ないハードウェア資源で容易に実装することができる。また、画像信号変換装置１０をソフトウェアで構成する場合には少ない演算量で容易に実装することができる。
【００５４】
また、補正量特定部１４は、第１差又は第２差を引数とした関数（例えば、式（６））により第１差又は第２差に比して小さい値に補正量を調整する。
これにより、画像信号変換装置１０は、増加した標本点の信号値を、入力信号において、隣接した標本点の信号値の中間的な値とする。特に、補正量を、第１差、第２差から相対的に大きく変更するように調整すれば入力画像のエッジを優先的に保存することができ、補正量を、第１差、第２差から相対的に大きく変更しないように調整すれば入力画像の滑らかさを優先的に保存することができる。従って、画像信号変換装置１０は、出力画像の滑らかさとエッジとを調整することができる。
【００５５】
［変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の実施形態において説明した各構成は、任意に組み合わせてよいし、任意に分離されてもよい。
【００５６】
なお、画像信号変換装置１０は、同様の出力結果を得られれば、各構成を任意に変更してもよい。例えば、第１減算部１２、第２減算部１３について、２つの入力値の関係を反転させてもよい。この場合、差ｐ、差ｑの符号が、上述した説明とは逆転する。この場合は、例えば、補正加算部１８１、補正減算部１８２の位置を逆にして、補正加算部１８１の出力を標本点（２ｘ＋１）の標本値とし、補正減算部１８２の出力を標本点（２ｘ）の標本値とする。このように、任意の設計変更が可能である。
【００５７】
また、画像信号変換装置１０は、標本数を２倍だけでなく、３倍以上としてもよい。奇数倍の場合、複製した標本点のうち、中央に位置する標本点を、複製元の信号値のままとする。また、４倍以上とする場合には、複製した標本点のうち、端部に位置する標本点の信号値を上述したように求め、挟まれる標本点の信号値は、両端部の信号値の中間的な値としてよい。
【００５８】
また、上述したように、画像信号変換装置１０は、補正量を調整することにより、出力画像の滑らかさとエッジとを調整することができる。画像信号変換装置１０は、例えば、入力画像の性質に応じて、比例係数ｇや乗数γの値を変更してよい。例えば、コンピュータグラフィック等のステップエッジ状の入力画像に対しては、比例係数ｇの値を「１」に近い相対的に大きな値が好適である。また、風景写真のように信号値が滑らかに変化するような入力画像に対しては、比例係数ｇの値を相対的に小さな値（例えば、「０．５」、「０．７」）が好適である。これにより、画像信号変換装置１０は、入力画像によらず、画像の精細感を向上させた出力画像を生成することができる。
【００５９】
また、上述の画像信号変換装置１０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像信号変換装置１０としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００６０】
また、上述した画像信号変換装置１０の機能の一部又は全部を、ＬＳＩ等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【符号の説明】
【００６１】
１０…画像信号変換装置、１１…選択部、１２…第１減算部、１３…第２減算部、１４…補正量特定部、１５…比較判定部、１６…補正量調整部、１７…複製部、１８…補正部
【図１】
2018056929.tif 000010
【図２】
2018056929.tif 000011
【図３】
2018056929.tif 000012
【図４】
2018056929.tif 000013
【図５】
2018056929.tif 000014
【図６】
2018056929.tif 000015
【図７】
2018056929.tif 000016
【図８】
2018056929.tif 000017
【図９】
2018056929.tif 000018
【図１０】
2018056929.tif 000019
【図１１】
2018056929.tif 000020
【図１２】
2018056929.tif 000021