(57)【要約】【課題】ユーザの負担を低減しながら、画像に対する良好な変形処理を行う。【解決手段】画像処理装置１４０は、画像の複数の辺上に位置する複数の第１の点に対して与えられた移動量から、第１の点以外で複数の辺上に位置する複数の第２の点を移動させる移動量を算出し、第１および第２の点の移動量から、複数の辺よりも内側の画像領域内に位置する複数の第３の点を移動させる移動量を算出する。そして第１、第２および第３の点の移動量に応じて変形処理を行う。【選択図】図１
2020202527.tif 000002
【特許請求の範囲】
【請求項１】
複数の辺を有する画像を変形させる変形処理を行う画像処理装置であって、
前記複数の辺上に位置する複数の第１の点に対して与えられた移動量から、前記第１の点以外で前記複数の辺上に位置する複数の第２の点を移動させる移動量を算出する辺移動量算出手段と、
前記第１および第２の点の移動量から、前記複数の辺よりも内側の画像領域内に位置する複数の第３の点を移動させる移動量を算出する領域移動量算出手段と、
前記第１、第２および第３の点の移動量に応じて前記変形処理を行う変形処理手段とを有することを特徴とする画像処理装置。
【請求項２】
前記領域移動量算出手段は、前記第１および第２の点の移動量と前記画像領域内に位置する少なくとも１つの第４の点に対して与えられた移動量とから、前記第４の点以外の前記第３の点の移動量を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の第１の点は、少なくとも前記画像の四隅の点を含むことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記複数の第１の点は、前記辺上の中間に位置する点をさらに含むことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記辺移動量算出手段は、前記第２の点の移動量を線形補間または射影変換により算出することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記領域移動量算出手段は、前記第３の点の移動量を線形補間により算出することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記各点は、前記画像の画素または該画素より小さい単位であることを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
請求項１から７のいずれか一項に記載の画像処理装置と、
該画像処理装置において前記変形処理を受けた画像を表示する表示手段とを有することを特徴とする画像表示装置。
【請求項９】
複数の辺を有する画像を変形させる変形処理を行う画像処理方法であって、
前記複数の辺上に位置する複数の第１の点に対して与えられた移動量から、前記第１の点以外で前記複数の辺上に位置する複数の第２の点を移動させる移動量を算出するステップと、
前記第１および第２の点の移動量から、前記複数の辺よりも内側の画像領域内に位置する複数の第３の点を移動させる移動量を算出するステップと、
前記第１、第２および第３の点の移動量に応じて前記変形処理を行うステップとを有することを特徴とする画像処理方法。
【請求項１０】
コンピュータに、請求項９に従う画像処理方法に従う処理を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に幾何変形を加える画像処理に関する。
【背景技術】
【０００２】
プロジェクタには、投射画像の歪みを低減（補正）する等の目的のために、投射画像の四隅の点や複数の領域に対するユーザによる移動量の指示に応じて投射画像を変形させる画像変形処理を行えるものがある。ただし、ユーザによる移動量の指示数が多くなると、ユーザの負担が増加する。特許文献１には、投射画像内の領域の分割数を変更可能とすることにより、ユーザが指示する移動量の数を変更できるプロジェクタが開示されている。また特許文献２には、典型的な変形パターンを予め用意し、各変形パターンにおける投射画像の各辺の移動量をユーザが選べるようにしたプロジェクタが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−０７８００１号公報
【特許文献２】特開２０１３−０７７９８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１にて開示されたプロジェクタにおいて領域分割数を少なくしてユーザによる移動量の指示数を少なくすると、投射画像を細かく変形させることができず、歪補正等を良好に行えなくなる。また特許文献２にて開示されたプロジェクタにおいては、予め用意される変形パターンが限られており、しかも各辺の移動しかできないため、ユーザが望むように投射画像を変形させることが難しい場合が生じる。
【０００５】
本発明は、ユーザの負担を低減しながら、画像に対する良好な変形処理を行えるようにした画像処理装置等を提供する。
【課題を解決するための手段】
【０００６】
本発明の一側面としての画像処理装置は、複数の辺を有する画像を変形させる変形処理を行う。該画像処理装置は、複数の辺上に位置する複数の第１の点に対して与えられた移動量から、第１の点以外で複数の辺上に位置する複数の第２の点を移動させる移動量を算出する辺移動量算出手段と、第１および第２の点の移動量から、複数の辺よりも内側の画像領域内に位置する複数の第３の点を移動させる移動量を算出する領域移動量算出手段と、第１、第２および第３の点の移動量に応じて変形処理を行う変形処理手段とを有することを特徴とする。
【０００７】
上記画像処理装置と、該画像処理装置において変形処理を受けた画像を表示する表示手段とを有する画像表示装置も、本発明の他の一側面を構成する。
【０００８】
また本発明の他の一側面としての画像処理方法は、複数の辺を有する画像を変形させる変形処理を行う方法である。該画像処理方法は、複数の辺上に位置する複数の第１の点に対して与えられた移動量から、第１の点以外で複数の辺上に位置する複数の第２の点を移動させる移動量を算出するステップと、第１および第２の点の移動量から、複数の辺よりも内側の画像領域内に位置する複数の第３の点を移動させる移動量を算出するステップと、第１、第２および第３の点の移動量に応じて変形処理を行うステップとを有することを特徴とする。
【０００９】
コンピュータに上記画像処理方法に従う処理を実行させるコンピュータプログラムも、本発明の他の一側面を構成する。
【発明の効果】
【００１０】
本発明によれば、移動量を指示するユーザの負担を低減しながら、画像に対する良好な変形処理を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例１であるプロジェクタの構成を示すブロック図。
【図２】与えられた移動量の例を示す図。
【図３】実施例１のプロジェクタが実行する画像変形処理を示すフローチャート。
【図４】投射画像の各辺上の移動量の補間結果を示す図。
【図５】投射画像の内側画像領域の移動量の補間結果を示す図。
【図６】図４の補間結果を示すグラフ図。
【図７】実施例１における補間結果の例を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１３】
図１は、本発明の実施例１である画像表示装置としてのプロジェクタ１００の構成を示している。プロジェクタ１００は、入力された画像信号に応じて光変調素子の光の透過率または反射率を制御し、該光変調素子により変調された光をスクリーン等の被投射面に投射することにより投射画像を表示する。
【００１４】
プロジェクタ１００は、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、ＥＥＰＲＯＭ１１４、操作部１１３、画像入力部１３０および画像処理部１４０を有する。またプロジェクタ１００は、液晶制御部１５０、液晶素子１５１Ｒ、液晶素子１５１Ｇ、液晶素子１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０および投射光学系１７１を有する。さらにプロジェクタ１００は、通信部１９３、表示制御部１９５および表示部１９６を有する。
【００１５】
ＣＰＵ１１０は、プロジェクタ１００の各動作ブロックの動作を制御する。ＲＯＭ１１１は、ＣＰＵ１１０の処理手順を記述した制御プログラムを記憶する。ＲＡＭ１１２は、ワークメモリとして一時的に制御プログラムやデータを格納する。ＥＥＰＲＯＭ１１４は、電力供給を必要とすることなく各種データを記憶することができる。またＣＰＵ１１０は、通信部１９３がパーソナルコンピュータやリモートコントロールユニット等の不図示の外部装置から有線、無線または赤外線通信により受信した指示信号に応じて、電源制御処理やＯＳＤ処理を行うとともに、画像処理部１４０に画質調整処理や画像変形処理等を行わせる。
【００１６】
また操作部１１３は、スイッチ、ダイヤル等の操作部材や表示部１９６上に設けられたタッチパネルにより構成され、ユーザの操作を受け付けてＣＰＵ１１０に指示信号を出力する。ＣＰＵ１１０は、指示信号に応じて上述した各種処理を行う。
【００１７】
画像入力部１３０は、不図示の画像供給装置から入力される画像信号（映像信号）を受信する。アナログ画像信号を受信した場合には該アナログ画像信号をデジタル画像信号に変換し、デジタル画像信号を受信した場合には所定のデコード処理などを行い画像処理部１４０に出力する。画像供給装置は、パーソナルコンピュータ、カメラ、スマートフォン、ハードディスクレコーダ、ゲーム機等である。
【００１８】
画像処理装置としての画像処理部１４０は、コンピュータとしての画像処理用マイクロプロセッサにより構成され、画像入力部１３０から入力された画像信号に対して、フレーム間引き処理、フレーム補間処理、解像度変換処理および画像変形処理等の画像処理を行って画像データを生成し、液晶制御部１５０に出力する。
【００１９】
液晶制御部１５０は、画像処理部１４０で生成された画像データに基づいて、光変調素子としての液晶素子１５１Ｒ，１５１Ｇ，１５１Ｂの各画素に印加する電圧を制御することにより各液晶素子に原画を形成する。各画素の印加電圧が変化することで各画素の透過率または反射率が変化し、各画素にて透過または反射する光が変調（光量が変更）される。光変調素子により表示手段が構成される。なお、光変調素子として、液晶素子に代えてデジタルマイクロミラーデバイスを用いてもよい。
【００２０】
光源１６１は、放電ランプやレーザダイオードを用いて構成され、白色光である照明光を発する。光源制御部１６０は、光源１６１のオン／オフや発光量を制御する。色分離部１６２は、ダイクロイックミラーや偏光ビームスプリッタ等により構成され、照明光を赤（Ｒ）光、緑（Ｇ）光および青（Ｂ）光に分離する。液晶素子１５１Ｒ，１５１Ｇ，１５１Ｂはそれぞれ、前述したように入射したＲ光、Ｇ光およびＢ光を変調する。
【００２１】
色合成部１６３は、ダイクロイックミラーや偏光ビームスプリッタ等により構成され、液晶素子１５１Ｒ，１５１Ｇ，１５１Ｂにより変調されたＲ光、Ｇ光およびＢ光を合成してカラー画像光を生成する。投射光学系１７１は、カラー画像光をスクリーン１８０に投射する。これにより、入力された画像信号に対応する投射画像がスクリーン１８０上に表示される。光学系制御部１７０は、投射光学系１７１のズーム、シフトおよびフォーカス等の動作を制御する。
【００２２】
表示制御部１９５は、ユーザがプロジェクタ１００を操作するための操作画面やスイッチアイコン等の画像を表示させるように表示部１９６を制御する。表示部１９６は、液晶ディスプレイや有機ＥＬディスプレイ等により構成される。なお、表示部１９５に代えて、プロジェクタ１００を操作するための操作ボタンを用いてもよい。
【００２３】
次に、本実施例において複数（本実施例では４つ）の辺を有する投射画像を変形させる画像変形処理について説明する。なお、投射画像を変形させるとは、実際には液晶素子１５１Ｒ，１５１Ｇ，１５１Ｂに形成される原画を変形させることである。本実施例では、投射画像（液晶素子）上に横１７縦１０の画素（以下、点という）を２次元に設定し、点ごとに移動量を与える。画像変形処理は、投射画像の台形歪み等の幾何歪みを補正したり、ＲＧＢ用の光変調素子のそれぞれで点ごとの移動量を算出してレジストレーションずれを低減したりするために用いられる。また、点は投射画像の画素ごとではなく、画素より小さな単位（サブ画素）ごとに算出してもよい。
【００２４】
図２の上図と下図は、投射画像における四隅に位置する点と上辺の中間に位置する点に対してユーザ又は外部装置からの指示によって与えられる縦方向の移動量（以下、縦移動量という）と横方向の移動量（以下、横移動量という）を示している。上記四隅と上辺上の点を代表点（第１の点）という。
【００２５】
例えば、各液晶素子が３８４０×２１６０画素を有する場合において、図２中の上図と下図の要素２０１に示された縦および横移動量（第１の移動量）は、座標（０，０）の代表点の縦および横移動量を示す。同様に、要素２０２の縦および横移動量は座標（１９２０，０）の代表点の縦および移動量を示し、要素２０３の縦および横移動量は座標（３８３９，０）の代表点の縦および横移動量を示す。要素２０４の縦および横移動量は座標（０，２１５９）の代表点の縦および移動量を示し、要素２０５の縦および横移動量は座標（３８３９，２１５９）の代表点の縦および横移動量を示す。
【００２６】
本実施例では、代表点以外の点（以下、補間点という）に与える移動量を、代表点の移動量を用いた線形補間処理によって算出する。このときの移動量の算出方法について、以下に説明する。なお、縦移動量と横移動量は互いに独立に、かつ同じ線形補間処理によって算出されるので、ここでは縦移動量の算出方法についてのみ図３を用いて説明する。
【００２７】
図３のフローチャートは、辺移動量算出手段、領域移動量算出手段および変形処理手段としての画像処理部１４０がコンピュータプログラムに従って実行する画像変形処理（画像処理方法）を示している。ステップ３００において、画像処理部１４０は、図２に示したように代表点に対してユーザ等の指示により縦移動量が与えられる。
【００２８】
次にステップ３０１から３０４において、画像処理部１４０は、補間点のうち上辺、下辺、右辺および左辺上に位置する補間点（第２の点）の移動量（第２の移動量）を算出する補間処理を行う。まずステップ３０１では、画像処理部１４０は上辺上補間点の移動量を算出する。ここでの補間は１次元データの線形補間であるため、上辺上の補間点の移動量が、
【００２９】
【数１】
2020202527.tif 000003
【００３０】
で与えられるものとして説明する。添え字のｉは上辺の横方向の座標を示す。本実施例では、補間評価値Ｊを、
【００３１】
【数２】
2020202527.tif 000004
【００３２】
で与える。この補間評価値Ｊが最小となるような未知の移動量を求める。この補間処理により求めた上辺上の補間点の移動量を図４（Ａ）に背景をグレーにして示す。
【００３３】
次にステップ３０２では、画像処理部１４０は、ステップ３０１と同様の補間処理を行って下辺上に位置する補間点の移動量を算出する。算出された下辺上の補間点の移動量を図４（Ｂ）に背景をグレーにして示す。
【００３４】
次にステップ３０３では、画像処理部１４０は、右辺上の補間点（第２の点）の移動量を算出する。ここでの補間も１次元データの線形補間であるため、右辺上の補間点の移動量が、
【００３５】
【数３】
2020202527.tif 000005
【００３６】
で与えられるものとして説明する。添え字のｉは右辺の縦方向の座標を示す。本実施例では、補間評価値Ｊを、
【００３７】
【数４】
2020202527.tif 000006
【００３８】
で与える。この補間評価値Ｊ′が最小となるような未知の移動量を求める。この補間処理により求めた右辺上の補間点の移動量を図４（Ｃ）に背景をグレーにして示す。
【００３９】
次にステップ３０４では、画像処理部１４０は、ステップ３０３と同様の補間処理を行って左辺上に位置する補間点の移動量を算出する。算出された左辺上の補間点の移動量を図４（Ｄ）に背景をグレーにして示す。なお、ステップ３０１から３０４の処理をそれらの順番を入れ替えて行ってもよいし、同時に行ってもよい。
【００４０】
次にステップ３０５では、画像処理部１４０は、４辺よりも内側の領域（以下、内側画像領域という）に位置する補間点（第３の点）の移動量（第３の移動量）を線形補間処理によって算出する。ここでの補間は２次元データの補間であるため、補間点の移動量が、
【００４１】
【数５】
2020202527.tif 000007
【００４２】
で与えられるものとして説明する。添え字のｉは横方向の座標を、添え字のｊは縦方向の座標を示している。代表点とステップ３０２〜ステップ３０４にて移動量が算出された補間点の移動量を既知の移動量として未知の移動量を算出する。本実施例では、補間評価値Ｊを、
【００４３】
【数６】
2020202527.tif 000008
【００４４】
で与える。この補間評価値Ｊが最小となるような未知の移動量を求める。この補間処理により求めた内側画像領域内の補間点の移動量を図５（Ａ）に背景をグレーにして示す。図６（Ａ）は、代表点の移動量および全補間点の移動量を可視化したグラフを示す。図６（Ａ）において、水平２軸は縦方向および横方向を示し、縦軸は移動量を示す。
【００４５】
一方、図５（Ｂ）および図６（Ｂ）は、本実施例とは異なり、４辺上の補間点の移動量を先に算出することなく、全ての補間点の移動量を代表点の移動量から補間処理により算出した結果を示す。図５（Ｂ）および図６（Ｂ）では、補間点の移動量を算出している辺とは無関係な辺上の補間点の移動量が変化してしまい、全ての補間点の移動量を決定することが困難である。これに対して、本実施例によれば、そのような困難さを解消することができる。
【００４６】
図７（Ａ）は、本実施例における代表点を図２とは異ならせた場合の補間処理の結果を示している。図７（Ａ）では、四隅と上辺上の代表点に加えて、下辺上の中間に位置する代表点（第１の点）と内側画像領域内に位置する代表点（第４の点）が設定され、それらに対してユーザ等の指示により移動量が与えられている。そして、これらの代表点の移動量から、図３に示した処理により、背景がグレーとなっている補間点（第２および第３の点）の移動量が算出される。図７（Ｂ）は、図６（Ｂ）と同様に全ての代表点および補間点の移動量を視覚化したグラフを示している。
【００４７】
以上説明したように、本実施例によれば、ユーザによる移動量の指示数、すなわちユーザの負担を少なくしつつ、良好な画像変形処理を行うことができる。
【００４８】
本実施例では、投射画素の辺上の補間点の移動量を線形補間により算出する場合について説明したが、射影変換により算出してもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００４９】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【００５０】
１００  プロジェクタ
１４０  画像処理部
【図１】
2020202527.tif 000009
【図２】
2020202527.tif 000010
【図３】
2020202527.tif 000011
【図４】
2020202527.tif 000012
【図５】
2020202527.tif 000013
【図６】
2020202527.tif 000014
【図７】
2020202527.tif 000015