(57)【要約】【課題】画像に対してどのような加工が加えられたのかを加工後の画像から判別でき、また画像の歪曲収差補正や画像の変形などの作業が容易に行なえる画像データを生成する画像処理装置、方法、プログラム及び記憶媒体を提供することを目的とする。【解決手段】画像処理装置は、輝度や色といった基本画像のコンポーネントの他、格子上の２値画像からなるメッシュ画像（メッシュコンポーネント）を、光学系の情報或いは装置の傾き情報などに従って生成し、これらを組み合わせて画像データを形成する。撮影画像とメッシュ画像とを同時に表示させて画像の変形や補正が容易に行なえるよう構成する。【選択図】        図１
2004310585.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データを圧縮符号化する符号化手段と、
メッシュ状の画像データを生成する生成手段と、
前記入力画像データを圧縮符号化した符号化データと前記メッシュ状画像データとを合成して一つの画像データとして出力する出力手段とを備えたことを特徴とする画像処理装置。
【請求項２】
請求項１において、さらに前記入力画像データを加工する加工手段を備え、前記生成手段は前記加工手段で行なう前記入力画像データの加工処理に対応して形状を変化させた前記メッシュ状画像データを生成することを特徴とする画像処理装置。
【請求項３】
請求項１において、前記生成手段は、所定の入力情報に従って形状を変化させた前記メッシュ状画像データを生成することを特徴とする画像処理装置。
【請求項４】
請求項３において、前記生成手段は、前記所定の入力情報として前記入力画像データを撮像する光学系の情報に従って形状を変化させた前記メッシュ状画像データを生成することを特徴とする画像処理装置。
【請求項５】
請求項４において、前記生成手段は、前記光学系の情報として前記光学系による歪曲収差に関する情報に従って形状を変化させた前記メッシュ状画像データを生成することを特徴とする画像処理装置。
【請求項６】
請求項４において、前記生成手段は、前記光学系の情報としてズーム倍率に関する情報に従って形状を変化させた前記メッシュ状画像データを生成することを特徴とする画像処理装置。
【請求項７】
請求項６において、前記ズーム倍率に関する情報が望遠側を示すときは前記メッシュ状画像データのメッシュのサイズを大きく、また広角側を示すときは前記メッシュのサイズを小さくするように変形させた前記メッシュ状画像データを生成することを特徴とする画像処理装置。
【請求項８】
請求項３において、さらに前記画像処理装置の傾きを検出して傾き情報を発生するセンサを備え、前記生成手段は、前記所定の入力情報として前記傾き情報に従って形状が回転するように変化する前記メッシュ状画像データを生成することを特徴とする画像処理装置。
【請求項９】
請求項１乃至請求項８において、前記符号化手段は前記入力画像データと前記メッシュ状画像データとをそれぞれコンポーネントとし、同一の方式で圧縮符号化することを特徴とする画像処理装置。
【請求項１０】
請求項１乃至請求項８において、さらに前記メッシュ画像データのみ又は前記入力画像データ及び前記メッシュ状画像データを表示可能な表示手段を備えたことを特徴とする画像処理装置。
【請求項１１】
入力画像データを圧縮符号化する符号化ステップと、
メッシュ状の画像データを生成する生成ステップと、
前記入力画像データを圧縮符号化した符号化データと前記メッシュ状画像データとを合成して一つの画像データとして出力する出力ステップとを有することを特徴とする画像処理方法。
【請求項１２】
請求項１１において、さらに前記入力画像データを加工する加工ステップを有し、前記生成ステップは前記加工ステップで行なう前記入力画像データの加工処理に対応して形状を変化させた前記メッシュ状画像データを生成することを特徴とする画像処理方法。
【請求項１３】
請求項１１において、前記生成ステップは、所定の入力情報に従って形状を変化させた前記メッシュ状画像データを生成することを特徴とする画像処理方法。
【請求項１４】
請求項１３において、前記生成ステップは、前記所定の入力情報として前記入力画像データを撮像する光学系の情報に従って形状を変化させた前記メッシュ状画像データを生成することを特徴とする画像処理方法。
【請求項１５】
請求項１４において、前記生成ステップは、前記光学系の情報として前記光学系による歪曲収差に関する情報に従って形状を変化させた前記メッシュ状画像データを生成することを特徴とする画像処理方法。
【請求項１６】
請求項１４において、前記生成ステップは、前記光学系の情報としてズーム倍率に関する情報に従って形状を変化させた前記メッシュ状画像データを生成することを特徴とする画像処理方法。
【請求項１７】
請求項１６において、前記ズーム倍率に関する情報が望遠側を示すときは前記メッシュ状画像データのメッシュのサイズを大きく、また広角側を示すときは前記メッシュのサイズを小さくするように変形させた前記メッシュ状画像データを生成することを特徴とする画像処理方法。
【請求項１８】
請求項１３において、前記生成ステップは、前記所定の入力情報として傾きを検出するセンサが発行する傾き情報に従って形状が回転するように変化する前記メッシュ状画像データを生成することを特徴とする画像処理方法。
【請求項１９】
請求項１１乃至請求項１８において、前記符号化ステップは前記入力画像データと前記メッシュ状画像データとをそれぞれコンポーネントとし、同一の方式で圧縮符号化することを特徴とする画像処理方法。
【請求項２０】
請求項１１乃至請求項１８において、さらに前記メッシュ画像データのみ又は前記入力画像データ及び前記メッシュ状画像データを表示する表示ステップを有することを特徴とする画像処理方法。
【請求項２１】
請求項１１乃至請求項２０のいずれか１項に記載の画像処理方法の処理ステップをコンピュータに実行させるためのプログラム。
【請求項２２】
請求項２１に記載のプログラムを格納したことを特徴とするコンピュータ装置読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、変形や補正が容易な画像データを生成する画像処理装置、方法、プログラム及び記憶媒体に関するものである。
【０００２】
【従来の技術】
従来、画像を撮影して記録再生できる装置として、デジタルスチルカメラやデジタルビデオカメラがある。これらの装置で撮影した画像データをパーソナルコンピュータ（ＰＣ）に取り込み、ＰＣ上で編集する・加工するといった所謂レタッチ処理が一般的に行なわれている。
【０００３】
レタッチ処理の例としては、画像のサイズ、色、輝度、形状などの変更や、画像を３次元平面に投影する処理などが挙げられる。また、デジタルスチルカメラ等の撮像装置で撮影された画像に生じるレンズ歪み等を補正することも、画像の加工処理の一つとして行われている。
【０００４】
これらの処理は、ＰＣ上で画像編集ソフトを用いて行われるのが一般的である。図１３は画像編集ソフトを用いて画像を変形した場合の例を示している。図１３（ａ）は元画像を縦方向に縮めた例であり、（ｂ）は元画像に中心からひねるような特殊効果を加えた例である。
【０００５】
また、特開２０００−１２５１７５号公報（特許文献１）には、撮像装置で撮影した画像に対する、レンズ等の影響による画像の歪みを補正する方法が開示されている。光学系を介して撮影された画像は、レンズ設計において除ききれないレンズの歪みの影響から、図１４に示すような（ａ）樽型や（ｂ）糸巻き型と呼ばれる歪みを生じる。特に広角レンズを使用した場合は歪みが顕著に表れることが知られている。特許文献１には、このような画像の歪曲補正を行なう手法として、画像を撮影した撮像装置の特性を元に算出した歪曲補正のパラメタを該画像に付加しておき、補正時に該補正パラメタを利用して大まかな自動補正を行ない、その後に画像を見ながら手動で微調整を行なう手法が開示されている。この微調整の方法は、図１５に示した例の様に、画像中の電柱など本来の直線部分を参考にしながら、視覚的に歪みがなくなるように画像を補正するものであった。
【０００６】
【特許文献１】
特開２０００−１２５１７５号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上記の従来技術の如く画像に対してサイズ変更や特殊効果などの編集・加工をした場合、画像編集ソフトによる編集中は編集履歴がメモリされて残り得るが、編集を終えて保存された画像データからは編集履歴を知ることはできなかった。したがって、保存された後の画像データから過去に施された編集内容を知りたいときは、再生画像自体から推測するしかなかった。
【０００８】
つまり、変形後の画像（図１３（ａ）、（ｂ）における右側の画像の状態）から、変形前の画像（同、左側の画像の状態）を推測することはできても、過去に該画像に対してどのような変形がどの程度加えられたのかを知ることは実質的に不可能であり、元の画像の状態を復元することは困難であった。
【０００９】
また、上記特許文献１で開示している手法によってレンズ歪みを補正する場合、補正ツールを用いて画像を見ながら手動補正する際、図１５で示した例の様な直線的な被写体が画像に含まれていない場合には、調節が非常に困難になるという問題があった。
【００１０】
本発明は上記の如き問題点を解決して、画像に対してどのような加工が加えられたのかを加工後の画像から判別でき、また画像の歪曲収差補正や画像の復元などの作業が容易に行なえる画像データを生成する画像処理装置、方法、プログラム及び記憶媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】
斯かる目的を達成する為の手段として、本発明は以下の構成からなる手段を有する。
【００１２】
本発明の画像処理装置は、入力画像データを圧縮符号化する符号化手段と、メッシュ状の画像データを生成する生成手段と、前記入力画像データを圧縮符号化した符号化データと前記メッシュ状画像データとを合成して一つの画像データとして出力する出力手段とを備えたことを特徴とする。
【００１３】
また、本発明の画像処理方法は、入力画像データを圧縮符号化する符号化ステップと、メッシュ状の画像データを生成する生成ステップと、前記入力画像データを圧縮符号化した符号化データと前記メッシュ状画像データとを合成して一つの画像データとして出力する出力ステップとを有することを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【００１５】
＜実施の形態１＞
図１は本発明の実施の形態１において説明する画像データの概念図である。
【００１６】
図１において、１００１はデジタルビデオカメラやデジタルスチルカメラ等で撮影した画像、もしくはドローツール等によって描かれたデジタル画像（コンピュータグラフィックス）を示している。また１００２、１００３、１００４、１００５は画像１００１を構成するコンポーネントを示している。ここでコンポーネントとは（Ｒ、Ｇ、Ｂ）や（Ｙ、Ｃｒ、Ｃｂ）など、画像の構成要素を指すものとする。１００２は輝度コンポーネント（Ｙ）、１００３は赤色差コンポーネント（Ｃｒ）、１００４は青色差コンポーネント（Ｃｂ）、１００５は後述するメッシュコンポーネントを示している。
【００１７】
画像データは一般的に（Ｒ、Ｇ、Ｂ）や（Ｙ、Ｃｒ、Ｃｂ）のように３つの基本コンポーネントから構成されている。この３つの基本コンポーネント以外に、追加コンポーネントとして画像に付加されているものもある。追加コンポーネントの代表例として画像の透過率を示したものがある。
【００１８】
本発明では、画像データの追加コンポーネントとして１００５に示すようなメッシュ画像を加える。このメッシュ画像は２値の画像データとして表現される。コンポーネントとして追加しても、メッシュ画像は２値の単純な画像であるため情報量は比較的少なく、適当な符号化手段を用いることで、画像全体のデータ量の増加は抑えることが可能である。
【００１９】
次に、メッシュ画像を追加コンポーネントとして組み込んだ画像がどのように用いられるのかを、図２を用いて説明する。図２において２００１、２００４、２００７は画像の基本コンポーネント（ＹＣｒＣｂ）のみを表示した画像、２００２、２００５、２００８は追加されたメッシュ画像のコンポーネント（以降、メッシュコンポーネントと称す）のみを表示した画像、２００３、２００６、２００９は基本コンポーネント（ＹＣｒＣｂ）とメッシュコンポーネントとを同時に表示した画像を表している。
【００２０】
図２に示したように、本発明の画像データは、通常の画像表示の際には２００１、２００４、２００７のように基本コンポーネントから作られる画像のみで表示するが、２００２、２００５、２００８のようにメッシュコンポーネントのみの表示、或いは２００３、２００６、２００９のように基本コンポーネントとメッシュコンポーネントとの同時表示が可能である。詳細は後述するが、本発明ではこのメッシュコンポーネントが画像の変形や加工処理に基づく変形情報を記憶することによって、後から画像の変形状態を知ることができる構成になっている。
【００２１】
次に、このような画像データを扱う、実施の形態１における画像処理装置１００を説明する。図１６は画像処理装置１００の構成例である。ここで画像処理装置１００はデジタルスチルカメラまたはデジタルビデオカメラで適用した例である。
【００２２】
図１６において、１０１は光学系、１０２は画像の撮像部、１０３は撮像した画像の信号処理部、１０４はＭＰＥＧ、ＪＰＥＧやＪＰＥＧ２０００等の圧縮方式で入力画像を圧縮符号化するエンコーダ、１０５は圧縮符号化された画像データの外部出力部、１０６は圧縮符号化された画像データを蓄積する記録媒体を含む記録／再生部、１０７は入力された画像データを編集・加工する画像加工部、１０８は画像加工部１０７で加工された処理情報に基づいてメッシュコンポーネントを生成・加工するメッシュ画像生成部、１０９は圧縮符号化された画像データを復号するデコーダ、１１０は各部の動作を制御する制御部、１１１はユーザ命令を入力する為の指示入力部、１１２は復元された画像及びメッシュ画像を表示可能な表示部である。
【００２３】
次いで、画像処理装置１００の動作の流れを概略説明する。
【００２４】
光学系１０１を動作させて、撮像部１０２で撮像した画像データを画像処理部１０３でデジタル化して所定の画像処理を行なう。
【００２５】
通常の出力又は記録動作時は、画像処理部１０３で処理された画像データをそのままエンコーダ１０４で圧縮符号化し、出力部１０５から外部へ出力する、又は記録／再生部１０６で記録する。このとき、メッシュ画像生成部１０８で生成するプレーンなメッシュコンポーネント（図１の１００５）も組み合わせてエンコーダ１０４で圧縮符号化しても良い。
【００２６】
画像を加工して出力又は記録する動作時は、画像処理部１０３で処理された元画像に対して、指示入力部１１１からのユーザ命令に応じて制御コマンドを発する制御部１１０の制御下において、画像加工部１０７で変形等の加工処理を行なう。次に、メッシュ画像生成部１０８でプレーンなメッシュコンポーネント（図１の１００５）を生成し、更に画像加工部１０７で加工された処理内容に応じて、前記プレーンなメッシュコンポーネントを変形する。次に、画像加工部１０７で変形された画像データとメッシュ画像生成部１０８で生成された変形後のメッシュコンポーネントとをエンコーダ１０４で圧縮符号化し、出力部１０５から外部へ出力する、又は記録／再生部１０６で記録する。
【００２７】
また、通常再生動作時は、記録／再生部１０６から再生された圧縮符号化データをデコーダ１０９でデコードし、画像及びメッシュ画像を復号する。復号されたデータは表示部１１２で図２の如く表示可能である。更に、再生して復元された画像データ及びメッシュ画像データを画像加工部へ入力し、改めて画像及びメッシュ画像の変形や再記録もできる構成となっている。このときはプレーンなメッシュコンポーネントを変形するのではなく、入力される既存のメッシュ画像を元データとして変形し、メッシュコンポーネントを生成するものである。
【００２８】
上記の動作を、図２を例に説明すると、２００４、２００７の各画像は、本発明の画像処理装置１００によって元画像２００１をそれぞれ変形させて生成した画像である。具体的に、画像２００４は、元画像２００１の縦のサイズを変更したものであり、また画像２００７は、元画像２００１に中心からひねるような特殊効果による変形を加えたものである。
【００２９】
本発明の画像処理装置１００を用いて図２のような変形処理を行なう際、元画像２００１を画像２００４のように変形する場合は、画像を加工する動作時において画像を変形し、更に元画像に対応するメッシュコンポーネント２００２を２００５の如く変形する。そして、変形後の画像データ（メッシュコンポーネントを含む）を新規保存或いは上書き保存する。同様に、元画像２００１を画像２００７のように変形する場合は、変形動作モードにおいて画像を変形し、更に元画像に対応するメッシュコンポーネント２００２を２００８の如く変形する。そして、変形後の画像データ（メッシュコンポーネントを含む）を新規保存或いは上書き保存する。
【００３０】
以上が実施の形態１の説明である。上述した説明では、基本コンポーネントとしてＹ、Ｃｒ、Ｃｂの３コンポーネントを用いたが、基本コンポーネントとしてはこれ以外のものを用いてもよい。また、輝度コンポーネントのみ、もしくは色コンポーネントのみを基本コンポーネントとして用いる手法であってもよい。
【００３１】
このように、変形された画像のメッシュコンポーネントを参照表示することにより、画像に対してどのような変形が加えられたかを容易に判断することが可能となる。また、例えば画像２００７を画像２００１のような変形前の状態に復元したいときには、上述した画像処理装置１００で、メッシュ画像２００８を元のメッシュ画像２００２（この場合プレーンな格子状）に戻すように逆方向にひねる処理を加えることで、元画像への変形が可能となり、視覚的にも容易に微調節が可能となる。
【００３２】
このような本実施の形態によれば画像のコンポーネントの一つとしてメッシュ画像を加えることによって、基本コンポーネントの画像の変形に対応してメッシュ画像も変形されるため、変形の状態を把握しやすくなり、変形前の画像への復元も容易に行なえるようになる。
【００３３】
＜実施の形態２＞
図３は本発明の実施の形態２における画像処理装置３０００の構成を示すブロック図である。ここで画像処理装置３０００はデジタルスチルカメラまたはデジタルビデオカメラで適用した例である。
【００３４】
図３において３００１は被写体からの光束が入射される光学系、３００２はＣＣＤやＣＭＯＳなどの撮像素子を有する撮像部、３００３は撮像部３００２から得られた画像信号を処理する画像信号処理部、３００４は画像信号を圧縮符号化するエンコーダ、３００５は圧縮符号化データを外部出力する出力部、３００６はズーム倍率やフォーカス調整など光学系を制御する光学制御部、３００７は光学制御部が発する制御信号からズームやフォーカスの状態といった光学系の情報を取得する光学情報処理部、３００８は光学系の情報を元に画像の歪み情報を取得する歪み情報処理部、３００９は得られた画像の歪み情報に従って歪ませたメッシュ画像を生成するメッシュ画像生成部、３０１０は圧縮符号化された画像データの記録部である。
【００３５】
次に、図３に示した画像処理装置３０００の処理の流れについて説明する。
【００３６】
光学系３００１において被写体からの光束が撮像部３００２に入射されると、撮像信号が撮像部３００２から出力される。この撮像信号は画像信号処理部３００３に入力され、デジタル化、色分離・γなど各信号処理が施され被写体の画像データが形成される。
【００３７】
また、光学系３００１のズームやフォーカス動作は光学制御部３００６が発する制御信号によって制御されている。光学制御部３００６が発する制御信号は光学情報処理部３００７にも入力され、光学情報処理部３００７では該制御信号からズームやフォーカス等の状態を光学系の情報として取得し、歪み情報処理部３００８に出力する。歪み情報処理部３００８では、入力されたズームやフォーカスの状態を示す光学系の情報を元に、撮像中の画像データに生じている歪曲収差を検出し歪曲収差情報を生成する処理を行なう。
【００３８】
ここでは、図４のグラフ（ａ）、（ｂ）に示すようなズームの状態に応じた一般的な歪曲収差が生じている場合を考える。図４のグラフ（ａ）、（ｂ）は画像の中心からの距離と歪曲収差率を示したグラフである。歪曲収差率は、歪みのない理想的な場合に得られる被写体像の高さをＬ、歪んだ状態の被写体像の高さをＬ’としたとき、（Ｌ−Ｌ’）／Ｌと定義している。図４（ａ）は、レンズが広角側にあるときの歪みの様子を示しており、画像の中心から遠い画素ほど負の方向の歪曲収差（樽型）が大きくなっている。また、図４（ｂ）はレンズが望遠側にあるときの歪みの様子を示しており、画像の中心から遠い画素ほど正の方向の歪曲収差（糸巻き型）が大きくなっている。
【００３９】
歪み情報処理部３００８で行なう、このようなレンズ等の状態に応じた歪曲収差の算出には、既存のアルゴリズムに基づく算出式にズームやフォーカスの状態パラメタを入力して求めてもよいし、予めズームやフォーカスの状態パラメタと歪みの割合をテーブルなどで持っているなど、ズームやフォーカスの状態から歪曲収差の情報が得られればどのような方法であってもかまわない。
【００４０】
歪み情報処理部３００８で生成した歪曲収差情報は、メッシュ画像生成部３００９に出力される。
【００４１】
メッシュ画像生成部３００９は、歪曲収差情報に応じた歪を持つメッシュ画像を生成する。例えば、撮影された画像が、歪曲収差情報によって樽型に歪んでいるものと判断された場合、図５（ａ）のような樽型に歪んだメッシュ画像を追加コンポーネント（メッシュコンポーネント）として生成する。この場合、図４（ｂ）のグラフのような歪曲収差情報に基づいたメッシュ画像を形成する。このようにして生成されるメッシュ画像は、光学系３００１を通して入力された被写体の画像と同様の図５（ｂ）に示すような歪みを持つことになる。
【００４２】
メッシュ画像生成部３００９で生成されたメッシュ画像は、エンコーダ３００４へと入力される。エンコーダ３００４では、被写体の画像の基本コンポーネント（ＹＣｒＣｂ）と共にメッシュ画像を４つ目のコンポーネントとして圧縮符号化する。
【００４３】
以上のように構成することにより、画像の歪曲収差に対応したメッシュ画像をコンポーネントの一つとして画像に組み込むことが可能となる。また、圧縮符号化された画像データは、出力部３００５から外部の装置やネットワークへ出力でき、又は記録部３０１０で記録再生できる構成となっている。
【００４４】
また、圧縮符号化された画像データを復号することによって、画像とメッシュ画像を復元すれば、図５（ｃ）に示すように画像の基本コンポーネントとメッシュ画像のメッシュコンポーネントとを同時に表示することができる。これによって、画像の歪み等の変形状態を把握することが容易となる。
【００４５】
次に、上述したメッシュ画像を用いて、レンズの歪みを補正する方法について述べる。上述した構成では、基本コンポーネントと共にメッシュコンポーネントとして歪みを考慮したメッシュ画像を生成している。そのため、再生時など復元後にメッシュ画像の各メッシュが直線状になるように画像補正ツール等で変形することで歪みのない被写体の画像を得ることができる。
【００４６】
図６はＰＣなどで動作可能な、補正ツールの例を示した図である。図６に示した画像補正ツールは図１５に示したものと同様に画像を見ながら歪みを手動で調節するものであってよいが、従来例である図１５の画像補正ツールとの違いとして、補正ツールで補正対象となる画像データを読み込むときに、一体化して符号化された画像データとメッシュ画像とを復号し、基本コンポーネントとメッシュコンポーネントとを同時に表示することである。
【００４７】
基本コンポーネントとメッシュコンポーネントを同時に表示することで、撮影した被写体に直線状のものが含まれなくても、各メッシュを目安として、メッシュの縦又は横の線が直線になるように調節すれば、正確な歪曲収差補正が可能となる。
【００４８】
また、画像処理装置３０００の一つの形態として、撮影時にズームやフォーカスに応じた歪みのメッシュ画像を生成し、それと撮像画像とを合成して、画像処理装置３０００が具備する不図示の液晶モニタや電子ファインダ等に表示し、撮影時に撮影者が歪みを確認できるように構成してもよい。
【００４９】
この構成を、図７を用いて説明する。図７は画像処理装置３０００の一つの形態である、撮像装置７０００の概念図である。
【００５０】
図７において、７０００は撮像装置本体、７００１は撮像装置の背面等に設けられた液晶モニタを示している。液晶モニタ７００１には撮像中の被写体の画像と、それに対応した歪みをもつメッシュ画像とを同時に表示する。つまり、撮像画像の基本コンポーネントと撮影画像に対するメッシュコンポーネントを同時に表示した例である。この構成によれば、撮影者は液晶モニタ等に表示されたメッシュ画像から、撮像中の画像の歪み状態を把握し、予め歪みを考慮した撮影が可能となる。
【００５１】
また、図７では液晶モニタ７００１に撮影画像とメッシュ画像を合成した画像を表示しているが、モードの切り替え等によりメッシュ画像のみを表示できる構成であってもよい。
【００５２】
以上が、実施の形態２の説明である。このような本実施の形態によれば、レンズ等の状態に応じて生じる画像の歪曲収差を、撮影時或いは再生時にメッシュ画像を用いて容易に補正することができる。
【００５３】
＜実施の形態３＞
続いて、本発明の実施の形態３として、ズームの割合に連動してメッシュのサイズを変更する構成を説明する。実施の形態３の構成は、実施の形態２と同様に、図３の画像処理装置３０００及びその適用例である図７の撮像装置７０００を用いて説明する。
【００５４】
図３において、光学制御部３００６から発せられたズーム制御信号は、光学情報処理部３００７によって取得され、歪み情報処理部３００８を経て、メッシュ画像生成部３００９へ入力される。メッシュ画像生成部３００９では、ズーム制御信号の内容（すなわちズーム倍率）に連動したメッシュサイズのメッシュ画像を生成できる。このようにして生成したメッシュ画像は、図８の如く表示可能となる。
【００５５】
図８はズーム倍率に連動して生成したメッシュ画像を、図７の撮像装置７０００の液晶モニタ７００１で表示した例である。図８において、画像（ａ）は広角側で撮影された画像を示しており、画像（ｃ）は望遠側で撮影された画像を示している。画像（ｂ）は画像（ａ）、（ｃ）の中間のズーム倍率で撮影された画像である。
【００５６】
これらの表示例で示すように、撮影画角が広角（ズーム倍率が低い状態にある）時はメッシュのサイズは小さく（細かく）、ズームが望遠側にシフトする（ズーム倍率が高い状態になる）につれて、メッシュのサイズが大きく（荒く）なるよう構成している。
【００５７】
このように、ズームに連動してメッシュのサイズを変更することで、基準となるメッシュサイズが分かっていれば、撮影時には液晶モニタ等に表示されたメッシュから、どの程度のズーム倍率で撮影しているかが容易に分かる。また、撮影後の画像データからはメッシュコンポーネントを参照することで、その画像がどのようなズーム倍率で撮影されたものであるか容易に判断できる。
【００５８】
また、このようなズーム倍率に連動したメッシュ画像を、実施の形態２で説明したズームやフォーカスに応じた撮影画像の歪みのメッシュ画像と組み合わせて生成、表示することも、もちろん可能である。
【００５９】
更に本実施の形態の一部として、ズーム倍率の異なる２つの撮影画像を合成して、パノラマ画像を生成する構成について説明する。
【００６０】
図９（ａ）、（ｂ）は同じ場所からそれぞれ異なるズーム倍率で撮影した画像にメッシュ画像を合成して表示した例である。これらの画像を合成して１枚のパノラマ画像を作る場合、従来は撮影された被写体のサイズが同等になるように片方の画像を拡大・縮小して合成していた。例えば図９を用いて説明するならば、従来はメッシュ画像が無いので、２つの画像の線路の幅が同等になるような目安で拡大・縮小の倍率を調節して接合するなどの作業を行っていた。従来の技術では、接合する２枚の画像に共通する被写体が少ない場合に作業は困難になる。
【００６１】
一方、本実施の形態では、ズーム倍率に連動したメッシュ画像を生成できるので、これを応用して、撮影した２枚の画像のメッシュサイズが同等になるように、片方の画像を拡大・縮小することで容易に調節できる。
【００６２】
図９（ｃ）は、本実施の形態の構成によって、図９（ｂ）が図９（ａ）と同比率になるように、メッシュサイズを目安に図９（ｂ）を縮小し、図９（ａ）と接合した例である。画像の被写体のみを参照してサイズを合わせる場合と比較して、合成する画像同士に共通の被写体が存在しない場合などであっても、メッシュのサイズを合わせることで調節が視覚的に分かりやすく容易となる。
【００６３】
以上が実施の形態３の説明である。このような本実施の形態によれば、撮像装置のズーム倍率に連動したメッシュ画像を生成、表示することで、ズームの倍率の視認や画角の確認が容易となる。
【００６４】
また、パノラマ合成のような複数の画像を合成する際に、異なるズーム倍率で撮影された画像であっても、本実施の形態の構成を用いれば、画像のサイズ合わせが容易となる。
【００６５】
＜実施の形態４＞
図１０は実施の形態４における画像処理装置１００００の構成を示すブロック図である。ここで画像処理装置１００００はデジタルスチルカメラまたはデジタルビデオカメラで適用した例である。
【００６６】
本発明の実施の形態４では、画像処理装置１００００の傾きに連動してメッシュ画像を回転させる構成について説明する。
【００６７】
図１０において、１０００１は被写体からの光束が入射される光学系、１０００２はＣＣＤやＣＭＯＳなどの撮像素子を有する撮像部、１０００３は撮像部１０００２から得られた画像信号を処理する画像信号処理部、１０００４は画像信号を圧縮符号化するエンコーダ、１０００５は圧縮符号化データを外部出力する出力部、１０００６はズーム倍率やフォーカス調整など光学系を制御する光学制御部、１０００７は光学制御部が発する制御信号からズームやフォーカスの状態といった光学系の情報を取得する光学情報処理部、１０００８は圧縮符号化された画像データの記録部、１０００９はメッシュ画像を生成するメッシュ画像生成部、１００１０は画像処理装置１００００の傾きを検出する傾きセンサである。
【００６８】
次に、図１０に示した画像処理装置１００００の処理の流れについて説明する。
【００６９】
光学系１０００１において被写体からの光束が撮像部１０００２に入射されると、撮像信号が撮像部１０００２から出力される。この撮像信号は画像信号処理部１０００３に入力され、デジタル化、色分離・γなど各信号処理が施され被写体の画像データが形成される。
【００７０】
また、光学系１０００１のズームやフォーカス動作は光学制御部１０００６が発する制御信号によって制御されている。光学制御部１０００６が発する制御信号は光学情報処理部１０００７にも入力され、光学情報処理部１０００７では該制御信号からズームやフォーカス等の状態を光学系の情報として取得し、メッシュ画像生成部１０００９に出力する。
【００７１】
また、傾きセンサ１００１０は、画像処理装置１００００の傾きを検出し、傾き情報をメッシュ画像生成部１０００９へ出力する。なお、傾きセンサ１００１０の構成としてはジャイロセンサを用いるが、傾きが検出可能であればどのような装置、方法であってもかまわない。
【００７２】
メッシュ画像生成部１０００９は、入力された光学系の情報並びに傾き情報に応じたメッシュ画像を生成するが、メッシュ画像の生成については後述する。
【００７３】
メッシュ画像生成部１０００９で生成されたメッシュ画像は、エンコーダ１０００４へと入力される。エンコーダ１０００４では、被写体の画像の基本コンポーネント（ＹＣｒＣｂ）と共にメッシュ画像を４つ目のコンポーネントとして圧縮符号化する。
【００７４】
また、圧縮符号化された画像データは、出力部１０００５から外部の装置やネットワークへ出力でき、又は記録部１０００８で記録や再生できる構成となっている。
【００７５】
また、圧縮符号化された画像データを復号することによって、画像とメッシュ画像を復元すれば、図１１に示すように画像の基本コンポーネントとメッシュ画像のメッシュコンポーネントとを同時に表示することができる。これによって、画像の傾きの状態を把握することが容易となる。
【００７６】
ここで、傾きセンサ１００１０の傾き情報に応じた、メッシュ画像の生成について図１１を用いて説明する。
【００７７】
図１１は、図１０の画像処理装置１００００の概念図と、そこで処理された画像の表示例である。
【００７８】
図１１（ａ）は画像処理装置１００００を水平な状態で撮影している様子、図１１（ｂ）は画像処理装置１００００を傾けた状態で撮影している様子を示している。また、図１１（ｃ）、（ｄ）はそれぞれ図１１（ａ）、（ｂ）の状態で撮影した撮影画像と生成されるメッシュ画像とを同時に表示した表示例を示したものである。
【００７９】
メッシュ画像生成部１０００９は、傾きセンサ１００１０の傾き情報に従って、常に水平面に対してメッシュが水平・垂直となるようにメッシュ画像を生成する。つまり、画像処理装置１００００が図１１（ａ）のように水平な状態で撮影されたときは、図１１（ｃ）のような撮影画像とメッシュ画像が生成され、画像処理装置１００００が図１１（ｂ）のように傾いた状態で撮影されたときは、図１１（ｄ）のような撮影画像とメッシュ画像が生成される。図１１（ｄ）においては、撮影画像に対してメッシュ（格子）が傾いた画像となる。このメッシュのラインの傾きから、撮影後の画像データであっても、どの程度装置が傾いて撮影された画像なのか、容易に判断することができる。
【００８０】
また、誤って装置を傾けて撮影した画像であったならば、メッシュのラインが水平あるいは垂直になるように画像を回転することで、画像の補正が容易に行なえる。更に、図１２（ａ）は図１１（ｄ）をメッシュのラインが水平垂直になるように回転させた画像であり、図１２（ａ）の角をメッシュ画像を目安に切り取ることによって、図１２（ｂ）の如き画像を生成することも可能になる。このように、画像の傾きを補正する場合にも、メッシュのラインを参照することで容易な補正が可能となる。
【００８１】
また本実施の形態におけるメッシュ画像を、実施の形態２や実施の形態３で説明した、レンズやズームに応じた歪曲補正、またはズーム倍率と連動したメッシュ画像の生成と組み合わせて生成、表示することももちろん可能である。その際は、傾きセンサ１００１０による傾き情報と、光学情報処理部１０００７からの光学系の情報とを複合させて、メッシュ画像を生成する。
【００８２】
以上が実施の形態４の説明である。このような本実施の形態によれば、画像処理装置の傾きに応じたメッシュ画像を生成、表示することで、撮影画像の傾き補正等が容易に行なえる。
【００８３】
＜他の実施形態＞
その他の実施形態として、前述した発明の実施形態の機能をソフトウェアで実現しても良い。ソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【００８４】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００８５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００８６】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００８７】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【００８８】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【００８９】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００９０】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００９１】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００９２】
【発明の効果】
以上説明したように、画像データのコンポーネントの一つとしてメッシュ画像を生成することで、画像の変形状態をユーザに視認しやすくし、補正等を行ない易くする効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１において説明する画像データの概念図である。
【図２】基本画像とメッシュ画像を変形した例である。
【図３】本発明の実施の形態２における画像処理装置の構成である。
【図４】（ａ）、（ｂ）は歪曲収差率を説明する為のグラフである。
【図５】（ａ）、（ｂ）、（ｃ）は歪曲収差によって歪んだ基本画像とメッシュ画像を表す図である。
【図６】歪曲収差を補正する為の補正ツールの例である。
【図７】画像処理装置の概念図である。
【図８】（ａ）、（ｂ）、（ｃ）は基本画像とメッシュ画像とを合成した表示例である。
【図９】（ａ）、（ｂ）はそれぞれ異なるズーム倍率で撮影した画像であり、（ｃ）は２つの画像を接合した例である。
【図１０】本発明の実施の形態４における画像処理装置の構成である。
【図１１】（ａ）、（ｃ）は被写体を水平位置で撮影したときの概念図とその表示例であり、（ｂ）、（ｄ）は被写体を水平に対して傾いた位置で撮影したときの概念図とその表示例である。
【図１２】（ａ）、（ｂ）は傾いて撮影された画像を補正するときの説明図である。
【図１３】（ａ）、（ｂ）は従来の画像編集ソフトで画像を変形した例である。
【図１４】（ａ）、（ｂ）は画像の歪みを説明する為の図である。
【図１５】従来の画像編集ソフトで行なう補正例である。
【図１６】本発明の実施の形態１における画像処理装置の構成である。
【符号の説明】
１００  画像処理装置
１０１  光学系
１０２  撮像部
１０３  画像処理部
１０４  エンコーダ
１０５  出力部
１０６  記録／再生部
１０７  画像加工部
１０８  メッシュ画像生成部
１０９  デコーダ
１１０  制御部
１１１  指示入力部
１１２  表示部
【図１】
2004310585.tif 000003
【図２】
2004310585.tif 000004
【図３】
2004310585.tif 000005
【図４】
2004310585.tif 000006
【図５】
2004310585.tif 000007
【図６】
2004310585.tif 000008
【図７】
2004310585.tif 000009
【図８】
2004310585.tif 000010
【図９】
2004310585.tif 000011
【図１０】
2004310585.tif 000012
【図１１】
2004310585.tif 000013
【図１２】
2004310585.tif 000014
【図１３】
2004310585.tif 000015
【図１４】
2004310585.tif 000016
【図１５】
2004310585.tif 000017
【図１６】
2004310585.tif 000018