(57)【特許請求の範囲】
【請求項１】
カメラ付き携帯端末装置において取得された画像データにより表される画像の幾何学的歪みを補正する画像補正方法であって、
前記カメラ付き携帯端末装置において、該カメラ付き携帯端末装置が備える撮像デバイスの画素位置に対応する座標系により前記画像上に指定された領域を表す領域情報、該カメラ付き携帯端末装置の機種情報および前記画像データを取得し、
前記領域情報に基づいて、該画像データから前記指定された領域に対応する領域画像データを生成し、
前記カメラ付き携帯端末装置の機種に応じて記憶された、前記カメラの歪み特性を表す複数の歪み特性情報のうち、前記取得した機種情報に対応する歪み特性情報に基づいて、前記撮像デバイスの画素位置に対応する座標系により指定された前記領域画像データを幾何学的に補正して補正領域画像データを生成し、
該補正領域画像データを前記カメラ付き携帯端末装置に送信することを特徴とする画像補正方法。
【請求項２】
さらに、前記領域情報により表される領域とは異なる他の領域を表す他の領域情報を取得し、
該他の領域情報に基づいて、前記画像データから該他の領域に対応する他の領域画像データを生成し、
前記カメラの歪み特性を表す歪み特性情報に基づいて、前記他の領域画像データを幾何学的に補正して他の補正領域画像データを生成し、
該他の補正領域画像データを前記カメラ付き携帯端末装置に送信することを特徴とする請求項１記載の画像補正方法。
【請求項３】
カメラ付き携帯端末装置において取得された画像データにより表される画像の幾何学的歪みを補正する画像補正方法であって、
前記カメラ付き携帯端末装置において生成された、該カメラ付き携帯端末装置が備える撮像デバイスの画素位置に対応する座標系により前記画像上に指定された領域に対応する領域画像データおよび該カメラ付き携帯端末装置の機種情報を取得し、
前記カメラ付き携帯端末装置の機種に応じて記憶された、前記カメラの歪み特性を表す複数の歪み特性情報のうち、前記取得した機種情報に対応する歪み特性情報に基づいて、前記撮像デバイスの画素位置に対応する座標系により指定された前記領域画像データを幾何学的に補正して補正領域画像データを生成し、
該補正領域画像データを前記カメラ付き携帯端末装置に送信することを特徴とする画像補正方法。
【請求項４】
カメラ付き携帯端末装置において取得された画像データにより表される画像の幾何学的歪みを補正する画像補正装置であって、
前記カメラ付き携帯端末装置において、該カメラ付き携帯端末装置が備える撮像デバイスの画素位置に対応する座標系により前記画像上に指定された領域を表す領域情報、該カメラ付き携帯端末装置の機種情報および前記画像データを取得する取得手段と、
前記領域情報に基づいて、該画像データから前記指定された領域に対応する領域画像データを生成する領域画像生成手段と、
前記カメラ付き携帯端末装置の機種に応じた前記カメラの歪み特性を表す複数の歪み特性情報を記憶する特性記憶手段と、
前記複数の歪み特性情報のうち、前記取得した機種情報に対応する歪み特性情報に基づいて、前記撮像デバイスの画素位置に対応する座標系により指定された前記領域画像データを幾何学的に補正して補正領域画像データを生成する画像補正手段と、
該補正領域画像データを前記カメラ付き携帯端末装置に送信する送信手段とを備えたことを特徴とする画像補正装置。
【請求項５】
前記取得手段は、さらに、前記領域情報により表される領域とは異なる他の領域を表す他の領域情報を取得する手段であり、
前記領域画像生成手段は、前記他の領域情報に基づいて、前記画像データから該他の領域に対応する他の領域画像データを生成する手段であり、
前記画像補正手段は、前記カメラの歪み特性を表す歪み特性情報に基づいて、前記他の領域画像データを幾何学的に補正して他の補正領域画像データを生成する手段であり、
前記送信手段は、該他の補正領域画像データを前記カメラ付き携帯端末装置に送信する手段であることを特徴とする請求項４記載の画像補正装置。
【請求項６】
カメラ付き携帯端末装置において取得された画像データにより表される画像の幾何学的歪みを補正する画像補正装置であって、
前記カメラ付き携帯端末装置において生成された、該カメラ付き携帯端末装置が備える撮像デバイスの画素位置に対応する座標系により前記画像上に指定された領域に対応する領域画像データおよび該カメラ付き携帯端末装置の機種情報を取得する取得手段と、
前記カメラ付き携帯端末装置の機種に応じた前記カメラの歪み特性を表す複数の歪み特性情報を記憶する特性記憶手段と、
前記複数の歪み特性情報のうち、前記取得した機種情報に対応する歪み特性情報に基づいて、前記撮像デバイスの画素位置に対応する座標系により指定された前記領域画像データを幾何学的に補正して補正領域画像データを生成する画像補正手段と、
該補正領域画像データを前記カメラ付き携帯端末装置に送信する送信手段とを備えたことを特徴とする画像補正装置。
【請求項７】
カメラ付き携帯端末装置において取得された画像データにより表される画像の幾何学的歪みを補正する画像補正方法をコンピュータに実行させるためのプログラムであって、
前記カメラ付き携帯端末装置において、該カメラ付き携帯端末装置が備える撮像デバイスの画素位置に対応する座標系により前記画像上に指定された領域を表す領域情報、該カメラ付き携帯端末装置の機種情報および前記画像データを取得する手順と、
前記領域情報に基づいて、該画像データから前記指定された領域に対応する領域画像データを生成する手順と、
前記カメラ付き携帯端末装置の機種に応じて記憶された、前記カメラの歪み特性を表す複数の歪み特性情報のうち、前記取得した機種情報に対応する歪み特性情報に基づいて、前記撮像デバイスの画素位置に対応する座標系により指定された前記領域画像データを幾何学的に補正して補正領域画像データを生成する手順と、
該補正領域画像データを前記カメラ付き携帯端末装置に送信する手順とを有するプログラム。
【請求項８】
さらに、前記領域情報により表される領域とは異なる他の領域を表す他の領域情報を取得する手順と、
該他の領域情報に基づいて、前記画像データから該他の領域に対応する他の領域画像データを生成する手順と、
前記カメラの歪み特性を表す歪み特性情報に基づいて、前記他の領域画像データを幾何学的に補正して他の補正領域画像データを生成する手順と、
該他の補正領域画像データを前記カメラ付き携帯端末装置に送信する手順とを有する請求項７記載のプログラム。
【請求項９】
カメラ付き携帯端末装置において取得された画像データにより表される画像の幾何学的歪みを補正する画像補正方法をコンピュータに実行させるためのプログラムであって、
前記カメラ付き携帯端末装置において生成された、該カメラ付き携帯端末装置が備える撮像デバイスの画素位置に対応する座標系により前記画像上に指定された領域に対応する領域画像データおよび該カメラ付き携帯端末装置の機種情報を取得する手順と、
前記カメラ付き携帯端末装置の機種に応じて記憶された、前記カメラの歪み特性を表す複数の歪み特性情報のうち、前記取得した機種情報に対応する歪み特性情報に基づいて、前記撮像デバイスの画素位置に対応する座標系により指定された前記領域画像データを幾何学的に補正して補正領域画像データを生成する手順と、
該補正領域画像データを前記カメラ付き携帯端末装置に送信する手順とを有するプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラ付き携帯端末装置において取得された画像データの幾何学的な歪みを補正する画像補正方法および装置並びに画像補正方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
携帯電話の普及には目覚ましいものがあるが、近年、撮影により画像データを取得する電子スチルカメラ（以下カメラとする）を有するカメラ付き携帯電話等のカメラ付き携帯端末装置が普及しつつある（例えば特開平６−２３３０２０号公報、特開２０００−２５３２９０号公報等）。また、ＰＤＡ等の携帯端末装置においてカメラを内蔵させたカメラ付き携帯端末装置も提案されている（特開平８−１４００７２号公報、同９−６５２６８号公報）。
【０００３】
このようなカメラ付きの携帯端末装置を用いることにより、撮影により取得した自分の好みの画像データを携帯端末装置の液晶モニタにおいて待ち受け画面に設定できる。また、撮影により取得した画像データを電子メールに添付して友人に送信することができるため、約束をキャンセルせざるを得ないような状況になったとき、あるいは待ち合わせ時刻に遅刻しそうなときに、申し訳なさそうな自分の表情を撮影して友人に送信する等、現在の自分の状況を友人に知らせることができることから、友人とのコミュニケーションを図るのに便利である。
【０００４】
しかしながら、このような携帯端末装置に設けられるカメラは、サイズの制約からズーム機能を備えたり望遠レンズを備えたものとすることは困難である。また、カメラ自体が携帯端末装置に埋め込まれて構成されていることから、レンズの交換も困難である。
【０００５】
このため、携帯端末装置に設けるカメラのレンズを広角レンズとすることが現実的である。さらに、魚眼レンズのように超広角レンズを用いることにより、１ショットで撮影地点を基準とした半球状の広範囲を撮影することが可能となる。
【０００６】
【発明が解決しようとする課題】
ところで、カメラ付き携帯端末装置に設けられている液晶モニタは画面サイズが制限されているため、とくにカメラを構成する撮像デバイスの画素数が液晶モニタの画素数よりも大きい場合においては、画像を縮小して表示する必要がある。しかしながら、風景画像等を撮影した場合、画像を縮小すると画像中に何が写っているのかよく分からないことが多い。さらに、広角レンズを用いたカメラにより得られる画像は、その周辺部において幾何学的な歪みが大きいため、例えば特開平５−９１４０９号公報に記載されているような画像の幾何学的歪みを補正する装置を用いて、歪みを補正してから画像を表示する必要がある。その一方で、カメラの高画素化が進み、画像データの容量が大きくなっていることから、画像の全領域に対して歪みを補正する処理を施すことは、演算に長時間を要するものとなる。さらに、携帯端末装置においては、画像データをサーバ等に送信することが多いため、通信費用の観点から画像データの容量は小さいことが好ましい。
【０００７】
本発明は上記事情に鑑みなされたものであり、画像の幾何学的歪みを効率よく補正して効率よく画像データの送信を行うことを目的とする。
【０００８】
【課題を解決するための手段】
本発明による第１の画像補正方法は、カメラ付き携帯端末装置において取得された画像データにより表される画像の幾何学的歪みを補正する画像補正方法であって、
前記カメラ付き携帯端末装置において前記画像上に指定された領域を表す領域情報および前記画像データを取得し、
前記領域情報に基づいて、該画像データから前記指定された領域に対応する領域画像データを生成し、
前記カメラの歪み特性を表す歪み特性情報に基づいて、前記領域画像データを幾何学的に補正して補正領域画像データを生成し、
該補正領域画像データを前記カメラ付き携帯端末装置に送信することを特徴とするものである。
【０００９】
画像上においての領域の指定はカメラ付き携帯端末装置において行われるが、所望とする領域の範囲を指定することにより行ってもよく、画像上のある一点を指定することにより行ってもよい。前者の場合、領域情報は画像上における指定された領域を特定するための座標値（例えば領域が矩形なら四隅の座標値）が用いられる。後者の場合、カメラ付き携帯端末装置において、指定された一点を含む所定範囲の領域が設定され、設定された領域を特定するための座標値（例えば領域が矩形なら四隅の座標値）が領域情報として用いられる。また、指定された領域を囲むように別の領域を設定し、設定された別の領域を特定するための座標値を領域情報として用いてもよい。
【００１０】
「カメラの歪み特性を表す歪み特性情報」とは、カメラに用いられている撮影レンズを透過した透過像上における各点の座標とカメラに設けられたＣＣＤ等の撮像デバイスを構成する各光電変換素子の位置を表す座標との対応関係を表す情報である。具体的には、カメラに使用されている撮影レンズが魚眼レンズである場合、歪み特性情報は魚眼レンズを透過した透過像上における極座標と、撮像デバイス上の光電変換素子の位置座標との関係を表す情報となる。
【００１１】
ここで、歪み特性情報は、カメラ付き携帯端末装置の機種によって異なるものである。したがって、カメラ付き携帯端末装置の機種毎に複数の歪み特性情報を用意しておき、画像データを取得したカメラ付き携帯端末装置の機種に応じた歪み特性情報に基づいて、領域画像データを補正することが好ましい。
【００１２】
なお、本発明による第１の画像補正方法においては、さらに、前記領域情報により表される領域とは異なる他の領域を表す他の領域情報を取得し、
該他の領域情報に基づいて、前記画像データから該他の領域に対応する他の領域画像データを生成し、
前記カメラの歪み特性を表す歪み特性情報に基づいて、前記他の領域画像データを幾何学的に補正して他の補正領域画像データを生成し、
該他の補正領域画像データを前記カメラ付き携帯端末装置に送信するようにしてもよい。
【００１３】
本発明による第２の画像補正方法は、カメラ付き携帯端末装置において取得された画像データにより表される画像の幾何学的歪みを補正する画像補正方法であって、
前記カメラ付き携帯端末装置において生成された、前記画像上に指定された領域に対応する領域画像データを取得し、
前記カメラの歪み特性を表す歪み特性情報に基づいて、前記領域画像データを幾何学的に補正して補正領域画像データを生成し、
該補正領域画像データを前記カメラ付き携帯端末装置に送信することを特徴とするものである。
【００１４】
本発明による第１の画像補正装置は、カメラ付き携帯端末装置において取得された画像データにより表される画像の幾何学的歪みを補正する画像補正装置であって、
前記カメラ付き携帯端末装置において前記画像上に指定された領域を表す領域情報および前記画像データを取得する取得手段と、
前記領域情報に基づいて、該画像データから前記指定された領域に対応する領域画像データを生成する領域画像生成手段と、
前記カメラの歪み特性を表す歪み特性情報に基づいて、前記領域画像データを幾何学的に補正して補正領域画像データを生成する画像補正手段と、
該補正領域画像データを前記カメラ付き携帯端末装置に送信する送信手段とを備えたことを特徴とするものである。
【００１５】
なお、本発明による第１の画像補正装置においては、前記取得手段は、さらに、前記領域情報により表される領域とは異なる他の領域を表す他の領域情報を取得する手段であり、
前記領域画像生成手段は、前記他の領域情報に基づいて、前記画像データから該他の領域に対応する他の領域画像データを生成する手段であり、
前記画像補正手段は、前記カメラの歪み特性を表す歪み特性情報に基づいて、前記他の領域画像データを幾何学的に補正して他の補正領域画像データを生成する手段であり、
前記送信手段は、該他の補正領域画像データを前記カメラ付き携帯端末装置に送信する手段であることを特徴とするものである。
【００１６】
本発明による第２の画像補正装置は、カメラ付き携帯端末装置において取得された画像データにより表される画像の幾何学的歪みを補正する画像補正装置であって、
前記カメラ付き携帯端末装置において生成された、前記画像上に指定された領域に対応する領域画像データを取得する取得手段と、
前記カメラの歪み特性を表す歪み特性情報に基づいて、前記領域画像データを幾何学的に補正して補正領域画像データを生成する画像補正手段と、
該補正領域画像データを前記カメラ付き携帯端末装置に送信する送信手段とを備えたことを特徴とするものである。
【００１７】
なお、本発明による第１および第２の画像補正方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００１８】
【発明の効果】
本発明による第１の画像補正方法および装置によれば、まず、カメラ付き携帯端末装置において撮像により画像データが取得され、この画像データにより表される画像上に領域が指定され、さらに指定された領域を表す領域情報が生成される。そして、このようにして生成された領域情報が画像データとともに本発明による第１の画像補正方法および装置において取得される。次いで、領域情報に基づいて画像データから領域画像データが生成され、さらに、カメラの歪み特性を表す歪み特性情報に基づいて、領域画像データが幾何学的に補正されて補正領域画像データが生成される。そして、補正領域画像データがカメラ付き携帯端末装置に送信され、カメラ付き携帯端末装置において補正領域画像データが表示される。
【００１９】
このように、本発明による第１の画像補正方法および装置においては、カメラ付き携帯端末装置に設けられたカメラの歪み特性情報に基づいて、領域画像データを幾何学的に補正し、補正により生成された補正領域画像データをカメラ付き携帯端末装置に送信するようにしたため、カメラ付き携帯端末装置においては、幾何学的歪みが補正された画像を表示することができる。また、指定された領域の画像のみがカメラ付き携帯端末装置において表示されるため、画像全体を縮小して表示する場合よりも鮮明な画像をカメラ付き携帯端末装置において表示することができる。
【００２０】
さらに、カメラ付き携帯端末装置においては、画像データの一部の領域のみを補正した補正領域画像データを受信すればよいため、画像データの全体を補正した画像データを受信する場合と比較して通信コストを低減することができる。とくに携帯端末装置の料金体系は、送受信したデータ容量に応じて料金が加算されるパケット制であるため、データ容量の低減による通信コスト低減の効果は非常に大きい。
【００２１】
なお、一旦補正領域画像データを生成した後に、カメラ付き携帯端末装置において表示したい領域が変更された場合には、変更された他の領域を表す他の領域情報のみを取得し、この他の領域情報に基づいて他の補正領域画像データを生成してカメラ付き携帯端末装置に送信することにより、カメラ付き携帯端末装置からは再度の画像データの送信を行う必要がなくなるため、さらに通信コストを低減することができる。
【００２２】
また、本発明による第２の画像補正方法および装置によれば、まず、カメラ付き携帯端末装置において撮像により画像データが取得され、この画像データにより表される画像上に領域が指定されると、カメラ付き携帯端末装置において、指定された領域に対応する領域画像データが生成される。そして、このようにして生成された領域画像データが、本発明による第２の画像補正方法および装置により取得される。次いで、カメラの歪み特性を表す歪み特性情報に基づいて、領域画像データが幾何学的に補正されて補正領域画像データが生成され、補正領域画像データがカメラ付き携帯端末装置に送信され、カメラ付き携帯端末装置において補正領域画像データが表示される。
【００２３】
このように、本発明による第２の画像補正方法および装置においては、カメラ付き携帯端末装置に設けられたカメラの歪み特性情報に基づいて、カメラ付き携帯端末装置において生成された領域画像データを幾何学的に補正して補正領域画像データを生成し、これをカメラ付き携帯端末装置に送信するようにしたため、カメラ付き携帯端末装置においては、幾何学的歪みが補正された画像を表示することができる。また、指定された領域の画像のみがカメラ付き携帯端末装置において表示されるため、画像全体を表示するよりも鮮明な画像をカメラ付き携帯端末装置において表示することができる。
【００２４】
また、カメラ付き携帯端末装置においては、画像データにより表される画像の一部の領域のみを表す領域画像データの送信および補正領域画像データの受信を行えばよいため、画像データを送信し、画像データを補正することにより得られる補正画像データを受信する場合と比較して通信コストを低減することができる。とくに携帯端末装置の料金体系は、送受信したデータ容量に応じて料金が加算されるパケット制であるため、データ容量の低減による通信コスト低減の効果は非常に大きい。
【００２５】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像補正装置を適用した画像送信システムの構成を示す概略ブロック図である。図１に示すように、本発明の第１の実施形態による画像送信システムは、カメラ付き携帯電話１と、本実施形態による画像補正装置を備えた画像サーバ２との間において、公衆回線３を介してデータのやり取りを行うものである。
【００２６】
カメラ付き携帯電話１は、撮像により被写体を表す画像データＳ０を取得する撮像部１１と、画像や種々の情報を表示する液晶モニタ等からなる表示部１２と、十字キーを含む複数の入力キーからなるキー入力部１３と、公衆回線３を介して通話、メールの送受信およびデータの送受信を行う通信部１４と、撮像部１１において取得された画像データＳ０をメモリカード等に記憶する記憶部１５と、表示部１２に表示された画像上において指定された領域を表す領域情報Ｒ０を生成する領域情報生成部１６とを備える。
【００２７】
撮像部１１は、撮影レンズ、シャッタ、撮像デバイス等からなるカメラ１１Ａと、撮像により取得された撮像画像データに対して画像処理を施して画像データＳ０を得る画像処理部１１Ｂとを備える。なお、撮影レンズは３５ｍｍカメラ換算でｆ≦２８ｍｍの広角レンズが使用されるが、本実施形態においては魚眼レンズを使用し、撮影地点を基準とした半球状の広範囲を撮影することが可能となっている。また、撮像デバイスとしては、例えばカラーＣＭＯＳセンサやカラーＣＣＤセンサを用いることができる。なお、撮像デバイスの画素数としては、例えば２４０×１６０画素〜２０００×３０００画素程度のものが用いられるが、本実施形態においては、１２８０×９６０画素のものを用いるものとする。
【００２８】
表示部１２の表示サイズとしては、例えば本実施形態においては、２４０×１６０画素程度のものが用いられる。また、本実施形態においては、画像データＳ０を縮小して得られた画像の全体が表示部１２に表示されるようにしてもよいが、後述するように画像上に領域を指定する場合には、画像データＳ０が縮小されることなくそのまま表示部１２に表示される。この場合は、カメラ付き携帯電話１のユーザは、キー入力部１３の十字キーを用いて表示された画像をスクロールすることにより、画像上の全領域を把握することができる。
【００２９】
領域情報生成部１６は、表示部１２に表示された画像上において、カメラ付き携帯電話１のユーザがキー入力部１３を用いて指定した領域を表す領域情報Ｒ０を生成する。本実施形態においては、図２に示すように表示部１２に表示された画像上にカーソルＫを表示し、これを画像上において移動させて表示したい領域の中心点を指定することにより、その中心点を含む矩形の領域が指定される。そして、この矩形の領域の四隅の座標値が領域情報Ｒ０として生成される。なお、領域情報Ｒ０には、カメラ付き携帯電話１の機種情報も含まれる。また、領域の指定時には、領域の中心点のみならず、所望とする領域の四隅を指定するようにしてもよい。
【００３０】
画像サーバ２は、公衆回線３を介してのデータの送受信を行う通信部２１と、カメラ付き携帯電話１から送信された画像データＳ０を記憶する記憶部２２と、カメラ付き携帯電話１の機種毎に、カメラ１１Ａの歪み特性を表す複数の歪み特性情報Ｈ０を記憶する特性記憶部２３と、領域情報Ｒ０に基づいて、カメラ付き携帯電話１において指定された領域に対応する領域画像データＳＲ０を画像データＳ０から生成する領域画像生成部２４と、画像データＳ０を送信したカメラ付き携帯電話１の機種に応じた歪み特性情報Ｈ０に基づいて、後述するように領域画像データＳＲ０を補正して補正領域画像データＳＲ１を生成する画像補正部２５とを備える。
【００３１】
なお、画像サーバ２に、プリンタおよびプリントについての注文を受け付ける注文処理部を設け、画像データＳ０や後述する補正領域画像データＳＲ１のプリント注文を受け付けるようにしてもよい。
【００３２】
特性記憶部２３に記憶されている歪み特性情報Ｈ０は、カメラ付き携帯電話１の機種に応じて、カメラ１１Ａの魚眼レンズを透過した像である透過像上の座標である極座標（θ、φ）と、撮像デバイス上における光電変換素子の位置を表すピクセル座標（ｘ，ｙ）との関係を表すものとなっている。
【００３３】
ここで、本実施形態のように魚眼レンズを用いたカメラ付き携帯電話１において、撮像時における魚眼レンズの透過像は、図３（ａ）に示すように極座標に対応して撮像デバイス平面に投影される。カメラ１１において、十分な画素数を有する撮像デバイス（例えば本実施形態のように１２８０×９６０画素）を使用すれば、風景を撮像しても魚眼レンズの透過像は魚眼レンズの周辺部を含めて全て画像として得ることができる。しかしながら、魚眼レンズの透過像は極座標に投影された像を表すものであるため、得られた画像をそのまま表示すると、画像の周囲の幾何学的歪みが非常に強いものとなる。さらに、カメラ付き携帯電話１の表示部１２は、本実施形態の場合２４０×１６０ピクセルとそれほど大きくないことから、表示部１２に画像全体を表示するために画像を縮小すると、とくに風景の画像については鮮鋭度が非常に低くなり、画像中に何が写っているのかが分からなくなってしまう。
【００３４】
このため、本実施形態においては、カメラ付き携帯電話１の表示部１２に画像データＳ０を縮小することなくそのまま表示して画像の鮮鋭度を確保し、撮像により得られた画像を見やすくしている。
【００３５】
しかしながら、画像を縮小することなくそのまま表示しても、やはりその画像は極座標投影されたものであるため、画像の周辺部ほど幾何学的歪みが大きい。したがって、表示部１２に表示された領域が画像の周辺部であるほど鑑賞には耐え難いものとなる。
【００３６】
本実施形態においては、画像サーバ２の領域画像生成部２４において、領域情報Ｒ０に基づいて、指定された領域に対応する領域画像データＳＲ０を画像データＳ０から生成し、画像補正部２５において、領域画像データＳＲ０により表される領域画像について、歪み特性情報Ｈ０に基づいて極座標からＸＹ直交座標への変換を行って補正領域画像データＳＲ１を生成するようにしたものである。
【００３７】
ここで、カメラ付き携帯電話１において表示部１２に表示される、画像データＳ０により表される画像は、図３（ａ）に示すように魚眼レンズの透過像を表すものであるため、元々は直交座標上にあった像が極座標に投影されたものとなっている。カメラ付き携帯電話１の表示部１２において画像上に点Ｐ０が指定されたとすると、カメラ付き携帯電話１の領域情報生成部１６において、例えば点Ｐ０を含む矩形の領域Ａ１の四隅Ｐ１〜Ｐ４の座標値が領域情報Ｒ０として生成される。
【００３８】
画像サーバ２の領域画像生成部２４は、領域情報Ｒ０に含まれる四隅Ｐ１〜Ｐ４の座標値から、四隅Ｐ１〜Ｐ４に囲まれる領域を領域画像データＳＲ０として生成する。そして、画像補正部２５において、歪み特性情報Ｈ０に基づいて四隅Ｐ１〜Ｐ４により囲まれる領域内の各画素をＸＹ直交座標に変換して、図３（ｂ）に示すように、四隅Ｐ１〜Ｐ４が四隅Ｐ１′〜Ｐ４′に変換された直交座標変換済みの画像を得る。そして、カメラ付き携帯電話１の表示部１２のサイズを考慮して、得られた画像から表示部１２に表示可能な範囲を切り出し、切り出された範囲の画像を表す画像データが補正領域画像データＳＲ１として生成される。
【００３９】
次いで、第１の実施形態の動作について説明する。図４は、第１の実施形態において行われる処理を示すフローチャートである。まず、撮像部１１のカメラ１１Ａにより被写体の撮像が行われて撮像画像データが取得され、さらに画像処理部１１Ｂにおいて撮像画像データに対して画像処理が施されて画像データＳ０が取得される（ステップＳ１）。続いて、画像データＳ０が表示部１２に表示される（ステップＳ２）。そして、ユーザにより領域の指定がなされたか否かが判定され（ステップＳ３）、ステップＳ３が肯定されると、領域情報生成部１６においてカメラ付き携帯電話１の機種情報を含む領域情報Ｒ０が生成される（ステップＳ４）。さらに、ユーザにより画像データＳ０の画像サーバ２への送信指示がなされたか否かが判定され（ステップＳ５）、ステップＳ５が肯定されると、通信部１４により画像データＳ０および領域情報Ｒ０が画像サーバ２に送信される（ステップＳ６）。
【００４０】
画像サーバ２においては通信部２１により画像データＳ０および領域情報Ｒ０が受信され、記憶部２２に一旦記憶される（ステップＳ７）。続いて、領域情報Ｒ０に含められたカメラ付き携帯電話１の機種情報に基づいて、特性記憶部２３からその機種に応じた歪み特性情報Ｈ０が読み出され（ステップＳ８）、さらに、領域画像生成部２４により記憶部２２から画像データＳ０および領域情報Ｒ０が読み出され、領域情報Ｒ０に基づいて画像データＳ０から領域画像データＳＲ０が生成される（ステップＳ９）。そして、画像補正部２５により歪み特性情報Ｈ０に基づいて領域画像データＳＲ０が補正されて補正領域画像データＳＲ１が生成される（ステップＳ１０）。補正領域画像データＳＲ１は通信部２１においてカメラ付き携帯電話１に送信される（ステップＳ１１）。
【００４１】
カメラ付き携帯電話１においては補正領域画像データＳＲ１が受信され（ステップＳ１２）、これが表示部１２に表示され（ステップＳ１３）、処理を終了する。
【００４２】
このように、第１の実施形態においては、カメラ付き携帯電話１に設けられたカメラの歪み特性情報Ｈ０に基づいて、領域画像データＳＲ０を幾何学的に補正し、補正領域画像データＳＲ１をカメラ付き携帯電話１に送信するようにしたため、カメラ付き携帯電話１においては、表示部１２にカメラ１１の幾何学的歪みが補正された画像を表示することができる。また、指定された領域の画像のみがカメラ付き携帯電話１の表示部１２において表示されるため、画像全体を縮小して表示する場合よりも鮮明な画像をカメラ付き携帯電話１において表示することができる。
【００４３】
さらに、カメラ付き携帯電話１においては、画像データＳ０の一部の領域のみを補正した補正領域画像データＳＲ１を受信すればよいため、画像データＳ０の全体を補正した画像データを受信する場合と比較して通信コストを低減することができる。とくに携帯電話の料金体系は、送受信したデータ容量に応じて料金が加算されるパケット制であるため、データ容量の低減による通信コスト低減の効果は非常に大きい。
【００４４】
なお、一旦補正領域画像データＳＲ１を生成した後に、カメラ付き携帯電話１において表示したい領域が変更された場合には、カメラ付き携帯電話１からは変更された他の領域を表す他の領域情報（Ｒ０′とする）のみが画像サーバ２に送信される。画像サーバ２は、他の領域情報Ｒ０′を取得し、この他の領域情報Ｒ０′に基づいて、記憶部２２に記憶された画像データＳ０から他の領域画像データ（ＳＲ０′とする）を生成するとともにこれを補正して他の補正領域画像データ（ＳＲ１′とする）を生成してカメラ付き携帯電話１に送信する。これにより、カメラ付き携帯電話１からは再度の画像データＳ０の送信を行う必要がなくなるため、さらに通信コストを低減することができる。
【００４５】
なお、上記第１の実施形態においては、画像データＳ０を撮像したカメラ付き携帯電話１に補正領域画像データＳＲ１を送信しているが、画像データＳ０を撮像したカメラ付き携帯電話１以外の他の携帯電話にも同様に補正領域画像データＳＲ１を送信して、他の携帯電話において歪みのない画像を表示することもできる。
【００４６】
また、他の携帯電話に補正領域画像データＳＲ１を送信した場合、他の携帯電話のユーザが補正領域画像データＳＲ１により表される領域以外の他の領域の表示を所望する場合がある。しかしながら、他の携帯電話のユーザは表示中の画像が他の領域を有するものであるか否かが分からない場合が多い。このため、他の携帯電話に補正領域画像データＳＲ１を送信する場合には、他の領域があることを分かりやすくするために、図５に示すように画像の縁部に矢印を表示することが好ましい。
【００４７】
この場合、送信された補正領域画像データＳＲ１により表される領域以外の他の領域の画像の表示を所望する他の携帯電話のユーザは、十字キーを用いて表示された画像をスクロールし、表示したい領域を指定する。なお、送信された補正領域画像データＳＲ１に対応する領域以外の領域は例えば白色表示される。そして、表示したい領域の指定を行い、その旨を画像サーバ２に送信すると、その領域に対応する領域画像データＳＲ０が画像データＳ０から生成され、さらに領域画像データＳＲ０が補正されて補正領域画像データＳＲ１が生成され、これが他の携帯電話に送信される。これにより、他の携帯電話においては、所望とする領域が歪みのない状態で表示部に表示されることとなる。
【００４８】
また、上記第１の実施形態においては、カメラ付き携帯電話１の機種情報に基づいて、特性記憶部２３から歪み特性情報Ｈ０を読み出しているが、カメラ付き携帯電話１においては機種に応じて電話番号が割り振られている。このため、特性情報記憶部２３に電話番号と機種との対応関係を記憶しておき、機種情報に代えてカメラ付き携帯電話１の電話番号を画像データＳ０とともに画像サーバ２に送信し、上記対応関係を参照して電話番号に応じた機種の歪み特性情報Ｈ０を特性記憶部２３から読み出すようにしてもよい。
【００４９】
次いで、本発明の第２の実施形態について説明する。図６は本発明の第２の実施形態による画像補正装置を適用した画像送信システムの構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。
【００５０】
第２の実施形態においては、カメラ付き携帯電話１から画像データＳ０を送信するのに代えて、カメラ付き携帯電話１において領域画像データＳＲ０を生成して画像サーバ２に送信するようにした点が第１の実施形態と異なるものである。このため第２の実施形態においては、カメラ付き携帯電話１において第１の実施形態における領域情報生成部１６に代えて、指定された領域を含む領域を表す領域画像データＳＲ０を画像データＳ０から生成する領域画像生成部１７を備えてなり、画像サーバ２において領域画像生成部２４を省略してなるものである。なお、領域画像生成部１７は、第１の実施形態において画像サーバ２に設けられた領域画像生成部２４と同様の機能を有するものである。また、第２の実施形態においては、カメラ付き携帯電話１の機種情報は、例えば領域画像データＳＲ０のタグ情報に付与されて画像サーバ２に送信される。
【００５１】
領域画像生成部１７は、第１の実施形態における領域情報生成部１６と同様に、表示部１２に表示された画像上において、カメラ付き携帯電話１のユーザがキー入力部１３を用いて指定した領域を表す領域情報Ｒ０を生成する。そして、第１の実施形態における画像サーバ２の領域画像生成部２４と同様に、領域情報Ｒ０に基づいて指定された領域に対応する領域画像データＳＲ０を画像データＳ０から生成する。
【００５２】
次いで、第２の実施形態の動作について説明する。図７は、第２の実施形態において行われる処理を示すフローチャートである。まず、撮像部１１のカメラ１１Ａにより被写体の撮像が行われて撮像画像データが取得され、さらに画像処理部１１Ｂにおいて撮像画像データに対して画像処理が施されて画像データＳ０が取得される（ステップＳ２１）。続いて、画像データＳ０が表示部１２に表示される（ステップＳ２２）。そして、ユーザにより領域の指定がなされたか否かが判定され（ステップＳ２３）、ステップＳ３が肯定されると、領域画像生成部１７において指定された領域を含む領域を表す領域画像データＳＲ０が生成される（ステップＳ２４）。次いで、ユーザにより画像データＳ０の画像サーバ２への送信指示がなされたか否かが判定され（ステップＳ２５）、ステップＳ２５が肯定されると、通信部１４により領域画像データＳＲ０が画像サーバ２に送信される（ステップＳ２６）。
【００５３】
画像サーバ２においては通信部２１により領域画像データＳＲ０が受信され、記憶部２２に一旦記憶される（ステップＳ２７）。続いて、領域画像データＳＲ０とともに送信されたカメラ付き携帯電話１の機種情報に基づいて、特性記憶部２３からその機種に応じた歪み特性情報Ｈ０が読み出され（ステップＳ２８）、さらに、画像補正部２５により記憶部２２から領域画像データＳＲ０が読み出され、歪み特性情報Ｈ０に基づいて領域画像データＳＲ０が補正されて補正領域画像データＳＲ１が生成される（ステップＳ２９）。補正領域画像データＳＲ１は通信部２１によりカメラ付き携帯電話１に送信される（ステップＳ３０）。
【００５４】
カメラ付き携帯電話１においては補正領域画像データＳＲ１が受信され（ステップＳ３１）、これが表示部１２に表示され（ステップＳ３２）、処理を終了する。
【００５５】
このように、第２の実施形態においては、カメラ付き携帯電話１に設けられたカメラの歪み特性情報Ｈ０に基づいて、領域画像データＳＲ０を幾何学的に補正し、補正領域画像データＳＲ１をカメラ付き携帯端末電話１に送信するようにしたため、カメラ付き携帯電話１においては、表示部１２にカメラ１１の幾何学的歪みが補正された画像を表示することができる。また、指定された領域の画像のみがカメラ付き携帯電話１の表示部１２において表示されるため、画像全体を縮小して表示する場合よりも鮮明な画像をカメラ付き携帯電話１において表示することができる。
【００５６】
また、カメラ付き携帯電話１からは、撮像により取得された画像データＳ０により表される画像の一部の領域のみを表す領域画像データＳＲ０の送信および領域画像データＳＲ０を補正することにより得られた補正量域画像データＳＲ１の受信を行えばよいため、画像データＳ０の全体を送信して画像データＳ０の全体を補正した画像データを受信する場合と比較して通信コストを低減することができる。とくに携帯電話の料金体系は、送受信したデータ容量に応じて料金が加算されるパケット制であるため、データ容量の低減による通信コスト低減の効果は非常に大きい。
【００５７】
なお、上記第１および第２の実施形態においては、歪み特性情報Ｈ０に基づいて領域画像データＳＲ０を補正しているが、カメラにおいて取得された画像データのみからカメラのレンズの歪み特性を算出する方法が提案されている（Blind removal of lens distortion, Hany Farid and Alin C.Popescu, Optical Society of America, A/Vol.18, No.9/September 2001, pp2072-2077）。したがって、特性記憶部２３に記憶された歪み特性情報Ｈ０に代えて、領域画像データＳＲ０から歪み特性情報を算出し、算出された歪み特性情報に基づいて領域画像データＳＲ０を補正して補正領域画像データＳＲ１を生成するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による画像補正装置を適用した画像送信システムの構成を示す概略ブロック図
【図２】表示部に表示されたカーソルを示す図
【図３】（ａ）は撮像デバイスに極座標投影された投影像を示す図、（ｂ）は領域画像データＸＹ直交座標に変換することにより得られた補正領域画像データＳＲ１により表される画像を示す図
【図４】表示部に表示された矢印を示す図
【図５】第１の実施形態において行われる処理を示すフローチャート
【図６】本発明の第２の実施形態による画像補正装置を適用した画像送信システムの構成を示す概略ブロック図
【図７】第２の実施形態において行われる処理を示すフローチャート
【符号の説明】
１    カメラ付き携帯電話
２    画像サーバ
３    公衆回線
１１    撮像部
１１Ａ    カメラ
１１Ｂ    画像処理部
１２    表示部
１３    キー入力部
１４，２１    通信部
１５，２２    記憶部
１６    領域情報生成部
１７，２４    領域画像生成部
２３    特性記憶部
２５    画像補正部
【図１】
0003957156.tif 000002
【図２】
0003957156.tif 000003
【図３】
0003957156.tif 000004
【図４】
0003957156.tif 000005
【図５】
0003957156.tif 000006
【図６】
0003957156.tif 000007
【図７】
0003957156.tif 000008