(57)【要約】【課題】小型で安価なカメラにより撮影された画像であっても、歪を補正した正しい画像が得られる画像調整装置を提供する。【解決手段】校正されたディスプレイ装置５０と、ディスプレイ装置５０に表示するための調整用画像データを保存する画像データ記憶部３０２と、記憶された調整用画像データをディスプレイ装置５０により表示可能な形態に処理する画像処理回路３０１と、表示された調整用画像データをＣＣＤカメラ１００−１により撮影して得られた撮影画像データを入力する画像入力部３０６と、記憶された調整用画像データと、画像入力部３０６から入力された撮影画像データとの差分を検出する差分検出部３０４と、差分検出部３０４からの差分データに基づいて、ＣＣＤカメラ１００−１により撮影された撮影画像データの歪を補正するための補正データを作成する補正データ作成部３０３とを具備する。【選択図】        図３
2004318610.tif 000002
【特許請求の範囲】
【請求項１】
画像調整装置であって、
校正された画像表示部と、
この画像表示部に表示するための調整用画像データを保存する画像記憶部と、
前記画像記憶部に記憶された調整用画像データを前記画像表示部に表示可能な形態に処理する画像処理部と、
前記画像表示部に表示された調整用画像データを撮影手段により撮影して得られた撮影画像データを入力する画像入力部と、
前記画像記憶部に記憶された調整用画像データと、前記画像入力部から入力された撮影画像データとを比較する画像比較部と、
この画像比較部での比較結果に基づいて、前記撮影手段により撮影された撮影画像データの歪を補正するための補正データを作成する補正データ作成部と、
を具備することを特徴とする画像調整装置。
【請求項２】
請求項１に記載の画像調整装置において、前記補正データ作成部にて作成された補正データを記憶する補正データ記憶部と、
前記撮影手段により撮影して得られた画像データを、前記補正データ記憶部に記憶された補正データを用いて補正する画像データ補正部と、
この画像データ補正部で補正された画像データを表示する表示部と、
を具備することを特徴とする画像表示装置。
【請求項３】
前記補正データ記憶部は、撮影装置の種類や撮影条件に応じた複数種類の補正データを記憶しており、記憶されている複数種類の補正データから所望の補正データを選択するための選択手段を有することを特徴とする請求項２記載の画像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像調整装置及びこの画像調整装置で作成された補正データを用いて撮影により得られた画像データを補正して表示する画像表示装置に関する。
【０００２】
【従来の技術】
カメラなどの撮影手段により被写体を撮影して得られた画像データの歪を補正可能な画像表示装置が従来から知られている。例えば、特開２００３−５２０５７号公報には、入力された映像に対して幾何変形を行うことにより映像の歪をリアルタイムに補正する方法が開示されている。
【０００３】
また、近年、観察者が直接観察する現実画像あるいは観察者の直近で撮影された映像に、コンピュータによって生成された仮想画像とを重畳、合成した複合現実感画像を観察者に提供する、いわゆる複合現実感（ＭＲ：Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）と呼ばれるシステム（ＭＲシステム）が提案されている。
【０００４】
【特許文献１】
【０００５】
【特開２００３−５２０５７号公報】
【０００６】
【発明が解決しようとする課題】
ところで、携帯型の情報機器やビデオ装置に使用するカメラは、小型、軽量化に加え、高解像度化が進んでいる。しかしながら、現在これらの小型カメラに用いられるレンズは収差が大きく、撮影した画像に発生する歪が問題となっていた。
【０００７】
特に、携帯型の情報機器やビデオ装置に使用する小型カメラで撮影した現実画像に、撮影対象の形状や位置情報等に基づきコンピュータにより作成された仮想画像を合成するＭＲシステムにおいては、撮影した現実画像にレンズ収差による歪みがあると合成した仮想画像の表示位置がずれて表示されてしまうという欠点がある。
【０００８】
この問題を克服するために、高精度のレンズを使用することも考えられるが、汎用の小型カメラと比較してコストが増大してしまうという別の問題が発生する。
【０００９】
また、小型カメラにより人物等を撮影して認証を行う個人認証システムにおいても、歪により人物の顔の形状や目鼻などの配置について正確な情報が得られないので、精度の良い個人認証を行うことができなかった。
【００１０】
本発明はこのような課題に着目してなされたものであり、例えば携帯型の情報機器やビデオ機器に使用する小型で安価なカメラにより撮影された画像であっても、歪を補正した正しい画像が得られる画像調整装置及び画像表示装置を提供することにある。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明は画像調整装置に関し、校正された画像表示部と、この画像表示部に表示するための調整用画像データを保存する画像記憶部と、前記記憶部に記憶された調整用画像データを前記画像表示部に表示可能な形態に処理する画像処理部と、前記画像表示部に表示された調整用画像データを撮影手段により撮影して得られた撮影画像データを入力する画像入力部と、前記記憶部に記憶された調整用画像データと、前記画像入力部から入力された撮影画像データとを比較する画像比較部と、この画像比較部での比較結果に基づいて、前記撮影手段により撮影された撮影画像データの歪を補正するための補正データを作成する補正データ作成部とを具備する。
【００１２】
また、第２の発明は画像表示装置に関し、第１の発明に係る画像調整装置における前記補正データ作成部にて作成された補正データを記憶する補正データ記憶部と、撮影手段により撮影して得られた画像データを、前記補正データ記憶部に記憶された補正データを用いて補正する画像データ補正部と、この画像データ補正部で補正された画像データを表示する表示部とを有する。
【００１３】
また、第３の発明は第２の発明に係る画像表示装置において、前記補正データ記憶部は、撮影装置の種類や撮影条件に応じた複数種類の補正データを記憶しており、記憶されている複数種類の補正データから所望の補正データを選択するための選択手段を有する。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を詳細に説明する。図１は、本発明が適用される画像表示装置２００の概略構成を示す図である。画像表示装置２００には撮影装置１００が接続されている。この撮影装置１００は画像表示装置２００と一体化されていてもよい。撮影装置１００と画像表示装置２００とを接続した構成としてはデジタルカメラやビデオカメラ、携帯型情報処理装置などが考えられる。また、画像表示装置２００の具体例としては、ＭＲシステムに用いられるＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ：頭部装着型ディスプレイ）等が考えられる。
【００１５】
撮影装置１００は被写体を撮影するためのＣＣＤカメラ１００−１を備えている。また、画像表示装置２００において、Ａ／Ｄ変換器２０２は、撮影装置１００からの撮影画像データをデジタル画像データに変換する部分である。メモリ２０１はデジタル画像データを一時的に記憶する部分である。ＥＥＰＲＯＭ２０５は撮影装置１００からの撮影画像データに含まれる歪を補正するための補正データを記憶する部分である。補正データを作成するための具体的な方法については後述する。Ｄ／Ａ変換器２０４は、デジタル画像データをアナログ画像データに変換する部分である。
【００１６】
分配器２０７はアナログ画像データを、外部通信バス２１２を介した画像調整装置への出力と、画像処理回路２０９への出力とに分配する部分である。画像処理回路２０９は分配器２０７により分配されたアナログ画像データと、外部画像入力部２１１から入力された画像とを合成する処理を含む画像処理を行う回路である。画像表示部２０８は合成された画像を表示する表示装置である。通信部２０６は外部通信バス２１０を介して後述する画像調整装置から補正データを受信する部分である。制御部２０３はＥＥＰＲＯＭ２０５に記憶された補正データを基に画像データの歪み補正処理を行う部分である。
【００１７】
図２は、撮影画像データが画像表示装置２００により表示されるまでの手順を説明するためのフローチャートである。まず、撮影装置１００のＣＣＤカメラ１００−１により被写体を撮影する（ステップＳ１）。次に、撮影により得られた撮影画像データを画像表示装置２００に入力する（ステップＳ２）。次に、入力された撮影画像データをＡ／Ｄ変換器２０２によりデジタル画像データに変換してメモリ２０１に一時的に記憶する（ステップＳ３）。
【００１８】
次に、メモリ２０１に記憶されたデジタル画像データを読み出してＥＥＰＲＯＭ２０５内に記憶された補正データを用いて補正を行う（ステップＳ４）。ここで、ＥＥＰＲＯＭ２０５内の内容は通信部２０６を介して外部の装置、例えば画像調整装置により書き込みまたは書き換えが可能である。また、補正データは、カメラの使用条件、例えば、カメラを交換して使用する場合等を考慮して、あらかじめ複数種類の補正データを作成することが可能である。この場合、画像表示装置２００に選択手段を設けることにより、使用者はこの選択手段を用いて複数種類の補正データから所望の補正データを選択することができる。次に、補正した画像データのＤ／Ａ変換を行う（ステップＳ５）。
【００１９】
次に、補正された画像データと外部画像入力部２１１から入力された画像とを合成する処理を行って画像表示部２０８に表示する（ステップＳ６）。
【００２０】
図３は、本実施形態に係る補正データを作成するための補正データ作成システムの構成を示すブロック図である。撮影装置１００が接続された画像表示装置２００には画像調整装置３００が接続される。また、撮影装置１００の撮影範囲にはディスプレイ装置５０が配置される。このディスプレイ装置５０は画像調整装置３００に接続される。
【００２１】
画像調整装置３００において、画像データ記憶部３０２は、調整用画像データを記憶する部分である。画像処理回路３０１は、画像データ記憶部３０２から読み出した調整用画像データを画像表示部２０８に表示可能な形態に処理する回路である。画像入力部３０６は画像表示装置２００の分配器２０７からのアナログ画像データを入力する部分である。差分検出部３０４は画像データ記憶部３０２から読み出した調整用画像データと、ＣＣＤカメラ１００−１によって撮影され、画像表示装置２００を介して画像入力部３０６に入力された撮影画像データとの差分を検出する部分である。補正データ作成部３０３は検出された差分に基づいて補正データを作成する部分である。通信部３０５は作成した補正データを画像表示装置２００の通信部２０６に送信する部分である。
【００２２】
図４（ａ）は画像データ記憶部３に記憶される調整用画像データの一例を示しており、４０１は１つの測定点位置を示すマーカである。図４（ｂ）は画像入力部３０６に入力される撮影画像データの一例を示している。撮影画像データは、ＣＣＤカメラ１００−１による撮影時の画面歪を含んでおり、図４（ｂ）に示すように、撮影画像データ中の測定点位置４０２は、これに対応する調整用画像データの測定点位置４０１からずれてしまう。本発明ではこれをカメラのレンズ収差による歪みとしている。
【００２３】
図５は、このような画面歪を補正するための補正データの作成手順を説明するためのフローチャートである。まず、画像調整装置３００の画像データ記憶部３０２に記憶されている調整用画像データを読み出して画像処理回路３０１で所定の画像処理を行った後、ディスプレイ装置５０に表示する（ステップＳ１０）。次に、ディスプレイ装置５０に表示されている調整用画像データを撮影装置１００に設けられたＣＣＤカメラ１００−１により撮影する（ステップＳ１１）。次に、ＣＣＤカメラ１００−１により撮影した撮影画像データを画像表示装置２００に入力する（ステップＳ１２）。
【００２４】
次に、入力された撮影画像データをＡ／Ｄ変換部２０２、制御部２０３、Ｄ／Ａ変換器２０４、分配器２０７を介して画像調整装置３００の画像入力部３０６に入力する（ステップＳ１３）。次に、差分検出部３０４において、画像データ記憶部３０２に記憶されている調整用画像データと、画像入力部３０６から入力された撮影画像データとを比較して差分を検出する（ステップＳ１４）。より詳細には、調整用画像データと撮影画像データの画面のサイズを合わせることにより比較を行い、調整用画像に配置された複数の測定点位置と、それに対応する撮影画像データ内に存在する各測定点位置の差分（位置ずれ）を検出する。なお、一般的なレンズにおいては、光軸中心付近に対して画面の外側にいくほど収差歪みが大きくなることが知られていることから、中心部の測定点を基準点とし、その他の測定点の位置ずれを検出することが望ましい。
【００２５】
図６は、調整用画像データの測定点と撮影画像データの測定点とを比較して差分を検出する手順について説明するための図である。ここでは、補正する画素の近傍にある複数の測定点（ここでは測定点１から測定点４）での差分データを求めることを考える。調整用画像データの測定点１の座標を（ｘ１，ｙ１）とした場合、撮影画像データの測定点１の座標は、（ｘ１−ａ１，ｙ１−ｂ１）となっている。また、調整用画像データの測定点２の座標を（ｘ２，ｙ２）とした場合、撮影画像データの測定点２の座標は、（ｘ２−ａ２，ｙ２−ｂ２）となっている。これは、測定点１については（ａ１，ｂ１）の差分（位置ずれ）が発生しており、測定点２については（ａ２，ｂ２）の差分（位置ずれ）が発生していることを示している。同様の方法にて測定点３、４についても差分データが検出される。
【００２６】
図５に戻って、補正データ作成部３０３は、検出した各測定点における差分データをもとに、撮影画像データの単数あるいは複数単位の画素データの配列をシフトさせて撮影時の画面歪を補正するための補正データを演算により作成する（ステップＳ１５）。
【００２７】
次に、作成した補正データを通信部３０５を介して画像表示装置２００に送信する（ステップＳ１６）。次に、画像表示装置２００内部のＥＥＰＲＯＭ２０５に補正データを書き込む（ステップＳ１７）。
【００２８】
次に、本実施形態に係る歪補正の方法をＭＲシステムに適用した例について説明する。ここでは、図７に示すように、撮影対象５００を、携帯型の情報機器５０１（あるいはビデオ装置）に搭載された小型カメラ５０１−１で撮影した現実画像５０２に、撮影対象５００の形状や位置情報などに基づいて作成されたＣＧによる仮想画像（ＣＧ画像）５０３を合成させるＭＲシステムを考える。
【００２９】
この場合、小型カメラ５０１−１で撮影した現実画像５０２には図８（ａ）に示すようなレンズ収差による歪が発生するが、これに対する歪補正を行わないで、ＣＧ画像５０３（図８（ｂ））と合成した場合、レンズ収差により現実画像５０２の表示位置とＣＧ画像５０３の表示位置とがずれて表示されてしまう（図８（ｃ））。
【００３０】
しかし、図８（ａ）に示すような歪のある撮影画像を本実施形態に係る歪補正方法によって補正することにより、図９（ａ）に示すような現実画像５０２’を取得し、これをＣＧ画像５０３（図９（ｂ））と合成することにより、図９（ｃ）に示すような歪のない正しい画像を得ることができる。
【００３１】
次に、本実施形態に係る歪補正の方法を個人認証システムに適用した例について説明する。携帯型の情報機器に小型カメラを内蔵し、これにより撮影した人物の顔の形状や目鼻などの配置を認識して、個人認証を行うシステムが存在する。しかし、レンズ収差のある小型カメラで撮影を行った場合、レンズの中心部は歪がなく外側にいくほど歪が大きくなる傾向がある。このような歪のあるカメラで撮影すると正しい顔の造形が得られない。例えば顔の幅に対する眼幅の比率（ｂ／ａ）や、瞳位置に対する口の位置情報が正しく取得できなくなる。また、撮影する対象が撮影範囲に対して小さく撮影されると、予め登録された、基準となる人物画像に対してこれらの比率や位置情報が変化するため、このようなカメラで撮影した画像を使用してユーザ認証を行うと認証精度が低下してしまう。
【００３２】
例えば、図１０に示すような撮影対象６０１があるときに、これがレンズの歪により小さく撮影されたならば（図１１（ａ）の撮影対象６０２）、眼幅の比率は両者の間で異なってしまう（すなわち、ｂ’／ａ’≠ｂ”／ａ”）。
【００３３】
特に、個人認証システムに予め登録された画像６０３（図１１（ｂ））に基づいて認証を行うにあたって、小型カメラを使用して認証対象を撮影した場合には、この小型カメラのもつ画面歪が問題となり、認証精度が低下する。
【００３４】
しかし、本実施形態の歪補正を用いれば、撮影対象としての人物の顔の形状や目鼻などの配置を正しく認識することができるので、精度の良い認証を行うことが可能になる。
【００３５】
【発明の効果】
本発明によれば、例えば携帯型の情報機器やビデオ機器に使用する小型で安価なカメラにより撮影された画像であっても、歪を補正した正しい画像が得られる画像調整装置及び画像表示装置を提供することができる。
【図面の簡単な説明】
【図１】本発明が適用される画像表示装置２００の概略構成を示す図である。
【図２】撮影画像データが画像表示装置２００により表示されるまでの手順を説明するためのフローチャートである。
【図３】本実施形態に係る補正データを作成するための補正データ作成システムの構成を示すブロック図である。
【図４】（ａ）は画像データ記憶部３に記憶される調整用画像データの一例を示しており、（ｂ）は画像入力部３０６に入力される撮影画像データの一例を示す図である。
【図５】調整用画像データの測定点と撮影画像データの測定点との比較して差分を検出する手順について説明するための図である。
【図６】調整用画像データの測定点と撮影画像データの測定点とを比較して差分を検出する手順について説明するための図である。
【図７】本実施形態に係る歪補正の方法をＭＲシステムに適用した例について説明するための図である。
【図８】補正なしの現実画像とＣＧ画像とを合成したときに得られる合成画像を示す図である。
【図９】補正後の現実画像とＣＧ画像とを合成したときに得られる合成画像を示す図である。
【図１０】本実施形態に係る歪補正の方法を個人認証システムに適用した例について説明するための図である。
【図１１】（ａ）は本来の大きさよりも小さく撮影された撮影対象６０２を示す図であり、（ｂ）は登録された撮影対象６０３を示す図である。
【符号の説明】
１００…撮影装置、１００−１…ＣＣＤカメラ、２００…画像表示装置、２０１…メモリ、２０２…Ａ／Ｄ、２０３…演算部、２０４…Ｄ／Ａ、２０５…ＥＥＰＲＯＭ、２０６…通信部、２０７…分配器、２０８…画像表示部、２０９…画像処理回路、２１０…外部通信バス、２１１…外部画像入力。
【図１】
2004318610.tif 000003
【図２】
2004318610.tif 000004
【図３】
2004318610.tif 000005
【図４】
2004318610.tif 000006
【図５】
2004318610.tif 000007
【図６】
2004318610.tif 000008
【図７】
2004318610.tif 000009
【図８】
2004318610.tif 000010
【図９】
2004318610.tif 000011
【図１０】
2004318610.tif 000012
【図１１】
2004318610.tif 000013