(57)【要約】【課題】本発明は、広角歪み補正用の画像変換パラメータを自動的に導出する新規な画像補正装置を提供することを目的とする。【解決手段】本発明によれば、広角レンズで撮影した画像を補正するための画像補正装置であって、撮影画像から矩形形状を有する被写体の撮影領域を検出し、該撮影領域における該被写体の直線部分の歪曲率を算出する画像解析手段と、前記歪曲率が最小化されるような画像変換パラメータを導出する変換パラメータ導出手段と、を含む画像補正装置が提供される。【選択図】図４
2015165629.tif 000002
【特許請求の範囲】
【請求項１】
広角レンズで撮影した画像を補正するための画像補正装置であって、
撮影画像から矩形形状を有する被写体の撮影領域を検出し、該撮影領域における該被写体の直線部分の歪曲率を算出する画像解析手段と、
前記歪曲率が最小化されるような画像変換パラメータを導出する変換パラメータ導出手段と、
を含む、
画像補正装置。
【請求項２】
前記画像解析手段は、
前記撮影画像から複数の人物の顔の撮影領域を検出し、検出した各顔の撮影領域の面積を算出し、
前記変換パラメータ導出手段は、
前記歪曲率と各顔の前記面積の差が同時最小化されるような画像変換パラメータを導出する、
請求項１に記載の画像補正装置。
【請求項３】
前記矩形形状を有する被写体は、蛍光灯を含む、請求項１または２に記載の画像補正装置。
【請求項４】
前記矩形形状を有する被写体は、ホワイトボードまたは電子黒板から選択される情報提示板を含む、請求項１〜３のいずれか一項に記載の画像補正装置。
【請求項５】
導出された前記画像変換パラメータを使用して前記撮影画像に画像変換処理を施す画像変換手段を含む、請求項１〜４のいずれか一項に記載の画像補正装置。
【請求項６】
広角レンズで撮影した画像を補正するための画像補正装置を制御するコンピュータを、
撮影画像から矩形形状を有する被写体の撮影領域を検出し、該撮影領域における該被写体の直線部分の歪曲率を算出する画像解析手段、
前記歪曲率が最小化されるような画像変換パラメータを導出する変換パラメータ導出手段、
として機能させるためのコンピュータ実行可能なプログラム。
【請求項７】
前記画像解析手段は、
前記撮影画像から複数の人物の顔の撮影領域を検出し、検出した各顔の撮影領域の面積を算出し、
前記変換パラメータ導出手段は、
前記歪曲率と各顔の前記面積の差が同時最小化されるような画像変換パラメータを導出する、
請求項６に記載のプログラム。
【請求項８】
前記矩形形状を有する被写体は、蛍光灯を含む、請求項６または７に記載のプログラム。
【請求項９】
前記矩形形状を有する被写体は、ホワイトボードまたは電子黒板から選択される情報提示板を含む、請求項６〜８のいずれか一項に記載のプログラム。
【請求項１０】
前記コンピュータを、導出された前記画像変換パラメータを使用して前記撮影画像に画像変換処理を施す画像変換手段として機能させる、請求項６〜９のいずれか一項に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像補正装置に関し、より詳細には、広角歪みの補正に適した画像補正装置に関する。
【背景技術】
【０００２】
広角レンズは、被写体を広範囲な画角で撮像できるため、監視カメラシステムやテレビ会議システム等のカメラ装置に適用されている。ただし、広角レンズで撮影した画像には、歪曲収差により樽型に歪みが生じるため、そのままでは人物の表情が読み取りづらい。したがって、広角レンズによる撮影画像は、歪みを補正してから利用に供することになるが、これまでは、レンズの特性に応じて広角歪み補正用の画像変換パラメータを事前に用意しておく必要があった（例えば、特許文献１）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、広角歪み補正用の画像変換パラメータを自動的に導出する新規な画像補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明者は、広角歪み補正用の画像変換パラメータを自動的に導出する画像補正装置の構成につき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。
【０００５】
すなわち、本発明によれば、広角レンズで撮影した画像を補正するための画像補正装置であって、撮影画像から矩形形状を有する被写体の撮影領域を検出し、該撮影領域における該被写体の直線部分の歪曲率を算出する画像解析手段と、前記歪曲率が最小化されるような画像変換パラメータを導出する変換パラメータ導出手段と、を含む画像補正装置が提供される。
【発明の効果】
【０００６】
上述したように、本発明によれば、広角歪み補正用の画像変換パラメータを自動的に導出する新規な画像補正装置が提供される。
【図面の簡単な説明】
【０００７】
【図１】本実施形態のテレビ会議端末を使用して構築されるテレビ会議システムの概略構成図。
【図２】本実施形態のテレビ会議端末の外観図。
【図３】本実施形態のテレビ会議端末のシステム構成を示す図。
【図４】本実施形態における画像処理ユニットの機能ブロック図。
【図５】本実施形態における画像処理部の機能ブロック図。
【図６】本実施形態における画像処理部が実行する処理を説明するための概念図。
【図７】本実施形態における画像変換パラメータの生成処理を説明するための概念図。
【発明を実施するための形態】
【０００８】
以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
【０００９】
以下、本発明の画像補正装置をテレビ会議端末において実装した実施形態を例にとって説明する。図１は、本発明の実施形態であるテレビ会議端末１０００を使用して構築されるテレビ会議システム１の概略構成図を示す。テレビ会議システム１においては、複数のテレビ会議端末１０００がネットワーク３００を介して相互通信可能に接続されており、各テレビ会議端末１０００には、広角レンズを搭載した撮像装置が内蔵されている。テレビ会議システム１においては、各テレビ会議端末１０００が内蔵する撮像装置の撮影画像をネットワーク３００を介して他のテレビ会議端末１０００に送信するとともに、他のテレビ会議端末１０００の撮影画像をネットワーク３００を介して受信してディスプレイ２００に表示することで、画像を共有した遠隔会議を実現する。
【００１０】
図２は、本実施形態のテレビ会議端末１０００の外観図を示す。図２に示すように、テレビ会議端末１０００は、筐体１１００、アーム１２００、カメラハウジング１３００を備えている。筐体１１００の右側壁面１１３０には、外部からの音を収音するための孔１１３１が形成されており、その上面部１１５０には、電源スイッチ１０９と、音出力用の孔１１５１が設けられている。また、筐体の１１００の左側壁面１１４０側には、アーム１２００及びカメラハウジング１３００を収容するための凹部形状の収容部１１６０が形成されている。
【００１１】
アーム１２００は、トルクヒンジ１２１０により、筐体１１００に取り付けられており、アーム１２００が筐体１１００に対して１３５度のチルト角ω１の範囲で、上下方向に回転可能とされている。一方、カメラハウジング１３００は、トルクヒンジ１３１０を介してアーム１２００に取り付けられており、広角レンズを搭載した撮影装置を内蔵している。また、カメラハウジング１３００は、アーム１２００に対して±１８０度のパン角ω２の範囲で左右に、かつ、±４５度のチルト角ω３の範囲で上下に回転可能とされている。
【００１２】
そして、筐体１１００の左側壁面１１４０にはケーブル２００ｃを接続するための接続口（図示せず）が形成されており、テレビ会議端末１０００は、ケーブル２００ｃを介してディスプレイ２００に接続されている。
【００１３】
図３は、本実施形態のテレビ会議端末１０００のシステム構成を示す。テレビ会議端末１０００は、撮像装置１０と情報処理装置２０を含んで構成される。撮像装置１０は、広角レンズを含むレンズ光学系１１、レンズ光学系１１によって結像された光学像を電気信号のフレーム画像に変換するための光学センサ（ＣＣＤやＣＭＯＳなど）を備えるセンサ部１２、フレーム画像に対して各種画像処理を行うための画像処理ユニット１００、情報処理装置２０との間でフレーム画像や制御信号などのやり取りするためのＩ／Ｆユニット１４を含んで構成される。
【００１４】
一方、情報処理装置２０は、撮像装置１０との間でフレーム画像や制御信号などのやり取りするためのＩ／Ｆユニット２１、ＣＰＵ２２、ＲＡＭ，ＲＯＭなどとして参照されるメモリ２３、ディスプレイ２００に映像信号を出力するための映像出力ユニット２４、ネットワーク３００を介して映像信号などを他の端末に送信するための通信ユニット２５、装置全体を制御する制御ユニット２６、各ユニットを接続するバス２７などを含んで構成される。
【００１５】
続いて、図３に示す画像処理ユニット１００の構成を図４に示すに機能ブロック図に基づいて説明する。
【００１６】
画像処理ユニット１００は、画像処理部１１０、画像解析部１２０、変換パラメータ導出部１３０を含んで構成される。変換パラメータ導出部１３０は、広角歪み補正用の画像変換パラメータを生成して画像処理部１１０に転送する。ここでいう画像変換パラメータは、第一義的には、アフィン変換のパラメータであり、射影変換のパラメータを含んでいてもよい。なお、画像変換パラメータ（以下、変換パラメータという）の生成手順については後述する。
【００１７】
画像処理部１１０は、変換パラメータ導出部１３０から転送される変換パラメータを使用してセンサ部１２から受領したフレーム画像に対して画像変換を施す。画像処理部１１０は、変換後のフレーム画像をＩ／Ｆユニット１４に送り、これを受けて、Ｉ／Ｆユニット１４のフレーム画像伝送部１４０は、変換済みフレーム画像を情報処理装置２０に送る。
【００１８】
情報処理装置２０は、映像出力ユニット２４が変換済みフレーム画像に基づいて映像信号を生成してディスプレイ２００に出力したり、通信ユニット２５が変換済みフレーム画像をネットワーク３００を介して他の端末に送信したりする。
【００１９】
図５は、画像処理部１１０の機能ブロック図を示す。画像処理部１１０においては、変換パラメータ入力部１１６が変換パラメータ導出部１３０から転送された変換パラメータをメモリアクセス部１１２を経由してメモリ１１３に格納するとともに、変換パラメータを制御部１１７に出力する。
【００２０】
画像入力部１１１は、センサ部１２から受けとったフレーム画像をメモリアクセス部１１２に出力するとともに、現在、画像入力部１１１に１フレーム画像中の何画素目のデータが入力されているかを示す情報などを制御部１１７に出力する。
【００２１】
メモリアクセス部１１２は、画像入力部１１１から受け取ったフレーム画像をメモリアクセスに適したデータ形式に変換してメモリ１１３に格納する。一方、制御部１１７は、画像入力部１１１から受け取った情報を解析して画像変換の要否を判定し、要と判定した場合、画像変換部１１４の動作開始を制御する。
【００２２】
これを受けて、画像変換部１１４は、まず、メモリアクセス部１１２を経由してメモリ１１３に格納されているフレーム画像を取り出すとともに、メモリ１１３に格納されている変換パラメータを取り出す。次に、画像変換部１１４は、変換パラメータを使用して取り出したフレーム画像に対して画像変換処理を施す。ここで行う画像変換処理には、広角歪みを補正するためのアフィン変換が含まれる。最後に、画像変換部１１４は、変換済みフレーム画像をメモリアクセス部１１２を経由してメモリ１１３に格納するとともに、現在、何フレーム目までの画像変換が実施されたかを示す情報などを制御部１１７に出力する。
【００２３】
制御部１１７は、画像変換部１１４から出力される情報を解析して画像出力の是非を判定し、是と判定した場合は、画像出力部１１５の動作開始を制御する。
【００２４】
これを受けて、画像出力部１１５は、メモリアクセス部１１２を経由してメモリ１１３に格納されている変換後フレーム画像を取り出し、フレーム画像伝送部１４０へ出力する。
【００２５】
ここで、画像処理部１１０は、図６に示す手順を採用することによって画像変換処理を実時間で実行することができる。以下、順を追って説明する。
【００２６】
画像入力部１１１は、センサ部１２から受けとったフレーム画像をメモリアクセス部１１２に出力するとともに、メモリアクセス部１１２に出力したフレーム画像のピクセル数を制御部１１７へ出力する。これを受けて、制御部１１７はピクセル数をカウントし、カウント数が出力エリア０を出力するのに必要なデータ量に達したか否かを判定し、必要なデータ量に達したことに応答して、画像変換部１１４へ動作開始の信号を出力する（このとき、メモリ１１３には出力エリア０を生成するのに必要なフレーム画像データが格納されている）。
【００２７】
これを受けて、画像変換部１１４は、変換パラメータ入力部１１６から入力された変換パラメータに基づいてフレーム画像から参照エリア０を決定し、参照エリア０内のデータをメモリアクセス部１１２を経由してメモリ１１３から取り出し、これに変換パラメータを使用した画像変換処理を施して出力エリア0のデータを生成する。その後、画像変換部１１４は、生成した出力エリア0のデータをメモリアクセス部１１２に出力するとともに、出力エリア０の生成を完了した旨を制御部１１７に出力し、スタンバイ状態に戻る。
【００２８】
続けて、制御部１１７は、画像入力部１１１から入力されるフレーム画像のピクセル数に基づいて、出力エリア１を出力するのに必要なデータ量に達したか否かを判定し、必要なデータ量に達したことに応答して、画像変換部１１４へ動作開始の信号を出力する（このとき、メモリ１１３には出力エリア１を生成するのに必要なフレーム画像データが格納されている）。これを受けて、画像変換部１１４は、上述したのと同様の手順で、フレーム画像から参照エリア１を決定し、参照エリア１内のデータに画像変換処理を施して出力エリア１のデータを生成してメモリアクセス部１１２に出力するとともに、出力エリア１の生成を完了した旨を制御部１１７に出力し、スタンバイ状態に戻る。制御部１１７は、以降、上述した手順を繰り返す。
【００２９】
以上、画像処理部１１０が実行する処理の内容を説明してきたが、続いて、画像解析部１２０と変換パラメータ導出部１３０が協働して変換パラメータを自動生成する処理の内容について、再び、図４に戻って説明する。
【００３０】
本実施形態では、広角歪みが矩形形状を有する被写体の撮影像の直線部分に顕著に現れること、また、奥行き方向の歪みが複数の人物の顔の撮影像の大きさの違いに現れることに着目し、これらの撮影像を利用して変換パラメータを自動生成する。
【００３１】
本実施形態においては、センサ部１２から画像処理ユニット１００に入力されたフレーム画像は、先に説明した画像処理部１１０に入力されるとともに、画像解析部１２０に入力される。画像解析部１２０は、センサ部１２から受けとったフレーム画像について画像解析を行い、矩形形状を有する被写体が映っている撮影領域（画素領域）ならびに人物の顔が映っている撮影領域（画素領域）を検出する。
【００３２】
ここで、人物の顔の検出は、既知のアルゴリズムを用いて検出することができる。一方、矩形形状を有する被写体の検出については、検出対象を予めを決めておき、検出対象の特徴に応じた判定基準を予めを決めておく。好ましい実施形態では、屋内に多く設置される蛍光灯を検出対象とすることができ、この場合、蛍光灯は画像の上部に映ることが多く、また、使用中の蛍光灯はその周囲に比べて格段に輝度が高いので、撮影画像の領域や色温度に基づいて蛍光灯の判定基準を決めることができる。以下、検出対象として蛍光灯を採用した場合を例にとって説明する。
【００３３】
ここでは、センサ部１２から画像解析部１２０に図７（ａ）に示すフレーム画像（会議室の様子が撮影した画像）が入力された場合を考える。図７（ａ）に示すように、フレーム画像は、広角歪みにより、上下左右方向に樽型に歪んでおり、奥行きが過度に強調された画像となっている。
【００３４】
このとき、画像解析部１２０は、図７（ｂ）に示すように、入力されたフレーム画像から蛍光灯が映っている撮影領域を検出し、当該撮影領域においてアーチ状に歪んで映っている蛍光灯の直線部分の歪曲率を算出する。同時に、画像解析部１２０は、入力されたフレーム画像から人物の顔が映っている複数の撮影領域を検出し、各撮影領域の位置および面積を算出する。その後、画像解析部１２０は算出結果を変換パラメータ導出部１３０に転送する。
【００３５】
画像解析部１２０から算出結果を受け取った変換パラメータ導出部１３０は、蛍光灯の歪曲率が最小化され、且つ、人物の顔が同程度の大きさになるような画像変換パラメータを導出する。具体的には、蛍光灯の歪曲率と各顔の面積の差が同時最小化されるような画像変換パラメータを非線形計画法などに基づいて導出し、導出したパラメータを画像処理部１１０に転送する。これを受けて、画像処理部１１０は、先に説明したように、転送された画像変換パラメータに基づいてフレーム画像に画像変換を施す。その結果、上下左右の歪みが緩和され自然な奥行き感を持つフレーム画像が生成される。
【００３６】
なお、上述した説明では、矩形形状を有する検出対象（被写体）として蛍光灯を採用するケースについて述べたが、ホワイトボードや電子黒板などの情報提示板を検出対象してもよい。この場合、情報提示板の四辺の歪曲率が最小化するような画像変換パラメータを導出することが好ましい。さらには、２以上の矩形形状を持つ被写体（例えば、蛍光灯と情報提示板）の各歪曲率と人物の顔の面積の差が同時最小化するような画像変換パラメータを導出することによって、補正の精度を向上させることができる。
【００３７】
以上、説明したように、本発明によれば、撮影の都度、変換パラメータを撮影画像に基づいて自動的に導出することができるので、パラメータを事前に用意することなく、広角歪みを適切に補正することが可能になる。
【００３８】
以上、本発明をテレビ会議端末に実装した実施形態をもって説明してきたが、本発明は、上述した実装態様に限定されるものではなく、監視カメラシステムなど、広角レンズを使用して撮影を行うあらゆるシステムに適用することができることはいうまでもない。その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【００３９】
なお、上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
【符号の説明】
【００４０】
１…テレビ会議システム
１０…撮像装置
１１…レンズ光学系
１２…センサ部
１４…Ｉ／Ｆユニット
２０…情報処理装置
２１…Ｉ／Ｆユニット
２２…ＣＰＵ
２３…メモリ
２４…映像出力ユニット
２５…通信ユニット
２６…制御ユニット
２７…バス
１００…画像処理ユニット
１０９…電源スイッチ
１１０…画像処理部
１１１…画像入力部
１１２…メモリアクセス部
１１３…メモリ
１１４…画像変換部
１１５…画像出力部
１１６…変換パラメータ入力部
１１７…制御部
１２０…画像解析部
１３０…変換パラメータ導出部
１４０…フレーム画像伝送部
２００…ディスプレイ
２００ｃ…ケーブル
３００…ネットワーク
１０００…テレビ会議端末
１１００…筐体
１１３０…右側壁面
１１３１…孔
１１４０…左側壁面
１１５０…上面部
１１５１…孔
１１６０…収容部
１２００…アーム
１２１０…トルクヒンジ
１３００…カメラハウジング
１３１０…トルクヒンジ
【先行技術文献】
【特許文献】
【００４１】
【特許文献１】特開平９−２９４２２５号公報
【図１】
2015165629.tif 000003
【図２】
2015165629.tif 000004
【図３】
2015165629.tif 000005
【図４】
2015165629.tif 000006
【図５】
2015165629.tif 000007
【図６】
2015165629.tif 000008
【図７】
2015165629.tif 000009