(57)【要約】【課題】外付けストロボ装置を使用することなく、マリンスノー現象等によって撮影画像に発生する白点部をキャンセルし、鮮明な画像を生成する。【解決手段】移動量算出部１３は、主画像である左眼用画像データと参照画像である右眼用画像データの全体をそれぞれパターンマッチングし、参照画像の主画像に対する移動量を算出する。白点検出部１４は、左眼用画像データ中に白点が存在することを検出する。座標算出部１５は上記移動量を基に主画像の白点の座標に相当する参照画像の座標を求める。バッファ制御部１２は、参照画像の座標に相当するバッファ１１Ｒのアドレス位置に保存されている右眼用画像データを読み出す。画像補間部１７は、バッファ１１Ｌから主画像データとして供給される左眼用画像データの白点検出箇所に、白点判別部１６から白点データとして供給される右眼用画像データを置換し、補間画像として出力する。【選択図】図１
2013175954.tif 000002
【特許請求の範囲】
【請求項１】
両眼視差を利用する立体画像撮影手段によりストロボ撮影して得られた左眼用画像データ及び右眼用画像データを一時保存するバッファと、
前記バッファから供給される前記左眼用画像データ及び前記右眼用画像データの一方を主画像データとし、かつ、他方を参照画像データとして、両画像データを比較することにより参照画像の主画像に対する移動量を算出する移動量算出手段と、
前記バッファから供給される前記主画像データ中に、閾値以上の輝度の領域である白点が存在するか否かを検出し、白点が存在することを検出した場合はその白点の前記主画像データの画面内における座標を出力する白点検出手段と、
前記移動量算出手段からの前記移動量を基に、前記白点検出手段から供給される前記白点の座標に相当する、前記参照画像データの画像内における座標を算出する座標算出手段と、
前記参照画像データを一時保存している前記バッファから、前記座標算出手段により算出された座標に相当する領域の画像部分を読み出すバッファ制御手段と、
前記バッファ制御手段により前記バッファから読み出された前記主画像データの前記白点の領域に、前記バッファ制御手段により前記バッファから読み出された前記参照画像データの画像部分を補間して補間画像を生成する画像補間手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記バッファ制御手段により前記バッファから読み出された前記参照画像データの画像部分が閾値以上の輝度の白点であるか否かを判別する白判別手段を有し、
前記画像補間手段は、前記白判別手段により白点でないと判別された前記参照画像データの画像部分を、前記バッファから読み出された前記主画像データの前記白点の領域に置換して前記補間画像を生成することを特徴とする請求項１記載の画像処理装置。
【請求項３】
両眼視差を利用する立体画像撮影手段によりストロボ撮影して得られた左眼用画像データ及び右眼用画像データをバッファに一時保存する保存ステップと、
前記バッファから供給される前記左眼用画像データ及び前記右眼用画像データの一方を主画像データとし、かつ、他方を参照画像として、両画像を比較することで参照画像の主画像に対する移動量を算出する移動量算出ステップと、
前記バッファから供給される前記主画像データ中に、閾値以上の輝度の領域である白点が存在するか否かを検出し、白点が存在することを検出した場合はその白点の前記主画像データの画面内における座標を出力する白点検出ステップと、
前記移動量算出ステップにより算出された前記移動量を基に、前記白点検出ステップにより検出された前記白点の座標に相当する、前記参照画像データの画像内における座標を算出する座標算出ステップと、
前記参照画像データを一時保存している前記バッファから、前記座標算出ステップにより算出された座標に相当する領域の画像部分を読み出すバッファ制御ステップと、
前記バッファ制御ステップにより前記バッファから読み出された前記主画像データの前記白点の領域に、前記バッファ制御ステップにより前記バッファから読み出された前記参照画像データの画像部分を補間して補間画像を生成する画像補間ステップと
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に係り、特に左右眼視差（両眼視差）を利用して立体画像表示を行うための左眼用画像データ及び右眼用画像データを用いて画像処理を行う画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
左右眼視差を利用した画像処理装置においては、画像表示素子及び画像観察用接眼光学系から成る画像表示系を、左眼及び右眼にそれぞれ対応した２系統を独立に配置して観察し、画像表示時には、左右それぞれの画像表示素子に、互いに異なる視差の左眼画像と右眼画像とを表示して立体表示を行っている。
【０００３】
ところで、デジタルカメラ等を使用して水中でストロボ撮影を行う場合、撮影した画像に多数の白点が写り込むことがある。この現象はマリンスノーと呼ばれ、水中の砂やプランクトン等の浮遊物がストロボ光を反射して白く光るために起こり、撮影画像を見苦しいものとする。
【０００４】
そこで、このマリンスノー現象を低減するための発明が、従来より種々開示されている（例えば、特許文献１及び２参照）。特許文献１記載の発明では、内蔵ストロボの代わりに外付けストロボを使用して浮遊物に対して斜めの方向からストロボ光を照射することで、撮影レンズに入るストロボ光の反射光を抑えている。
【０００５】
また特許文献２記載の発明では、同一被写体に対してストロボ発光画像とストロボ非発光画像とを連続して撮影し、ストロボ発光画像中の白点部の領域を画素単位で特定し、特定した白点部の画素位置に対応するストロボ非発光画像の画素の画像を抽出して、ストロボ発光画像の白点部に重ねた補正画像を生成する。この補正画像は、ストロボ発光画像の白点部が、全体的に暗く階調分布が狭い低コントラストのストロボ非発光画像の画素の画像に合成しているため、マリンスノーは目立たなくなっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−１４０２３９号公報
【特許文献２】特開２００７−１８９５４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１記載の発明では、外付けストロボ装置の持ち運びにより水中での動作に制限を受けるおそれがある上、外付けストロボの調節に手間がかかるという問題がある。
【０００８】
一方、特許文献２記載の発明では、ストロボ発光画像の白点部に、全体的に暗く低コントラストで彩度が悪いストロボ非発光画像の画素の画像を合成する補間を行うようにしているため、精度良く補間できないという問題がある。
【０００９】
本発明は以上の点に鑑みなされたもので、外付けストロボ装置を使用することなく、マリンスノー現象によって撮影画像に発生する白点部をキャンセルし、鮮明な画像を生成し得る画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明の画像処理装置は、両眼視差を利用する立体画像撮影手段によりストロボ撮影して得られた左眼用画像データ及び右眼用画像データを一時保存するバッファと、バッファから供給される左眼用画像データ及び右眼用画像データの一方を主画像データとし、かつ、他方を参照画像データとして、両画像データを比較することにより参照画像の主画像に対する移動量を算出する移動量算出手段と、バッファから供給される主画像データ中に、閾値以上の輝度の領域である白点が存在するか否かを検出し、白点が存在することを検出した場合はその白点の主画像データの画面内における座標を出力する白点検出手段と、移動量算出手段からの移動量を基に、白点検出手段から供給される白点の座標に相当する、参照画像データの画像内における座標を算出する座標算出手段と、参照画像データを一時保存しているバッファから、座標算出手段により算出された座標に相当する領域の画像部分を読み出すバッファ制御手段と、バッファ制御手段によりバッファから読み出された主画像データの白点の領域に、バッファ制御手段によりバッファから読み出された参照画像データの画像部分を補間して補間画像を生成する画像補間手段とを有することを特徴とする。
【００１１】
また、上記の目的を達成するため、本発明の画像処理装置は、バッファ制御手段によりバッファから読み出された参照画像データの画像部分が閾値以上の輝度の白点であるか否かを判別する白判別手段を有し、画像補間手段は、白判別手段により白点でないと判別された参照画像データの画像部分を、バッファから読み出された主画像データの白点の領域に置換して補間画像を生成することを特徴とする。
【００１２】
また、上記の目的を達成するため、本発明の画像処理方法は、両眼視差を利用する立体画像撮影手段によりストロボ撮影して得られた左眼用画像データ及び右眼用画像データをバッファに一時保存する保存ステップと、バッファから供給される左眼用画像データ及び右眼用画像データの一方を主画像データとし、かつ、他方を参照画像として、両画像を比較することで参照画像の主画像に対する移動量を算出する移動量算出ステップと、バッファから供給される主画像データ中に、閾値以上の輝度の領域である白点が存在するか否かを検出し、白点が存在することを検出した場合はその白点の主画像データの画面内における座標を出力する白点検出ステップと、移動量算出ステップにより算出された移動量を基に、白点検出ステップにより検出された白点の座標に相当する、参照画像データの画像内における座標を算出する座標算出ステップと、参照画像データを一時保存しているバッファから、座標算出ステップにより算出された座標に相当する領域の画像部分を読み出すバッファ制御ステップと、バッファ制御ステップによりバッファから読み出された主画像データの白点の領域に、バッファ制御ステップによりバッファから読み出された参照画像データの画像部分を補間して補間画像を生成する画像補間ステップとを含むことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、外付けストロボ装置を使用することなく、マリンスノー現象等によって撮影画像に発生する白点部をキャンセルし、鮮明な画像を生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の画像処理装置の一実施の形態のブロック図である
【図２】本発明の画像処理方法の一実施の形態のフローチャートである。
【図３】本発明の実施の形態に係る画像の補間例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態を図面を参照して説明する。
【００１６】
図１は、本発明になる画像処理装置の一実施の形態のブロック図を示す。本実施の形態の画像処理装置１０は、２つのバッファ１１Ｌ及び１１Ｒと、バッファ制御部１２と、移動量算出部１３と、白点検出部１４と、座標算出部１５と、白点判別部１６と、画像補間部１７とから構成される。
【００１７】
バッファ１１Ｌは、例えば両眼視差を利用する立体画像撮影装置（図示せず）により水中で被写体をストロボ撮影して得られた左眼用画像データを一時保存する。バッファ１１Ｒは、上記立体画像撮影装置により水中で上記被写体をストロボ撮影して得られた右眼用画像データを一時保存する。立体画像撮影装置は、２つの撮影レンズが仮想の撮影者の左眼及び右眼に相当する位置にそれぞれ配置され、それぞれの撮影レンズから同一の被写体をストロボ撮影して得た２つの静止画映像信号を別々に信号処理して左眼用画像データと右眼用画像データとを生成する。この立体画像撮影装置は公知の構成であるので、その詳細な説明は省略する。なお、バッファ１１Ｌに供給される左眼用画像データと、バッファ１１Ｒに供給される右眼用画像データとは、立体画像撮影装置から直接に供給される画像データに限定されるものではなく、記録媒体に記録されている同様の画像データでもよく、更にはネットワークを介して入力される同様の画像データでもよい。
【００１８】
バッファ制御部１２は、バッファ１１Ｌ及び１１Ｒの書き込み及び読み出し動作をそれぞれ制御する。移動量算出部１３は、バッファ１１Ｌから供給される左眼用画像データを主画像データとし、バッファ１１Ｒから供給される右眼用画像データを参照画像データとして、両画像データの全体をそれぞれパターンマッチングし、参照画像の主画像に対する移動量を算出する。
【００１９】
白点検出部１４は、バッファ１１Ｌから供給される主画像データとしての左眼用画像データ中に白点が存在するか否かを検出し、白点が存在することを検出した場合はその白点の主画像の画面内の座標を座標算出部１５へ出力する。白点検出部１４は、例えば主画像の画面全体の平均輝度に対して所定の閾値以上の明るい輝度の領域を白点として検出する。
【００２０】
座標算出部１５は、移動量算出部１５から供給される移動量を基に、白点検出部１４から供給される主画像の白点の座標に相当する参照画像の座標を求め、バッファ制御部１２にその参照画像の座標を出力する。バッファ制御部１２は、バッファ１１Ｒに参照画像データとして一時保存されている一画面分の左眼用画像データのうち、座標算出部１５から供給される参照画像の座標に相当するアドレス位置に保存されている右眼用画像データを読み出して白点判別部１６へ出力する。
【００２１】
白点判別部１６は、バッファ１１Ｒから供給される右眼用画像データに白点が存在するか否かを判別し、白点が存在しないと判別したときにのみ、供給される右眼用画像データを画像補間部１７へ出力する。白点判別部１６は、供給される右眼用画像データの輝度が例えば所定の閾値以上のときに白点が存在すると判別し、所定の閾値未満のとき白点が存在しないと判別する。なお、白点判別部１６は、白点が存在すると判別したときにはその白点が浮遊物等によるマリンスノーの白点ではないと判断して、供給される右眼用画像データを画像補間部１７へ出力しない。
【００２２】
画像補間部１７は、バッファ１１Ｌから主画像データとして供給される左眼用画像データの白点検出箇所に、白点判別部１６から白点データとして供給される右眼用画像データを置換し、補間画像として出力する。すなわち、白点判別部１６から出力される白点データと、バッファ１１Ｌから出力される主画像データとは互いに同期しているので、画像補間部１７に供給される白点データの画素領域は、画像補間部１７に供給される主画像データの画素領域に対応している。そこで、画像補間部１７は、白点判別部１６から白点データが入力されないときには、バッファ１１Ｌから主画像データとして供給される左眼用画像データをそのまま出力するが、白点データが入力されるときにはその白点データとして供給される右眼用画像データを、左眼用画像データの代わりに出力することで時分割的に合成された補間画像を生成する。
【００２３】
次に、本実施の形態の動作について、図２のフローチャート及び図３の画像例と共に説明する。
【００２４】
いま、図３（Ｅ）に模式的に示すように、立体画像撮影装置２１により水中の魚２２を被写体としてストロボ撮影したものとする。その結果、静止画である左眼画像は図３（Ａ）に模式的に示すように、魚２２の画像２２Ｌに、図３（Ｅ）に示す浮遊物２３をストロボ撮影したことによる白点２３Ｌが含まれたものとなる。一方、静止画である右眼画像は図３（Ｂ）に模式的に示すように、魚２２の画像２２Ｒに浮遊物２３をストロボ撮影したことによる白点２３Ｒが含まれたものとなる。
【００２５】
バッファ１１Ｌは図３（Ａ）に模式的に示される左眼画像の画像データ（すなわち、左眼用画像データ）が供給されてこれを主画像データとして一時保存する。また、バッファ１１Ｒは図３（Ｂ）に模式的に示される右眼画像の画像データ（すなわち、右眼用画像データ）が供給されてこれを参照画像データとして一時保存する。
【００２６】
白点検出部１４は、バッファ１１Ｌから供給される主画像データとしての左眼用画像データ中に白点が存在するか否かを検出する（ステップＳ１）。白点検出部１４が白点を検出しない場合は処理を終了する。ここでは、白点検出部１４は、図３に２３Ｌで示す白点を検出し、その白点の主画像の画面内の座標を座標算出部１５へ出力する。
【００２７】
座標算出部１５は、移動量算出部１３から供給される移動量を基に、左眼画像（主画像）中の白点２３Ｌの座標に相当する右眼画像（参照画像）の座標を求める（ステップＳ２）。すなわち、図３（Ｅ）に模式的に示すように、被写体である魚２２に重なる浮遊物２３から立体画像撮影装置２１までの距離は、魚２２から立体画像撮影装置２１までの距離よりも短いため、参照画像である右眼画像において左眼画像中の白点２３Ｌの移動量は左眼画像中の魚２２Ｌの画像の移動量に比べて大きくなる。
【００２８】
そのため、座標算出部１５は、この移動量に基づいて、左眼画像（主画像）中の白点２３Ｌの座標に相当する右眼画像（参照画像）の座標として、図３（Ｂ）に点線２４で示す位置の座標を求め、求めたその座標をバッファ制御部１２へ出力する。これにより、バッファ制御部１２は、バッファ１１Ｒに一時保存されている図３（Ｂ）に示す右眼画像用データのうち、座標算出部１５から供給された座標の位置２４の画像部分２５を図３（Ｃ）に示すようにバッファ１１Ｒから読み出し、白点判別部１６へ出力する。
【００２９】
次に、白点判別部１６は、バッファ１１Ｒから供給される右眼画像（参照画像）に白点が存在するか否かを判別する（ステップＳ３）。これは、左眼画像（主画像）で検出された白点が浮遊物であるか否かを判断するためである。右眼画像（参照画像）の当該座標位置にも白点があると判定されるときは検出された白点が浮遊物ではないと判断でき、当該座標位置には白点がないと判定されるときは検出された白点が浮遊物であると判断できる。そこで、白点判別部１６は、右眼画像（参照画像）に白点がないと判定したときはバッファ１１Ｒから供給される右眼画像（参照画像）の画像部分２５を画像補間部１７へ供給し、画像補間部１７により画像補間を行わせる（ステップＳ４）。
【００３０】
画像補間部１７は、ステップＳ４において、図３（Ｄ）に模式的に示すように、バッファ１１Ｌから供給される左眼画像（主画像）２２Ｌの白点検出箇所に、ステップＳ３で白点がないと判定した白点判別部１６から供給される右眼画像（参照画像）の画像部分２５を置換し、補間画像として出力する。
【００３１】
このように、本実施の形態の画像処理装置１０によれば、ストロボ撮影して得られた左眼画像（主画像）２２Ｌの白点検出箇所に、同一の被写体をストロボ撮影して得られた右眼画像（参照画像）の対応する画像部分２５を置換して出力するようにしたため、外付けストロボ装置を使用することなく、マリンスノー現象によって撮影画像に発生する白点部をキャンセルし、鮮明な主画像を補間生成することができる。また、本実施の形態の画像処理装置１０によれば、左眼画像（主画像）２２Ｌの白点検出箇所に置換される右眼画像（参照画像）の画像部分を、白点判別部１６により白点でないと判別された右眼画像（参照画像）の画像部分とするようにしたため、左眼画像（主画像）２２Ｌのマリンスノー現象によって撮影画像に発生する白点部のみを、ストロボ撮影による鮮明な右眼画像（参照画像）の画像部分２５で置換することができる。
【００３２】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば右眼用画像データを主画像データとし、左眼用画像データを参照画像データとしてもよいことは勿論である。また、本発明は、白点判別部１６を設けず、バッファ１１Ｌから供給される左眼画像（主画像）２２Ｌの白点検出箇所の右眼画像（参照画像）の画像部分が白点であるか否かに関係なく、左眼画像（主画像）２２Ｌの白点検出箇所に右眼画像（参照画像）の画像部分を置換し、補間画像として出力する構成も包含するものである。
【００３３】
なお、上記の説明では、水中撮影時のマリンスノー現象を例としたが、立体画像撮影中に予期せぬ白点が写り込むような他の現象に対しても本発明が有効であることはいうまでもない。
【符号の説明】
【００３４】
１０  画像処理装置
１１Ｌ、１１Ｒ  バッファ
１２  バッファ制御部
１３  移動量算出部
１４  白点検出部
１５  座標算出部
１６  白点判別部
１７  画像補間部
２２  被写体（魚）
２３  浮遊物
２３Ｌ、２３Ｒ  白点
２４  右眼画像における左眼画像の白点に相当する座標位置
２５  置換された右眼用画像部分
【図１】
2013175954.tif 000003
【図２】
2013175954.tif 000004
【図３】
2013175954.tif 000005