(57)【要約】【課題】撮像画像のフリッカ縞を低減させること。【解決手段】ライン露光順次読み出し方式の２つの撮像手段１１０ａ、ｂと、各撮像手段１１０ａ、ｂの動作を制御する制御手段１２０と、各撮像手段１１０ａ、ｂによって撮像された画像を処理する画像処理手段１３０とを備え、制御手段１２０は、ユーザによる撮像指示操作に応じて、タイミングをズラして撮像するよう各撮像手段１１０ａ、ｂの動作を制御し、画像処理手段１３０は、一方の撮像手段１１０ａによって撮像された第１の画像と、他方の撮像手段１１０ｂによって第１の画像とは異なるタイミングに撮像された第２の画像とを合成処理する。【選択図】図１
2012070221.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像のフリッカ縞を低減させる撮像装置であって、
ライン露光順次読み出し方式の２つの撮像手段と、
前記各撮像手段の動作を制御する制御手段と、
前記各撮像手段によって撮像された画像を処理する画像処理手段と
を備え、
前記制御手段は、ユーザによる撮像指示操作に応じて、タイミングをズラして撮像するよう前記各撮像手段の動作を制御し、
前記画像処理手段は、一方の前記撮像手段によって撮像された第１の画像と、他方の前記撮像手段によって前記第１の画像とは異なるタイミングに撮像された第２の画像とを合成処理する
ことを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記各撮像手段の動作フレームの半周期分のタイミングをズラして撮像するよう前記各撮像手段の動作を制御する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理手段は、前記第１の画像と前記第２の画像とを、フリッカ縞の帯に沿ってズラした場合に、前記被写体の特徴的な形状部分のズレが最少となるように合成する
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記画像処理手段は、前記第１の画像と前記第２の画像の合成画像の明るさ補正を行う
ことを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
【請求項５】
前記画像処理手段は、前記撮像手段による撮像前に、一方の前記撮像手段によるプレビュー画像のフリッカ縞を検出し、当該フリッカ縞を除去することができるか否かを判定し、
一方の前記撮像手段によるプレビュー画像のフリッカ縞を除去することができないと前記画像処理手段が判定した場合に、前記制御手段は、ユーザによる撮像指示操作に応じて、タイミングをズラして撮像するよう前記各撮像手段の動作を制御する
ことを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。特に、本発明は、画像のフリッカ縞を低減させる撮像装置に関する。
【背景技術】
【０００２】
蛍光灯等の照明下で、デジカメや携帯電話のカメラを使用した場合、個々のデバイスの能力にもよるが、一定量の明るさ以上になると、蛍光灯の周波数成分による明暗の繰り返しによって画像に明暗の縞が発生する（以降フリッカと記載）。
【０００３】
このようなフリッカの成分を撮像画像信号から除去するための手法としては、主に、シャッタスピードとフリッカレベルとの関連性に基づいて補正するシャッタ補正方式と、フリッカ波形を検出してその逆波形を補正ゲインとして画像信号に適用するゲイン補正方式とが知られている。これらのうち、ゲイン補正方式によるフリッカ低減方法としては、画像信号の信号レベルの変化を周波数解析してフリッカ周波数のスペクトルを検出し、このスペクトルの振幅値に基づいて画像信号の信号レベルを補正する方法がある（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２２２２２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、明暗を繰り返している周波数成分が５０（Ｈｚ）の蛍光灯下においては、ＣＭＯＳカメラのシャッタ速度が１／１００（ｓ）以上の場合、ＣＭＯＳカメラの特性の原理上、フリッカの成分を除去することができない。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の第１の形態によると、撮像画像のフリッカ縞を低減する撮像装置であって、ライン露光順次読み出し方式の２つの撮像手段と、各撮像手段の動作を制御する制御手段と、各撮像手段によって撮像された画像を処理する画像処理手段とを備え、制御手段は、ユーザによる撮像指示操作に応じて、タイミングをズラして撮像するよう各撮像手段の動作を制御し、画像処理手段は、一方の撮像手段によって撮像された第１の画像と、他方の撮像手段によって第１の画像とは異なるタイミングに撮像された第２の画像とを合成処理する。
【０００７】
なおまた、上記のように発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。
【発明の効果】
【０００８】
以上の説明から明らかなように、この発明においては、例えば、強い照度の蛍光灯の環境下において、ＣＭＯＳカメラのシャッタ速度が１／１００（ｓ）よりも速くなってフリッカを除去することができない場合であっても、２つのカメラを利用し、フリッカ発生状態の環境下にて各カメラの取り込みタイミングをずらして撮影した２枚を重ね合わせて合成することで、静止画撮影画像に対し、高輝度環境下でもフリッカの縞を低減することができる。
【図面の簡単な説明】
【０００９】
【図１】携帯電話１００のブロック構成の一例を示す図である。
【図２】一連の動作のフロー図である。
【図３】撮影される画像のイメージを示す図である。
【図４】合成後の画像のイメージを示す図である。
【図５】タイムチャートを示す図である。
【発明を実施するための形態】
【００１０】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は、特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１１】
図１は、携帯電話１００のブロック構成の一例を示す。携帯電話１００は、撮像画像のフリッカ縞を低減させる機能を有している。なおまた、携帯電話１００は、この発明における「撮像装置」の一例であってよい。
【００１２】
携帯電話１００は、カメラモジュール１１０ａと、カメラモジュール１１０ｂと、カメラの撮影データや動作、画質を調整するＤＳＰ１３０と、ＣＰＵ１２０と、液晶画面１４０とを有する。なおまた、カメラモジュール１１０ａ、ｂは、この発明における「撮像手段」の一例であってよい。また、ＣＰＵ１２０は、この発明における「制御手段」の一例であってよい。また、ＤＳＰ１３０は、この発明における「画像処理手段」の一例であってよい。
【００１３】
実施例は３Ｄカメラを目的とし、携帯電話１００に２個のＣＭＯＳカメラを搭載した状態を前提とする。通常２つのカメラは３Ｄカメラとしての機能を果たすが、本実施例の処理は３Ｄ撮影ではなく、２Ｄで撮影した場合とする。
【００１４】
図２は一連の動作のフロー図を示す。ユーザのカメラ起動操作により、図１のカメラモジュール１１０ａとカメラモジュール１１０ｂを、ＣＰＵ１２０がＤＳＰ１３０を通して同時に起動させる（Ｓ１０１）。
【００１５】
このとき２Ｄモードの場合は２つのカメラは起動タイミングを同期させて立ち上がっているが、両方ではなく、どちらか一方のカメラのみのプレビュー画面が液晶画面１４０に出力される（Ｓ１０２）。メインとなるカメラを設定しておくことで、基本は片方のみのカメラが起動しプレビュー画面が出力される。
【００１６】
撮影環境が例えば５０Ｈｚで明るい環境や被写体であった場合、カメラ起動後、自動的にＤＳＰ１３０がフリッカを検出し（Ｓ１０３）、一旦はＤＳＰ機能にてシャッタ値をコントロールし低減を試みるが、被写体が高輝度であり、シャッタ値が１／１００（ｓ）以上であり除去できない場合、自動低減操作は中断される。
【００１７】
一定時間フリッカが検出されるも（Ｓ１０４）、除去できないと判断された場合（Ｓ１０５）、静止画撮影のフリッカを低減させるため、カメラモジュール１１０ｂのデータ取り込みタイミングを調整する設定をＯＮにする（Ｓ１０６）。
【００１８】
その後、カメラモジュール１１０ａ、カメラモジュール１１０ｂにて撮影を行う（Ｓ１０７）。その後２枚の画像を合成する設定に入る。カメラモジュール１１０ｂの出力画像はＤＳＰに取り込まれるが、プレビュー画面としては出力されず、裏で動作している状況となる。ユーザ操作で静止画を撮影する際（Ｓ１０７）、カメラモジュール１１０ｂはカメラモジュール１１０ａのカメラのタイミングを基準として読み出しタイミングをずらし撮影される。
【００１９】
カメラモジュール１１０ａとカメラモジュール１１０ｂの２枚の画像をカメラＤＳＰ内部で取り込み、画像合成を行う（Ｓ１０８）。補正処置としてはカメラモジュール１１０ａとカメラモジュール１１０ｂのカメラの画像の被写体ズレによる合成と、フリッカの明暗の位置が異なるため、合成することでの明るさを補正する。
【００２０】
このようにして合成された画像は、携帯電話１００のメモリ等に保存される（Ｓ１０９）。そして、液晶画面１４０には、カメラモジュール１１０ａのプレビューの表示が再開される（Ｓ１１０）。
【００２１】
図３、４にイメージ図を記載する。撮影される画像のイメージを図３に示す。図３（ａ）は、カメラモジュール１１０ａで撮影されるフリッカ発生時の撮影画像を示す。図３（ｂ）は、カメラ１１０ｂで撮影される静止画画像を示す。このように、起動時の動作時としては、図３（ａ）がカメラモジュール１１０ａのプレビュー画像で図３（ｂ）がカメラモジュール１１０ｂのプレビュー画像であり、フリッカが発生している位置は同じとなる。
【００２２】
また、カメラモジュール１１０ａで撮影された画像を図３（ｃ）とし、取り込みタイミングをずらしたカメラモジュール１１０ｂで撮影された画像を図３（ｄ）とする。このように、取り込みタイミングをずらして取り込むことでフリッカの発生する位置がカメラモジュール１１０ａと比較しカメラモジュール１１０ｂの縞は明暗が逆となる。被写体の位置はカメラの実装位置が異なるため、例えば人の左右の目で見たのと同じ様に多少ずれて見えている。
【００２３】
図４（ａ）は、図３（ｄ）と図３（ｃ）の画像を合成させた画像を示しており、明暗が合成されることで全体が暗くなった画像となる。図４（ｂ）は、図４（ａ）の画像を補正し最終的に得られる画像を示す。上記のようにして撮影されたカメラモジュール１１０ａとカメラモジュール１１０ｂの画像の２枚を重ね合わせた場合、図４（ａ）の様に被写体がズレ、全体が暗い画像となる。合成した画像（図４（ａ））自体は、元の明るさの半分となり、被写体も２重に重なって見えているため、合成後に手振れ補正同等の処理でズレ補正と明るさ補正を行うことで元の明るさに戻し、最終的に１枚の画像（図４（ｂ））が作りだされる。カメラモジュール１１０ｂの取り込みタイミングの調整は、カメラモジュール１１０ａの動作フレームの半周期分ズラせるよう、撮影時のカメラモジュール１１０ａのフレームを読み出して、撮影時直前に都度計算を行い反映させる。また、画像から特徴的な形状（例えば長方形）を抽出し、そのズレが最少となるようにする。特徴的な形状はカメラモジュール１１０ａからのシャッタ前のプレビュー画像からや、シャッタ後のカメラモジュール１１０ａとカメラモジュール１１０ｂとの合成画像からフリッカ縞の帯に沿って均等にズラした場合に、複数の特徴的な形状部分のズレが最少となるような方法でもよい。左右視差があるが、左右のカメラ光軸間に対して十分に距離があり、距離の異なる複数の被写体を含まない場合に特に有効である。
【００２４】
図５に簡単なタイムチャートを記載する。まずカメラモジュール１１０ａ、カメラモジュール１１０ｂが同時に起動する（Ｔ１、Ｔ２）。起動後カメラモジュール１１０ａとカメラモジュール１１０ｂ両方から同期したタイミング信号が発生する（Ｔ３、Ｔ４）。カメラ１１０ａとカメラモジュール１１０ｂが起動した後、カメラの出力画像が液晶より出力される（Ｔ５）。カメラモジュール１１０ａが起動後、入力される画像からフリッカの検出動作を行い、フリッカ検出有無と検出結果を出力する（Ｔ６）。ここでフリッカ除去不可と判断された状態で、ユーザ操作でカメラ撮影が行われた場合（Ｔ７）、カメラモジュール１１０ｂはカメラモジュール１１０ａからタイミングを変えて取り込み動作を行う（Ｔ８、Ｔ９）。その後２つの画像をＤＳＰにて合成処理を行う。
【００２５】
このように、携帯電話１００においては、ＣＭＯＳカメラにて蛍光灯の強い照度の環境で、カメラのシャッタ速度が１／１００（ｓ）よりも速くなってフリッカが除去できない場合でも、カメラモジュール１１０ａとカメラモジュール１１０ｂの２つのカメラを利用しフリッカ発生状態の環境下にてカメラモジュール１１０ｂの取り込みタイミングをずらして撮影した２枚を重ね合わせて合成することで、静止画撮影画像に対し、高輝度環境下でもフリッカの縞を低減することができる。
【００２６】
他の実施例の動作としては、２つのカメラで被写体を撮影する際、取り込みタイミングではなく、２つのカメラのシャッタ速度や露光時間を変えた状態で撮影することで、同じ被写体でも異なる画像が撮影できる。例えば、夜景などのシーンで人物を撮影する際、片方は長時間露光にして明るい画像を撮影し、もう片方はシャッタを速くして手ブレのない写真が撮影できる。このようにして、両方の撮影画像が同時に確認画面として液晶に表示され、ユーザによる保存選択が可能となる。カメラモジュール１１０ｂはカメラモジュール１１０ａとは逆の動作になるような設定としておくことで、ズームや明るさ、シャッタ速度など常に２種類の条件で撮影することができる。また、言うまでもなく、同じ条件で撮影することもできる。
【００２７】
１つのカメラでも設定を変更させれば異なった条件での撮影は可能であるが、同時に撮影することは困難である。これに対し、携帯電話１００によれば、１度の撮影において別の条件で撮影することで、より良いシーンの撮影が可能となる。また、両方で撮影することで、手ブレなどで撮影に失敗するリスクも低減することができる。
【００２８】
なおまた、撮像装置として携帯電話１００の実施形態について説明したが、ハンディカムやデジカメでもＣＭＯＳセンサを２つ搭載した装置であれば適用することができる。
【００２９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【００３０】
１００  携帯電話
１１０  カメラモジュール
１２０  ＣＰＵ
１３０  ＤＳＰ
１４０  液晶画面
【図１】
2012070221.tif 000003
【図２】
2012070221.tif 000004
【図３】
2012070221.tif 000005
【図４】
2012070221.tif 000006
【図５】
2012070221.tif 000007