(57)【要約】      （修正有）【課題】複数の撮像素子の同期信号を用いることで、画質劣化した動画の判定処理の負荷を軽減する。【解決手段】静止画撮影用の第一の撮像素子と、動画撮影用の第二の撮像素子を設ける撮影手段と、被写体を照明する発光手段と、発光手段による予備発光である第一の発光及び、実際に被写体を撮影するための発光である第二の発光と同時に撮影される動画フレームを特定する特定手段と、発光手段の第一の発光の発光開始時刻を、第一の発光と同時に撮影される動画フレームの露光開始時刻に同期させることを行う調整手段と、調整手段により決定された第一の発光と同時に撮影される動画フレームが、所定以上の輝度値を持つか否かを判断する判断手段と有し、判断手段において、第一の発光と同時に撮影される動画フレームが所定輝度値以上であった場合に、第二の発光と同時に撮影される動画フレームを使用しない。【選択図】図１
2014158124.tif 000002
【特許請求の範囲】
【請求項１】
静止画を撮影するための第一の撮像素子と、動画を撮影するための第二の撮像素子を設ける撮影手段と、
前記第一の撮像素子及び第二の撮像素子の駆動の制御を行う駆動制御手段と、
フラッシュ撮影時に被写体を照明する発光手段と、
前記発光手段による予備発光である第一の発光及び、実際に被写体を撮影するための発光である第二の発光を制御する発光制御手段と、
前記発光手段による第一の発光及び、前記発光手段による第二の発光と同時に撮影される動画フレームを特定する特定手段と、
前記発光手段の第一の発光の発光開始時刻を、前記第一の発光と同時に撮影される動画フレームの露光開始時刻に同期させることを行う調整手段と、
前記調整手段により決定された第一の発光と同時に撮影される動画フレームが、所定以上の輝度値を持つか否かを判断する判断手段と有し、
前記判断手段において、第一の発光と同時に撮影される動画フレームが所定輝度値以上であった場合に、第二の発光と同時に撮影される動画フレームを使用しないことを特徴とする撮像装置。
【請求項２】
前記第一の発光及び、第二の発光と同時に撮影される動画フレームが、フレーム間予測に使われないフレームとなるように決定する参照フレーム決定手段を持つことを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記判断手段により第一の発光と同時に撮影される動画フレームが、所定以上の輝度値を持つと判断された場合に、第一及び第二の発光と同時に撮影されていないと判断した動画フレームを保存する保存手段を有し、
前記第一及び第二の発光と同時に撮影される動画フレームを、前記保存手段に保存した、第一及び第二の発光と同時に撮影されていないと判断した動画フレームに置き換える事を特徴とする、請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＭＯＳイメージセンサに代表される固体撮像素子およびカメラシステムに関するものである。
【背景技術】
【０００２】
近年、複数シーンの同時撮影や3Dカメラ等の用途で、複数の撮像素子を搭載した撮像装置に関する様々な技術が提案されている。例えば、静止画撮影中の撮影者の表情を静止画と関連づけて記録するために、一方の撮像素子で撮影者を動画記録しながら、もう一方の撮像素子で被写体の静止画撮影を行うといった提案がある。しかし前述のような用途において、ストロボ発光を伴う静止画と動画を同時に撮影した場合、ストロボ発光の影響により動画の画質が劣化してしまうという問題があった。
【０００３】
そこで、ストロボ発光を伴う静止画と動画を同時に撮影した場合の動画の画質劣化を軽減する方法が提案されている。特許文献1では、ストロボ発光を伴う静止画と動画の撮影後に、撮影したすべての動画フレームについて画質劣化があるかどうかの判定を行い、画質劣化があると判定されたフレームを直前の画質劣化のないフレームに置き換えるといった方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2010-135921号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記特許文献１に記載の技術では、静止画撮影と動画撮影の同期がとれないために、画質劣化の有無に関わらず、すべて動画フレームに対して画質劣化の判定作業を行う必要がある。そのため処理負荷が多くなり、リアルタイムでの撮影保存の処理時間がかかるという問題点がある。
【０００６】
そこで、本発明の目的は、複数の撮像素子を備えた撮像装置において、各撮像素子の同期信号を用いることで、画質劣化した動画の判定処理の負荷を軽減する撮像装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、静止画を撮影するための第一の撮像素子と、動画を撮影するための第二の撮像素子を設ける撮影手段と、前記第一の撮像素子及び第二の撮像素子の駆動の制御を行う駆動制御手段と、フラッシュ撮影時に被写体を照明する発光手段と、前記発光手段による予備発光である第一の発光及び、実際に被写体を撮影するための発光である第二の発光を制御する発光制御手段と、前記発光手段による第一の発光及び、前記発光手段による第二の発光と同時に撮影される動画フレームを特定する特定手段と、前記発光手段の第一の発光の発光開始時刻を、前記第一の発光と同時に撮影される動画フレームの露光開始時刻に同期させることを行う調整手段と、前記調整手段により決定された第一の発光と同時に撮影される動画フレームが、所定以上の輝度値を持つか否かを判断する判断手段と有し、前記判断手段において、第一の発光と同時に撮影される動画フレームが所定輝度値以上であった場合に、第二の発光と同時に撮影される動画フレームを使用しないことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、静止画撮影用の撮像素子と、動画撮影用の撮像素子を備えたカメラでフラッシュ撮影と、動画撮影を同時に行った場合に、動画フレームの発光被りに応じて対策処理をするか否かを選択して処理負荷の少ない方法で、画質劣化のない動画撮影を行う撮像装置を提供することが出来る。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に関わる撮像装置の構成を表すブロック図である。
【図２】本発明の実施形態で、何も制御を行わなかった場合のタイミングチャートを表す図である。
【図３】本発明の実施形態で、第一の発光被りフレームを１枚に収めた場合のタイミングチャートを表す図である。
【図４】本発明の実施形態の実施に関わるフローチャートを表す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の動画の発光被りフレームを選択処理する方法について説明する。図１は、本発明の撮像装置の構成を示すブロック図である。静止画を撮影するメインカメラ（本実施形は静止画撮影用としているが動画を撮影する事も出来る）と、動画を撮影するサブカメラ（本実施形は動画撮影用途であるが、静止画撮影に用いても良い）を備えている。メインカメラの撮像部１０１は、図１に示すようにメインカメラのレンズ１０２と、メインカメラのレンズ駆動部１０３と、メインカメラに入ってくる光の量を調節するメインカメラの絞り１０４と、メインカメラの絞り駆動部１０５と、画像取得を行うメインカメラの撮像素子１０６と、メインカメラの撮像素子１０６を撮影モード毎に駆動周波数を変更したり、駆動開始などの制御をおこなうメインカメラの撮像駆動部１０７、メインカメラのＣＤＳ／ＡＤ回路１０８とが含まれる。
【００１１】
同様にサブカメラの撮像部１１１には、図１に示すようにサブカメラのレンズ１１２と、サブカメラのレンズ駆動部１１３と、サブカメラの絞り１１４と、サブカメラの絞り駆動部１１５と、サブカメラの撮像素子１１６と、サブカメラの撮像駆動部１１７、サブカメラのＣＤＳ／ＡＤ回路１１８とが含まれる。ＣＰＵ１１９は、メインカメラの撮像駆動部１０７を介して、メインカメラの撮像素子１０６を駆動し、メインカメラのレンズ１０２を通して撮像した被写体画像を撮像信号として出力する命令を出す。この撮像信号を、メインカメラのＣＤＳ／ＡＤ回路部１０８によってデジタル信号に変換する。サブカメラでも同様の動作をする。操作部１２０はシャッターボタンなどカメラを動作させるための入力を受ける。
【００１２】
以降、操作部１２０のシャッターボタンが半押しのときにＳＷ１ＯＮ、操作部１２０のシャッターボタンが全押しの時にＳＷ２ＯＮ状態とする。メインカメラまたはサブカメラから受け取ったデジタル信号は、ＣＰＵ１１９により、図１のデータバス１３２で接続されたデジタル信号処理部１２６、圧縮伸長処理部１２７等に送られて、画像や動画を記録するための符号化などの処理をされる。符号化された信号は、ＶＲＡＭ１２３に保存される。ＲＯＭ１２１は、ＣＰＵ１１９が実行する制御プログラム及び制御に必要な各種データやメインカメラ及び、サブカメラの動作に関する各種設定情報などが格納されている。ＲＡＭ１２２は、ＣＰＵ１１９による演算処理領域として利用される。
【００１３】
ＣＰＵ１１９は、外部メモリ制御部１２８、表示制御部１３０等についても制御を行う。記録媒体１２９は、ＳＤカード等の事で、外部メモリ制御部１２８から撮影した画像や動画のデータを受け取る。表示部１３１は、カメラに備えられたＬＣＤや外部接続モニタなどであり、撮影した画像や、記録動画の表示を行う。発光制御部１０９は、キセノン管やＬＥＤ等によって光を発する発光手段である発光部１１０の発光量や発光開始時刻などの制御を行う。
【００１４】
図２は、本発明の実施形態で、図１の構造を持つカメラにおいて、発光被りフレームを1枚に収める制御をする前のタイミングチャートである。本発明で、発光被りフレームを1枚に収める理由は後に説明する。本発明では、フラッシュ撮影するときは、予備発光を行っている。本発明では、メインカメラが行う予備発光を第一の発光、第一の発光のために発生する露光時間を第一の露光時間とそれぞれ呼ぶことにする。
【００１５】
また、実際に被写体を撮る為に行う発光を第二の発光、第二の発光のために発生する露光時間を第二の露光時間とそれぞれ呼ぶことにする。第一の発光は、操作部１２０のＳＷ２ＯＮ後、発光制御部１０９の制御により、２ＶＤの時間後に開始される（モードやカメラによってこの時間は変化）。ＶＤとは、撮影する画像１枚を左上端から右下端にかけて水平方向1行ずつ、全ての行について読み出して画像１枚を形成するのにかかる時間である。
【００１６】
メインカメラからの第一の発光被り（本発明では、ストロボ発光と同時に動画を撮影する事を発光被りと呼ぶことにする）をしているサブカメラのｎ番目の動画フレームのことを第一の発光被りフレームと呼ぶことにする。メインカメラの第一の発光後、さらに２ＶＤ後に、メインカメラの撮像駆動部１０７の制御により、メインカメラは静止画撮影用モードに切り替わり、第二の発光を行う。第一の発光の時と同様に、メインカメラからの第二の発光被りしているサブカメラのｍ番目の動画フレームを第二の発光被りフレームと呼ぶことにする。メインカメラの発光開始時間や発光量は、発光制御部１０９によって決定される。
【００１７】
図３は、本発明の実施形態で、サブカメラの第一の発光被りフレームを決定する制御をしているときのタイミングチャートを表す図である。以降では、第一の発光被りフレームを発光被り判断部１２４により特定し、発光被り修正部１２５で、画質劣化をなくす方法について述べる。発光被りしているか否かを判断するために、サブカメラの第一の発光被りフレームをｎ番目１枚にする。光被り判断部１２４では、ｎ番目の動画フレームの平均輝度値が、発光被り判断平均輝度値よりも大きかった場合に、ｎ番目の動画フレームを第一の発光被りフレームであると判断する。
【００１８】
第一の発光被りフレームの平均輝度値はＲＡＭ１２２で計算し、ＲＯＭ１２１にあらかじめ保存している発光被り判断平均輝度値との比較を行う。サブカメラの第一の発光被りフレームをｎ番目１枚にする為に、まずＣＰＵ１１９が、サブカメラの撮像駆動部１１７の制御しているサブカメラの第一の発光被りフレームの露光開始時刻情報を受け取る。続いて、ＣＰＵ１１９は、メインカメラの第一の発光開始時間を、サブカメラの第一の発光被りフレームの露光開始時刻に同期させる命令を発光制御部１０９に出す。発光制御部１０９の制御によってサブカメラの第一の発光被りをするフレームをｎ番目１枚にする。以上の操作により、サブカメラで撮影する動画のｎ番目の第一の発光被りフレームを、発光被り判断部１２４において、１枚の発光被りフレームの平均輝度値の計算が可能になる。
【００１９】
第一の発光被りフレームが、あらかじめ定めておいた一定以上の平均輝度値を持つと判断された場合、発光被り修正部１２５において次の処理をする。第一の発光被りフレームのひとつ前（ｎ−１番目のサブカメラの動画フレーム）のフレームをＶＲＡＭ１２３に保存しておき、ｎ番目のフレームに置き換える。第二の発光被りフレームについても同様に、第二の発光被りフレームのひとつ前（ｍ−１番目のサブカメラの動画フレーム）のフレームをＶＲＡＭ１２３に保存しておき、ｍ番目のフレームに置き換える。撮影保存される動画は、膨大な容量となってしまうため、デジタル信号処理部１２６及び、圧縮伸長処理部１２７によって必ず圧縮処理される。例えば、動画保存形式がＭＰＥＧ４であれば、Ｉフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ  Ｆｒａｍｅ）、Ｐフレーム（Ｐｒｅｄｉｃｔｅｄ  Ｆｒａｍｅ）、Ｂフレーム（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  Ｐｒｅｄｉｃｔｅｄ  Ｆｒａｍｅ）のそれぞれ異なる符号化によって保存される。
【００２０】
Ｉフレームは、フレーム間予測を用いずに符号化されるフレームであり、他のＰフレーム、Ｂフレームの参照のために使われる。本発明は、第一の発光被りフレームを直前のフレームで置き換える事を行うため、圧縮率の低いＩフレームを第一の発光被りフレームに選択してしまうと、ＰまたはＢフレームを参照フレームに使うことになってしまい、画質低下の原因となってしまう。そのため、第一及び、第二の発光被りフレームには、他のフレームの予想に利用しない、ＰフレームやＢフレームなどの圧縮率の高いフレームを選択するようにする。
【００２１】
図４は、本発明の実施形態の実施に関わるフローチャートを表す図である。図４は図２及び、図３の動作を説明したものとなっている。まず、ステップＳ４０１でＳＷ２ＯＮかどうかを判断する。押されていなければまたステップＳ４０１まで戻り、押されていると判断されたらステップＳ４０２に進む。ステップＳ４０２において、ＣＰＵ１１９は、サブカメラの撮像駆動部１１７の制御しているサブカメラの第一の発光被りフレームの露光開始時刻情報を受け取る。
【００２２】
続いて、ＣＰＵ１１９は、メインカメラの第一の発光開始時間を、サブカメラの第一の発光被りフレームの露光開始時刻に同期させる命令を発光制御部１０９に出す。この操作により、ステップＳ４０３で、第一の発光被りをするフレームを１枚に収める。次のステップＳ４０４では、発光被り判断部１２４が、ステップＳ４０３で得られたフレームを、第一の発光被りフレームとして認識する。続いてステップＳ４０５では、ＲＡＭ１２２で、第一の発光被りフレームの平均輝度値を計算し、第一の発光被りフレームの平均輝度値情報を発光被り判断部１２４に送る。
【００２３】
続いてステップＳ４０６で、発光被り修正部１２５においてＲＯＭ１２１に保存している発光被り判断平均輝度値と、発光被り判断部１２４に保存した第一の発光被りフレームの平均輝度値を比較する。その結果、第一の発光被りフレームの平均輝度値が、設定していた発光被り判断平均輝度値以下の場合はステップＳ４１１に進み、これ以上フラッシュを伴う静止画を撮影するか否かを選択する。発光被り判断平均輝度値以上であればステップＳ４０７に進み、発光被り修正部１２５で第一の発光被りフレームを直前のフレームに置き換える。ｎ−１番目のフレームをＶＲＡＭ１２３に保存しておき、ｎ番目のフレームと置き換える。
【００２４】
つまり、第一の発光被りフレームであると判断した場合のみに、第一の発光被りフレームを直前のフレームに置き換える。第一の発光被りフレームの平均輝度値が、発光被り判断平均輝度値より大きいと判断された場合、その後はステップＳ４０８に進み、ＣＰＵ１１９は、サブカメラの撮像駆動部１１７から第二の発光被りフレームの露光開始時刻情報を受け取る。
【００２５】
次に、ステップＳ４０９に進み、発光制御部１０９から受け取った第二の発光開始時刻情報と合わせて第二の発光を被っているｍ番目のフレームを特定し、ｍ−１番目のフレームをＶＲＡＭ１２３に保存する。
【００２６】
次にステップＳ４１０に進む。発光被り修正部１２５で、第二の発光被りフレームを、直前のｍ−１番目のフレームに置き換える。続いてステップＳ４１１に進み、これ以上メインカメラで、フラッシュを伴う静止画を撮影するか否かを選択する。さらに撮影する場合はステップＳ４０１まで戻り、終了する場合はステップＳ４１２へ進む。ステップＳ４１２では、サブカメラでの動画撮影をこれ以上行うか否かを選択する。
【００２７】
さらに撮影する場合はステップＳ４０１まで戻り、終了するのであれば動作終了となる。以上が本発明の実施形態のフローチャートの説明であり、第一の発光および第二の発光被りフレームを置き換えるか否かを判定することができる。
【符号の説明】
【００２８】
１０１  メインカメラの撮像部
１０２  メインカメラのレンズ
１０３  メインカメラのレンズ駆動部
１０４  メインカメラの絞り
１０５  メインカメラの絞り駆動部
１０６  メインカメラの撮像素子
１０７  メインカメラの撮像駆動部
１０８  メインカメラのＣＤＳ/ＡＤ回路
１０９  発光制御部
１１０  発光部
１１１  サブカメラの撮像部
１１２  サブカメラのレンズ
１１３  サブカメラのレンズ駆動部
１１４  サブカメラの絞り
１１５  サブカメラの絞り駆動部
１１６  サブカメラの撮像素子
１１７  サブカメラの撮像駆動部
１１８  サブカメラのＣＤＳ/ＡＤ回路
１１９  ＣＰＵ
１２０  操作部
１２１  ＲＯＭ
１２２  ＲＡＭ
１２３  ＶＲＡＭ
１２４  発光被り判断部
１２５  発光被り修正部
１２６  デジタル信号処理部
１２７  圧縮伸長処理部
１２８  外部メモリ制御部
１２９  記録媒体
１３０  表示制御部
１３１  表示部
１３２  データバス
【図１】
2014158124.tif 000003
【図２】
2014158124.tif 000004
【図３】
2014158124.tif 000005
【図４】
2014158124.tif 000006