(57)【要約】      （修正有）【課題】動画像の符号化及び静止画の符号化を同時に行う符号化装置において、ストロボ発光を行う場合でも符号化効率の低下を軽減する技術を提供する。【解決手段】動画と静止画を同時に記録可能な記録装置に用いる符号化装置において、静止画記録時にフラッシュ発光を行う場合、参照画像との差分が大きくなるのを防止するため、対象の動画符号化ピクチャが参照画とならないピクチャまで待ってフラッシュ発光を行うように制御する。【選択図】図２
2015029212.tif 000002
【特許請求の範囲】
【請求項１】
動画と静止画を同時に記録可能な記録装置に用いる符号化装置において、
静止画記録時にフラッシュ発光を行う場合、対象の動画符号化ピクチャが参照画とならないピクチャまで待ってフラッシュ発光を行うように制御する制御手段を具備することを特徴とする符号化装置。
【請求項２】
前記制御手段は、Ｂピクチャとして符号化されるピクチャを撮像するときに前記フラッシュ発光を行うように制御することを特徴とする請求項１に記載の符号化装置。
【請求項３】
動画と静止画を同時に記録可能な記録装置に用いる符号化装置において、
静止画記録時にフラッシュ発光を行う場合、動画符号化から発光タイミングを決定し、参照画とならないピクチャのときにフラッシュ発光するように複数回にわたる発光間隔を制御する制御手段を具備することを特徴とする符号化装置。
【請求項４】
前記制御手段は、前記発光タイミングを動画符号化のＧＯＰ構成に基づいて決定することを特徴とする請求項３に記載の符号化装置。
【請求項５】
前記制御手段は、前記発光タイミングを連続発光の発光回数に基づいて決定することを特徴とする請求項３又は請求項４に記載の符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の符号化及び静止画の符号化を同時に行うための符号化装置に関する。
【背景技術】
【０００２】
近年、ビデオカメラの中には、動画記録だけではなく静止画を同時記録でき、フラッシュ（ストロボ）を搭載した装置がある。ビデオカメラでは、ＭＰＥＧ−２やＭＰＥＧ−４といった、符号化効率を上げるために画面間の予測を用いた符号化を行う。ＭＰＥＧ−２及びＭＰＥＧ−４では符号化ピクチャ単位（ＧＯＰ）の中に、画面内で符号化を行うＩピクチャと画面間差分で符号化を行うＰピクチャ及びＢピクチャが存在する。画面間差分で符号化を行うピクチャでは、画面間差分を行うための参照画像としてＩピクチャ及びＰピクチャを用いる。
【０００３】
この参照画像となるＩピクチャ及びＰピクチャで、ストロボの発光が行われると前後のピクチャとの差分が大きくなってしまい、符号化効率が下がり、画質劣化が発生してしまう。そのため、ストロボ発光が行われた場合、そのピクチャを強制的にＢピクチャにする、もしくは、直後のピクチャをＩピクチャとする特許提案がなされている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３２４００２４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術の構成では、Ｂピクチャの数を増やせば、参照画像との時間的な距離が広がり参照画像の差分が大きくなり、符号化効率が下がってしまう。また、ＧＯＰ内のピクチャ数を減らすと、最も符号量が必要なＩピクチャの間隔が狭くなってしまうため、画面間差分による符号化の符号化効率が下がってしまう。更に、通常時とは違う処理を行うため、符号量制御が複雑になるという課題がある。
【０００６】
本発明は上記の問題点に鑑み、ストロボ発光を行う場合でも符号化効率の低下を軽減することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る符号化装置は、動画と静止画を同時に記録可能な記録装置に用いる符号化装置であって、静止画記録時にフラッシュ発光を行う場合、対象の動画符号化ピクチャが参照画とならないピクチャまで待ってフラッシュ発光を行うように制御する制御手段を具備することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ストロボ発光前後の画像の不連続による画質劣化を低減し、より適正な動画像符号化を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施形態に係る符号化装置の構成図である。
【図２】図２は、第１の実施形態に係る動画記録時の静止画同時記録を行う場合の処理フローチャートである。
【図３】（Ａ）は、ＧＯＰ内の各ピクチャ符号量を示した図である。（Ｂ）は、Ｉピクチャでストロボ発光されたときの符号量を示した図である。（Ｃ）は、Ｂピクチャでストロボ発光されたときの符号量を示した図である。
【図４】図４は、第２の実施形態に係る動画記録時の静止画同時記録を行う場合の処理フローチャートである
【図５】図５は、符号化構成と最短ストロボ発光タイミングを示す図である。
【図６】図６は、符号化構成と一定期間の最短ストロボ発光タイミングを示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【００１１】
［実施例１］
第１の実施の形態を図１〜図３に基づき説明する。図１は、動画と静止画を同時に記録可能な記録装置に用いる符号化装置であって、本実施形態に係る第１の符号化方法を実現する構成を示す符号化装置のブロック図である。
【００１２】
図１において、１０１はレンズであり、１０２は撮像素子であり、１０３は入力された画像にガンマ補正等を行うカメラ信号処理回路である。１０４はフラッシュ（ストロボ）であり、１０５は符号化装置の制御を行う制御部（ＣＰＵ）であり、１０６は静止画記録用シャッターである。１０７は例えばＭＰＥＧ−２やＭＰＥＧ−４等で符号化順序に必要な画面並び替え回路であり、１０８は例えばＭＰＥＧ−２やＭＰＥＧ−４等の規格に対応する動画符号化回路であり、１０９は例えばＪＰＥＧ等の規格に対応する静止画符号化回路である。１１０は動画ストリーム及び静止画ファイルを不図示の記録装置に出力する出力部である。
【００１３】
図２は、動画記録時の静止画同時記録を行う場合の処理フローチャートである。図２において、ステップＳ２０１で静止画記録用シャッター１０６が押下されると、ステップＳ２０２で周囲の明るさからストロボ発光をするか否かを判定する。ストロボ発光しない場合は、ステップＳ２０６へ進む。ストロボ発光する場合は、ステップＳ２０３でストロボ発光された画像がＢピクチャとなるか否かを判定する。
【００１４】
Ｂピクチャでない場合は、ステップＳ２０５で次のピクチャまで待って、Ｓ２０３へ進む。Ｂピクチャである場合は、ステップＳ２０４でストロボ発光を行う。そして、ステップＳ２０６で動画及び静止画の符号化を行う。
【００１５】
図３（Ａ）は、ある入力画像におけるＧＯＰ内の各ピクチャ符号量を示した図である。
符号化の難易度が一定である場合、黒色マスのＩピクチャ、灰色マスのＰピクチャ、白色マスのＢピクチャがそれぞれ同じ符号量となることを示している。
【００１６】
図３（Ｂ）は、Ｉピクチャでストロボ発光がある場合の符号量を示した図である。Ｉピクチャでストロボ発光があると、次の符号化ピクチャであるＰピクチャとの差分が大きくなるため、Ｐピクチャの符号量が大きくなり、更に画質も劣化してしまう。また、前後４枚のＢピクチャも参照画像の１つとしてＩピクチャがあるため、もうひとつの参照画像であるＰピクチャを参照画像とする傾向が高くなる。
【００１７】
しかし、前述したようにＩピクチャを参照画像としたＰピクチャは画質が劣化しているため、Ｂピクチャの符号化時に差分が大きくなってしまう。このため、Ｐピクチャ及びＢピクチャの符号量が増大し、その分ＧＯＰ後半の割当可能な符号量も減ってしまい、画質劣化が続いてしまう。また、ストロボ発光がＰピクチャの場合もＩピクチャと同様である。
【００１８】
図３（Ｃ）は、Ｂピクチャでストロボ発光がある場合の符号量を示した図である。Ｂピクチャは参照画像ではないため、自ピクチャは前後の参照画像との差分が大きくなり、符号量が増大するが、他ピクチャは参照画像との差分が大きくならない。よって、ストロボ発光したＢピクチャの増加量のみ、それ以降で符号量が減るだけであり、良好な画質が保たれる。
【００１９】
以上のようにストロボ発光をＢピクチャにすることにより、ストロボ発光前後の符号量及び画質劣化を低減することができる。
【００２０】
［実施例２］
以下、本発明の第２の実施形態に係る画像符号化装置について説明する。
【００２１】
図４は、本実施形態に係る処理フローチャートである。符号化装置の構成は第１の実施形態と同様であり、図１中のＣＰＵ１０５の処理を変更することによって、第２の実施形態に係る画像符号化方法は実現される。
【００２２】
静止画記録には、ストロボ連写、赤目抑制や露出測定のためのプリ発光が行われることがあり、そういった複数回の連続発光に対応するものである。
【００２３】
図４中では前述の第１の実施形態で用いた図２と同一処理ステップには同一の番号を付している。また、全体的な処理は前述と同様であるので、処理が異なる部分について以下に説明する。静止画記録用シャッター１０６が押下されると、ステップＳ２０２で周囲の明るさからストロボ発光をするか否かを判定する。ストロボ発光する場合は、ステップＳ４１０でストロボ発光を行う発光ピクチャを決定する。
【００２４】
図５は、符号化構成と最短ストロボ発光タイミングを示す図である。図中の黒色マスがＩまたはＰピクチャであり、白色マスがＢピクチャである。ＭＰＥＧ等の符号化では、ＩまたはＰピクチャまでの距離を変えることが出来、図５ではその距離Ｍによる構成を表している。
【００２５】
例えば、Ｍ＝２では、ＩまたはＰピクチャとの間にはＢピクチャが１枚であり、Ｍ＝３では、ＩまたはＰピクチャとの間にはＢピクチャが２枚ある。ストロボを等間隔にＢピクチャで発光させる場合、このＭによって発光間隔が変わる。
【００２６】
発光間隔は、Ｍの素因数で決定する。Ｍ＝２のとき、素因数は２であり、２の倍数のピクチャ数であればＢピクチャで発光し続けることが出来る。Ｍ＝３のとき、素因数は３であり、３の倍数のピクチャ数であればＢピクチャで発光し続けることが出来る。図示していないが、Ｍ＝６のとき、素因数は２,３であり、２及び３の倍数のピクチャ数であればＢピクチャで発光し続けることが出来る。それ以外のＭでも同様である。上記のように、ＣＰＵ１０５で発光間隔を決定する。
【００２７】
図４に戻り、処理の説明を続ける。ステップＳ４１１では、発光ピクチャであるか否かを判定する。ステップＳ２０４以降は第１の実施形態と同様である。
【００２８】
また、本実施形態では、発光回数に制限がある場合にも適用が可能である。図６は、符号化構成と一定期間の最短ストロボ発光タイミングを示す図である。Ｍ＝５は素因数が５であり、５ピクチャの間隔が最短発光タイミングであるが、発光回数が３回であれば、図のように３ピクチャ間隔でも発光可能となる。また、更には、等間隔でない場合であってもよい。
【００２９】
以上のように発光ピクチャをＢピクチャのみで決定することにより、ストロボ発光前後の符号量及び画質劣化を低減することができる。
【符号の説明】
【００３０】
１０１  レンズ
１０２  撮像素子
１０３  カメラ信号処理回路
１０４  ストロボ
１０５  ＣＰＵ
１０６  シャッター
１０７  画面並び替え回路
１０８  動画符号化回路
１０９  静止画符号化回路
１１０  出力部
【図１】
2015029212.tif 000003
【図２】
2015029212.tif 000004
【図３】
2015029212.tif 000005
【図４】
2015029212.tif 000006
【図５】
2015029212.tif 000007
【図６】
2015029212.tif 000008