(57)【要約】  蛍光灯照明下等で高速撮像した際に生じるフリッカによる符号化効率の低下を抑制できる動画像符号化装置を提供する。  被写体が撮像された画像の符号化を行う動画像符号化装置（１００）であって、被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部（１２１）と、取得された輝度情報から得られる光の明滅状態に応じた、画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、画像の符号化を行う動画像符号化部（１０６）とを備える。
2009141973.tif 000002
【特許請求の範囲】
【請求項１】
被写体が撮像された画像の符号化を行う動画像符号化装置であって、
前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、
取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部と
を備える動画像符号化装置。
【請求項２】
前記動画像符号化装置は、さらに、
前記明滅状態のうち、明状態で撮像された明画像を示す画像情報を取得する画像情報取得部を備え、
前記符号化部は、前記画像情報で示される明画像を、画面内予測符号化と、当該明画像の撮像時刻よりも過去に撮像された明画像の復号画像を参照して符号化を行う順方向画面間予測符号化とのうち、少なくとも１つにより符号化する
請求項１に記載の動画像符号化装置。
【請求項３】
前記動画像符号化装置は、さらに、
前記被写体を所定の撮像周期で撮像する撮像部を備え、
前記画像情報取得部は、前記撮像周期で撮像された画像の中から前記明画像を特定し、前記明画像を示す画像情報を取得する
請求項２に記載の動画像符号化装置。
【請求項４】
前記動画像符号化装置は、さらに、
前記輝度情報取得部が取得した輝度情報から、前記光が明滅する周期であるフリッカ周期を取得するフリッカ周期取得部と、
取得された前記フリッカ周期が前記撮像周期の整数倍になるように、前記撮像部が撮像する撮像周期を変更する撮像周期変更部とを備える
請求項３に記載の動画像符号化装置。
【請求項５】
前記輝度情報取得部は、撮像された画像の平均輝度値を前記輝度情報として取得する
請求項１に記載の動画像符号化装置。
【請求項６】
前記動画像符号化装置は、さらに、
前記被写体が撮像された環境での光の照明輝度を測光する照明輝度測光部を備え、
前記輝度情報取得部は、測光された前記照明輝度を前記輝度情報として取得する
請求項１に記載の動画像符号化装置。
【請求項７】
前記符号化部は、さらに、撮像された前記明画像以外の画像については、符号化された当該明画像が復号された復号画像を参照した重み付き予測符号化により符号化を行う
請求項２に記載の動画像符号化装置。
【請求項８】
前記符号化部は、前記明画像と、符号化対象となる前記明画像以外の画像とが撮像された環境での輝度情報の比を基に重みを決定することで、前記重み付き予測符号化により符号化を行う
請求項７に記載の動画像符号化装置。
【請求項９】
前記符号化部は、撮像された所定の数の画像をグループ画像とし、前記グループ画像に含まれる画像のうち、撮像順で最初の明画像については、画面内予測符号化により符号化を行う
請求項２に記載の動画像符号化装置。
【請求項１０】
被写体が撮像された画像の符号化を行う動画像符号化方法であって、
前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得ステップと、
取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化ステップと
を含む動画像符号化方法。
【請求項１１】
被写体が撮像された画像の符号化を行うための動画像符号化プログラムであって、
前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得ステップと、
取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化ステップと
をコンピュータに実行させる動画像符号化プログラム。
【請求項１２】
被写体が撮像された画像の符号化を行う動画像符号化集積回路であって、
前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、
取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部と
を備える動画像符号化集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に関するデータを符号化する動画像符号化装置及び動画像符号化方法に関し、特に蛍光灯照明下等において、高速撮像した際に生じるフリッカによる符号化効率の低下を抑制できる動画像符号化技術に関する。
【背景技術】
【０００２】
蛍光灯照明下において、撮像された画像データには、蛍光灯の電源周波数による明滅のフリッカ成分が含まれる。例えば、関東地区では商用電源周波数は５０Ｈｚであり、蛍光灯はその半波整流周期毎に明滅するため、明滅周波数は１００Ｈｚである。このような照明環境下で例えば毎秒６０フィールドの撮像を行うと、照明の明滅の周期（フリッカ周期）と、撮像の周期（撮像周期）とが異なるため、各フィールド画像の輝度が異なり映像信号にはフリッカ成分が含まれることになる。【０００３】
そして、このようなフリッカ成分を含む映像信号を符号化すると、映像信号の圧縮効率が低下するという課題があった。そこで、従来、フリッカによる雑音成分を除去し、映像信号の圧縮効率の低下を抑制する技術が開示されている（例えば、特許文献１参照）。この従来の技術によれば、映像信号の信号レベルの変化量（差分）に基づいて、信号レベルを差分補正することにより、当該信号レベルからフリッカによる雑音成分を除去する。これにより、映像信号の圧縮効率の低下を抑制することができ、フリッカによる符号化効率の低下を抑制することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−１３０８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の技術では、フリッカによる雑音成分を除去することが困難なために、フリッカによる符号化効率の低下を抑制することができない場合があるという課題がある。【０００６】
つまり、被写体が撮像された環境下における光の状態によってフリッカが発生し、かつ、上記フリッカによるフリッカ周期に比べて非常に短い撮像周期で撮像を行う場合、各画像間の平均輝度が大きく異なる。このため、上記特許文献１等で開示されている従来の技術では、映像信号の信号レベルの差分が大きくなり過ぎて、信号レベルを差分補正しフリッカによる雑音成分を除去することが困難になる。【０００７】
特に、照明の輝度が低いタイミングで撮像した画像について、フリッカによる雑音成分を除去することができなければ、当該画像の信号対雑音電力比は低下する。つまり、フリッカによる符号化効率の低下を抑制することができない。【０００８】
このように、撮像周期がフリッカ周期に比べて非常に短い場合、上記従来の技術では、フリッカによる雑音成分を除去することが困難なために、フリッカによる符号化効率の低下を抑制することができない場合があるという課題がある。【０００９】
本発明は、このような従来の課題を解決するもので、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現できる動画像符号化装置及び動画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る動画像符号化装置は、被写体が撮像された画像の符号化を行う動画像符号化装置であって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部とを備える。【００１１】
また、本発明は、このような動画像符号化装置として実現できるだけでなく、その装置を構成する各処理部を備え当該動画像符号化装置を制御する集積回路として実現したり、当該各処理部の処理をステップとする方法として実現したりすることができる。さらに、本発明は、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。
【発明の効果】
【００１２】
本発明の動画像符号化装置及び動画像符号化方法によれば、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現することができる。【００１３】
（本願の技術的背景に関する情報）
２００８年５月２０日に出願された出願番号２００８−１３１５０９の日本出願の明細書、図面および特許請求の範囲における開示は、その全体を、参照用として、本願に取り込む。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の実施の形態１における動画像符号化装置の機能的な構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１におけるフリッカ制御部の機能的な構成を示すブロック図である。
【図３】図３は、本発明の実施の形態１における動画像符号化装置の動作手順を示すフローチャートである。
【図４】図４は、本発明の実施の形態１の動画像符号化装置における動画像符号化方法を説明する図である。
【図５】図５は、本発明の実施の形態１における照明輝度測光部を備える動画像符号化装置の機能的な構成を示すブロック図である。
【図６】図６は、本発明の実施の形態２における動画像符号化装置の機能的な構成を示すブロック図である。
【図７】図７は、本発明の実施の形態２におけるフリッカ周期が撮像周期の整数倍とならない場合の動画像符号化方法を説明する図である。
【図８】図８は、本発明の実施の形態２の変形例における撮像周期を変更する制御部の機能的な構成を示すブロック図である。
【図９】図９は、従来の動画像符号化装置の機能的な構成を示すブロック図である。
【図１０】図１０は、従来の動画像符号化装置における動画像符号化方法を説明する図である。
【図１１】図１１は、動画像符号化装置を集積回路で実現する一例を示す図である。
【発明を実施するための形態】
【００１５】
本発明の実施の形態においては、被写体が撮像された画像の符号化を行う動画像符号化装置であって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部とを備えることを特徴としている。
【００１６】
これにより、輝度情報から得られる前記光の明滅状態に応じた符号化方法により、符号化が行われる。つまり、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、フリッカによる明滅状態に応じた符号化方法で、画像の符号化が行われる。このため、フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現することが可能となる効果を奏する。
【００１７】
また、前記動画像符号化装置は、さらに、前記明滅状態のうち、明状態で撮像された明画像を示す画像情報を取得する画像情報取得部を備え、前記符号化部は、前記画像情報で示される明画像を、画面内予測符号化と、当該明画像の撮像時刻よりも過去に撮像された明画像の復号画像を参照して符号化を行う順方向画面間予測符号化とのうち、少なくとも１つにより符号化する構成にしても構わない。
【００１８】
これにより、画面内予測符号化および順方向画面間予測符号化によって符号化される画像を、照明光の輝度が高いタイミングで撮像された明画像としている。このため、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該明画像の信号対雑音電力比を高くすることができる。また、複数の明画像を撮像した場合に、複数の明画像間での撮像時の照明光の輝度を略同一とみなすことができる。そのため、当該複数の明画像間の相関が高くなり、高効率の符号化を実現することが可能となる効果を奏する。
【００１９】
また、前記動画像符号化装置は、さらに、前記被写体を所定の撮像周期で撮像する撮像部を備え、前記画像情報取得部は、前記撮像周期で撮像された画像の中から前記明画像を特定し、前記明画像を示す画像情報を取得する構成にしても構わない。
【００２０】
これにより、被写体を所定の撮像周期で撮像し、当該撮像周期で撮像された画像の中から明画像を特定している。このため、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、周期的に特定される当該明画像の信号対雑音電力比を高くすることができる。また、この周期的に特定される明画像間での撮像時の照明光の輝度を略同一とみなすことができる。そのため、明画像間の相関が高くなり、高効率の符号化を実現することが可能となる効果を奏する。
【００２１】
また、前記動画像符号化装置は、さらに、前記輝度情報取得部が取得した輝度情報から、前記光が明滅する周期であるフリッカ周期を取得するフリッカ周期取得部と、取得された前記フリッカ周期が前記撮像周期の整数倍になるように、前記撮像部が撮像する撮像周期を変更する撮像周期変更部とを備える構成にしても構わない。
【００２２】
これにより、明画像間に挟まる双方向画面間予測符号化を行う画像の数も一定とすることが可能となり、符号化制御が容易となる効果を奏する。
【００２３】
また、前記輝度情報取得部は、撮像された画像の平均輝度値を前記輝度情報として取得する構成にしても構わない。
【００２４】
これにより、撮像された画像に関する情報のみから輝度情報を取得することが可能となる効果を奏する。
【００２５】
また、前記動画像符号化装置は、さらに、前記被写体が撮像された環境での光の照明輝度を測光する照明輝度測光部を備え、前記輝度情報取得部は、測光された前記照明輝度を前記輝度情報として取得する構成にしても構わない。
【００２６】
これにより、フリッカ周期内に含まれる画像を基に輝度情報を算出する場合と比べて、例えば画像の平均輝度の計算が不要となり、さらに被写体像が変化することによる画像平均輝度変化の影響が軽減される効果を奏する。
【００２７】
また、前記符号化部は、さらに、撮像された前記明画像以外の画像については、符号化された当該明画像が復号された復号画像を参照した重み付き予測符号化により符号化を行う構成にしても構わない。
【００２８】
これにより、符号化対象となる明画像以外の画像と、符号化された明画像の復号画像を参照して生成する動き補償予測画像の相関が高くなるため、符号化効率をより改善することが可能となる効果を奏する。
【００２９】
また、前記符号化部は、前記明画像と、符号化対象となる前記明画像以外の画像とが撮像された環境での輝度情報の比を基に重みを決定することで、前記重み付き予測符号化により符号化を行う構成にしても構わない。
【００３０】
これにより、符号化対象となる明画像以外の画像と、符号化された明画像の復号画像を参照して生成する動き補償予測画像との平均輝度を略同一にし、符号化効率をより改善することが可能となる効果を奏する。
【００３１】
また、前記符号化部は、撮像された所定の数の画像をグループ画像とし、前記グループ画像に含まれる画像のうち、撮像順で最初の明画像については、画面内予測符号化により符号化を行う構成にしても構わない。
【００３２】
これにより、例えば、グループ画像をＭＰＥＧ−２規格などに定められたＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）とすることで、ＧＯＰ構造を守り、符号化できる効果を奏する。
【００３３】
また、被写体が撮像された画像の符号化を行う動画像符号化方法であって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得ステップと、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化ステップとを含む構成にしても構わない。
【００３４】
これにより、画像が撮像された環境の光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現することができるという効果を奏する。
【００３５】
また、被写体が撮像された画像の符号化を行うための動画像符号化プログラムであって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得ステップと、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化ステップとをコンピュータに実行させるための動画像符号化プログラムとして構成しても構わない。
【００３６】
これにより、画像が撮像された環境の光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該フリッカによる符号化効率の低下を抑制し、高効率の符号化をプログラムによって実現することができるという効果を奏する。
【００３７】
また、被写体が撮像された画像の符号化を行う動画像符号化集積回路であって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部とを備える動画像符号化集積回路として構成しても構わない。
【００３８】
これにより、画像が撮像された環境の光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該フリッカによる符号化効率の低下を抑制し、高効率の符号化を符号化集積回路によって実現することができるという効果を奏する。
【００３９】
なお、本発明における撮像周期とは、隣り合う画像間の時間間隔によって表されるものである。つまり、撮像周期は、単位時間あたりに撮像される画像の枚数の逆数である。単位時間とは、秒、分、時を基本単位としても構わない。
【００４０】
また、フリッカ周期とは、例えば蛍光灯の電源周波数による明滅においては、明から明、または滅から滅までの時間間隔によって表されるものである。
【００４１】
さらに、明画像とは、例えば蛍光灯の電源周波数による明滅において、明状態で撮像された画像等、自装置が置かれた環境下における光状態のうち明状態で撮像された画像を指す。
【００４２】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【００４３】
（実施の形態１）
図１は、実施の形態１における動画像符号化装置１００のハードウェア構成を示すブロック図である。
【００４４】
図２は、実施の形態１におけるフリッカ制御部１０５の機能的な構成を示すブロック図である。
【００４５】
なお、本発明の実施の形態１における動画像符号化装置１００は、ここでは、電源周波数が６０Ｈｚの蛍光灯照明下において、毎秒４８０フィールドのインタレース走査画像を撮像することを想定するが、このような構成に限定されるものではなく、どのような撮像周期で画像を撮像しても構わない。
【００４６】
図１に示すように、動画像符号化装置１００は、レンズ群１０１、撮像部１０２、Ａ／Ｄ変換部１０３、画像信号処理部１０４、フリッカ制御部１０５、動画像符号化部１０６、記録処理部１０７、記録制御部１０８、入力部１０９、及び制御部１１０を備える。
【００４７】
入力部１０９は、入力デバイスを介して、撮像部１０２における撮像周期の設定などのユーザ操作を受け付ける。そして、入力部１０９は、受け付けたユーザ操作を操作情報として制御部１１０に出力する。この入力部１０９に入力されるユーザ操作は、例えば、タッチパッド入力装置、ポインティングデバイス、タブレット等を利用して入力される。
【００４８】
制御部１１０は、撮像部１０２、画像信号処理部１０４、フリッカ制御部１０５、動画像符号化部１０６、記録処理部１０７、及び記録制御部１０８を制御して、動画像符号化装置１００における記録処理等を実行する。この制御部１１０は、例えばソフトウェアを実行可能なＣＰＵ等で構成しても構わない。
【００４９】
レンズ群１０１は、複数の光学レンズから構成される。
【００５０】
撮像部１０２は、被写体を所定の撮像周期で撮像する。具体的には、撮像部１０２は、例えばＣＣＤ素子等の撮像素子等から構成され、レンズ群１０１を介して入力される被写体を撮像する。また、撮像部１０２が撮像する際の撮像周期は、入力部１０９から制御部１１０に出力された操作情報を基に、制御部１１０を介して指定される。
【００５１】
そして、撮像部１０２は、撮像した画像をアナログ信号としてＡ／Ｄ変換部１０３に出力する。なお、撮像部１０２は、ＣＣＤ素子を利用した構成に限定されるものではなく、ＣＭＯＳ素子を利用した構成にしても構わない。ＣＭＯＳ素子を用いることにより、消費電力を低減することが可能となる。
【００５２】
Ａ／Ｄ変換部１０３は、撮像部１０２から出力されたアナログ信号をデジタル信号に変換する。そして、Ａ／Ｄ変換部１０３は、変換して得られたデジタル信号を画像信号処理部１０４に出力する。
【００５３】
画像信号処理部１０４は、Ａ／Ｄ変換部１０３から出力されたデジタル信号に対してノイズ除去や画質調整等の処理を施したのち、毎秒４８０フィールドのインタレース走査画像（以下、４８０ｉ画像と称す。）を、フリッカ制御部１０５および、動画像符号化部１０６に出力する。
【００５４】
フリッカ制御部１０５は、入力される４８０ｉ画像を基に、自装置が置かれた環境の光状態によるフリッカの有無および、４８０ｉ画像に含まれる画像のうち、明画像の画像情報を、フリッカ情報として動画像符号化部１０６に出力する。
【００５５】
具体的には、図２に示すように、フリッカ制御部１０５は、輝度情報取得部１２１、画像情報取得部１２２、フリッカ周期取得部１２３及び制御バッファ部１２４を備えている。
【００５６】
輝度情報取得部１２１は、被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する。具体的には、輝度情報取得部１２１は、撮像された画像の平均輝度値を、輝度情報として取得する。
【００５７】
さらに具体的には、輝度情報取得部１２１は、４８０ｉ画像に含まれる画像毎の平均輝度値を、当該画像の画素値に基づく輝度値の平均値として算出し、時系列にフリッカ制御部１０５の内部に含まれる制御バッファ部１２４に保存しておく。
【００５８】
そして、輝度情報取得部１２１は、制御バッファ部１２４に保存される平均輝度が周期的に極大値、または極小値をとる場合には、フリッカが発生していると判定し、フリッカ情報として、画像情報取得部１２２を介して動画像符号化部１０６に出力する。
【００５９】
フリッカ周期取得部１２３は、輝度情報取得部１２１が取得した輝度情報から、光が明滅する周期であるフリッカ周期を取得する。具体的には、フリッカ周期取得部１２３は、制御バッファ部１２４に保存される平均輝度が周期的に極大値、または極小値をとる場合に、上記極大値、または上記極小値を取る画像の画像間隔を基に、フリッカ周期を算出する。
【００６０】
画像情報取得部１２２は、輝度情報取得部１２１が取得した輝度情報から得られる、被写体が撮像された環境での光の明滅状態のうち、明状態で撮像された明画像を示す画像情報を取得する。具体的には、画像情報取得部１２２は、撮像周期で撮像された画像の中から明画像を特定し、明画像を示す画像情報を取得する。
【００６１】
さらに具体的には、画像情報取得部１２２は、上記極大値を取る画像を、自装置が置かれた環境の光状態が明状態に撮像された明画像と判定し、その画像の画像情報を取得する。そして、画像情報取得部１２２は、当該明画像の画像情報をフリッカ情報として動画像符号化部１０６に出力する。
【００６２】
なお、画像情報は、画像を一意に識別可能な情報であればどのようなものを用いても良く、例えば、画像を撮像した際の撮影時刻情報や、画像のヘッダに含まれる情報等を利用する構成にしても構わない。なお、画像の輝度を算出する際に、画像の平均輝度を算出したが、例えば画像の部分的な平均輝度を算出する構成にしても構わない。
【００６３】
また、制御バッファ部１２４は、不揮発性メモリ等の記録媒体であり、フリッカ制御部１０５に含まれる構成としたが、例えば外部に制御バッファ部１２４を設ける構成にしても構わない。
【００６４】
また、フリッカの有無の判定方法は、画像の平均輝度が周期的に極大値、または極小値をとる場合、フリッカが発生していると判定したが、このような構成に限定されるものではなく、従来から用いられているフリッカの検出方法であればどのようなものを用いても構わない。
【００６５】
図１に戻り、動画像符号化部１０６は、輝度情報取得部１２１が取得した輝度情報から得られる光の明滅状態に応じた、画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、画像の符号化を行う。なお、動画像符号化部１０６は、請求の範囲に記載の「符号化部」に相当する。
【００６６】
具体的には、動画像符号化部１０６は、フリッカ制御部１０５から出力されたフリッカ情報を基に、画像信号処理部１０４から出力された４８０ｉ画像を、圧縮規格であるＭＰＥＧ−２規格や、Ｈ．２６４規格等の符号化方法に基づいて毎秒６０フィールドのインタレース走査画像（以下、６０ｉ画像と称す）として圧縮し、付属情報や、音声信号（図示せず）をＭＰＥＧ−２  Ｓｙｓｔｅｍｓ等の多重方法に基づいて多重する。そして、多重して得られた動画ファイルを、記録処理部１０７に出力する。
【００６７】
また、動画像符号化部１０６は、符号化の際に他の画像から参照される符号化された明画像の復号画像および、撮像順で次の明画像が符号化されるまで符号化を開始できない画像を蓄積するための符号化バッファ部１３１を、内部に備える。符号化バッファ部１３１は、不揮発性メモリ等の記録媒体である。
【００６８】
この動画像符号化部１０６における圧縮方法は、上記フリッカ情報により示される明画像を、画面内予測符号化と、上記符号化バッファ部１３１に蓄積される当該明画像の撮像時刻よりも過去に撮像され符号化された明画像が復号された復号画像を参照して符号化を行う順方向画面間予測符号化とのうち、少なくとも１つを用いて符号化するものである。
【００６９】
具体的には、動画像符号化部１０６は、撮像された所定の数の画像をグループ画像とし、当該グループ画像に含まれる画像のうち、撮像順で最初の明画像については、画面内予測符号化により符号化を行う。このグループ画像は、例えばＧＯＰである。なお、このグループ画像に含まれる画像の数は、一定でなくともよく、グループ画像ごとに変化するものであってもよい。
【００７０】
さらに、動画像符号化部１０６は、明画像以外の画像は、符号化の際に参照する撮像順で次の明画像が符号化されるまで上記符号化バッファ部１３１に蓄積された後、上記符号化バッファ部１３１に蓄積される当該画像よりも過去に撮像され符号化された明画像の復号画像と、未来に撮像され符号化される明画像の復号画像との２つを参照する双方向画面間予測符号化を用いて符号化を行うものとする。
【００７１】
この場合、画面内予測符号化および、順方向画面間予測符号化で符号化される画像は、照明光の輝度が高いタイミングで撮像されている画像であるため、信号対雑音電力比が高く、撮像時の照明光の輝度を略同一とみなせるため、画像間の相関が高くなり、高効率の符号化が可能となる効果を奏する。なお、このように６０ｉ画像として符号化された４８０ｉ画像は、８倍速スローの６０ｉ画像として復号し再生することが可能となる。
【００７２】
記録処理部１０７は、動画像符号化部１０６から出力された動画ファイルを、上記圧縮規格に設定されているファイル構成に従って記録媒体１０に書き込む。なお、記録媒体１０は、動画像符号化装置１００に内蔵される記録デバイス、例えばハードディスクドライブでも構わないし、着脱可能な半導体メモリ、例えばＳＤカード等を利用する構成にしても構わない。
【００７３】
記録制御部１０８は、記録媒体１０を駆動するドライブ装置、あるいは、記録アドレス入力手順等の記録プロトコルを制御する。
【００７４】
以下、本発明の実施の形態１における動画像符号化装置１００における、フリッカ情報を用いた動作について、図面を参照しながら説明する。
【００７５】
図３は、動画像符号化装置１００によって被写体を撮像した際の、画像の符号化を示すフローチャートである。また、図４は、動画像符号化装置１００における動画像符号化方法を説明する図である。
【００７６】
（ステップＳ１００１）動画像符号化装置１００は、被写体を撮像し、画像信号処理部１０４において４８０ｉ画像を得ると、該４８０ｉ画像を、フリッカ制御部１０５と動画像符号化部１０６とに出力し、ステップＳ１００２に進む。
【００７７】
（ステップＳ１００２）次に、フリッカ制御部１０５に、入力画像が画像信号処理部１０４から入力されると、輝度情報取得部１２１は、輝度情報を取得し、当該輝度情報を制御バッファ部１２４に記憶させる。そして、輝度情報取得部１２１は、当該輝度情報から入力画像の平均輝度を計算し、算出された平均輝度値と、制御バッファ部１２４に時系列で保存された過去の入力画像の平均輝度を基に、現在入力された入力画像に、フリッカが存在するか否かを判定する。フリッカが発生していると判定された場合はステップＳ１００３に進む。一方、フリッカが発生していないと判定された場合は、ステップＳ１０１０に進む。
【００７８】
（ステップＳ１００３）そして、フリッカ周期取得部１２３は、入力画像にフリッカが発生していると判定された場合、フリッカ周期を取得する。そして、画像情報取得部１２２は、時系列で保存された画像の平均輝度が極大値を取る画像間隔を基に、当該入力画像が明画像に該当するか否かを判定する。当該入力画像が明画像であると判定された場合は、ステップＳ１００４に進む。一方、入力画像が明画像でないと判定された場合は、ステップＳ１００９に進む。
【００７９】
例えば、図４に示すように、電源周波数が６０Ｈｚの蛍光灯照明下で、撮像周期が１／４８０秒である４８０ｉ画像の撮像を行った場合、４８０ｉ画像に含まれる画像の平均輝度が極大値を取る画像は、画像１１０３および、画像１１０７である。つまり、フリッカ周期は４画像単位の１／１２０秒となる。また、入力画像が明画像であると判定された場合は、画像情報取得部１２２は、画像の平均輝度が極大値をとる画像１１０３および、画像１１０７の画像情報をフリッカ情報として、動画像符号化部１０６に出力する。
【００８０】
（ステップＳ１００４）入力画像が明画像であると判定された場合、動画像符号化部１０６は、入力画像が各ＧＯＰの撮影順で最初の明画像であるか否かを判定する。ＧＯＰ内で最初の明画像であると判定された場合は、ステップＳ１００５に進む。一方、各ＧＯＰの撮影順で最初の明画像でないと判定された場合は、ステップＳ１００６に進む。
【００８１】
（ステップＳ１００５）入力画像がＧＯＰ内で最初の明画像であると判定された場合、動画像符号化部１０６は、入力画像を画面内予測符号化により符号化する。さらにステップＳ１００７に進む。
【００８２】
（ステップＳ１００６）入力画像が各ＧＯＰの撮影順で最初の明画像でないと判定された場合、動画像符号化部１０６は、符号化バッファ部１３１に蓄積されている当該明画像の撮影時刻よりも過去の撮影時刻を持つ明画像の復号画像を参照して、順方向画面間予測符号化により符号化する。さらにステップＳ１００７に進む。
【００８３】
（ステップＳ１００７）ステップＳ１００６で符号化された明画像は、他の画像の符号化の際に参照され得るため、当該明画像の復号画像を符号化バッファ部１３１に蓄積する。さらにステップＳ１００８に進む。
【００８４】
（ステップＳ１００８）動画像符号化部１０６は、符号化バッファ部１３１に蓄積されている過去に入力された未符号化画像を、符号化バッファ部１３１に蓄積されている明画像の復号画像を参照した双方向画面間予測符号化により符号化する。そして、ステップＳ１０１１に進む。
【００８５】
（ステップＳ１００９）一方、入力画像が明画像でないと判定された場合、動画像符号化部１０６は入力画像を符号化バッファ部１３１に蓄積する。そして、ステップＳ１０１１に進む。
【００８６】
（ステップＳ１０１０）また、動画像符号化部１０６は、入力画像にフリッカが発生していないと判定された場合、入力画像をフリッカの影響を考慮せずに符号化する。そして、ステップＳ１０１１に進む。
【００８７】
（ステップＳ１０１１）そして、制御部１１０からの制御を基に、符号化処理の終了を判定する。符号化処理を続行する場合は、再度ステップＳ１００１以降の処理を行う。
【００８８】
なお、実施の形態１において、動画像符号化装置１００は、フリッカ制御部１０５が画像信号処理部１０４から出力される画像を基に輝度情報を算出するとしたが、動画像符号化装置は、照明輝度測光部を備えることにしてもよい。
【００８９】
図５は、照明輝度測光部１１１を備える動画像符号化装置３００の機能的な構成を示すブロック図である。
【００９０】
同図に示すように、動画像符号化装置３００は、光センサーなどから構成される照明輝度測光部１１１を備えている。
【００９１】
照明輝度測光部１１１は、被写体が撮像された環境での光の照明輝度を測光する。
【００９２】
そして、図２に示されたフリッカ制御部１０５の輝度情報取得部１２１は、照明輝度測光部１１１が測光した照明輝度を輝度情報として取得する。つまり、輝度情報取得部１２１は、当該照明輝度測光部１１１において得られる照明の測光結果を基に輝度情報を算出する。
【００９３】
このように、照明の測光結果を基に輝度情報を算出する場合、フリッカ周期内に含まれる画像を基に輝度情報を算出する場合と比べて、例えば画像の平均輝度の計算が不要となること、撮像対象物の変化による画像平均輝度変化の影響が軽減されること、などの効果を奏することが期待される。
【００９４】
また、動画像符号化部１０６は、各フリッカ周期内における画像のうち、画像の平均輝度が最大となる明画像以外の画像については、符号化された当該明画像が復号された復号画像を参照した重み付き予測を用いた画面間予測符号化により符号化してもよい。符号化の際に使用する重みは、例えば参照画像である明画像と符号化対象となる明画像以外の画像とが撮像された環境での平均輝度の比から求めることができる。
【００９５】
具体的には、符号化対象画像の平均輝度をｐ、当該符号化対象画像の時間的に前における輝度が所定の閾値よりも大きい画像である前画像の平均輝度をｑ０、当該符号化対象画像の時間的に後における輝度が所定の閾値よりも大きい画像である後画像の平均輝度をｑ１、当該前画像から生成する動き補償予測画像にかける重み係数をＷ０、当該後画像から生成する動き補償予測画像にかける重み係数をＷ１とすると、Ｗ０＝ｐ／２ｑ０、Ｗ１＝ｐ／２ｑ１とすればよい。
【００９６】
このような重み係数をかけて生成される動き補償予測画像の平均輝度は、Ｗ０×ｑ０＋Ｗ１×ｑ１＝ｐとなり符号化対象画像の平均輝度と略同一となる。この結果、符号化対象画像と動き補償予測画像の相関が高くなるため、符号化効率を改善できる。
【００９７】
また、動画像符号化装置１００は、撮像する画像をフリッカ制御部１０５と、動画像符号化部１０６とに同時に入力するものとしたが、撮像する画像を、フリッカ制御部１０５と、動画像符号化部１０６とは異なる位置に配されるフレームバッファ部とに蓄積し、フレームバッファ部に蓄積された画像に関して、フリッカ制御部１０５でフリッカの有無を判定した後、動画像符号化部１０６で符号化を実行してもよい。
【００９８】
上記本実施の形態１における動画像符号化装置１００は、フリッカ制御部１０５で検出されるフリッカ情報を基に、画像が撮像された環境の光の明滅状態のうち、明状態に撮像された明画像（例えば、図４に示された画像１１０３や画像１１０７）を画面内予測符号化、またはその画像よりも過去に撮像され符号化された明画像の復号画像を参照した順方向画面間予測符号化により符号化する。
【００９９】
これにより、これら画面内予測符号化および順方向画面間予測符号化で符号化された画像は、照明光の輝度が高いタイミングで撮像されているため信号対雑音電力比が高く、撮像時の照明光の輝度を略同一とみなせるため、画像間の相関が高くなり、フリッカによる符号化効率の低下を抑制できる。また、これら画面内予測符号化および順方向画面間予測符号化で符号化された画像の復号画像を参照して符号化される画像（例えば、図４に示された画像１１０４、画像１１０５や画像１１０６）についても、参照画像の符号化効率が高く信号対雑音電力比が向上することから、フリッカによる符号化効率の低下を抑制できる。
【０１００】
なお、この画面内予測符号化および順方向画面間予測符号化で符号化された画像の復号画像を参照して符号化される画像の枚数は、フリッカ周期ごとに一定数でなくともよく、フリッカ周期ごとに変化してもよい。この場合であっても、当該画像の信号対雑音電力比が向上することから、フリッカによる符号化効率の低下を抑制できる。
【０１０１】
（実施の形態２）
以下、本発明の実施の形態２における動画像符号化装置２００について、図面を参照しながら説明する。本実施の形態２における動画像符号化装置２００と、実施の形態１における動画像符号化装置１００との相違点は、フリッカ制御部１０５によって算出されるフリッカ周期を基に、制御部２１０が受け付ける入力部１０９からの指定撮像周期を制限することである。
【０１０２】
図６は、本発明の実施の形態２における動画像符号化装置２００のハードウェア構成を示すブロック図である。なお、実施の形態１における動画像符号化装置１００のハードウェア構成と同じものは、同一符号を使用し、その詳細な説明は省略する。
【０１０３】
図７は、本発明の実施の形態２におけるフリッカ周期が撮像周期の整数倍とならない場合の動画像符号化方法を説明する図である。具体的には、同図は、電源周波数が５０Ｈｚの蛍光灯照明下で、毎秒２５０フィールドの撮像を行った場合の符号化方法を示す。
【０１０４】
つまり、フリッカ周期は１／１００秒であり、撮像周期は１／２５０秒である。このように、フリッカ周期が撮像周期の整数倍とならない（同図の場合は２．５倍）場合、各フリッカ周期内における画像のうち、画像の平均輝度が最大となる画像１２０１と画像１２０２との平均輝度が、所定の誤差以下とはならない。このため、画像間での相関が小さくなり符号化効率の低下を招く恐れがある。
【０１０５】
また、同図に示すように、画像１２０１と画像１２０２との間には２枚の画像があるのに対し、画像１２０２と画像１２０３との間には１枚の画像しかない。このように、画面内予測符号化または順方向画面間予測符号化を行う画像の間に挟まる双方向画面間予測符号化を行う画像の数が一定とならず、符号化制御が複雑となる。
【０１０６】
そこで、本発明の実施の形態２の動画像符号化装置２００の制御部２１０は、フリッカ制御部１０５のフリッカ周期取得部１２３によって算出されるフリッカ周期を基に、フリッカ周期が撮像周期の整数倍になるように、入力部１０９から受け付ける指定撮像周期を制限する。
【０１０７】
このように、フリッカ周期が撮像周期の整数倍となるように制御部２１０が制御することで、各フリッカ周期内における画像のうち、画像の平均輝度が最大となる画像間で撮像時の照明の輝度が略同一となる。そのため、フリッカによる符号化効率の低下を抑制できる効果を奏する。
【０１０８】
さらに、上記のように制御することで、画面内予測符号化または順方向画面間予測符号化を行う画像の間に挟まる双方向画面間予測符号化を行う画像の数も一定となる。そのため、符号化制御が容易となる効果を奏する。
【０１０９】
なお、予め指定されている撮像周期が、フリッカ周期が撮像周期の整数倍となるような周期ではない場合、制御部２１０は、ディスプレイなどのユーザーインターフェースを通じて使用者に撮像周期の変更を促す構成にしても構わない。
【０１１０】
また、制御部２１０が自動的に撮像周期を変更する構成にしても構わない。
【０１１１】
図８は、本発明の実施の形態２の変形例における撮像周期を変更する制御部２１０の機能的な構成を示すブロック図である。
【０１１２】
同図に示すように、制御部２１０は、撮像周期変更部１４１を備えている。
【０１１３】
そして、撮像周期変更部１４１は、フリッカ周期取得部１２３が取得したフリッカ周期が撮像周期の整数倍になるように、撮像部１０２が撮像する撮像周期を変更する。
【０１１４】
このように、本実施の形態２における動画像符号化装置２００は、フリッカ制御部１０５によって算出されるフリッカ周期を基に、入力部１０９から受け付ける指定撮像周期を、フリッカ周期が撮像周期の整数倍となるような周期に制限する。
【０１１５】
これにより、画像が撮像された環境の光の明滅状態のうち、明状態に撮像された画像間で撮像時の照明の輝度が略同一となり、フリッカによる符号化効率の低下を抑制できる効果を奏する。また、明画像間に挟まる双方向画面間予測符号化を行う画像の数も一定とすることが可能となり、符号化制御が容易となる効果を奏する。
【０１１６】
次に、本発明の実施の形態に係る動画像符号化装置の効果について、具体的に説明する。
【０１１７】
まず、図９を参照しながら、従来の動画像符号化装置の動作の概要を説明する。なお、同図は、従来の動画像符号化装置の機能的な構成を示す機能ブロック図である。また、ここではフレーム符号化を行う場合を例に、動画像符号化装置の動作の概要を説明する。
【０１１８】
まず、撮像部１で入射される光信号は電気信号に変換され、画像信号処理部２でさらに画像信号に変換された後、符号化方式により定められた所定のブロック単位でフリッカ除去部５１０へ入力される。所定のブロック単位の画像信号は、レベル補正部５１３を通過して、次段の動画像符号化部２０へ入力される。ここで、動画像符号化部２０の動き補償画面間予測部２１は、画像信号の現フレームと、前フレームとの間で被写体の動領域と静止領域をブロック単位で検出する。この動領域と静止領域は、現フレームと、前フレームとの間での信号レベルの変化に基づいて判定され、レベル変化量が所定のしきい値以下の場合は静止領域、しきい値を超えた場合は動領域とする。
【０１１９】
信号レベル変化の大きい動領域については、そのレベル変化が、被写体が動いたことによるものか、フリッカなどの雑音によるものかを判断することは困難であるが、レベル変化量が小さい静止領域については、あくまで被写体が静止していると認識するため、その微少なレベル変化はフリッカ等の雑音に起因するものと判断できる。
【０１２０】
そこで、静止領域レベル検出部５１１において、動き補償画面間予測部２１が出力する静止領域位置情報ａにより、静止領域の信号レベルを検出しブロック信号レベルｂを出力する。このブロック信号レベルｂはレベル平均化部５１２において画像１フレーム分蓄積された後、平均値ｃを算出する。フリッカ等の雑音が重畳されている場合は、ここで算出される平均値ｃと現フレームの静止領域のレベル差分は、零に対してプラスまたは、マイナスの値を取り得る。レベル補正部５１３はレベル平均化部５１２が算出した平均値レベル信号ｃと、現フレームの静止領域との差分を演算することにより、フレーム内の信号レベルから雑音成分を除去する。フリッカ等の雑音が除去されたブロック順次のデータは、動画像符号化部２０において、符号化される。
【０１２１】
しかしながら、上記従来の技術では、フリッカによる雑音成分を除去することが困難なために、フリッカによる符号化効率の低下を抑制することができない場合があるという課題がある。
【０１２２】
つまり、被写体が撮像された環境下における光の状態によってフリッカが発生し、かつ、上記フリッカによるフリッカ周期に比べて非常に短い撮像周期で撮像を行う場合、各画像間の平均輝度が大きく異なる。このため、上記従来の技術では、映像信号の信号レベルの差分が大きくなり過ぎて、信号レベルを差分補正しフリッカによる雑音成分を除去することが困難になる。
【０１２３】
特に、照明の輝度が低いタイミングで撮像した画像について、フリッカによる雑音成分を除去することができなければ、当該画像の信号対雑音電力比は低下する。つまり、フリッカによる符号化効率の低下を抑制することができない。
【０１２４】
このように、撮像周期がフリッカ周期に比べて非常に短い場合、上記従来の技術では、フリッカによる雑音成分を除去することが困難なために、以下のように、フリッカによる符号化効率の低下を抑制することができない場合があるという課題がある。
【０１２５】
図１０は、従来の動画像符号化装置における動画像符号化方法を説明する図である。具体的には、同図は、従来の動画像符号化装置において、電源周波数が６０Ｈｚの蛍光灯照明下で、毎秒４８０フィールドの撮像を行った場合の符号化方法を示す。
【０１２６】
同図において、Ｉ画像１００１は画面内予測符号化を行う画像、Ｐ画像１００４、１００７は順方向画面間予測符号化を行う画像、Ｂ画像１００２、１００３、１００５、１００６、１００８、１００９は双方向画面間予測符号化を行う画像を示す。
【０１２７】
ここで、Ｐ画像１００４はＩ画像１００１を参照して符号化し、Ｐ画像１００７はＰ画像１００４を参照して符号化するものとする。また、Ｂ画像１００２および１００３は、Ｉ画像１００１およびＰ画像１００４を参照して符号化し、Ｂ画像１００５と、Ｂ画像１００６とは、Ｐ画像１００４と、Ｐ画像１００７とを参照して符号化するものとする。
【０１２８】
同図に示すように、照明の輝度が低いタイミングで撮像された信号対雑音電力比が低いＩ画像１００１を画面内予測符号化した場合、当該Ｉ画像１００１を参照して順方向画面間予測符号化するＰ画像１００４については、参照するＩ画像１００１に雑音成分が多く含まれること、およびＩ画像１００１とＰ画像１００４の撮像時の照明輝度が異なることから、画像間の相関が小さくなり高効率の符号化は困難である。
【０１２９】
また、Ｐ画像１００７についても、参照するＰ画像１００４は符号化効率が低いためその復号画像には雑音成分が多く含まれること、およびＰ画像１００４とＰ画像１００７の撮像時の照明輝度が異なることから、画像間の相関が小さくなり高効率の符号化は困難である。
【０１３０】
さらに、これらの画面内予測符号化および順方向画面間予測符号化した画像を参照して双方向画面間予測符号化を行う画像に関しても、同様に高効率の符号化は困難である。
【０１３１】
そして、本発明の実施の形態に係る動画像符号化装置によれば、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現できる。
【０１３２】
以上、本発明に係る動画像符号化装置について、上記実施の形態を用いて説明したが、本発明は、これに限定されるものではない。
【０１３３】
つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【０１３４】
例えば、本実施の形態では、撮像部１０２は、被写体を所定の撮像周期で撮像し、画像情報取得部１２２は、当該撮像周期で撮像された画像の中から明画像を示す画像情報を取得することとした。しかし、画像情報取得部１２２が、明画像を示す画像情報を取得できるのであれば、撮像部１０２が被写体を撮像するのは、所定の撮像周期でなくともよい。
【０１３５】
また、本実施の形態では、画像情報取得部１２２が、明状態で撮像された明画像を示す画像情報を取得し、動画像符号化部１０６は、当該明画像を、画面内予測符号化又は順方向画面間予測符号化を用いて符号化することとした。しかし、この符号化対象の画像は、明画像に限られない。つまり、画像情報取得部１２２は、明画像ではなく輝度が同じ環境で撮像された画像を示す画像情報を取得し、動画像符号化部１０６は、当該画像を、画面内予測符号化又は順方向画面間予測符号化を用いて符号化することにしてもよい。
【０１３６】
なお、本発明の実施の形態に係る動画像符号化装置は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、システムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ネットワークインターフェース等を備えるとしてもよい。さらに、ＤＶＤ−ＲＡＭ、Ｂｌｕ−ｒａｙディスク、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）メモリカードのような可搬性の記録媒体に対して読み書き可能なドライブ装置を備えるとしてもよい。
【０１３７】
なお、動画像符号化装置は、デジタルビデオカメラ、デジタルレコーダ、デジタルテレビ、ゲーム機、携帯電話機等のような組み込みシステムとしてもよい。
【０１３８】
さらに、ＨＤＤまたはＲＯＭ等に、動画像符号化装置を制御するプログラム（以下、動画像符号化プログラムと呼称する。）がインストールされており、動画像符号化プログラムが実行されることによって、動画像符号化装置の各機能が実現されるとしてもよい。
【０１３９】
なお、動画像符号化プログラムは、コンピュータシステム、組み込みシステム等のようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。これによって、動画像符号化装置の各機能を他のハードウェアシステムに実現することができる。ここで、コンピュータシステム読み取り可能な記録媒体として、光学記録媒体（例えば、ＣＤ−ＲＯＭ等。）、磁気記録媒体（例えば、ハードディスク等。）、光磁気記録媒体（例えば、ＭＯ等。）、半導体メモリ（例えば、メモリカード等。）等がある。
【０１４０】
また、動画像符号化プログラムは、インターネット、ローカルエリアネットワーク等のようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。これによって、動画像符号化装置の各機能を他のハードウェアシステムに実現することができる。ここで、ネットワークとして、地上放送網、衛星放送網、ＰＬＣ（Ｐｏｗｅｒ  Ｌｉｎｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、移動電話網、有線通信網（例えば、ＩＥＥＥ８０２．３等。）、無線通信網（例えば、ＩＥＥＥ８０２．１１等。）がある。
【０１４１】
または、動画像符号化装置に実装される動画像符号化集積回路によって、動画像符号化装置の各機能が実現されるとしてもよい。
【０１４２】
図１１は、動画像符号化装置を集積回路で実現する一例を示す図である。
【０１４３】
同図に示すように、動画像符号化装置の各機能ブロックは、集積回路（ＬＳＩ）である動画像符号化集積回路４００として実現される。具体的には、図１、図５及び図６に示されたブロック図からレンズ群１０１及び撮像部１０２を除いた各機能ブロックが、動画像符号化集積回路４００として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
【０１４４】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。
【０１４５】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０１４６】
なお、動画像符号化集積回路は、フルカスタムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等のようなセミカスタムＬＳＩ、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）やＣＰＬＤ（Ｃｏｍｐｌｅｘ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）等のようなプログラマブル・ロジック・デバイス、動的に回路構成が書き換え可能なダイナミック・リコンフィギュラブル・デバイスに形成されるとしてもよい。
【０１４７】
さらに、動画像符号化装置の各機能を動画像符号化集積回路に形成する設計データは、ハードウェア記述言語によって記述されたプログラム（以下、ＨＤＬプログラムと称す。）としてもよい。さらに、ＨＤＬプログラムを論理合成して得られるゲート・レベルのネットリストとしてもよい。また、ゲート・レベルのネットリストに、配置情報、プロセス条件等を付加したマクロセル情報としてもよい。また、寸法、タイミング等が規定されたマスクデータとしてもよい。ここで、ハードウェア記述言語として、ＶＨＤＬ（Ｖｅｒｙ  ｈｉｇｈ  ｓｐｅｅｄ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ  Ｈａｒｄｗａｒｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｌａｎｇｕａｇｅ）、Ｖｅｒｉｌｏｇ−ＨＤＬ、ＳｙｓｔｅｍＣがある。
【０１４８】
さらに、設計データは、コンピュータシステム、組み込みシステム等のようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。そして、これらの記録媒体を介して他のハードウェアタシステムに読み取られた設計データが、ダウンロードケーブルを介して、プログラマブル・ロジック・デバイスにダウンロードされるとしてもよい。
【０１４９】
または、設計データは、インターネット、ローカルエリアネットワーク等のようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。そして、これらのネットワークを介して他のハードウェアシステムに取得された設計データが、ダウンロードケーブルを介して、プログラマブル・ロジック・デバイスにダウンロードされるとしてよい。
【０１５０】
または、設計データは、通電時にＦＰＧＡに転送され得るように、シリアルＲＯＭに記録しておくとしてもよい。そして、シリアルＲＯＭに記録された設計データは、通電時に、直接、ＦＰＧＡにダウンロードされるとしてもよい。
【０１５１】
または、設計データは、通電時に、マイクロプロセッサによって生成されて、ＦＰＧＡにダウンロードされるとしてもよい。
【産業上の利用可能性】
【０１５２】
本発明は、蛍光灯照明下等で撮像した際に生じるフリッカによる符号化効率の低下を抑制できる動画像符号化装置を提供する。特に、高速撮像した際に生じるフリッカによる符号化効率の低下を抑制する動画像符号化装置において有用である。
【符号の説明】
【０１５３】
１  撮像部
２  画像信号処理部
１０  記録媒体    
２０  動画像符号化部
２１  動き補償画面間予測部
１００、２００、３００  動画像符号化装置
１０１  レンズ群
１０２  撮像部
１０３  Ａ／Ｄ変換部
１０４  画像信号処理部
１０５  フリッカ制御部
１０６  動画像符号化部
１０７  記録処理部
１０８  記録制御部
１０９  入力部
１１０、２１０  制御部
１１１  照明輝度測光部
１２１  輝度情報取得部
１２２  画像情報取得部
１２３  フリッカ周期取得部
１２４  制御バッファ部
１３１  符号化バッファ部
１４１  撮像周期変更部
４００  動画像符号化集積回路
５１０  フリッカ除去部
５１１  静止領域レベル検出部
５１２  レベル平均化部
５１３  レベル補正部
【図１】
2009141973.tif 000003
【図２】
2009141973.tif 000004
【図３】
2009141973.tif 000005
【図４】
2009141973.tif 000006
【図５】
2009141973.tif 000007
【図６】
2009141973.tif 000008
【図７】
2009141973.tif 000009
【図８】
2009141973.tif 000010
【図９】
2009141973.tif 000011
【図１０】
2009141973.tif 000012
【図１１】
2009141973.tif 000013
【手続補正書】
【提出日】平成22年8月5日(2010.8.5)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に関するデータを符号化する動画像符号化装置及び動画像符号化方法に関し、特に蛍光灯照明下等において、高速撮像した際に生じるフリッカによる符号化効率の低下を抑制できる動画像符号化技術に関する。
【背景技術】
【０００２】
蛍光灯照明下において、撮像された画像データには、蛍光灯の電源周波数による明滅のフリッカ成分が含まれる。例えば、関東地区では商用電源周波数は５０Ｈｚであり、蛍光灯はその半波整流周期毎に明滅するため、明滅周波数は１００Ｈｚである。このような照明環境下で例えば毎秒６０フィールドの撮像を行うと、照明の明滅の周期（フリッカ周期）と、撮像の周期（撮像周期）とが異なるため、各フィールド画像の輝度が異なり映像信号にはフリッカ成分が含まれることになる。
【０００３】
そして、このようなフリッカ成分を含む映像信号を符号化すると、映像信号の圧縮効率が低下するという課題があった。そこで、従来、フリッカによる雑音成分を除去し、映像信号の圧縮効率の低下を抑制する技術が開示されている（例えば、特許文献１参照）。この従来の技術によれば、映像信号の信号レベルの変化量（差分）に基づいて、信号レベルを差分補正することにより、当該信号レベルからフリッカによる雑音成分を除去する。これにより、映像信号の圧縮効率の低下を抑制することができ、フリッカによる符号化効率の低下を抑制することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−１３０８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の技術では、フリッカによる雑音成分を除去することが困難なために、フリッカによる符号化効率の低下を抑制することができない場合があるという課題がある。
【０００６】
つまり、被写体が撮像された環境下における光の状態によってフリッカが発生し、かつ、上記フリッカによるフリッカ周期に比べて非常に短い撮像周期で撮像を行う場合、各画像間の平均輝度が大きく異なる。このため、上記特許文献１等で開示されている従来の技術では、映像信号の信号レベルの差分が大きくなり過ぎて、信号レベルを差分補正しフリッカによる雑音成分を除去することが困難になる。
【０００７】
特に、照明の輝度が低いタイミングで撮像した画像について、フリッカによる雑音成分を除去することができなければ、当該画像の信号対雑音電力比は低下する。つまり、フリッカによる符号化効率の低下を抑制することができない。
【０００８】
このように、撮像周期がフリッカ周期に比べて非常に短い場合、上記従来の技術では、フリッカによる雑音成分を除去することが困難なために、フリッカによる符号化効率の低下を抑制することができない場合があるという課題がある。
【０００９】
本発明は、このような従来の課題を解決するもので、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現できる動画像符号化装置及び動画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る動画像符号化装置は、被写体が撮像された画像の符号化を行う動画像符号化装置であって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部とを備える。
【００１１】
また、本発明は、このような動画像符号化装置として実現できるだけでなく、その装置を構成する各処理部を備え当該動画像符号化装置を制御する集積回路として実現したり、当該各処理部の処理をステップとする方法として実現したりすることができる。さらに、本発明は、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。
【発明の効果】
【００１２】
本発明の動画像符号化装置及び動画像符号化方法によれば、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の実施の形態１における動画像符号化装置の機能的な構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１におけるフリッカ制御部の機能的な構成を示すブロック図である。
【図３】図３は、本発明の実施の形態１における動画像符号化装置の動作手順を示すフローチャートである。
【図４】図４は、本発明の実施の形態１の動画像符号化装置における動画像符号化方法を説明する図である。
【図５】図５は、本発明の実施の形態１における照明輝度測光部を備える動画像符号化装置の機能的な構成を示すブロック図である。
【図６】図６は、本発明の実施の形態２における動画像符号化装置の機能的な構成を示すブロック図である。
【図７】図７は、本発明の実施の形態２におけるフリッカ周期が撮像周期の整数倍とならない場合の動画像符号化方法を説明する図である。
【図８】図８は、本発明の実施の形態２の変形例における撮像周期を変更する制御部の機能的な構成を示すブロック図である。
【図９】図９は、従来の動画像符号化装置の機能的な構成を示すブロック図である。
【図１０】図１０は、従来の動画像符号化装置における動画像符号化方法を説明する図である。
【図１１】図１１は、動画像符号化装置を集積回路で実現する一例を示す図である。
【発明を実施するための形態】
【００１４】
本発明の実施の形態においては、被写体が撮像された画像の符号化を行う動画像符号化装置であって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部とを備えることを特徴としている。
【００１５】
これにより、輝度情報から得られる前記光の明滅状態に応じた符号化方法により、符号化が行われる。つまり、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、フリッカによる明滅状態に応じた符号化方法で、画像の符号化が行われる。このため、フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現することが可能となる効果を奏する。
【００１６】
また、前記動画像符号化装置は、さらに、前記明滅状態のうち、明状態で撮像された明画像を示す画像情報を取得する画像情報取得部を備え、前記符号化部は、前記画像情報で示される明画像を、画面内予測符号化と、当該明画像の撮像時刻よりも過去に撮像された明画像の復号画像を参照して符号化を行う順方向画面間予測符号化とのうち、少なくとも１つにより符号化する構成にしても構わない。
【００１７】
これにより、画面内予測符号化および順方向画面間予測符号化によって符号化される画像を、照明光の輝度が高いタイミングで撮像された明画像としている。このため、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該明画像の信号対雑音電力比を高くすることができる。また、複数の明画像を撮像した場合に、複数の明画像間での撮像時の照明光の輝度を略同一とみなすことができる。そのため、当該複数の明画像間の相関が高くなり、高効率の符号化を実現することが可能となる効果を奏する。
【００１８】
また、前記動画像符号化装置は、さらに、前記被写体を所定の撮像周期で撮像する撮像部を備え、前記画像情報取得部は、前記撮像周期で撮像された画像の中から前記明画像を特定し、前記明画像を示す画像情報を取得する構成にしても構わない。
【００１９】
これにより、被写体を所定の撮像周期で撮像し、当該撮像周期で撮像された画像の中から明画像を特定している。このため、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、周期的に特定される当該明画像の信号対雑音電力比を高くすることができる。また、この周期的に特定される明画像間での撮像時の照明光の輝度を略同一とみなすことができる。そのため、明画像間の相関が高くなり、高効率の符号化を実現することが可能となる効果を奏する。
【００２０】
また、前記動画像符号化装置は、さらに、前記輝度情報取得部が取得した輝度情報から、前記光が明滅する周期であるフリッカ周期を取得するフリッカ周期取得部と、取得された前記フリッカ周期が前記撮像周期の整数倍になるように、前記撮像部が撮像する撮像周期を変更する撮像周期変更部とを備える構成にしても構わない。
【００２１】
これにより、明画像間に挟まる双方向画面間予測符号化を行う画像の数も一定とすることが可能となり、符号化制御が容易となる効果を奏する。
【００２２】
また、前記輝度情報取得部は、撮像された画像の平均輝度値を前記輝度情報として取得する構成にしても構わない。
【００２３】
これにより、撮像された画像に関する情報のみから輝度情報を取得することが可能となる効果を奏する。
【００２４】
また、前記動画像符号化装置は、さらに、前記被写体が撮像された環境での光の照明輝度を測光する照明輝度測光部を備え、前記輝度情報取得部は、測光された前記照明輝度を前記輝度情報として取得する構成にしても構わない。
【００２５】
これにより、フリッカ周期内に含まれる画像を基に輝度情報を算出する場合と比べて、例えば画像の平均輝度の計算が不要となり、さらに被写体像が変化することによる画像平均輝度変化の影響が軽減される効果を奏する。
【００２６】
また、前記符号化部は、さらに、撮像された前記明画像以外の画像については、符号化された当該明画像が復号された復号画像を参照した重み付き予測符号化により符号化を行う構成にしても構わない。
【００２７】
これにより、符号化対象となる明画像以外の画像と、符号化された明画像の復号画像を参照して生成する動き補償予測画像の相関が高くなるため、符号化効率をより改善することが可能となる効果を奏する。
【００２８】
また、前記符号化部は、前記明画像と、符号化対象となる前記明画像以外の画像とが撮像された環境での輝度情報の比を基に重みを決定することで、前記重み付き予測符号化により符号化を行う構成にしても構わない。
【００２９】
これにより、符号化対象となる明画像以外の画像と、符号化された明画像の復号画像を参照して生成する動き補償予測画像との平均輝度を略同一にし、符号化効率をより改善することが可能となる効果を奏する。
【００３０】
また、前記符号化部は、撮像された所定の数の画像をグループ画像とし、前記グループ画像に含まれる画像のうち、撮像順で最初の明画像については、画面内予測符号化により符号化を行う構成にしても構わない。
【００３１】
これにより、例えば、グループ画像をＭＰＥＧ−２規格などに定められたＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）とすることで、ＧＯＰ構造を守り、符号化できる効果を奏する。
【００３２】
また、被写体が撮像された画像の符号化を行う動画像符号化方法であって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得ステップと、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化ステップとを含む構成にしても構わない。
【００３３】
これにより、画像が撮像された環境の光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現することができるという効果を奏する。
【００３４】
また、被写体が撮像された画像の符号化を行うための動画像符号化プログラムであって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得ステップと、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化ステップとをコンピュータに実行させるための動画像符号化プログラムとして構成しても構わない。
【００３５】
これにより、画像が撮像された環境の光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該フリッカによる符号化効率の低下を抑制し、高効率の符号化をプログラムによって実現することができるという効果を奏する。
【００３６】
また、被写体が撮像された画像の符号化を行う動画像符号化集積回路であって、前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部とを備える動画像符号化集積回路として構成しても構わない。
【００３７】
これにより、画像が撮像された環境の光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、当該フリッカによる符号化効率の低下を抑制し、高効率の符号化を符号化集積回路によって実現することができるという効果を奏する。
【００３８】
なお、本発明における撮像周期とは、隣り合う画像間の時間間隔によって表されるものである。つまり、撮像周期は、単位時間あたりに撮像される画像の枚数の逆数である。単位時間とは、秒、分、時を基本単位としても構わない。
【００３９】
また、フリッカ周期とは、例えば蛍光灯の電源周波数による明滅においては、明から明、または滅から滅までの時間間隔によって表されるものである。
【００４０】
さらに、明画像とは、例えば蛍光灯の電源周波数による明滅において、明状態で撮像された画像等、自装置が置かれた環境下における光状態のうち明状態で撮像された画像を指す。
【００４１】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【００４２】
（実施の形態１）
図１は、実施の形態１における動画像符号化装置１００のハードウェア構成を示すブロック図である。
【００４３】
図２は、実施の形態１におけるフリッカ制御部１０５の機能的な構成を示すブロック図である。
【００４４】
なお、本発明の実施の形態１における動画像符号化装置１００は、ここでは、電源周波数が６０Ｈｚの蛍光灯照明下において、毎秒４８０フィールドのインタレース走査画像を撮像することを想定するが、このような構成に限定されるものではなく、どのような撮像周期で画像を撮像しても構わない。
【００４５】
図１に示すように、動画像符号化装置１００は、レンズ群１０１、撮像部１０２、Ａ／Ｄ変換部１０３、画像信号処理部１０４、フリッカ制御部１０５、動画像符号化部１０６、記録処理部１０７、記録制御部１０８、入力部１０９、及び制御部１１０を備える。
【００４６】
入力部１０９は、入力デバイスを介して、撮像部１０２における撮像周期の設定などのユーザ操作を受け付ける。そして、入力部１０９は、受け付けたユーザ操作を操作情報として制御部１１０に出力する。この入力部１０９に入力されるユーザ操作は、例えば、タッチパッド入力装置、ポインティングデバイス、タブレット等を利用して入力される。
【００４７】
制御部１１０は、撮像部１０２、画像信号処理部１０４、フリッカ制御部１０５、動画像符号化部１０６、記録処理部１０７、及び記録制御部１０８を制御して、動画像符号化装置１００における記録処理等を実行する。この制御部１１０は、例えばソフトウェアを実行可能なＣＰＵ等で構成しても構わない。
【００４８】
レンズ群１０１は、複数の光学レンズから構成される。
【００４９】
撮像部１０２は、被写体を所定の撮像周期で撮像する。具体的には、撮像部１０２は、例えばＣＣＤ素子等の撮像素子等から構成され、レンズ群１０１を介して入力される被写体を撮像する。また、撮像部１０２が撮像する際の撮像周期は、入力部１０９から制御部１１０に出力された操作情報を基に、制御部１１０を介して指定される。
【００５０】
そして、撮像部１０２は、撮像した画像をアナログ信号としてＡ／Ｄ変換部１０３に出力する。なお、撮像部１０２は、ＣＣＤ素子を利用した構成に限定されるものではなく、ＣＭＯＳ素子を利用した構成にしても構わない。ＣＭＯＳ素子を用いることにより、消費電力を低減することが可能となる。
【００５１】
Ａ／Ｄ変換部１０３は、撮像部１０２から出力されたアナログ信号をデジタル信号に変換する。そして、Ａ／Ｄ変換部１０３は、変換して得られたデジタル信号を画像信号処理部１０４に出力する。
【００５２】
画像信号処理部１０４は、Ａ／Ｄ変換部１０３から出力されたデジタル信号に対してノイズ除去や画質調整等の処理を施したのち、毎秒４８０フィールドのインタレース走査画像（以下、４８０ｉ画像と称す。）を、フリッカ制御部１０５および、動画像符号化部１０６に出力する。
【００５３】
フリッカ制御部１０５は、入力される４８０ｉ画像を基に、自装置が置かれた環境の光状態によるフリッカの有無および、４８０ｉ画像に含まれる画像のうち、明画像の画像情報を、フリッカ情報として動画像符号化部１０６に出力する。
【００５４】
具体的には、図２に示すように、フリッカ制御部１０５は、輝度情報取得部１２１、画像情報取得部１２２、フリッカ周期取得部１２３及び制御バッファ部１２４を備えている。
【００５５】
輝度情報取得部１２１は、被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する。具体的には、輝度情報取得部１２１は、撮像された画像の平均輝度値を、輝度情報として取得する。
【００５６】
さらに具体的には、輝度情報取得部１２１は、４８０ｉ画像に含まれる画像毎の平均輝度値を、当該画像の画素値に基づく輝度値の平均値として算出し、時系列にフリッカ制御部１０５の内部に含まれる制御バッファ部１２４に保存しておく。
【００５７】
そして、輝度情報取得部１２１は、制御バッファ部１２４に保存される平均輝度が周期的に極大値、または極小値をとる場合には、フリッカが発生していると判定し、フリッカ情報として、画像情報取得部１２２を介して動画像符号化部１０６に出力する。
【００５８】
フリッカ周期取得部１２３は、輝度情報取得部１２１が取得した輝度情報から、光が明滅する周期であるフリッカ周期を取得する。具体的には、フリッカ周期取得部１２３は、制御バッファ部１２４に保存される平均輝度が周期的に極大値、または極小値をとる場合に、上記極大値、または上記極小値を取る画像の画像間隔を基に、フリッカ周期を算出する。
【００５９】
画像情報取得部１２２は、輝度情報取得部１２１が取得した輝度情報から得られる、被写体が撮像された環境での光の明滅状態のうち、明状態で撮像された明画像を示す画像情報を取得する。具体的には、画像情報取得部１２２は、撮像周期で撮像された画像の中から明画像を特定し、明画像を示す画像情報を取得する。
【００６０】
さらに具体的には、画像情報取得部１２２は、上記極大値を取る画像を、自装置が置かれた環境の光状態が明状態に撮像された明画像と判定し、その画像の画像情報を取得する。そして、画像情報取得部１２２は、当該明画像の画像情報をフリッカ情報として動画像符号化部１０６に出力する。
【００６１】
なお、画像情報は、画像を一意に識別可能な情報であればどのようなものを用いても良く、例えば、画像を撮像した際の撮影時刻情報や、画像のヘッダに含まれる情報等を利用する構成にしても構わない。なお、画像の輝度を算出する際に、画像の平均輝度を算出したが、例えば画像の部分的な平均輝度を算出する構成にしても構わない。
【００６２】
また、制御バッファ部１２４は、不揮発性メモリ等の記録媒体であり、フリッカ制御部１０５に含まれる構成としたが、例えば外部に制御バッファ部１２４を設ける構成にしても構わない。
【００６３】
また、フリッカの有無の判定方法は、画像の平均輝度が周期的に極大値、または極小値をとる場合、フリッカが発生していると判定したが、このような構成に限定されるものではなく、従来から用いられているフリッカの検出方法であればどのようなものを用いても構わない。
【００６４】
図１に戻り、動画像符号化部１０６は、輝度情報取得部１２１が取得した輝度情報から得られる光の明滅状態に応じた、画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、画像の符号化を行う。なお、動画像符号化部１０６は、請求の範囲に記載の「符号化部」に相当する。
【００６５】
具体的には、動画像符号化部１０６は、フリッカ制御部１０５から出力されたフリッカ情報を基に、画像信号処理部１０４から出力された４８０ｉ画像を、圧縮規格であるＭＰＥＧ−２規格や、Ｈ．２６４規格等の符号化方法に基づいて毎秒６０フィールドのインタレース走査画像（以下、６０ｉ画像と称す）として圧縮し、付属情報や、音声信号（図示せず）をＭＰＥＧ−２  Ｓｙｓｔｅｍｓ等の多重方法に基づいて多重する。そして、多重して得られた動画ファイルを、記録処理部１０７に出力する。
【００６６】
また、動画像符号化部１０６は、符号化の際に他の画像から参照される符号化された明画像の復号画像および、撮像順で次の明画像が符号化されるまで符号化を開始できない画像を蓄積するための符号化バッファ部１３１を、内部に備える。符号化バッファ部１３１は、不揮発性メモリ等の記録媒体である。
【００６７】
この動画像符号化部１０６における圧縮方法は、上記フリッカ情報により示される明画像を、画面内予測符号化と、上記符号化バッファ部１３１に蓄積される当該明画像の撮像時刻よりも過去に撮像され符号化された明画像が復号された復号画像を参照して符号化を行う順方向画面間予測符号化とのうち、少なくとも１つを用いて符号化するものである。
【００６８】
具体的には、動画像符号化部１０６は、撮像された所定の数の画像をグループ画像とし、当該グループ画像に含まれる画像のうち、撮像順で最初の明画像については、画面内予測符号化により符号化を行う。このグループ画像は、例えばＧＯＰである。なお、このグループ画像に含まれる画像の数は、一定でなくともよく、グループ画像ごとに変化するものであってもよい。
【００６９】
さらに、動画像符号化部１０６は、明画像以外の画像は、符号化の際に参照する撮像順で次の明画像が符号化されるまで上記符号化バッファ部１３１に蓄積された後、上記符号化バッファ部１３１に蓄積される当該画像よりも過去に撮像され符号化された明画像の復号画像と、未来に撮像され符号化される明画像の復号画像との２つを参照する双方向画面間予測符号化を用いて符号化を行うものとする。
【００７０】
この場合、画面内予測符号化および、順方向画面間予測符号化で符号化される画像は、照明光の輝度が高いタイミングで撮像されている画像であるため、信号対雑音電力比が高く、撮像時の照明光の輝度を略同一とみなせるため、画像間の相関が高くなり、高効率の符号化が可能となる効果を奏する。なお、このように６０ｉ画像として符号化された４８０ｉ画像は、８倍速スローの６０ｉ画像として復号し再生することが可能となる。
【００７１】
記録処理部１０７は、動画像符号化部１０６から出力された動画ファイルを、上記圧縮規格に設定されているファイル構成に従って記録媒体１０に書き込む。なお、記録媒体１０は、動画像符号化装置１００に内蔵される記録デバイス、例えばハードディスクドライブでも構わないし、着脱可能な半導体メモリ、例えばＳＤカード等を利用する構成にしても構わない。
【００７２】
記録制御部１０８は、記録媒体１０を駆動するドライブ装置、あるいは、記録アドレス入力手順等の記録プロトコルを制御する。
【００７３】
以下、本発明の実施の形態１における動画像符号化装置１００における、フリッカ情報を用いた動作について、図面を参照しながら説明する。
【００７４】
図３は、動画像符号化装置１００によって被写体を撮像した際の、画像の符号化を示すフローチャートである。また、図４は、動画像符号化装置１００における動画像符号化方法を説明する図である。
【００７５】
（ステップＳ１００１）動画像符号化装置１００は、被写体を撮像し、画像信号処理部１０４において４８０ｉ画像を得ると、該４８０ｉ画像を、フリッカ制御部１０５と動画像符号化部１０６とに出力し、ステップＳ１００２に進む。
【００７６】
（ステップＳ１００２）次に、フリッカ制御部１０５に、入力画像が画像信号処理部１０４から入力されると、輝度情報取得部１２１は、輝度情報を取得し、当該輝度情報を制御バッファ部１２４に記憶させる。そして、輝度情報取得部１２１は、当該輝度情報から入力画像の平均輝度を計算し、算出された平均輝度値と、制御バッファ部１２４に時系列で保存された過去の入力画像の平均輝度を基に、現在入力された入力画像に、フリッカが存在するか否かを判定する。フリッカが発生していると判定された場合はステップＳ１００３に進む。一方、フリッカが発生していないと判定された場合は、ステップＳ１０１０に進む。
【００７７】
（ステップＳ１００３）そして、フリッカ周期取得部１２３は、入力画像にフリッカが発生していると判定された場合、フリッカ周期を取得する。そして、画像情報取得部１２２は、時系列で保存された画像の平均輝度が極大値を取る画像間隔を基に、当該入力画像が明画像に該当するか否かを判定する。当該入力画像が明画像であると判定された場合は、ステップＳ１００４に進む。一方、入力画像が明画像でないと判定された場合は、ステップＳ１００９に進む。
【００７８】
例えば、図４に示すように、電源周波数が６０Ｈｚの蛍光灯照明下で、撮像周期が１／４８０秒である４８０ｉ画像の撮像を行った場合、４８０ｉ画像に含まれる画像の平均輝度が極大値を取る画像は、画像１１０３および、画像１１０７である。つまり、フリッカ周期は４画像単位の１／１２０秒となる。また、入力画像が明画像であると判定された場合は、画像情報取得部１２２は、画像の平均輝度が極大値をとる画像１１０３および、画像１１０７の画像情報をフリッカ情報として、動画像符号化部１０６に出力する。
【００７９】
（ステップＳ１００４）入力画像が明画像であると判定された場合、動画像符号化部１０６は、入力画像が各ＧＯＰの撮影順で最初の明画像であるか否かを判定する。ＧＯＰ内で最初の明画像であると判定された場合は、ステップＳ１００５に進む。一方、各ＧＯＰの撮影順で最初の明画像でないと判定された場合は、ステップＳ１００６に進む。
【００８０】
（ステップＳ１００５）入力画像がＧＯＰ内で最初の明画像であると判定された場合、動画像符号化部１０６は、入力画像を画面内予測符号化により符号化する。さらにステップＳ１００７に進む。
【００８１】
（ステップＳ１００６）入力画像が各ＧＯＰの撮影順で最初の明画像でないと判定された場合、動画像符号化部１０６は、符号化バッファ部１３１に蓄積されている当該明画像の撮影時刻よりも過去の撮影時刻を持つ明画像の復号画像を参照して、順方向画面間予測符号化により符号化する。さらにステップＳ１００７に進む。
【００８２】
（ステップＳ１００７）ステップＳ１００６で符号化された明画像は、他の画像の符号化の際に参照され得るため、当該明画像の復号画像を符号化バッファ部１３１に蓄積する。さらにステップＳ１００８に進む。
【００８３】
（ステップＳ１００８）動画像符号化部１０６は、符号化バッファ部１３１に蓄積されている過去に入力された未符号化画像を、符号化バッファ部１３１に蓄積されている明画像の復号画像を参照した双方向画面間予測符号化により符号化する。そして、ステップＳ１０１１に進む。
【００８４】
（ステップＳ１００９）一方、入力画像が明画像でないと判定された場合、動画像符号化部１０６は入力画像を符号化バッファ部１３１に蓄積する。そして、ステップＳ１０１１に進む。
【００８５】
（ステップＳ１０１０）また、動画像符号化部１０６は、入力画像にフリッカが発生していないと判定された場合、入力画像をフリッカの影響を考慮せずに符号化する。そして、ステップＳ１０１１に進む。
【００８６】
（ステップＳ１０１１）そして、制御部１１０からの制御を基に、符号化処理の終了を判定する。符号化処理を続行する場合は、再度ステップＳ１００１以降の処理を行う。
【００８７】
なお、実施の形態１において、動画像符号化装置１００は、フリッカ制御部１０５が画像信号処理部１０４から出力される画像を基に輝度情報を算出するとしたが、動画像符号化装置は、照明輝度測光部を備えることにしてもよい。
【００８８】
図５は、照明輝度測光部１１１を備える動画像符号化装置３００の機能的な構成を示すブロック図である。
【００８９】
同図に示すように、動画像符号化装置３００は、光センサーなどから構成される照明輝度測光部１１１を備えている。
【００９０】
照明輝度測光部１１１は、被写体が撮像された環境での光の照明輝度を測光する。
【００９１】
そして、図２に示されたフリッカ制御部１０５の輝度情報取得部１２１は、照明輝度測光部１１１が測光した照明輝度を輝度情報として取得する。つまり、輝度情報取得部１２１は、当該照明輝度測光部１１１において得られる照明の測光結果を基に輝度情報を算出する。
【００９２】
このように、照明の測光結果を基に輝度情報を算出する場合、フリッカ周期内に含まれる画像を基に輝度情報を算出する場合と比べて、例えば画像の平均輝度の計算が不要となること、撮像対象物の変化による画像平均輝度変化の影響が軽減されること、などの効果を奏することが期待される。
【００９３】
また、動画像符号化部１０６は、各フリッカ周期内における画像のうち、画像の平均輝度が最大となる明画像以外の画像については、符号化された当該明画像が復号された復号画像を参照した重み付き予測を用いた画面間予測符号化により符号化してもよい。符号化の際に使用する重みは、例えば参照画像である明画像と符号化対象となる明画像以外の画像とが撮像された環境での平均輝度の比から求めることができる。
【００９４】
具体的には、符号化対象画像の平均輝度をｐ、当該符号化対象画像の時間的に前における輝度が所定の閾値よりも大きい画像である前画像の平均輝度をｑ０、当該符号化対象画像の時間的に後における輝度が所定の閾値よりも大きい画像である後画像の平均輝度をｑ１、当該前画像から生成する動き補償予測画像にかける重み係数をＷ０、当該後画像から生成する動き補償予測画像にかける重み係数をＷ１とすると、Ｗ０＝ｐ／２ｑ０、Ｗ１＝ｐ／２ｑ１とすればよい。
【００９５】
このような重み係数をかけて生成される動き補償予測画像の平均輝度は、Ｗ０×ｑ０＋Ｗ１×ｑ１＝ｐとなり符号化対象画像の平均輝度と略同一となる。この結果、符号化対象画像と動き補償予測画像の相関が高くなるため、符号化効率を改善できる。
【００９６】
また、動画像符号化装置１００は、撮像する画像をフリッカ制御部１０５と、動画像符号化部１０６とに同時に入力するものとしたが、撮像する画像を、フリッカ制御部１０５と、動画像符号化部１０６とは異なる位置に配されるフレームバッファ部とに蓄積し、フレームバッファ部に蓄積された画像に関して、フリッカ制御部１０５でフリッカの有無を判定した後、動画像符号化部１０６で符号化を実行してもよい。
【００９７】
上記本実施の形態１における動画像符号化装置１００は、フリッカ制御部１０５で検出されるフリッカ情報を基に、画像が撮像された環境の光の明滅状態のうち、明状態に撮像された明画像（例えば、図４に示された画像１１０３や画像１１０７）を画面内予測符号化、またはその画像よりも過去に撮像され符号化された明画像の復号画像を参照した順方向画面間予測符号化により符号化する。
【００９８】
これにより、これら画面内予測符号化および順方向画面間予測符号化で符号化された画像は、照明光の輝度が高いタイミングで撮像されているため信号対雑音電力比が高く、撮像時の照明光の輝度を略同一とみなせるため、画像間の相関が高くなり、フリッカによる符号化効率の低下を抑制できる。また、これら画面内予測符号化および順方向画面間予測符号化で符号化された画像の復号画像を参照して符号化される画像（例えば、図４に示された画像１１０４、画像１１０５や画像１１０６）についても、参照画像の符号化効率が高く信号対雑音電力比が向上することから、フリッカによる符号化効率の低下を抑制できる。
【００９９】
なお、この画面内予測符号化および順方向画面間予測符号化で符号化された画像の復号画像を参照して符号化される画像の枚数は、フリッカ周期ごとに一定数でなくともよく、フリッカ周期ごとに変化してもよい。この場合であっても、当該画像の信号対雑音電力比が向上することから、フリッカによる符号化効率の低下を抑制できる。
【０１００】
（実施の形態２）
以下、本発明の実施の形態２における動画像符号化装置２００について、図面を参照しながら説明する。本実施の形態２における動画像符号化装置２００と、実施の形態１における動画像符号化装置１００との相違点は、フリッカ制御部１０５によって算出されるフリッカ周期を基に、制御部２１０が受け付ける入力部１０９からの指定撮像周期を制限することである。
【０１０１】
図６は、本発明の実施の形態２における動画像符号化装置２００のハードウェア構成を示すブロック図である。なお、実施の形態１における動画像符号化装置１００のハードウェア構成と同じものは、同一符号を使用し、その詳細な説明は省略する。
【０１０２】
図７は、本発明の実施の形態２におけるフリッカ周期が撮像周期の整数倍とならない場合の動画像符号化方法を説明する図である。具体的には、同図は、電源周波数が５０Ｈｚの蛍光灯照明下で、毎秒２５０フィールドの撮像を行った場合の符号化方法を示す。
【０１０３】
つまり、フリッカ周期は１／１００秒であり、撮像周期は１／２５０秒である。このように、フリッカ周期が撮像周期の整数倍とならない（同図の場合は２．５倍）場合、各フリッカ周期内における画像のうち、画像の平均輝度が最大となる画像１２０１と画像１２０２との平均輝度が、所定の誤差以下とはならない。このため、画像間での相関が小さくなり符号化効率の低下を招く恐れがある。
【０１０４】
また、同図に示すように、画像１２０１と画像１２０２との間には２枚の画像があるのに対し、画像１２０２と画像１２０３との間には１枚の画像しかない。このように、画面内予測符号化または順方向画面間予測符号化を行う画像の間に挟まる双方向画面間予測符号化を行う画像の数が一定とならず、符号化制御が複雑となる。
【０１０５】
そこで、本発明の実施の形態２の動画像符号化装置２００の制御部２１０は、フリッカ制御部１０５のフリッカ周期取得部１２３によって算出されるフリッカ周期を基に、フリッカ周期が撮像周期の整数倍になるように、入力部１０９から受け付ける指定撮像周期を制限する。
【０１０６】
このように、フリッカ周期が撮像周期の整数倍となるように制御部２１０が制御することで、各フリッカ周期内における画像のうち、画像の平均輝度が最大となる画像間で撮像時の照明の輝度が略同一となる。そのため、フリッカによる符号化効率の低下を抑制できる効果を奏する。
【０１０７】
さらに、上記のように制御することで、画面内予測符号化または順方向画面間予測符号化を行う画像の間に挟まる双方向画面間予測符号化を行う画像の数も一定となる。そのため、符号化制御が容易となる効果を奏する。
【０１０８】
なお、予め指定されている撮像周期が、フリッカ周期が撮像周期の整数倍となるような周期ではない場合、制御部２１０は、ディスプレイなどのユーザーインターフェースを通じて使用者に撮像周期の変更を促す構成にしても構わない。
【０１０９】
また、制御部２１０が自動的に撮像周期を変更する構成にしても構わない。
【０１１０】
図８は、本発明の実施の形態２の変形例における撮像周期を変更する制御部２１０の機能的な構成を示すブロック図である。
【０１１１】
同図に示すように、制御部２１０は、撮像周期変更部１４１を備えている。
【０１１２】
そして、撮像周期変更部１４１は、フリッカ周期取得部１２３が取得したフリッカ周期が撮像周期の整数倍になるように、撮像部１０２が撮像する撮像周期を変更する。
【０１１３】
このように、本実施の形態２における動画像符号化装置２００は、フリッカ制御部１０５によって算出されるフリッカ周期を基に、入力部１０９から受け付ける指定撮像周期を、フリッカ周期が撮像周期の整数倍となるような周期に制限する。
【０１１４】
これにより、画像が撮像された環境の光の明滅状態のうち、明状態に撮像された画像間で撮像時の照明の輝度が略同一となり、フリッカによる符号化効率の低下を抑制できる効果を奏する。また、明画像間に挟まる双方向画面間予測符号化を行う画像の数も一定とすることが可能となり、符号化制御が容易となる効果を奏する。
【０１１５】
次に、本発明の実施の形態に係る動画像符号化装置の効果について、具体的に説明する。
【０１１６】
まず、図９を参照しながら、従来の動画像符号化装置の動作の概要を説明する。なお、同図は、従来の動画像符号化装置の機能的な構成を示す機能ブロック図である。また、ここではフレーム符号化を行う場合を例に、動画像符号化装置の動作の概要を説明する。
【０１１７】
まず、撮像部１で入射される光信号は電気信号に変換され、画像信号処理部２でさらに画像信号に変換された後、符号化方式により定められた所定のブロック単位でフリッカ除去部５１０へ入力される。所定のブロック単位の画像信号は、レベル補正部５１３を通過して、次段の動画像符号化部２０へ入力される。ここで、動画像符号化部２０の動き補償画面間予測部２１は、画像信号の現フレームと、前フレームとの間で被写体の動領域と静止領域をブロック単位で検出する。この動領域と静止領域は、現フレームと、前フレームとの間での信号レベルの変化に基づいて判定され、レベル変化量が所定のしきい値以下の場合は静止領域、しきい値を超えた場合は動領域とする。
【０１１８】
信号レベル変化の大きい動領域については、そのレベル変化が、被写体が動いたことによるものか、フリッカなどの雑音によるものかを判断することは困難であるが、レベル変化量が小さい静止領域については、あくまで被写体が静止していると認識するため、その微少なレベル変化はフリッカ等の雑音に起因するものと判断できる。
【０１１９】
そこで、静止領域レベル検出部５１１において、動き補償画面間予測部２１が出力する静止領域位置情報ａにより、静止領域の信号レベルを検出しブロック信号レベルｂを出力する。このブロック信号レベルｂはレベル平均化部５１２において画像１フレーム分蓄積された後、平均値ｃを算出する。フリッカ等の雑音が重畳されている場合は、ここで算出される平均値ｃと現フレームの静止領域のレベル差分は、零に対してプラスまたは、マイナスの値を取り得る。レベル補正部５１３はレベル平均化部５１２が算出した平均値レベル信号ｃと、現フレームの静止領域との差分を演算することにより、フレーム内の信号レベルから雑音成分を除去する。フリッカ等の雑音が除去されたブロック順次のデータは、動画像符号化部２０において、符号化される。
【０１２０】
しかしながら、上記従来の技術では、フリッカによる雑音成分を除去することが困難なために、フリッカによる符号化効率の低下を抑制することができない場合があるという課題がある。
【０１２１】
つまり、被写体が撮像された環境下における光の状態によってフリッカが発生し、かつ、上記フリッカによるフリッカ周期に比べて非常に短い撮像周期で撮像を行う場合、各画像間の平均輝度が大きく異なる。このため、上記従来の技術では、映像信号の信号レベルの差分が大きくなり過ぎて、信号レベルを差分補正しフリッカによる雑音成分を除去することが困難になる。
【０１２２】
特に、照明の輝度が低いタイミングで撮像した画像について、フリッカによる雑音成分を除去することができなければ、当該画像の信号対雑音電力比は低下する。つまり、フリッカによる符号化効率の低下を抑制することができない。
【０１２３】
このように、撮像周期がフリッカ周期に比べて非常に短い場合、上記従来の技術では、フリッカによる雑音成分を除去することが困難なために、以下のように、フリッカによる符号化効率の低下を抑制することができない場合があるという課題がある。
【０１２４】
図１０は、従来の動画像符号化装置における動画像符号化方法を説明する図である。具体的には、同図は、従来の動画像符号化装置において、電源周波数が６０Ｈｚの蛍光灯照明下で、毎秒４８０フィールドの撮像を行った場合の符号化方法を示す。
【０１２５】
同図において、Ｉ画像１００１は画面内予測符号化を行う画像、Ｐ画像１００４、１００７は順方向画面間予測符号化を行う画像、Ｂ画像１００２、１００３、１００５、１００６、１００８、１００９は双方向画面間予測符号化を行う画像を示す。
【０１２６】
ここで、Ｐ画像１００４はＩ画像１００１を参照して符号化し、Ｐ画像１００７はＰ画像１００４を参照して符号化するものとする。また、Ｂ画像１００２および１００３は、Ｉ画像１００１およびＰ画像１００４を参照して符号化し、Ｂ画像１００５と、Ｂ画像１００６とは、Ｐ画像１００４と、Ｐ画像１００７とを参照して符号化するものとする。
【０１２７】
同図に示すように、照明の輝度が低いタイミングで撮像された信号対雑音電力比が低いＩ画像１００１を画面内予測符号化した場合、当該Ｉ画像１００１を参照して順方向画面間予測符号化するＰ画像１００４については、参照するＩ画像１００１に雑音成分が多く含まれること、およびＩ画像１００１とＰ画像１００４の撮像時の照明輝度が異なることから、画像間の相関が小さくなり高効率の符号化は困難である。
【０１２８】
また、Ｐ画像１００７についても、参照するＰ画像１００４は符号化効率が低いためその復号画像には雑音成分が多く含まれること、およびＰ画像１００４とＰ画像１００７の撮像時の照明輝度が異なることから、画像間の相関が小さくなり高効率の符号化は困難である。
【０１２９】
さらに、これらの画面内予測符号化および順方向画面間予測符号化した画像を参照して双方向画面間予測符号化を行う画像に関しても、同様に高効率の符号化は困難である。
【０１３０】
そして、本発明の実施の形態に係る動画像符号化装置によれば、画像が撮像された環境下における光の状態によってフリッカが発生し、撮像周期がフリッカ周期に比べて非常に短い場合であっても、フリッカによる符号化効率の低下を抑制し、高効率の符号化を実現できる。
【０１３１】
以上、本発明に係る動画像符号化装置について、上記実施の形態を用いて説明したが、本発明は、これに限定されるものではない。
【０１３２】
つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【０１３３】
例えば、本実施の形態では、撮像部１０２は、被写体を所定の撮像周期で撮像し、画像情報取得部１２２は、当該撮像周期で撮像された画像の中から明画像を示す画像情報を取得することとした。しかし、画像情報取得部１２２が、明画像を示す画像情報を取得できるのであれば、撮像部１０２が被写体を撮像するのは、所定の撮像周期でなくともよい。
【０１３４】
また、本実施の形態では、画像情報取得部１２２が、明状態で撮像された明画像を示す画像情報を取得し、動画像符号化部１０６は、当該明画像を、画面内予測符号化又は順方向画面間予測符号化を用いて符号化することとした。しかし、この符号化対象の画像は、明画像に限られない。つまり、画像情報取得部１２２は、明画像ではなく輝度が同じ環境で撮像された画像を示す画像情報を取得し、動画像符号化部１０６は、当該画像を、画面内予測符号化又は順方向画面間予測符号化を用いて符号化することにしてもよい。
【０１３５】
なお、本発明の実施の形態に係る動画像符号化装置は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、システムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ネットワークインターフェース等を備えるとしてもよい。さらに、ＤＶＤ−ＲＡＭ、Ｂｌｕ−ｒａｙディスク、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）メモリカードのような可搬性の記録媒体に対して読み書き可能なドライブ装置を備えるとしてもよい。
【０１３６】
なお、動画像符号化装置は、デジタルビデオカメラ、デジタルレコーダ、デジタルテレビ、ゲーム機、携帯電話機等のような組み込みシステムとしてもよい。
【０１３７】
さらに、ＨＤＤまたはＲＯＭ等に、動画像符号化装置を制御するプログラム（以下、動画像符号化プログラムと呼称する。）がインストールされており、動画像符号化プログラムが実行されることによって、動画像符号化装置の各機能が実現されるとしてもよい。
【０１３８】
なお、動画像符号化プログラムは、コンピュータシステム、組み込みシステム等のようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。これによって、動画像符号化装置の各機能を他のハードウェアシステムに実現することができる。ここで、コンピュータシステム読み取り可能な記録媒体として、光学記録媒体（例えば、ＣＤ−ＲＯＭ等。）、磁気記録媒体（例えば、ハードディスク等。）、光磁気記録媒体（例えば、ＭＯ等。）、半導体メモリ（例えば、メモリカード等。）等がある。
【０１３９】
また、動画像符号化プログラムは、インターネット、ローカルエリアネットワーク等のようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。これによって、動画像符号化装置の各機能を他のハードウェアシステムに実現することができる。ここで、ネットワークとして、地上放送網、衛星放送網、ＰＬＣ（Ｐｏｗｅｒ  Ｌｉｎｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、移動電話網、有線通信網（例えば、ＩＥＥＥ８０２．３等。）、無線通信網（例えば、ＩＥＥＥ８０２．１１等。）がある。
【０１４０】
または、動画像符号化装置に実装される動画像符号化集積回路によって、動画像符号化装置の各機能が実現されるとしてもよい。
【０１４１】
図１１は、動画像符号化装置を集積回路で実現する一例を示す図である。
【０１４２】
同図に示すように、動画像符号化装置の各機能ブロックは、集積回路（ＬＳＩ）である動画像符号化集積回路４００として実現される。具体的には、図１、図５及び図６に示されたブロック図からレンズ群１０１及び撮像部１０２を除いた各機能ブロックが、動画像符号化集積回路４００として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
【０１４３】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。
【０１４４】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０１４５】
なお、動画像符号化集積回路は、フルカスタムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等のようなセミカスタムＬＳＩ、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）やＣＰＬＤ（Ｃｏｍｐｌｅｘ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）等のようなプログラマブル・ロジック・デバイス、動的に回路構成が書き換え可能なダイナミック・リコンフィギュラブル・デバイスに形成されるとしてもよい。
【０１４６】
さらに、動画像符号化装置の各機能を動画像符号化集積回路に形成する設計データは、ハードウェア記述言語によって記述されたプログラム（以下、ＨＤＬプログラムと称す。）としてもよい。さらに、ＨＤＬプログラムを論理合成して得られるゲート・レベルのネットリストとしてもよい。また、ゲート・レベルのネットリストに、配置情報、プロセス条件等を付加したマクロセル情報としてもよい。また、寸法、タイミング等が規定されたマスクデータとしてもよい。ここで、ハードウェア記述言語として、ＶＨＤＬ（Ｖｅｒｙ  ｈｉｇｈ  ｓｐｅｅｄ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ  Ｈａｒｄｗａｒｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｌａｎｇｕａｇｅ）、Ｖｅｒｉｌｏｇ−ＨＤＬ、ＳｙｓｔｅｍＣがある。
【０１４７】
さらに、設計データは、コンピュータシステム、組み込みシステム等のようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。そして、これらの記録媒体を介して他のハードウェアタシステムに読み取られた設計データが、ダウンロードケーブルを介して、プログラマブル・ロジック・デバイスにダウンロードされるとしてもよい。
【０１４８】
または、設計データは、インターネット、ローカルエリアネットワーク等のようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。そして、これらのネットワークを介して他のハードウェアシステムに取得された設計データが、ダウンロードケーブルを介して、プログラマブル・ロジック・デバイスにダウンロードされるとしてよい。
【０１４９】
または、設計データは、通電時にＦＰＧＡに転送され得るように、シリアルＲＯＭに記録しておくとしてもよい。そして、シリアルＲＯＭに記録された設計データは、通電時に、直接、ＦＰＧＡにダウンロードされるとしてもよい。
【０１５０】
または、設計データは、通電時に、マイクロプロセッサによって生成されて、ＦＰＧＡにダウンロードされるとしてもよい。
【産業上の利用可能性】
【０１５１】
本発明は、蛍光灯照明下等で撮像した際に生じるフリッカによる符号化効率の低下を抑制できる動画像符号化装置を提供する。特に、高速撮像した際に生じるフリッカによる符号化効率の低下を抑制する動画像符号化装置において有用である。
【符号の説明】
【０１５２】
１  撮像部
２  画像信号処理部
１０  記録媒体    
２０  動画像符号化部
２１  動き補償画面間予測部
１００、２００、３００  動画像符号化装置
１０１  レンズ群
１０２  撮像部
１０３  Ａ／Ｄ変換部
１０４  画像信号処理部
１０５  フリッカ制御部
１０６  動画像符号化部
１０７  記録処理部
１０８  記録制御部
１０９  入力部
１１０、２１０  制御部
１１１  照明輝度測光部
１２１  輝度情報取得部
１２２  画像情報取得部
１２３  フリッカ周期取得部
１２４  制御バッファ部
１３１  符号化バッファ部
１４１  撮像周期変更部
４００  動画像符号化集積回路
５１０  フリッカ除去部
５１１  静止領域レベル検出部
５１２  レベル平均化部
５１３  レベル補正部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体が撮像された画像の符号化を行う動画像符号化装置であって、
前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、
取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部と
を備える動画像符号化装置。
【請求項２】
前記動画像符号化装置は、さらに、
前記明滅状態のうち、明状態で撮像された明画像を示す画像情報を取得する画像情報取得部を備え、
前記符号化部は、前記画像情報で示される明画像を、画面内予測符号化と、当該明画像の撮像時刻よりも過去に撮像された明画像の復号画像を参照して符号化を行う順方向画面間予測符号化とのうち、少なくとも１つにより符号化する
請求項１に記載の動画像符号化装置。
【請求項３】
前記動画像符号化装置は、さらに、
前記被写体を所定の撮像周期で撮像する撮像部を備え、
前記画像情報取得部は、前記撮像周期で撮像された画像の中から前記明画像を特定し、前記明画像を示す画像情報を取得する
請求項２に記載の動画像符号化装置。
【請求項４】
前記動画像符号化装置は、さらに、
前記輝度情報取得部が取得した輝度情報から、前記光が明滅する周期であるフリッカ周期を取得するフリッカ周期取得部と、
取得された前記フリッカ周期が前記撮像周期の整数倍になるように、前記撮像部が撮像する撮像周期を変更する撮像周期変更部とを備える
請求項３に記載の動画像符号化装置。
【請求項５】
前記輝度情報取得部は、撮像された画像の平均輝度値を前記輝度情報として取得する
請求項１に記載の動画像符号化装置。
【請求項６】
前記動画像符号化装置は、さらに、
前記被写体が撮像された環境での光の照明輝度を測光する照明輝度測光部を備え、
前記輝度情報取得部は、測光された前記照明輝度を前記輝度情報として取得する
請求項１に記載の動画像符号化装置。
【請求項７】
前記符号化部は、さらに、撮像された前記明画像以外の画像については、符号化された当該明画像が復号された復号画像を参照した重み付き予測符号化により符号化を行う
請求項２に記載の動画像符号化装置。
【請求項８】
前記符号化部は、前記明画像と、符号化対象となる前記明画像以外の画像とが撮像された環境での輝度情報の比を基に重みを決定することで、前記重み付き予測符号化により符号化を行う
請求項７に記載の動画像符号化装置。
【請求項９】
前記符号化部は、撮像された所定の数の画像をグループ画像とし、前記グループ画像に含まれる画像のうち、撮像順で最初の明画像については、画面内予測符号化により符号化を行う
請求項２に記載の動画像符号化装置。
【請求項１０】
被写体が撮像された画像の符号化を行う動画像符号化方法であって、
前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得ステップと、
取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化ステップと
を含む動画像符号化方法。
【請求項１１】
被写体が撮像された画像の符号化を行うための動画像符号化プログラムであって、
前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得ステップと、
取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化ステップと
をコンピュータに実行させる動画像符号化プログラム。
【請求項１２】
被写体が撮像された画像の符号化を行う動画像符号化集積回路であって、
前記被写体が撮像された環境での光の輝度の大きさを示す輝度情報を取得する輝度情報取得部と、
取得された前記輝度情報から得られる前記光の明滅状態に応じた、前記画像を符号化する際に適用されるピクチャタイプでの予測符号化方法により、前記画像の符号化を行う符号化部と
を備える動画像符号化集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009141973.tif 000014
【図２】
2009141973.tif 000015
【図３】
2009141973.tif 000016
【図４】
2009141973.tif 000017
【図５】
2009141973.tif 000018
【図６】
2009141973.tif 000019
【図７】
2009141973.tif 000020
【図８】
2009141973.tif 000021
【図９】
2009141973.tif 000022
【図１０】
2009141973.tif 000023
【図１１】
2009141973.tif 000024
【国際調査報告】
2009141973.tif 000025
2009141973.tif 000026
2009141973.tif 000027
2009141973.tif 000028