(57)【要約】【課題】  撮影モードに応じてより効率的に符号化を行えるようにすること。【解決手段】  複数の撮影モードを切り替える撮影モード選択部（１１５）と、予め設定された色情報に基づいて、所定色を検出する肌色検出処理部（１０３）と、画像データを符号化する符号化手段（１０５〜１０８、１１１、１１２）と、前記撮影モード選択部により選択された撮影モード及び前記色検出部により検出された所定色の領域に基づいて、前記符号化手段により符号化される前記画像データの符号量を制御する制御部（１１４、１０４）とを有する。【選択図】  図１
2005218017.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影モードを切り替える撮影モード選択手段と、
予め設定された色情報に基づいて、所定色を検出する色検出手段と、
画像データを符号化する符号化手段と、
前記撮影モード選択手段により選択された撮影モード及び前記色検出手段により検出された所定色の領域に基づいて、前記符号化手段により符号化される前記画像データの符号量を制御する制御手段と
を有することを特徴とする符号化装置。
【請求項２】
前記符号化手段は予め設定された符号化条件に従って符号化を行い、前記制御手段は、前記符号化手段の前記符号化条件を変更することで符号量を制御することを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記制御手段は、前記所定色の領域の符号量がそれ以外の領域の符号量よりも相対的に多くなるように、前記符号化条件を変更するように制御することを特徴とする請求項２に記載の符号化装置。
【請求項４】
前記符号化手段は量子化手段を有し、
前記符号化条件は、前記量子化手段による量子化時のステップ量であることを特徴とする請求項２または３に記載の符号化装置。
【請求項５】
前記制御手段は、画像データの高周波成分を減衰させる減衰手段を有し、
前記減衰手段は、前記撮影モード選択手段により選択された撮影モード及び前記色検出手段により検出された所定色の領域に基づいて、前記所定色以外の領域の高周波成分を減衰することを特徴とする請求項１乃至４のいずれかに記載の符号化装置。
【請求項６】
前記撮影モードは、主に人物を撮影するための人物撮影モードを含み、
前記制御手段は、人物撮影モードが設定された場合に、符号量を制御することを特徴とする請求項１乃至５のいずれかに記載の符号化装置。
【請求項７】
前記色情報は肌色を示す色情報であって、前記色検出手段は肌色を検出することを特徴とする請求項６に記載の符号化装置。
【請求項８】
画像を符号化するための複数の符号化モードを切り替える符号化モード選択手段を更に有し、
前記制御手段は、更に、前記符号化モード選択手段により選択された符号化モードに応じて符号量を制御することを特徴とする請求項１乃至７のいずれかに記載の符号化装置。
【請求項９】
前記複数の符号化モードは、静止画符号化モードと動画符号化モードとを含み、
前記制御手段は、前記静止画符号化モードが選択された場合に前記符号量の制御を行わず、前記動画符号化モードが選択された場合に前記符号量を制御することを特徴とする請求項８に記載の符号化装置。
【請求項１０】
複数の撮影モードを切り替える撮影モード選択工程と、
予め設定された色情報に基づいて、所定色を検出する色検出工程と、
画像データを符号化する符号化工程と、
前記撮影モード選択工程において選択された撮影モード及び前記色検出工程において検出された所定色の領域に基づいて、前記符号化工程において符号化される前記画像データの符号量を制御する制御工程と
を有することを特徴とする符号化方法。
【請求項１１】
前記符号化工程では予め設定された符号化条件に従って符号化を行い、前記制御工程では、前記符号化工程で用いられる前記符号化条件を変更することで符号量を制御することを特徴とする請求項１０に記載の符号化方法。
【請求項１２】
前記制御工程では、前記所定色の領域の符号量がそれ以外の領域の符号量よりも相対的に多くなるように、前記符号化条件を変更することを特徴とする請求項１１に記載の符号化方法。
【請求項１３】
前記符号化工程は量子化工程を有し、
前記符号化条件は、前記量子化工程における量子化時のステップ量であることを特徴とする請求項１１または１２に記載の符号化方法。
【請求項１４】
前記制御工程は、画像データの高周波成分を減衰させる減衰工程を有し、
前記減衰工程では、前記撮影モード選択工程において選択された撮影モード及び前記色検出工程において検出された所定色の領域に基づいて、前記所定色以外の領域の高周波成分を減衰することを特徴とする請求項１０乃至１３のいずれかに記載の符号化方法。
【請求項１５】
前記撮影モードは、主に人物を撮影するための人物撮影モードを含み、
前記制御工程では、人物撮影モードが設定された場合に、符号量を制御することを特徴とする請求項１０乃至１４のいずれかに記載の符号化方法。
【請求項１６】
前記色情報は肌色を示す色情報であって、前記色検出工程では肌色を検出することを特徴とする請求項１５に記載の符号化方法。
【請求項１７】
画像を符号化するための複数の符号化モードを切り替える符号化モード選択工程を更に有し、
前記制御工程では、更に、前記符号化モード選択工程において選択された符号化モードに応じて符号量を制御することを特徴とする請求項１０乃至１６のいずれかに記載の符号化方法。
【請求項１８】
前記複数の符号化モードは、静止画符号化モードと動画符号化モードとを含み、
前記制御工程では、前記静止画符号化モードが選択された場合に前記符号量の制御を行わず、前記動画符号化モードが選択された場合に前記符号量を制御することを特徴とする請求項１７に記載の符号化方法。
【請求項１９】
請求項１０乃至１８のいずれかに記載の符号化方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
【請求項２０】
請求項１９に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は符号化装置及び方法に関し、特に符号化処理方法を変更可能な画像の符号化装置及び方法に関する。
【背景技術】
【０００２】
図５は、従来の技術を用いた画像符号化装置を表すブロック図である。図５において、５０１はレンズや撮像素子を含み、被写体を撮影する撮像部、５０２はガンマ変換、色空間変換、ラスタ−ブロック変換など一連の画像信号処理を実行する画像信号処理部、５０３は一連の画像処理が施された画像に対して撮影対象としての重要度が一般的に高い人物の、特に顔面部を検出するための肌色検出処理部、５０４はブロック・インターリーブされた入力画像を符号化して、符号量を圧縮する画像符号化処理部、５０５は磁気テープやメモリカードなどの記録媒体へ符号化データを記録する記録部、５０６は撮影者により操作され、撮影モードを設定するための撮影モード選択部である。
【０００３】
画像符号化処理部５０４から出力される符号化データは、一般的に静止画撮影時と動画撮影時とでは符号化方式が異なる。静止画撮影時には、ＣＤ−ＲＯＭやハードディスク等の蓄積媒体に静止画像を保存・表示するための符号化方式としてＩＳＯ（国際標準化機構）により標準化されたＪＰＥＧ方式が広く用いられている。また、動画撮影時には、同様な蓄積媒体に保存・表示したり、通信路を介して放送、または双方向通信したりするための符号化方式としてＩＳＯにより標準化されたＭＰＥＧ方式が広く用いられている。
【０００４】
撮影モード選択部５０６によって選択設定できる撮影モードとしては、例えば、高速で移動する被写体を撮影する場合に適したスポーツモード、暗い室内などで強い光が当てられた被写体を撮影する場合に適したスポットライトモード、日差しの強い明るい屋外などでの撮影に適したサーフ＆スノーモード、人物の特に顔を撮影する場合に適したポートレートモードなどがある。
【０００５】
スポーツモードは、走っている人物など動きの速いスポーツシーンなどで、シャッタ速度を速くすることで、動きの速い被写体をブレなくシャープに撮影することを可能とする撮影モードである。スポットライトモードは、ステージや結婚式場などスポットライトで照明されたシーンを撮影するときに、被写体が白とびすることなく適正露出で撮影することを可能とする撮影モードである。サーフ＆スノーモードは、海辺やゲレンデなど背景が明るい場所でも、被写体が暗く写るのを防ぎ、適性露出で撮影することを可能とする撮影モードである。ポートレートモードは、人物だけが浮き立つように被写体深度を浅くし、背景をぼかして撮影することを可能とする撮影モードである。
【０００６】
これらの撮影モードを撮影者が撮影モード選択部５０６で選択設定することによって、撮影の意図を画像信号処理部５０２から出力される画像データに反映させることが可能となる（例えば、特許文献１参照）。
【０００７】
【特許文献１】特開平０５−１３７１４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の画像符号化装置においては、撮影モードを選択設定することによって撮影者の意図が画像信号処理部５０２から出力される画像データに反映されるが、画像符号化処理部５０４における符号量制御処理には反映されず、撮影モードにかかわらず静止画および動画の入力データは同じ条件で符号量制御処理されることになる。
【０００９】
本発明は上記問題点を鑑みてなされたものであり、撮影モードに応じてより効率的に符号化を行えるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の符号化装置は、複数の撮影モードを切り替える撮影モード選択手段と、予め設定された色情報に基づいて、所定色を検出する色検出手段と、画像データを符号化する符号化手段と、前記撮影モード選択手段により選択された撮影モード及び前記色検出手段により検出された所定色の領域に基づいて、前記符号化手段により符号化される前記画像データの符号量を制御する制御手段とを有する。
【００１１】
また、本発明の符号化方法は、複数の撮影モードを切り替える撮影モード選択工程と、予め設定された色情報に基づいて、所定色を検出する色検出工程と、画像データを符号化する符号化工程と、前記撮影モード選択工程において選択された撮影モード及び前記色検出工程において検出された所定色の領域に基づいて、前記符号化工程において符号化される前記画像データの符号量を制御する制御工程とを有する。
【発明の効果】
【００１２】
上記構成によれば、撮影モードに応じてより効率的に符号化を行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１４】
＜第１の実施形態＞
図１は、本発明の第１の実施形態における画像符号化装置の構成を示すブロック図である。図１において、１０１はレンズや撮像素子を含み映像を撮影する撮像部、１０２はガンマ変換、色空間変換、ラスタ−ブロック変換など一連の画像信号処理を実行する画像信号処理部、１０３は一連の画像処理が施された画像に対して撮影対象としての重要度が一般的に高い人物の、特に顔面部を検出する目的で行われる肌色検出処理部、１０４は撮影された画像データの任意の領域に対して選択的にその高周波成分強度を減衰させるフィルタ部、１０５は予測対象画像ブロックと最も一致する参照画像ブロックを予測し、動きベクトルを生成する動き補償予測部、１０６は離散コサイン変換などの直交変換を行う直交変換部、１０７は直交変換係数を量子化行列などで除算し、情報量を削減する量子化部、１０８はハフマン符号などで可変長符号化することにより更に情報量を削減するエントロピー符号化部、１０９は変動する単位時間あたりに発生する符号量を時間軸上で平滑化するバッファ部、１１０は磁気テープやメモリカードなどの記録媒体へ符号化データを記録する記録部、１１１は参照画像を再構成するために、量子化部１０７により量子化された直交変換係数を逆量子化する逆量子化部、１１２は逆量子化部１１１により生成された逆量子化後の直交変換係数を逆直交変換する逆直交変換部、１１３は撮影者により操作され撮影モードを設定するための撮影モード選択部、１１４はバッファ部１０９の占有率を監視し、符号化データがあふれたり空になったりしないように制御する制御部、１１５は撮影者により操作され、静止画または動画を選択する符号化モード選択部である。
【００１５】
まず始めに、上記構成を有する画像符号化装置において、符号化モード選択部１１５で動画符号化モードが選択された場合に撮影された画像データが符号化データとして記録されるまでの流れについて、図１を参照して簡単に説明する。
【００１６】
１０１撮像部より入力された画像データは、撮影モード選択部１１３ｋら設定された撮影モードに応じて、画像信号処理部１０２においてガンマ変換、色空間変換、ラスタ−ブロック変換など一連の画像信号処理が施される。そして一連の画像処理が施された画像に対して、肌色検出処理部１０３は撮影対象としての重要度が一般的に高い人物の、特に顔面部を検出する目的で肌色検出処理を行い、その結果を利用して制御部１１４は量子化部１０７およびフィルタ部１０４を制御することにより適応的に符号量制御を行うことができる。
【００１７】
さらに動き補償予測部１０５は予測対象画像ブロックと最も一致する参照画像ブロックを予測し、動きベクトルを生成する。その後、直交変換部１０６、量子化部１０７、エントロピー符号化部１０８により一連の符号化処理を施された後、符号化データはバッファ部１０９に一時蓄えられ、最終的に記憶部１１０により磁気テープやメモリカードなどの記録媒体へ記録される。磁気テープへの書き込みは一定のデータレートで行われる一方、エントロピー符号化部１０８から出力される符号化データのレートは一定ではないので、制御部１１４は量子化部１０７を制御することにより符号化データがバッファ部１０９からあふれたり逆に空になったりしないようにしている。
【００１８】
一方、動き補償予測部１０５で用いられる再構成画像を生成するために、量子化部１０７により量子化された直交変換係数は逆量子化部１１１で逆量子化され、さらに逆直交変換部１１２により逆直交変換される。
【００１９】
このように、一般的に撮影対象としての重要度が高い人物の特に顔面部が肌色検出処理により認識できると、符号量制御部１１２は顔面部に該当する画像ブロックの量子化に際して量子化ステップ値を小さくし情報量を増加させることが可能となり、視覚心理モデルにおいて良好な結果が得られる符号化処理を行うことができるようになる。
【００２０】
次に、通常の撮影環境下において肌色検出処理部１０３が行う肌色検出処理について、図２を用いて簡単に説明する。
【００２１】
図２（ａ）は、通常の撮影環境下において人物を撮影した動画シーケンスから抜き出した１枚の画像である。図２（ｂ）は、図２（ａ）の画像に対して肌色検出処理部１０３が行った肌色検出処理の結果の一例を示しており、肌色と認識された領域を黒領域で示している。図２（ａ）の人物の顔面部が肌色として認識されており、精度の良い肌色検出結果となっている。
【００２２】
次に、上記構成を有する画像符号化装置の本第１の実施形態における量子化部における符号量制御処理について、図３のフローチャートに沿って説明する。
【００２３】
撮影者により撮影開始が指示されると（ステップＳ１０１）、制御部１１４は符号化モード選択部１１５に設定されている符号化モードを調べる（ステップＳ１０２）。符号化モードが動画符号化モードであった場合はステップＳ１０３に進んで撮影モード選択部１１３に設定されている撮影モードを調べ、動画符号化モードで無い場合は処理を終了する。
【００２４】
ステップＳ１０３において、撮影モードがポートレートモードで無い場合は（ステップＳ１０３でＮＯ）、処理を終了する。
【００２５】
一方、ステップＳ１０３で撮影モードがポートレートモードであった場合は（ステップＳ１０３でＹＥＳ）、ステップＳ１０４に進み、肌色検出処理部１０３において肌色と検出された領域に該当する画像ブロックの量子化に際して量子化ステップ値を小さくするなどして符号量を増加させる。なお、この制御の加えて、肌色と検出された領域以外の領域に該当する画像ブロックの量子化に際しては量子化ステップ値を大きくするなどして符号量を低減させるように量子化部１０７を制御してもよい。結果的に、肌色検出処理部１０３において肌色と検出された領域に対する符号量をそれ以外の領域と比べて相対的に増加するように量子化部１０７を制御する。
【００２６】
上述した制御部１１４による符号量制御処理により、図２（ｂ）に示す肌色の存在が検出された領域における符号量は増加し、一方それ以外の領域における符号量は低減する。ユーザが選択したポートレートモードでは、人物だけが浮き立つように被写体深度を浅くして背景をぼかして撮影するものであるため、ユーザの意図を反映しながら効果的に符号量を削減し、かつ視覚心理モデルにおいても良好な結果が得られる符号量制御処理を行うことができるようになる。
【００２７】
このように、本第１の実施形態によれば、画質を向上させつつ記録される符号量を少なくすることができるので、記録媒体の容量を節約し、より多くの画像をより長い時間、記録することが可能となる。
【００２８】
なお、本第１の実施形態では、符号化量を制御するために量子化部１０７で用いる量子化ステップ値を変更する場合について説明したが、本発明はこれに限るものではなく、符号化量を変更可能であれば、どのような符号化条件を制御するものであっても構わない。
【００２９】
＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。なお、本第２の実施形態における画像符号化装置の構成は、上記第１の実施形態で図１を参照して説明したものと同様であるため、説明を省略する。
【００３０】
上記構成を有する画像符号化装置の本第２の実施形態における量子化部における符号量制御処理について、図４のフローチャートに沿って説明する。図４に示す処理は、撮影モードに応じて制御部１１４がフィルタ部１０４に対して行う。
【００３１】
撮影者により撮影開始が指示されると（ステップＳ２０１）、制御部１１４は符号化モード選択部１１５に設定されている符号化モードを調べる（ステップＳ２０２）。符号化モードが動画符号化モードであった場合はステップＳ２０３に進んで撮影モード選択部１１３に設定されている撮影モードを調べ、動画符号化モードで無い場合は処理を終了する。
【００３２】
ステップＳ２０３で撮影モードがポートレートモードで無い場合には処理を終了し、ポートレートモードある場合は、肌色検出処理部１０３において肌色と検出された領域以外の画像入力データに対して、高周波成分強度を減衰させるようにフィルタ部１０４を制御する（ステップＳ２０４）。
【００３３】
上述した制御部１１４による符号量制御処理により、図２（ｂ）に示す肌色の存在が検出された箇所以外の領域における符号量が低減するが、ユーザが選択したポートレートモードでは、人物だけが浮き立つように被写体深度を浅くして背景をぼかして撮影するものであるため、ユーザの意図を反映しながら効果的に符号量の削減し、かつ視覚心理モデルにおいても良好な結果が得られる符号量制御処理を行うことができるようになる。
【００３４】
このように、本第２の実施形態によれば、画質を向上させつつ記録される符号量を少なくすることができるので、記録媒体の容量を節約し、より多くの画像をより長い時間、記録することが可能となる。
【００３５】
なお、上記第１及び第２の実施形態は、組み合わせて実施することが可能であることは言うまでもない。
【００３６】
また、上記第１及び第２の実施形態では、動画符号化モードの時にのみ、肌色検出領域を変更する処理を実行するが、本発明はこれに限るものではなく、静止画符号化モード時に実行するようにしても構わない。
【００３７】
また、本発明は肌色の領域か否かによる制御に限るものではなく、所望の色を検出し、その検出結果に基づいて符号量の制御を行うようにすることも可能である。
【００３８】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００３９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
【００４０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図３及び／または図４に示すフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施の形態における画像符号化装置の構成を示すブロック図である。
【図２】通常の撮影環境における肌色検出処理例を説明する図である。
【図３】本発明の第１の実施形態における符号量制御処理のフローチャートである。
【図４】本発明の第２の実施形態における符号量制御処理のフローチャートである。
【図５】従来の技術を用いた画像符号化装置の構成を示すブロック図である。
【符号の説明】
【００４３】
１０１  撮像部
１０２  画像信号処理部
１０３  肌色検出処理部
１０４  フィルタ部
１０５  動き補償予測部
１０６  直交変換部
１０７  量子化部
１０８  エントロピー符号化部
１０９  バッファ部
１１０  記録部
１１１  逆量子化部
１１２  逆直交変換部
１１３  撮影モード選択部
１１４  制御部
１１５  符号化モード選択部
【図１】
2005218017.tif 000003
【図２】
2005218017.tif 000004
【図３】
2005218017.tif 000005
【図４】
2005218017.tif 000006
【図５】
2005218017.tif 000007