(57)【要約】      （修正有）【課題】映画やドラマ等の動画の映像コンテンツの再生・表示を対象とする映像機器において、映像シーン中の人物の肌部分の記憶色補正処理を高精度かつ低コストに実現する。【解決手段】映像処理装置は、映像と字幕の少なくとも２つのデータが多重された映像・字幕多重化データをＴＳ入力１より入力し、データ毎に付随する提示時刻情報により同期出力制御部１１にてデータの出力同期を行う。肌色記憶色補正部８は、字幕データの提示時刻情報を抽出して字幕提示期間を取得し、その字幕提示期間に応じて、出力される映像中に人物が映っている可能性を判定する。また、映像データの特徴量を取得し、取得した特徴量を解析することにより、出力される映像中に人物が映っている可能性を判定する。そしてこれらの判定結果に応じて出力される映像の調整を行なう。【選択図】図１
2011142546.tif 000002
【特許請求の範囲】
【請求項１】
１つの映像コンテンツを構成し、同期した映像データ、音声データ、字幕データのうち少なくとも、映像と字幕の２つのデータが多重された映像・字幕多重化データを入力し、前記データ毎に付随する提示時刻情報により前記データの出力同期を行い、映像と字幕を重畳し出力段より出力する映像処理装置において、
前記字幕データの提示時刻情報を抽出し、該抽出した前記提示時刻情報に基づき字幕提示期間を取得し、該取得した前記字幕提示期間に応じて、出力される映像中に人物が映っている可能性を判定する第１の人物シーン判定手段と、
前記映像データの特徴量を取得し、取得した特徴量を解析することにより、出力される映像中に人物が映っている可能性を判定する第２の人物シーン判定手段と、
前記第１の人物シーン判定手段と前記第２の人物シーン判定手段とにより得られた判定結果に応じて前記出力段より出力する映像の調整を行なう映像調整手段と、を備える映像処理装置。
【請求項２】
前記第２の人物シーン判定手段は、前記特徴量として前記映像データの色成分情報を使用し、前記映像データの映像シーンを構成する１画面分の画像の部分領域の色成分が、予め定められた色空間上の範囲に含まれるか否かによって、前記１画面分の映像領域に人物が映っているかどうかの判定を行なう、請求項１に記載の映像処理装置。
【請求項３】
前記出力段より出力される映像の調整は、映像シーン中に映る人物の肌部分の色を予め定められた色に近づけるべく補正する肌色記憶色補正であり、
前記映像調整手段は、前記映像データの１映像フレームの全域あるいは複数の部分領域に対する前記肌色記憶色補正処理を映像フレーム単位に行なう、請求項１または２に記載の映像処理装置。
【請求項４】
前記第１の人物判定手段は、前記字幕データの提示時刻情報に対して、予め定めたオフセット値を減算及び加算することにより、前記字幕データが提示されているとみなす字幕提示期間を計算し、前記字幕提示期間の間は、前記出力される映像中に人物が映っている可能性があるものと判定する請求項１〜３のいずれか１に記載の映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置における色調変換処理に関する。より具体的には、映画やドラマなどの動画像コンテンツの表示処理装置にて出力する映像シーンにおいて特定対象が有する定量的色領域内の色調を人間の記憶上の特定対象の色調へと補正する色調補正処理に関し、前記特定対象は人物の肌部分である色調補正処理に関する。
【背景技術】
【０００２】
デジタルスチルカメラなどで撮影した風景や被写体の画像を撮影者自身のイメージにより近づけるために、ＰＣにて撮影後の画像データの階調や色調を補正するフォトレタッチ・ソフトが出回っている。また、シーンに適した撮影モード（例えば「人物モード」、「風景モード」、「室内モード」、「夜景モード」等）をユーザが選択することにより、撮影時にイメージしている階調表現や色調表現により近づける画質補正機能をデジタルスチルカメラ自体に装備しているものもある。
【０００３】
ところで、被写体を撮影する際に撮影者の脳に記憶された被写体の色を記憶色と呼んでいる。一般に、人は、人物の肌色や青空の色など、普段身近にある対象物や思い入れの強い物ほどその対象物の色を記憶色として鮮明に捉えていることが多い。このため、撮影後の画像や写真に映し出されている被写体の色が現物の色を忠実に再現していたとしても、記憶色との間に差異を感じ違和感を覚えることがある。これは映像機器において、被写体の実際の色調を忠実に再現する色再現性は勿論、この記憶色を如何にして再現するかという点も重要な要素となっていることを示している。ここでは、機器で取り扱う基となる映像・画像における対象物の色調を機器のユーザ各自が持つ記憶色に近づけるべく補正する事を記憶色補正と呼ぶこととする。
【０００４】
この映像・画像の記憶色補正においては、「空の青の色」、「人の肌の色」、「木々の緑」等、の補正対象に対しては記憶色により近づけるべく補正が行なわれ、対象物以外の部分には影響（副作用）を与えないということが重要なポイントとして挙げられる。
【０００５】
特許文献１にて、入力画像ＲＧＢ信号を色相と彩度の極座標に変換し、前記極座標系における色相・彩度と補正対象物の目標色座標との内分点演算を行なうことで記憶色補正を実現する画像処理装置が開示されている。特許文献１においては、内分点演算時の内分パラメータは、変換後の色がどの程度、目標色寄りになるか或いは変換前の色寄りになるかを決定するものであるが、この内分パラメータの導出においては、設定された使用シーンに依存した補正度合いが影響する。使用シーンに依存した補正度合いとは、例えば、デジタルスチルカメラへの適用においては、「人物撮影モード」が設定されていれば、被写体が人物である可能性が高いため肌色の補正を効かす方向の補正度合いにするとか、テレビへの適用例においては、「映画モード」や「ダイナミック」などの表示モードに依存して補正度合いを決定する事が例示されている。
【０００６】
特許文献２に係る発明は、画像中の識別すべき対象物の検出処理を、画像の分割ブロック毎の特徴量によってクラスタリングし、ブロック併合して得た候補領域を識別対象毎に定義された特徴情報に照合することで、精度良く高速に行なうことができる。また特許文献２において、検出した識別対象物に応じて適切な画像処理、例えば識別した人物領域に対して肌色の記憶色補正を行なうことも開示されている。
【０００７】
前記したような記憶色補正手法をデジタルスチルカメラに適用する場合には、ユーザ自身が被写体撮影時に撮影モードを選択することが、即ち、適当な記憶色補正処理を決定することになるため、ユーザが意図する色調表現を能動的に画像に反映することができ、また、ユーザが意図していない補正処理による副作用を回避することができる。また、静止画像を撮影するというアプリケーションの性質上、画像上での補正対象物の存在領域を推定できるため、これを補正処理による副作用の回避に利用することができる。つまり、人物撮影モードが選択されているのであれば画像中央付近に人物が配置されている可能性が高く、風景撮影モードであれば、画像上部には青い空が映っている可能性が高いという推定を補正処理に加味することができる。
【０００８】
さらにデジタルスチルカメラにおいては、前記の撮影モード以外にも露光、焦点距離等の撮影シーンの特定に利用可能な情報が他にもあり、なおかつ、静止画像データに付随する撮影時情報として保存ができるため、この撮影時情報を利用して、撮影後のフォトレタッチ処理にて記憶色補正を行なうことも可能である。従って、撮影時点で記憶色補正を行なう場合に課題となるリアルタイム性等の処理時間の問題も解決することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−１７５２８号公報
【特許文献２】特開２００６−２６８８２０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上記デジタルスチルカメラの記憶色補正の例に示したように、画像内の補正すべき対象物にのみ適切な記憶色補正を行なう（対象物以外には影響を与えない）ためには、如何にして対象画像から撮影時の使用シーンを特定できるかとういうことに掛かっている。しかしながら、テレビ放送などの動画を取り扱う映像機器に記憶色補正を適用する場合、時間とともに刻々と変化する映像シーンを構成する映像フレーム毎に補正対象物を識別し、適宜、自然な記憶色補正を行なうことは難しい処理といえる。
【００１１】
特許文献１においては、発明をテレビに適用する場合の実施の形態に「映画モード」や「ダイナミック」などの表示モードに連動した記憶色補正を行なうことが例示されている。しかしながら、表示モードに連動して補正度合いが強い設定となった場合、同一表示モードでの視聴中は常に同程度の強めの記憶色補正が効くことになるため、これだけでは、本来補正すべき記憶色領域に含まれ、たまたま対象の色に近似した色を持つ別の物体を補正してしまう可能性を回避することができない。
【００１２】
例えば、映像シーン中に映っている建物の外壁の色が人物の肌に近い色の場合、建物の壁に対して肌色の記憶色補正が行なわれ視聴者に違和感を与えてしまう可能性がある。これを回避するためには、対象となる記憶色の補正度合いを映像シーン毎に適切に設定する必要がある。
【００１３】
特許文献２のように、抽出した特徴量に従いクラスタリングし、同一の性質を持つ画像領域に分割することで対象を識別し記憶色補正を行なう手法は、テレビなどの動画アプリケーションに対しても有効であると考えられる。しかしながら、クラスタリングに必要な処理量は、対象とする画素数と次元の増加に従い級数的に増大するため処理時間が課題となる。
【００１４】
そこで、特許文献２に係る発明は、画像を分割し候補ブロック単位で処理を行なうことで処理時間の増大を抑えているが、画像の分割数が処理時間と補正対象の識別精度に与える影響はトレードオフの関係である。従って、動画への適用を考慮し、画面の分割数を少なくして処理時間削減を図ると補正対象物の識別精度が低下し、本来補正すべき記憶色領域に含まれ、たまたま対象の色に近似した色を持つ別の物体を補正してしまう可能性が生じる。
【００１５】
本発明は、上記の課題に鑑みてなされたもので、映画やドラマ等の動画の映像コンテンツの再生・表示を対象とし、特にＭＰＥＧ方式のビットストリームを取り扱う映像機器において、映像シーン中の人物の色補正処理を高精度かつ低コストに実現した映像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
上述した課題を解決するために、本発明の映像処理装置は、１つの映像コンテンツを構成し、同期した映像データ、音声データ、字幕データのうち少なくとも、映像と字幕の２つのデータが多重された映像・字幕多重化データを入力し、前記データ毎に付随する提示時刻情報により前記データの出力同期を行い、映像と字幕を重畳し出力段より出力する映像処理装置において、前記字幕データの提示時刻情報を抽出し、抽出した前記提示時刻情報に基づき字幕提示期間を取得し、該取得した前記字幕提示期間に応じて、出力される映像中に人物が映っている可能性を判定する第１の人物シーン判定手段と、前記映像データの特徴量を取得し、取得した特徴量を解析することにより、出力される映像中に人物が映っている可能性を判定する第２の人物シーン判定手段と、前記第１の人物シーン判定手段と前記第２の人物シーン判定手段により得られた判定結果に応じ前記出力段より出力される映像の調整を行なう映像調整手段と、を備えるように構成した。
【００１７】
また、本発明の映像処理装置の前記第２の人物シーン判定手段は、前記特徴量として前記映像データの色成分情報を使用し、前記映像データの映像シーンを構成する１画面分の画像の部分領域の色成分が、予め定められた色空間上の範囲に含まれるか否かによって、前記１画面分の映像領域に人物が映っているかどうかの判定を行なうように構成した。
【００１８】
また、本発明の映像処理装置の前記出力段より出力される映像の調整は、映像シーン中に映る人物の肌部分の色を予め定められた色に近づけるべく補正する肌色記憶色補正であり、前記映像調整手段は、前記映像データの１映像フレームの全域あるいは複数の部分領域に対する前記肌色記憶色補正処理を映像フレーム単位に行なうように構成した。
【００１９】
また、本発明の映像処理装置の第１の人物判定手段は、前記字幕データの提示時刻情報に対して、予め定めたオフセット値を減算及び加算することにより、前記字幕データが提示されているとみなす字幕提示期間を計算し、前記字幕提示期間の間は、前記出力される映像中に人物が映っている可能性があるものと判定するように構成した。
【発明の効果】
【００２０】
本発明の映像処理装置によれば、映画やドラマなどの字幕データが重畳されている映像コンテンツにおいて、字幕が提示されている期間に人物が映っている可能性が高いという推論を用いて、映像シーンに人物が映っているかどうかの判定を、処理負荷の高い画像解析的な手法に拠らず、字幕データの提示時刻情報を利用した低コストな手法で実現できる。また、前記判定の結果を用いて肌色の記憶色補正処理を適切なシーンで実施することができ、意図しない補正処理で発生する副作用を回避することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明に関する実施の形態による映像処理装置の概略構成を示すブロック図である。
【図２】ＭＰＥＧ２−ＴＳビットストリームの構造と、ＭＰＥＧ復号システムの同期出力の概要を説明するための図である。
【図３】図１の映像バッファ内部の復号済みの映像データの格納イメージを示す図である。
【図４】字幕データを現在出力中の映像データに重畳して映像出力する処理を説明するための図である。
【図５】本発明に関する実施の形態における映像処理装置の肌色記憶色補正部の概略構成を示すブロック図である。
【図６】本発明に関する実施の形態における映像処理装置の人物シーン判定部の概略構成を示すブロック図である。
【図７】本発明に関する実施の形態による映像処理装置の肌色領域判定部における肌色領域判定処理例を説明するための図である。
【図８】本発明に関する実施の形態による映像処理装置の人物シーン判定部における動作例を説明するための図である。
【図９】本発明に関する実施の形態による映像処理装置の映像・字幕同期出力期間判定部における動作例を説明するためのフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態を図面を用いて説明する。
まず、本実施の形態にて対象とするＭＰＥＧ２−ＴＳ（ＭＰＥＧ２トランスポートストリーム）ビットストリームの構造と、ＭＰＥＧ復号システムの同期出力の概要を図２を用いて説明する。
ＭＰＥＧ２−ＴＳは、映像データや音声データ、字幕、その他データを多重化したストリームであり、これらの各データは、それぞれ、１８８バイト単位のＴＳパケット（図２の２００）と呼ばれるパケットのペイロード２０１の部分に格納され伝送される。ＴＳパケット２００には、ＰＩＤ２０２と呼ばれるパケット識別のための１３ビットのＩＤ値が付けられている。ＰＩＤ（図２の２００）は、ＴＳパケット２００で伝送する情報毎に付与されているため、このＰＩＤ２００の値にてパケット選別することで、多重化データは映像データや音声データ等の個別データ単位に分離することができる。
【００２３】
分離後のペイロード２０１から抽出されたデータは、さらにＰＥＳ（パケッタイズド・エレメンタリ・ストリーム）パケット（図２の２０３）と呼ばれるパケット列を構成しており、ＰＥＳパケット２０３のペイロードの部分（図２の２０４）には、符合化された映像データや音声データ等が格納されている。符号化された映像データや音声データ等のＰＥＳパケット２０３にて伝送される個別データは、エレメンタリストリーム（ＥＳ）（図２の２０６）と呼ばれる。
【００２４】
例えば映像ＥＳのＭＰＥＧ２ピクチャ・データ（図２の復号後は映像フレーム）（図２の２０８）のように、各々のデータの最小のデータ・アクセス単位のことをアクセス・ユニット（ＡＵ）と呼ぶ。ここで、ＡＵの先頭データ部分（１バイト目）２０７を伝送しているＰＥＳパケットにおいては、当該ＡＵの再生出力タイミングを規定する提示時刻情報として９０ｋＨｚ精度のタイムスタンプが付加されており、データとその出力タイミングの関連づけを行なっている。このタイムスタンプのことをＰＴＳ（Presentation Time Stamp）（図２の２０５）と呼び、システム全体の同期動作を規定するクロックであるＳＴＣ（System Time Clock）を参照し、ＰＴＳ２０５で規定される出力のタイミングを測ることにより、周期の異なる複数の復号データをシステム最終段にて同期出力することができる。
【００２５】
図１は、本発明に関する実施の形態による映像処理装置の概略構成を示すブロック図である。以下、図１を用いて、本実施の形態の映像処理装置の動作の概要を説明する。
本実施の形態の映像処理装置は、映画やドラマ等の映像コンテンツの再生・表示を対象とした前述のＭＰＥＧ復号システムであり、図示しないビットストリーム供給源から、ＴＳ入力１に対し、映画やドラマ等の映像コンテンツと映像コンテンツを再生・表示するために必要な付加情報等を符号化したＭＰＥＧ２−ＴＳ（トランスポートストリーム）形式の多重化ビットストリームが入力される。なお、ＴＳ入力１に接続されるビットストリーム供給源としては、ＢＤ（ブルーレイ・ディスク）のドライブ装置や、地上波デジタル放送チューナーやｉ．Ｌｉｎｋで接続される再生機器等が考えられるが、本発明においては特に言及しない。
【００２６】
ＴＳ入力１より入力された多重化データは、分離部２にてＰＩＤ値によりデータ種別毎に分離され、ＴＳパケットのペイロードに格納されたデータが後段のＰＥＳパケットバッファ（映像ＰＥＳバッファ３，字幕ＰＥＳバッファ４）に入力される。
映像デコーダ５は、映像ＰＥＳバッファ３よりデータを読み出し、ＰＥＳパケットから映像エレメンタリストリームを抽出し、復号処理を行なう。復号された映像データと対応するＰＴＳは、後段の映像バッファ７に格納される。
【００２７】
また、字幕データも前記の映像データと同様に、字幕ＰＥＳバッファ４、字幕デコーダ６、字幕バッファ９というデータフローを経て、復号された字幕データと当該字幕データに対応するＰＴＳとが１対で字幕バッファ９に格納される。なお、図１においては、映像データと字幕データの２種類のデータフローしか図示していないが、音声データが多重化されていた場合には図示しない音声デコーダにて復号処理が行われるものとする。
【００２８】
図１の映像バッファ７内部の復号済みの映像データの格納イメージを図３に示す。図３においては、映像デコーダ５にて復号された映像データである映像フレーム３０１は、復号された順序で左から右に格納されていくものとする。本発明においては、映像フレーム３０１の夫々に対応するＰＴＳは、その対応関係を保持したままバッファ内部に保持されるものとする。なお、ＭＰＥＧ映像符号化方式においては、効率的に圧縮率を上げるために入力ソースの順序（復号後の順序に相当）と符合化後の映像データの順序が一致しない場合がある。このため、図３の３０２に示す各映像ＰＴＳ値の大小関係は、バッファへの格納順序（つまり、復号の順序）とは一致していない。また、図１の字幕バッファ９の内部においても、前述の映像バッファ７でのデータ格納イメージの例と同様に、復号された各々の字幕データと、当該字幕データに対応するＰＴＳの対応関係を保持したままバッファ内部に格納されている。
【００２９】
図１の同期出力制御部１１は、各々の復号データの同期を取り、後段に出力するための制御を行なう処理部である。図３に示したように、映像バッファ７及び字幕バッファ９では、各データと当該データのＰＴＳが関連付けられて管理されている。このため、同期出力制御部１１は、図１のＳＴＣ（System Time Clock）１０と、映像バッファ７及び字幕バッファ９にて管理されているＰＴＳを参照し、ＳＴＣのカウンタ値とＰＴＳが一致したタイミングにて一致したＰＴＳと対応するデータを各バッファから読み出し、読み出しデータが映像データであれば、映像出力１２から出力を行なう。また、読み出しデータが字幕データであれば、図４の４０３に示すように、当該字幕データ４０２を現在出力中の映像データ４０１に重畳して映像出力１２から出力を行なう。
【００３０】
また、同期出力制御部１１は、字幕表示選択信号１３によって、映像出力１２から出力される映像データに字幕を重畳させて表示するか否かの制御を行なうものとする。字幕表示選択信号１３は、映像処理装置に備えられた図示しないユーザインターフェース（ＧＵＩ：グラフィカル・ユーザ・インタフェース、リモコン、映像処理装置本体に備えられているボタンの類）より取得したユーザの要求に応じて制御される。なお、同期出力制御部１１は、映像データ或いは字幕データの出力完了時に映像バッファ７または字幕バッファ９にアクセスして出力完了済みのデータ及び当該データのＰＴＳを映像バッファより消去する。
【００３１】
図１の肌色記憶色補正部８は、映像バッファ７に保持された各映像フレームに人物が映っている場合に、人物の肌部分の色調をユーザの記憶色である肌色に近づけるべく色調を補正することを目的とした処理部である。肌色記憶色補正部８は、映像バッファ７に復号された映像データが格納される毎に映像データを読み出し、読み出した映像データの人物の肌領域と思しき部分の各画素の色成分をユーザの記憶色である肌色に色調補正した後、映像バッファ７に書き戻す処理を行う。
【００３２】
以下にて、本発明の第１の実施の形態に関する肌色記憶色補正部８の構成を説明し、次に動作の詳細を説明する。
図５は、本発明に関する実施の形態における映像処理装置の肌色記憶色補正部（図１の８と等価）の概略構成を示すブロック図である。肌色記憶色補正部５００は、入力信号の色差信号を色相・彩度に変換する色相・彩度変換部５０１と、肌色記憶色補正の補正目標色と肌色領域の色域範囲の設定を保持する肌色記憶色設定保存部５０４と、入力信号が定められた肌色領域の色相・彩度の範囲に含まれているか否かを判定する肌色領域判定部５０６とを有する。
【００３３】
さらに、肌色記憶色補正部５００は、人物シーンを判定する人物シーン判定部５０８と、肌色領域判定部５０６と、人物シーン判定部５０８の判定結果に従い出力される２つの補正パラメータから肌色記憶色補正のための補正パラメータＷを出力する補正パラメータ生成部５０７と、補正パラメータＷに応じて、補正目標色と入力信号の２つの色相値の内分演算を行う色相内分演算部５０２と、補正パラメータＷに応じて、補正目標色と入力信号の２つの彩度の内分演算を行う彩度内分演算部５０５と、色相内分演算部５０２及び彩度内分演算部５０５から出力される色相・彩度を再び色差信号に変換する色相・彩度逆変換部５０３とを有する。
人物シーン判定部５０８は、本発明の第１の人物シーン判定手段に相当し、肌色領域判定部５０６は、本発明の第２の人物シーン判定手段に相当する。また、本発明の映像調整手段は、補正パラメータ生成部５０７，彩度内分演算部５０５，色相内分演算部５０２によって実現される。肌色領域判定部５０６は、映像データの特徴量として色成分情報を使用し、映像データの映像シーンを構成する１画面分の画像の部分領域の色成分が、予め定められた色空間上の範囲に含まれるか否かによって、前記１画面分の映像領域に人物が映っているかどうかの判定を行なう。
【００３４】
肌色記憶色補正部５００の人物シーン判定部５０８の概略構成を示すブロック図を図６に示す。人物シーン判定部６００（図５の５０８と等価）は、字幕バッファ９より得た字幕ＰＴＳから字幕提示期間情報を生成し、生成した情報を保持する字幕提示期間情報保存部６０３と、映像バッファ７から得た映像ＰＴＳと字幕提示期間情報保存部６０３から得た字幕データの提示期間情報とを比較し、映像ＰＴＳで規定される映像フレームの出力タイミングが、字幕データの提示期間情報に含まれているか否かを判定する映像・字幕同期出力期間判定部６０１と、映像・字幕同期出力期間判定部６０１の判定結果から人肌記憶色補正処理に用いる補正パラメータＷ１を決定する補正パラメータ決定部６０２とから構成される。
【００３５】
以上のように構成された肌色記憶色補正部５００及び人物シーン判定部６００の動作を以下に説明する。
まず、映像デコーダ５によって映像フレームが復号され、映像バッファ７に復号された映像フレームが格納された時点で、前記映像フレーム１画像分の画素の輝度色差信号（Ｙ，Ｃｂ，Ｃｒ）が順次、肌色記憶色補正部５００に入力される。入力された色差信号（Ｃｂ，Ｃｒ）は、肌色記憶色補正部５００の色相・彩度変換部５０１において、色相（ｈｕｅ）と彩度（ｓａｔ）に変換される。
【００３６】
図７（Ａ）は、入力信号（Ｃｂ，Ｃｒ）を８ビット値とし、オフセット値１２８を入力信号から減算して得た符号付き８ビット値（Ｃｂ’，Ｃｒ’）と、色相と彩度の関係を図示するものである。色差信号の成分は直行座標系表現であるのに対して、色相（ｈｕｅ）はＣｂ’＞０，Ｃｒ’＝０を０度とし、そこからＣｒ’＞０方向への回転角のパラメータとして表現される。また、彩度（ｓａｔ）はＣｂ’とＣｒ’の絶対値が１２８のときに１となるように正規化したパラメータ表現となっている。図７（Ａ）に示す通り、色相・彩度変換部５０１は、以下の式（１）、式（２）で表される演算を行い、変換値を後段の処理部に出力する。
【００３７】
ｈｕｅ＝ｔａｎ−１（Ｃｒ’／Ｃｂ’）      式（１）
ｓａｔ＝√（（Ｃｒ’／１２８）２＋（Ｃｂ’／１２８）２）      式（２）
【００３８】
なお、肌色記憶色補正部５００の最終段に位置する色相・彩度逆変換部５０３は、色相と彩度から色差信号の変換、つまり色相・彩度変換部５０１と逆の変換処理を行う処理部となっている。
肌色領域判定部５０６は、色相・彩度変換部５０１が出力する映像フレームの各画素の色成分が、予め定められた色相と彩度の範囲内に含まれるか否かを求め、判定結果に応じ補正パラメータＷ０（０≦Ｗ０≦１）を出力する。ここで、予め定められた色相と彩度の範囲とは、肌色領域、つまり、対象画像中の人物の肌部分の領域を抽出する目的で定義された色相と彩度の範囲のことを表す。
【００３９】
肌色領域は、図７（Ｂ）の７００に示す通り、中心から放射線方向の２つの線分と２本の同心円の円弧で囲まれる範囲として定義され（但し、図７（Ｂ）に示す領域の範囲は実装時における肌色を規定した範囲を表しておらず、あくまで説明のための例示として記載してある）、肌色領域判定部５０６における肌色領域は後述する肌色記憶色設定保存部５０４より読み出された範囲が設定されるものとする。
【００４０】
本実施の形態において、肌色領域判定部５０６は、入力された色相（ｈｕｅ）と彩度（ｓａｔ）が前記肌色領域に含まれていた場合は、当該画素は人物の肌部分である可能性が高いとして、補正パラメータＷ０＝α１を後段に出力する。また、当該画素が前記肌色領域の外部であった場合は、当該画素は人物の肌部分である可能性が低いとして、補正パラメータＷ０＝α２を出力する。なお、補正パラメータ値のα１とα２は、肌色領域判定部５０６内部に予め定義されている値であり、０≦α１，α２≦１の範囲の値を取るものである。
【００４１】
補正パラメータの値は後述する色相内分演算部５０２と彩度内分演算部５０５にて行なわれる映像フレームの各画素の肌色記憶色補正の補正度合いに影響するパラメータとなっており、補正パラメータ値が１に近ければ肌色記憶色補正の度合いが強くなり、補正パラメータ値が０に近ければ肌色記憶色補正の度合いが弱くなり、０のときは肌色記憶色補正を行わないことを意味する。本発明の本実施の形態においては、補正パラメータ値のα１は比較的１に近い値が、α２には０が定義されているものとする。
【００４２】
人物シーン判定部５０８は、肌色記憶色補正部５００に入力された映像フレームに人物が映っているかどうかを判定し、判定結果に応じて補正パラメータＷ１（０≦Ｗ０≦１）を出力する処理部である。
本発明の映像処理装置にて対象としている映画やドラマ等の映像コンテンツにおいては、映像に付随して字幕が重畳されているものが多く存在する。また、前記のような映像コンテンツでは、登場人物の発声に合わせて字幕が付記されることから、字幕が重畳されている映像シーン付近では人物が映っている可能性が高いと言える。
【００４３】
よって、本発明の映像処理装置においては、当該映像フレームの出力時に重畳される字幕データがあるか否かを検査し、その結果を、ある映像フレームにおいて人物が映っているか否かを判定する指標として利用することとする。より具体的には、前記の検査とは即ちＰＭＥＧ２−ＴＳにて多重化された映像データと字幕データの提示情報であるＰＴＳを夫々取得し、映像データと字幕データの同期出力のタイミングを検査することである。
【００４４】
ここで図５に加え、図６の人物シーン判定部の構成図も併せて用いながら人物シーン判定部５０８の動作を説明する。図６の人物シーン判定部６００（図５の５０８と等価）を構成する字幕提示期間情報保存部６０３は、図１の字幕バッファ９に字幕ＰＴＳが格納されるのと同期して前記字幕ＰＴＳを取り込み、字幕データの提示期間を管理する。
【００４５】
図８（Ａ）に示すように、映像フレーム８００同期して出力すべき字幕データ８０１が取り込まれたときに、字幕データのＰＴＳ８０３の前後に予め定められたオフセット時間を加減算し、字幕データの開始時刻８０２と字幕データの終了時刻８０４を求め、ある字幕データ［ｎ］の字幕提示期間とする。この字幕提示期間は、字幕データ［ｎ］が実際に提示される期間を含み、それより長く設定される。これは本発明の人物シーン判定において、字幕の提示期間をもって映像に人物が映っている可能性が高い期間と推定するため、映像上の話者が実際に発声している期間の前後においても話者が映っている可能性があることを考慮しているためである。
【００４６】
また会話シーンにおいては、図８（Ｂ）に示すように短い期間に複数の字幕データの提示タイミングが密集することがある。従って、字幕提示期間情報保存部６０３は、取得した字幕ＰＴＳから当該字幕データの字幕提示期間を算出後に管理下の字幕データの字幕提示期間との重なりを検査し、字幕提示期間情報を併合して更新する処理を行う。
【００４７】
字幕提示期間情報保存部６０３では、図８（Ｃ）のイメージ図のような形式にて字幕提示期間情報を管理している。例えば、図８（Ｂ）において、字幕提示期間情報保存部６０３が字幕データの字幕ＰＴＳ［ｎ］を取得した際には、図８（Ｃ）の（１）に図示するように、新規の字幕提示期間情報として字幕提示期間［ｍ］の情報が追加される。その後、字幕提示期間情報保存部６０３が字幕ＰＴＳ［ｎ＋１］を取得したとき、当該ＰＴＳにオフセット値を減算して得た開始時刻ｅと字幕提示期間［ｍ］の終了時刻ｄとの関係がｄ  ＞ｅとなり、２つの字幕提示期間に時間的な重なりが検出できる。よって、２つの字幕提示期間が併合され、図８（Ｃ）の（２）に示したように字幕提示期間［ｍ］の終了時刻のみｄからｆに更新される。
【００４８】
なお、終了時刻ｆは取得したＰＴＳ［ｎ＋１］にオフセット値を加算して得た終了時刻である。また、字幕提示期間情報保存部６０３は、ＳＴＣ（図１の１０）を監視しており、管理下の字幕提示期間情報の終了時刻をＳＴＣカウンタの値が超過した時点で、保持されている当該字幕提示期間情報を消去する処理を行う。以上で説明したように、字幕提示期間情報保存部６０３は字幕提示期間情報を管理・保持する。
【００４９】
図６の人物シーン判定部６００を構成する映像・字幕同期出力期間判定部６０１の動作を図９の処理フローチャート図を用いて説明する。字幕同期出力期間判定部６０１は、肌色記憶色補正部５００が映像バッファ７より映像フレーム１画像分の画素を読み込む際に当該映像フレームに対応する映像ＰＴＳを取得する（ステップＳ２）。この映像ＰＴＳの取得に同期して、ステップＳ３以降に示すように、字幕提示期間情報保存部６０３に管理されている字幕提示期間情報を過去のものから順次読み出し、映像ＰＴＳとの対応関係を検査する。
【００５０】
なお、図９の処理フロー図において、Ｎは字幕提示期間情報保存部６０３に管理されている字幕提示期間情報の総数を表し、字幕提示期間情報［ｉ］は読み出し字幕提示期間情報を表すものとする。ステップＳ１において取得した映像ＰＴＳと、ステップＳ４にて読み出した字幕提示期間情報［ｉ］との開始時刻と終了時刻の関係が以下の式（３）（ステップＳ５の条件分岐に相当）および式（４）（ステップＳ７の条件分岐に相当）を同時に満たすとき、映像・字幕同期出力期間判定部６０１は、「映像ＰＴＳに対応する映像フレームと同期出力する字幕データが存在する」という判定結果を出力し（ステップＳ８）、検査を終了する（ステップＳ１０）。
【００５１】
映像ＰＴＳ  ≧  字幕提示期間情報［ｉ］の開始時刻    …  式（３）
映像ＰＴＳ  ≦  字幕提示期間情報［ｉ］の終了時刻    …  式（４）
【００５２】
式（３）を満たさない場合、映像・字幕同期出力期間判定部６０１は、その時点で、「映像ＰＴＳに対応する映像フレームと同期出力する字幕データが存在しない」という判定結果を出力し（ステップＳ６）、検査を終了する（ステップＳ１０）。また、式（３）は満たすが、式（４）を満たさない場合は、次の字幕提示期間情報［ｉ＋１］を読み出し、前記したような検査を繰り返す（ステップＳ３）。
【００５３】
字幕提示期間情報保存部６０３に管理されている全ての字幕提示期間情報を検査しても式（３）と式（４）を同時に満たさない場合も、「映像ＰＴＳに対応する映像フレームと同期出力する字幕データが存在しない」という判定結果を出力し（ステップＳ９）、検査を終了する（ステップＳ１０）。
【００５４】
図６の人物シーン判定部６００を構成する補正パラメータ決定部６０２は、前述した映像・字幕同期出力期間判定部６０１の判定結果に応じて肌色記憶色補正の補正パラメータＷ１を決定し出力する。前記判定結果が、「映像ＰＴＳに対応する映像フレームと同期出力する字幕データが存在する」である場合、当該映像フレームには人物が映っている可能性が高いと推定し、補正パラメータＷ１＝β１を後段に出力する。
【００５５】
また、映像・字幕同期出力期間判定部６０１の判定結果が、「映像ＰＴＳに対応する映像フレームと同期出力する字幕データが存在しない」である場合は、当該映像フレームには人物が映っている可能性が低いと推定して、補正パラメータＷ１＝β２を後段に出力する。
なお、補正パラメータ値のβ１とβ２は、補正パラメータ決定部６０２内部に予め定義されている値であり、０≦β１，β２≦１の範囲の値を取るものである。補正パラメータ値は後述する色相内分演算部５０２と彩度内分演算部５０５にて行なわれる映像フレームの各画素の肌色記憶色補正の補正度合いに影響するパラメータとなっており、補正パラメータ値が１に近ければ肌色記憶色補正の度合いが強くなり、補正パラメータ値が０に近ければ肌色記憶色補正の度合いが弱くなり、０のときには肌色記憶色補正を行わないことを意味する。本発明の本実施の形態においては、補正パラメータ値のβ１は比較的１に近い値が、β２は０に近い値が定義されているものとする。
【００５６】
以上に説明した人物シーン判定部５０８を構成する各処理部の動作によって、人物シーン判定部５０８は、入力された映像フレームにおいて、人物が映っている可能性が高いか否か、即ち人物シーンかどうかを判定することができる。
【００５７】
次に、図５の肌色記憶色補正部５００おいて、入力画素毎の肌色記憶色補正処理について、肌色記憶色設定保存部５０４と、補正パラメータ生成部５０７と、色相内分演算部５０２と、彩度内分演算部５０５の各処理部の動作を説明し、各処理部の働きによって、肌色記憶色補正部５００において、入力画素毎の肌色記憶色補正処理が実現されることを示す。
【００５８】
図５の色相内分演算部５０２と彩度内分演算部５０５は、肌色記憶色補正部５００に入力中の映像フレームに映っている人物の肌の部分に含まれるであろう候補画素の色成分を、予め定められた、人物の肌色の代表的な色成分に近づける処理を行なう。ここで対象とする色成分は、前述した色相・彩度変換部５０１の動作により変換された色相（ｈｕｅ））と彩度（ｓａｔ）の組み合わせで表される。前記、人物の肌色の代表色は肌色記憶色設定保存部５０４の内部に（色相，彩度）の形式で保持されており、肌色記憶色補正処理の際は、前記肌色代表色の色相と彩度が、記憶色補正の目標色相（ｈｕｅ０）、目標彩度（ｓａｔ０）として色相内分演算部５０２と彩度内分演算部５０５に読み出される。
【００５９】
肌色記憶色設定保存部５０４には肌色領域判定部５０６で使用される肌色領域の範囲と前記の肌色代表色が保持されるが、本発明の本実施の形態においては、前記の肌色代表色は、図７（Ｂ）の７０１に示すように肌色領域の色相の範囲と彩度の範囲を２つに内分する内分点の座標として与えられる。なお、肌色記憶色設定保存部５０４に保持される肌色領域の範囲の設定に関しては、実際の各種映像コンテンツに映っている様々な人の肌の色を統計した結果に基づいて決定したものを予め保持するようにしてもよいし、映像処理装置の図示しないグラフィカル・ユーザ・インタフェース（ＧＵＩ）等を介して、ユーザ自身の人の肌の記憶色を設定に反映するようにしてもよい。
【００６０】
色相内分演算部５０２と彩度内分演算部５０５は、肌色記憶色設定保存部５０４から読み出した肌色代表色を記憶色補正の目標色相・目標彩度とした（ｈｕｅ０，ｓａｔ０）と、補正対象である入力画素の色相・彩度（ｈｕｅ，ｓａｔ）とを、補正パラメータＷにより下記の式（５）、式（６）に従って内分動作する。
【００６１】
ｈｕｅ’＝Ｗ＊ｈｕｅ０＋（１−Ｗ）＊ｈｕｅ  …  式（５）
ｓａｔ’＝Ｗ＊ｓａｔ０＋（１−Ｗ）＊ｓａｔ  …  式（６）
【００６２】
但し、補正パラメータＷは記憶色補正の補正度合いを定めるパラメータであり、０≦Ｗ≦１の範囲の値とする。よってＷ＝１の場合は、入力画素の色相・彩度は肌色代表色の色相・彩度に変換され、Ｗ＝０の場合は、記憶色補正は行わず入力画素の色相・彩度がそのまま出力されることになる。この補正パラメータＷは図５の補正パラメータ生成部５０７から出力される。
【００６３】
補正パラメータ生成部５０７は、肌色領域判定部５０６と人物シーン判定部５０８より出力される２つの補正パラメータＷ０とＷ１に従い、前記の補正パラメータＷを生成する。補正パラメータＷ０は、映像フレームの対象画素が予め定められた肌色領域に含まれているか否かの判定結果に依存したパラメータ値であり、補正パラメータＷ１は、当該映像フレームと字幕データの同期関係を基に人物が映っているかどうかを推定した結果に依存したパラメータ値であり、前記の２つのパラメータとも、０≦Ｗ０，Ｗ１≦１の範囲内の値である。本発明の本実施の形態において、補正パラメータ生成部５０７は、前記２つのパラメータの乗算動作を行い、その乗算結果を補正パラメータＷとして色相内分演算部５０２と、彩度内分演算部５０５に出力する。
【００６４】
本発明の本実施の形態においては、補正対象となる入力画素が肌色領域に含まれていない場合は、肌色領域判定部５０６から出力される補正パラメータＷ０＝０となるため、人物シーン判定部５０８から出力される補正パラメータＷ１の値に関らず、補正パラメータＷとして０が出力されることになる。このとき、色相内分演算部５０２、彩度内分演算部５０５においては、記憶色補正処理が行われず、色相・彩度変換部５０１より入力された色相（ｈｕｅ）と彩度（ｓａｔ）がそのまま色相・彩度逆変換部５０８に入力され、色相と彩度は元の色差信号（Ｃｂ，Ｃｒ）に逆変換され、映像バッファ７に書き戻される。
【００６５】
補正対象となる入力画素が肌色領域に含まれる場合は、補正パラメータＷ０＝α１≠０となり、人物シーン判定部５０８から出力されるＷ１＝β１との乗算により得られた補正パラメータＷに従った肌色記憶色補正処理が行なわれ、色相内分演算部５０２、彩度内分演算部５０５にて出力される補正後の色相と彩度が色相・彩度逆変換部５０８に入力される。色相・彩度逆変換部５０８によって、色相と彩度は元の色差信号（Ｃｂ，Ｃｒ）に逆変換され、映像バッファ７に書き戻される。
【００６６】
本実施の形態においては、補正対象となる入力画素が肌色領域に含まれ、かつ、人物シーン判定部５０８によって当該映像フレームには人物が映っている可能性が高いと判定された場合は、補正パラメータＷ＝α１＊β１で算出される比較的１に近い値を取ることになるため、対象画素は肌色代表色の示す座標（図７（Ｂ）の７０１）方向に引き込まれることになる。また、補正対象となる入力画素が肌色領域に含まれるが、人物シーン判定部５０８においては、当該映像フレームには人物が映っている可能性が低いと判定された場合は、補正パラメータＷ＝α１＊β２で算出される比較的０に近い値を取ることになるが、Ｗ≠０であるため、弱めの肌色記憶色補正が掛かることになる。
【００６７】
これは、本発明における人物シーン判定部５０８の判定処理が、映像フレームの人物の画像的特徴量を解析するような手法をとっておらず、映像に重畳される字幕の有無に原理を置いていることに由来する。即ち、字幕データが重畳されていない映像フレームにおいても、人物が映っている可能性はあるため、本実施の形態においては、補正対象となる入力画素が肌色領域に含まれていれば、若干の記憶色補正を行なう実装とした。
【００６８】
本実施の形態においては、色相内分演算部５０２での内分動作においても、彩度内分演算部５０５での内分動作においても、掛かる３つの補正パラメータＷ０、Ｗ１、Ｗは共通としたが、色相と彩度の補正処理で独立にパラメータを算出するようにしても良い。
【００６９】
また、本実施の形態においては、肌色領域判定部５０６から出力される補正パラメータＷ０の取り得る値を、図７（Ｂ）で示す色相・彩度座標空間において対象画素（ｈｕｅ，ｓａｔ）が、肌色領域７００に含まれるか否かに応じて、α１とα２（＝０）のどちらかとしたが、対象画素（ｈｕｅ，ｓａｔ）が、肌色領域７００の内部にある場合は、対象画素（ｈｕｅ，ｓａｔ）と肌色代表色７０１との距離に応じて、補正パラメータは０≦α１≦１を取るようにし、対象画素（ｈｕｅ，ｓａｔ）が肌色代表色付近にある場合と肌色領域の境界線付近にある場合とでは記憶色補正の補正度合いに差を設けるようにしても良い。
【００７０】
また、本実施の形態においては、人物シーン判定部５０８から出力される補正パラメータＷ１の取り得る値を、図６の字幕提示期間情報保存部６０３に保持される字幕提示期間情報の検査において、字幕提示期間内に含まれるか否かに拠った２値（β１とβ２）のどちらとしたが、字幕提示期間内に含まれる場合は、前記字幕提示期間の算出の際に基となった字幕ＰＴＳと当該映像フレームのＰＴＳとの差分の絶対値の大きさに依存して０≦β１≦１を取るようにしても良い。
【００７１】
これは、前記の字幕提示期間が、図８（Ａ）に示すように字幕ＰＴＳの前後にオフセット時間を加算・減算して求めており、字幕ＰＴＳ直近での映像フレームにおいて人物が映っている可能性と、字幕提示期間の開始・終了時刻付近の映像フレームにおいて人物が映っている可能性との間に差を設けるようにすることを意図したものである。
【００７２】
以上に説明したように動作する各処理部にて構成された肌色記憶色補正部８を装備した映像処理装置にて、映画やドラマなどの映像コンテンツの映像シーンに映る人物の肌部分の色の記憶色補正する処理を、処理負荷の高い画像解析手法を用いず、低コストな人物シーン判定の手法を用いて実現している。また、肌色の記憶色補正処理を適切なシーンで実施することができ、意図しない補正処理で発生する副作用を回避することを実現している。
【符号の説明】
【００７３】
１…ＴＳ入力、２…分離部、３…映像ＰＥＳバッファ、４…字幕ＰＥＳバッファ、５…映像デコーダ、６…字幕デコーダ、７…映像バッファ、８…肌色記憶色補正部、９…字幕バッファ、１０…ＳＴＣ（システム・タイム・クロック）、１１…同期出力制御部、１２…映像出力、１３…字幕表示選択信号、１４…映像処理装置、２００…ＴＳパケット、２０１…ＴＳパケット・ペイロード、２０２…ＰＩＤ（Packet Identification）、２０３…ＰＥＳパケット、２０４…ＰＥＳパケット・ペイロード、２０５…ＰＴＳ（Presentation Time Stamp）、２０６…エレメンタリストリーム（映像エレメンタリストリーム）、２０７…アクセスユニット［ｎ］のデータ先頭部分、２０８…映像アクセスユニット［ｎ］、３０１…復号映像フレーム、３０２…映像ＰＴＳ、４０１…映像データ（映像フレーム）、４０２…字幕データ、４０３…字幕データと重畳された映像出力、５００…肌色記憶色補正部、５０１…色相・彩度変換部、５０２…色相内分演算部、５０３…色相・彩度逆変換部、５０４…肌色記憶色設定保存部、５０５…彩度内分演算部、５０６…肌色領域判定部、５０７…補正パラメータ生成部、５０８…人物シーン判定部、６００…人物シーン判定部、６０１…映像・字幕同期出力期間判定部、６０２…補正パラメータ決定部、６０３…字幕提示期間情報保存部、７００…肌色領域、７０１…肌色代表色、８００…映像フレーム、８０１…字幕データ、８０２…字幕［ｎ］の開示時刻、８０３…字幕［ｎ］のＰＴＳ、８０４…字幕［ｎ］の終了時刻。
【図１】
2011142546.tif 000003
【図２】
2011142546.tif 000004
【図３】
2011142546.tif 000005
【図４】
2011142546.tif 000006
【図５】
2011142546.tif 000007
【図６】
2011142546.tif 000008
【図７】
2011142546.tif 000009
【図８】
2011142546.tif 000010
【図９】
2011142546.tif 000011