(57)【要約】【課題】様々な映像シーケンスにおいて主観画質の劣化を防止することができ、しかも符号化性能を向上させることができる画像処理装置を提供する。【解決手段】入力された音信号を分析し、人の特性を反映した音情報を出力する音信号分析部２と、音信号分析部から出力される音情報に応じた画像符号化の動作条件を生成して出力する符号化制御部３と、入力された画像信号を符号化制御部から出力される画像符号化の動作条件に従って符号化する画像符号化部４を備えている。【選択図】図１
2006325179.tif 000002
【特許請求の範囲】
【請求項１】
入力された音信号を分析し、人の特性を反映した音情報を出力する音信号分析部と、
前記音信号分析部から出力される音情報に応じた画像符号化の動作条件を生成して出力する符号化制御部と、
入力された画像信号を前記符号化制御部から出力される画像符号化の動作条件に従って符号化する画像符号化部
とを備えた画像処理装置。
【請求項２】
音信号分析部は、入力された音信号に基づいて音の発生位置を推定し、該推定した音の発生位置を表す音発生位置情報を、音情報の一部として出力する音発生位置推定部を備え、
符号化制御部は、前記音発生位置推定部から送られてくる音情報に含まれる音発生位置情報に応じて画像符号化の動作条件を生成して出力する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
音発生位置推定部は、入力された音信号によって示される音量のレベル差に基づいて音の発生位置、移動方向および移動速度を推定し、該推定した音の発生位置、移動方向および移動速度を表す音発生位置情報を、音情報の一部として出力することを特徴とする請求項２記載の画像処理装置。
【請求項４】
音信号分析部は、入力された音信号に人の声が含まれているか否かを判別する音声認識部を備え、
音発生位置推定部は、前記音声認識部により判別された人の声を含めて音の発生位置を推定することを特徴とする請求項２記載の画像処理装置。
【請求項５】
音信号分析部は、入力された音信号に基づいて音の種類を判定し、該判定した音の種類を表す音種情報を、音情報の一部として出力する音種判別部
を備えたことを特徴とする請求項１記載の画像処理装置。
【請求項６】
音信号分析部は、入力された音信号に人の声が含まれているか否かを判別する音声認識部を備え、
音種判別部は、前記音声認識部により判別された人の声を含めて音の種類を判定する
ことを特徴とする請求項５記載の画像処理装置。
【請求項７】
音信号分析部は、音種判別部から出力される音種情報に基づいて音が視聴者の聴覚に与える刺激の程度を判定し、該判定した刺激の程度を表す聴覚刺激度情報を、音情報の一部として出力する聴覚刺激度判定部を備え、
符号化制御部は、前記聴覚刺激度判定部から送られてくる音情報に含まれる聴覚刺激度情報に応じて画像符号化の動作条件を生成して出力する
ことを特徴とする請求項５記載の画像処理装置。
【請求項８】
符号化制御部は、前記音種判別部から送られてくる音情報に含まれる音種情報に応じた画像圧縮率を画像符号化の動作条件として生成して出力する
ことを特徴とする請求項５記載の画像処理装置。
【請求項９】
符号化制御部は、前記音種判別部から送られてくる音情報に含まれる音種情報に応じた動き補償予測の実施条件または量子化の実施条件を画像符号化の動作条件として生成して出力する
ことを特徴とする請求項５記載の画像処理装置。
【請求項１０】
符号化制御部は、前記音種判別部から送られてくる音情報に含まれる音種情報に応じて画像符号化部の動作を実行または停止させる指示を画像符号化の動作条件として生成して出力する
ことを特徴とする請求項５記載の画像処理装置。
【請求項１１】
符号化制御部は、前記音種判別部から送られてくる音情報に含まれる音種情報に基づき映像シーンの変化を検出し、該検出結果に応じた動作を行うべき旨を画像符号化の動作条件として生成して出力する
ことを特徴とする請求項５記載の画像処理装置。
【請求項１２】
入力された音信号と入力された画像信号との関連度を判定するＡＶ同期判定部を備え、符号化制御部は、前記ＡＶ同期判定部からの判定結果に応じた画像符号化の動作条件を生成して出力する
ことを特徴とする請求項１記載の画像処理装置。
【請求項１３】
入力された音信号を符号化する音声符号化部を備え、
符号化制御部は、画像符号化部に送る画像符号化の動作条件および前記音声符号化部に送る動作モードを生成して出力することを特徴とする請求項１記載の画像処理装置。
【請求項１４】
音声信号分析部から送られてくる音情報に応じて、入力された画像信号を加工する画像加工部を備え、
画像符号化部は、前記画像加工部から出力される加工された画像信号を、符号化制御部から出力される画像符号化の動作条件に従って符号化することを特徴とする請求項１記載の画像処理装置。
【請求項１５】
符号化された圧縮画像データを復号して画像信号を出力する画像復号部と、
符号化された圧縮音声データを復号して音信号を出力する音声復号部と、
前記音声復号部から送られてくる音信号を分析し、該分析の結果を音情報として出力する音信号分析部と、
前記音信号分析部から出力される分析結果に応じて前記画像復号化部から出力される画像信号を加工する画像加工部
とを備えた画像処理装置。
【請求項１６】
入力された音信号を分析し、人の特性を反映した音情報を出力する音信号分析部と、
入力された音声と映像の位置関係を表す音声映像リンク情報によって音声を発する被写体を認識する音源認識部と、
入力された画像信号から被写体を検出する被写体検出部と、
前記音信号分析部から出力される音情報、前記音源認識部からの認識結果および前記被写体検出部からの被写体検出結果に応じた画像符号化の動作条件を生成して出力する符号化制御部と、
入力された画像信号を前記符号化制御部から出力される画像符号化の動作条件に従って符号化する画像符号化部
とを備えた画像処理装置。
【請求項１７】
音源認識部からの認識結果および音声分析部から出力される分析結果に基づいて符号化制御部における符号化条件を変更する
ことを特徴とした請求項１６記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像圧縮装置や画像伸長装置といった画像処理装置に関し、特に画像を圧縮する際の圧縮率や、画像を圧縮または伸張する際の適正な符号化条件や画像の加工方法を決定する技術に関する。
【背景技術】
【０００２】
従来、画像データを圧縮する画像圧縮装置や圧縮された画像データを伸長する画像伸長装置といった画像処理装置が知られている。このような画像処理装置の１つとして、特許文献１は、映像シーケンスにおけるコマーシャル区間や主人公出現区間などを判別できる画像符号化装置を開示している。
【０００３】
この画像符号化装置は、入力された画像情報と音声情報の分析を行う画像符号化制御部と、画像符号化制御部からの画像情報および音声情報の分析・比較結果に基づいて画像符号化を行う画像符号化部を備え、画像符号化制御部では、色や形状などの画像条件や音声認識、音量、音質などの音声条件をもとに映像シーケンスにおけるコマーシャル区間や主人公出現区間を判別し、その判別結果をもとに画像圧縮率やビットレートを決定し、画像符号化部では、画像符号化制御部で決定された画像圧縮率やビットレートに基づいて画像符号化を行う。
【０００４】
【特許文献１】特開２００３−８７７８８号公報（段落００１７〜００３８、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来の画像符号化装置は、主人公出現区間やコマーシャル区間といった特定の映像シーケンスにおいては高画質化を実現できるが、人の視聴覚特性や音に対する視聴者の心理といった人の特性が考慮されておらず、映像シーケンスの種類や内容によっては、主観画質が劣化し、また、符号化性能が低下するという問題がある。
【０００６】
本発明は上記のような問題点を解決するためになされたもので、様々な映像シーケンスにおいて主観画質の劣化を防止することができ、しかも符号化性能を向上させることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像処理装置は、入力された音信号を分析し、人の特性を反映した音情報を出力する音信号分析部と、音信号分析部から出力される音情報に応じた画像符号化の動作条件を生成して出力する符号化制御部と、入力された画像信号を符号化制御部から出力される画像符号化の動作条件に従って符号化する画像符号化部を備えている。
【発明の効果】
【０００８】
この発明によれば、人の特性が反映された音情報、例えば、聴覚刺激度や音の発生位置のように人の視聴覚特性や音に対する視聴者の心理に影響を与える音情報に応じて、例えば動き補償予測や量子化といった個々の画像圧縮機能の動作条件や画像圧縮率といった画像符号化の動作条件が決定され、この決定された動作条件に従って入力された画像信号を符号化するように構成したので、主観画質を劣化させることなく画像圧縮率を向上させることができ、また、符号化性能を向上させることができる。
【発明を実施するための最良の形態】
【０００９】
以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。この画像処理装置は画像圧縮装置として実現されており、ＡＶ同期判定部１、音信号分析部２、符号化制御部３および画像符号化部４から構成されている。
【００１０】
ＡＶ同期判定部１は、外部から入力された画像信号と外部から入力された音信号との関連度を調べることにより関連性の有無を判定する。このＡＶ同期判定部１における判定結果は、同期情報として符号化制御部３に送られる。音信号分析部２は、外部から入力された音信号の分析、例えば音信号によって示される音量、音質、テンポ、周波数分布などの測定や音声認識等を行う。この音信号分析部２の詳細は後述する。この音信号分析部２における分析の結果は、符号化制御部３に送られる。
【００１１】
符号化制御部３は、ＡＶ同期判定部１から送られてくる同期情報、音信号分析部２から送られてくる分析結果、外部から画像信号として送られてくる画像情報および画像符号化部４から送られてくる符号化結果を用いて画像符号化部４における画像符号化の動作条件を決定し、この決定した動作条件を該画像符号化部４に送る。画像符号化部４は、符号化制御部３から送られてくる動作条件に従って、外部から画像信号として送られてくる画像情報を符号化する。この画像符号化部４で符号化することにより得られた圧縮画像データは、外部に出力される。
【００１２】
図２は、音信号分析部２の詳細な構成を示すブロック図である。この音信号分析部２は、信号解析部１０１、音声認識部１０２、音種判別部１０３、聴覚刺激度判定部１０４および音発生位置推定部１０５から構成されている。
【００１３】
信号解析部１０１は、外部から入力された音信号によって示される音量、音質、テンポ、周波数分布などを測定するとともに、それらの時間的変化を観測する。この信号解析部１０１における測定および観測によって得られたデータは、音種判別部１０３および音発生位置推定部１０５に送られる。音声認識部１０２は、パターンマッチングなどの手法を用いて、外部から入力された音信号に人の声が含まれているかどうかを判別する。この音声認識部１０２における判別結果は、音種判別部１０３および音発生位置推定部１０５に送られる。
【００１４】
音種判別部１０３は、信号解析部１０１から送られてくるデータと音声認識部１０２から送られてくる判別結果とに基づいて、外部から音信号として送られてくる入力音の種類を判別する。入力音の種類は、例えば、人の声、音楽、背景音などといった基準によって分類される。音楽は、さらにテンポ、音量の変化率、低高音のバランスなどの違いによって分類され、背景音は、音量の変化率、低高音のバランスなどの違いによって分類される。この音種判別部１０３で判別された入力音の種類を表す音種情報は、聴覚刺激度判定部１０４に送られるとともに、分析結果の１つとして符号化制御部３に送られる。
【００１５】
聴覚刺激度判定部１０４は、音種判別部１０３から送られてくる音種情報を用いて、入力音によって視聴者の聴覚が刺激される程度を判定する。例えば、聴覚刺激度判定部１０４では、爆発音など音量の変化率が大きい音、金属音や引っ掻き音などといった高音のレベルが大きい音、テンポが不規則な音に対しては、視聴者の聴覚神経は反射的に活性化されるため聴覚刺激度が高いと判定される。また、人の声や音楽に対しては視聴者が意識的に耳を傾けるため、聴覚刺激度が高いと判定される。逆に、音量の変化率が小さい音、低音と高音のバランスの良い音、テンポが規則的な音、無音、微音、人の可聴範囲を超える超音波音などは聴覚刺激度が低いと判定される。なお、聴覚刺激度は、入力音が聴覚へ与える負荷の大きさと換言することができる。この聴覚刺激度判定部１０４における判定によって得られた聴覚刺激度情報は、分析結果の１つとして符号化制御部３に送られる。
【００１６】
音発生位置推定部１０５は、信号解析部１０１から送られてくるデータと音声認識部１０２から送られてくる判別結果とに基づいて、音の発生源が画像上のどのエリアに存在するかを推定する。例えば、図３に示すような２チャンネルのステレオ音において左右の音量レベル比が９：１の場合、画面の左寄りに音の発生源が存在し、そのエリアに着目すべき人物や物体が存在すると推定する。音発生位置推定部１０５で扱う音信号は２チャンネル以上であることが望ましいが、１チャンネル（モノラル音）の場合であっても、時間的な音量の変化などの観測によって音の発生位置を推定することができる。
【００１７】
さらに、音発生位置推定部１０５は、音の発生源の移動方向と移動速度を推定する。例えば、図４（ａ）に示すような左右の音量レベル差の時間的推移および図４（ｂ）に示すような前後の音量レベル差の時間的推移を用いることによって、図４（ｃ）に示すように、画面上の人物や物体の移動方向と移動速度を推定する。この音発生位置推定部１０５において推定された音の発生源の位置、移動方向および移動速度を表す音発生位置情報は、分析結果の１つとして符号化制御部３に送られる。
【００１８】
符号化制御部３は、音信号分析部２から分析結果として送られてくる音種情報、聴覚刺激度情報および音発生位置情報（以下、これらを「音情報」と総称する）の他、上述したように、ＡＶ同期判定部１から送られてくる同期情報、外部から画像信号として送られてくる画像情報（例えば画像の周波数情報）および画像符号化部４から送られてくる符号化結果を用いて、画像符号化部４における画像符号化の動作条件を決定する。この動作条件には、画像圧縮率、動き補償予測の実施条件、量子化の実施条件が含まれる。
【００１９】
以下、符号化制御部３の具体的な動作の幾つかを説明する。ここでは画像符号化の方式がＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−２であることを想定して説明するが、説明の大半はＭＰＥＧ−２以外の符号化方式にも当てはめることができる。
【００２０】
（１）画像圧縮率の決定
図５は、音種情報を用いて画像圧縮率を決定する圧縮率決定処理を示すフローチャートである。圧縮率決定処理では、まず、音種判定が行われる（ステップＳＴ１）。すなわち、符号化制御部３は、音信号分析部２から送られてくる音種情報によって示される入力音が人の声であるか否かを調べる。この音種判定において人の声であることが判断されると、画像圧縮率が「低」に決定される（ステップＳＴ３）。一方、ステップＳＴ１における音種判定において人の声でないことが判断されると、次いで、聴覚刺激度判定が行われる（ステップＳＴ２）。すなわち、符号化制御部３は、音信号分析部２から送られてくる聴覚刺激度情報を受け取り、聴覚刺激度が「大」、「中」または「小」の何れであるかを調べる。
【００２１】
このステップＳＴ２における聴覚刺激度判定において、聴覚刺激度が「小」であることが判断されると、シーケンスは上述したステップＳＴ３に進む。ステップＳＴ２における聴覚刺激度判定において、聴覚刺激度が「中」であることが判断されると、画像圧縮率が「中」に決定される（ステップＳＴ４）。ステップＳＴ２における聴覚刺激度判定において、聴覚刺激度が「大」であることが判断されると、画像圧縮率が「高」に設定される（ステップＳＴ５）。さらに、上述したステップＳＴ３、ＳＴ４およびＳＴ５においては、符号化制御部３は、決定した圧縮率を動作条件として画像符号化部４に送る。これにより、画像符号化部４は、符号化制御部３から送られてくる動作条件に従った圧縮率で画像符号化を実施し、圧縮画像データとして出力する。
【００２２】
以上の圧縮率決定処理により、人物の会話シーンや背景音の落ち着いた映像シーンでは画像圧縮率が低くなり、爆発音や金属音などの刺激音が発生した映像シーンでは画像圧縮率が高くなるように制御される。
【００２３】
なお、上述した圧縮率決定処理では、音情報のみ用いて画像圧縮率を決定しているが、画像情報と音情報を相補的に利用して画像圧縮率を決定することにより、より主観画質の良い高圧縮画像を得ることができる。例えば、外部から送られてくる画像信号の周波数特性や時間的相関、または画像符号化部４から送られてくる直前フレームにおける符号化結果などを用いて適切な圧縮率を算出したうえで、音種や聴覚刺激度に応じてその圧縮率を補正することによって、画像と音の双方の性質が考慮された適切な圧縮率を得ることができる。
【００２４】
（２）動き補償予測における動き探索範囲の決定
図６は、音情報を用いて動き補償予測における動き探索範囲を決定する動き探索範囲決定処理を示すフローチャートである。動き探索範囲決定処理では、まず、テンポ判定が行われる（ステップＳＴ１１）。すなわち、符号化制御部３は、音信号分析部２から送られてくる音種情報によって示される入力音が音楽である場合に、そのテンポの速さを調べる。このテンポ判定においてハイテンポであることが判断されると、動き探索範囲が「大」に設定される（ステップＳＴ１３）。一方、ステップＳＴ１１におけるテンポ判定においてローテンポであることが判断されると、次いで、高音レベルの判定が行われる（ステップＳＴ１２）。すなわち、符号化制御部３は、音信号分析部２から送られてくる音種情報に基づき、高音レベルが「大」または「小」の何れであるかを調べる。
【００２５】
このステップＳＴ１２における高音レベルの判定において、高音レベルが「大」であることが判断されると、動き探索範囲が「大」に決定される（ステップＳＴ１４）。一方、ステップＳＴ１２における高音レベルの判定において、高音レベルが「小」であることが判断されると、動き探索範囲が「小」に決定される（ステップＳＴ１５）。さらに、上述したステップＳＴ１３、ＳＴ１４およびＳＴ１５においては、符号化制御部３は、決定した動き探索範囲を動作条件として画像符号化部４に送る。これにより、画像符号化部４は、符号化制御部３から送られてくる動き探索範囲に従った範囲で動き補償予測を実施する。
【００２６】
以上の動き探索範囲決定処理により、ローテンポで低音に偏った厳かな音は比較的動きの穏やかな画像と同期していることが多く、ハイテンポの音は動きの多い画像と同期していることが多いといった画像と音の心理的な相互関係を考慮した制御がなされる。このような制御は、特にテレビドラマや映画などにおいて有効である。
【００２７】
（３）動き補償予測における動き探索範囲および基準ベクトルの決定
図７は、音情報を用いて動き補償予測における動き探索範囲と基準ベクトルを決定するための処理を示すフローチャートである。この処理では、まず、音発生エリアの移動方向と速度の推定値が入力される（ステップＳＴ２１）。すなわち、符号化制御部３は、音信号分析部２の音発生位置推定部１０５から送られてくる音発生位置情報に含まれる着目点、つまり音の発生源の移動方向および移動速度の推定値を入力する。次いで、移動速度の推定値から動き探索範囲が決定される（ステップＳＴ２２）。すなわち、符号化制御部３は、入力された移動速度の推定値から物体の移動範囲を計算し、その範囲をカバーする動き探索範囲を決定する。そして、この決定した動き探索範囲を、動作条件として画像符号化部４に送る。
【００２８】
次いで、移動方向と速度の推定値から基準ベクトルが決定される（ステップＳＴ２３）。すなわち、符号化制御部３は、入力された移動方向と移動速度の推定値から音発生位置の近傍における動きベクトルを求め、基準ベクトルとして定める。そして、この定めた基準ベクトルを、動作条件として画像符号化部４に送る。これにより、画像符号化部４は、符号化制御部３から動作条件として送られてくる動き探索範囲で動き補償予測を実施する。また、音発生位置の近傍の動きベクトルが、基準ベクトルに近似されるように動き補償予測の実施条件を制御する。
【００２９】
以上の処理により、音情報から推定された着目点（音の発生源）の情報から、画像符号化における動き探索範囲の限定や動きベクトルの均一化が行われるので、動き補償予測の性能の向上を図ることができる。また、動き探索範囲の限定や動き探索において基準ベクトルから離れた探索は実施しないなどの処理を行えば、画像符号化の処理時間の短縮や消費電力の削減が可能になる。
【００３０】
さらに、動き探索範囲が広い場合や基準ベクトルが大きい場合には画像圧縮率を下げるといった画像圧縮率の操作を連動させ符号化性能のさらなる向上を図ることができる。
【００３１】
（４）映像シーンの変化の検出
符号化制御部３は、音情報を用いてシーンチェンジやフェードなどといった映像シーンの変化を検出する。例えば、符号化制御部３は、音種や音の発生位置に大きな変化があった場合または音の連続性が途切れた場合にシーンチェンジがなされた旨を検出する。また、符号化制御部３は、単調かつ線形的な音量の変化が検知された場合にフェードがなされた旨を検出する。
【００３２】
シーンチェンジの検出時には、２シーンをまたぐ動き補償予測の実施を抑制するように予測モード（フレーム予測やフィールド予測の別）や予測方向（前方向予測、後方向予測、両方向予測の別）を制御し、また、フェード検出時には、画像の輝度レベルを補正しながら動き補償予測を行うなど、フェード独特の画像変化に左右されにくい手法を採用することにより、符号化性能の向上を図ることができる。さらには、シーンチェンジやフェードの検出時には画像圧縮率を下げるといった操作を連動させるように構成できる。この構成によれば、符号化性能のさらなる向上を図ることができる。
【００３３】
以上の例では、音情報のみを利用して動き補償予測の実施条件を制御しているが、画像情報と音情報を相補的に用いることにより、動き補償予測のさらなる性能向上を図ることができる。
【００３４】
（５）符号化条件の切替
符号化制御部３は、画像上における音の発生位置の近傍のエリアとそれ以外のエリアとで符号化条件を切り替える。例えば、音の発生位置の近傍では量子化スケールの縮小や動き補償予測の精度拡張を行い、音の発生位置の近傍以外では量子化スケールの拡大や動き補償予測の精度縮小を行う。
【００３５】
（６）画像符号化部４の実行および停止の制御
符号化制御部３は、音情報を用いることにより画像符号化部４の実行や停止を制御する。例えば、無音や微小音が一定時間以上連続して入力された場合や音が雑音と特定された場合は、画像符号化部４の動作を停止させ、逆に有効な音が入力された場合のみ画像符号化部４の動作を実行させる。
【００３６】
符号化制御部３は、上述した（１）〜（６）に示した動作を行うが、映像シーケンスによっては画像と音が無関係の場合や、画像と音の入力タイミングにずれが存在する場合も有り得る。そのような場合に、上述した符号化制御を行えば、画質劣化や符号化性能の低下を生じさせる恐れがある。
【００３７】
ＡＶ同期判定部１は、このような問題を解決するために設けられている。ＡＶ同期判定部１は、画像と音の関連度や到着タイミングのずれを測定し、その測定結果に基づいて関連性の有無を判定し、その判定結果を符号化制御部３に通知する。符号化制御部３では、画像と音の関連性が低い場合には、例えば上述した（３）、（４）、（５）などの場合は、符号化制御は行わないという判断がなされる。また、画像と音のタイミングずれが検知された場合は、符号化制御部３の内部でずれ幅を補正しながら上述した（１）〜（６）の動作が行われる。なお、ＡＶ同期の判定は、例えば、画像信号が変化するタイミングと音信号が変化するタイミングを測定することによって行うことができる。
【００３８】
また、画像と音の関連度については、映像のジャンル情報を入手することにより、より正確に判断することができる。例えば、映像のジャンルが映画、ドラマ、バラエティ、ニュースなどの場合は、画像と音の関連度は比較的高いと推定し、スポーツや音楽の場合は画像と音の関連度は比較的低いと推定する。符号化制御部３は、画像と音の関連度が高いと推定した場合には音情報を積極的に活用し、関連度が低いと推定した場合には音情報の利用を制限する。
【００３９】
以上説明したように、この実施の形態１に係る画像処理装置によれば、音の種類や聴覚刺激度に応じて、画像圧縮率を制御するように構成したので、人の特性、例えば人の視聴覚特性や視聴者の心理が考慮された主観画質の良好な圧縮画像データを生成できる。
【００４０】
また、テンポや高音のレベルなどといった音の特徴によって動き補償予測の動作条件を変化させるように構成したので、画像と音の相互関係が考慮された効率の良い動き補償予測が実現できる。
【００４１】
また、音情報から推定した着目物体の位置、移動方向、移動速度などの情報を用いて、動き補償予測や量子化の条件を制御するように構成したので、符号化性能や主観画質の向上を図ることができ、より高画質かつ高圧縮な画像データを生成できる。さらには符号化処理時間の短縮や装置の消費電力の削減を図ることもできる。
【００４２】
また、音声認識部１０２を備えたので、人の声の有無や声の発生位置を推定することができ、それによって着目度の高い画像エリアを正確に特定し、主観画質の良い高圧縮の画像データを生成できる。
【００４３】
また、符号化制御部３において、音量や音種に応じて画像符号化の実行および停止を操作するように構成したので、映像の自動記録やテレビ番組の録画におけるＣＭカットなどの機能を持つ高性能な画像処理装置を実現できる。
【００４４】
また、ＡＶ同期判定部１を備え、画像と音の関連性を把握し、関連性の大小に応じて音情報の使用可否を判断するように構成したので、性能の安定した画像処理装置を実現できる。
【００４５】
さらに、映像のジャンル情報を入手し、ジャンルに応じて音情報の使用可否を判断するように構成したので、性能の安定した画像処理装置を実現できる。
【００４６】
実施の形態２．
図８は、この発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。この画像符号化装置は、上述した実施の形態１に係る画像処理装置に、音声符号化部５が追加されて構成されている。以下では、実施の形態１に係る画像処理装置と同一または相当の構成部分には、実施の形態１で使用した符号と同じ符号を付して説明を簡略化または省略する。
【００４７】
この画像処理装置の符号化制御部３は、画像符号化部４と音声符号化部５の両方の動作条件を制御する。すなわち、符号化制御部３は、実施の形態１に係る画像処理装置と同様に、ＡＶ同期判定部１から送られてくる同期情報、音信号分析部２から送られてくる分析結果、外部から画像信号として送られてくる画像情報および画像符号化部４から送られてくる符号化結果を用いて画像符号化部４の動作条件を決定して該画像符号化部４に送るとともに、音声符号化部５の動作モードを決定して該音声符号化部５に送る。この場合、符号化制御部３は、例えば、画像圧縮率を増加させる場合には、音声符号化の停止や音声圧縮率の減少を行い、逆に画像圧縮率を減少させる場合には、音声符号化の起動や音声圧縮率の増加を行う。
【００４８】
音声符号化部５は、符号化制御部３から送られてくる動作モードに従って、外部から送られてくる音信号を符号化する。この音声符号化部５で符号化することにより得られた圧縮音声データは、外部に出力される。
【００４９】
以上説明したように、この発明の実施の形態２に係る画像処理装置によれば、符号化制御部３において音声符号化の動作条件を操作することができるため、例えば光ディスクのように画像と音のトータルのデータ量、記録速度が規定されている場合に、画像圧縮率と音声圧縮率のバランスを適切に制御することができる。その結果、画像データと音声データの記録を効率良く実施できる。
【００５０】
実施の形態３．
図９は、この発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。この画像処理装置は、上述した実施の形態１に係る画像処理装置に画像加工部６を追加することにより構成されている。以下では、実施の形態１に係る画像処理装置と同一または相当の構成部分には、実施の形態１で使用した符号と同じ符号を付して説明を簡略化または省略する。
【００５１】
画像加工部６は、画像信号の周波数成分のフィルタリングやノイズ除去の処理を実施する部分と、それらの処理の実施条件を音の種類や発生位置に基づいて制御する部分（何れも図示は省略する）を備えている。この画像加工部６は、音信号分析部２から分析結果として送られてくる音情報に従って、外部から画像信号として入力される画像情報を加工し、画像符号化部４に送る。具体的には、画像加工部６は、例えば、音情報によって示される音の発生位置から遠いエリアでは、入力された画像情報に対してローパスフィルタやノイズ除去処理による画像加工を行い、音の発生位置に近いエリアでは画像加工を行わないで画像符号化部４に送る。
【００５２】
以上説明したように、この実施の形態３に係る画像処理装置によれば、音情報に応じて画像加工部６における加工条件を切り替えるように構成したので、画像上の着目点付近では原画像に近い画質を維持し、着目点以外では画像データ量の削減と主観画質の維持が可能になり、これによって高圧縮化と主観画質向上の両立が実現されている。
【００５３】
実施の形態４．
図１０は、この発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。この画像処理装置は画像伸長装置として実現されており、実施の形態３に係る画像処理装置に相対する構成を有する。この画像処理装置は、音信号分析部２、画像加工部６、画像復号部７および音声復号部８から構成されている。
【００５４】
画像復号部７は、外部から送られてくる圧縮画像データを伸張し、画像信号として画像加工部６に送る。音声復号部８は、外部から送られてくる圧縮音声データを伸張し、音信号として音声分析部２に送る。音声分析部２は、音声復号部８から送られてくる音信号を分析し、分析結果を画像加工部６に送る。画像加工部６は、画像復号部７から送られてくる画像信号を加工し、外部に送る。
【００５５】
音声分析部２および画像加工部６の構成および動作は、実施の形態３におけるそれらと同じである。すなわち、画像加工部６は、例えば、画像信号に対するフィルタリング処理やノイズ除去処理を実施する部分と、音声分析部２において特定された音の種類や発生位置の情報に基づいて、それらの処理の実行を制御する部分（何れも図示しない）を備えており、音の発生位置から遠い画像エリアでは、ローパスフィルタ処理やノイズ除去処理による画像加工を行い、音の発生位置に近い画像エリアでは、過度の画像加工を行わないで出力する。
【００５６】
以上説明したように、この実施の形態４に係る画像処理装置によれば、伸張された画像データに対して、音情報に応じた画像加工を施すように構成したので、着目点付近以外では画像圧縮によって生じた不自然な画質劣化が修復され、また、着目点付近でもボケ等の画像加工の弊害が防止される。その結果、主観画質の良い復号画像を生成できる。
【００５７】
なお、上述した実施の形態１から実施の形態４に係る画像処理装置は、コンピュータと、このコンピュータ上で動作することにより、上述した実施の形態１から上記実施の形態４に係る画像処理装置の各機能を実現するプログラムによって構成することもできる。
【００５８】
実施の形態５．
図１１は、この発明の実施の形態５に係る画像処理装置の構成を示すブロック図である。この画像処理装置は画像圧縮装置として実現されており、音信号分析部２ａ、音源認識部５０、被写体検出部５１、符号化制御部３および画像符号化部４から構成されている。以下では、実施の形態１に係る画像処理装置と同一または相当の構成部分には、実施の形態１で使用した符号と同じ符号を付して説明を簡略化または省略する。
【００５９】
音信号分析部２ａは、外部から入力された音信号の分析、例えば音信号によって示される音量、音質、テンポ、周波数分布などの測定や音声認識等を行う。この音信号分析部２ａは、実施の形態１で説明した音声信号分析部２から音発生位置推定部１０５が除かれて構成されている。したがって、音声信号分析部２ａから出力される音情報には、音種情報および聴覚刺激度情報が含まれる（音声発生位置情報は含まれない）。この音信号分析部２ａにおける分析の結果は、符号化制御部３に送られる。
【００６０】
音源認識部５０は、外部から入力された音声映像リンク情報により、音声と映像の関連、つまり音声を発する被写体を認識する。ここで、音声映像リンク情報は、図１２に示すような、音信号のパケットデータのヘッダとして送られてくる。音声映像リンク情報は、具体的には、例えば音信号Ａに対応したシーンのフレーム番号や画面内位置を示すアドレス等から構成されている。この音源認識部５０における認識結果は、音声と映像の位置関係情報として符号化制御部３に送られる。
【００６１】
被写体検出部５１は、画面内の画素範囲や被写体の種類（例えば人物）等を検出する。被写体の検出には、周知の被写体検出アルゴリズムを使用することができる。この被写体検出部５１における被写体検出結果は、符号化制御部３に送られる。
【００６２】
符号化制御部３は、音源認識部５０から送られてくる映像と音声の位置関係情報、音信号分析部２ａから送られてくる分析結果、被写体検出部５１から送られてくる被写体検出結果、外部から画像信号として送られてくる画像情報および画像符号化部４から送られてくる符号化結果を用いて画像符号化部４における画像符号化の動作条件を決定し、この決定した動作条件を該画像符号化部４に送る。
【００６３】
この符号化制御部３は、音源認識部５０から映像と音声の位置関係情報として送られてくる認識結果および音声分析部から出力される分析結果に基づいて符号化条件を変更するように構成できる。符号化条件については、実施の形態１の「（５）符号化条件の切替」において説明されている。
【００６４】
画像符号化部４は、符号化制御部３から送られてくる動作条件に従って、外部から画像信号として送られてくる画像情報を符号化する。この画像符号化部４で符号化することにより得られた圧縮画像データは、外部に出力される。
【００６５】
以上説明したように、この実施の形態５に係る画像処理装置によれば、実施の形態１に係る画像処理装置における音声分析部２の音発生位置推定部１０５で音発生位置を推定する代わりに、外部から入力される音声映像リンク情報により映像と音声の位置関係を求めるように構成したので、音信号分析部の構成を簡単化できる。また、映像と音声の正確な位置関係が得られるので、主観画質の向上を図ることができ、より高画質な画像データを生成できる。
【図面の簡単な説明】
【００６６】
【図１】この発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図１に示す音信号分析部の詳細な構成を示すブロック図である。
【図３】図１に示す音発生位置推定部の動作を説明するための図である。
【図４】図１に示す音発生位置推定部の他の動作を説明するための図である。
【図５】図１に示す符号化制御部において、音情報を用いて動き補償予測における動き探索範囲を決定する動き探索範囲決定処理を示すフローチャートである。
【図６】図１に示す符号化制御部において、動き探索範囲を決定する処理を示すフローチャートである。
【図７】図１に示す符号化制御部において、音情報を用いて動き補償予測における動き探索範囲と基準ベクトルを決定するための処理を示すフローチャートである。
【図８】この発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図９】この発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図１０】この発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。
【図１１】この発明の実施の形態５に係る画像処理装置の構成を示すブロック図である。
【図１２】図１１に示す音声映像リンク情報の例を示す図である。
【符号の説明】
【００６７】
１  ＡＶ同期判定部、２，２ａ  音信号分析部、３  符号化制御部、４  画像符号化部、５  音声符号化部、６  画像加工部、７  画像復号部、８  音声復号部、５０  音源認識部、５１  被写体検出部、１０１  信号解析部、１０２  音声認識部、１０３  音種判別部、１０４  聴覚刺激度判定部、１０５  音発生位置推定部。
【図１】
2006325179.tif 000003
【図２】
2006325179.tif 000004
【図３】
2006325179.tif 000005
【図４】
2006325179.tif 000006
【図５】
2006325179.tif 000007
【図６】
2006325179.tif 000008
【図７】
2006325179.tif 000009
【図８】
2006325179.tif 000010
【図９】
2006325179.tif 000011
【図１０】
2006325179.tif 000012
【図１１】
2006325179.tif 000013
【図１２】
2006325179.tif 000014