(57)【要約】【課題】メモリバス帯域を破綻させることなく、より高品質な映像データを出力すること。【解決手段】  映像処理装置は、設定された量子化値で映像データを圧縮し、圧縮後の符号をデータ保存部に保存する第１圧縮部と、第１圧縮部に設定された量子化値と異なり、複数の量子化値の中で最も圧縮率の高い量子化値により、映像データを圧縮し、圧縮後の符号をデータ保存部に保存する第２圧縮部と、第１圧縮部で圧縮された符号の符号量の積算値を取得する符号量取得部と、符号量取得部で取得された符号量の積算値を用いて第１圧縮部で次フレームの圧縮を行うための量子化値を決定する量子化値決定部と、符号量の積算値を用いて、単位時間当たりにデータ保存部にアクセス可能なデータ量との比較を行い、比較の結果に応じて第１圧縮部および量子化値決定部を制御する圧縮制御部とを備える。【選択図】  図１
2015126296.tif 000002
【特許請求の範囲】
【請求項１】
受信した映像データを異なる量子化値で圧縮した符号を保存するデータ保存部と、前記データ保存部から前記量子化値に応じて読み出した符号を伸張する伸張部と、前記伸張されたデータを複数フレームからなる映像データとして処理する映像処理部と、を有する映像処理装置であって、
複数の量子化値の候補の中から、設定された量子化値で前記映像データを圧縮し、圧縮後の符号を前記データ保存部に保存する第１圧縮部と、
前記第１圧縮部に設定された量子化値と異なり、前記複数の量子化値の中で最も圧縮率の高い量子化値により、前記映像データを圧縮し、圧縮後の符号を前記データ保存部に保存する第２圧縮部と、
前記第１圧縮部で圧縮された符号の符号量の積算値を取得する符号量取得部と、
前記符号量取得部で取得された符号量の積算値を用いて前記第１圧縮部で次フレームの圧縮を行うための量子化値を決定する量子化値決定部と、
前記符号量の積算値を用いて、単位時間当たりに前記データ保存部にアクセス可能なデータ量との比較を行い、前記比較の結果に応じて前記第１圧縮部および前記量子化値決定部を制御する圧縮制御部と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記圧縮制御部は、前記第１圧縮部に入力された映像データ量に応じて異なる複数の第１の閾値を有し、
前記符号量取得部により取得された符号量の積算値が、前記符号量の積算値を取得するのに要した映像データ量に応じて設定されている第１の閾値を超える場合、
前記圧縮制御部は前記第１圧縮部から前記データ保存部への前記符号の保存を停止するように前記第１圧縮部を制御する
ことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記圧縮制御部により、前記第１圧縮部から前記データ保存部への前記符号の保存が停止された後、
前記伸張部は、前記データ保存部から前記第２圧縮部で圧縮された符号を前記第２圧縮部に設定されている量子化値で伸張し、
前記映像処理部は、前記伸張部で伸張されたデータを映像処理することを特徴とする請求項２に記載の映像処理装置。
【請求項４】
前記量子化値決定部には、前記第１の閾値よりも少ない映像データ量に対応する第２の閾値と、前記第２の閾値よりも少ない映像データ量に対応する第３の閾値とが設定されており、
前記量子化値決定部は、
前記符号量の積算値が前記第１の閾値を超えず、かつ、前記符号量取得部から取得した１フレーム分の符号量の積算値が前記第２の閾値を超える場合、圧縮率をより高くする量子化値を、前記複数の量子化値の候補の中から選択する
ことを特徴とする請求項２または３に記載の映像処理装置。
【請求項５】
前記量子化値決定部は、
前記符号量の積算値が前記第２の閾値を超えず、かつ、前記１フレーム分の符号量の積算値が前記第３の閾値を超えない場合、圧縮率をより低くする量子化値を前記複数の量子化値の候補の中から選択する
ことを特徴とする請求項４に記載の映像処理装置。
【請求項６】
前記量子化値決定部は、
前記１フレーム分の符号量の積算値が第３の閾値以上であり、かつ、第２の閾値以下の範囲にあるとき、設定されている前記量子化値の変更を行わないことを特徴とする請求項５に記載の映像処理装置。
【請求項７】
前記圧縮制御部は、
前記符号量の積算値が前記第１の閾値を超える場合、前記量子化値決定部に対して、量子化値の再設定を指示し、
前記量子化値決定部は、前記指示に応じて、前記複数の量子化値の候補の中から最も圧縮率の高い量子化値を除いた量子化値を前記第１圧縮部に設定する
ことを特徴とする請求項２または３に記載の映像処理装置。
【請求項８】
前記符号量取得部は、再設定された量子化値による符号量の積算値を取得し、
前記圧縮制御部は、
前記符号量の積算値を用いて１フレーム分の積算値を取得し、前記取得した積算値が第３の閾値以上であり、かつ、第２の閾値以下の範囲にある場合、前記設定された量子化値を次フレームで使用するよう前記量子化値決定部に指示し、
前記量子化値決定部は、前記圧縮制御部の指示に応じた量子化値を、前記第１圧縮部が次フレームで使用する量子化値として決定する
ことを特徴とすることを特徴とする請求項７に記載の映像処理装置。
【請求項９】
前記圧縮制御部は、
前記取得した積算値が前記範囲にない場合、前記設定された量子化値を、より圧縮率の高い量子化値を使用するよう前記量子化値決定部に指示し、
前記量子化値決定部は、前記圧縮制御部の指示に応じた量子化値を、前記複数の量子化値の候補の中から決定する
ことを特徴とすることを特徴とする請求項８に記載の映像処理装置。
【請求項１０】
前記圧縮制御部は、
前記符号量の積算値が前記第１の閾値を超える場合、前記第１圧縮部の処理単位となる圧縮ブロックのサイズを変更するように前記第１圧縮部を制御する
ことを特徴とする請求項２または３に記載の映像処理装置。
【請求項１１】
前記圧縮制御部は、
前記符号量の積算値が前記第１の閾値を超える場合、前記量子化値決定部に対して、前記圧縮ブロックごとに異なる量子化値の再設定を指示し、
前記量子化値決定部は、前記指示に応じて、前記複数の量子化値の候補の中から最も圧縮率の高い量子化値を除いた量子化値を前記圧縮ブロックに設定する
ことを特徴とする請求項１０に記載の映像処理装置。
【請求項１２】
前記符号量取得部は、再設定された量子化値毎の符号量の積算値を取得し、
前記圧縮制御部は、前記符号量の積算値を用いて、第３の閾値以上であり、かつ、第２の閾値以下の範囲にある積算値に対応する量子化値のうち、最も圧縮率の低い量子化値を指定し、
前記量子化値決定部は、前記圧縮制御部の指定に応じた量子化値を前記複数の量子化値の候補の中から決定する
ことを特徴とすることを特徴とする請求項１１に記載の映像処理装置。
【請求項１３】
受信した映像データを異なる量子化値で圧縮した符号を保存するデータ保存部と、複数の量子化値の候補の中から、設定された量子化値で映像データを圧縮し、圧縮後の符号を前記データ保存部に保存する第１圧縮部と、前記第１圧縮部に設定された量子化値と異なり、前記複数の量子化値の中で最も圧縮率の高い量子化値により、前記映像データを圧縮し、圧縮後の符号を前記データ保存部に保存する第２圧縮部と、前記データ保存部から前記量子化値に応じて読み出した符号を伸張する伸張部と、前記伸張されたデータを複数フレームからなる映像データとして処理する映像処理部と、を有する映像処理装置の制御方法であって、
前記映像処理装置の符号量取得部が、前記第１圧縮部で圧縮された符号の符号量の積算値を取得する取得工程と、
前記映像処理装置の量子化値決定部が、前記取得工程で取得された符号量の積算値を用いて前記第１圧縮部で次フレームの圧縮を行うための量子化値を決定する決定工程と
前記映像処理装置の圧縮制御部が、前記符号量の積算値を用いて、単位時間当たりに前記データ保存部にアクセス可能なデータ量との比較を行い、前記比較の結果に応じて前記第１圧縮部および前記量子化値決定部を制御する制御工程と、
を有することを特徴とする映像処理装置の制御方法。
【請求項１４】
請求項１乃至１２のいずれか１項に記載の映像処理装置を有する映像処理システム。
【請求項１５】
コンピュータを、請求項１乃至１２のいずれか１項に記載の映像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置、映像処理システム、映像処理装置の制御方法およびプログラムに関する。
【背景技術】
【０００２】
デジタルテレビを筆頭に、映像データを入力しリアルタイムに高画質化処理を行い、パネルなどへ表示する映像処理装置がある。高画質化処理には、ガンマ補正、記憶色補正、ＭＰＥＧノイズリダクション、インターレース・プログレッシブ変換、エッジ強調、解像度変換、フレームレート変換など様々な処理があり、現在も増えつづけている。高画質化処理には、複数の画像フレームを参照したり、画像フレーム内での参照順番が異なる高画質化処理が存在するため、映像処理装置は、フレームメモリを介して、パイプライン的に高画質化の映像処理を行っている。
【０００３】
また、ＦｕｌｌＨＤ（１９２０×１０８０）解像度をはるかに超える４Ｋ２Ｋ（４０９６×２１６０）やスーパーハイビジョン（７６８０ｘ４３２０）といった超解像度に対応するため、処理する映像データの情報量が増えている。そこで、フレームメモリのバスの帯域破綻を回避するために、映像データをフレームメモリに書き込む際に圧縮を行い、フレームメモリから読み出す際に、伸張を行なう映像処理装置が提案されている。
【０００４】
図２は、映像データ２０２を入力し、映像データを連続した複数フレームからなる画像として、各画像フレームを複数の映像処理部でパイプラインかつリアルタイムで映像処理後、表示パネル２０３へ映像データを出力する映像処理装置２０１である。映像処理装置２０１は、映像処理部１（２０４）、映像処理部２（２０５）、映像処理部３（２０６）、映像処理部４（２０７）の４つの映像処理部を持ち、メモリ２０８を共有フレームメモリとして映像処理を行なう。映像処理部1（２０４）は、入力される映像データ２０２に対して、映像処理を行なう。映像処理部１（２０４）は、映像処理後、メモリ２０８へ画像データを書き込む際、圧縮部１（２０９）で圧縮する。映像処理部２（２０５）は、映像処理部１（２０４）での映像処理後の画像データに対して、映像処理を行なう。映像処理部２（２０５）は、メモリ２０８から画像データを読み込む際、伸張部２（２１０）で伸張し、映像処理後、メモリ２０８へ画像データを書き込む際、圧縮部２（２１１）で圧縮する。映像処理部３（２０６）は、映像処理部２（２０５）での映像処理後の画像データに対して、映像処理を行なう。映像処理部３（２０６）は、メモリ２０８から画像データを読み込む際、伸張部３（２１２）で伸張し、映像処理後、メモリ２０８へ画像データを書き込む際、圧縮部３（２１３）で圧縮する。映像処理部４（２０７）は、映像処理部３（２０６）での映像処理後の映像データに対して、映像処理を行なう。映像処理部４（２０７）は、メモリ２０８から画像データを読み込む際、伸張部４（２１４）で伸張し、映像処理後、表示パネル２０３へ出力する。映像処理装置２０１は、毎秒６０フレームの映像データを受け取り、毎秒６０フレームで高画質化処理後の映像データを出力する。その場合、映像処理部１、２、３、４（２０４、２０５、２０６、２０７）は、それぞれ１/６０秒ごとに、１画像データの映像処理を行う。従って、映像処理部が４段あるため、映像データ２０２が、高画質化処理後に、表示パネル２０３に表示されるまで、１/１５（＝４/６０）秒必要となる。
【０００５】
メモリ２０８のメモリバス帯域を破綻しない範囲の圧縮画像データ量となるように、圧縮制御部２１５にて圧縮部１（２０９）での圧縮パラメータは、決定される。以後の圧縮伸張処理は全て圧縮制御部２１５で決定された圧縮パラメータを使用する。これは圧縮後のデータ量は映像処理の影響をほとんど受けないため入力された映像データを圧縮した際のデータ量で以後の処理に必要となるデータ量が見積るためである。
【０００６】
高画質な映像データを出力するためには、メモリバス帯域が破綻しない範囲で、低い圧縮率で画像を圧縮し、圧縮率の低い品質の良い画像に対して映像処理を行なう必要がある。しかし、圧縮パラメータの選択において今までは全体のデータ量をメモリバス帯域に抑えること可能だった圧縮パラメータでもシーンチェンジ等で急激にデータ量が増加してしまい、結果としてメモリバス帯域を破綻させてしまう場合がある。
【０００７】
特許文献1では、上記のようなシーンチェンジに伴うメモリバス帯域の破綻及び画質の低下を回避するために、シーンチェンジ検出回路と通過できる高周波成分の上限の異なる複数のフィルタを具備した構成を提案している。すなわち、シーンチェンジ検出時には上限の異なる複数のフィルタから通過できる高周波成分の上限が最も低いフィルタを通過させた映像データを圧縮部に入力して圧縮後のデータ量を減らしメモリバス帯域の破綻を避けるのである。そしてシーンチェンジ発生により生じたデータ量の高圧縮化による一時的に劣化した画質を数フレームかけて高周波成分の上限が高いフィルタに切り替えていき画質を向上させていく。
【０００８】
また、同様に劣化した画質を複数のフィルタを通過させた結果から最適なものを選択して少ないフレーム数で画質の向上を図る手法も提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平９−２６１６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１の手法ではいずれもシーンチェンジ検出回路及び複数のフィルタが必要になるため回路の規模が増大してしまうという課題が存在する。また、帯域破綻を避けるために一時的に圧縮率を上げて画質を劣化させた後、数フレームかけて画質の向上を図る手法では画質の劣化が視認されてしまうという課題がある。
【００１１】
本発明は、データ保存部にアクセス可能なデータ量の範囲に、圧縮したデータ量が収まるように量子化値の設定を制御することで、メモリバス帯域を破綻させることなく、より高品質な映像データを出力することが可能な映像処理技術の提供を目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために、本発明の一つの側面にかかる映像処理装置は、受信した映像データを異なる量子化値で圧縮した符号を保存するデータ保存部と、前記データ保存部から前記量子化値に応じて読み出された符号を伸張する伸張部と、前記伸張されたデータを複数フレームからなる映像データとして処理する映像処理部と、を有する映像処理装置であって、
複数の量子化値の候補の中から、設定された量子化値で前記映像データを圧縮し、圧縮後の符号を前記データ保存部に保存する第１圧縮部と、
前記第１圧縮部に設定された量子化値と異なり、前記複数の量子化値の中で最も圧縮率の高い量子化値により、前記映像データを圧縮し、圧縮後の符号を前記データ保存部に保存する第２圧縮部と、
前記第１圧縮部で圧縮された符号の符号量の積算値を取得する符号量取得部と、
前記符号量取得部で取得された符号量の積算値を用いて前記第１圧縮部で次フレームの圧縮を行うための量子化値を決定する量子化値決定部と、
前記符号量の積算値を用いて、単位時間当たりに前記データ保存部にアクセス可能なデータ量との比較を行い、前記比較の結果に応じて前記第１圧縮部および前記量子化値決定部を制御する圧縮制御部と、を備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、データ保存部にアクセス可能なデータ量の範囲に、圧縮したデータ量が収まるように量子化値の設定を制御することで、メモリバス帯域を破綻させることなく、より高品質な映像データを出力することが可能になる。
【図面の簡単な説明】
【００１４】
【図１】実施形態における映像処理装置の構成を示す図。
【図２】背景技術である映像処理装置の構成例を示す図。
【図３】量子化値セットを示すテーブルを例示する図。
【図４】第１、２、３の閾値の関係を示す図。
【図５】第１実施形態における量子化値の決定フローを示す図。
【図６】第２実施形態における量子化値の決定フローを示す図。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本発明の実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
（第１実施形態）
図１は実施形態における映像処理装置の構成を示す図である。映像処理装置は映像信号を複数フレームからなる映像データとして共通なデータ保存部を介して順次映像処理を行うものである。映像データはデータ保存部に格納される際に圧縮され、逆に映像処理部で使用される時はデータ保存部から読み出され伸張される。尚、圧縮伸張時に使用される量子化値は１フレーム内で共通なものが使われる。尚、以下に説明する映像処理装置１００の機能構成は、一つの装置の構成に限定されるものではなく、複数の装置で機能を分散して構成された映像処理システムにおいても実現することは可能である。
【００１６】
映像処理装置１００は映像データ受信部１０１、第１圧縮部１０２、第２圧縮部１０３、第１伸張部１０４、映像処理部１０５、第３圧縮部１０６、第２伸張部１０７、映像データ出力部１０８、データ保存部１０９を有する。さらに、映像処理装置１００は、本実施形態の特徴である量子化値決定部１１１、圧縮制御部１１２、符号量取得部１１３を有する。データ保存部１０９には単位時間当たりに読み書きするデータ量に上限がありこれをアクセス帯域量と称す。また、アクセス帯域は理論上の上限値であるため実際の設計時にはアクセス帯域の７０％程度を上限とする。これを実効アクセス帯域量と称す。本実施形態ではデータ保存部１０９とのデータの読み書きは映像データではなく映像データを圧縮した符号で行うため各処理部からアクセスされる符号量の総量が実効アクセス帯域量を超えないように制御される。
【００１７】
圧縮制御部１１２は、第１圧縮部１０２の符号量の積算値を用いて、単位時間当たりにデータ保存部１０９にアクセス可能なデータ量との比較を行い、比較の結果に応じて第１圧縮部１０２および量子化値決定部１１１を制御する。
【００１８】
尚、図１中では構成図及び説明を簡略化するために映像処理部を一箇所しか設けていない。しかし、複数設けてあっても、映像データ受信部１０１、映像データ出力部１０８も含む全ての処理部からの符号量がデータ保存部１０９の実効アクセス帯域量を超えないように量子化値を決定してやれば本発明の本質を何ら損なうものではない。
【００１９】
映像データ受信部１０１は外部から入力された映像信号１２０を受信し、第１圧縮部１０２、第２圧縮部１０３に映像データ１（１３１）として出力する。第１圧縮部１０２は映像データ受信部１０１より入力された映像データ１（１３１）を圧縮単位である圧縮ブロックに分割する。そして第１圧縮部１０２は、量子化値決定部１１１もしくは圧縮制御部１１２で設定される量子化値を用いて圧縮ブロック毎に圧縮を行い符号１（１４０）としてデータ保存部１０９に保存する。尚、本映像処理装置を説明する上で図３のような圧縮率の異なる複数の量子化値（量子化値セット）を量子化値の候補として使用する。
【００２０】
第２圧縮部１０３は本実施形態の特徴であり、第１圧縮部１０２と同様に入力された映像信号１（１３１）を圧縮ブロックに分割した後に、量子化値セットの中で最も圧縮率の高い量子化値を用いて圧縮を行い符号２（１４１）をデータ保存部１０９に保存する。
【００２１】
符号１（１４０）と符号２（１４１）を同時にデータ保存部１０９に保存する効果は以下の通りである。本実施形態による映像処理装置においては各処理部におけるデータ保存部１０９へのアクセスによる符号量の総量は実効アクセス量以内に抑える必要がある。通常、映像データから一度圧縮して符号化した際の符号量は以後の信号処理部で伸張、映像処理、再圧縮後の符号量から大きく変化しないことがわかっている。つまり映像データ受信部１０１からデータ保存部１０９に格納する際の１フレーム分の符号量の総計から当該フレームの映像処理、及び外部への出力までの処理が実効アクセス帯域量内で実施できるかを見積もることが可能である。
【００２２】
しかし、映像データ受信部１０１からの映像データを最大圧縮率以外の量子化値で１つの圧縮器で行った場合、１フレーム分の符号量取得後に実効アクセス帯域内に収まらないとわかっても当該フレームは処理することができずコマ落ちしてしまう。
【００２３】
本実施形態では量子化値セットの中で最大圧縮率以外の量子化値を用いて圧縮を行う第１圧縮部１０２からの符号１（１４０）と最大圧縮率の量子化値を用いて圧縮を行う第２圧縮部１０３からの符号２（１４１）とを同時にデータ保存部１０９に保存する。そして第１圧縮部１０２からの符号１（１４０）の符号の総量から実効アクセス帯域量を超えると予想された時は当該符号１（１４０）を全て破棄し、第２圧縮部１０３で圧縮した符号２（１４１）を以後の映像処理に使用する。尚、第１圧縮部１０２は常に圧縮時に使用した量子化値をヘッダーとして符号１（１４０）とともにデータ保存部１０９に格納する。また、ヘッダーには符号１（１４０）の符号量の総量が実効アクセス帯域内に収まっているかの情報も含んでいる。第１伸張部１０４はヘッダーから符号１（１４０）もしくは符号２（１４１）のどちらかを使用すべきかを判断し、また、量子化値を得ることができる。第３圧縮部１０６、第２伸張部１０７においても同様にして量子化値を得ることができる。
【００２４】
第１伸張部１０４は第１圧縮部１０２、第２圧縮部１０３で書き込まれた符号１（１４０）、符号２（１４１）のいずれかを符号３（１４２）として読み込み伸張を行い映像データ２（１３２）として映像処理部１０５に出力する。映像処理部１０５は映像データ２（１３２）に映像処理を施し映像データ３（１３３）として第３圧縮部１０６に出力する。
【００２５】
第３圧縮部１０６は第１伸張部１０４で使用した量子化値を用いて再度圧縮を行い符号４（１４３）としてデータ保存部１０９に保存する。
【００２６】
第２伸張部１０７は第３圧縮部１０６がデータ保存部１０９に保存した符号４（１４３）を符号５（１４４）として読み込む。そして、第２伸張部１０７は、第３圧縮部１０６で圧縮時に使用した量子化値を使用して伸張を行い映像データ４（１３４）として映像データ出力部１０８に出力する。映像データ出力部１０８は映像データ４（１３４）を外部に対して出力映像データ１２１として出力する。
【００２７】
次に本実施形態の特徴である量子化値決定部１１１、圧縮制御部１１２、符号量取得部１１３について説明する。
【００２８】
符号量取得部１１３は、第１圧縮部１０２から圧縮ブロック単位の符号量である符号量１５３を入力として１フレーム分の符号量を積算し、符号量積算値１５４として量子化値決定部１１１および圧縮制御部１１２に出力する。
【００２９】
圧縮制御部１１２は実効アクセス帯域量と各圧縮部、伸張部とデータ保存部１０９との間のデータパス数で算出される、本映像処理装置の実効アクセス帯域量を破綻させない１データパス当たりの符号量の上限である、第１の閾値群を持つ。量子化値決定部１１１には圧縮率を一段階、高める閾値である第２の閾値および、圧縮率を一段階、下げる第３の閾値が設定されている。
【００３０】
第１の閾値群とは、第１圧縮部１０２に入力された映像データ量に対応した符号量の上限値の集まりである。映像データの１フレーム分における実効アクセス帯域量を破綻させない各圧縮部からの符号量をＴとする。例えば、１フレームの３３％の映像データ量に対応した（圧縮完了時）符号量の積算値の第１の閾値はＴ／３とする。以後の説明のために圧縮制御部１１２は、以下の映像データ量に対応した第１の閾値を持つとする。
【００３１】
映像データ量（１フレームデータ量比）          第１の閾値
３３％                                Ｔ／３
５０％                                Ｔ／２
７５％                              ３Ｔ／４
圧縮制御部１１２は上記のように入力された映像データ量に対応した第１の閾値群を持っている。入力された映像データ量が第１の閾値群中の映像データ量に達する毎に対応する第１の閾値との比較を行い、実効アクセス帯域量を破綻させないか確認する。
【００３２】
第１の閾値群と第２の閾値、第３の閾値の関係を図４にて説明する。縦軸は、１データパスにおける符号量を示し、横軸は時間を示す。閾値４０１は映像データ量が１フレーム分に対応した第１の閾値を表し、閾値４０２は第２の閾値を表し、閾値４０３は第３の閾値を表している。また、第１の閾値を超えたところを領域Ａとする。第１、第２の閾値の間を領域Ｂとする。第２、第３の閾値の間を領域Ｃとする。第３の閾値以下を領域Ｄとして示している。４０４は時間毎の符号量の推移を表している。本実施形態では１データパス当たりの符号量が４０４のように常に領域Ｃに収まるように符号量を制御することが目的である。
【００３３】
量子化値決定部１１１は、例えば、図３で示した量子化値セットを持ち、符号量積算値１５４を入力とし、第２閾値、第３の閾値と比較を行う。その結果、符号量が第２の閾値を超えている場合（図４の領域Ｂ）、量子化値決定部１１１は現在の量子化値より一段圧縮率の高い量子化値を選択する。また、第３の閾値に満たない場合（図４の領域Ｄ）、量子化値決定部１１１は一段圧縮率の低い量子化値を選択し量子化値信号１５０として第１圧縮部１０２に出力する。また、比較の結果、第２閾値を超えず、第３閾値以上の場合、量子化値決定部１１１は現在の量子化値を維持する。尚、制御信号２（１５５）を通して上記の動作は符号量取得部１１３に１フレーム分符号量が積算された時に行われるように制御される。また、量子化値決定部１１１は制御信号２（１５５）を通して指定された量子化値を選択する機能も具備している。
【００３４】
圧縮制御部１１２は符号量１５３、符号量積算値１５４、処理済みブロック数１５２を入力とし第１圧縮部１０２に制御信号１（１５１）、量子化値決定部１１１に制御信号２（１５５）を出力している。尚、制御信号１（１５１）は第１圧縮部１０２からデータ保存部１０９への書き込みの可否決定や、圧縮ブロックサイズ情報を含んでいる。
【００３５】
次に圧縮制御部１１２の機能、及び第１圧縮部１０２、量子化値決定部１１１、圧縮制御部１１２、符号量取得部１１３を含んだ量子化値決定フローを図５を用いて説明する。ステップ５０１で、垂直同期信号の到達により映像データの入力が開始される。
【００３６】
ステップ５０２で、映像データが第１圧縮部１０２に入力され、量子化値決定部１１１から設定された量子化値により圧縮動作が開始される。尚、量子化値の初期値については前フレームのものが使用される。
【００３７】
ステップ５０３で、圧縮後の符号データの符号量は符号量取得部１１３に入力され、積算値として保持される。ステップ５０４で、同時に圧縮後の符号データはデータ保存部１０９に格納される。
【００３８】
ステップ５０５で、中間判定ポイントとして、圧縮制御部１１２に第１圧縮部１０２からの処理済みブロック数が入力され、圧縮制御部１１２の内部で積算され映像データ量に変換される。圧縮制御部１１２は、この変換結果を基に、第１の閾値群における複数の映像データ量のいずれかに達しているかの判定を行う。
【００３９】
尚、１９８０ｘ１０８０（Ｆｕｌｌ  ＨＤ）の場合、３６０、５４０、８１０ライン時に中間判定ポイントの処理を行うことを想定している。その結果、いずれの映像データ量にも達していない場合はステップ５０２に戻り、引き続き圧縮処理を行い、第１の閾値群における複数の映像データ量のいずれかに達している場合はステップ５０６に移行する。
【００４０】
ステップ５０６で、圧縮制御部１１２は符号量取得部１１３から入力される符号量の積算値が映像データ量に対応した第１の閾値を超えているかの判定を行う。その結果、符号量の積算値が映像データ量に対応した第１の閾値を超えていなければステップ５１０に移行し、超えていればステップ５２０に移行する。
【００４１】
次に、ステップ５０６の判定で、符号量の積算値が映像データ量に対応した第１の閾値を超えず（５０６−Ｎｏ）、ステップ５１０に移行したと仮定して説明を続ける。
【００４２】
ステップ５１０で、圧縮制御部１１２は積算されているブロック数から算出された映像データ量が１フレーム分の映像データ量に達しているかの判定を行う。判定結果が偽の時（５１０−Ｎｏ）、ステップ５０２に戻り引き続き圧縮処理を行う。判定結果が真の場合（５１０−Ｙｅｓ）、ステップ５１１に移行し、以降の処理は量子化値決定部１１１による次フレームの量子化値決定フローになる。
【００４３】
ステップ５１１で、量子化値決定部１１１に符号量取得部１１３から１フレーム分の符号量の積算値が入力され第２の閾値を超えているかの判定を行う。判定結果が偽の時（５１１−Ｎｏ）、ステップ５１２に移行する。判定結果が真の場合（５１１−Ｙｅｓ）、現在の量子化値を1段階、圧縮率の高い量子化値を選択し、第１圧縮部１０２に転送して次フレームの処理に移る（ステップ５１５、５０７）。
【００４４】
ステップ５１２で、量子化値決定部１１１に符号量取得部１１３から１フレーム分の符号量の積算値が入力され第３の閾値を超えていないかの判定を行う。判定結果が偽の時（５１２−Ｎｏ）、ステップ５１３に移行し、現在の量子化値を第１圧縮部１０２に転送して次フレームの処理に移る（ステップ５１３、５０７）。量子化値決定部１１１は、１フレーム分の符号量の積算値が第３の閾値以上であり第２の閾値以下の範囲にあるとき、設定されている量子化値の変更を行わない。一方、ステップ５１２の判定結果が真の場合（５１２−Ｙｅｓ）、現在の量子化値を１段階、圧縮率の低い量子化値を選択し、第１圧縮部１０２に転送して次フレームの処理に移る（ステップ５１４、５０７）。
【００４５】
以上が、ステップ５０６の判定で、符号量の積算値が映像データ量に対応した第１の閾値を超えない場合（５０６−Ｎｏ）の処理である。次にステップ５０６の判定で、符号量の積算値が映像データ量に対応した第１の閾値を超え（５０６−Ｙｅｓ）、ステップ５２０に移行した場合のフローを説明する。
【００４６】
ステップ５２０で、圧縮制御部１１２にて第１圧縮部１０２からデータ保存部１０９への書き込み停止の指示を発行する。ここで以降の映像処理において、圧縮制御部１１２は、第２圧縮部１０３により生成された符号２（１４１）の使用を決定する。一方、第１圧縮部１０２は次フレームの最適なＱ値（量子化値）を導出するために、動作モードを探索モードに設定する。尚、探索モードは１フレーム分の映像データのうち、第１圧縮部１０２でまだ圧縮が行われていない映像データに対して行われる。
【００４７】
ステップ５２１で、圧縮制御部１１２から第１圧縮部１０２における圧縮ブロックサイズの変更を指示する。例えば、１フレーム内で局所的に高周波数成分を含む場合、圧縮ブロックサイズを小さくすることにより、より多くの量子化値での探索が可能となり、探索結果により選択された量子化値の精度を上げることが可能となる。尚、本実施形態においては圧縮ブロックサイズの変更処理をフローに組込んでいるが、省いても構わない。探索モードにおいてはブロック毎に異なるＱ値（量子化値）で圧縮を行い、その数値群から次のフレームの量子化値を求める。
【００４８】
ステップ５２２で、圧縮制御部１１２から量子化値決定部１１１に第１圧縮部１０２の処理単位となる圧縮ブロック毎に異なる量子化値の再設定指示が発行される。ここで量子化値の再設定とは量子化値セットから圧縮率の最も高いＱ１０を除く量子化値の中からランダムで選択し対象の圧縮ブロックに設定することである。
【００４９】
ステップ５２３で、量子化値決定部１１１から指定された量子化値にて第１圧縮部１０２の圧縮動作が開始される。ステップ５２４で、符号量取得部１１３は、再設定された量子化値毎の符号量の積算値を取得する。圧縮後の符号量の積算値は符号量取得部１１３から圧縮制御部１１２に入力され、再設定された量子化値毎の符号量の積算値として保持される。
【００５０】
ステップ５２５で、圧縮制御部１１２にて積算されているブロック数から算出された映像データ量が１フレーム分の映像データ量に達しているかの判定を行う。判定結果が偽の時（５２５−Ｎｏ）、ステップ５２２まで戻り、圧縮制御部１１２から量子化値決定部１１１に、新たな圧縮ブロックに量子化値の再設定指示が再度発行され引き続き圧縮処理が行われる。一方、ステップ５２５の判定結果が真の時（５２５−Ｙｅｓ）、ステップ５２６に移行する。
【００５１】
ステップ５２６で、圧縮制御部１１２は量子化値毎の符号量の積算値を１フレーム分の積算値に換算し、換算後の量子化値ごとに、符号量の積算値を第２の閾値、第３の閾値と比較する。圧縮制御部１１２は第２の閾値を超えず、第３の閾値を下まわらない積算値（第３の閾値以上であり第２の閾値以下の範囲にある積算値）に対応する量子化値から最も画質の良い量子化値（圧縮率の低い量子化値）を選択する。そして、圧縮制御部１１２は量子化値決定部１１１に次フレームで使用するように指示し、次フレームの処理に移る（５２５、５０７）。
【００５２】
以上の量子化値決定フローによりデータ保存部１０９へのアクセスによる符号量の総量を実効アクセス量以内に抑えることができる。また、シーンチェンジ等により実効アクセス量を超える符号量の増加が予想される場合でも画質が低下するフレームの出力を最小限に抑えることができる。本実施形態によれば、以上の効果を小規模の回路で実現できる。
【００５３】
（第２実施形態）
次に、第２実施形態における量子化値決定フローを図６を用いて説明する。尚、映像処理装置の構成については第１実施形態と同様であるため説明を省略する。以下、図６に関しては図５で説明した量子化値決定フローと相違する部分を中心として説明する。
【００５４】
ステップ６０６にて第１圧縮部１０２の符号１（１４０）の符号の総量が実効アクセス帯域量を超える（６０６−Ｙｅｓ）と判定された後の動作を説明する。
【００５５】
ステップ６２０で、圧縮制御部１１２にて第１圧縮部１０２からデータ保存部１０９への書き込み停止の指示を発行する。ここで以降の映像処理においては第２圧縮部１０３が生成した符号２（１４１）が使用されることが決定する。一方、第１圧縮部１０２は次フレームの最適なＱ値（量子化値）を導出するために、動作モードを探索モードに設定する。尚、第１実施形態と同様に探索モードは１フレーム分の映像データのうち、第１圧縮部１０２でまだ圧縮が行われていない映像データに対して行われる。
【００５６】
ステップ６２１で、圧縮制御部１１２から量子化値決定部１１１に第１圧縮部１０２の量子化値の再設定指示が発行される。ここで量子化値の再設定とは量子化値セットから圧縮率の最も高いＱ１０を除く量子化値の中から１つの量子化値を選択し、圧縮ブロック全体に設定することである。尚、量子化値の選択方法としてはＱ１０より一段階、圧縮率の低いＱ２０を選択しても良いし、複数フレーム中で最も頻度の高い量子化値を選択しても良い。
【００５７】
ステップ６２２で、量子化値決定部１１１から指定された量子化値にて第１圧縮部１０２の圧縮動作が開始される。ステップ６２３で、圧縮後の符号量は符号量取得部１１３に入力され積算値として保持される。
【００５８】
ステップ６２４で、圧縮制御部１１２にて積算されているブロック数から算出された映像データ量が１フレーム分の映像データ量に達しているかの判定を行う。判定結果が偽の時（６２４−Ｎｏ）、ステップ６２２まで戻り、引き続き圧縮処理が行われる。一方、ステップ６２４の判定結果が真の時（６２４−Ｙｅｓ）、ステップ６２５に移行する。
【００５９】
ステップ６２５で、圧縮制御部１１２は、符号量の積算値を１フレーム分の積算値に換算し、換算後の符号量の積算値を第２の閾値、第３の閾値と比較する。圧縮制御部１１２は、比較の結果、換算後の符号量の積算量が図４中の領域Ｃに収まっているならば（６２５−Ｙｅｓ）、処理はステップ６２６に進められる。ステップ６２６で、圧縮制御部１１２は探索に使用した量子化値を量子化値決定部１１１に対して次フレームで使用するように指示し、次フレームの処理に移る（ステップ６２５、６２６、６０７）。
【００６０】
一方、換算後の符号量の積算量が領域Ｃに収まらない場合（６２５−Ｎｏ）、処理はステップ６２７に進められる。ステップ６２７で、圧縮制御部１１２は探索に使用した量子化値より一段階、圧縮率が高い量子化値を次フレームで使用するよう量子化値決定部１１１に指示し、次フレームの処理に移る（ステップ６２５、６２７、６０７）。
【００６１】
以上の各実施形態によれば、データ保存部にアクセス可能なデータ量の範囲に、圧縮したデータ量が収まるように量子化値の設定を制御することで、メモリバス帯域を破綻させることなく、より高品質な映像データを出力することが可能になる。
【００６２】
以上の各実施形態によれば、メモリバス帯域を破綻させることなく、圧縮画像データ量をコントロールし、圧縮率の低い、即ち、圧縮画像データ量の多い高品質な画像データに対して多くの画像処理を適用することが出来る。また、シーンチェンジ等により画質が劣化したフレームの直後のフレームから画質を向上することができる。従って、各実施形態の映像処理装置は、高画質な映像データを出力することが出来る。
【００６３】
以上の各実施形態の量子化値決定フローによりデータ保存部へのアクセスによる符号量の総量を実効アクセス量以内に収めることができる。また、シーンチェンジ等により実効アクセス量を超える符号量の増加が予想される場合でも画質が低下するフレームの出力を最小限に抑えることができる。以上の各実施形態によれば、回路の規模を増大させることなく、上記の効果を小規模の回路で実現できる。
【００６４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015126296.tif 000003
【図２】
2015126296.tif 000004
【図３】
2015126296.tif 000005
【図４】
2015126296.tif 000006
【図５】
2015126296.tif 000007
【図６】
2015126296.tif 000008