(57)【要約】      （修正有）【課題】画像圧縮処理において、低消費電力で符号化効率高い、画像圧縮装置を提供する。【解決手段】外部より画像信号を入力可能な画像入力部と、入力された画像に所定の画像処理を行う画像処理部と、該画像処理部で処理された映像信号を解析を行うための演算部と演算用メモリからなる画像解析部と、前記画像入力部より入力された画像を圧縮処理するための画像圧縮処理部と、前記画像解析部の演算部とは異なった汎用処理演算部と、汎用処理メモリを設け、前記画像処理部と前記画像圧縮処理部とを結ぶ第一のデータバスとは別の第二のデータバスによって、前記画像処理部と画像解析部とを結ぶ構成とした。【選択図】図１
2010258727.tif 000002
【特許請求の範囲】
【請求項１】
外部より画像信号を入力可能な画像入力部と、
入力された画像信号に所定の画像処理を行う画像処理部と、
該画像処理部で画像処理された画像信号の解析を行う演算部と演算用メモリを有する画像解析部と、
前記画像入力部より入力された画像信号を圧縮処理する画像圧縮処理部と、
前記画像解析部の演算部とは異なる汎用処理演算部と、
汎用処理メモリと、
を具備し、
前記画像処理部と前記画像圧縮処理部とを結ぶデータバスとは別の第二のデータバスによって、前記画像処理部と画像解析部とを結ぶこと、
を特徴とする画像圧縮装置。
【請求項２】
請求項１において、
前記画像処理部は、前記画像解析部へ第二のデータバスを経由して入力画像を任意に縮小した画像を送るように構成したこと、
を特徴とする画像圧縮装置。
【請求項３】
前記画像解析部もしくは前記汎用演算処理部からの指示により、前記画像処理部は、第二のデータバスを経由して前記画像解析部への入力画像のフレームレートを任意に設定できるように構成したことを特徴とする画像圧縮装置。
【請求項４】
画像信号が入力される画像入力手段と、
入力された画像信号に所定の画像処理を行う画像処理手段と、
該画像処理手段で画像処理された画像信号が所定のフレームレートで入力され、該入力された画像信号の解析を行う演算部と演算用メモリを有する画像解析手段と、
該画像入力手段より入力された画像信号を圧縮処理する画像圧縮処理手段と、
所定のプログラムに従って該画像解析手段と該画像圧縮処理手段とを制御する制御手段と、
該画像処理手段で画像処理された画像信号を記憶する第１のメモリと、
該所定のプログラムを記憶する第２のメモリと、
該画像処理手段と該画像圧縮処理手段と該第１のメモリとを結ぶ第１のバスと、
該画像処理手段と該画像解析手段とを結ぶ第２のバスと、
該画像処理手段と該画像圧縮処理手段と該制御手段と該第２のメモリとを結ぶ第３のバスと、
を備え、
前記第２のメモリには、前記画像処理手段から前記画像解析手段へ前記画像信号が入力されるフレームレートを決める手順を含む前記所定のプログラムが記憶されていること、
を特徴とする画像圧縮装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を圧縮する画像圧縮装置に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開２００５−２１５６９９号公報がある。
本文献には、「［課題］バッファを増設することなくコーデック機能を有させるようにする。［解決手段］波形メモリからＣＰＵが直接波形データを読出／書込する際のＣＰＵアクセスバッファとして、ＦＩＦＯを分割した領域４１ａを使用する。ＣＰＵが音源部に入力されたオーディオデータを扱うための出力コーデックバッファと入力コーデックバッファとして、ＦＩＦＯを分割した領域４１ｂ，４１ｃを使用する。」と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２１５６９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
高能率符号化技術の進展に伴い、映像や音声といったＡＶデータをデジタルデータとして圧縮し、ハードディスクや記録型光ディスク、半導体メモリ記録媒体へリアルタイムに記録することが可能となっている。また、ネットワークを経由して、圧縮した画像データを伝送し、他のネットワーク端末にて監視したり、記録したりするシステムも一般化している。
【０００５】
こうしたシステム向けの画像圧縮においては、画像圧縮効率を上げるために、さまざまな画像の特徴の解析を行い、その結果に応じて圧縮後の符号生成量を制御することが必要であり、その制御方法こそが、高画質で符号生成量の少ない圧縮が行えるかの、圧縮技術のキーポイントとなっている。
【０００６】
この場合、画像を解析するために、圧縮前の画像データを演算器でアクセスし、ヒストグラムや画面内の相関情報（画像内の分散値を採るなど）の処理を行うが、その結果、圧縮性能を上げようとすればするほど画像圧縮に必要なアクセス数が増加していくことになる。
【０００７】
画像圧縮装置においては、メモリに画像データを蓄え、画像解析や、画像相関、動き検出、ＤＣＴ（ディスクリートコサイン変換）処理、可変長符号化処理などの各処理過程においても同一のメモリ上に読み書きを行って処理を行うのが一般的である。したがって、高性能な圧縮処理を行うほど、上記メモリへの単位時間当たりのアクセス数（以下「バンド幅」という）が増加する。現在メモリは比較的高バンド幅のものも供給されるようになっているが、画像信号自体も高解像度化が進み、こうした圧縮システムで性能を向上することを考えた場合、メモリのバンド幅の点で高性能化に影響がある。
【０００８】
本発明の目的は、メモリのバンド幅の増加を抑えることができる画像圧縮装置を提供することにある。一例として、メモリのバンド幅の増加を抑えつつ、優れた圧縮効率を持つ画像圧縮装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、特許請求の範囲に記載の構成を採用する。
例えば、次の構成とすることができる。
外部より画像信号を入力可能な画像入力部と、入力された画像に所定の画像処理を行う画像処理部と、
該画像処理部で処理された映像信号を解析を行うための演算部と演算用メモリからなる画像解析部と、
前記画像入力部より入力された画像を圧縮処理するための画像圧縮処理部と、前記画像解析部の演算部とは異なった汎用処理演算部と、
汎用処理メモリを設け、
前記画像処理部と前記画像圧縮処理部とを結ぶ第一のデータバスとは別の第二のデータバスによって、前記画像処理部と画像解析部とを結ぶ構成とする。
【００１０】
この場合、画像処理部と、画像解析部を結ぶ第二のデータバスは、画像処理部と画像圧縮処理部と汎用演算処理部と、汎用処理メモリで結ばれるバスとは分かれているため、画像解析部が画像解析に必要な処理量を上げていっても、第一のデータバスのバンド幅の消費にならない。
【発明の効果】
【００１１】
本発明による画像圧縮装置によれば、メモリのバンド幅の増加を抑えることができる。一例として、画像圧縮の性能を上げつつ、メモリバンド幅の消費を抑えることができるため、低消費電力で高性能画像圧縮を行う画像圧縮装置を提供できる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１２】
【図１】本発明にかかる画像圧縮装置の一実施例を示す図。
【図２】解析部に書き込まれる画像のフレームレートを示した図。
【図３】縮小した画像を解析部に書き込む状態を示した図。
【図４】本発明をビデオカメラに応用した実施例図。
【図５】本発明を監視カメラに応用した実施例図。
【図６】本発明を放送録画機に応用した実施例図。
【発明を実施するための形態】
【００１３】
以下、図面を用いて本発明の実施形態について説明する。
【００１４】
図１は本実施例による画像圧縮装置の構成を表す図である。
同図において、１００は本発明にかかる構成を有する画像圧縮装置である。１１４は外部メモリで、画像圧縮や、その他のシステム制御に用いられる、一般的にシンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などで構成される。１０１は画像の入出力を調停する画像入出力部、１０２は画像信号を縮小したり、画像信号にグラフィック画面を重畳したりする画像処理部、１０４は画像の特徴（ヒストグラムや画像フレーム内の分散値やパターンや顔検知処理など）を解析するための画像解析部であり、演算部１０４ａと高速バス１０４ｃと、キャッシュメモリ１０４ｂで構成される。１０３は、画像処理部から出力される画像の生データ、もしくは縮小された画像を画像解析部に送るための画像バスである。１０７は画像信号を圧縮又は伸長する画像圧縮伸長処理部であり、圧縮方式としてはＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐｅ）やＩＴＵで規定されているＨ．２６４などの圧縮伸長処理を行う。１０５は音声の入出力を調停する音声入出力部、１０６は音声の圧縮又は伸長を行う音声圧縮伸長処理部であり圧縮方式としてはＭＰＥＧ音声規格や光ディスクやデジタル放送などで用いられているものと互換の方式などで圧縮伸長を行う。１１１は圧縮された映像データと圧縮された音声データをＭＰＥＧで規定されたＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）やＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）の形式でシステムストリームに多重化、もしくはＴＳやＰＳの分離処理をおこなう多重分離化処理部である。１１０は外部に接続された記録部／ネットワーク部１１６との接続のための外部デバイスインターフェース、１０８はこれら画像、音声の圧縮処理や記録部／ネットワーク１１６への記録や転送処理など、システムを制御するアプリケーションプロセッサ、１１５はアプリケーションプロセッサ１０８の実行プログラム（以下に説明する各部の動作を制御する手順を含む）を内蔵するプログラムメモリ、１０９は、内部のアプリケーションプロセッサバス（以下「ＣＰＵバス」という）１２０との接続のための外部バスインターフェース、１３０は、他の処理装置などとの通信を行うための通信処理部である。また画像処理部１０２はバス１２０ａ、解析部１０４はバス１２０ｂ、画像圧縮伸長処理部はバス１２０ｃ、音声圧縮伸長部はバス１２０ｄ、多重分離化処理部１１１はバス１２０e、外部デバイスインターフェースはバス１２０ｆで、それぞれがメモリインターフェース１１２を介してメモリバス１１３にて外部メモリ１１４に結ばれる。
【００１５】
画像、音声を圧縮して、記録もしくはネットワークへ転送処理を行う場合の流れを説明する。
【００１６】
入力された画像は画像入出力部１０１、画像処理部１０２を経由してバス１２０aメモリインターフェース１１２、メモリバス１１３を介して外部メモリ１１４へ送られる。この画像データを外部メモリ１１４、メモリバス１１３、バス１２０ｃを介して画像圧縮処理部１０７は、規定の圧縮方式に従って圧縮し、その圧縮画像データは再びバス１２０ｃ、メモリインターフェース１１２、メモリバス１１３を介して外部メモリ１１４へ格納される。また、画像処理部１０２からは、画像バス１０３を経由して任意に縮小処理された生の画像データが解析部１０４へ供給される。解析部１０４では、画像バス１０３より入力された画像データがキャッシュメモリ１０４ｂに置かれ、このキャッシュメモリ１０４ｂ上の画像データを演算部が高速バス１０４ｃを介して高速にアクセスして、画像特徴の解析を行う。そして、この解析結果を元に、画像の符号割当量を計算して画像圧縮伸長処理部１０７へ指示を送る。
【００１７】
このように構成することで、例えばバス１２０ｂ、メモリインターフェース１１２、メモリバス１１３を介して外部メモリ１１４へ、画像処理部１０２から外部メモリ１１４へ送られた生の画像データをアクセスして、解析部１０４で特徴解析を行うよりも、メモリバスのバンド幅の消費を抑えることができる。特に近年では、これら画像圧縮装置１００の機能は、１チップのＬＳＩとして作成されることが多く、その場合、外部メモリへのバンド幅消費を抑えることは、単位時間のアクセス回数を減らせるので、システムの低消費電力化を測れるとともに、よりきめ細かな画像解析による、符号量割り当てを圧縮処理にておこなえるので、高画質化も図れる。
【００１８】
入力された音声は音声入出力部１０５を介して音声圧縮伸長処理部１０６にて所定の圧縮処理がなされた後、その圧縮音声はバス１２０ｃ、メモリインターフェース１１２、メモリバス１１３を経由して外部メモリ１１４へ格納される。
【００１９】
多重分離化処理部１１１は、外部メモリ１１４に蓄えられている圧縮画像と圧縮音声をメモリバス１１３、メモリインターフェース１１２、バス１２０eを介して多重化処理し、その多重化されたシステムストリームは再びバス１２０e、メモリインターフェース１１２、メモリバス１１３を介して外部メモリにバッファリングされる。外部メモリ１１４にバッファリングされたシステムストリームはメモリバス１１３、メモリインターフェース１１２、バス１２０ｆを介して外部デバイスインターフェース１１０を経由して、記録部／ネットワーク部１１６へと転送される。
【００２０】
よって本発明によれば、これら音声圧縮伸長処理部１０６、及び先に述べた画像圧縮伸長処理部１０７、多重分離化処理部１１１、外部デバイスインターフェース１１０の各処理に外部メモリ１１１のバンド幅を割り当てられ、画像解析に必要なバンド幅は画像バス１０３によって確保できるので、圧縮処理における高性能化を図れるとともに、メモリバンド幅の消費を抑え、省電力化が可能である。
【００２１】
また、解析部１０４（図１）の１フレームの画像の解析が１フレーム以内に終了しない場合には、解析部１０４から画像処理部へ、キャッシュメモリ１０４ｂへ書き込む生画像データの更新サイクルを指定し、例えば指定値ｎ＝２の場合は、図２に示すように２映像フレームに１回のキャッシュメモリの書き込みとしたり、指定値ｎ＝３として３映像フレームに１回の書き込みとしたりするように構成することで、演算部の画像特徴の解析に必要なアルゴリズムの処理量に応じてシステムを最適化できる。
【００２２】
また、解析部１０４から画像出力部１０２へ渡す画像を、図３（同図では縦横半分の画素に縮小したもの）に示すように任意に縮小して渡すように構成することによっても、演算部の画像特徴の解析に必要なアルゴリズムの処理量に応じてシステムを最適化できる。
【００２３】
図４は本発明にかかる画像圧縮装置を動画記録のビデオカメラに用いた場合の構成を示したものである。同図において、圧縮装置１００、メモリバス１１３、外部メモリ１１４は図１で示したものと同様である。４０１はレンズ、撮像素子などから構成される撮像部、４０２はセンサ出力を処理して画像信号に変換する信号処理部、４０３はマイク、４０４はアナログ音声信号をデジタル音声信号に変換するアナログデジタル（ＡＤ）変換器、４０５は記録媒体制御部と記録媒体からなる、例えばハードディスクやリムーバブルなメモリカード、光ディスクなど想定した記録部である。
【００２４】
４０１で撮像された画像が信号処理４０２にてデジタル画像信号に変換され、またマイク４０３にて集音された音声信号はＡＤ変換器４０４によってデジタル音声信号に変換されて圧縮装置１００により画像音声を圧縮多重化したシステムストリームに圧縮処理されて、記録部４０５にシステムストリームが記録される。このようにビデオカメラに用いた場合、圧縮装置１００では、解析部１０４（図１）によって、画像の特徴量に応じた最適な画像圧縮処理が行われるので、記録された圧縮画像が高品質に保てると共に、消費電力を上げることなく、高品質な画像圧縮が行える。また、解析部１０４では、画像中に人の顔があるなどの検知処理を行って、その人の部分などがよく見えるように信号処理を行うことで、より高品質な画像を録画できるビデオカメラを提供できる。
【００２５】
図５は本発明にかかる画像圧縮装置を監視などの用途のビデオカメラに応用した場合の構成を示したものである。同図において、圧縮装置１００、メモリバス１１３、外部メモリ１１４は図１で示したものと同様である。５０１はレンズ、撮像素子などから構成される撮像部、５０２はセンサ出力を処理して画像信号に変換する信号処理部、５０３はマイク、５０４はアナログ音声信号をデジタル音声信号に変換するアナログデジタル（ＡＤ）変換器、５０５はネットワークとの接続のためのネットワーク制御部、５０６はネットワーク網、５０７はネットワークを介してビデオカメラの圧縮画像を受信し、図示しないモニタに表示したり、受信した圧縮画像をハードディスクなどに録画したりする端末装置である。５０１で撮像された画像が信号処理５０２にてデジタル画像信号に変換され、またマイク５０３にて集音された音声信号はＡＤ変換器５０４によってデジタル音声信号に変換されて圧縮装置１００により画像音声を圧縮多重化したシステムストリームに圧縮処理されて、ネットワーク制御部５０５を介してネットワーク網５０６を経由し、ネットワーク端末５０７にて受信され、先に述べたようにモニタに映し出されたり、端末側で記録処理がなされたりする。このような場合、たとえばカメラで映し出してる画像を解析部１０４にて解析し、たとえば人が映し出されたときだけ、検知して圧縮画像をネットワーク経由で伝送する、などといった事が行える。たとえばネットワーク端末側で、受信した圧縮画像を録画する場合などにおいて、人間が移っていると感知した場合にのみ圧縮画像がネットワークに伝送され、ネットワーク端末５０７側にて受信、記録されることになるので、監視に必要な情報のみを録画することができるなどの利点がある。
【００２６】
図６は本発明にかかる画像圧縮装置をデジタル放送受信機を備えた録画装置に応用した場合の構成を示したものである。同図において、圧縮装置１００、メモリバス１１３、外部メモリ１１４は図１で示したものと同様である。６００はアンテナ、６０１はチューナ、６０２は受信したチューナ出力のシステムストリームから画像及び音声を伸張する画像音声伸張装置、６０３は、例えばハードディスクやリムーバブルなメモリカード、光ディスクなど想定した記録部である。このような場合、たとえば受信した画像を、受信した時の伝送レートよりもさらに低レートにて、画像劣化を抑えて録画することができるため、録画する番組の時間数をより長時間にすることが可能である。
【００２７】
以上，添付図面を参照しながら本発明にかかる好適な実施形態について説明したが，本発明はかかる例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【００２８】
例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。    
【符号の説明】
【００２９】
１００・・・・・・・本発明にかかる構成を有する画像圧縮装置
１０１・・・・・・・画像入出力部
１０２・・・・・・・画像処理部
１０３・・・・・・・画像バス
１０４・・・・・・・画像解析部
１０５・・・・・・・音声の入出力を調停する音声入出力部
１０６・・・・・・・音声の圧縮又は伸長を行う音声圧縮伸長処理部
１０７・・・・・・・画像圧縮伸長処理部
１１４・・・・・・・外部メモリ
【図１】
2010258727.tif 000003
【図２】
2010258727.tif 000004
【図３】
2010258727.tif 000005
【図４】
2010258727.tif 000006
【図５】
2010258727.tif 000007
【図６】
2010258727.tif 000008