(57)【要約】【課題】画像データを伝送する信号線を削減することができる画像処理装置を提供する。【解決手段】画像データ量削減装置１００８，１００９は、画像データ同士の差分、あるいは画像データに所定の演算を行うことにより算出した基準値と画像データとの差分を信号線へ出力する。画像データ復元装置１０１０，１０１１は、信号線から入力された差分に基づいて画像データを復元する。画像データ同士の差分あるいは基準値と画像データとの差分が、素子間をまたいで通る信号線を伝送されるので、画像データを伝送する信号線を削減することができる。【選択図】図１
2009076969.tif 000002
【特許請求の範囲】
【請求項１】
画像データに対する画像処理を実行する１または複数の画像処理ブロックが配置された複数の素子を有し、素子内を通る、あるいは素子間をまたいで通る信号線により各画像処理ブロックが接続される画像処理装置において、
素子間をまたいで通る信号線により互いに接続されている２つの画像処理ブロックのうちの一方は、前記画像データ同士の差分、あるいは前記画像データに所定の演算を行うことにより算出した基準値と前記画像データとの差分を前記信号線へ出力する画像データ量削減装置を有し、
前記２つの画像処理ブロックのうちの他方は、前記信号線から入力された前記差分に基づいて前記画像データを復元する画像データ復元装置を有する
ことを特徴とする画像処理装置。
【請求項２】
前記画像データ量削減装置は、
入力された前記画像データを上位ビットと下位ビットとに分割した分割画像データを出力する分割装置と、
連続して入力された前記画像データの差分である差分画像データを出力する差分演算装置と、
前記分割装置および前記差分演算装置のいずれかの出力を選択して選択結果と共に前記信号線へ出力する第１の選択装置とを有し、
前記画像データ復元装置は、
前記信号線から入力された前記分割画像データを結合して出力する結合装置と、
既に復元された前記画像データに前記差分画像データを加算して出力する加算装置と、
前記信号線から入力された前記選択結果に基づいて、前記結合装置および前記加算装置の出力のいずれかを選択する第２の選択装置とを有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像データ量削減装置は、前記画像データが画像端部の画素のデータであるか否かを識別する端部識別装置を有し、
前記第１の選択装置は、前記端部識別装置による識別結果に基づいて、前記分割装置および前記差分演算装置のいずれかの出力を選択する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像データ量削減装置は、前記差分画像データの値が所定値を上回るか否かを識別するデータ値評価装置を有し、
前記第１の選択装置は、前記端部識別装置による識別結果と、前記データ値評価装置による識別結果とに基づいて、前記分割装置および前記差分演算装置のいずれかの出力を選択する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像データ量削減装置は、
入力された前記画像データの一部の成分を周期的に間引いた間引き画像データを前記信号線へ出力する画像データ間引き装置と、
前記画像データ間引き装置により間引かれる画像データと間引かれない画像データとの差分である復元用データを前記信号線へ出力する復元用データ演算装置とを有し、
前記画像データ復元装置は、
前記信号線から入力された前記間引き画像データおよび前記復元用データから、間引かれている前記画像データの一部の成分を復元して復元画像データを生成する間引き復元装置と、
前記間引き画像データおよび前記復元画像データを出力する出力装置とを有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記画像データ量削減装置は、
入力された画像データを複数ライン分格納するラインメモリと、
前記ラインメモリからマトリクスブロック単位で各画素の画像データを走査して読み出す読出し制御装置と、
前記マトリクスブロック内の画素の画像データを用いて所定の演算を行い、前記基準値を算出する基準値演算装置と、
前記マトリクスブロック内の画素同士の画像データの差分を演算する第１の差分演算装置と、
前記マトリクスブロック内の画素の画像データと前記基準値との差分を演算する第２の差分演算装置と、
前記第１の差分演算装置によって演算された前記差分、および前記第２の差分演算装置によって演算された前記差分のいずれかを選択し、選択した前記差分と、前記マトリクスブロック内の基準画素の画像データを分割した分割画像データと、前記差分の種類を示す付加データとを前記信号線へ出力する選択装置とを有し、
前記画像データ復元装置は、
前記信号線から入力された前記差分、前記分割画像データ、および前記付加データに基づいて、前記マトリクスブロック内の画素の画像データを復元する復元用データ演算装置と、
前記復元用データ演算装置によって復元された前記マトリクスブロック内の画素の画像データを格納するラインメモリとを有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像データ量削減装置は、前記第１の差分演算装置および前記第２の差分演算装置によって演算された差分のダイナミックレンジに基づいて、前記信号線へ出力する前記差分のビット幅を決定するビット幅決定装置を有し、
前記選択装置は、前記ビット幅決定装置によって決定された前記ビット幅を示すデータを前記付加データに挿入する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
ブロックサイズが異なる複数種類のマトリクスブロックが用意されており、
前記画像データ量削減装置は、複数種類の前記ブロックサイズのうち、前記信号線へ出力するマトリクスブロックのブロックサイズを決定するブロックサイズ決定装置を有し、
前記選択装置は、前記ブロックサイズ決定装置によって決定されたブロックサイズを示すデータを前記付加データに挿入する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記選択装置は、選択した前記差分のビット幅が、前記ビット幅決定装置によって決定された前記ビット幅を超えた場合に、選択した前記差分に対して元の画像データと同じビット幅を割り当て、選択した前記差分を時分割で前記信号線へ出力することを特徴とする請求項７に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、画像データに対する画像処理を実行する１または複数の画像処理ブロックが配置された複数の素子を有し、素子内を通る、あるいは素子間をまたいで通る信号線により各画像処理ブロックが接続される画像処理装置に関する。
【背景技術】
【０００２】
画像データのデータ量の削減を図った画像処理装置が提案されている。例えば、特許文献１に記載された画像処理装置は、前の画素との差分を用いてデータ量を削減するものである。この画像処理装置は、多値画像データの画素毎に差分値を算出し、その差分値の出現頻度に応じた符号を割り当てるように符号化してページメモリに保持し、復号の際は、ページメモリ内の符号データを順次復号し、得られる差分値を積算することによって、多値画像データを復元している。
【０００３】
また、特許文献２に記載されたカラー画像処理装置は、画像データの一部を間引いてデータ量を削減するものである。このカラー画像処理装置は、例えばＢ信号とＲ信号を１画素毎に間引いて１つのラインを介してＢ画素とＲ画素を交互に転送する。間引いたＢ画素とＲ画素は隣接画素から補間される。
【特許文献１】特開平１０−２００７５７号公報
【特許文献２】特開平８−３１７２０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前の画素との差分を用いてデータ量を削減する方法は上記の特許文献１をはじめとしていくつか提案されているが、いずれもデータを符号化してメモリへ格納することを目的としているため、画像データを伝送する信号線を削減するための方法については言及されていない。また、特許文献２に提案されている方法では、画像データを伝送する信号線を削減しているが、単純にデータを間引いているだけであって、復元する画像データについては、間引く前の精度を保つことができていない。
【０００５】
本発明は、上述した課題に鑑みてなされたものであって、画像データを伝送する信号線を削減することができる画像処理装置を提供することを第１の目的とする。また、本発明は、データ量を削減した後で、データ量削減前と同等の情報量を有する画像データを復元することができる画像処理装置を提供することを第２の目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたもので、画像データに対する画像処理を実行する１または複数の画像処理ブロックが配置された複数の素子を有し、素子内を通る、あるいは素子間をまたいで通る信号線により各画像処理ブロックが接続される画像処理装置において、素子間をまたいで通る信号線により互いに接続されている２つの画像処理ブロックのうちの一方は、前記画像データ同士の差分、あるいは前記画像データに所定の演算を行うことにより算出した基準値と前記画像データとの差分を前記信号線へ出力する画像データ量削減装置を有し、前記２つの画像処理ブロックのうちの他方は、前記信号線から入力された前記差分に基づいて前記画像データを復元する画像データ復元装置を有することを特徴とする画像処理装置である。
【０００７】
また、本発明の画像処理装置において、前記画像データ量削減装置は、入力された前記画像データを上位ビットと下位ビットとに分割した分割画像データを出力する分割装置（図２の下位ビット切捨器２００４、上位ビット切捨器２００５に対応）と、連続して入力された前記画像データの差分である差分画像データを出力する差分演算装置（図２の減算器２００３に対応）と、前記分割装置および前記差分演算装置のいずれかの出力を選択して選択結果と共に前記信号線へ出力する第１の選択装置（図２のセレクタ２０１０に対応）とを有し、前記画像データ復元装置は、前記信号線から入力された前記分割画像データを結合して出力する結合装置（図２のビット結合器２１０２に対応）と、既に復元された前記画像データに前記差分画像データを加算して出力する加算装置（図２の加算器２１０３に対応）と、前記信号線から入力された前記選択結果に基づいて、前記結合装置および前記加算装置の出力のいずれかを選択する第２の選択装置（図２のセレクタ２１０５に対応）とを有することを特徴とする。
【０００８】
また、本発明の画像処理装置において、前記画像データ量削減装置は、前記画像データが画像端部の画素のデータであるか否かを識別する端部識別装置（図２の端部識別装置２００９に対応）を有し、前記第１の選択装置は、前記端部識別装置による識別結果に基づいて、前記分割装置および前記差分演算装置のいずれかの出力を選択することを特徴とする。
【０００９】
また、本発明の画像処理装置において、前記画像データ量削減装置は、前記差分画像データの値が所定値を上回るか否かを識別するデータ値評価装置（図２のデータ値評価装置２００８に対応）を有し、前記第１の選択装置は、前記端部識別装置による識別結果と、前記データ値評価装置による識別結果とに基づいて、前記分割装置および前記差分演算装置のいずれかの出力を選択することを特徴とする。
【００１０】
また、本発明の画像処理装置において、前記画像データ量削減装置は、入力された前記画像データの一部の成分を周期的に間引いた間引き画像データを前記信号線へ出力する画像データ間引き装置（図３のセレクタ３００７、図６のセレクタ６０１３に対応）と、前記画像データ間引き装置により間引かれる画像データと間引かれない画像データとの差分である復元用データを前記信号線へ出力する復元用データ演算装置（図３の減算器３００３，３００４、上位ビット切捨器３００５，３００６、セレクタ３００８、図６の加算器６００５，６００６、１／２倍器６００７，６００８、減算器６００９，６０１０、上位ビット切捨器６０１１，６０１２に対応）とを有し、前記画像データ復元装置は、前記信号線から入力された前記間引き画像データおよび前記復元用データから、間引かれている前記画像データの一部の成分を復元して復元画像データを生成する間引き復元装置（図３の加算器３１０２、図６の加算器６１０４，６１０６、１／２倍器６１０５に対応）と、前記間引き画像データおよび前記復元画像データを出力する出力装置（図３のセレクタ３１０３、図６のセレクタ６１０７に対応）とを有することを特徴とする。
【００１１】
また、本発明の画像処理装置において、前記画像データ量削減装置は、入力された画像データを複数ライン分格納するラインメモリ（図１０のラインメモリ１０００１に対応）と、前記ラインメモリからマトリクスブロック単位で各画素の画像データを走査して読み出す読出し制御装置（図１０の読出し制御装置１０００２に対応）と、前記マトリクスブロック内の画素の画像データを用いて所定の演算を行い、前記基準値を算出する基準値演算装置（図１０の平均化装置１０００３、予測演算装置１０００７）と、前記マトリクスブロック内の画素同士の画像データの差分を演算する第１の差分演算装置（図１０の隣接差分演算装置１０００６）と、前記マトリクスブロック内の画素の画像データと前記基準値との差分を演算する第２の差分演算装置（図１０の平均差分演算装置１０００４、予測差分演算装置１０００８に対応）と、前記第１の差分演算装置によって演算された前記差分、および前記第２の差分演算装置によって演算された前記差分のいずれかを選択し、選択した前記差分と、前記マトリクスブロック内の基準画素の画像データを分割した分割画像データと、前記差分の種類を示す付加データとを前記信号線へ出力する選択装置（図９の情報多重装置９００３に対応）とを有し、前記画像データ復元装置は、前記信号線から入力された前記差分、前記分割画像データ、および前記付加データに基づいて、前記マトリクスブロック内の画素の画像データを復元する復元用データ演算装置（図９の復元装置９１０６に対応）と、前記復元用データ演算装置によって復元された前記マトリクスブロック内の画素の画像データを格納するラインメモリ（図９のラインメモリ９１０７に対応）とを有することを特徴とする。
【００１２】
また、本発明の画像処理装置において、前記画像データ量削減装置は、前記第１の差分演算装置および前記第２の差分演算装置によって演算された差分のダイナミックレンジに基づいて、前記信号線へ出力する前記差分のビット幅を決定するビット幅決定装置（図１０のビット幅判定装置１０００９に対応）を有し、前記選択装置は、前記ビット幅決定装置によって決定された前記ビット幅を示すデータを前記付加データに挿入することを特徴とする。
【００１３】
また、本発明の画像処理装置において、ブロックサイズが異なる複数種類のマトリクスブロックが用意されており、前記画像データ量削減装置は、複数種類の前記ブロックサイズのうち、前記信号線へ出力するマトリクスブロックのブロックサイズを決定するブロックサイズ決定装置（図９の選択装置９００２に対応）を有し、前記選択装置は、前記ブロックサイズ決定装置によって決定されたブロックサイズを示すデータを前記付加データに挿入することを特徴とする。
【００１４】
また、本発明の画像処理装置において、前記選択装置は、選択した前記差分のビット幅が、前記ビット幅決定装置によって決定された前記ビット幅を超えた場合に、選択した前記差分に対して元の画像データと同じビット幅を割り当て、選択した前記差分を時分割で前記信号線へ出力することを特徴とする。
【００１５】
上記において、括弧で括った部分の記述は、後述する本発明の実施形態と本発明の構成要素とを便宜的に対応付けるためのものであり、この記述によって本発明の内容が限定されるわけではない。
【発明の効果】
【００１６】
本発明によれば、画像データ同士の差分あるいは基準値と画像データとの差分が、素子間をまたいで通る信号線を伝送されるので、画像データを伝送する信号線を削減することができる。
【００１７】
また、本発明によれば、画像データを上位ビットと下位ビットとに分割した分割画像データと、画像データの差分である差分画像データとのいずれかが、素子間をまたいで通る信号線を伝送されるので、画像データを伝送する信号線を削減することができる。さらに、分割画像データの結合により、あるいは既に復元された画像データに対する差分画像データの加算により、データ量削減前と同等の情報量を有する画像データを復元することができる。
【００１８】
また、本発明によれば、画像データの一部の成分を周期的に間引いた間引き画像データと、間引かれる画像データと間引かれない画像データとの差分である復元用データとが、素子間をまたいで通る信号線を伝送されるので、画像データを伝送する信号線を削減することができる。さらに、間引き画像データおよび復元用データから、間引かれている画像データの一部の成分を復元して復元画像データを生成することにより、データ量削減前と同等の情報量を有する画像データを復元することができる。
【００１９】
また、本発明によれば、マトリクスブロック内の画素同士の画像データの差分と、マトリクスブロック内の画素の画像データと基準値との差分とのいずれかと、マトリクスブロック内の基準画素の画像データを分割した分割画像データとが、素子間をまたいで通る信号線を伝送されるので、画像データを伝送する信号線を削減することができる。さらに、分割画像データおよび差分からマトリクスブロック内の画素の画像データを復元することにより、データ量削減前と同等の情報量を有する画像データを復元することができる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照し、本発明の実施形態を説明する。
【００２１】
（第１の実施形態）
最初に、本発明の第１の実施形態を説明する。図１は、本実施形態による画像処理装置の構成を示している。また、図２は、画像処理装置の構成要素である画像データ量削減装置と画像データ復元装置の構成を示している。図２（ａ）は画像データ量削減装置の構成を示し、図２（ｂ）は画像データ復元装置の構成を示している。
【００２２】
まず、図１に沿って画像処理装置の全体構成を説明する。本実施形態では、５個の画像処理ブロックを２個の素子上に２個と３個に配分した例を説明する。画像処理装置は、素子１００１，１００２に分割して配置された画像処理ブロック１００３，１００４，１００５，１００６，１００７と、外部から入力される信号から画像処理ブロックを通して外部に信号を出力するための信号線１０１２，１０１３，１０１４，１０１５，１０１６，１０１７と、画像データ量削減装置１００８，１００９と、画像データ復元装置１０１０，１０１１とを備えている。なお、素子間をまたいで通る信号線１０１３，１０１６は、他の信号線に比べて信号本数が少ない。
【００２３】
図１に示す画像処理装置は、部分的な画像処理機能を有する画像処理ブロック１００３，１００４，１００５，１００６，１００７の各機能を結合することによって、総合した画像処理を実現するものである。これらの各画像処理ブロックには、ロウパスフィルタ処理、黒バランス調整処理、白バランス調整処理、ゲイン調整処理、輪郭強調処理、解像度変換処理、ノイズ除去処理などの画像処理機能のうちの１または複数が割り当てられている。
【００２４】
各画像処理ブロックは、画像データを受け取って処理を行い、次の画像処理ブロックに画像データを出力することで、それぞれの部分的な画像処理機能を実現している。  また、素子間をまたいで通る信号線に画像データを出力する画像処理ブロック１００３，１００９は、信号線へ出力する画像データのデータ量を削減する画像データ量削減装置１００８，１００９を有している。
【００２５】
一方、素子間をまたいで通る信号線から画像データが入力される画像処理ブロック１００４，１００７は、信号線から入力されたデータから元の画像データを復元する画像データ復元装置１０１０，１０１１を有している。なお、信号線を通る信号として、クロック信号やタイミング信号など様々な信号があるが、本実施形態では画像データに着目しているため、画像データ以外の信号については詳述しない。
【００２６】
以下、画像処理の流れを説明する。まず、信号線１０１２を介して、素子１００２上にある画像処理ブロック１００３に外部からの画像データが入力される。外部からの画像データは、図示していないＣＣＤなどの撮像素子によって電気信号に変換され、デジタル信号に変換されたものである。あるいは、画像処理装置に入力される前に、何らかの画像処理が施されたものであってもよい。
【００２７】
素子１００２上の画像処理ブロック１００３は、部分的な画像処理を行った後、画像データ量削減装置１００８で画像データの量を減らし、データ量を削減した画像データを信号線１０１３へ出力することにより、データ量を削減した画像データを素子１００１上の画像処理ブロック１００４に送る。素子１００１上の画像処理ブロック１００４は、データ量が削減された画像データから元の画像データを画像データ復元装置１０１０で復元した後、部分的な画像処理を行って信号線１０１４へ画像データを出力し、素子１００１上の画像処理ブロック１００５に画像データを送る。
【００２８】
素子１００１上の画像処理ブロック１００５は、部分的な画像処理を行って信号線１０１５へ画像データを出力し、素子１００１上の画像処理ブロック１００６に画像データを送る。素子１００１上の画像処理ブロック１００６は、部分的な画像処理を行った後、画像データ量削減装置１００９で画像データの量を減らし、データ量を削減した画像データを信号線１０１６へ出力することにより、データ量を削減した画像データを素子１００２上の画像処理ブロック１００７に送る。
【００２９】
素子１００２上の画像処理ブロック１００７は、データ量が削減された画像データから元の画像データを画像データ復元装置１０１１で復元した後、部分的な画像処理を行って、信号線１０１７を介して外部へ画像データを出力する。外部へ出力された画像データは、そのまま、あるいは図示していない何らかの処理を行った上で、図示していないモニタなどに入力され、視覚的にとらえられる画像となる。
【００３０】
次に、図２に沿って画像データ量削減装置と画像データ復元装置について説明する。以下では、１４ビットの画像データを７ビットに削減して復元する例を示すが、そのビット幅は特に限定するものではない。
【００３１】
画像データ量削減装置は、フリップフロップ２００１，２００２と、減算器２００３と、下位ビット切捨器２００４と、上位ビット切捨器２００５，２００６と、遅延回路２００７ａ，２００７ｂ，２００７ｃと、データ値評価装置２００８と、端部識別装置２００９と、セレクタ２０１０とを備えている。また、画像データ復元装置は、フリップフロップ２１０１，２１０６と、ビット結合器２１０２と、加算器２１０３と、遅延回路２１０４ａ，２１０４ｂと、セレクタ２１０５とを備えている。本実施形態では、フリップフロップによりデータに１クロックの遅延が与えられ、減算器２００３、下位ビット切捨器２００４、上位ビット切捨器２００５、ビット結合器２１０２、加算器２１０３等による遅延は無視するものとする。
【００３２】
以下、画像データの削減と復元に関する作用を説明する。最初に、画像データ量削減装置について説明する。画像データは、例えば垂直同期信号、水平同期信号、クロック信号等に従って画素単位で時系列に入力される。ある時刻に入力される画像データとその１クロック前に入力される画像データとは、画像上で隣接する画素の画像データである。画像データ量削減装置の基本的な考え方は、画像データが水平方向の画素毎に順次入力される状況下で、水平方向に並んだ画素の中で、最初に入力される画素のデータについては完全な画像データを出力し、以降は前回入力された画像データに対する、今回入力される画像データの差分を出力するというものである。
【００３３】
完全な画像データを２回に分割して出力することで、１回に出力するデータの量を少なくすることができる。また、差分は画像データそのものに比較して小さいため、差分を出力することで、出力するデータの量を少なくすることができる。とりわけ、ロウパスフィルタをかけた後の画像データは、隣接画素間の画像データの差分が小さく、この差分を出力することにより、大きな効果が得られる。
【００３４】
ある水平方向の並びの最初の画素の画像データ（すなわち、画像左端の画素のデータ）は、下位ビット切捨器２００４と、上位ビット切捨器２００５とによって、上位ビットと下位ビットの分割画像データに分割される。上位ビットと下位ビットの分割画像データを２回のクロック周期でそれぞれ出力するため、フリップフロップ２００１で両者のタイミングを1クロックずらしている。
【００３５】
端部識別装置２００９は、水平同期信号に基づいて、入力された画像データが、ある水平方向の並びの最初の画素のデータ（画像左端の画素のデータ）であるか否かを判定する。入力された画像データが画像左端の画素のデータであると端部識別装置２００９によって判定された場合には、セレクタ２０１０は分割画像データを選択し、２クロック周期を要して信号線へ出力する。
【００３６】
また、入力された画像データが、ある水平方向の並びの最初の画素のデータでない場合は、フリップフロップ２００２が２つの隣接画素の画像データを同時化し、減算器２００３が隣接画素の画像データの差分を計算する。この差分の値が小さいという前提の下に、上位ビット切捨器２００６は、上位ビットをカットしてデータ量を減じた差分画像データを生成する。この差分画像データは、セレクタ２０１０によって、分割画像データが選択されていないときに信号線へ出力される。セレクタ２０１０は、分割画像データと差分画像データのどちらを出力したのかを示す選択信号を信号線へ出力する。
【００３７】
なお、２クロック周期を使って分割画像データを出力したためのタイミング調整は、差分画像データを生成する処理の冒頭で、フリップフロップ２００１によって調整できている。また、分割画像データを時分割で出力するには２クロック周期が必要となるため、分割画像データを出力するたびに、画像データの入力タイミングを基準とした出力タイミングが１クロックずつ遅れることになる。そこで、分割画像データと差分画像データに対して、遅延回路２００７ａ，２００７ｂ，２００７ｃにより出力のタイミングが調整される。
【００３８】
このように、画像データ量削減装置では、下位ビット切捨器２００４と上位ビット切捨器２００５によって上位ビットと下位ビットに分割した分割画像データが生成され、セレクタ２０１０によって２クロック周期で上位ビットの分割画像データと下位ビットの分割画像データとを出力できるように調整される。また、減算器２００３によって、隣接する画素の画像データの差分である差分画像データが生成され、セレクタ２０１０によって、分割画像データと差分画像データの一方が選択されて出力される。
【００３９】
画像データそのものを伝送するときには、２クロック周期を用いて、上位ビットと下位ビットとに分けて画像データを伝送することで、信号線を削減しながらも、情報量を減らすことなく画像データを伝送することができる。常に画像データそのものを伝送することにすると、信号線は減らせても、伝送時間が延びてしまうため、画像データそのものの伝送は要所に絞り、それ以外では、隣接画素同士の画像データの差分が伝送される。差分は画像データそのものより値が小さいため、少ない信号線でも１回の周期で伝送が可能である。
【００４０】
以上のように、水平方向の並びの最初の画素に関してのみ、データ量の多い画像データそのものを分割して出力し、それ以外の画素に関しては、値の小さい差分だけを出力するため、データを出力する信号線を少なくすることができる。ただし、上記では、差分値が小さいはずという前提を用いているが、予め設定した信号線の本数が少ないと、差分画像データが信号線に収まらない場合が生ずる。また、必ず差分画像データが収まる本数だけ信号線を用意しておくと、信号線の本数削減の効果は小さくなる。
【００４１】
そこで、水平方向の並びの最初の画素に関してだけでなく、差分画像データが、予め用意された信号線に収まらない場合にも、分割画像データを出力することにするとよい。データ値評価装置２００８は差分画像データの大きさを評価する。具体的には、データ値評価装置２００８は、差分画像データの値を信号線の本数に対応した評価値と比較し、差分画像データの値が評価値を上回る場合には、セレクタ２０１０が分割画像データを選択するようにする。
【００４２】
次に、画像データ復元装置について説明する。画像データ復元装置は、分割画像データが入力された場合には、２つの分割画像データを連結して完全な画像データに復元し、差分画像データが入力された場合には、前回得た画像データに差分画像データを加算して画像データに復元するものである。
【００４３】
信号線から分割画像データが入力されることを選択信号が示している場合には、フリップフロップ２１０１が同時化した上位ビットと下位ビットの分割画像データをビット結合器２１０２が結合して画像データを復元する。また、信号線から差分画像データが入力されることを選択信号が示している場合には、フリップフロップ２１０６が同時化した差分画像データと前回の画像データとを加算器２１０３が加算して画像データを復元する。セレクタ２１０５は、選択信号に基づいて、以上２通りの方法で復元されたデータのいずれかを選択して、画像データを出力する。
【００４４】
なお、分割画像データの処理には２クロック周期を要し、差分画像データを加算する処理とタイミングが異なることから、分割画像データからの復元が選択されるたびに、遅延回路２１０４ａ，２１０４ｂにより遅延が与えられ、タイミングが調整される。データに遅延を与える遅延装置としては、分割画像データを処理する回数を限定すれば、限定した回数分のフリップフロップで実現できる。また、その回数を限定しないのであれば、１ライン分の画像データを蓄えることのできるＦＩＦＯなどを利用すればよい。
【００４５】
このように、画像データ復元装置では、ビット結合器２１０２によって分割画像データが結合されて画像データが復元されると共に、加算器２１０３によって前回の画像データと差分画像データとが加算されて画像データが復元される。これらの画像データのいずれかが、セレクタ２０１０によって選択されて出力される。前述したように、分割画像データに関しては、上位と下位のそれぞれの分割画像データが２クロック周期を要して信号線を伝送しているため、画像データ復元装置はタイミングを調整して復元後の画像データを出力する。復元時にタイミングの調整を行うことで、各画素の画像データが一定の周期で得られる。
【００４６】
上述したように、本実施形態によれば、画像データを上位ビットと下位ビットとに分割した分割画像データと、隣接画素の画像データの差分である差分画像データとのいずれかが、素子間をまたいで通る信号線を伝送されるので、画像データを伝送する信号線を削減することができる。したがって、各素子が備える端子を削減することができ、その結果、素子そのもの小型化、および素子を配置する基板の小型化が可能となる。さらに、分割画像データの結合により、あるいは既に復元された画像データに対する差分画像データの加算により、データ量削減前と同等の情報量を有する画像データを復元することができる。
【００４７】
また、画像データが画像端部の画素のデータであった場合に分割画像データを出力することによって、隣接画素のない端部の画素については、差分ではなく画像データそのものを伝送することができる。さらに、差分画像データの値が所定値を上回った場合に分割画像データを出力することによって、差分画像データの値が大きく、用意されている信号線で伝送できない場合にも、画像データそのものを伝送することができる。
【００４８】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。図３は、本実施形態による画像データ量削減装置と画像データ復元装置の構成を示している。図３（ａ）は画像データ量削減装置の構成を示し、図３（ｂ）は画像データ復元装置の構成を示している。本実施形態では、画像データを輝度・色差データで処理する場合を例に挙げ、データ量の削減を図る画像データの一部の成分として色差のＣｒとＣｂを対象としている。本実施形態でも、色差の画像データは、水平同期信号、垂直同期信号、およびクロック信号に従って、水平方向の画素の並びの順に順次入力される。
【００４９】
画像データ量削減装置は、フリップフロップ３００１，３００２と、減算器３００３，３００４と、上位ビット切捨器３００５，３００６と、セレクタ３００７，３００８とを備えている。また、画像データ復元装置は、フリップフロップ３１０１と、加算器３１０２と、セレクタ３１０３とを備えている。
【００５０】
以下、画像データの削減と復元に関する作用を説明する。最初に、画像データ量削減装置について説明する。本実施形態の原理は、色差ＣｒとＣｂのデータを点順次形式で生成し、そこで欠落する情報については、復元用データによって補うというものである。図４に示すように、復元用データは、間引かれることによって欠落する色差のデータ４００と、１クロック前の周期における欠落していない色差のデータ４１０との差分値である。
【００５１】
色差ＣｒとＣｂのデータは、セレクタ３００７によって周期的に選択され、色差点順次形式の画像データが生成される。すなわち、セレクタ３００７からは色差ＣｒとＣｂが交互に出力される。一方、色差Ｃｒについては、フリップフロップ３００１によって２クロック周期分のＣｒ値が同時化され、減算器３００３によって２つのＣｒ値の差分値が得られる。差分値は色差Ｃｒのデータ値に比較して小さいことから、上位ビット切捨器３００５によって、‘０’しか入っていない上位ビットが削除され、データ量の少ないＣｒ用の復元用データが生成される。
【００５２】
同様に、色差Ｃｂについては、フリップフロップ３００２によって、２クロック周期分のＣｂ値が同時化され、減算器３００４によって２つのＣｂ値の差分値が得られる。差分値は色差Ｃｂのデータ値に比較して小さいことから、上位ビット切捨器３００６によって、‘０’しか入っていない上位ビットが削除され、データ量の少ないＣｂ用の復元用データが生成される。
【００５３】
セレクタ３００８は、Ｃｒ用の復元用データとＣｂ用の復元用データとを、色差の成分について見たときに、セレクタ３００７と位相がずれるように周期的に選択して復元用データを出力する。
【００５４】
図５は、画像データ量削減装置が出力するデータを示している。画像データ量削減装置には、色差ＣｒのデータＣｒ０，Ｃｒ１，Ｃｒ２，・・・が順次入力されると共に、色差ＣｂのデータＣｂ０，Ｃｂ１，Ｃｂ２，・・・が順次入力される。セレクタ３００７は、色差ＣｒとＣｂのそれぞれについてデータを周期的に間引いて信号線へ出力する。色差Ｃｒのデータを間引く周期と色差Ｃｂのデータを間引く周期の位相は互いに１クロックだけずれている。本実施形態では、セレクタ３００７が色差ＣｒとＣｂのデータの一方のみを選択して出力するため、色差点順次のデータとして、Ｃｒ０，Ｃｂ１，Ｃｒ２，Ｃｂ３，Ｃｒ４，・・・がセレクタ３００７から順次出力される。
【００５５】
一方、セレクタ３００８は、上位ビット切捨器３００５から出力されたＣｒ用の復元データと、上位ビット切捨器３００６から出力されたＣｂ用の復元データとのいずれかを信号線へ出力する。上位ビット切捨器３００５から出力されたＣｒ用の復元データは、色差Ｃｒに関して、セレクタ３００７によって間引かれるデータと間引かれないデータとの差分である。また、上位ビット切捨器３００６から出力されたＣｂ用の復元データは、色差Ｃｂに関して、セレクタ３００７によって間引かれるデータと間引かれないデータとの差分である。したがって、復元用データとして、Ｃｒ１−Ｃｒ０，Ｃｂ２−Ｃｂ１，Ｃｒ３−Ｃｒ２，Ｃｂ４−Ｃｂ３，・・・がセレクタ３００８から順次出力される。
【００５６】
このように、画像データ量削減装置では、入力された画像データが輝度と色差の成分毎に分離され、色差ＣｒとＣｂについて、データが周期的に間引かれる。また、色差ＣｒとＣｂについて、周期的に間引かれた部分に対応した復元用データが、ＣｒとＣｂで位相をずらして周期的に生成される。また、データ量が少なくなっている復元用データと、間引かれずにデータ量の変わっていない色差のデータとが、セレクタ３００７，３００８によって整理されて信号線に割り当てられる。
【００５７】
次に、画像データ復元装置について説明する。色差点順次形式の画像データで欠落しているデータを復元するために、１クロック前の周期における、間引かれていない色差（ＣｒまたはＣｂ）の画像データがフリップフロップ３１０１によって保持され、その画像データに対して復元用データが加算器３１０２によって加算され、画像データ量削減装置で間引かれた色差の画像データが復元される。復元された色差の画像データと、間引かれていない色差の画像データとが、セレクタ３１０３によって選択され、ＣｒとＣｂとに振り分けられる。
【００５８】
図５に示すデータが画像データ量削減装置から出力される場合、加算器３１０２からは、画像データ量削減装置で間引かれたＣｒ１，Ｃｂ２，Ｃｒ３，Ｃｂ４，・・・が順次出力される。したがって、セレクタ３１０３は、信号線から入力された、画像データ量削減装置で間引かれていないＣｒ０，Ｃｂ１，Ｃｒ２，Ｃｂ３，Ｃｒ４，・・・と、加算器３１０２から出力されたＣｒ１，Ｃｂ２，Ｃｒ３，Ｃｂ４，・・・とをそれぞれ色差ＣｒとＣｂのデータに順次振り分けて出力する。
【００５９】
このように、画像データ復元装置では、画像データの色差ＣｒとＣｂについて、画像データ量削減装置で間引かれていない画像データと復元用データとを用いて、画像データ量削減装置で間引かれた画像データが復元される。また、間引かれていない画像データと、復元された画像データとが色差ＣｒとＣｂ毎に整理されて出力される。
【００６０】
上述したように、本実施形態によれば、画像データの一部の成分（Ｃｒ，Ｃｂ）を周期的に間引いた画像データと、間引かれる画像データと間引かれない画像データとの差分である復元用データとが、素子間をまたいで通る信号線を伝送されるので、画像データを伝送する信号線を削減することができる。さらに、間引いた後の画像データおよび復元用データから、間引かれている画像データの一部の成分を復元して復元画像データを生成することにより、データ量削減前と同等の情報量を有する画像データを復元することができる。
【００６１】
（第３の実施形態）
次に、本発明の第３の実施形態を説明する。図６は、本実施形態による画像データ量削減装置と画像データ復元装置の構成を示している。図６（ａ）は画像データ量削減装置の構成を示し、図６（ｂ）は画像データ復元装置の構成を示している。本実施形態では第２の実施形態と同様に、画像データを輝度・色差データで処理する場合を例に挙げ、データ量の削減を図る画像データの一部の成分として色差のＣｒとＣｂを対象としている。本実施形態でも、色差の画像データは、水平同期信号、垂直同期信号、およびクロック信号に従って、水平方向の画素の並びの順に順次入力される。
【００６２】
画像データ量削減装置は、フリップフロップ６００１，６００２，６００３，６００４と、加算器６００５，６００６と、１／２倍器６００７，６００８と、減算器６００９，６０１０と、上位ビット切捨器６０１１，６０１２と、セレクタ６０１３，６０１４とを備えている。また、画像データ復元装置は、フリップフロップ６１０１，６１０２，６１０３と、加算器６１０４，６１０６と、１／２倍器６１０５と、セレクタ６１０７とを備えている。
【００６３】
以下、画像データの削減と復元に関する作用を説明する。最初に、画像データ量削減装置について説明する。本実施形態の原理は、第２の実施の形態と同様に、色差ＣｒとＣｂのデータを点順次形式で生成し、そこで欠落する情報については、復元用データによって補うというものである。図７に示すように、復元用データは、間引かれることによって欠落する色差のデータ７００と、１クロック前および１クロック後の周期における欠落していない色差のデータ７１０，７２０の平均値との差分値である。本実施形態では、この１クロック後の周期におけるデータも処理の対象に加えられるようになっている。
【００６４】
色差ＣｒとＣｂのデータに対して、それぞれフリップフロップ６００１，６００３によって１クロック周期の遅延が加えられた後に、セレクタ６０１３によって色差ＣｒとＣｂのデータが交互に選択され、色差点順次形式の画像データが生成される。
【００６５】
一方、色差Ｃｒについては、フリップフロップ６００２の入力データに対してフリップフロップ６００２で１クロック周期の遅延が加えられた１クロック周期前のデータと、フリップフロップ６００１を通らなかった１クロック周期後のデータとが加算器６００５に同時に入力され、加算器６００５と１／２倍器６００７とによって平均値が生成される。そして、フリップフロップ６００２の入力データと平均値との差分値が減算器６００９によって計算され、上位ビット切捨器６０１１によって、‘０’しか入っていない上位ビットが削除され、データ量の少ないＣｒ用の復元用データが生成される。
【００６６】
同様に、色差Ｃｂについては、フリップフロップ６００４の入力データに対してフリップフロップ６００４で１クロック周期の遅延が加えられた１クロック周期前のデータと、フリップフロップ６００３を通らなかった１クロック周期後のデータとが加算器６００６に同時に入力され、加算器６００６と１／２倍器６００８とによって平均値が生成される。そして、フリップフロップ６００４の入力データと平均値との差分値が減算器６０１０によって計算され、上位ビット切捨器６０１２によって、‘０’しか入っていない上位ビットが削除され、データ量の少ないＣｂ用の復元用データが生成される。
【００６７】
セレクタ６０１４は、Ｃｒ用の復元用データとＣｂ用の復元用データとを、色差の成分について見たときに、セレクタ６０１３と位相がずれるように周期的に選択して復元用データを出力する。
【００６８】
図８は、画像データ量削減装置が出力するデータを示している。画像データ量削減装置には、色差ＣｒのデータＣｒ０，Ｃｒ１，Ｃｒ２，・・・が順次入力されると共に、色差ＣｂのデータＣｂ０，Ｃｂ１，Ｃｂ２，・・・が順次入力される。セレクタ６０１３は、色差ＣｒとＣｂのそれぞれについてデータを周期的に間引いて信号線へ出力する。色差Ｃｒのデータを間引く周期と色差Ｃｂのデータを間引く周期の位相は互いに１クロックだけずれている。本実施形態では、セレクタ６０１３が色差ＣｒとＣｂのデータの一方のみを選択して出力するため、色差点順次のデータとして、Ｃｒ０，Ｃｂ１，Ｃｒ２，Ｃｂ３，Ｃｒ４，・・・がセレクタ６０１３から順次出力される。
【００６９】
一方、セレクタ６０１４は、上位ビット切捨器６０１１から出力されたＣｒ用の復元データと、上位ビット切捨器６０１２から出力されたＣｂ用の復元データとのいずれかを信号線へ出力する。上位ビット切捨器６０１１から出力されたＣｒ用の復元データは、色差Ｃｒに関して、セレクタ６０１３によって間引かれるデータと、間引かれない２クロック周期のデータの平均値との差分である。また、上位ビット切捨器６０１２から出力されたＣｂ用の復元データは、色差Ｃｂに関して、セレクタ６０１３によって間引かれるデータと、間引かれない２クロック周期のデータの平均値との差分である。したがって、復元用データとして、Ｃｒ１−（Ｃｒ０＋Ｃｒ２）／２，Ｃｂ２−（Ｃｂ１＋Ｃｂ３）／２，Ｃｒ３−（Ｃｒ２＋Ｃｒ４）／２，Ｃｂ４−（Ｃｂ３＋Ｃｂ５）／２，・・・がセレクタ６０１４から順次出力される。
【００７０】
次に、画像データ復元装置について説明する。色差点順次形式の画像データで欠落しているデータを復元するために、フリップフロップ６１０３の入力データに対してフリップフロップ６１０３で１クロック周期の遅延が加えられた１クロック周期前のデータと、フリップフロップ６１０１を通らなかった１クロック周期後のデータとが加算器６１０４に同時に入力され、加算器６１０４と１／２倍器６１０５とによって平均値が生成される。また、フリップフロップ６１０２でタイミングを合わせた復元用データが、加算器６１０６によって平均値と加算され、画像データ量削減装置で間引かれた画像データが復元される。
【００７１】
間引かれなかった画像データについても、フリップフロップ６１０１によってタイミングを合わせたデータが、復元されたデータと共にセレクタ６１０７に入力され、セレクタ６１０７によって色差ＣｒとＣｂのデータに振り分けられて出力される。
【００７２】
本実施形態においても、画像データを伝送する信号線を削減すると共に、データ量削減前と同等の情報量を有する画像データを復元することができる。特に、本実施形態では、欠落した画素を線形補間した値と実際の値との差分を復元用データとしているので、差分のデータ量がより少なくなり、効果的である。
【００７３】
（第４の実施形態）
次に、本発明の第４の実施形態を説明する。図９は、本実施形態による画像データ量削減装置と画像データ復元装置の構成を示している。図９（ａ）は画像データ量削減装置の構成を示し、図９（ｂ）は画像データ復元装置の構成を示している。本実施形態では、所定の大きさ（ブロックサイズ）を有するマトリクスブロック単位で画像データが処理される。また、本実施形態では、マトリクスブロック内の画素の画像データに関する複数種類の差分が画素毎に算出され、各画素について最小の差分が信号線へ出力される。
【００７４】
画像データ量削減装置は、差分演算装置９００１ａ，９００１ｂ，９００１ｃ，９００１ｄと、選択装置９００２と、情報多重装置９００３とを備えている。また、画像データ復元装置は、ヘッダ分離装置９１０１と、処理情報判定装置９１０２と、順序回路装置９１０３と、平均値保存装置９１０４と、画素差分値保存装置９１０５と、復元装置９１０６と、ラインメモリ９１０７とを備えている。
【００７５】
画像データ量削減装置において、差分演算装置９００１ａ，９００１ｂ，９００１ｃ，９００１ｄは、それぞれブロックサイズの異なるマトリクスブロックに関する差分を演算する。図１１はブロックサイズの一例を示している。本実施形態では、垂直方向の画素数（ライン数）が同一で水平方向の画素数が異なる４種類のブロックサイズが用いられる。すなわち、水平８画素、垂直１６ラインで構成される８×１６画素のブロックサイズ（block08）と、水平１６画素、垂直１６ラインで構成される１６×１６画素のブロックサイズ（block16）と、水平２４画素、垂直１６ラインで構成される２４×１６画素のブロックサイズ（block24）と、水平３２画素、垂直１６ラインで構成される３２×１６画素のブロックサイズ（block32）とが用いられる。差分演算装置９００１ａ，９００１ｂ，９００１ｃ，９００１ｄは、それぞれブロックサイズがblock08，block16，block24，block32のマトリクスブロックを処理する。
【００７６】
選択装置９００２は、上記の複数種類のブロックサイズのうち、信号線へ出力するマトリクスブロックのブロックサイズを選択する。情報多重装置９００３は、各種情報・データを多重化し信号線へ出力する。
【００７７】
差分演算装置９００１ａ，９００１ｂ，９００１ｃ，９００１ｄは、処理対象とするブロックサイズが異なるだけで、構成は同一である。図１０は差分演算装置９００１ａ，９００１ｂ，９００１ｃ，９００１ｄの構成を示している。差分演算装置９００１ａ，９００１ｂ，９００１ｃ，９００１ｄは、ラインメモリ１０００１と、読出し制御装置１０００２と、平均化装置１０００３と、平均差分演算装置１０００４と、遅延装置１０００５と、隣接差分演算装置１０００６と、予測演算装置１０００７と、予測差分演算装置１０００８と、ビット幅判定装置１０００９と、差分選択装置１００１０とを備えている。
【００７８】
ラインメモリ１０００１は、入力された画像データを複数ライン分格納する。読出し制御装置１０００２は、ラインメモリ１０００１から所定サイズのマトリクスブロック単位で各画素の画像データを走査して読み出す。平均化装置１０００３は、マトリクスブロック内の画素の画像データの値の平均値を算出する。平均差分演算装置１０００４は画素の画像データの値と平均値との差分を演算する。
【００７９】
遅延装置１０００５は画素の画像データを遅延させて出力する。隣接差分演算装置１０００６は、隣接した２つの画素同士の画像データの値の差分を演算する。予測演算装置１０００７は、注目画素の画像データの値と、隣接画素同士の画像データの値の差分値とを加算し、次の画素の画像データの予測値を算出する。予測差分演算装置１０００８は、画素の画像データの予測値と実際の画像データの値の差分を算出する。ビット幅判定装置１０００９は、上記３種類の差分のダイナミックレンジに基づいて、信号線へ出力する差分の送信ビット幅を決定する。差分選択装置１００１０は、画素毎に３種類の差分のうち最適な差分を選択する。
【００８０】
画像データ復元装置において、ヘッダ分離装置９１０１は、信号線から入力された受信データからヘッダ情報を分離する。処理情報判定装置９１０２は、差分に付加された、差分の種類を示す付加データ（後述する処理識別子）に基づいて処理対象データの種類を判定する。順序回路装置９１０３は、ヘッダ分離装置９１０１によって分離されたヘッダ情報からブロックサイズと送信ビット幅を認識し、処理情報判定装置９１０２によって判定された処理対象データの種類に基づいて、処理対象データの処理方法を決定する。なお、順序回路装置９１０３から、処理情報判定装置９１０２、平均値保存装置９１０４、画素差分値保存装置９１０５、および復元装置９１０６へ制御信号が出力されるが、図示が煩雑となるため、図９（ｂ）では制御信号の図示を省略している。
【００８１】
平均値保存装置９１０４は、信号線から入力された平均値を格納する。画素差分値保存装置９１０５は、信号線から入力された差分を格納する。復元装置９１０６は、順序回路装置９１０３によって決定された処理方法に従って、差分から画素の画像データを復元する処理を行う。ラインメモリ９１０７は復元後の画素の画像データを格納する。
【００８２】
次に、本実施形態における処理の流れについて説明する。なお、画像データ量削減装置に入力される画像データは、図示していないＣＣＤなどの撮像素子によって光から変換された電気信号がデジタル信号に変換されたものである。本実施形態では、画像データのビット幅が10ビット幅である場合を例に述べる。
【００８３】
撮像処理などの処理を行う前段の処理部から入力される画像データは、ラインメモリ１０００１に一旦格納される。ラインメモリ１０００１に16ライン分の画像データが格納されたら、各装置は以下の手順で処理を行う。
A.  ブロックサイズがblock08であるマトリクスブロック内の128個の画素について、差分演算装置９００１ａにおいて、以下の処理を行う。なお、画像データの各画素の値を、図１２に示すように水平画素番号xと垂直ライン番号yを用いてp(x,y)と表記することにする。
1.  平均化装置１０００３において、p(1,1)〜p(8,16)の128画素の画像データの平均値p_aveを算出する。
【００８４】
2.  平均差分演算装置１０００４において、p(1,1)とp_aveとの差分Δave(1,1)を算出する。この様子を図１３に示す。
【００８５】
3.  p(1,2)について、p_aveとの差分および上側に隣接する画素との差分を算出する。
3.1  平均差分演算装置１０００４において、p(1,2)とp_aveとの差分(Δave(1,2))を算出する。
3.2  隣接差分演算装置１０００６において、p(1,2)とp(1,1)との差分(Δ(1,2))を算出する。
【００８６】
4.  p(1,n) [n=3〜16]について、平均値との差分、上側に隣接する画素との差分、予測した画像データの値との差分を算出する。  
4.1  平均差分演算装置１０００４において、p(1,n)とp_aveとの差分(Δave(1,n))を算出する。
4.2  隣接差分演算装置１０００６において、p(1,n)とp(1,n-1)との差分(Δ(1,n))を算出する。
4.3  予測演算装置１０００７において、p(1,n-1)+Δ(1,n-1)  (=p(1,n)予測値)を算出し、予測差分演算装置１０００８において、p(1,n)予測値とp(1,n)との差分(Δex(1,n))を算出する。
【００８７】
5.  p(2,n) [n=3〜16]について、平均値との差分、左側に隣接する画素との差分を算出する。  
5.1  平均差分演算装置１０００４において、p(2,n)とp_aveとの差分(Δave(2,n))を算出する。
5.2  隣接差分演算装置１０００６において、p(2,n)とp(1,n)との差分(Δ(2,n))を算出する。
【００８８】
6.  p(m,n) [m=3〜8 , n=1〜16]について、平均値との差分、左側に隣接する画素との差分、予測した画像データの値との差分を算出する。
6.1  平均差分演算装置１０００４において、p(m,n)とp_aveとの差分(Δave(m,n))を算出する。
6.2  隣接差分演算装置１０００６において、p(m,n)とp(m,n-1)との差分(Δ(m,n))を算出する。
6.3  予測演算装置１０００７において、p(m,n-1)+Δ(m,n-1)  (=p(m,n)予測値)を算出し、予測差分演算装置１０００８において、p(m,n)予測値とp(m,n)との差分(Δex(m,n))を算出する。
【００８９】
7.  個々の画素について、差分選択装置１００１０において、それぞれ算出結果の選択を行う。
7.1  「3.」の処理の結果、Δave(1,2)とΔ(1,2)のうち、値が小さい方をΔch(1,2)として選択する。
7.2  「4.」の処理の結果、Δave(1,n)、Δ(1,n)、Δex(1,n)のうち、値が最小のものをΔch(1,n)として選択する。
7.3  「5.」の処理の結果、Δave(2,n)とΔ(2,n)のうち、値が最小のものをΔch(2,n)として選択する。
7.4  「6.」の処理の結果、Δave(m,n)、Δ(m,n)、Δex(m,n)のうち、値が最小のものをΔch(m,n)として選択する。
【００９０】
8.  マトリクスブロック内の画素について、ビット幅判定装置１０００９において、算出結果の比較を行う。
8.1  「7.」の処理の結果、Δch(2,1)とΔch(1,2)のうち、値が大きい方を抽出し、その値を表現するのに必要な最小ビット数(length2)を決定する。このlength2は、p(2,1)とp(1,2)に関する差分の送信ビット幅となる。
8.2  「7.」の処理の結果、Δch(m,1)[m=3〜8]、Δch(m,2)[m=2〜8]および Δch(m,n) [m=1〜16,n=3〜16]のうち、最も値が大きいものを抽出し、その値を表現するのに必要な最小ビット数(length3)を決定する。このlength3は、p(m,1)[m=3〜8]、p(m,2)[m=2〜8]、およびp(m,n) [m=1〜16,n=3〜16]に関する差分の送信ビット幅となる。なお、上記の差分の最大値と各差分の値のばらつきの大きさとから適切な送信ビット幅を決定するようにしてもよい。
8.3  「8.2」のlength3から1を減じたビット数の最大値(2の(length3−1)乗)よりも大きな値となるΔch(m,1)[ m=3〜8]、Δch(m,2)[ m=2〜8]および Δch(m,n) [m=1〜16 , n=3〜16]の個数(ovf3)を抽出する。
【００９１】
差分選択装置１００１０で選択された差分、ビット幅判定装置１０００９で決定されたlength2、length3、ovf3、およびその他のデータ（平均値p_ave 、p(1,1)の画素値）が後段の選択装置９００２へ出力される。
【００９２】
B.  差分演算装置９００１ｂにおいて、「A.」と同様の処理を、ブロックサイズがblock16であるマトリクスブロック内の256個の画素について行う。
C.  差分演算装置９００１ｃにおいて、「A.」と同様の処理を、ブロックサイズがblock24であるマトリクスブロック内の384個の画素について行う。
D.  差分演算装置９００１ｄにおいて、「A.」と同様の処理を、ブロックサイズがblock32であるマトリクスブロック内の512個の画素について行う。
【００９３】
E.  選択装置９００２において、「A.」〜「E.」の処理の結果からブロックサイズを決定する。
1.  各ブロックサイズについて、以下の判定によりlengthxx(xx=08,16,24,32)を決定する。
1.1  ブロックサイズがblock08であるマトリクスブロックにおいて、ovf3が13個未満ならばlength08はlength3−1、ovf3が13個以上ならばlength08はlength3となる。
1.2  ブロックサイズがblock16であるマトリクスブロックにおいて、ovf3が26個未満ならばlength16はlength3−1、ovf3が26個以上ならばlength16 はlength3となる。
1.3  ブロックサイズがblock24であるマトリクスブロックにおいて、ovf3が39個未満ならばlength24はlength3−1、ovf3が39個以上ならばlength24 はlength3である。
1.4  ブロックサイズがblock32であるマトリクスブロックにおいて、ovf3が52個未満ならばlength32はlength3−1、ovf3が52個以上ならばlength32 はlength3である。
【００９４】
2.  最適なブロックを選ぶ。以下の2.1〜2.3を2.1、2.2、2.3の順に行い、2.1の条件を満たさなければ2.2に処理が移行し、さらに2.2の条件を満たさなければ2.3に処理が移行する。
2.1  length08＋1 < length16 ならば、選択ブロックサイズはblock08となる。
2.2  「2.1」の条件を満たさず、かつlength16＋1 < length24 ならば、選択ブロックサイズはblock16となる。
2.3  「2.2」の条件を満たさず、かつlength24＋1 < length32 ならば、選択ブロックサイズは、block24となる。
2.4  「2.3」の条件を満たさないならば、選択ブロックサイズはblock32となる。
【００９５】
F.   情報多重装置９００３において、処理情報を多重し、送信データを信号線へ出力する。図１４は送信データのフォーマットを示している。本実施形態では、送信信号バス幅を8ビットとし、タイムスロットを先頭からts1、ts2・・・と表現する。
【００９６】
1.  以下の情報をヘッダ情報としてタイムスロットts1で送信する。
1.1  「E.」で決定したブロックサイズの識別子(bk_id(2bit))
1.2  選択したマトリクスブロックのlength2識別子(len2_ind(2bit))
1.3  選択したマトリクスブロックのlength3識別子(len3_ind(3bit))
【００９７】
ヘッダ情報に含まれる情報の具体例を示す。ブロックサイズの識別子は以下の通りである。
bk_id：block08=’00’、block16=’00’、block24=’00’、block32=’00’
length2識別子は以下の通りである。なお、length2が7bit以下の場合、データ長は7bitとする。
len2_ind：10bit=’00’、9bit=’01’、8bit=’10’、7bit以下=’11’ 
length3識別子は以下の通りである。なお、length3が3bit以下の場合、データ長は3bitとする。また、length3が6bit以上の場合、データ長は6bitとし、7bit以上のデータには、後述する拡張送信を用いる。
len3_ind：6bit以上=’00’、5bit=’01’、4bit=’10’、3bit以下=’11’ 
【００９８】
2.  タイムスロットts2からMSB（Most Significant Bit）をbit7としてデータを送信する。
2.1  p_ave(10bit)を送信する。送信信号バス幅が8ビットであるため、p_aveを分割して連続タイムスロットで送信する。
2.2  p(1,1)の画素値(10bit)を送信する。送信信号バス幅が8ビットであるため、p(1,1)の画素値を分割して連続タイムスロットで送信する。
【００９９】
以降は、画素毎にΔ(m,n), Δave(m,n), Δex(m,n)のうち、最も値が小さいものを選択し、送信する。同一タイムスロット内で１つの差分を送信できない場合には、図１４に示すように、差分を分割して連続タイムスロットで送信する。
2.3  p(2,1)の処理識別子cond(2,1)(2bit)と差分(2,1)(length2 bit)を送信する。処理識別子cond(2,1)は以下の通りである。なお、差分(2,1)のビット幅が送信ビット幅(length2)を超える値の場合は、差分(2,1)を10bitで送信する（拡張送信）。
bit1：      拡張送信(10bit送信)=’1’、縮小送信(length2送信)=’0’
bit0：      差分送信_Δave(2,1) =’1’、差分送信_Δ(2,1)=’0’
【０１００】
2.4  p(m,1) [m=3〜max]の処理識別子cond(m,1)(2bit)と差分(m,1)(length3)を送信する。処理識別子cond(m,1)は以下の通りである。なお、差分(m,1)のビット幅が送信ビット幅(length3)を超える値の場合は、差分(m,1)を10bitで送信する（拡張送信）。拡張送信により差分(m,1)を送信する場合、拡張送信を示す識別子’11’に続いて、差分の種類を示す識別子（’10’、’01’、’00’のいずれか）が送信される。
拡張送信(10bit送信)=’11’、差分送信_Δex(m,1)=’10’
差分送信_Δave(m,1) =’01’、差分送信_Δ(m,1)=’00’
【０１０１】
2.5  p(1,2)の処理識別子cond(1,2)(2bit)と差分(1,2)(length2)を送信する。処理識別子cond(1,2)は以下の通りである。なお、差分(1,2)のビット幅が送信ビット幅(length2)を超える値の場合は、差分(1,2)を10bitで送信する（拡張送信）。
bit1：      拡張送信(10bit送信)=’1’、縮小送信(length2送信)=’0’
bit0：      差分送信_Δave(1,2) =’1’、差分送信_Δ(1,2)=’0’
【０１０２】
2.6  p(m,n) [m=2〜max,n=2〜max]の処理識別子cond(m,n)(2bit)と差分(m,n)(length3)を送信する。処理識別子cond(m,n)は以下の通りである。なお、差分(m,n)のビット幅が送信ビット幅(length3)を超える値の場合は、差分(m,n)を10bitで送信する（拡張送信）。拡張送信により差分(m,1)を送信する場合、拡張送信を示す識別子’11’に続いて、差分の種類を示す識別子（’10’、’01’、’00’のいずれか）が送信される。
拡張送信(10bit送信)=’11’、差分送信_Δex(m,n)=’10’
差分送信_Δave(m,n) =’01’、差分送信_Δ(m,n)=’00’
【０１０３】
マトリクスブロック内の全ての画素の画像データの送信が終了したら、次のマトリクスブロックについてブロックサイズが決定され、画素の画像データが送信される。つまり、16ラインの全ての画素の画像データの処理が終了したら、次の16ラインの画像データが同様に処理される。
【０１０４】
G.  受信側動作
画像データ復元装置は、以下の手順でマトリクスブロック内の画素の画像データを復元する。
1.  ヘッダ分離装置９１０１において、タイムスロットts1の受信データから、ヘッダ情報を分離する。順序回路装置９１０３において、ヘッダ情報からブロックサイズ、送信ビット幅を認識する。
【０１０５】
2.  平均値保存装置９１０４において、タイムスロットts2の受信データ(bit7〜bit0)、タイムスロットts3の受信データ(bit7〜bit6)から、平均値を抽出し保持する。
【０１０６】
3.  画素差分値保存装置９１０５において、タイムスロットts3の受信データ(bit5〜bit0)、タイムスロットts4の受信データ(bit7〜bit4)から、p(1,1)の画素値を抽出し保持する。
【０１０７】
4.  以降、処理識別子(2bit)に基づいて差分を順次処理し、マトリクスブロック内の画素の画像データを復元する。
4.1  処理情報判定装置９１０２において、受信データから2bitの処理識別子を抽出する。順序回路装置９１０３において、処理識別子から画素毎に処理手順を決定する。
【０１０８】
処理識別子が’00’であった場合、処理識別子に続くデータはΔ(m,n)である。したがって、処理対象画素の隣接画素(m=1のときは上画素、m>1のときは左画素の復元値)の値にΔ(m,n)を加算することにより処理対象画素の画像データを復元すればよいことが分かる。また、処理対象識別子が’01’であった場合、処理識別子に続くデータはΔave(m,n)である。したがって、平均値にΔave(m,n)を加算することにより処理対象画素の画像データを復元すればよいことが分かる。また、処理対象識別子が’10’であった場合、処理識別子に続くデータはΔex(m,n)である。したがって、処理対象画素の２つ隣りの画素と１つ隣りの画素との差分と、１つ隣りの画素の値と、Δex(m,n)とから処理対象画素の画像データを復元すればよいことが分かる。
【０１０９】
4.2  復元装置９１０６において、順序回路装置９１０３によって決定された処理手順に従って、マトリクスブロック内の画素の画像データを復元し、ラインメモリ９１０７に格納する。
【０１１０】
このように、画像データ量削減装置では、ラインメモリ１０００１に蓄積された画像データが所定の矩形サイズでブロック化され、マトリクスブロック内の着目画素の画像データについて、平均値との差分、隣接画素間の差分、および隣接画素から予測される画素値との差分の３つが算出され、最も値が小さい差分が選択される。選択された差分と、平均値と、最初の画素（基準画素）の画像データと、差分の種類やブロックサイズ、差分の送信ビット幅を示す付加データとが信号線へ出力される。また、画像データ復元装置では、画像データ量削減装置から送信されるデータについて、ブロックサイズと送信ビット幅が認識され、各画素の差分から元の画素のデータが復元される。
【０１１１】
上述したように、本実施形態によれば、マトリクスブロック内の画素同士の画像データの差分と、マトリクスブロック内の画素の画像データと平均値との差分と、マトリクスブロック内の画素の画像データと予測値との差分とのいずれかと、マトリクスブロック内の基準画素の画像データを分割したデータとが、素子間をまたいで通る信号線を伝送されるので、画像データを伝送する信号線を削減することができる。さらに、マトリクスブロック内の基準画素の画像データを分割したデータおよび差分からマトリクスブロック内の画素の画像データを復元することにより、データ量削減前と同等の情報量を有する画像データを復元することができる。
【０１１２】
また、差分のダイナミックレンジに基づいて、信号線へ出力する差分の送信ビット幅を決定することによって、入力画像データが持つビット幅よりも少ないビット幅で差分を送信することができる。
【０１１３】
また、ブロックサイズが異なる複数種類のマトリクスブロックを用意し、信号線へ出力するマトリクスブロックのブロックサイズを決定することによって、変化が大きな画像は小さなマトリクスブロックで、変化が少ない平坦な画像は大きなマトリクスブロックを単位として処理することが可能となり、画像の特性に応じて最適なデータ量削減を行うことができる。
【０１１４】
また、差分のビット幅が送信ビット幅を超えた場合に、選択した差分に対して元の画像データと同じビット幅を割り当てて時分割で信号線へ出力することによって、数個の突出した値を持つ差分に影響を受けずに適切な送信ビット幅を決定することができる。
【０１１５】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【０１１６】
【図１】本発明の第１の実施形態による画像処理装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態による画像処理装置が備える画像データ量削減装置および画像データ復元装置の構成を示すブロック図である。
【図３】本発明の第２の実施形態による画像処理装置が備える画像データ量削減装置および画像データ復元装置の構成を示すブロック図である。
【図４】本発明の第２の実施形態における復元用データを説明するための参考図である。
【図５】本発明の第２の実施形態による画像処理装置が備える画像データ量削減装置が出力するデータを示す参考図である。
【図６】本発明の第３の実施形態による画像処理装置が備える画像データ量削減装置および画像データ復元装置の構成を示すブロック図である。
【図７】本発明の第３の実施形態における復元用データを説明するための参考図である。
【図８】本発明の第３の実施形態による画像処理装置が備える画像データ量削減装置が出力するデータを示す参考図である。
【図９】本発明の第４の実施形態による画像処理装置が備える画像データ量削減装置および画像データ復元装置の構成を示すブロック図である。
【図１０】本発明の第４の実施形態による画像処理装置が備える画像データ量削減装置に設けられた差分演算装置の構成を示すブロック図である。
【図１１】本発明の第４の実施形態におけるマトリクスブロックのブロックサイズを示す参考図である。
【図１２】本発明の第４の実施形態におけるマトリクスブロックの画素の表記を示す参考図である。
【図１３】本発明の第４の実施形態における差分を示す参考図である。
【図１４】本発明の第４の実施形態における送信データのフォーマットを示す参考図である。
【符号の説明】
【０１１７】
１００１，１００２・・・素子、１００３，１００４，１００５，１００６，１００７・・・画像処理ブロック、１０１２，１０１３，１０１４，１０１５，１０１６，１０１７・・・信号線、１００８，１００９・・・画像データ量削減装置、１０１０，１０１１・・・画像データ復元装置
【図１】
2009076969.tif 000003
【図２】
2009076969.tif 000004
【図３】
2009076969.tif 000005
【図４】
2009076969.tif 000006
【図５】
2009076969.tif 000007
【図６】
2009076969.tif 000008
【図７】
2009076969.tif 000009
【図８】
2009076969.tif 000010
【図９】
2009076969.tif 000011
【図１０】
2009076969.tif 000012
【図１１】
2009076969.tif 000013
【図１２】
2009076969.tif 000014
【図１３】
2009076969.tif 000015
【図１４】
2009076969.tif 000016