(57)【要約】【課題】画像データの圧縮処理による送信遅延を軽減すること。【解決手段】符号化するために必要なライン数である符号化ライン数単位で画像データを符号化する画像符号化装置であって、符号化ライン数よりも少ないライン数分の画像データを、符号化ライン数で構成される符号化用画像データに変換する画像データ変換部と、変換された符号化用画像データを符号化する符号化部とを含むことを特徴とする。【選択図】図４
2016021600.tif 000002
【特許請求の範囲】
【請求項１】
符号化するために必要なライン数である符号化ライン数単位で画像データを符号化する画像符号化装置であって、
前記符号化ライン数よりも少ないライン数分の画像データを、前記符号化ライン数で構成される符号化用画像データに変換する画像データ変換部と、
変換された前記符号化用画像データを符号化する符号化部と
を含むことを特徴とする画像符号化装置。
【請求項２】
符号化された前記画像データを送信する際に用いられるネットワークの通信状況を示す通信状況情報に応じて、前記符号化用画像データに変換する画像データのライン数を決定するライン数決定部
を含み、
前記画像データ変換部は、決定された前記ライン数の画像データを、前記符号化用画像データに変換する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記通信状況情報は、前記ネットワークにおいて送信可能なデータ量を示し、
前記ライン数決定部は、前記送信可能なデータ量が多いほど、前記ライン数を少なくする
ことを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記画像データ変換部は、変換する前記画像データの各ラインを予め定められたピクセル数単位で分割し、分割されたピクセル数単位の画像データを、前記符号化ライン数となるように並べ替える
ことを特徴とする請求項１〜３のいずれか１項に記載の画像符号化装置。
【請求項５】
前記画像データは、撮像装置により撮像対象が撮像されることにより生成され、
前記画像データ変換部は、生成された前記画像データをリアルタイムに変換する
ことを特徴とする請求項１〜４のいずれか１項に記載の画像符号化装置。
【請求項６】
請求項１〜５のいずれか１項に記載の画像符号化装置を備える画像処理装置であって、
前記符号化された画像データを他の装置へ送信する画像データ送信部を
含むことを特徴とする画像処理装置。
【請求項７】
符号化するために必要なライン数である符号化ライン数単位で符号化された画像データを送受信する画像送受信システムであって、
前記符号化ライン数よりも少ないライン数分の画像データを、前記符号化ライン数で構成される符号化用画像データに変換する画像データ変換部と、
変換された前記符号化用画像データを符号化する符号化部と、
前記符号化された画像データである符号化データを送信する画像データ送信部と、
送信された前記符号化データを復号する復号部と、
復号された画像データを、変換前の前記画像データに復元する画像データ復元部と
を含むことを特徴とする画像送受信システム。
【請求項８】
符号化するために必要なライン数である符号化ライン数単位で画像データを符号化する画像符号化方法であって、
前記符号化ライン数よりも少ないライン数分の画像データを、前記符号化ライン数で構成される符号化用画像データに変換し、
変換された前記符号化用画像データを符号化する
ことを特徴とする画像符号化方法。
【請求項９】
符号化するために必要なライン数である符号化ライン数単位で画像データを符号化する画像符号化装置を制御する制御プログラムであって、
前記符号化ライン数よりも少ないライン数分の画像データを、前記符号化ライン数で構成される符号化用画像データに変換するステップと、
変換された前記符号化用画像データを符号化するステップと
を情報処理装置に実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、画像処理装置、画像送受信システム、画像符号化方法及び制御プログラムに関し、特に、符号化された画像データの送信遅延を考慮した画像データの符号化処理に関する。
【背景技術】
【０００２】
防犯カメラや車載カメラ等により撮影された動画像や静止画像（以降、総じて「画像」とする）のデータを、ネットワークを介して、画像受信装置に対して送信することが行われている。送信される画像のデータ量は、解像度、フレームレート及びビット深度等の画像の品質に比例して大きくなる。一方、画像データの送信に用いられるネットワークの帯域には制限があるので、送信される画像データの品質も制限される。
【０００３】
このようなネットワーク帯域の制限のもとで、より高品質な画像データを送信するために、例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）やＨ．２６４等のコーデックにより画像データを圧縮して送信することが知られている。
【０００４】
このような画像データの送信に際して、画像データを低遅延かつ効率よく伝送することを目的として、ラインベース・ウェーブレット変換されたプレシンクト単位の画像データを、周波数成分ごとに並べ替えてパケット化して送信することが提案されている（例えば、特許文献１を参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像の圧縮処理は、一定のデータ量単位で行われる。例えば、ＪＰＥＧによる圧縮処理の場合、少なくとも８ライン分の画像データが揃うまでバッファ等に蓄積され、蓄積された８ライン分の画像データ単位で圧縮処理が行われる。このように、予め定められたライン数単位で圧縮処理が行われる場合、必要なライン数分の画像データが揃うまで処理を待つので、圧縮された画像データを送信するまでに遅延が生じ、リアルタイム性が損なわれる問題がある。特許文献１に開示された技術においても、ラインベース・ウェーブレット変換に必要なライン数が揃うまで待つので、同様の問題が生じる。
【０００６】
本発明は、このような課題を解決するためになされたものであり、画像データの圧縮処理による送信遅延を軽減することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の一実施形態は、符号化するために必要なライン数である符号化ライン数単位で画像データを符号化する画像符号化装置であって、前記符号化ライン数よりも少ないライン数分の画像データを、前記符号化ライン数で構成される符号化用画像データに変換する画像データ変換部と、変換された前記符号化用画像データを符号化する符号化部とを含むことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像データの圧縮処理による送信遅延を軽減することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る画像送受信システムの運用形態の例を示す図である。
【図２】本発明の実施形態に係るネットワークカメラのハードウェア構成を例示するブロック図である。
【図３】本発明の実施形態に係るネットワークカメラと比較のために従来のネットワークカメラの機能構成を例示するブロック図である。
【図４】本発明の実施形態に係るネットワークカメラの機能構成を例示するブロック図である。
【図５】本発明の実施形態に係る画像受信装置の機能構成を例示するブロック図である。
【図６】本発明の実施形態に係る画像データの並べ替え処理との比較のために従来のネットワークカメラにおける符号化に関する画像データの態様を例示する図である。
【図７】本発明の実施形態に係るネットワークカメラにおける符号化に関する画像データの態様を例示する図である。
【図８】本発明の実施形態に係る符号化処理における時系列に沿った処理の流れを例示する図である。
【図９】本発明の実施形態に係るネットワークカメラにおける符号化に関する２ライン分の画像データの態様を例示する図である。
【図１０】本発明の実施形態に係るネットワークカメラにおける符号化に関する４ライン分の画像データの態様を例示する図である。
【図１１】本発明の実施形態に係るネットワークカメラにおいて符号化の際に使用する画像データのライン数ごとの画像データの圧縮率とデータサイズとの関係を例示するグラフである。
【図１２】本発明の第２の実施形態に係るネットワークカメラの機能構成を例示する図である。
【図１３】本発明の第２の実施形態に係る制御情報を例示する図である。
【図１４】本発明の第２の実施形態に係るパケットの構成を例示するブロック図である。
【図１５】本発明の第２の実施形態に係る画像受信装置の機能構成を例示するブロック図である。
【図１６】本発明の第２の実施形態に係る並べ替え情報を例示する図である。
【図１７】本発明の実施形態に係るネットワークカメラの各構成部の動作を例示するフローチャートである。
【図１８】本発明の実施形態に係るネットワークカメラの各構成部の動作を例示するフローチャートである。
【発明を実施するための形態】
【００１０】
実施形態１．
以下、図面を参照して、本発明の第１の実施形態を詳細に説明する。本実施形態においては、画像データの符号化や画像データの送信等の画像データに対する処理を行う画像処理装置の例をネットワークカメラとし、画像処理装置と画像処理装置からネットワークを介して送信された画像データを受信する画像受信装置とを含む画像送受信システムを例として説明する。
【００１１】
図１は、画像送受信システムの運用形態の例を示す図である。図１に示すように、本実施形態に係る画像送受信システムは、ネットワークカメラ１及び画像受信装置２が、インターネットやＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等のネットワークを介して接続されて構成されている。
【００１２】
ネットワークカメラ１は、例えば、防犯カメラや車載カメラであり、撮像対象を撮像して動画像や静止画像（以降、総じて「画像」とする）のデータを生成し、画像受信装置２に対して送信する。画像受信装置２は、ネットワークカメラ１から送信された画像データを受信し、例えば、受信した画像データを表示したり、画像認識処理を行ったりする。
【００１３】
次に、本実施形態に係る画像送受信システムに含まれるネットワークカメラ１を構成するハードウェアについて説明する。図２は、本実施形態に係るネットワークカメラ１のハードウェア構成を例示するブロック図である。
【００１４】
図２に示すように、本実施形態に係るネットワークカメラ１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０、専用エンジン４０及びＩ／Ｆ５０がバス８０を介して接続されて構成されている。また、Ｉ／Ｆ５０には操作部６０及びネットワーク７０が接続されている。
【００１５】
ＣＰＵ１０は演算手段であり、ネットワークカメラ１全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、各種の制御プログラム、ファームウェア等のプログラムが格納されている。
【００１６】
専用エンジン４０は、ネットワークカメラ１において専用の機能を実現するためのハードウェアであり、例えば、ラインごとに取得した画像データの画素を並べ替えるための演算を行う演算装置である。このような演算装置は、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）として構成される。
【００１７】
Ｉ／Ｆ５０は、バス８０と各種のハードウェアやネットワーク等を接続し制御する。操作部６０は、各種のハードボタン、タッチパネル等、ユーザがネットワークカメラ１に情報を入力するためのユーザインタフェースである。ネットワーク７０は、他の機器とネットワーク通信を行うためのインタフェースである。
【００１８】
このようなハードウェア構成において、ＲＯＭ３０に格納されたプログラムや、ＲＡＭ２０に読み出されたプログラムに従ってＣＰＵ１０が演算を行うことによりソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る画像送受信システムに含まれるネットワークカメラ１の機能を実現する機能ブロックが構成される。
【００１９】
なお、画像受信装置２のハードウェア構成は、一般的なＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やサーバ等の情報処理装置と同様の構成を有し、図２に示したハードウェア構成にＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）が追加され、Ｉ／Ｆ５０にＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）が接続される構成をとる。
【００２０】
次に、本実施形態に係るネットワークカメラ１の機能構成を説明するにあたり、比較のために従来のネットワークカメラの機能構成を説明する。図３は、従来のネットワークカメラの機能のうち画像データの符号化処理及び送信処理の実行に関連する機能構成を例示するブロック図である。なお、本実施形態における「符号化処理」は、圧縮を伴う符号化であり、「符号化（処理）」及び「圧縮（処理）」は同等の意味であるものとする。
【００２１】
図３に示すように、従来のネットワークカメラは、カメラ１０１、画像データ取得部１０２、ラインバッファ１０３−１〜１０３−８、符号化部１０４、パケット生成部１０５及びネットワークＩ／Ｆ１０６を含む。
【００２２】
カメラ１０１は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子により撮影した画像をデジタルデータとして出力する撮像装置である。
【００２３】
画像データ取得部１０２は、カメラ１０１により撮像対象が撮像されることにより生成される画像をデジタルデータとして取得し、取得した画像データを１ラインごとにラインバッファ１０３−１〜１０３−８（以降、「ラインバッファ１〜８」とする）へ出力する。
【００２４】
ラインバッファ１〜８は、画像データ取得部１０２から出力された１ライン分の画像データ（以降、「ラインデータ」とする）を格納する記憶媒体である。ラインバッファ１〜８は、後述する符号化部１０４が画像データを符号化するために必要なライン数分設けられる。符号化部１０４は符号化するために必要なライン数である符号化ライン数単位（例えば、８ライン単位）で画像データを符号化するので、８つのラインバッファ１〜８が設けられている。
【００２５】
符号化部１０４は、ラインバッファ１〜８それぞれに格納されているラインデータを取得して、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）により８ライン単位で画像データを符号化する。また、符号化部１０４は、符号化された画像データをパケット生成部１０５に対して出力する。
【００２６】
具体的には、符号化部１０４は、まず、取得した８ライン分の画像データを、例えば８ライン×８ピクセルのブロックに分割し、分割したブロック単位で、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）を用いて空間領域から周波数領域に変換する。そして、符号化部１０４は、変換したデータを量子化し、エントロピー符号化により符号化する。
【００２７】
パケット生成部１０５は、符号化部１０４から出力された符号化された画像データ（以降、「符号化データ」とする）をパケット化して、ネットワークを介して送信可能なデータ形式にする。また、パケット生成部１０５は、パケット化したデータ（以降、「パケットデータ」とする）を、ネットワークＩ／Ｆ１０６を介して画像受信装置２等の他の装置に対して送信する画像データ送信部として機能する。
【００２８】
ネットワークＩ／Ｆ１０６は、ネットワークカメラ１がネットワークを介して画像受信装置２等の他の機器と通信するためのインタフェースであり、Ｅｔｈｅｒｎｅｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）等のインタフェースが用いられる。
【００２９】
すなわち、画像データ取得部１０２は、まず、１ライン目から８ライン目までのラインデータをそれぞれ８つのラインバッファ１〜８に対して出力する。そして、符号化部１０４は、８つのラインバッファ１〜８にラインデータが格納されると、これらのラインデータを符号化する。１ライン目から８ライン目までのラインデータの符号化が完了すると、画像データ取得部１０２は、次に、９ライン目から１６ライン目までのラインデータをそれぞれ８つのラインバッファ１〜８に対して出力する。このように画像データのすべてのラインデータを符号化するまで上述の処理が繰り返される。
【００３０】
このように、従来のネットワークカメラにおいては、符号化に必要なライン数分の画像データをラインごとに一旦格納するために、符号化に必要なライン数分のラインバッファを設ける必要があるので、回路規模が大きくなる。また、これらのラインバッファすべてにラインデータが揃うまで、符号化処理を行うことができないので、符号化データを送信するまでに遅延が生じる。
【００３１】
本実施形態の要旨は、このような符号化データの送信遅延を軽減させるような符号化処理を行うことにある。以下、本実施形態に係る構成として、本実施形態に係るネットワークカメラ１の機能のうち画像データの符号化処理及び送信処理に関連する機能構成を説明する。図４は、本実施形態に係るネットワーク１の機能のうち画像データの符号化処理及び送信処理に関連する機能構成を例示するブロック図である。
【００３２】
図４に示すように、本実施形態に係るネットワークカメラ１は、図３に示した構成における８つのラインバッファ１〜８が１つのラインバッファ１０３に置き換えられるとともに、並べ替え処理部１０７が追加された構成をとる。
【００３３】
カメラ１０１は、図３を示して説明したカメラ１０１と同様である。画像データ取得部１０２は、図３を示して説明したように、カメラ１０１により撮像されて生成される画像をデジタルデータとして取得し、取得した画像データの１ライン分の画像データをラインバッファ１０３に対して出力する。
【００３４】
並べ替え処理部１０７は、ラインバッファ１０３に格納された１ライン分の画像データを、符号化するために必要なライン数である符号化ライン数（例えば８ライン）で構成される画像データ（以降、「符号化用画像データ」とする）になるよう並べ替えて、符号化部１０４に対して出力する。並べ替え処理部１０７の並べ替え処理が本実施形態に係る要旨の１つであり、詳細は後述する。
【００３５】
符号化部１０４は、並べ替え処理部１０７から出力された符号化用画像データを符号化する。すなわち、本実施形態に係る符号化部１０４は、１ラインごとに画像データを符号化することになる。このような並べ替え処理部１０７及び符号化部１０４を含む画像符号化装置としての機能が本実施形態の特徴の１つである。
【００３６】
パケット生成部１０５及びネットワークＩ／Ｆ１０６は、図３を示して説明した動作と同様に動作する。
【００３７】
すなわち、画像データ取得部１０２は、まず、１ライン目のラインデータをラインバッファ１０３に対して出力する。ラインバッファ１０３に格納されたラインデータは、並べ替え処理部１０７により符号化用画像データになるよう並べ替えられて符号化部１０４により符号化される。１ライン目の画像データの符号化が完了すると、画像データ取得部１０２は、次に、２ライン目のラインデータをラインバッファ１０３に対して出力する。このように画像データのすべてのラインデータを符号化するまで上述の処理が繰り返される。
【００３８】
次に、本実施形態に係る画像受信装置２の機能構成を説明する。図５は、本実施形態に係る画像受信装置２の機能のうちネットワークカメラ１から送信された符号化データから画像データを復元する処理に関連する機能構成を例示するブロック図である。図５に示すように、本実施形態に係る画像受信装置２は、ネットワークＩ／Ｆ２０１、パケット解析部２０２、復号部２０３及び並べ替え処理部２０４を含む。
【００３９】
ネットワークＩ／Ｆ２０１は、画像受信装置２がネットワークを介してネットワークカメラ１等の他の装置と通信するためのインタフェースであり、Ｅｔｈｅｒｎｅｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ等のインタフェースが用いられる。
【００４０】
パケット解析部２０２は、ネットワークＩ／Ｆ２０１を介して、ネットワークカメラ１から送信されたパケットデータを取得し、パケットデータから符号化データを取得して、復号部２０３に対して出力する。
【００４１】
復号部２０３は、パケット解析部２０２から出力された符号化データを復号する。これにより符号化データは、並べ替え処理部１０７により並べ替えられた８ラインで構成される画像データに復元される。復号部２０３は、復元された画像データを並べ替え処理部２０４に対して出力する。
【００４２】
並べ替え処理部２０４は、復号部２０３から出力された８ラインで構成される画像データを１ライン分の画像データになるように並べ替える。具体的には、並べ替え処理部２０４は、８ラインで構成される画像データを、並べ替え処理部１０７により並べ替えられた手順と逆の手順で１ライン分の画像データに戻す。すなわち、並べ替え処理部２０４は、復号部２０３により復号された画像データを、並べ替え処理部１０７による変換前の画像データに復元する画像データ復元部として機能する。並べ替え処理部２０４により元に戻された１ライン分の画像データは、例えば、最終的に画像受信装置２のＬＣＤ６０等の表示部に表示させるために用いられる。
【００４３】
次に、本実施形態に係る並べ替え処理部１０７による画像データの並べ替えの態様を説明する。図６は、本実施形態に係る画像データの並べ替え処理との比較のために、図３に示した従来のネットワークカメラにおける符号化に関する画像データの態様を例示する図である。図７は、本実施形態に係るネットワークカメラ１における符号化に関する画像データの態様を例示する図である。
【００４４】
図３に示した従来のネットワークカメラにおいては、８つのラインバッファ１〜８それぞれに格納されている１ライン分の画像データを合わせて、図６（ａ）に示すような８ライン分の画像データが符号化部１０４により符号化される画像データとして用いられる。図６（ａ）に示すように、符号化部１０４は、８ライン分の画像データを８ライン×８ピクセルのブロックに分割し、分割されたブロックごとに符号化することにより、図６（ｂ）に示すような符号化データを出力する。
【００４５】
一方、図４に示した本実施形態に係るネットワークカメラ１においては、図７（ａ）に示すように、１つのラインバッファ１０３に１ライン分の画像データが格納される。なお、図７（ａ）に示した画像データにおいては、各ピクセルを８ピクセルごとに異なるパターンでハッチングしているが、これは以下に説明する並べ替え処理を分かりやすくするために便宜上なされたものであり、同じハッチングパターンのピクセルが同じ画素値である等を意味するものではない。
【００４６】
並べ替え処理部１０７は、例えば、図７（ａ）に示した１ライン分の画像データを８ピクセルごとに分割して、図７（ｂ）に示すように、分割した１ライン×８ピクセルの画像データを並べ替えて符号化用画像データに変換する。図７（ｂ）に示した並べ替え後の画像データの各ピクセルのハッチングパターンは、図７（ａ）に示した画像データの８ピクセルごとのハッチングパターンと対応する。
【００４７】
すなわち、例えば、図７（ａ）に示した画像データの右上がり斜線でハッチングされた１ピクセル目から８ピクセル目までの画像データは、図７（ｂ）に示した画像データの１ライン目の先頭の８ピクセルの位置に並べられる。また、例えば、図７（ａ）に示した画像データの最も密度の低いドットでハッチングされた９ピクセル目から１６ピクセル目までの画像データは、図７（ｂ）に示した画像データの２ライン目の先頭の８ピクセルの位置に並べられる。
【００４８】
このように、並べ替え処理部１０７は、分割された８ピクセルの画像データを一つの単位として８ライン目まで並べたら、次の８ピクセルの画像データを１ライン目の９ピクセル目から１６ピクセル目までの位置に並べる。並べ替え処理部１０７は、このような手順により、図７（ａ）に示した１ライン分の画像データを、リアルタイムに図７（ｂ）に示した８ラインで構成される画像データに並べ替える。図７（ｂ）に示した８ラインで構成される画像データが符号化部１０４により符号化される符号化用画像データとして用いられる。
【００４９】
すなわち、並べ替え処理部１０７は、ラインバッファ１０３に格納されている画像データを予め定められたピクセル数単位で分割し、分割されたピクセル数単位の画像データを、符号化用画像データに変換する画像データ変換部として機能する。
【００５０】
符号化部１０４は、図７（ｂ）に示すように、８ライン分の画像データを８ライン×８ピクセルのブロックに分割し、分割されたブロックごとに符号化することにより、図７（ｃ）に示すような符号化データを出力する。
【００５１】
図８は、従来の符号化処理及び本実施形態に係る符号化処理における時系列に沿った処理の流れを例示する図である。図８（ａ）に示すように、従来の符号化処理においては、符号化部１０４は、８ライン分の画像データが揃ってから初めて、８ライン分の画像データの符号化処理を行い、符号化データを送信する。
【００５２】
一方、図８（ｂ）に示すように、本実施形態に係る符号化処理においては、符号化部１０４は、１ライン分の画像データが取得されるごとに並べ替え処理部１０７により並べ替えられた画像データの符号化処理を行い、符号化データを送信する。また、符号化データの送信と並列して、次の１ライン分の画像データが取得されて並べ替え処理部１０７により並べ替えられている。
【００５３】
そのため、図８（ｂ）に示した場合においては、最初の符号化データの送信タイミングが、図８（ａ）に示した場合に比べて速くなる。また、図８（ｂ）に示した場合においては１ライン分の画像データごとに随時符号化されて符号化データが送信されるので、８ライン分の画像データの符号化データの送信完了のタイミングも、図８（ａ）に示した場合に比べて速くなる。すなわち、例えば、図８に示すように符号化データの送信遅延時間が短縮される。
【００５４】
図１７は、図４に示したネットワークカメラ１の各構成部の動作を例示するフローチャートである。なお、図１７に示したフローチャートは、画像符号化方法を実現する動作の一例である。図１７に示すように、画像データ取得部１０２は、１ライン分の画像データを取得する（Ｓ１７０１）。１ライン分の画像データを取得した画像データ取得部１０２は、取得した１ライン分の画像データをラインバッファ１０３に対して出力する（Ｓ１７０２）。
【００５５】
並べ替え処理部１０７は、ラインバッファ１０３に格納された１ライン分の画像データを符号化ライン数（例えば、８ライン）で構成される符号化用画像データに変換する（Ｓ１７０３）。並べ替え処理部１０７により１ライン分の画像データが符号化用画像データに変換されると、符号化部１０４は、変換された符号化用画像データを符号化する（Ｓ１７０４）。
【００５６】
符号化部１０４により符号化用画像データが符号化されると、パケット生成部１０５は、符号化データをパケット化して、ネットワークＩ／Ｆ１０６を介して送信する（Ｓ１７０５）。図１７に示した処理は、すべてのラインデータに対して行われるまで繰り返される。
【００５７】
以上説明したように、本実施形態に係るネットワークカメラ１は、１ライン分の画像データがラインバッファ１０３に格納されるたびに、１ライン分の画像データを８ラインで構成される符号化用画像データに変換し、変換された符号化用画像データを符号化して、画像受信装置２に対して送信する。これにより、図８を示して説明したように、画像データの圧縮処理による送信遅延を軽減することが可能になる。
【００５８】
なお、上記実施形態においては、１ライン分の画像データがラインバッファ１０３に格納されるたびに、符号化用画像データに変換して符号化する場合を例として説明した。しかしながら、符号化用画像データに変換する画像データのライン数は、１ラインとは限らず、２ラインや４ライン等、符号化ライン数よりも少なければよい。
【００５９】
図９は、符号化に関する２ライン分の画像データの態様を例示する図である。この場合、ネットワークカメラ１には、２つのラインバッファ１、２が設けられ、ラインバッファ１、２それぞれに格納されている１ライン分の画像データを合わせて、図９（ａ）に示すような２ライン分の画像データが符号化部１０４により符号化される画像データとして用いられる。なお、図９（ａ）に示した画像データにおいては、各ラインデータにおいて８ピクセルごとに異なるパターンでハッチングしているが、これは以下に説明する並べ替え処理を分かりやすくするために便宜上なされたものであり、同じハッチングパターンのピクセルが同じ画素値である等を意味するものではない。
【００６０】
並べ替え処理部１０７は、例えば、図９（ａ）に示した２ライン分の画像データそれぞれを８ピクセルごとに分割して、図９（ｂ）に示すように、分割された２ライン×８ピクセルの画像データを一組として並べ替えて符号化用画像データに変換する。図９（ｂ）に示した並べ替え後の画像データの各ピクセルのハッチングパターンは、図９（ａ）に示した画像データの８ピクセルごとのハッチングパターンと対応する。
【００６１】
すなわち、例えば、図９（ａ）に示した画像データの右上がり斜線でハッチングされた１ライン目及び２ライン目それぞれの１ピクセル目から８ピクセル目までの画像データは、図９（ｂ）に示した符号化用画像データの１ライン目及び２ライン目の先頭の８ピクセルの位置に並べられる。
【００６２】
また、例えば、図９（ａ）に示した画像データの最も密度の低いドットでハッチングされた１ライン目及び２ライン目それぞれの９ピクセル目から１６ピクセル目までの画像データは、図９（ｂ）に示した符号化用画像データの３ライン目及び４ライン目の先頭の８ピクセルの位置に並べられる。
【００６３】
このように、並べ替え処理部１０７は、分割された２ライン×８ピクセルの画像データを一つの単位として符号化用画像データの８ライン目までの位置に並べたら、次の２ライン×８ピクセルの画像データを、符号化用画像データの１ライン目及び２ライン目の９ピクセル目から１６ピクセル目までの位置に並べる。並べ替え処理部１０７は、このような手順により、図９（ａ）に示した２ライン分の画像データを、図９（ｂ）に示した８ラインで構成される符号化用画像データに並べ替える。
【００６４】
図１０は、符号化に関する４ライン分の画像データの態様を例示する図である。この場合、ネットワークカメラ１には、４つのラインバッファ１〜４が設けられ、ラインバッファ１〜４それぞれに格納されている１ライン分の画像データを合わせて、図１０（ａ）に示すような４ライン分の画像データが符号化部１０４により符号化される画像データとして用いられる。なお、図１０（ａ）に示した画像データにおいては、各ラインデータにおいて８ピクセルごとに異なるパターンでハッチングしているが、これは以下に説明する並べ替え処理を分かりやすくするために便宜上なされたものであり、同じハッチングパターンのピクセルが同じ画素値である等を意味するものではない。
【００６５】
並べ替え処理部１０７は、例えば、図１０（ａ）に示した４ライン分の画像データそれぞれを８ピクセルごとに分割して、図１０（ｂ）に示すように、分割された４ライン×８ピクセルの画像データを一組として並べ替えて符号化用画像データに変換する。図１０（ｂ）に示した並べ替え後の画像データの各ピクセルのハッチングパターンは、図１０（ａ）に示した画像データの８ピクセルごとのハッチングパターンと対応する。
【００６６】
すなわち、例えば、図１０（ａ）に示した画像データの右上がり斜線でハッチングされた１ライン目から４ライン目それぞれの１ピクセル目から８ピクセル目までの画像データは、図１０（ｂ）に示した符号化用画像データの１ライン目から４ライン目の先頭の８ピクセルの位置に並べられる。
【００６７】
また、例えば、図１０（ａ）に示した画像データの最も密度の低いドットでハッチングされた１ライン目から４ライン目それぞれの９ピクセル目から１６ピクセル目までの画像データは、図１０（ｂ）に示した符号化用画像データの５ライン目から８ライン目の先頭の８ピクセルの位置に並べられる。
【００６８】
このように、並べ替え処理部１０７は、分割された４ライン×８ピクセルの画像データを一つの単位として符号化用画像データの８ライン目までの位置に並べたら、次の４ライン×８ピクセルの画像データを、符号化用画像データの１ライン目から４ライン目それぞれの９ピクセル目から１６ピクセル目までの位置に並べる。並べ替え処理部１０７は、このような手順により、図１０（ａ）に示した４ライン分の画像データを、図１０（ｂ）に示した８ラインで構成される符号化用画像データに並べ替える。
【００６９】
図１１は、本実施形態に係るネットワークカメラ１において符号化の際に使用する画像データのライン数ごとの画像データの圧縮率とデータサイズとの関係を例示するグラフである。図１１に示すように、同じ圧縮率でのデータサイズを比較すると、１ライン、２ライン、３ライン、並べ替えなし（すなわち８ライン）の画像データの順に、データサイズが大きい。
【００７０】
これは、ＪＰＥＧによる圧縮処理の性質によるものである。ＪＰＥＧによる圧縮処理は、人間が知覚しづらい画像の高周波成分を除去することによりデータ量を削減する。風景を撮影した画像等の自然画像は、もともと高周波成分が少ないという特徴があり、ＪＰＥＧによる圧縮処理が行われた場合の圧縮率は概ね高い。しかしながら、本実施形態のようにラインデータの並べ替えが行われると、符号化用画像データにおいて空間的に不連続であり色が急激に変化する部分（すなわち高周波成分）が多く発生するため、ＪＰＥＧによる圧縮処理が行われた場合の圧縮率は低下する。
【００７１】
そのため、図１１に示すように、並べ替え処理部１０７により並べ替えられる画像データのライン数（以降、「並べ替えライン数」とする）が多いほど不連続な部分が少なくなり、圧縮率がよくなる。一方で、上述したように、並べ替えライン数が２ラインである場合は２つのラインバッファ、並べ替えライン数が４ラインである場合は４つのラインバッファといったように、並べ替えライン数が多くなるほどラインバッファの数が多くなるので、回路規模が大きくなる。また、並べ替えライン数が多くなるほど、並べ替えライン数分の画像データが揃うまで符号化処理を待つ必要があるので、符号化データの送信遅延も長くなる。
【００７２】
図１８は、図４に示したネットワークカメラ１の各構成部の動作を例示するフローチャートである。なお、図１８に示したフローチャートは、画像符号化方法を実現する動作の一例である。図１８に示したフローチャートにおいては、上述した２ラインや４ライン等、符号化ライン数よりも少ない複数のライン数ごとに画像データが符号化される。
【００７３】
図１８に示すように、画像データ取得部１０２は、１ライン分の画像データを取得する（Ｓ１８０１）。１ライン分の画像データを取得した画像データ取得部１０２は、取得した１ライン分の画像データをラインバッファに対して出力する（Ｓ１８０２）。
【００７４】
並べ替え処理部１０７は、符号化に必要な所定のライン数分の画像データが各ラインバッファ（例えば、必要なライン数が２の場合はラインバッファ１及び２）に揃っているか否かを判定する（Ｓ１８０３）。並べ替え処理部１０７は、所定のライン数分の画像データが各ラインバッファに揃っていない場合（Ｓ１８０３／ＮＯ）、待機する。また、画像データ取得部１０２は、次の１ライン分の画像データを取得して（Ｓ１８０１）、別のラインバッファへ出力する（Ｓ１８０２）。
【００７５】
一方、並べ替え処理部１０７は、所定のライン数分の画像データが各ラインバッファに揃っている場合（Ｓ１８０３／ＹＥＳ）、各ラインバッファに格納されたラインデータを符号化ライン数（例えば、８ライン）で構成される符号化用画像データに変換する（Ｓ１８０４）。
【００７６】
並べ替え処理部１０７により所定のライン数分の画像データが符号化用画像データに変換されると、符号化部１０４は、変換された符号化用画像データを符号化する（Ｓ１８０５）。符号化部１０４により符号化用画像データが符号化されると、パケット生成部１０５は、符号化データをパケット化して、ネットワークＩ／Ｆ１０６を介して送信する（Ｓ１８０６）。図１８に示した処理は、すべてのラインデータに対して行われるまで繰り返される。
【００７７】
実施形態２．
次に、本発明の第２の実施形態を説明する。第１の実施形態においては、並べ替えライン数は符号化ライン数よりもよりも少なければよいことを説明した。また、図１１を示して、並べ替えライン数が多いほど圧縮率がよい、すなわち同じ圧縮率で圧縮した際のデータサイズが小さいことを説明した。
【００７８】
このような性質から、画像送受信システムにおけるネットワークの通信状況に応じて、並べ替えライン数を決定することができる。具体的には、例えば、ネットワークにおける通信量が少ない、すなわち送信可能なデータ量が多い場合は、並べ替えライン数が１ラインに決定される。これにより、並べ替えライン数が２ライン以上の場合に比べて画像データの圧縮率は悪い（同じ圧縮率でデータサイズが大きい）が符号化データの送信遅延は短くなる。
【００７９】
また、例えば、ネットワークにおける通信量が多い、すなわち送信可能なデータ量が少ない場合は、並べ替えライン数が４ラインに決定される。これにより、並べ替えライン数が４ライン未満の場合に比べて符号化データの送信遅延は長くなるが画像データの圧縮率はよくなる（同じ圧縮率でデータサイズが小さい）。
【００８０】
第２の実施形態においては、ネットワークにおける送信可能なデータ量に応じて並べ替えライン数が決定される。図１２は、第２の実施形態に係るネットワークカメラ１の機能構成を例示するブロック図である。図１２に示すように、第２の実施形態に係るネットワークカメラ１は、図４に示した構成に制御信号解析部１０８及び制御情報記憶部１０９を追加する構成をとる。以下、図４において示した構成と同様の動作を行う構成については説明を省略する。
【００８１】
なお、本実施形態においては、並べ替えライン数が１ライン、２ライン及び４ラインのいずれかに変更されるものとする。そのため、ラインバッファ１０３は、４つ設けられており、並べ替えライン数に応じた数のラインバッファ１０３が使用されることになる。
【００８２】
制御信号解析部１０８は、ネットワークＩ／Ｆ１０６を介して、ネットワーク監視装置３から送信された制御信号を受信して、並べ替えライン数を決定する。並べ替えライン数を決定した制御信号解析部１０８は、画像データ取得部１０２、並べ替え処理部１０７及びパケット生成部１０５に対して、決定した並べ替えライン数を出力する。
【００８３】
具体的には、例えば、ネットワーク監視装置３は、画像送受信システムにおけるネットワークのトラフィック等を監視して、トラフィック量のレベル（以降、「トラフィックレベル」とする）を示す情報を制御信号としてネットワークカメラ１に対して送信する。例えば、ネットワークのトラフィック量が予め定められた３段階の範囲に区分され、トラフィック量が少ない順に、トラフィックレベルを「０」、「１」、「２」とする。
【００８４】
制御信号解析部１０８は、このようなトラフィックレベルを示す制御信号を受信すると、制御情報記憶部１０９を参照して、トラフィックレベルに対応する並べ替えライン数を取得する。すなわち、制御信号解析部１０８は、ネットワークの通信状況を示す通信状況情報に応じて並べ替えライン数を決定するライン数決定部として機能する。
【００８５】
図１３は、制御情報記憶部１０９が格納する制御情報を例示する図である。図１３に示すように、制御情報は、トラフィックレベルと並べ替えライン数とが関連付けられたテーブルで構成されている。例えば、トラフィックレベルが「０」である場合、ネットワークのトラフィック量が少なく、多くのデータを送信しても遅延が発生しにくい状況（すなわち、送信可能なデータ量が多い状況）であるため、圧縮率は悪いが送信遅延が短い並べ替えライン数「１」が関連付けられる。また、例えば、トラフィックレベルが「２」である場合、ネットワークのトラフィック量が多く、送信するデータをできる限り少なくすることが望ましい状況であるため、送信遅延は長いが圧縮率がよい並べ替えライン数「４」が関連付けられる。
【００８６】
画像データ取得部１０２は、制御信号解析部１０８から出力された並べ替えライン数分の画像データを、ラインデータごとに並べ替えライン数分のラインバッファ１０３にそれぞれ出力する。並べ替え処理部１０７は、制御信号解析部１０８から出力された並べ替えライン数分の画像データが各ラインバッファ１０３に格納されると、並べ替えライン数分の画像データを並べ替えて符号化用画像データに変換して、符号化部１０４に対して出力する。
【００８７】
パケット生成部１０５は、符号化部１０４から出力された符号化データに制御信号解析部１０８から出力された制御信号を付加してパケット化する。図１４は、パケット生成部１０５により生成されたパケットの構成を例示する図である。図１４に示すように、第２の実施形態に係るパケット生成部１０５により生成されたパケットは、並べ替えライン数を識別するための並べ替えＩＤを含む。例えば、並べ替えライン数が「１」である場合、並べ替えＩＤは「０」とし、並べ替えライン数が「２」である場合、並べ替えＩＤは「１」とし、並べ替えライン数が「３」である場合、並べ替えＩＤは「２」とする。
【００８８】
次に、第２の実施形態に係る画像受信装置２の機能構成を説明する。図１５は、第２の実施形態に係る画像受信装置２の機能構成を例示する図である。図１５に示すように、第２の実施形態に係る画像受信装置２は、図５に示した構成に並べ替え情報記憶部２０５を追加した構成をとる。以下、図５において示した構成と同様の動作を行う構成については説明を省略する。
【００８９】
図１６は、並べ替え情報記憶部２０５に格納されている並べ替え情報を例示する図である。図１６に示すように、並べ替え情報は、図１４に示したパケットに含まれる並べ替えＩＤと並べ替えライン数とが関連付けられたテーブルで構成されている。
【００９０】
パケット解析部２０２は、ネットワークＩ／Ｆ２０１を介して、ネットワークカメラ１から送信されたパケットを受信して、受信したパケットから符号化データ及び並べ替えＩＤを取得する。また、パケット解析部２０２は、並べ替え情報記憶部２０５を参照して、取得した並べ替えＩＤに関連付けられた並べ替えライン数を特定する。例えば、パケット解析部２０２は、取得した並べ替えＩＤが「０」である場合、取得した符号化データは１ライン分の画像データであると特定することができる。
【００９１】
また、パケット解析部２０２は、取得した符号化データを復号部２０３に対して出力し、特定した並べ替えライン数を並べ替え処理部２０４に対して出力する。並べ替え処理部２０４は、復号部２０３から出力された８ラインで構成される画像データを、パケット解析部２０２から出力された並べ替えライン数分の画像データになるように並べ替える。
【００９２】
以上説明したように、第２の実施形態においては、画像送受信システムにおけるネットワークのトラフィック状況に応じて、並べ替えライン数が決定される。これにより、ネットワークにおいて送信可能なデータ量に応じて、送信遅延よりも圧縮率の高さを優先するか、圧縮率の高さよりも低遅延性を優先するかを判断して、送信遅延を軽減しつつネットワークの状況に応じてより効率よくデータを送信することが可能になる。
【００９３】
なお、上記実施形態においては、ネットワークカメラ１とは別の装置であるネットワーク監視装置３により制御信号が送信される場合を例として説明したが、ネットワークカメラ１自身がネットワークのトラフィック状況を監視して、状況に応じて並べ替えライン数を決定するようにしてもよい。
【００９４】
また、第１の実施形態及び第２の実施形態においては、ネットワークカメラ１を画像処理装置の例として説明したが、画像データを符号化し他の装置へ送信する構成を含めば、ネットワークカメラ１以外の画像処理装置であってもよい。
【符号の説明】
【００９５】
１  ネットワークカメラ
２  画像受信装置
３  ネットワーク監視装置
１０  ＣＰＵ
２０  ＲＡＭ
３０  ＲＯＭ
４０  専用エンジン
５０  Ｉ／Ｆ
６０  操作部
７０  ネットワーク
８０  バス
１０１  カメラ
１０２  画像データ取得部
１０３  ラインバッファ
１０４  符号化部
１０５  パケット生成部
１０６  ネットワークＩ／Ｆ
１０７  並べ替え処理部
１０８  制御情報解析部
１０９  制御情報記憶部
２０１  ネットワークＩ／Ｆ
２０２  パケット解析部
２０３  復号部
２０４  並べ替え処理部
２０５  並べ替え情報記憶部
【先行技術文献】
【特許文献】
【００９６】
【特許文献１】特開２００８−０２８５４１号公報
【図１】
2016021600.tif 000003
【図２】
2016021600.tif 000004
【図３】
2016021600.tif 000005
【図４】
2016021600.tif 000006
【図５】
2016021600.tif 000007
【図６】
2016021600.tif 000008
【図７】
2016021600.tif 000009
【図８】
2016021600.tif 000010
【図９】
2016021600.tif 000011
【図１０】
2016021600.tif 000012
【図１１】
2016021600.tif 000013
【図１２】
2016021600.tif 000014
【図１３】
2016021600.tif 000015
【図１４】
2016021600.tif 000016
【図１５】
2016021600.tif 000017
【図１６】
2016021600.tif 000018
【図１７】
2016021600.tif 000019
【図１８】
2016021600.tif 000020