(57)【要約】【課題】画像データの合成処理を低負荷で高速に行と共に、その画像データを適切に合成する画像処理装置を提供すること。【解決手段】符号化された画像データを取得する符号化画像データ取得部と、符号化された前記画像データを復号する画像データ復号部と、復号された前記画像データをメモリ領域に記憶させる復号画像記憶制御部と、前記メモリ領域に記憶されている第一の画像データと、前記第一の画像データの後に取得されて復号された第二の画像データとの合成位置を含む画像付帯情報を取得する画像付帯情報取得部と、取得された前記画像付帯情報と前記画像データ復号部のアライメント制約とに基づき、前記第一の画像データと前記第二の画像データとの合成方法を選択する合成方法選択部と、選択された前記合成方法により前記第一の画像データと前記第二の画像データとを前記メモリ領域において合成する画像データ合成部と、を備える。【選択図】図３
2016143970.tif 000002
【特許請求の範囲】
【請求項１】
画像データを合成する画像処理装置であって、
符号化された画像データを取得する符号化画像データ取得部と、
符号化された前記画像データを復号する画像データ復号部と、
復号された前記画像データをメモリ領域に記憶させる復号画像記憶制御部と、
前記メモリ領域に記憶されている第一の画像データと、前記第一の画像データの後に取得されて復号された第二の画像データとの合成位置を含む画像付帯情報を取得する画像付帯情報取得部と、
取得された前記画像付帯情報と前記画像データ復号部のアライメント制約とに基づき、前記第一の画像データと前記第二の画像データとの合成方法を選択する合成方法選択部と、
選択された前記合成方法により前記第一の画像データと前記第二の画像データとを前記メモリ領域において合成する画像データ合成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記合成方法選択部は、前記合成位置が前記アライメント制約を満たすか否かを判定し、
前記画像データ合成部は、前記合成位置が前記アライメント制約を満たすと判定された場合、ハードウェア制御により前記第一の画像データと前記第二の画像データとを合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記復号画像記憶制御部は、前記合成位置が前記アライメント制約を満たさないと判定された場合、前記第二の画像データをメモリ領域に記憶させ、
前記画像データ合成部は、前記合成位置が前記アライメント制約を満たさないと判定された場合、前記第一の画像データと前記メモリ領域に記憶されている前記第二の画像データとをソフトウェア制御により合成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像付帯情報は、前記第二の画像データの所定方向における構成要素を含み、
前記合成方法選択部は、前記合成位置が前記アライメント制約を満たすと判定した場合、前記構成要素が前記アライメント制約を満たすか否かを判定し、
前記画像データ合成部は、前記構成要素が前記アライメント制約を満たすと判定された場合、ハードウェア制御により前記第一の画像データと前記第二の画像データとを合成することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記第一の画像データにおける所定部分の画像データをメモリ領域に記憶させる部分画像記憶制御部を備え、
前記部分画像記憶制御部は、前記構成要素が前記アライメント制約を満たさないと判定された場合、前記所定部分の画像データを前記メモリ領域に記憶させ、
前記画像データ合成部は、前記構成要素が前記アライメント制約を満たさないと判定された場合、ハードウェア制御により前記第一の画像データと前記第二の画像データとを合成した後に、前記メモリ領域に記憶されている前記所定部分の画像データを前記第一の画像データの元の位置に書き込むことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第二の画像データを生成する情報処理装置に対して、前記合成方法選択部が前記合成方法を選択するための基準を通知する合成方法選択基準通知部を備えることを特徴とする請求項１乃至５いずれか１項に記載の画像処理装置。
【請求項７】
情報処理装置から送信されてきた画像データを画像処理装置により合成する画像処理システムであって、
前記情報処理装置は、
符号化された画像データを前記画像処理装置に送信する送信部を備え、
前記画像処理装置は、
符号化された画像データを取得する符号化画像データ取得部と、
符号化された前記画像データを復号する画像データ復号部と、
復号された前記画像データをメモリ領域に記憶させる復号画像記憶制御部と、
前記メモリ領域に記憶されている第一の画像データと、前記第一の画像データの後に取得されて復号された第二の画像データとの合成位置を含む画像付帯情報を取得する画像付帯情報取得部と、
取得された前記画像付帯情報と前記画像データ復号部のアライメント制約とに基づき、前記第一の画像データと前記第二の画像データとの合成方法を選択する合成方法選択部と、
選択された前記合成方法により前記第一の画像データと前記第二の画像データとを前記メモリ領域において合成する画像データ合成部と、
を備えることを特徴とする画像処理システム。
【請求項８】
画像データを合成する画像処理プログラムであって、
符号化された画像データを取得するステップと、
符号化された前記画像データを復号するステップと、
復号された前記画像データをメモリ領域に記憶させるステップと、
前記メモリ領域に記憶されている第一の画像データと、前記第一の画像データの後に取得されて復号された第二の画像データとの合成位置を含む画像付帯情報を取得するステップと、
取得された前記画像付帯情報と前記画像データ復号部のアライメント制約とに基づき、前記第一の画像データと前記第二の画像データとの合成方法を選択するステップと、
選択された前記合成方法により前記第一の画像データと前記第二の画像データとを前記メモリ領域において合成するステップと、
を実行することを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、画像処理プログラムに関する。
【背景技術】
【０００２】
ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やスマートフォン、タブレット端末等の情報処理装置から入力された画像データに応じて、スクリーンなどの投影面上に画像を投影することで画像を表示するプロジェクタや、液晶パネル上に画像を表示するディスプレイなどの画像処理装置が知られている。
【０００３】
情報処理装置は、このような画像処理装置に画像を表示させる際、画像が変化する毎に常に全面画像データを画像処理装置に送信するのではなく、全面画像データの送信は最初の１回のみで、それ以降は、変化があった部分のみを差分画像データとして送信するようになっている。そして、画像処理装置は、情報処理装置から入力された差分画像データを先に入力された全面画像データに合成することで、その合成画像を表示するようになっている（例えば、特許文献１を参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、従来の画像処理装置は、ソフトウェア制御により合成処理を行う場合、高速に処理を行うことがでず、また、処理負荷が高くなるといった問題がある。一方、従来の画像処理装置は、ハードウェア制御により合成処理を行う場合、高束で処理を行い、かつ、処理負荷を軽減することは可能であるが、ハードウェアの制約により適切に合成することができない場合があるといった問題がある。
【０００５】
本発明は、このような課題を解決するためになされたものであり、画像データの合成処理を低負荷で高速に行と共に、その画像データを適切に合成する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の一態様は、画像データを合成する画像処理装置であって、符号化された画像データを取得する符号化画像データ取得部と、符号化された前記画像データを復号する画像データ復号部と、復号された前記画像データをメモリ領域に記憶させる復号画像記憶制御部と、前記メモリ領域に記憶されている第一の画像データと、前記第一の画像データの後に取得されて復号された第二の画像データとの合成位置を含む画像付帯情報を取得する画像付帯情報取得部と、取得された前記画像付帯情報と前記画像データ復号部のアライメント制約とに基づき、前記第一の画像データと前記第二の画像データとの合成方法を選択する合成方法選択部と、選択された前記合成方法により前記第一の画像データと前記第二の画像データとを前記メモリ領域において合成する画像データ合成部と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、画像データの合成処理を低負荷で高速に行と共に、その画像データを適切に合成する画像処理装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る画像処理システムの運用形態の例を示す図である
【図２】本発明の実施形態に係る画像処理装置のハードウェア構成を模式的に示すブロック図である。
【図３】本発明の実施形態に係る画像処理装置の機能構成を模式的に示すブロック図である。
【図４】本発明の実施形態に係る情報処理装置の機能構成を模式的に示すブロック図である。
【図５】本発明の実施形態に係る画像デコード部がメモリに画像データを書き込む際の手順を説明するためのシーケンス図である。
【図６】本発明の実施形態に係る画像デコード部により書き込まれた画像データのメモリ上でのデータ構造を模式的に示す図である。
【図７】本発明の実施形態に係る画像処理装置が直書合成により画像データを合成する際の手順を説明するためのシーケンス図である。
【図８】本発明の実施形態に係る画像処理装置が単純合成により画像データを合成する際の手順を説明するためのシーケンス図である。
【図９】本発明の実施形態に係る画像処理装置がバックアップ合成により画像データを合成する際の手順を説明するためのシーケンス図である。
【図１０】本発明の実施形態に係る画像処理装置が合成方法を選択する際の処理を説明するためのフローチャートである。
【図１１】本発明の実施形態に係る画像処理装置の機能構成を模式的に示すブロック図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
以下、図面を参照して、本発明の実施形態を詳細に説明する。まず、本実施形態に係る画像処理システムの運用形態について、図１を参照して説明する。図１は、本実施形態に係る画像処理システムの運用形態の例を示す図である。
【００１０】
図１に示すように、本実施形態に係る画像処理システムは、画像処理装置１、情報処理装置２が接続されて構成されている。
【００１１】
画像処理装置１は、情報処理装置２から入力された画像データに応じて、スクリーンなどの投影面上に画像を投影することで画像を表示するプロジェクタや、液晶パネル上に画像を表示するディスプレイなどである。
【００１２】
情報処理装置２は、画像処理装置１に画像を表示させるためにユーザが操作するための情報処理端末であり、画像処理装置１に画像データを送信する。本実施形態に係る情報処理装置２は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）や、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）やスマートフォン、タブレット端末などの情報処理端末によって実現される。
【００１３】
尚、本実施形態に係る情報処理装置２は、画像処理装置１に画像を表示させる際、画像が変化する毎に常に全面画像データを画像処理装置に送信するのではなく、全面画像データの送信は最初の１回のみで、それ以降は、変化があった部分のみを差分画像データとして送信するようになっている。そして、画像処理装置は、情報処理装置から入力された差分画像データを先に入力された全面画像データに合成することで、その合成画像を表示するようになっている。
【００１４】
次に、本実施形態に係る画像処理装置１のハードウェア構成について、図２を参照して説明する。図２は、本実施形態に係る画像処理装置１のハードウェア構成を模式的に示すブロック図である。尚、図２においては、画像処理装置１のハードウェア構成を例として説明するが、情報処理装置２についても同様である。
【００１５】
図８に示すように、本実施形態に係る画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）４０、操作部５０、表示部６０、通信Ｉ／Ｆ７０がバス８０を介して接続されて構成されている。
【００１６】
ＣＰＵ１０は演算手段であり、画像処理装置１全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。
【００１７】
ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記憶媒体であり、画像データ等の各種データや、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）、各種制御プログラム、画像処理プログラムなどのアプリケーション・プログラムなど、各種プログラムを格納する。
【００１８】
操作部５０は、画像処理装置１に情報を入力するためのユーザインタフェースであり、キーボードやマウス、タッチパネル、スイッチ、ボタンなどの入力装置によって実現される。
【００１９】
表示部６０は、ユーザが画像処理装置１の状態を確認するための視覚的ユーザインタフェースであり、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの表示装置によって実現される。
【００２０】
Ｉ／Ｆ７０は、画像処理装置１が他の装置と通信するためのインタフェースであり、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）インタフェース、ＰＣＩｅ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ  Ｅｘｐｒｅｓｓ）インタフェースなどのインタフェースが用いられる。
【００２１】
このようなハードウェア構成において、ＲＯＭ３０やＨＤＤ４０などの記憶媒体に格納されたプログラムがＲＡＭ２０に読み出され、ＣＰＵ１０がＲＡＭ２０にロードされたプログラムに従って演算を行うことにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る画像処理装置１の機能を実現する機能ブロックが構成される。
【００２２】
次に、本実施形態に係る画像処理装置１の機能構成について、図３を参照して説明する。図３は、本実施形態に係る画像処理装置１の機能構成を模式的に示すブロック図である。
【００２３】
図３に示すように、本実施形態に係る画像処理装置１は、画像処理制御部１００、デマクス部１１０、合成方法選択部１２０、画像デコード部１３０、全面画像記憶領域１３１、差分画像記憶領域１３２、出力領域決定部１４０、バックアップ部１５０、バックアップ画像記憶領域１５１、合成部１６０、画像出力部１７０、音声デコード部１８０、音声出力部１８１を備える。
【００２４】
画像処理制御部１００は、画像処理装置１に含まれる各部を制御する役割を担い、画像処理装置１の各部に命令を与える。
【００２５】
デマクス部１１０は、情報処理装置２から入力された入力データをデマクスして、圧縮画像データ、画像付帯情報、圧縮音声データに分離する。即ち、本実施形態においては、デマクス部１１０が符号化画像データ取得部、画像付帯情報取得部として機能する。
【００２６】
そして、デマクス部１１０は、画像付帯情報については合成方法選択部１２０に、圧縮画像データについては画像デコード部１３０に、圧縮音声データについては音声デコード部１８０にそれぞれ出力する。
【００２７】
ここで、画像付帯情報とは、差分画像データの全面画像データへの合成位置、差分画像データの縦方向の画素数（以下、「縦画素数」とする）、差分画像データの横方向の画素数（以下、「横画素数」とする）を含む情報である。尚、本実施形態においては、縦方向と横方向とは互いに直交する方向を意味する。即ち、本実施形態においては、縦画素数、若しくは、横画素数の少なくともいずれかが構成要素として画像付帯情報に含まれる。
【００２８】
合成方法選択部１２０は、差分画像データと全面画像データとの合成方法を選択する。本実施形態においては、合成方法は、直書合成、単純合成、バックアップ合成の３種類がある。これらの合成方法の詳細については、図７〜図９を参照して後述する。
【００２９】
画像デコード部１３０は、ハードデコーダであり、デマクス部１１０から入力された圧縮画像データをデコードする。そして、画像デコード部１３０は、デコード結果が全面画像データである場合には、その全面画像データを全面画像記憶領域１３１に書き込み、デコード結果が差分画像データである場合には、その差分画像データを差分画像記憶領域１３２に書き込む。即ち、本実施形態においては、画像デコード部１３０が画像データ復号部、復号画像記憶制御部として機能する。尚、画像デコード部１３０の書き込み先の切り替え制御については、画像処理制御部１００が行う。
【００３０】
また、画像デコード部１３０は、合成方法選択部１２０により合成方法として直書合成が選択された場合、全面画像領域における合成位置に対して差分画像データを直接書き込むことにより合成画像データを生成する。即ち、この場合、画像デコード部１３０が画像データ合成部として機能する。ここで、全面画像領域とは、全面画像記憶領域１３１において全面画像データが記憶されているメモリ領域のことである。
【００３１】
全面画像記憶領域１３１は、メモリ上に設けられたメモリ領域であり、画像デコード部１３０により書き込まれた全面画像データを記憶するために設けられたメモリ領域である。
【００３２】
差分画像記憶領域１３２は、メモリ上に設けられたメモリ領域であり、画像デコード部１３０により書き込まれた差分画像データを記憶するために設けられたメモリ領域である。
【００３３】
出力領域決定部１４０は、画像デコード部１３０がデコードした差分画像データを全面画像記憶領域１３１と差分画像記憶領域１３２とのどちらに書き込むかを決定し、その差分画像データの書き込み先となるメモリ領域の先頭アドレスを決定する。
【００３４】
バックアップ部１５０は、合成方法選択部１２０により合成方法としてバックアップ合成が選択された場合、全面画像記憶領域１３１に記憶されている全面画像データの一部をバックアップ画像データとしてバックアップ画像記憶領域１５１にコピーする。即ち、本実施形態においては、バックアップ部１５０が部分画像記憶制御部として機能する。
【００３５】
そして、バックアップ部１５０は、画像デコード部１３０により全面画像領域における合成位置に対して差分画像データが書き込まれた後に、ソフトウェア制御によりバックアップ画像データを全面画像データに書き戻す。このとき、バックアップ画像データとして全面画像データからコピーされる部分の詳細については後述する。
【００３６】
バックアップ画像記憶領域１５１は、メモリ上に設けられたメモリ領域であり、バックアップ部１５０によりコピーされたバックアップ画像データを記憶するために設けられたメモリ領域である。
【００３７】
合成部１６０は、合成方法選択部１２０により合成方法として単純合成が選択された場合、ソフトウェア制御により、差分画像記憶領域１３２に記憶されている差分画像データを全面画像領域における合成位置にコピーすることにより合成画像データを生成する。即ち、この場合、合成部１６０が画像データ合成部として機能する。また、本実施形態においては、全面画像データ、差分画像データがそれぞれ、第一の画像データ、第二の画像データとして合成される。
【００３８】
尚、本実施形態においては、バックアップ部１５０と合成部１６０とを別々に備える画像処理装置について説明するが、合成部１６０がバックアップ部１５０の機能を担うように構成されていても良い。
【００３９】
尚、合成部１６０は、単純合成により合成画像データを生成する際、ソフトウェア制御により画像データを合成する。これに対し、画像デコード部１３０は、直書合成により合成画像データを生成する際、ソフトウェア制御によらずにハードウェア制御により画像データを合成する。
【００４０】
従って、画像デコード部１３０の直書合成による画像データの合成処理の処理速度は、合成部１６０による画像データの合成処理よりも速い。また、画像デコード部１３０の直書合成による画像データの合成処理の処理負荷は、合成部１６０による画像データの合成処理よりも低い。
【００４１】
画像出力部１７０は、全面画像記憶領域１３１に記憶されている合成画像データを読み出して、読み出した合成画像データに応じて画像を出力する。
【００４２】
音声デコード部１８０は、デマクス部１１０から入力された圧縮音声データをデコードする。音声出力部１８１は、音声デコード部１８０によりデコードされた音声データに応じて音声を出力する。
【００４３】
次に、本実施形態に係る情報処理装置２の機能構成について、図４を参照して説明する。図４は、本実施形態に係る情報処理装置２の機能構成を模式的に示すブロック図である。
【００４４】
図４に示すように、本実施形態に係る情報処理装置２は、情報処理制御部２００、画像データ生成部２１０、画像データ圧縮部２２０、画像付帯情報生成部２３０、音声データ生成部２４０、音声データ圧縮部２５０、入力データ送信部２６０を備える。
【００４５】
情報処理制御部２００は、画像処理装置１に含まれる各部を制御する役割を担い、画像処理装置１の各部に命令を与える。画像データ生成部２１０は、差分画像データ及び全面画像データを生成する。画像データ圧縮部２２０は、画像データ生成部２１０により生成された差分画像データ及び全面画像データに対して圧縮処理を施すことにより圧縮画像データを生成する。画像付帯情報生成部２３０は、画像付帯情報を生成する。
【００４６】
音声データ生成部２４０は、音声データを生成する。音声データ圧縮部２５０は、音声データ生成部２４０により生成された音声データに対して圧縮処理を施すことにより圧縮音声データを生成する。
【００４７】
入力データ送信部２６０は、画像データ圧縮部２２０により生成された圧縮画像データ、画像付帯情報生成部２３０により生成された画像付帯情報、音声データ圧縮部２５０により生成された圧縮音声データを含む入力データを画像処理装置１に送信する。
【００４８】
次に、本実施形態に係る画像デコード部１３０のアライメント制約について説明する。尚、以下では、１画素当たり１バイトの画像データを対象とした処理について説明するが、これに限らない。また、以下では、画像データの横方向を対象とした処理について説明するが、これに限らない。また、以下では、１アドレス当たり１バイトのデータを記憶することができるメモリについて説明するが、これに限らない。また、以下では、ハードデコーダのアライメント値が１６バイトである例について説明するが、これに限らない。
【００４９】
一般的に、ハードデコーダは、メモリにデータを書き込む場合、任意のメモリ領域を使用することができるわけではなく、ハードデコーダのアライメント値を考慮して確保されたバイト幅のメモリ領域しか使用することができない。即ち、ハードデコーダは、アライメント制約を満たすメモリ領域にしかデータを書き込むことができない。従って、ハードデコーダによるメモリへのデータの書き込みに際して、ハードデコーダのアライメント値を考慮したメモリアドレスが予め指定されている必要がある。
【００５０】
例えば、画像デコード部１３０は、アライメント値が横方向に１６バイトであるハードデコーダであり、１画素当たり１バイトの画像データをメモリに書き込む場合、横方向に１６バイトを１単位としたバイト幅のメモリ領域しか使用することができない。即ち、画像デコード部１３０は、このような場合、横方向に１６バイトの倍数となるバイト幅のメモリ領域しか使用することができない。
【００５１】
また、一般的に、ハードデコーダは、メモリにデータを書き込む場合、データの横方向を構成するバイト数についても任意で良いというわけではなく、ハードデコーダのアライメント値を考慮したバイト数のデータしかメモリに書き込むことができない。即ち、ハードデコーダは、アライメント制約を満たすデータしかメモリに書き込むことができない。
【００５２】
例えば、画像デコード部１３０は、アライメント値が横方向に１６バイトであるハードデコーダであり、１画素当たり１バイトの画像データをメモリに書き込む場合、画像データの横方向を構成するバイト数が１６バイトの倍数である画像データしかメモリに書き込むことができない。
【００５３】
ところが、画像データの横方向を構成するバイト数は必ずしも１６バイトの倍数となるとは限らない。そのため、画像デコード部１３０は、１６バイトの倍数に足りない分のバイト数を埋めるために、圧縮画像データに含まれる無効データを画像データに付加することで１６バイトの倍数となるように圧縮画像データをデコードする。
【００５４】
例えば、画像データの横方向を構成するバイト数が４９９バイトである場合、画像デコード部１３０は、この画像データに１３バイトの無効データを付加することで１６バイトの倍数（４９９バイト＋１３バイト＝１６バイト×３２）とする。
【００５５】
そのため、画像デコード部１３０は、直書合成により全面画像データに差分画像データを合成する際、無効データもそのまま合成されてしまう。
【００５６】
そこで、本実施形態に係る画像処理装置１は、画像データの横方向を構成するバイト数が１６バイトの倍数でない場合、無効データに相当する位置のデータをバックアップ画像データとして全面画像データからバックアップ画像記憶領域１５１にコピーして退避させておく。
【００５７】
そして、本実施形態に係る画像処理装置１は、画像データの合成後に、バックアップ画像記憶領域１５１に退避させておいたバックアップ画像データを元の位置に書き戻すように構成されている。これが、本実施形態におけるバックアップ合成である。
【００５８】
この他、ハードデコーダが画像データに対してＪＰＥＧ圧縮を行う場合、圧縮単位は縦方向８画素×横方向８画素であるため、画像データの横方向を構成するバイト数は８バイトでなければならない。
【００５９】
また、ハードデコーダがカラーの画像データを４：２：０のフォーマットで圧縮する場合、色差成分１ブロックに対して輝度成分が縦方向２ブロック×横方向２ブロック＝４ブロックであることから、画像データの横方向を構成するバイト数は１６バイトでなければならない。
【００６０】
また、一般的に、ハードデコーダは、メモリにデータを書き込む場合、メモリ領域における横方向の位置が任意の位置で良いというわけではなく、ハードデコーダのアライメント値を考慮した位置にしか書き込むことができない。即ち、ハードデコーダは、アライメント制約を満たす位置にしかデータを書き込むことができない。
【００６１】
例えば、画像デコード部１３０は、アライメント値が横方向に１６バイトであるハードデコーダであり、１画素当たり１バイトの画像データをメモリに書き込む場合、メモリ領域における横方向の位置が端から１６バイトの倍数の位置でなければ書き込むことができない。
【００６２】
次に、本実施形態に係る画像デコード部１３０がメモリに画像データを書き込む際の手順について、図５を参照して説明する。図５は、本実施形態に係る画像デコード部１３０がメモリに画像データを書き込む際の手順を説明するためのシーケンス図である。
【００６３】
図５に示すように、本実施形態に係る画像デコード部１３０がメモリに画像データを書き込む際にはまず、画像処理制御部１００は、メモリ上に、画像デコード部１３０のアライメント値を考慮したバイト幅のメモリ領域を確保する（Ｓ５０１）。
【００６４】
尚、ここで、画像処理制御部１００が確保するメモリ領域のバイト幅は、画像データの横方向を構成するバイト数以上のバイト数であって、画像デコード部１３０の横方向のアライメント値の倍数である。
【００６５】
例えば、画像データの横方向を構成するバイト数が４９９バイト、画像デコード部１３０の横方向のアライメント値が１６バイトである場合、画像処理制御部１００は、５１２バイト、５２８バイト、５４４バイトといったようなメモリ幅でメモリ領域を確保する。
【００６６】
そして、画像処理制御部１００は、画像デコード部１３０に対して、画像データの縦画素数、画像データの横画素数、確保したメモリ領域のバイト幅、確保したメモリ領域の先頭アドレス、画像フォーマットなどの出力パラメータを設定する（Ｓ５０２）。
【００６７】
その後、画像デコード部１３０は、Ｓ４０２において設定された出力パラメータに従って、Ｓ４０１において確保されたメモリ領域に画像データを書き込む（Ｓ５０３）。
【００６８】
次に、本実施形態に係る画像デコード部１３０により書き込まれた画像データのメモリ上でのデータ構造について、図６を参照して説明する。図６は、本実施形態に係る画像デコード部１３０により書き込まれた画像データのメモリ上でのデータ構造を模式的に示す図である。
【００６９】
尚、図６においては、画像データの横画素数（バイト数）をｗｉｄｔｈ、画像データの縦画素数（バイト数）がｈｅｉｇｈｔ、確保されたメモリ領域のバイト幅をｓｔｒｉｄｅ、画像デコード部１３０のアライメント値をｈ_ａｌｉｇｎで表記している。
【００７０】
また、図６においては、ｗｉｄｔｈ＝４９９、ｈｅｉｇｈｔ＝５２０、ｓｔｒｉｄｅ＝５４４、ｈ_ａｌｉｇｎ＝１６の場合について示している。また、図６においては、無効データを網掛けにより示している。
【００７１】
次に、本実施形態に係る画像処理装置１が直書合成により画像データを合成する際の手順について、図７を参照して説明する。図７は、本実施形態に係る画像処理装置１が直書合成により画像データを合成する際の手順を説明するためのシーケンス図である。
【００７２】
図７に示すように、本実施形態に係る画像処理装置１が直書合成により画像データを合成する際にはまず、出力領域決定部１４０は、合成方法選択部１２０から入力された合成方法に基づいて、差分画像データの書き込み先を全面画像記憶領域１３１に決定する（Ｓ７０１）。
【００７３】
そして、出力領域決定部１４０は、合成方法選択部１２０から入力された画像付帯情報に基づいて、画像デコード部１３０が差分画像データを全面画像記憶領域１３１に書き込む際の書き込み先の先頭アドレスを決定し、その先頭アドレスを画像デコード部１３０に対して指定する（７６０２）。
【００７４】
このとき、出力領域決定部１４０は、画像付帯情報に含まれる合成位置が（横方向、縦方向）＝（ｈ_ａｌｉｇｎ、Ｙ）である場合、書き込み先の先頭アドレスを（ｈ_ａｌｉｇｎ、Ｙ）に決定する。そして、画像処理制御部１００は、その先頭アドレスに基づいてメモリ領域を確保し、図５を参照して説明したように、画像デコード部１３０に対して出力パラメータを設定する。
【００７５】
そして、画像デコード部１３０は、指定された先頭アドレス及び設定された出力パラメータに従って、デコードした差分画像データを全面画像記憶領域１３１における合成位置に対して直接書き込む（Ｓ７０３）。このようにして、直書合成により合成画像データが生成される。
【００７６】
次に、本実施形態に係る画像処理装置１が単純合成により画像データを合成する際の手順について、図８を参照して説明する。図８は、本実施形態に係る画像処理装置１が単純合成により画像データを合成する際の手順を説明するためのシーケンス図である。
【００７７】
図８に示すように、本実施形態に係る画像処理装置１が単純合成により画像データを合成する際にはまず、出力領域決定部１４０は、合成方法選択部１２０から入力された合成方法に基づいて、差分画像データの書き込み先を差分画像記憶領域１３２に決定する（Ｓ８０１）。
【００７８】
そして、出力領域決定部１４０は、合成方法選択部１２０から入力された画像付帯情報に基づいて、画像デコード部１３０が差分画像データを差分画像記憶領域１３２に書き込む際の書き込み先の先頭アドレスを決定し、その先頭アドレスを画像デコード部１３０に対して指定する（Ｓ８０２）。
【００７９】
このとき、出力領域決定部１４０は、書き込み先の先頭アドレスを差分画像記憶領域１３２の任意の位置に決定しても良いし、差分画像記憶領域１３２の先頭に決定しても良い。そして、画像処理制御部１００は、その先頭アドレスに基づいてメモリ領域を確保し、図５を参照して説明したように、画像デコード部１３０に対して出力パラメータを設定する。
【００８０】
そして、画像デコード部１３０は、指定された先頭アドレス及び設定された出力パラメータに従って、デコードした差分画像データを差分画像記憶領域１３２に書き込む（Ｓ８０３）。
【００８１】
そして、合成部１６０は、出力領域決定部１４０から入力された合成位置に基づいて、差分画像記憶領域１３２に記憶されている差分画像データをソフトウェア制御により、全面画像記憶領域１３１における合成位置にコピーする（Ｓ８０４）。このようにして、単純合成により合成画像データが生成される。
【００８２】
次に、本実施形態に係る画像処理装置１がバックアップ合成により画像データを合成する際の手順について、図９を参照して説明する。図９は、本実施形態に係る画像処理装置１がバックアップ合成により画像データを合成する際の手順を説明するためのシーケンス図である。
【００８３】
図９に示すように、本実施形態に係る画像処理装置１がバックアップ合成により画像データを合成する際にはまず、出力領域決定部１４０は、合成方法選択部１２０から入力された合成方法に基づいて、差分画像データの書き込み先を全面画像記憶領域１３１に決定する（Ｓ９０１）。
【００８４】
そして、出力領域決定部１４０は、合成方法選択部１２０から入力された画像付帯情報に基づいて、画像デコード部１３０が差分画像データを全面画像記憶領域１３１に書き込む際の書き込み先の先頭アドレスを決定し、その先頭アドレスを画像デコード部１３０に対して指定する（Ｓ９０２）。
【００８５】
このとき、出力領域決定部１４０は、画像付帯情報に含まれる合成位置が（横方向、縦方向）＝（ｈ_ａｌｉｇｎ、Ｙ）である場合、書き込み先の先頭アドレスを（ｈ_ａｌｉｇｎ、Ｙ）に決定する。そして、画像処理制御部１００は、その先頭アドレスに基づいてメモリ領域を確保し、図５を参照して説明したように、画像デコード部１３０に対して出力パラメータを設定する。
【００８６】
そして、バックアップ部１５０は、出力領域決定部１４０から入力されたバックアップ位置に基づいて、無効データに相当する位置のデータをバックアップ画像データとして全面画像データからバックアップ画像記憶領域１５１にコピーして退避させておく（Ｓ９０３）。
【００８７】
そして、画像デコード部１３０は、指定された先頭アドレス及び設定された出力パラメータに従って、デコードした差分画像データを全面画像記憶領域１３１における合成位置に対して直接書き込む（Ｓ９０４）。
【００８８】
そして、バックアップ部１５０は、バックアップ画像記憶領域１５１に記憶されているバックアップ画像データをソフトウェア制御により全面画像記憶領域１３１に書き戻す（Ｓ９０５）。このようにして、バックアップ合成により合成画像データが生成される。
【００８９】
次に、本実施形態に係る画像処理装置１が合成方法を選択する際の処理について、図１０を参照して説明する。図１０は、本実施形態に係る画像処理装置１が合成方法を選択する際の処理を説明するためのフローチャートである。
【００９０】
図１０に示すように、本実施形態に係る画像処理装置１が合成方法を選択する際にはまず、合成方法選択部１２０は、デマクス部１１０から入力された画像付帯情報に基づいて、横方向の合成位置がデコード部１３０のアライメント制約を満たす位置であるか否かを判定する（Ｓ１００１）。
【００９１】
合成方法選択部１２０は、Ｓ１００１における判定処理において、合成位置がデコード部１３０のアライメント制約を満たす位置ではないと判定した場合（Ｓ１００１／ＮＯ）、デコード部１３０が差分画像データを全面画像領域に直接書き込むことができないため、合成方法として単純合成を選択する（Ｓ１００２）。
【００９２】
このように、本実施形態に係る画像処理装置１は、合成位置がデコード部１３０のアライメントを満たす位置ではない場合であっても、ソフトウェア制御により適切な位置に差分画像データを合成することが可能であるため、合成画像の画像品質を維持することが可能である。
【００９３】
一方、合成方法選択部１２０は、Ｓ１００１における判定処理において、合成位置がデコード部１３０のアライメントを満たす位置であると判定した場合（Ｓ１００１／ＹＥＳ）、デマクス部１１０から入力された画像付帯情報に基づいて、差分画像データの横画素数がアライメント値の倍数であるか否かを判定する（Ｓ１００３）。
【００９４】
尚、画像デコード部１３０が、差分画像データの横画素数とアライメント値の倍数とが必ず一意するようなハードデコーダである場合、合成方法選択部１２０は、Ｓ１００３の判定処理を必要とせず、次のＳ１００４の処理に進む。
【００９５】
そして、合成方法選択部１２０は、Ｓ１００３における判定処理において、差分画像データの横画素数がアライメント値の倍数であると判定した場合（Ｓ１００３／ＹＥＳ）、差分画像データに無効データが付加されることがないため、合成方法として直書合成を選択する（Ｓ１００４）。
【００９６】
このように、本実施形態に係る画像処理装置１は、差分画像データの横画素数がアライメント値の倍数である場合、ソフトウェア制御によらずにハードウェア制御により合成処理を行うことが可能である。従って、本実施形態に係る画像処理装置１は、単純合成よりも高速で合成処理を行い、かつ、単純合成よりも合成処理の処理負荷を軽減することが可能となる。
【００９７】
一方、合成方法選択部１２０は、Ｓ１００３における判定処理において、差分画像データの横画素数がアライメント値の倍数ではないと判定した場合（Ｓ１００３／ＮＯ）、差分画像データに無効データが付加されるため、合成方法としてバックアップ合成を選択する（Ｓ１００５）。
【００９８】
このように、本実施形態に係る画像処理装置１は、差分画像データの横画素数がアライメント値の倍数ではない場合であっても、無効データが合成画像に反映されることがないため、合成画像の画像品質を向上させることが可能となる。
【００９９】
また、本実施形態に係る画像処理装置１は、差分画像データの横画素数がアライメント値の倍数ではない場合であっても、ソフトウェア制御によらずにハードウェア制御により合成処理を行うことが可能である。従って、本実施形態に係る画像処理装置１は、単純合成よりも高速で合成処理を行い、かつ、単純合成よりも合成処理の処理負荷を軽減することが可能となる。
【０１００】
図１０を参照して説明したように、本実施形態に係る画像処理装置１は、差分画像データに応じて最適な合成方法を選択するように構成されている。従って、本実施形態に係る画像処理装置１は、画像データの合成処理を低負荷で高速に行うと共に、その画像データを適切に合成することが可能となる。
【０１０１】
実施の形態２．
実施の形態１おいては、直書合成、単純合成、バックアップ合成から差分画像データに応じた最適な合成方法を選択するように構成されている画像処理装置１について説明した。そして、実施の形態１においては、それらの合成方法のうち、直書合成は、ソフトウェア制御を必要としないため最も高速で合成処理を行い、且つ、合成処理の処理負荷を軽減することができることを説明した。
【０１０２】
そのため、情報処理装置２は、画像処理装置１が直書合成により合成処理を行うことができるように差分画像データを生成することができれば、画像処理装置１による合成処理を高速化し、且つ、合成処理の処理負荷を軽減することが可能となる。
【０１０３】
そこで、本実施形態に係る画像処理装置１は、直書合成により合成処理を行うことができるように情報処理装置２に差分画像データを生成させることを要旨の一つとしている。従って、本実施形態に係る画像処理装置１は、合成処理をより低負荷で高速に行うことが可能となる。
【０１０４】
以下、図面を参照して、本発明の実施形態を詳細に説明する。尚、実施の形態１と同様の符号を付す構成については、同一または相当部を示すものとし、詳細な説明を省略する。
【０１０５】
まず、本実施形態に係る画像処理装置１の機能構成について、図１１を参照して説明する。図１１は、本実施形態に係る画像処理装置１の機能構成を模式的に示すブロック図である。
【０１０６】
図１１に示すように、本実施形態に係る画像処理装置１は、実施の形態１の機能構成に加えて、合成方法選択基準通知部１９０を備える。合成方法選択基準通知部１９０は、直書合成により合成処理を行うことができるように、デコード部１３０のアライメント制約に関する情報である合成方法選択基準を情報処理装置２に通知する。この合成方法選択基準は、合成方法選択部１２０が合成方法を選択するための基準となるものである。
【０１０７】
そして、情報処理装置２は、画像処理装置１から通知された合成方法選択基準に従って差分画像データを生成することで、画像処理装置１に直書合成による合成処理を行わせることが可能となる。
【０１０８】
このように、本実施形態に係る画像処理装置１は、デコード部１３０のアライメント制約に関する情報である合成方法選択基準を情報処理装置２に通知することで、直書合成により合成処理を行うことができるように情報処理装置２に差分画像データを生成させることを要旨の一つとしている。従って、本実施形態に係る画像処理装置１は、合成処理をより低負荷で高速に行うことが可能となる。
【０１０９】
尚、情報処理装置２は、同一の画像を同時に複数の画像処理装置１に表示させる場合、各画像処理装置１においてデコード部１３０のハードウェア構成が異なるため、画像処理装置１毎に複数の差分画像データを生成しなければならず、効率が悪くなる。
【０１１０】
そこで、本実施形態に係る情報処理装置２は、各画像処理装置１から通知された合成方法選択基準に基づいて、各画像処理装置１のアライメント値の公倍数がアライメント制約となるように差分画像データを生成するように構成されている。
【０１１１】
本実施形態に係る情報処理装置２は、このように構成されることで、同一の画像を同時に複数の画像処理装置１に表示させる場合であっても、一つの差分画像データを生成するだけで、全ての画像処理装置１に直書合成により合成処理を行わせることが可能となる。
【０１１２】
尚、このとき、情報処理装置２は、上述したように差分画像データを生成さえすれば特に規定はないが、画像データの転送レートは転送速度が最も遅い画像処理装置１に律速されるため、その画像処理装置１の合成方法選択基準を元にして差分画像データを生成するように構成されていても良い。
【０１１３】
尚、本実施形態においては、デコード部１３０のアライメント制約に関する情報である合成方法選択基準を情報処理装置２に通知することで、直書合成により合成処理を行うことができるように情報処理装置２に差分画像データを生成させるように構成されている画像処理装置１について説明した。
【０１１４】
この他、本実施形態に係る画像処理装置１は、状況に応じて、直書合成、単純合成、バックアップ合成により合成処理を行うことができるように、合成方法選択基準の内容を変化させるように構成されていても良い。
【符号の説明】
【０１１５】
１  画像処理装置
２  情報処理装置
１０  ＣＰＵ
２０  ＲＡＭ
３０  ＲＯＭ
４０  ＨＤＤ
５０  操作部
６０  表示部
７０  通信Ｉ／Ｆ
８０  バス
１００  画像処理制御部
１１０  デマクス部
１２０  合成方法選択部
１３０  画像デコード部
１３１  全面画像記憶領域
１３２  差分画像記憶領域
１４０  出力領域決定部
１５０  バックアップ部
１５１  バックアップ画像記憶領域
１６０  合成部
１７０  画像出力部
１８０  音声デコード部
１８１  音声出力部
１９０  合成方法選択基準通知部
２００  情報処理制御部
２１０  画像データ生成部
２２０  画像データ圧縮部
２３０  画像付帯情報生成部
２４０  音声データ生成部
２５０  音声データ圧縮部
２６０  入力データ送信部
【先行技術文献】
【特許文献】
【０１１６】
【特許文献１】特開２００７−２５１３９８号公報
【図１】
2016143970.tif 000003
【図２】
2016143970.tif 000004
【図３】
2016143970.tif 000005
【図４】
2016143970.tif 000006
【図５】
2016143970.tif 000007
【図６】
2016143970.tif 000008
【図７】
2016143970.tif 000009
【図８】
2016143970.tif 000010
【図９】
2016143970.tif 000011
【図１０】
2016143970.tif 000012
【図１１】
2016143970.tif 000013