(57)【要約】【課題】画像処理装置において、無駄な復号の実行を抑制する。【解決手段】画像処理装置が実行する画像処理方法は、符号化済みの画像データと第１データとを含む第１符号化データの暗号化によって生成される第１暗号化データに対して解読処理を実行することにより第２符号化データを生成し、前記第２符号化データが前記第１データを含むか否かを判定し、前記第２符号化データが前記第１データを含む場合、前記第２符号化データを復号し、前記第２符号化データが前記第１データを含まない場合、前記第２符号化データを復号せずに破棄する。【選択図】図５
2020182011.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置が実行する画像処理方法であって、
符号化済みの画像データと第１データとを含む第１符号化データの暗号化によって生成される第１暗号化データに対して解読処理を実行することにより第２符号化データを生成し、
前記第２符号化データが前記第１データを含むか否かを判定し、
前記第２符号化データが前記第１データを含む場合、前記第２符号化データを復号し、前記第２符号化データが前記第１データを含まない場合、前記第２符号化データを復号せずに破棄する、
画像処理方法。
【請求項２】
前記符号化済みの画像データは、符号化済みの画像フレームを有し、
前記第１データは、前記第１符号化データにおける前記符号化済みの画像フレームの位置を示す情報である、
請求項１に記載の画像処理方法。
【請求項３】
前記第１符号化データでは、前記第１データの後に前記符号化済みの画像フレームが位置する、
請求項２に記載の画像処理方法。
【請求項４】
前記符号化済みの画像データは、画像フレームを符号化することによって生成され、
前記第２符号化データのうち前記画像フレームの１フレーム分の部分に、前記第１データが存在する場合、前記第２符号化データが前記第１データを含むと判定し、
前記第２符号化データのうち前記画像フレームの１フレーム分の部分に、前記第１データが存在しない場合、前記第２符号化データが前記第１データを含まないと判定する、
請求項１から３のいずれか１項に記載の画像処理方法。
【請求項５】
前記暗号化データを受信し、
前記受信済みの暗号化データに対して前記解読処理を実行する、
請求項１から４のいずれか１項に記載の画像処理方法。
【請求項６】
前記暗号化データを解読するための解読情報を受信し、
前記解読情報を用いて、前記暗号化データに対して前記解読処理を実行する、
請求項１から５のいずれか１項に記載の画像処理方法。
【請求項７】
前記符号化済みの画像データは、第１画像フレームを符号化することによって生成され、
前記第１画像フレームを用いて第２画像フレームを符号化することによって生成される画像符号化データと、第２データと、を含む第３符号化データの暗号化によって生成される第２暗号化データに対して前記解読処理を実行することにより第４符号化データを生成し、
前記第４符号化データが前記第２データを含む状況において前記第２符号化データが復号されている場合、前記第２符号化データの復号結果を用いて、前記第４符号化データを復号し、
前記第４符号化データが前記第２データを含む状況において前記第２符号化データが復号されずに破棄されている場合、前記第４符号化データを復号せずに破棄する、
請求項１から６のいずれか１項に記載の画像処理方法。
【請求項８】
符号化済みの画像データと第１データとを含む第１符号化データの暗号化によって生成される第１暗号化データに対して解読処理を実行することにより第２符号化データを生成する生成部と、
復号部と、
前記第２符号化データが前記第１データを含むか否かを判定する判定部と、
前記第２符号化データが前記第１データを含む場合、前記復号部に前記第２符号化データを復号させ、前記第２符号化データが前記第１データを含まない場合、前記復号部に前記第２符号化データを復号させずに破棄する復号制御部と、
を含む画像処理装置。
【請求項９】
前記第１データは、前記第２符号化データのヘッダーに含まれるスタートコードである、
請求項１に記載の画像処理方法。
【請求項１０】
前記第１符号化データは、第１符号化画像ストリームに含まれ、動画圧縮の規格に基づき符号化されている、
請求項１に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法および画像処理装置に関する。
【背景技術】
【０００２】
特許文献１には、暗号化された符号化済みの画像データに対して解読処理を実行することによって平文の符号化済みの画像データを生成し、平文の符号化済みの画像データを復号する画像処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１５８９３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載のような画像処理装置では、解読処理に不具合が生じると、平文の符号化済みの画像データの代わりに、ノイズを含む情報が生成され、ノイズを含む情報が復号される。このため、無駄な復号が実行されてしまう。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、符号化済みの画像データと第１データとを含む第１符号化データの暗号化によって生成される第１暗号化データに対して解読処理を実行することにより第２符号化データを生成し、前記第２符号化データが前記第１データを含むか否かを判定し、前記第２符号化データが前記第１データを含む場合、前記第２符号化データを復号し、前記第２符号化データが前記第１データを含まない場合、前記第２符号化データを復号せずに破棄する。
【０００６】
本発明に係る画像処理装置は、符号化済みの画像データと第１データとを含む第１符号化データの暗号化によって生成される第１暗号化データに対して解読処理を実行することにより第２符号化データを生成する生成部と、復号部と、前記第２符号化データが前記第１データを含むか否かを判定する判定部と、前記第２符号化データが前記第１データを含む場合、前記復号部に前記第２符号化データを復号させ、前記第２符号化データが前記第１データを含まない場合、前記復号部に前記第２符号化データを復号させずに破棄する復号制御部と、を含む。
【図面の簡単な説明】
【０００７】
【図１】画像供給装置１とプロジェクター２を含むシステム１０００の一例を示す図である。
【図２】システム１０００における画像フレームＤ１の通信の概要を示す図である。
【図３】画像供給装置１の一例を示す図である。
【図４】プロジェクター２の一例を示す図である。
【図５】暗号化画像ストリームの処理動作を説明するためのフローチャートである。
【発明を実施するための形態】
【０００８】
Ａ：第１実施形態
Ａ１：システム１０００の概要
図１は、画像供給装置１とプロジェクター２とを含むシステム１０００の一例を示す図である。
【０００９】
画像供給装置１は、例えば、ＰＣ（Personal Computer）である。画像供給装置１は、ＰＣに限らず、例えば、タブレット端末、スマートフォン、ビデオ再生装置、ＤＶＤ（Digital Versatile Disc）プレーヤー、ブルーレイディスクプレーヤー、ハードディスクレコーダー、テレビチューナー装置またはビデオゲーム機でもよい。
【００１０】
画像供給装置１は、動画を示す動画データと音を示す音声データとを含む配信データをプロジェクター２へ無線送信する。なお、画像供給装置１は、有線で配信データをプロジェクター２に送信してもよい。配信データは、例えば、映画を表すデータである。なお、配信データは、映画を表すデータに限らない。例えば、配信データは、テレビ番組を表すデータでもよい。配信データは、コンテンツとも称され得る。
【００１１】
プロジェクター２は、例えば、机、テーブルまたは床の上に配置される。プロジェクター２は、天井から吊るされてもよい。プロジェクター２は、画像供給装置１から配信データを受信する。プロジェクター２は、配信データに含まれる動画データに基づく動画を投射面３に投射することによって動画を投射面３に表示する。プロジェクター２は、表示装置の一例である。表示装置は、プロジェクター２に限らず、ディスプレイ、例えば、ＦＰＤ（Flat Panel Display）でもよい。ＦＰＤは、例えば、液晶ディスプレイ、プラズマディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイである。また、プロジェクター２は、配信データに含まれる音声データに基づく音をスピーカー２１２から出力する。
【００１２】
システム１０００では、画像データの無線通信の手法として、Miracastが用いられる。Miracastは登録商標である。Miracastでは、ＨＤＣＰ（High bandwidth Digital Content Protection）のコンテンツ保護技術が用いられ、ＭＰＥＧ２−ＴＳ（Moving Picture Experts Group 2−Transport Stream）のコンテナが用いられる。
【００１３】
Ａ２：システム１０００における画像フレームＤ１の送信の概要
図２は、システム１０００における画像フレームＤ１の通信の概要を示す図である。画像フレームＤ１は、画像データの一例である。
【００１４】
画像供給装置１は、画像ストリームを構成する画像フレームＤ１を、Ｈ．２６４に基づいて符号化することによって、符号化済みの画像フレームＤ２を生成する。Ｈ．２６４は、動画圧縮についての規格である。Ｈ．２６４は、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）とも称される。符号化済みの画像フレームＤ２は、符号化済みの画像データの一例である。圧縮は、符号化すなわちエンコードの一例である。図２に示す例では、符号化済みの画像フレームＤ２として、後述するＩフレームが生成されたとする。なお、符号化済みの画像フレームは、Ｉフレームに限らず、後述するＰフレームおよびＢフレームでもよい。
【００１５】
画像供給装置１は、Ｈ．２６４に基づいて、符号化済みの画像フレームＤ２の位置を示すスタートコードＳＣを符号化済みの画像フレームＤ２の前に配置することによって、第１符号化パケットＤ３を生成する。スタートコードＳＣは、第１データおよび第２データの一例である。スタートコードＳＣは、符号化済みの画像フレームＤ２を検出するためのヒント情報である。スタートコードは、同期情報またはシンク（sync）ワードとも称され得る。第１符号化パケットＤ３は、第１符号化データの一例である。第１符号化パケットＤ３では、スタートコードＳＣはヘッダーＤ３１の先頭に位置し、符号化済みの画像フレームＤ２はペイロードＤ３２に位置する。ヘッダーＤ３１には、符号化済みの画像フレームＤ２を復号、具体的には伸張するための情報も含まれる。
【００１６】
画像供給装置１は、第１符号化パケットＤ３を、ＨＤＣＰに基づいて暗号化することによって、第１暗号化データＤ４を生成する。
具体的には、画像供給装置１は、暗号化対象の画像フレームのカウント数と暗号化キー５１ａとに基づいて生成される暗号キーを用いて第１符号化パケットＤ３を生成する。画像供給装置１は、第１暗号化データＤ４をペイロードＤ５２に搭載する第１暗号化ＰＥＳ（Packetized Elementary Stream）パケットＤ５を生成する。第１暗号化ＰＥＳパケットＤ５のヘッダーＤ５１には、暗号化に用いた暗号化キー５１ａと、ペイロードＤ５２に対する復号処理が必要か否かを示すデクリプトフラグ５１ｂが位置する。ペイロードＤ５２に対する復号処理が必要である場合、デクリプトフラグ５１ｂが立っている。ペイロードＤ５２に対する復号処理が必要でない場合、デクリプトフラグ５１ｂは立っていない。
【００１７】
画像供給装置１は、第１暗号化ＰＥＳパケットＤ５を含む暗号化画像ストリームをトランスポートストリーム（ＴＳ）でプロジェクター２に無線送信する。
【００１８】
プロジェクター２は、トランスポートストリームで送信される暗号化画像ストリームを受信すると、暗号化画像ストリームから第１暗号化ＰＥＳパケットＤ５を取り出す。
【００１９】
プロジェクター２は、第１暗号化ＰＥＳパケットＤ５のヘッダーＤ５１のデクリプトフラグ５１ｂが立っている場合、ヘッダーＤ５１の暗号化キー５１ａを用いて、ペイロードＤ５２に対して解読処理を実行することによって第２符号化パケットＤ６を生成する。
【００２０】
ここで、ペイロードＤ５２に対する解読処理が正常に実行された場合、第２符号化パケットＤ６において、ヘッダーＤ６１にスタートコードＳＣが位置し、ペイロードＤ６２に符号化済みの画像フレームＤ２が位置する。
【００２１】
一方、ペイロードＤ５２に対する解読処理に不具合が生じていた場合、例えば、暗号化キー５１ａが無線送信中にノイズの影響で変わってしまった場合、または、ＴＳパケットのロスが発生した場合、第２符号化パケットＤ６において、ヘッダーＤ６１にスタートコードＳＣが位置せず、ペイロードＤ６２に符号化済みの画像フレームＤ２が位置しない。
【００２２】
そこで、プロジェクター２は、ヘッダーＤ６１にスタートコードＳＣが存在する場合、第２符号化パケットＤ６、具体的にはペイロードＤ６２の符号化済みの画像フレームＤ２を復号することによって、画像フレームＤ１を生成する。
また、プロジェクター２は、ヘッダーＤ６１にスタートコードＳＣが存在しない場合、第２符号化パケットＤ６、具体的にはペイロードＤ６２の符号化済みの画像フレームＤ２を復号することなく破棄する。
【００２３】
Ａ３：画像供給装置１の一例
図３は、画像供給装置１の一例を示す図である。画像供給装置１は、画像データ出力部１０１と、画像エンコーダー１０２と、画像エンクリプター１０３と、音声データ出力部１０４と、音声エンコーダー１０５と、音声エンクリプター１０６と、マルチプレクサー１０７と、第１通信部１０８と、を含む。
【００２４】
画像データ出力部１０１は、例えば回路によって構成される。画像データ出力部１０１は、動画を示す複数の画像フレームＤ１を出力する。複数の画像フレームＤ１は、例えば、映画の動画を示す。
【００２５】
画像エンコーダー１０２は、例えば回路によって構成される。画像エンコーダー１０２は、複数の画像フレームＤ１の各々をＨ．２６４形式で圧縮することによって複数の符号化済みの画像フレームＤ２を生成する。動画圧縮の形式は、Ｈ．２６４に限らない。例えば、動画圧縮の形式としてＨ．２６５が用いられてもよい。Ｈ．２６５は、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）とも称される。画像エンコーダー１０２は、符号化済みの画像フレームＤ２ごとに、符号化済みの画像フレームＤ２の開始位置の前にスタートコードＳＣを配置する。Ｈ．２６４では、スタートコードとして「０ｘ００１」が用いられる。Ｈ．２６５では、スタートコードとして「０ｘ０００１」が用いられる。
【００２６】
複数の符号化済みの画像フレームＤ２の各々は、ＩフレームとＰフレームとＢフレームのいずれかである。
【００２７】
Ｉフレームは、イントラ符号化フレーム（Intra coded Frame）である。Ｉフレームは、画像フレームをフレーム内圧縮によって符号化することによって生成されるフレームである。Ｉフレームの元になる画像フレームは、第１画像フレームの一例である。Ｉフレームは、他のフレームを参照することなく、単独で復号可能なフレームである。
【００２８】
Ｐフレームは、予測符号化フレーム（Predicted Frame）である。Ｐフレームは、画像フレームをフレーム間圧縮によって符号化することによって生成されるフレームである。Ｐフレームに元になる画像フレームは、第２画像フレームの一例である。Ｐフレームは、画像ストリームにおいて、当該Ｐフレームの元になる画像フレームよりも時間的に前に存在する画像フレームを用いるフレーム間圧縮によって符号化することによって生成されるフレームである。Ｐフレームは、画像符号化データの一例である。
【００２９】
Ｂフレームは、双方向予測符号化フレーム（Bidirectional Predicted Frame）である。Ｂフレームは、フレーム間圧縮によって符号化されたフレームである。Ｂフレームは、画像ストリームにおいて当該Ｂフレームの元になる画像フレームよりも時間的に前に存在する画像フレームと、画像ストリームにおいて当該Ｂフレームの元になる画像フレームよりも時間的に後に存在する画像フレームと、を用いるフレーム間圧縮によって符号化されたフレームである。
【００３０】
Ｉフレームの開始位置を示すスタートコードＳＣとＩフレームは、第１符号化パケットＤ３に含まれる。Ｉフレームの開始位置を示すスタートコードＳＣは、第１符号化パケットＤ３のヘッダーＤ３１の先頭に含まれ、Ｉフレームは、第１符号化パケットＤ３のペイロードＤ３２に含まれる。
【００３１】
Ｐフレームの開始位置を示すスタートコードＳＣとＰフレームは、第３符号化パケットに含まれる。Ｐフレームの開始位置を示すスタートコードＳＣは、第３符号化パケットのヘッダーの先頭に含まれ、Ｐフレームは、第３符号化パケットのペイロードに含まれる。第３符号化パケットは、第３符号化データの一例である。
【００３２】
Ｂフレームの開始位置を示すスタートコードＳＣとＢフレームは、第５符号化パケットに含まれる。Ｂフレームの開始位置を示すスタートコードＳＣは、第５符号化パケットのヘッダーの先頭に含まれ、Ｂフレームは、第５符号化パケットのペイロードに含まれる。
【００３３】
複数の符号化済みの画像フレームＤ２と複数のスタートコードＳＣは、第１符号化画像ストリームを構成する。第１符号化画像ストリームは、例えば、第１符号化パケットと、第３符号化パケットと、第５符号化パケットとを含む。
【００３４】
画像エンクリプター１０３は、例えば回路によって構成される。画像エンクリプター１０３は、第１符号化画像ストリームを暗号化することによって暗号化画像ストリームを生成する。暗号化画像ストリームは、例えば、第１暗号化ＰＥＳパケットと、第３暗号化ＰＥＳパケットと、第５暗号化ＰＥＳパケットとを含む。
【００３５】
画像エンクリプター１０３は、Ｉフレームを含む第１符号化パケットＤ３に対して暗号化キーを用いる暗号化を実行することによって、第１暗号化データＤ４を生成する。画像エンクリプター１０３は、第１暗号化データＤ４をペイロードＤ５２に搭載する第１暗号化ＰＥＳパケットＤ５を生成する。画像エンクリプター１０３は、第１暗号化ＰＥＳパケットＤ５のヘッダーＤ５１に暗号化キー５１ａを搭載する。第１暗号化ＰＥＳパケットＤ５のヘッダーＤ５１には、デクリプトフラグ５１ｂが設けられている。
【００３６】
画像エンクリプター１０３は、Ｐフレームを含む第３符号化パケットに対して暗号化キーを用いる暗号化を実行することによって、第３暗号化データを生成する。第３暗号化データは、第２暗号化データの一例である。画像エンクリプター１０３は、第３暗号化データをペイロードに搭載する第３暗号化ＰＥＳパケットを生成する。画像エンクリプター１０３は、第３暗号化ＰＥＳパケットのヘッダーに暗号化キーを搭載する。第３暗号化ＰＥＳパケットのヘッダーには、デクリプトフラグが設けられている。
【００３７】
画像エンクリプター１０３は、Ｂフレームを含む第５符号化パケットに対して暗号化キーを用いる暗号化を実行することによって、第５暗号化データを生成する。画像エンクリプター１０３は、第５暗号化データをペイロードに搭載する第５暗号化ＰＥＳパケットを生成する。画像エンクリプター１０３は、第５暗号化ＰＥＳパケットのヘッダーに暗号化キーを搭載する。第５暗号化ＰＥＳパケットのヘッダーには、デクリプトフラグが設けられている。
【００３８】
音声データ出力部１０４は、例えば回路によって構成される。音声データ出力部１０４は、音声を示す音声データを含む音声ストリームを出力する。音声データは、例えば、映画の音声を示す。
【００３９】
音声エンコーダー１０５は、例えば回路によって構成される。音声エンコーダー１０５は、音声ストリームを圧縮することによって符号化済みの音声ストリームを生成する。以下、符号化済みの音声ストリームを「第１符号化音声ストリーム」と称する。第１符号化音声ストリームは、第１符号化音声パケットを含む。第１符号化音声パケットのペイロードには、音声データを符号化することによって生成される符号化音声データが搭載される。
【００４０】
音声エンクリプター１０６は、例えば回路によって構成される。音声エンクリプター１０６は、第１符号化音声ストリームを暗号化することによって暗号化済みの音声ストリームを生成する。以下、暗号化済みの音声ストリームを「暗号化音声ストリーム」と称する。音声エンクリプター１０６は、第１符号化音声パケットに対して暗号化キーを用いる暗号化を実行することによって、暗号化音声データを生成する。音声エンクリプター１０６は、暗号化音声データをペイロードに搭載する音声ＰＥＳパケットを生成する。音声エンクリプター１０６は、音声ＰＥＳパケットのヘッダーに暗号化キーを搭載する。
【００４１】
マルチプレクサー１０７は、例えば回路によって構成される。マルチプレクサー１０７は、暗号化画像ストリームと暗号化音声ストリームとを多重化することによって多重化ストリームを生成する。
【００４２】
第１通信部１０８は、例えば回路によって構成される。第１通信部１０８は、多重化ストリームをトランスポートストリームでプロジェクター２へ無線送信する。多重化ストリームは、配信データの一例である。
【００４３】
Ａ４：プロジェクター２の一例
図４は、プロジェクター２の一例を示す図である。プロジェクター２は、第２通信部２０１と、デマルチプレクサー２０２と、画像デクリプター２０３と、画像デコーダー２０４と、画像処理部２０５と、フレームメモリー２０６と、ライトバルブ駆動部２０７と、投射部２０８と、音声デクリプター２０９と、音声デコーダー２１０と、音声処理部２１１と、スピーカー２１２と、記憶部２１３と、処理部２１４と、を含む。投射部２０８は、光源２１と、赤色用液晶ライトバルブ２２Ｒと、緑色用液晶ライトバルブ２２Ｇと、青色用液晶ライトバルブ２２Ｂと、投射光学系２３と、を含む。第２通信部２０１と、デマルチプレクサー２０２と、画像デクリプター２０３と、画像デコーダー２０４と、記憶部２１３と、処理部２１４とは、画像処理装置１００に含まれる。
【００４４】
以下、赤色用液晶ライトバルブ２２Ｒと、緑色用液晶ライトバルブ２２Ｇと、青色用液晶ライトバルブ２２Ｂとを相互に区別する必要がない場合、これらを「液晶ライトバルブ２２」と称する。
【００４５】
また、第１暗号化ＰＥＳパケットＤ５と、第３暗号化ＰＥＳパケットと、第５暗号化ＰＥＳパケットと、音声ＰＥＳパケットとを相互に区別する必要がない場合、これらを「ＰＥＳパケット」と称する。
【００４６】
第２通信部２０１は、例えば回路によって構成される。第２通信部２０１は、画像供給装置１からトランスポートストリームで無線送信された多重化ストリームを受信する。
【００４７】
デマルチプレクサー２０２は、例えば回路によって構成される。デマルチプレクサー２０２は、デマクサー（Demuxer）とも称される。デマルチプレクサー２０２は、トランスポートストリームで送信された多重化ストリームから、暗号化画像ストリームと、暗号化音声ストリームとを生成する。デマルチプレクサー２０２は、暗号化画像ストリームを画像デクリプター２０３に提供する。デマルチプレクサー２０２は、暗号化音声ストリームを音声デクリプター２０９に提供する。
【００４８】
画像デクリプター２０３は、例えば回路によって構成される。画像デクリプター２０３は、暗号化画像ストリームに対して解読処理を実行することによって、第２符合化画像ストリームを生成する。画像デクリプター２０３は、生成部の一例である。例えば、画像デクリプター２０３は、以下のように動作する。
【００４９】
画像デクリプター２０３は、暗号化画像ストリーム内の第１暗号化ＰＥＳパケットＤ５のペイロードＤ５２に搭載されている第１暗号化データに対して、第１暗号化ＰＥＳパケットＤ５のヘッダーＤ５１に存在する暗号化キーを用いる解読処理を実行することによって、第２符号化パケットＤ６を生成する。解読処理が正常に実行された場合、第２符号化パケットＤ６のペイロードＤ６２にはＩフレームが存在する。第２符号化パケットは、第２符号化データの一例である。暗号化キーは、暗号化データを解読するための解読情報の一例である。
【００５０】
画像デクリプター２０３は、暗号化画像ストリーム内の第３暗号化ＰＥＳパケットのペイロードに搭載されている第３暗号化データに対して、第３暗号化ＰＥＳパケットのヘッダーに存在する暗号化キーを用いる解読処理を実行することによって、第４符号化パケットを生成する。解読処理が正常に実行された場合、第４符号化パケットのペイロードにはＰフレームが存在する。第４符号化パケットは、第４符号化データの一例である。
【００５１】
画像デクリプター２０３は、暗号化画像ストリーム内の第５暗号化ＰＥＳパケットのペイロードに搭載されている第５暗号化データに対して、第５暗号化ＰＥＳパケットのヘッダーに存在する暗号化キーを用いる解読処理を実行することによって、第６符号化パケットを生成する。解読処理が正常に実行された場合、第６符号化パケットのペイロードにはＢフレームが存在する。
【００５２】
第２符号化パケットＤ６と第４符号化パケットと第６符号化パケットの各々は、第２符号化画像ストリームの要素となる。第２符号化画像ストリームは、第２符号化データの他の例である。
【００５３】
画像デコーダー２０４は、例えば回路によって構成される。画像デコーダー２０４は、復号部の一例である。画像デコーダー２０４は、第２符号化画像ストリーム内の第２符号化パケットＤ６を受ける場合、第２符号化パケットＤ６のヘッダーに存在するスタートコードＳＣを基準に、第２符号化パケットＤ６のペイロードＤ６２のＩフレームを特定する。画像デコーダー２０４は、Ｉフレームを復号する。
【００５４】
画像デコーダー２０４は、第２符号化画像ストリーム内の第４符号化パケットを受ける場合、第４符号化パケットのヘッダーに存在するスタートコードＳＣを基準に、第４符号化パケットのペイロードのＰフレームを特定する。画像デコーダー２０４は、Ｐフレームを、Ｐフレームの生成時に用いた画像フレーム、例えばＩフレームの元になった画像フレームを用いて復号する。
【００５５】
画像デコーダー２０４は、第２符号化画像ストリームに含まれる第６符号化パケットを受ける場合、第６符号化パケットのヘッダーに存在するスタートコードを基準に、第６符号化パケットのペイロードのＢフレームを特定する。画像デコーダー２０４は、Ｂフレームを、Ｂフレームの生成時に用いた画像フレームを用いて復号する。
【００５６】
画像処理部２０５は、単数または複数のイメージプロセッサー等の回路にて構成される。画像処理部２０５は、例えば、画像デコーダー２０４から画像フレームを受ける。
【００５７】
画像処理部２０５は、画像フレームをフレームメモリー２０６に展開する。フレームメモリー２０６は、例えば、ＲＡＭ（Random Access Memory）等の記憶装置によって構成される。画像処理部２０５は、フレームメモリー２０６に展開された画像フレームに画像処理を施すことによって画像信号を生成する。
【００５８】
画像処理部２０５が実行する画像処理は、例えば、解像度変換処理を包含する。解像度変換処理では、画像処理部２０５は、画像フレームの解像度を、例えば液晶ライトバルブ２２の解像度に変換する。画像処理部２０５は、解像度変換処理に加えて、他の画像処理、例えば、投射部２０８が投射する画像の台形歪みを補正する幾何補正処理と、画像供給装置１から提供される画像フレームが示す画像にＯＳＤ（On Screen Display）画像を重畳するＯＳＤ処理を実行してもよい。
【００５９】
ライトバルブ駆動部２０７は、例えば、ドライバー等の回路で構成される。ライトバルブ駆動部２０７は、画像処理部２０５から提供される画像信号に基づいて液晶ライトバルブ２２を駆動する。
【００６０】
投射部２０８は、画像信号に基づく画像を投射面３に投射することによって画像を投射面３に表示する。投射面３は、表示面の一例である。
【００６１】
光源２１は、例えば、ＬＥＤである。光源２１は、ＬＥＤに限らず、例えば、キセノンランプ、超高圧水銀ランプ、またはレーザー光源でもよい。光源２１から出射される光は、不図示のインテグレーター光学系によって輝度分布のばらつきが低減され、その後、不図示の色分離光学系によって光の３原色である赤色、緑色、青色の色光成分に分離される。赤色の色光成分は赤色用液晶ライトバルブ２２Ｒに入射する。緑色の色光成分は緑色用液晶ライトバルブ２２Ｇに入射する。青色の色光成分は青色用液晶ライトバルブ２２Ｂに入射する。
【００６２】
液晶ライトバルブ２２は、一対の透明基板間に液晶が存在する液晶パネル等によって構成される。液晶ライトバルブ２２は、マトリクス状に位置する複数の画素２２ｐを含む矩形の画素領域２２ａを有する。液晶ライトバルブ２２では、液晶に対して画素２２ｐごとに駆動電圧が印加される。ライトバルブ駆動部２０７が、画像信号に基づく駆動電圧を各画素２２ｐに印加すると、各画素２２ｐは、駆動電圧に基づく光透過率に設定される。光源２１から出射される光は、画素領域２２ａを通ることで変調され画像信号に基づく画像が色光ごとに形成される。液晶ライトバルブ２２は、光変調装置の一例である。
【００６３】
各色の画像は、図示しない色合成光学系によって画素２２ｐごとに合成され、カラー画像が生成される。カラー画像は、投射光学系２３を介して投射される。
【００６４】
音声デクリプター２０９は、例えば回路によって構成される。音声デクリプター２０９は、暗号化音声ストリームに対して解読処理を実行することによって、第２符合化音声ストリームを生成する。具体的には、音声デクリプター２０９は、暗号化音声ストリームに含まれる音声ＰＥＳパケットのペイロードに搭載されている暗号化音声データに対して、音声ＰＥＳパケットのヘッダーに存在する暗号化キーを用いる解読処理を実行することによって、第２符号化音声パケットを生成する。第２符号化音声パケットは、第２符号化音声ストリームの要素となる。
【００６５】
音声デコーダー２１０は、例えば回路によって構成される。音声デコーダー２１０は、第２符合化音声ストリームに含まれる第２符号化音声パケットのペイロードの符号化音声データを復号することによって音声データを生成する。
【００６６】
音声処理部２１１は、音声データに基づいて音声信号を生成する。例えば、音声処理部２１１は、音量指示に基づいて音声データを処理することによって音声信号を生成する。スピーカー２１２は、音声信号に基づく音を出力する。
【００６７】
記憶部２１３は、処理部２１４が読み取り可能な記録媒体である。記憶部２１３は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーとしては、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）およびＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）が挙げられる。揮発性メモリーとしては、例えば、ＲＡＭが挙げられる。
【００６８】
記憶部２１３は、処理部２１４によって実行される制御プログラムと、処理部２１４が使用する各種のデータと、を記憶する。
【００６９】
処理部２１４は、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、処理部２１４は、単数または複数のＣＰＵ（Central Processing Unit）によって構成される。処理部２１４の機能の一部または全部は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等の回路によって構成されてもよい。処理部２１４は、各種の処理を並列的または逐次的に実行する。
【００７０】
処理部２１４は、記憶部２１３から制御プログラムを読み取り実行することによって、判定部２１４ａおよび復号制御部２１４ｂとして機能する。
【００７１】
判定部２１４ａは、画像デクリプター２０３の解読結果である第２符号化画像ストリームがスタートコードＳＣを含むか否かを判定する。例えば、判定部２１４ａは、第２符号化画像ストリーム内の第２符号化パケットＤ６を受ける場合、第２符号化パケットＤ６にスタートコードＳＣが存在するか否かを判定する。
判定部２１４ａは、第２符号化画像ストリーム内の第４符号化パケットを受ける場合、第４符号化パケットにスタートコードＳＣが存在するか否かを判定する。
判定部２１４ａは、第２符号化画像ストリーム内の第６符号化パケットを受ける場合、第６符号化パケットにスタートコードＳＣが存在するか否かを判定する。
【００７２】
画像デクリプター２０３の解読結果がスタートコードＳＣを含む場合、画像デクリプター２０３による解読処理が正常に実行されていると想定される。
一方、画像デクリプター２０３の解読結果がスタートコードＳＣを含まない場合、画像デクリプター２０３による解読処理が正常に実行されていないと想定される。
例えば、解読処理に用いる暗号化キーが、画像供給装置１からプロジェクター２へ無線送信されている間にノイズの影響を受けることによって変わってしまった場合、第２符号化画像ストリームに含まれる符号化パケット、例えば、第２符号化パケットのヘッダーの先頭にスタートコードＳＣが存在しなくなる。
また、第１暗号化画像ストリームが、画像供給装置１からプロジェクター２へ無線送信されている間にノイズの影響を受けることによって変わってしまった場合、暗号化キーが正しくても、第２符号化画像ストリームに含まれる符号化パケット、例えば、第２符号化パケットのヘッダーの先頭にスタートコードＳＣが存在しなくなる可能性が高くなる。
また、画像デクリプター２０３が解読処理を実行している間に、画像デクリプター２０３がノイズの影響を受けると、暗号化キーが正しくても、第２符号化画像ストリームに含まれる符号化パケット、例えば、第２符号化パケットのヘッダーの先頭にスタートコードＳＣが存在しなくなる可能性が高くなる。
【００７３】
判定部２１４ａは、画像デクリプター２０３の解読結果がスタートコードＳＣを含むか否かを判定することによって、画像デクリプター２０３による解読処理が正常に実行されているか否かを判定する。
【００７４】
復号制御部２１４ｂは、第２符号化画像ストリーム内の第２符号化パケットＤ６がスタートコードＳＣを含む場合、画像デコーダー２０４に第２符号化パケットＤ６を提供する。復号制御部２１４ｂは、画像デコーダー２０４に第２符号化パケットＤ６を提供することによって、画像デコーダー２０４に、第２符号化パケットのペイロードに搭載されているＩフレームを復号させる。
【００７５】
復号制御部２１４ｂは、第２符号化パケットＤ６がスタートコードＳＣを含まない場合、画像デコーダー２０４に第２符号化パケットＤ６を提供しない。復号制御部２１４ｂは、画像デコーダー２０４に第２符号化パケットＤ６を提供しないことによって、画像デコーダー２０４に、第２符号化パケットのペイロードに搭載されているＩフレームを復号させない。この場合、復号制御部２１４ｂは、第２符号化パケットＤ６を破棄する。
【００７６】
復号制御部２１４ｂは、第２符号化画像ストリーム内の第４符号化パケットがスタートコードＳＣを含む場合、画像デコーダー２０４に第４符号化パケットを提供することによって、画像デコーダー２０４に、第４符号化パケットのペイロードに搭載されているＰフレームを復号させる。
なお、画像デコーダー２０４は、Ｐフレームの復号に必要な画像フレームが存在しない場合、Ｐフレームを復号せずに破棄する。一例を挙げると、Ｐフレームが生成される際に用いられた画像フレームが存在しない場合、例えば、当該画像フレームを符号化したＩフレーム等の符号化済みの画像フレームが復号されていない場合、画像デコーダー２０４は、Ｐフレームを復号せずに破棄する。
復号制御部２１４ｂは、第４符号化パケットがスタートコードＳＣを含まない場合、画像デコーダー２０４に第４符号化パケットを提供しないことによって、画像デコーダー２０４に第４符号化パケットのペイロードを復号させない。この場合、復号制御部２１４ｂは、第４符号化パケットを破棄する。
【００７７】
復号制御部２１４ｂは、第２符号化画像ストリーム内の第６符号化パケットがスタートコードＳＣを含む場合、画像デコーダー２０４に第６符号化パケットを提供することによって、画像デコーダー２０４に、第６符号化パケットのペイロードに搭載されているＢフレームを復号させる。
復号制御部２１４ｂは、第６符号化パケットがスタートコードＳＣを含まない場合、画像デコーダー２０４に第６符号化パケットを提供しないことによって、画像デコーダー２０４に第６符号化パケットのペイロードを復号させない。この場合、復号制御部２１４ｂは、第６符号化パケットを破棄する。
【００７８】
Ａ５：プロジェクター２の動作の一例
次に、プロジェクター２の動作を説明する。以下では、説明の簡略化のため、画像供給装置１が多重化ストリームをトランスポートストリームでプロジェクター２へ無線送信しているとする。また、多重化ストリームに含まれる暗号化画像ストリームに基づいて表示される動画のフレームレートが３０ｆｐｓ（frame per second）であるとする。なお、当該フレームレートは、３０ｆｐｓに限らず適宜変更可能である。
【００７９】
第２通信部２０１は、多重化ストリームを受信する。デマルチプレクサー２０２は、第２通信部２０１が受信した多重化ストリームから、暗号化画像ストリームと、暗号化音声ストリームとを生成する。デマルチプレクサー２０２は、暗号化画像ストリームを画像デクリプター２０３に提供し、暗号化音声ストリームを音声デクリプター２０９に提供する。
【００８０】
図５は、暗号化画像ストリームの処理動作を説明するためのフローチャートである。以下では、第１暗号化ＰＥＳパケットＤ５が画像デクリプター２０３に到着した場合を例に説明する。
【００８１】
ステップＳ１０１において画像デクリプター２０３は、第１暗号化ＰＥＳパケットＤ５のヘッダー５１に位置するデクリプトフラグ５１ｂが立っているか否かを判定する。
【００８２】
デクリプトフラグ５１ｂが立っている場合、ステップＳ１０２において画像デクリプター２０３は、ペイロードＤ５２の第１暗号化データＤ４に対して、ヘッダー５１の暗号化キー５１ａを用いる解読処理を実行することによって、第２符号化パケットＤ６を生成する。画像デクリプター２０３は、第２符号化パケットＤ６を第２符号化画像ストリームの一部として、判定部２１４ａに出力する。
【００８３】
続いて、ステップＳ１０３において判定部２１４ａは、判定部２１４ａの内部タイマーを初期化し、その後、内部タイマーを動作させる。内部タイマーは、判定部２１４ａから独立したタイマーでもよい。
ここで、暗号化画像ストリームに基づいて表示される動画のフレームレートが３０ｆｐｓであるため、解読処理が正常に行われていれば、第２符号化画像ストリームにおいてスタートコードＳＣは、１／３０秒経過するまでに１回現れる。
そこで、判定部２１４ａは、内部タイマーのタイムアウト時間として１／３０秒を設定する。なお、内部タイマーのタイムアウト時間は１／３０秒に限らず、動画のフレームレートの逆数の時間以上の時間に設定されればよい。
【００８４】
続いて、ステップＳ１０４において判定部２１４ａは、第２符号化パケットＤ６のうち判定部２１４ａに到達している部分に、スタートコードＳＣが存在するか否かを判定する。
【００８５】
スタートコードＳＣが存在する場合、ステップＳ１０５において復号制御部２１４ｂは、第２符号化パケットＤ６の画像デコーダー２０４への提供を開始する。画像デコーダー２０４は、第２符号化パケットＤ６を受ける場合、ヘッダーＤ６１に記載のスタートコードＳＣを基準に、ペイロードＤ６２に搭載されているＩフレームを特定する。続いて、画像デコーダー２０４はＩフレームの復号を開始する。
【００８６】
ステップＳ１０４においてスタートコードＳＣが存在しない場合、ステップＳ１０６において判定部２１４ａは、内部タイマーにおいてタイムアウトが発生したか否かを判定する。
【００８７】
タイムアウトが発生していない場合、ステップＳ１０７において判定部２１４ａは、画像デクリプター２０３から新たに提供される第２符号化画像ストリームを、スタートコードＳＣについての新たな検索対象とする。続いて、処理がステップＳ１０４に戻る。
【００８８】
ステップＳ１０６においてタイムアウトが発生した場合、ステップＳ１０８において復号制御部２１４ｂは、解読処理が失敗であると判断し、第２符号化画像ストリーム、具体的には第２符号化パケットＤ６を画像デコーダー２０４に提供せずに破棄する。このため、乱れた画像が表示されることを抑制できる。この場合、投射部２０８は、投射している画像を更新せずに維持する。
【００８９】
なお、ステップＳ１０１においてデクリプトフラグ５１ｂが立っていない場合、処理はステップＳ１０５に進む。
また、第３暗号化ＰＥＳパケットおよび第５暗号化ＰＥＳパケットの各々が画像デクリプター２０３に到着した場合も、第１暗号化ＰＥＳパケットが画像デクリプター２０３に到着した場合と同様の動作が実行される。
【００９０】
音声デクリプター２０９は、暗号化音声ストリーム内の音声ＰＥＳパケットのペイロードの暗号化音声データに対して、音声ＰＥＳパケットのヘッダーに存在する暗号化キーを用いる解読処理を実行することによって、第２符号化音声パケットを生成する。続いて、音声デクリプター２０９は、第２符号化音声パケットを音声デコーダー２１０に提供する。
【００９１】
音声デコーダー２１０は、第２符号化音声パケットのペイロードの符号化音声データを復号することによって音声データを生成する。
【００９２】
音声処理部２１１は、音声デコーダー２１０が生成した音声データに基づいて音声信号を生成する。スピーカー２１２は、音声信号に基づく音を出力する。
【００９３】
Ａ６：第１実施形態についてのまとめ
上述の本実施形態に係る画像処理方法および画像処理装置は以下の態様を含む。
【００９４】
画像デクリプター２０３は、第１暗号化画像ストリームに含まれる第１暗号化ＰＥＳパケットＤ５のペイロードＤ５２に対して解読処理を実行することにより第２符号化パケットＤ６を生成する。判定部２１４ａは、第２符号化パケットＤ６がスタートコードＳＣを含むか否かを判定する。復号制御部２１４ｂは、第２符号化パケットＤ６がスタートコードＳＣを含む場合、第２符号化パケットＤ６を画像デコーダー２０４に提供することによって、画像デコーダー２０４に、第２符号化パケットＤ６内の符号化済みの画像フレームＤ２を復号させる。復号制御部２１４ｂは、第２符号化パケットＤ６がスタートコードＳＣを含まない場合、第２符号化パケットＤ６を画像デコーダー２０４に提供することなく、すなわち、画像デコーダー２０４に、第２符号化パケットＤ６に含まれる符号化済みの画像フレームＤ２を復号させることなく、第２符号化パケットＤ６を破棄する。
【００９５】
第２符号化パケットＤ６がスタートコードＳＣを含まない場合、解読処理に不具合が生じた可能性がある。この態様によれば、第２符号化パケットＤ６がスタートコードＳＣを含まない場合、第２符号化パケットＤ６のペイロードＤ６２のデータは画像デコーダー２０４によって復号されない。このため、解読に失敗したデータを復号するという無駄な復号が実行されることを抑制できる。また、復号結果に応じた画像を表示する場合には、解読に失敗したデータの復号結果に応じた画像が表示されることを抑制できる。
【００９６】
第１データの一例であるスタートコードＳＣは、第１符号化パケットＤ３における符号化済みの画像フレームＤ２の位置を示す情報である。具体的には、第１符号化パケットＤ３では、スタートコードＳＣの後に符号化済みの画像フレームＤ２が位置する。このため、符号化済みの画像フレームＤ２を特定するための情報であるスタートコードＳＣを、解読処理の成否判定に兼用できる。よって、第１データとして、解読処理の成否判定のための専用のデータを採用する構成に比べて、データ量を少なくできる。なお、第１データとしてスタートコードＳＣを用いる構成に対してデータ量は多くなるが、解読処理の成否判定のための専用のデータを採用しても、無駄な復号が実行されることを抑制できる。
【００９７】
第２符号化画像ストリームのうち、画像フレームＤ１の１フレーム分の部分、例えば、画像フレームＤ１のフレームレートが３０ｆｐｓである場合に１／３０秒間に画像デクリプター２０３によって生成される部分に、スタートコードＳＣが存在する場合、判定部２１４ａは、第２符号化画像ストリームがスタートコードＳＣを含むと判定する。第２符号化画像ストリームのうち画像フレームの１フレーム分の部分に、スタートコードＳＣが存在しない場合、判定部２１４ａは、第２符号化画像ストリームがスタートコードＳＣを含まないと判定する。このため、第２符号化画像ストリームのうちスタートコードＳＣの有無の判定に要する部分を、画像フレームに応じて設定できる。
【００９８】
画像デクリプター２０３は、第２通信部２０１が受信済みの第１暗号化画像ストリーム、例えば、受信済みの第１暗号化画像ストリームに含まれる第１暗号化データＤ４に対して解読処理を実行する。この態様によれば、第１暗号化画像ストリームの通信中にノイズ等の影響で第１暗号化データＤ４が変わってしまった場合、第１暗号化データＤ４の解読結果を復号するという無駄な復号が実行されることを抑制できる。
【００９９】
画像デクリプター２０３は、第２通信部２０１が受信済みの暗号化キー５１ａを用いて第１暗号化データＤ４に対して解読処理を実行する。この態様によれば、暗号化キー５１ａの通信中にノイズ等の影響で暗号化キー５１ａが変わってしまった場合、暗号化キー５１ａを用いた解読の結果を復号するという無駄な復号が実行されることを抑制できる。
【０１００】
Ｂ：変形例
以上に例示した実施形態の変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。
【０１０１】
Ｂ１：第１変形例
第１実施形態において、通信技術としてMiracastが用いられたが、通信技術はMiracastに限らず、符号化済みの画像データを暗号化して送信し、暗号化された符号化済みの画像データを受信し、当該画像データを解読し復号化する技術であればよい。
【０１０２】
Ｂ２．第２変形例
第１実施形態および第１変形例において、スタートコードは、Ｈ．２６４またはＨ．２６５で用いられるスタートコードに限らず、Ｈ．２６４およびＨ．２６５のいずれとも異なる圧縮方式で使用されるスタートコードが用いられてよい。また、第１データおよび第２データはスタートコードに限らず、画像ストリームにおいて規格に基づいて付加されている他のコードが用いられてもよい。他のコードの例としては、画像フレームの属性を示すコードが挙げられる。また、早送りおよび早戻し等のトリックプレーのために、画像ストリームに付加されたコードが用いられてもよい。
【０１０３】
Ｂ３．第３変形例
第１実施形態および第１変形例〜第２変形例において、復号制御部２１４ｂは、Ｐフレームをペイロードに搭載する第４符号化パケットがスタートコードを含む状況において、Ｐフレームの生成に用いられたフレームの符号化フレーム、例えばＩフレームが復号されている場合、画像デコーダー２０４に、当該Ｉフレームの復号結果を用いて当該Ｐフレームを復号させてもよい。
復号制御部２１４ｂは、Ｐフレームをペイロードに搭載する第４符号化パケットがスタートコードを含む状況において、Ｐフレームの生成に用いられたフレームの符号化フレーム、例えばＩフレームが復号されていない場合、画像デコーダー２０４に当該Ｐフレームを復号させずに、当該Ｐフレームを破棄してもよい。
第３変形例によれば、解読処理が正常に実行されなかった解読結果に基づく画像フレームを用いて他の画像フレームを復号することを抑制でき、画像のロバスト性を向上できる。
【０１０４】
Ｂ４．第４変形例
第１実施形態および第１変形例〜第３変形例において、光変調装置の一例として液晶ライトバルブ２２が用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置は、３枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、１枚の液晶パネルを用いた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤが用いられる場合、色分離光学系および色合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源２１が発した光を変調可能な構成は、光変調装置として採用できる。
【０１０５】
Ｂ５．第５変形例
第１実施形態および第１変形例〜第４変形例において、表示装置として、プロジェクター２ではなくＦＰＤが用いられる場合、ＦＰＤは、例えば、タブレット端末またはスマートフォン等の電子機器に搭載されているＦＰＤでもよいし、電子黒板または電子会議システムに用いられているＦＰＤでもよい。
【符号の説明】
【０１０６】
１…画像供給装置、２…プロジェクター、１００…画像処理装置、２０１…第２通信部、２０２…デマルチプレクサー、２０３…画像デクリプター、２０３…画像エンクリプター、２０４…画像デコーダー、２０５…画像処理部、２０６…フレームメモリー、２０７…ライトバルブ駆動部、２０８…投射部、２１３…記憶部、２１４…処理部、２１４ａ…判定部、２１４ｂ…復号制御部。
【図１】
2020182011.tif 000003
【図２】
2020182011.tif 000004
【図３】
2020182011.tif 000005
【図４】
2020182011.tif 000006
【図５】
2020182011.tif 000007