(57)【要約】【課題】動画像に含まれる関心領域画像のうち指定された関心領域画像については、他の関心領域画像よりも高解像度の画像を得る。【解決手段】関心領域画像抽出部３４は、順次入力される入力画像から複数の関心領域画像を抽出する。関心領域画像符号化部３６は、暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像は、前回の暗号化対象画像において選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化し、非選択関心領域画像を第２の符号化方法で符号化し、非暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像は第３の符号化方法で符号化する。暗号化部３８は、個々の暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像の各々を符号化したフレーム画像を、個々の暗号化対象画像における選択関心領域画像に対応した暗号鍵で暗号化する。【選択図】図１
2014060512.tif 000002
【特許請求の範囲】
【請求項１】
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、
暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、
個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、
を含む動画像符号化装置。
【請求項２】
前記第１の符号化方法は、他のフレーム画像を参照せずに符号化する符号化方法であり、前記第２の符号化方法及び前記第３の符号化方法は、他のフレーム画像を参照して符号化する符号化方法である
請求項１記載の動画像符号化装置。
【請求項３】
前記関心領域画像符号化部は、前記第１の符号化方法として、前記選択関心領域画像をイントラ符号化し、前記第２の符号化方法として、直前の前記非暗号化対象画像として符号化されたフレーム画像を参照画像として前記非選択関心領域画像をインター符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
請求項２記載の動画像符号化装置。
【請求項４】
前記関心領域画像符号化部は、前記第１の符号化方法として、前記選択関心領域画像をイントラ符号化し、前記第２の符号化方法として、前記非選択関心領域画像をダミー画像に置き換えてイントラ符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
請求項２記載の動画像符号化装置。
【請求項５】
前記入力画像に対して予め定めた画像処理を施す画像処理部と、
前記画像処理を施した前記入力画像を符号化する入力画像符号化部と、
を備えた請求項１〜請求項４の何れか１項に記載の動画像符号化装置。
【請求項６】
前記入力画像に対して予め定めた画像処理を施す画像処理部と、
前記画像処理を施した前記入力画像を符号化する入力画像符号化部と、
を備え、
前記関心領域画像符号化部は、前記第１の符号化方法として、前記入力画像符号化部により符号化されたフレーム画像を参照画像として前記選択関心領域画像をインター符号化し、前記第２の符号化方法として、直前の前記非暗号化対象画像として符号化されたフレーム画像を参照画像として前記非選択関心領域画像をインター符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
請求項１記載の動画像符号化装置。
【請求項７】
前記予め定めた画像処理は、前記入力画像を縮小する処理又は前記入力画像に含まれる前記関心領域画像のみをモザイク化する処理である
請求項５又は請求項６記載の動画像符号化装置。
【請求項８】
順次入力される入力画像から複数の関心領域画像を抽出し、
暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化し、
個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する
ことを含む動画像符号化方法。
【請求項９】
コンピュータに、
順次入力される入力画像から複数の関心領域画像を抽出し、
暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化し、
個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する
ことを含む処理を実行させるための動画像符号化プログラム。
【請求項１０】
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像に対応した前記暗号鍵で暗号化された前記選択関心領域画像のフレーム画像を、前記暗号鍵で復号する復号化部と、
前記復号を指示された関心領域画像のフレーム画像を伸張する関心領域画像伸張部と、
を備えた動画像復号化装置。
【請求項１１】
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像に対応した前記暗号鍵で暗号化された前記選択関心領域画像のフレーム画像を、前記暗号鍵で復号し、
前記復号を指示された関心領域画像のフレーム画像を伸張する
ことを含む動画像復号化方法。
【請求項１２】
コンピュータに、
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像に対応した前記暗号鍵で暗号化された前記選択関心領域画像のフレーム画像を、前記暗号鍵で復号し、
前記復号を指示された関心領域画像のフレーム画像を伸張する
ことを含む処理を実行させるための動画像復号化プログラム。
【請求項１３】
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置と、
前記動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像に対応した前記暗号鍵で暗号化された前記選択関心領域画像のフレーム画像を、前記暗号鍵で復号する復号化部と、前記復号を指示された関心領域画像のフレーム画像を伸張する関心領域画像伸張部と、を備えた動画像復号化装置と、
を備えた動画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法、動画像復号化プログラム、及び動画像処理装置に関する。
【背景技術】
【０００２】
近年では、カメラ技術、特に動画像の符号化及び復号化の技術の進歩に伴って、監視カメラ等でも非常に高精細な画像を記録し、監視に供することが可能になってきている。一方で、プライバシー保護の観点からは、一般人が高精細に写っている画像が誰もがアクセス可能な状態におかれることは好ましくない。
【０００３】
一方、プライバシー保護のために解像度の低い画像で記録したり、人の顔にモザイクをかけたりすると、高解像度の画像ではないため、監視能力が低下してしまう。
【０００４】
また、誰もがアクセスできないように、画像に対して暗号化を行うという方法もあるが、画像全体に暗号化を行ってしまうと、特定の個人の顔の画像だけを復元したい場合でも、その他の一緒に写っている人の画像も復元されてしまう。これはプライバシー保護の観点から好ましくない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２５１６０５号公報
【特許文献２】国際公開第２００９／１４４７９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
また、画像の一部を暗号化する技術があるが、これを監視カメラに適用する場合、画像に含まれる個人の顔を抽出し、それぞれ暗号化する処理が必要となり、処理が煩雑となる。
【０００７】
開示の技術は、一つの側面として、動画像に含まれる関心領域画像のうち指定された関心領域画像については、他の関心領域画像よりも高解像度の画像を得ることが目的である。
【課題を解決するための手段】
【０００８】
開示の技術は、関心領域画像抽出部は、順次入力される入力画像から複数の関心領域画像を抽出する。関心領域画像符号化部は、暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像については、前回の暗号化対象画像において複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択する。関心領域画像符号化部は、選択関心領域画像を第１の符号化方法で符号化する。また、関心領域画像符号化部は、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化する。また、関心領域画像符号化部は、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する。暗号化部は、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する。
【発明の効果】
【０００９】
開示の技術は、一つの側面として、動画像に含まれる関心領域画像のうち指定された関心領域画像については、他の関心領域画像よりも高解像度の画像を得ることができる、という効果を有する。
【図面の簡単な説明】
【００１０】
【図１】動画像符号化装置の機能ブロック図である。
【図２】入力画像からメイン画像とサブ画像を生成する場合について説明するための図である。
【図３】入力画像からメイン画像とサブ画像を生成する場合の他の例について説明するための図である。
【図４】サブ画像を符号化する際の暗号化対象画像及び参照関係について説明するための図である。
【図５】動画像符号化装置として機能するコンピュータのブロック図である。
【図６】動画像復号化装置として機能するコンピュータのブロック図である。
【図７】動画像符号化処理の流れを示すフローチャートである。
【図８】多重化の一例について説明するための図である。
【図９】動画像復号化処理の流れを示すフローチャートである。
【図１０】サブ画像を復号化する際の復号化対象画像及び参照関係について説明するための図である。
【図１１】サブ画像をビュー間予測を用いて符号化する場合について説明するための図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。
【００１２】
図１には、本実施形態に係る動画像処理装置１０が示されている。動画像処理装置１０は、撮影装置１２、動画像符号化装置１４、記憶装置１６、動画像復号化装置１８、及び表示装置２０を備えている。動画像処理装置１０は、例えば、デジタルカメラ、ビデオカメラ、及びカメラ機能付きの携帯電話等、動画像の撮影機能を備えた装置に搭載される。
【００１３】
撮影装置１２は、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮影素子を備えている。撮影装置１２は、動画像の撮影が指示されると、撮影素子により撮影された画像を予め定めたフレームレートで動画像符号化装置１４へ出力する。これにより、動画像符号化装置１４には、撮影素子により撮影された画像が順次入力される。
【００１４】
動画像符号化装置１４は、画像処理部３０、入力画像符号化部３２、関心領域画像抽出部３４、関心領域画像符号化部３６、暗号化部３８、及び多重化部４０を備えている。
【００１５】
画像処理部３０は、撮影装置１２から入力された入力画像に対して予め定めた画像処理を施す。画像処理部３０は、本実施形態では、例えば図２に示すように、関心領域画像Ａ〜Ｃを含む入力画像４２を縮小する処理を実行し、縮小画像４４を生成し、メイン画像とする。なお、図３に示すように、画像処理部３０は、入力画像４２に含まれる関心領域画像Ａ〜Ｃを抽出し、抽出した関心領域画像Ａ〜Ｃのみをモザイク化したモザイク画像４６を生成する処理を実行し、これをメイン画像としてもよい。
【００１６】
入力画像符号化部３２は、メイン画像を圧縮符号化する。本実施形態では、フレーム間予測を用いた圧縮符号化方法、例えばＭＰＥＧ（Moving Picture Experts Group）やＩＴＵ−Ｔ勧告のＨ．２６４等の符号化方法によりメイン画像を符号化する。
【００１７】
関心領域画像抽出部３４は、撮影装置１２から順次入力される入力画像から予め定めた関心領域の画像である関心領域画像を抽出する。関心領域画像は、本実施形態では、例えば人物の顔の画像であるが、これに限られるものではない。図２、３に示す入力画像４２の場合、例えば人物の顔の画像である関心領域画像Ａ〜Ｃが抽出される。また、関心領域画像抽出部３４は、図２、３に示すように、抽出した関心領域画像Ａ〜Ｃを集合した集合画像４８をサブ画像として生成する。
【００１８】
関心領域画像符号化部３６は、入力された入力画像から抽出された複数の関心領域画像から選択した選択関心領域画像を第１の符号化方法で符号化する。
【００１９】
第１の符号化方法は、例えば選択関心領域画像をイントラ符号化する方法である。ここで、イントラ符号化とは、過去の符号化されたフレーム画像を参照してフレーム間予測して符号化するのではなく、符号化対象の入力画像のみから符号化する方法である。従って、復号（伸張）する際には、過去のフレーム画像を参照することなく復号できる。
【００２０】
また、暗号化対象画像は、例えば入力画像がＮ回入力される毎に設定される。図４には、画像の入力順と符号化順が等しく、全ての画像が参照画となりうる画像シーケンス構成で、Ｎ＝３の場合の例を示した。同図では、Ｐ０〜Ｐ８までのサブ画像に含まれる関心領域画像Ａ〜Ｃをそれぞれ符号化した関心領域画像領域の列５０Ａ〜５０Ｃを示した。また、同図における矢印は参照関係を示している。同図に示す例の場合、Ｐ０、Ｐ３、Ｐ６の符号化された関心領域画像Ａ〜Ｃの集合画像を暗号化する。すなわち、入力画像が３回入力される毎に関心領域画像Ａ〜Ｃの集合画像を暗号化する。
【００２１】
また、関心領域画像符号化部３６は、前回の暗号化対象画像において複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択する。例えば図４に示すように、Ｐ０で関心領域画像Ａが選択関心領域画像５２Ａとして選択され、イントラ符号化された場合、次の暗号化対象画像であるＰ３では、関心領域画像Ｂが選択関心領域画像５２Ｂとして選択される。そして、次の暗号化対象画像であるＰ６では、関心領域画像Ｃが選択関心領域画像５２Ｃとして選択される。このように、暗号化対象画像が設定される毎に、前回の暗号化対象画像の選択関心領域画像と異なる関心領域画像が選択される。
【００２２】
また、関心領域画像符号化部３６は、選択関心領域画像以外の非選択関心領域画像を第１の符号化方法と異なる第２の符号化方法で符号化する。第２の符号化方法は、例えば直前の非暗号化対象画像として符号化されたフレーム画像を参照画像（所謂Ｐピクチャ）として非選択関心領域画像をインター符号化する方法である。ここで、インター符号化とは、過去のフレーム画像を参照画像としてフレーム間予測して予測画像を生成し、入力画像と予測画像との差分を符号化する方法である。従って、復号（伸張）する際には、過去のフレーム画像を参照画像として復号する。
【００２３】
例えば図４に示すように、Ｐ３の非選択関心領域画像５４Ａである関心領域画像Ａは、矢印Ａ１で示すように、Ｐ３の直前の非暗号化対象画像であるＰ２で符号化された関心領域画像Ａを参照画像としてインター符号化する。同様に、Ｐ３における非選択関心領域画像５４Ｃである関心領域画像Ｃは、矢印Ｃ１で示すように、Ｐ３の直前の非暗号化対象画像であるＰ２で符号化された関心領域画像Ｃを参照画像としてインター符号化する。
【００２４】
また、関心領域画像符号化部３６は、非暗号化対象画像として生成されたサブ画像に含まれる複数の関心領域画像については、第３の符号化方法で符号化する。第３の符号化方法は、暗号化対象画像の次の非暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像のうち選択関心領域画像に対応する関心領域画像は、暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する。例えば、図４に示すように、非暗号化対象画像であるＰ４の関心領域画像Ｂは、矢印Ｂ１で示すように、暗号化対象画像であるＰ３の選択関心領域画像５２Ｂを参照画像としてインター符号化する。
【００２５】
また、第３の符号化方法では、非選択関心領域画像に対応する関心領域画像については、暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する。例えば、図４に示すように、非暗号化対象画像のＰ４の関心領域画像Ａは、矢印Ａ２で示すように、暗号化対象画像であるＰ３の非選択関心領域画像５４Ａを参照画像とするのではなく、Ｐ３の前のＰ２の関心領域画像Ａを参照画像としてインター符号化する。なお、Ｐ４の関心領域画像Ｃについても同様に、矢印Ｃ２で示すように、Ｐ３よりも前のＰ２の関心領域画像Ｃを参照画像としてインター符号化する。
【００２６】
また、第３の符号化方法は、暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像は、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する。例えば、図４に示すように、暗号化対象画像であるＰ３の次の非暗号化対象画像であるＰ４の後の非暗号化対象画像であるＰ５の関心領域画像Ａは、矢印Ａ３で示すように、Ｐ５の直前のＰ４の関心領域画像Ａを参照画像としてインター符号化する。なお、関心領域画像Ｂ、Ｃについても同様である。
【００２７】
暗号化部３８は、暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像の各々を符号化したフレーム画像を、選択関心領域画像に対応する暗号鍵で暗号化する。例えば、図４に示すように、選択関心領域画像として関心領域画像Ａが選択されたＰ０の関心領域画像Ａ〜Ｃの集合画像は、関心領域画像Ａに対応する暗号鍵ＫｅｙＡで暗号化する。同様に、選択関心領域画像として関心領域画像Ｂが選択されたＰ３の関心領域画像Ａ〜Ｃの集合画像は、関心領域画像Ｂに対応する暗号鍵ＫｅｙＢで暗号化する。同様に、選択関心領域画像として関心領域画像Ｃが選択されたＰ６の関心領域画像Ａ〜Ｃの集合画像は、関心領域画像Ｃに対応する暗号鍵ＫｅｙＣで暗号化する。
【００２８】
多重化部４０は、入力画像符号化部３２によりメイン画像が符号化されたメイン画像符号化データと、関心領域画像符号化部３６によりサブ画像が符号化されたサブ画像符号化データと、を多重化し、動画像符号化データとして記憶装置１６に記憶する。なお、多重化する際、各暗号鍵も多重化される。
【００２９】
動画像復号化装置１８は、分離部６０、入力画像伸張部６２、画像処理部６４、復号化部６６、関心領域画像伸張部６８、関心領域画像切出部７０、及び合成部７２を備えている。
【００３０】
分離部６０は、動画像の復号が指示されると、記憶装置１６に記憶された動画像符号化データを読み出し、読み出した動画像符号化データをメイン画像符号化データとサブ画像符号化データと、に分離する。
【００３１】
入力画像伸張部６２は、メイン画像符号化データを復号（伸張）する。
【００３２】
画像処理部６４は、入力画像伸張部６２によって伸張されたメイン画像に予め定めた画像処理を施す。予め定めた画像処理は、動画像符号化装置１４の画像処理部３０で行われた画像処理と対応する画像処理である。本実施形態では、動画像符号化装置１４の画像処理部３０において、入力画像を縮小する縮小処理を行ってメイン画像を生成しているので、入力画像伸張部６２では、メイン画像を拡大する拡大処理、すなわち、メイン画像のサイズを元のサイズに戻す処理を行う。なお、動画像符号化装置１４の画像処理部３０で入力画像をモザイク化する処理が行われた場合には、画像処理部６４は、伸張した画像をそのまま出力する。
【００３３】
復号化部６６は、復号を指示された関心領域画像に対応した復号鍵により、暗号化対象画像として符号化された選択関心領域画像のフレーム画像を復号する。
【００３４】
関心領域画像伸張部６８は、複数の関心領域画像のうち特定の関心領域画像の復号（伸張）がユーザーにより指示された場合に、サブ画像符号化データで表される複数の関心領域画像のうち、復号を指示された関心領域画像を伸張する。
【００３５】
関心領域画像切出部７０は、サブ画像から復号を指示された関心領域画像のフレーム画像を切り出して合成部７２に出力する。
【００３６】
合成部７２は、関心領域画像切出部７０により切り出された関心領域画像を、画像処理部６４によって元に戻された入力画像に合成して、表示装置２０に出力する。
【００３７】
動画像符号化装置１４は、例えば図５に示すコンピュータ８０で実現することができる。コンピュータ８０はＣＰＵ８２、メモリ８４、不揮発性の記憶部８６を備え、これらはバス８８を介して互いに接続されている。
【００３８】
また、記憶部８６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部８６には、コンピュータ８０を動画像符号化装置１４として機能させるための動画像符号化プログラム９０が記憶されている。ＣＰＵ８２は、動画像符号化プログラム９０を記憶部８６から読み出してメモリ８４に展開し、動画像符号化プログラム９０が有するプロセスを順次実行する。
【００３９】
動画像符号化プログラム９０は、画像処理プロセス９２、入力画像符号化プロセス９４、関心領域画像抽出プロセス９６、関心領域画像符号化プロセス９８、暗号化プロセス１００、及び多重化プロセス１０２を有する。
【００４０】
ＣＰＵ８２は、画像処理プロセス９２を実行することで、図１に示す画像処理部３０として動作する。また、ＣＰＵ８２は、入力画像符号化プロセス９４を実行することで、図１に示す入力画像符号化部３２として動作する。また、ＣＰＵ８２は、関心領域画像抽出プロセス９６を実行することで、図１に示す関心領域画像抽出部３４として動作する。またＣＰＵ８２は、関心領域画像符号化プロセス９８を実行することで、図１に示す関心領域画像符号化部３６として動作する。またＣＰＵ８２は、暗号化プロセス１００を実行することで、図１に示す暗号化部３８として動作する。またＣＰＵ８２は、多重化プロセス１０２を実行することで、図１に示す多重化部４０として動作する。
【００４１】
これにより、動画像符号化プログラム９０を実行したコンピュータ８０が、動画像符号化装置１４として機能することになる。なお、動画像符号化プログラム９０は開示の技術における動画像符号化プログラムの一例である。
【００４２】
なお、動画像符号化装置１４は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。
【００４３】
動画像復号化装置１８は、例えば図６に示すコンピュータ１１０で実現することができる。コンピュータ１１０はＣＰＵ１１２、メモリ１１４、不揮発性の記憶部１１６を備え、これらはバス１１８を介して互いに接続されている。
【００４４】
また、記憶部１１６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部１１６には、コンピュータ１１０を動画像復号化装置１８として機能させるための動画像復号化プログラム１２０が記憶されている。ＣＰＵ１１２は、動画像復号化プログラム１２０を記憶部１１６から読み出してメモリ１１４に展開し、動画像復号化プログラム１２０が有するプロセスを順次実行する。
【００４５】
動画像復号化プログラム１２０は、分離プロセス１２２、入力画像伸張プロセス１２４、画像処理プロセス１２６、復号化プロセス１２８、関心領域画像伸張プロセス１３０、関心領域画像切出プロセス１３２、及び合成プロセス１３４を有する。
【００４６】
ＣＰＵ１１２は、分離プロセス１２２を実行することで、図１に示す分離部６０として動作する。また、ＣＰＵ１１２は、入力画像伸張プロセス１２４を実行することで、図１に示す入力画像伸張部６２として動作する。また、ＣＰＵ１１２は、画像処理プロセス１２６を実行することで、図１に示す画像処理部６４として動作する。またＣＰＵ１１２は、復号化プロセス１２８を実行することで、図１に示す復号化部６６として動作する。またＣＰＵ１１２は、関心領域画像伸張プロセス１３０を実行することで、図１に示す関心領域画像伸張部６８として動作する。またＣＰＵ１１２は、関心領域画像切出プロセス１３２を実行することで、図１に示す関心領域画像切出部７０として動作する。またＣＰＵ１１２は、合成プロセス１３４を実行することで、図１に示す合成部７２として動作する。
【００４７】
これにより、動画像復号化プログラム１２０を実行したコンピュータ１１０が、動画像復号化装置１８として機能することになる。なお、動画像復号化プログラム１２０は開示の技術における動画像復号化プログラムの一例である。
【００４８】
なお、動画像復号化装置１８は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。
【００４９】
次に本実施形態の作用を説明する。まず、動画像符号化装置１４により実行される動画像符号化処理について図７に示すフローチャートを参照して説明する。なお、図３に示す動画像符号化処理は、撮影装置１２により動画像の撮影が開始されると実行される。撮影装置１２により動画像の撮影が開始されると、撮影装置１２により撮影された画像が予め定めたフレームレートで動画像符号化装置１４に順次入力される。
【００５０】
動画像符号化処理のステップ２００において、画像処理部３０が、撮影装置１２から入力された入力画像に対して予め定めた画像処理を施す。画像処理部３０は、図２に示すように、撮影装置１２から入力された入力画像４２を縮小した縮小画像４４を生成する処理を実行する。
【００５１】
ステップ２０２では、入力画像符号化部３２が、ステップ２０４で画像処理を施したメイン画像をフレーム間予測を用いた符号化方法、例えばＭＰＥＧ（Moving Picture Experts Group）やＩＴＵ−Ｔ勧告のＨ．２６４等の符号化方法により符号化する。
【００５２】
ステップ２００、２０２の処理と並行して、ステップ２０４では、関心領域画像抽出部３４が、図２に示すように、入力画像４２から関心領域画像として例えば人物の顔の画像を抽出する。なお、人物の顔の画像の抽出方法としては、特徴抽出処理やパターンマッチング等の公知の手法を用いる。
【００５３】
ステップ２０６では、関心領域画像抽出部３４が、ステップ２０４で抽出した関心領域画像を集合した集合画像を生成する。これにより、図２に示したように、関心領域画像を集合した集合画像４８が生成される。
【００５４】
ステップ２０８では、関心領域画像符号化部３６が、入力画像が暗号化対象であるか否かを判断する。本実施形態では、暗号化対象画像は、入力画像が３回入力される毎に設定される。従って、図４に示す例の場合、Ｐ０、Ｐ３、Ｐ６では、ステップ２０８は肯定判定され、その他ではステップ２０８は否定判定される。
【００５５】
ステップ２１０では、関心領域画像符号化部３６が、集合画像４８に含まれる複数の関心領域画像から、第１の符号化方法で符号化する関心領域画像を選択関心領域画像として選択し、選択した選択関心領域画像を第１の符号化方法で符号化する。第１の符号化方法は、本実施形態では、選択関心領域画像をイントラ符号化する方法である。選択関心領域画像以外の非選択関心領域画像は、第１の符号化方法と異なる第２の符号化方法で符号化する。第２の符号化方法は、本実施形態では直前の非暗号化対象画像として符号化されたフレーム画像を参照画像として非選択関心領域画像をインター符号化する方法である。例えば図４の矢印Ａ１で示すように、Ｐ３における非選択関心領域画像５４Ａである関心領域画像Ａは、Ｐ３の直前の非暗号化対象画像であるＰ２の関心領域画像Ａを参照画像としてインター符号化する。同様に、Ｐ３における非選択関心領域画像５４Ｃである関心領域画像Ｃは、Ｐ３の直前の非暗号化対象画像あるＰ２の関心領域画像Ｃを参照画像としてインター符号化する。
【００５６】
また、関心領域画像符号化部３６は、暗号化対象画像が設定される毎に、前回の暗号化対象画像の選択関心領域画像と異なる関心領域画像を選択する。例えば図４の例では、Ｐ０では関心領域画像Ａを選択関心領域画像５２Ａとして選択する。また、次の暗号化対象画像のＰ３では関心領域画像Ｂを選択関心領域画像５２Ｂとして選択する。また、次の暗号化対象画像のＰ６では関心領域画像Ｃを選択関心領域画像５２Ｃとして選択する。
【００５７】
ステップ２１４では、暗号化部３８が、暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像の各々を符号化したフレーム画像を、選択関心領域画像に対応する暗号鍵で暗号化する。例えば、図４に示すように、選択関心領域画像５２Ａとして関心領域画像Ａが選択されたＰ０の関心領域画像Ａ〜Ｃの集合画像は、関心領域画像Ａに対応する暗号鍵ＫｅｙＡで暗号化する。同様に、選択関心領域画像５２Ｂとして関心領域画像Ｂが選択されたＰ３の関心領域画像Ａ〜Ｃの集合画像は、関心領域画像Ｂに対応する暗号鍵ＫｅｙＢで暗号化する。同様に、選択関心領域画像５２Ｃとして関心領域画像Ｃが選択されたＰ６の関心領域画像Ａ〜Ｃの集合画像は、関心領域画像Ｃに対応する暗号鍵ＫｅｙＣで暗号化する。
【００５８】
一方、ステップ２０８で入力画像が暗号化対象でないと判定された場合、すなわち非暗号化対象画像であると判定された場合、ステップ２１６へ移行する。
【００５９】
ステップ２１６では、直前の参照画像が暗号化対象であったか否かを判定し、直前の参照画像が暗号化対象であった場合にはステップ２１８へ移行する。図４の例では、Ｐ１、Ｐ４、Ｐ７の入力画像については、Ｐ１、Ｐ４、Ｐ７の参照画像候補となる、Ｐ１、Ｐ４、Ｐ７の直前のＰ０、Ｐ３、Ｐ６が暗号化対象であることから、ステップ２１６は肯定判定される。一方、Ｐ２、Ｐ５、Ｐ８の入力画像については、Ｐ２、Ｐ５、Ｐ８の参照画像候補となる、Ｐ２、Ｐ５、Ｐ８の直前のＰ１、Ｐ４、Ｐ７は暗号化対象ではないことから、ステップ２１６は否定判定される。
【００６０】
ステップ２１８では、関心領域画像符号化部３６が、集合画像４８に含まれる複数の関心領域画像を第３の符号化方法で符号化する。第３の符号化方法は、暗号化対象画像の次の非暗号化対象画像として入力された入力画像から抽出された複数の関心領域画像のうち選択関心領域画像に対応する関心領域画像は、暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する。例えば、図４に示すように、非暗号化対象画像であるＰ４の関心領域画像Ｂは、暗号化対象画像であるＰ３の選択関心領域画像Ｂを参照画像としてインター符号化する。
【００６１】
また、第３の符号化方法では、非選択関心領域画像に対応する関心領域画像については、暗号化対象画像の直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する。例えば、図４の矢印Ａ２で示すように、非暗号化対象画像であるＰ４の関心領域画像Ａは、暗号化対象画像であるＰ３の非選択関心領域画像Ａを参照画像とするのではなく、Ｐ３よりも前のＰ２における関心領域画像Ａを参照画像としてインター符号化する。なお、Ｐ４の関心領域画像Ｃについても同様である。
【００６２】
一方、ステップ２１６で否定判定された場合、すなわち、暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像の場合、ステップ２２０へ移行する。
【００６３】
ステップ２２０では、関心領域画像符号化部３６が、集合画像４８に含まれる複数の関心領域画像を、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する。
例えば、図４の矢印Ａ３で示すように、非暗号化対象画像であるＰ４より後の非暗号化対象画像であるＰ５の関心領域画像Ａは、Ｐ５の直前の非暗号化対象画像であるＰ４の関心領域画像Ａを参照画像としてインター符号化する。なお、関心領域画像Ｂ、Ｃについても同様である。
【００６４】
ステップ２２２では、多重化部４０が、メイン画像が符号化されたメイン画像符号化データと、サブ画像が符号化されたサブ画像符号化データと、を多重化し、動画像符号化データとして記憶装置１６に記憶する。なお、多重化する際、各暗号鍵も多重化される。
【００６５】
以下、具体的な多重化の方法について説明する。本実施形態では、一例としてデジタル放送等において符号化された音声及び映像を多重化して伝送する際の形式の一つであるＴｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ（ＴＳ）形式で多重化処理を行う場合について説明する。
【００６６】
図８にＴＳ形式のパケットデータのイメージ図を示した。ここでは、同図においては、サブ画像符号化データ用のパケットと、その暗号鍵が含まれるパケットのみを表している。ＴＳパケット１４０は、Ｈｅａｄｅｒ部１４０Ａとｄａｔａ部１４０Ｂから構成されており、このＨｅａｄｅｒ部１４０Ａに含まれる情報を参照することにより、そのパケットが暗号化された状態であるか否かを把握することができる。
【００６７】
ここでは、暗号化に関するパラメータであるtransport_scrambling_controlフィールドの値が「００」の場合は、ｄａｔａ部１４０Ｂが暗号化されておらず、「０１」の場合はＯｄｄ鍵で暗号化、「１０」の場合はＥｖｅｎ鍵で暗号化されていると定義する。ここで、Ｏｄｄ鍵、Ｅｖｅｎ鍵の情報は、鍵が含まれるＴＳパケット（鍵パケット）に含まれている。鍵パケットには必ずＯｄｄ鍵、Ｅｖｅｎ鍵の二つが含まれており、時系列的に何れか一方の鍵のみ変更される。例えば、図８に示すように、Ｐ０の前に設けられた鍵パケット１４２は、Ｏｄｄ鍵は暗号鍵ＫｅｙＡ、Ｅｖｅｎ鍵は暗号鍵ＫｅｙＢと定義されている。また、Ｐ３の前に設けられた鍵パケット１４４は、その前の鍵パケット１４２と比較すると、Ｏｄｄ鍵のみ暗号鍵ＫｅｙＣに変更されている。また、Ｐ６の前に設けられた鍵パケット１４６は、その前の鍵パケット１４４と比較すると、Ｅｖｅｎ鍵のみ暗号鍵ＫｅｙＡに変更されている。
【００６８】
図８の例では、Ｐ０のパケットは暗号鍵ＫｅｙＡで暗号化されているため、Ｏｄｄ鍵を使用するようtransport_scrambling_controlは「０１」で定義されている。Ｐ３のパケットは暗号鍵ＫｅｙＢで暗号化されているため、Ｅｖｅｎ鍵を使用するようtransport_scrambling_controlは「１０」で定義されている。また、Ｐ６のパケットは暗号鍵ＫｅｙＣで暗号化されているため、Ｏｄｄ鍵を使用するようtransport_scrambling_controlは「０１」で定義されている。
【００６９】
また、図８に示すように、暗号鍵ＫｅｙＡ、ＫｅｙＢ、ＫｅｙＣは、各々に対応したより上位の鍵であるワーク鍵Ａ、Ｂ、Ｃで暗号化されている。
【００７０】
従って、マスタ鍵を保有している特定の管理者だけが、暗号化対象のパケットを復号するのに必要な暗号鍵に対応したワーク鍵を復号できる。そして、復号されたワーク鍵を用いて、対応する暗号鍵を復号し、復号された暗号鍵を用いて暗号化されているパケットを復号する。
【００７１】
次に、動画像復号化装置１８により実行される動画像復号化処理について、図９に示すフローチャートを参照して説明する。なお、図９に示す動画像復号化処理は、ユーザーにより動画像の再生が指示されると実行される。ユーザーにより動画像の再生が指示されると、記憶装置１６に記憶された動画像符号化データが読み出されて動画像復号化装置１８に入力される。
【００７２】
動画像復号化処理のステップ３００において、分離部６０が、記憶装置１６に記憶された動画像符号化データをメイン画像符号化データとサブ画像符号化データと、に分離する。
【００７３】
ステップ３０２では、入力画像伸張部６２が、メイン画像符号化データを復号（伸張）する。
【００７４】
ステップ３０４では、画像処理部６４が、入力画像伸張部６２によって伸張された入力画像に予め定めた画像処理を施す。予め定めた画像処理は、動画像符号化装置１４の画像処理部３０で行われた画像処理と対応する画像処理である。本実施形態では、動画像符号化装置１４の画像処理部３０では、入力画像を縮小する縮小処理を行っているので、入力画像伸張部６２では、入力画像を拡大する拡大処理、すなわち、入力画像のサイズを元のサイズに戻す処理を行う。
【００７５】
ステップ３０２、３０４の処理と並行して、ステップ３０６では、復号化部６６が、特定の関心領域画像の復号が指示されたか否かを判断する。管理者は、特定の関心領域画像の復号を行う場合、マスタ鍵を用いて復号された特定の関心領域画像に対応したワーク鍵を動画像復号化装置１８に入力する。そして、ステップ３０６で肯定判定された場合はステップ３０８へ移行し、否定判定された場合はステップ３２０へ移行する。このように、特定の関心領域画像の復号が指示されなかった場合は、サブ画像の復号は行わないため、関心領域画像が高精細で表示されることはなく、プライバシーが保護される。なお、複数の関心領域画像の復号を行う場合は、各々の関心領域画像に対応したワーク鍵を入力すればよい。
【００７６】
ステップ３０８では、復号化部６６が、復号を指示された関心領域画像に対応した暗号鍵を取得する。具体的には、入力されたワーク鍵を用いて、鍵パケットに含まれた復号を指示された関心領域画像に対応する暗号鍵を復号する。例えば、復号を指示された関心領域画像が関心領域画像Ａである場合には、これに対応したワーク鍵Ａを用いて暗号鍵ＫｅｙＡを復号する。
【００７７】
ステップ３１０では、復号化部６６が、入力されたフレーム画像が暗号化されているフレーム画像であるか否かを判断する。そして、暗号化されているフレーム画像である場合にはステップ３１２へ移行し、暗号化されていないフレーム画像である場合はステップ３１６へ移行する。
【００７８】
例えば、図１０に示すように、Ｐ０、Ｐ３、Ｐ６のサブ画像は、それぞれ暗号鍵ＫｅｙＡ、ＫｅｙＢ、ＫｅｙＣで暗号化されているため、ステップ３１０は肯定判定され、その他のサブ画像は暗号化されていないため、ステップ３１０は否定判定される。
【００７９】
ステップ３１２では、復号化部６６が、入力されたフレーム画像が、特定の関心領域画像に対応した暗号鍵で暗号化されたフレーム画像であるか否かを判断する。そして、入力されたフレーム画像が、特定の関心領域画像に対応した暗号鍵で暗号化されたフレーム画像である場合にはステップ３１４へ移行し、特定の関心領域画像に対応した暗号鍵で暗号化されたフレーム画像でない場合にはステップ３２０へ移行する。
【００８０】
例えば、関心領域画像Ｂに対応したワーク鍵が入力され、ステップ３０８で暗号鍵ＫｅｙＢを取得した場合、図１０に示すように、Ｐ０、Ｐ６のサブ画像は暗号鍵ＫｅｙＡ、ＫｅｙＣで各々暗号化されているため、ステップ３１２は否定判定される。一方、Ｐ３のサブ画像は暗号鍵ＫｅｙＢで暗号化されているため、ステップ３１２は肯定判定される。
【００８１】
ステップ３１４では、復号を指示された特定の関心領域画像に対応する暗号鍵で入力されたフレーム画像の暗号化された符号化データの復号を行う。図１０に示すように、関心領域画像Ｂの復号が指示された場合、Ｐ３のサブ画像の暗号化された符号化データが、暗号鍵ＫｅｙＢによって復号される。
【００８２】
ステップ３１６では、関心領域画像伸張部６８が、入力されたフレーム画像を伸張する。図１０に示すように、関心領域画像Ｂの復号が指示された場合には、Ｐ３のサブ画像が、暗号鍵ＫｅｙＢによって復号されており、またＰ３の関心領域画像Ｂはイントラ符号化されているため、関心領域画像Ｂは正常に伸張される。
【００８３】
一方、復号が指示されていない関心領域画像Ａ、Ｃについては、Ｐ０，Ｐ６の暗号化されたサブ画像が復号されないため、正常に伸張されないが、復号が指示されていない関心領域画像であるため、特に問題はない。
【００８４】
ステップ３１８では、関心領域画像切出部７０が、復号されたフレーム画像から、復号を指示された関心領域画像のフレーム画像を切り出して合成部７２に出力する。図１０に示すように関心領域画像Ｂの復号が指示された場合には、関心領域画像Ｂのみがサブ画像から切り出されて合成部７２に出力される。
【００８５】
ステップ３２０では、合成部７２が、関心領域画像切出部７０により切り出された関心領域画像を、入力画像伸張部６２により伸張されたメイン画像に合成して、表示装置２０に出力する。これにより、表示装置２０に動画像が表示される。なお、ステップ３２０では、ステップ３０６、３１２で否定判定された場合は、合成処理は実行せず、メイン画像がそのまま出力される。これにより、関心領域画像が高精細で表示されることはなく、プライバシーが保護される。
【００８６】
このように、本実施形態では、暗号化対象画像におけるサブ画像に含まれる複数の関心領域画像のうち何れかの選択関心領域画像をイントラ符号化し、その他をインター符号化する。そして、暗号化対象画像が設定される毎に選択関心領域画像を異ならせて選択関心領域画像に対応する暗号鍵で暗号化する。このため、復号する際には特定の関心領域画像のみ正常に復号されるため、特定の関心領域画像のみ高解像度化した画像を得ることができる。従って、監視カメラ等に開示の技術を適用した場合、平常時はプライバシー保護に留意した低解像度の画像又は人物の顔のみモザイク化した画像を表示し、犯罪等が発生した場合のみ、犯人の顔等を精細な画像で復号して表示することが可能となる。
【００８７】
なお、本実施形態では、第２の符号化方法として、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像として非選択関心領域画像をインター符号化する場合について説明したが、これに限られない。例えば、第２の符号化方法として、非選択関心領域画像をダミー画像に置き換えてイントラ符号化するようにしてもよい。この場合、図７のステップ２１０において、非選択関心領域画像をダミー画像に置き換え、ダミー画像のみを用いてイントラ符号化すればよい。
【００８８】
また、本実施形態では、暗号化対象画像におけるサブ画像に含まれる複数の関心領域画像のうち何れかの選択関心領域画像をイントラ符号化し、その他をインター符号化する場合について説明したが、これに限られない。
【００８９】
例えば、ＩＴＵ−Ｔ勧告のＨ．２６４において規格化されているマルチビュー符号化（Ｍｕｌｔｉ  Ｖｉｅｗ  Ｃｏｄｉｎｇ：ＭＶＣ）を適用してもよい。ＭＶＣでは、複数の始点（マルチビュー）で撮影された映像を、ベースビュー（Ｂａｓｅ  Ｖｉｅｗ）と、非ベースビュー（Ｎｏｎ  Ｂａｓｅ  Ｖｉｅｗ）として符号化する。ベースビューは非ベースビューから参照される元の画像であり、非ベースビューは、ベースビューの画像を参照画像としてビュー間予測（ｉｎｔｅｒ  ｖｉｅｗ  ｐｒｅｄｉｔｉｏｎ）により符号化される画像である。
【００９０】
従って、例えば図１１に示すように、メイン画像をベースビュー、サブ画像を非ベースビューとする。そして、図７のステップ２１０において、暗号化対象画像であるＰ０では、選択関心領域画像５２Ａは、対応するベースビューの関心領域画像Ａを参照画像としてビュー間予測を用いて符号化する。また、関心領域画像Ｂ、Ｃについては、図７のステップ２１０において、過去のサブ画像の関心領域画像Ｂ，Ｃを参照画像としてインター符号化する。そして、Ｐ０のサブ画像は、暗号鍵ＫｅｙＡにより暗号化する。同様に、暗号化対象画像であるＰ３では、選択関心領域画像５２Ｂは、対応するベースビューの関心領域画像Ｂを参照画像としてビュー間予測を用いて符号化する。また、関心領域画像Ａ、Ｃについては過去のサブ画像の関心領域画像Ａ，Ｃを参照画像としてインター符号化する。そして、Ｐ３のサブ画像は、暗号鍵ＫｅｙＢにより暗号化する。また、暗号化対象画像であるＰ６では、選択関心領域画像５２Ｃは、対応するベースビューの関心領域画像Ｃを参照画像としてビュー間予測を用いて符号化する。また、関心領域画像Ａ、Ｂについては過去のサブ画像の関心領域画像Ａ，Ｃを参照画像としてインター符号化する。そして、Ｐ６のサブ画像は、暗号鍵ＫｅｙＣにより暗号化する。
【００９１】
このように、選択関心領域画像についてもベースビューの対応する関心領域画像を参照画像としてインター符号化するので、選択関心領域画像をイントラ符号化する場合と比較してサブ画像のデータ量を削減することが可能となる。
【００９２】
なお、本実施形態では、動画像符号化装置１４及び動画像復号化装置１８を含む動画像処理装置１０について説明したが、動画像符号化装置１４及び動画像復号化装置１８が別々の装置に搭載されていてもよい。
【００９３】
また、上記では開示の技術に係る動画像符号化プログラムの一例である動画像符号化プログラム９０が記憶部８６に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。開示の技術に係る動画像符号化プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。また、動画像復号化プログラムについても動画像符号化プログラムと同様に、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。
【００９４】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【００９５】
以上の実施形態に関し、更に以下の付記を開示する。
【００９６】
（付記１）
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、
暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像において前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、
個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、
を含む動画像符号化装置。
【００９７】
（付記２）
前記第１の符号化方法は、他のフレーム画像を参照せずに符号化する符号化方法であり、前記第２の符号化方法及び前記第３の符号化方法は、他のフレーム画像を参照して符号化する符号化方法である
付記１記載の動画像符号化装置。
【００９８】
（付記３）
前記関心領域画像符号化部は、前記第１の符号化方法として、前記選択関心領域画像をイントラ符号化し、前記第２の符号化方法として、直前の前記非暗号化対象画像として符号化されたフレーム画像を参照画像として前記非選択関心領域画像をインター符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記２記載の動画像符号化装置。
【００９９】
（付記４）
前記関心領域画像符号化部は、前記第１の符号化方法として、前記選択関心領域画像をイントラ符号化し、前記第２の符号化方法として、前記非選択関心領域画像をダミー画像に置き換えてイントラ符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記２記載の動画像符号化装置。
【０１００】
（付記５）
前記入力画像に対して予め定めた画像処理を施す画像処理部と、
前記画像処理を施した前記入力画像を符号化する入力画像符号化部と、
を備えた付記１〜付記４の何れか１項に記載の動画像符号化装置。
【０１０１】
（付記６）
前記入力画像に対して予め定めた画像処理を施す画像処理部と、
前記画像処理を施した前記入力画像を符号化する入力画像符号化部と、
を備え、
前記関心領域画像符号化部は、前記第１の符号化方法として、前記入力画像符号化部により符号化されたフレーム画像を参照画像として前記選択関心領域画像をインター符号化し、前記第２の符号化方法として、直前の前記非暗号化対象画像として符号化されたフレーム画像を参照画像として前記非選択関心領域画像をインター符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記１記載の動画像符号化装置。
【０１０２】
（付記７）
前記予め定めた画像処理は、前記入力画像を縮小する処理又は前記入力画像に含まれる前記関心領域画像のみをモザイク化する処理である
付記５又は付記６記載の動画像符号化装置。
【０１０３】
（付記８）
順次入力される入力画像から複数の関心領域画像を抽出し、
暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像において前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化し、
個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する
ことを含む動画像符号化方法。
【０１０４】
（付記９）
前記第１の符号化方法は、他のフレーム画像を参照せずに符号化する符号化方法であり、前記第２の符号化方法及び前記第３の符号化方法は、他のフレーム画像を参照して符号化する符号化方法である
付記８記載の動画像符号化方法。
【０１０５】
（付記１０）
前記第１の符号化方法として、前記選択関心領域画像をイントラ符号化し、前記第２の符号化方法として、直前の前記非暗号化対象画像として符号化されたフレーム画像を参照画像として前記非選択関心領域画像をインター符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記９記載の動画像符号化方法。
【０１０６】
（付記１１）
前記第１の符号化方法として、前記選択関心領域画像をイントラ符号化し、前記第２の符号化方法として、前記非選択関心領域画像をダミー画像に置き換えてイントラ符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記９記載の動画像符号化方法。
【０１０７】
（付記１２）
前記入力画像に対して予め定めた画像処理を施し、
前記画像処理を施した前記入力画像を符号化する
を備えた付記９〜付記１１の何れか１項に記載の動画像符号化方法。
【０１０８】
（付記１３）
前記入力画像に対して予め定めた画像処理を施し、
前記画像処理を施した前記入力画像を符号化し、
前記第１の符号化方法として、前記入力画像符号化部により符号化されたフレーム画像を参照画像として前記選択関心領域画像をインター符号化し、前記第２の符号化方法として、直前の前記非暗号化対象画像として符号化されたフレーム画像を参照画像として前記非選択関心領域画像をインター符号化し、前記第３の符号化方法として、前記暗号化対象画像の次の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像のうち前記選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記複数の関心領域画像のうち前記非選択関心領域画像に対応する関心領域画像については、前記暗号化対象画像より前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化し、前記暗号化対象画像の次の非暗号化対象画像よりも後の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、直前の非暗号化対象画像として符号化されたフレーム画像を参照画像としてインター符号化する
付記８記載の動画像符号化方法。
【０１０９】
（付記１４）
前記予め定めた画像処理は、前記入力画像を縮小する処理又は前記入力画像に含まれる前記関心領域画像のみをモザイク化する処理である
付記１２又は付記１３記載の動画像符号化方法。
【０１１０】
（付記１５）
コンピュータに、
順次入力される入力画像から複数の関心領域画像を抽出し、
暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像において前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化し、
個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する
ことを含む処理を実行させるための動画像符号化プログラム。
【０１１１】
（付記１６）
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像において前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像に対応した前記暗号鍵で暗号化された前記選択関心領域画像のフレーム画像を、前記暗号鍵で復号する復号化部と、
前記復号を指示された関心領域画像のフレーム画像を伸張する関心領域画像伸張部と、
を備えた動画像復号化装置。
【０１１２】
（付記１７）
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像に対応した前記暗号鍵で暗号化された前記選択関心領域画像のフレーム画像を、前記暗号鍵で復号し、
前記復号を指示された関心領域画像のフレーム画像を伸張する
ことを含む動画像復号化方法。
【０１１３】
（付記１８）
コンピュータに、
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像のフレーム画像を伸張し、
前記復号を指示された関心領域画像に対応した復号鍵により、前記暗号化対象画像として符号化された前記選択関心領域画像のフレーム画像を復号する
ことを含む処理を実行させるための動画像復号化プログラム。
【０１１４】
（付記１９）
順次入力される入力画像から複数の関心領域画像を抽出する関心領域画像抽出部と、暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前回の前記暗号化対象画像における前記複数の関心領域画像から選択した関心領域画像と異なる関心領域画像を選択関心領域画像として選択して第１の符号化方法で符号化すると共に、前記選択関心領域画像以外の非選択関心領域画像を前記第１の符号化方法と異なる第２の符号化方法で符号化し、前記暗号化対象画像以外の非暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像については、前記第１の符号化方法及び前記第２の符号化方法と異なる第３の符号化方法で符号化する関心領域画像符号化部と、個々の前記暗号化対象画像として入力された前記入力画像から抽出された前記複数の関心領域画像の各々を符号化したフレーム画像を、個々の前記暗号化対象画像における前記選択関心領域画像に対応した暗号鍵で暗号化する暗号化部と、を含む動画像符号化装置と、
前記動画像符号化装置により符号化された前記複数の関心領域画像のフレーム画像のうち、復号を指示された関心領域画像に対応した前記暗号鍵で暗号化された前記選択関心領域画像のフレーム画像を、前記暗号鍵で復号する復号化部と、前記復号を指示された関心領域画像のフレーム画像を伸張する関心領域画像伸張部と、を備えた動画像復号化装置と、
を備えた動画像処理装置。
【符号の説明】
【０１１５】
１０  動画像処理装置
１２  撮影装置
１４  動画像符号化装置
１６  記憶装置
１８  動画像復号化装置
２０  表示装置
３０  画像処理部
３２  入力画像符号化部
３４  関心領域画像抽出部
３６  関心領域画像符号化部
３８  暗号化部
４０  多重化部
６０  分離部
６２  入力画像伸張部
６４  画像処理部
６６  復号化部
６８  関心領域画像伸張部
７０  関心領域画像切出部
７２  合成部
８０、１１０      コンピュータ
９０  動画像符号化プログラム
１２０      動画像復号化プログラム
【図１】
2014060512.tif 000003
【図２】
2014060512.tif 000004
【図３】
2014060512.tif 000005
【図４】
2014060512.tif 000006
【図５】
2014060512.tif 000007
【図６】
2014060512.tif 000008
【図７】
2014060512.tif 000009
【図９】
2014060512.tif 000010
【図１０】
2014060512.tif 000011
【図１１】
2014060512.tif 000012
【図８】
2014060512.tif 000013