(57)【要約】  画像処理システムは、画像処理装置と画像復元装置とを含む。画像処理装置は、第１の画像（例えば、監視カメラで撮影された画像等）に含まれる特定の対象（例えば、人物、動物、車両等）を変更した第２の画像を生成する変更画像生成部と、第１の画像または第２の画像のいずれかを閲覧者に応じて出力する出力部とを備える。画像復元装置は、第１の画像に含まれる特定の対象に相当する対象画像を取得する画像取得部と、第１の画像から対象画像を除いた背景画像と、対象画像とを合成して第２の画像を生成する復元部とを備える。これにより、画像データの利用目的に応じて対象画像の開示および隠蔽を制御することができ、画像データに写った個人のプライバシーの保護を図ることができる。
2017026356.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像に含まれる特定の対象を変更した第２の画像を生成する変更画像生成部と、
前記第１の画像または前記第２の画像のいずれかを閲覧者に応じて出力する出力部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記変更画像生成部は、前記第２の画像を複数種類生成可能であり、
前記出力部は、前記第１の画像および複数種類の前記第２の画像のうちいずれかを閲覧者に応じて出力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変更画像生成部は、前記特定の対象に相当する対象画像を変更し、
前記出力部は、前記対象画像を閲覧者に応じて出力することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記変更画像生成部は、前記特定の対象に相当する対象画像を変更し、
前記第１の画像から前記対象画像を除いた背景画像を生成する背景画像生成部を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
複数種類の前記第２の画像は、前記特定の対象に係る異なる属性をそれぞれ認識可能なものであることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記第１の画像に複数の対象が含まれる場合、前記変更画像生成部は前記複数の対象に相当する複数の対象画像をそれぞれ変更することを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記第２の画像は、前記対象の属性情報を表示するものであることを特徴とする請求項１乃至請求項６の何れか１項に記載の画像処理装置。
【請求項８】
前記第２の画像は、前記第１の画像に比べて解像度を低くしたことを特徴とする請求項１乃至請求項６の何れか１項に記載の画像処理装置。
【請求項９】
前記第２の画像は、前記対象に係る情報の一部を隠蔽したことを特徴とする請求項１乃至請求項６の何れか１項に記載の画像処理装置。
【請求項１０】
前記背景画像と前記対象画像とを合成することで、前記第２の画像を生成する復元部を更に備えたことを特徴とする請求項４に記載の画像処理装置。
【請求項１１】
前記復元部は、閲覧者に応じた属性情報を認識可能な前記対象画像を用いて、前記第２の画像を生成することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
複数の異なる暗号鍵によって暗号化された複数の前記対象画像を記憶する記憶部と、
少なくとも１つの暗号鍵を入力する鍵入力部と、
を更に備え、
前記復元部は、前記記憶部が記憶する複数の前記対象画像のうち、前記鍵入力部によって入力された前記少なくとも１つの暗号鍵によって復号可能な前記対象画像を用いて、前記第２の画像を生成することを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記復元部は、前記鍵入力部によって複数の暗号鍵が入力された場合に、その全ての暗号鍵で復号可能な前記対象画像のみを復号して、前記第２の画像を生成することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
異なる暗号鍵によってそれぞれ暗号化された前記第１の画像及び前記第２の画像を記憶する記憶部を更に備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項１５】
前記対象の特徴情報に基づいて前記暗号鍵を生成する鍵生成部を更に備えたことを特徴とする請求項１２に記載の画像処理装置。
【請求項１６】
前記暗号鍵を入力する前記鍵入力部に代えて、前記対象画像が含まれる第３の画像を入力する条件入力部を更に備え、
前記鍵生成部は、前記第３の画像から前記暗号鍵を生成し、
前記復元部は、前記記憶部が記憶する複数の前記対象画像のうち、前記第３の画像から生成された前記暗号鍵によって復号可能な前記対象画像を用いて、前記第２の画像を生成することを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
特定の対象について、第１の閲覧者に応じた第１の対象画像と、第２の閲覧者に応じた第２の対象画像と、を出力する画像処理装置。
【請求項１８】
第１の画像に含まれる特定の対象を変更した第２の画像を生成し、
前記第１の画像または前記第２の画像のいずれかを閲覧者に応じて出力することを特徴とする画像処理方法。
【請求項１９】
コンピュータに請求項１８に記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項２０】
第１の画像に含まれる特定の対象に相当する対象画像を取得する画像取得部と、
前記第１の画像から前記対象画像を除いた背景画像と、前記対象画像とを合成して第２の画像を生成する復元部と、
を備えることを特徴とする画像復元装置。
【請求項２１】
第１の画像に含まれる特定の対象に相当する対象画像を取得し、
前記第１の画像から前記対象画像を除いた背景画像と、前記対象画像とを合成して第２の画像を生成することを特徴とする画像復元方法。
【請求項２２】
コンピュータに請求項２１に記載の画像復元方法を実行させることを特徴とするプログラム。
【請求項２３】
第１の画像に含まれる特定の対象を変更して第２の画像を生成し、前記第１の画像および前記第２の画像を登録する画像登録処理を実行する第１の情報処理装置と、
前記第１の画像または前記第２の画像のいずれかを閲覧者に応じて出力する画像提供処理を実行する第２の情報処理装置と、
を具備することを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラで撮像した画像を処理復元する装置および方法に関し、特に、撮像画像内の被写体のプライバシーを保護するシステムに関する。
本願は、２０１５年８月７日に日本国に出願された特願２０１５−１５７７２５号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
近年、駅構内、商業施設、集合住宅などに監視カメラを設置して人物画像などを監視することによりセキュリティの向上を図っている。しかし、監視カメラが撮像する画像には集合住宅の住民の顔が写るため、撮像画像を第三者（例えば、セキュリティ会社や警察組織など）に提供する際に、プライバシー保護に対する配慮が必要である。【０００３】
従来、監視カメラで撮像された画像情報などに対して暗号化や復号化を行なうことにより、特定の情報の開示および秘匿を制御する技術が開発されている。特許文献１は、被写体のプライバシーを適切に保護するとともに監視機能が実現可能な監視カメラシステムを開示している。ここでは、監視カメラの撮影映像のうち特定の被写体が含まれている映像部分を暗号化することにより、被写体を含む映像部分の閲覧を関係者に限定することができる。特許文献２は、電子文章の所望の部分に対して機密の程度を設定して内容を秘匿する文章処理装置を開示している。ここでは、電子文章の複数の部分を開示基準ごとに異なる暗号鍵を用いて暗号化することで、個々の部分に対して機密の程度を設定して内容を秘匿することができる。特許文献３は、医療用画像の外見の認識が困難なように暗号化するとともに送付先に応じて開示の程度を異ならせることが可能な医療用画像暗号化装置を開示している。特許文献４は、店舗の来店者の肖像権やプライバシーを保護しながら来店情況が認識できる映像の配信を可能とする監視カメラ映像配信システムを開示している。特許文献５は、監視領域のプライバシー保護を可能とする監視装置および監視方法を開示している。ここでは、監視カメラで撮影された映像のうちマスク領域の画像データを除去することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第ＷＯ２００６／１１５１５６号公報
【特許文献２】特開２００８−１９３６１２号公報
【特許文献３】特開２００７−２４３２５６号公報
【特許文献４】特開２００５−２３６４６４号公報
【特許文献５】特開２００３−６１０７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
監視カメラに写った映像は様々な用途（例えば、逸失物の捜索、マーケティング、不審人物の特定、等）に用いられる。しかし、上述の特許文献に開示された技術により一部が秘匿された映像では情報量が少なくなるため、用途が限定されてしまう。例えば、全ての人物がマスクされた映像では不審人物を特定する用途に適用することが困難である。一方、暗号化を解除した映像を公開した場合、第三者に不要な個人情報が閲覧可能となり、人物のプライバシーの保護を十分に図ることが困難となる。つまり、上述の特許文献に開示された技術によれば、情報秘匿の目的で映像を暗号化した場合に開示情報が過小となり、映像を復号化すると開示情報が過大となる。このように、従来技術では映像の暗号化・復号化による情報の開示や秘匿を用途に応じて調整することが困難であった。【０００６】
本発明は、上述の課題を解決するためになされたものであり、監視カメラで撮影された画像を利用目的に応じて処理復元することにより情報量を調整することができる画像処理装置、画像復元装置、画像処理方法および画像復元方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様は、画像処理装置および画像処理方法に関する。画像処理装置は、第１の画像に含まれる特定の対象を変更した第２の画像を生成する変更画像生成部と、第１の画像または第２の画像のいずれかを閲覧者に応じて出力する出力部とを備える。画像処理方法は、変更画像生成部および出力部の処理手順を実施する。【０００８】
本発明の第２の態様は、画像復元装置および画像復元方法に関する。画像復元装置は、第１の画像に含まれる特定の対象に相当する対象画像を取得する画像取得部と、第１の画像から対象画像を除いた背景画像と、対象画像とを合成して第２の画像を生成する復元部とを備える。画像復元方法は、画像取得部および復元部の処理手順を実施する。【０００９】
本発明の第３の態様は、画像処理システムに関する。画像処理システムは、第１の画像に含まれる特定の対象を変更して第２の画像を生成し、第１の画像および第２の画像を登録する画像登録処理を実行する第１の情報処理装置と、第１の画像または第２の画像のいずれかを閲覧者に応じて出力する画像提供処理を実行する第２の情報処理装置とを具備する。
【発明の効果】
【００１０】
本発明に係る画像処理装置よれば、第１の画像（変更前画像）において特定の対象が写った領域の属性情報を変更することにより第２の画像（変更画像）を生成し、第１及び第２の画像の何れかを閲覧者に応じて出力する。また、画像復元装置は、第１の画像から対象画像を除いた背景画像と、対象画像とを合成して第２の画像を出力する。すなわち、閲覧者の利用目的に応じて変更画像の情報量を調整することで、個人のプライバシーの保護を図ることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例１に係る画像処理システムのブロック図である。
【図２】実施例１に係る画像処理システムに搭載されるクラウドサーバの画像記録処理を示すフローチャートである。
【図３】実施例１に係る画像処理システムに搭載されるクラウドサーバの画像提供処理を示すフローチャートである。
【図４】本発明の実施例２に係る画像処理システムのブロック図である。
【図５】本発明の実施例３に係る画像処理システムに搭載されるクラウドサーバの画像提供処理を示すフローチャートである。
【図６】本発明の実施例４に係る画像処理システムのブロック図である。
【図７】本発明の実施例４に係る画像処理システムに搭載されるクラウドサーバの画像提供処理を示すフローチャートである。
【図８】本発明に係る画像処理装置の基本構成を示すブロック図である。
【図９】本発明に係る画像処理方法の基本処理を示すフローチャートである。
【図１０】本発明に係る画像復元装置の基本構成を示すブロック図である。
【図１１】本発明に係る画像復元方法の基本処理を示すフローチャートである。
【図１２】本発明に係る画像処理機能および画像復元機能を実装可能なコンピュータのブロック図である。
【発明を実施するための形態】
【００１２】
本発明に係る画像処理装置、画像復元装置、画像処理方法および画像復元方法について添付図面を参照して実施例とともに詳細に説明する。
【実施例１】
【００１３】
図１は、本発明の実施例１に係る画像処理システム１のブロック図である。画像処理システム１は、端末装置１００とクラウドサーバ２００とを備える。端末装置１００は、撮像装置または表示装置の少なくとも一方を備える。端末装置１００の例としては、監視カメラ、パーソナルコンピュータ（ＰＣ）、携帯電話、およびテレビジョン装置が挙げられる。【００１４】
クラウドサーバ２００は、端末装置１００が撮像した画像データを保存する。本明細書において、「画像データ」は静止画像と、複数のフレームを含む動画像とを包含する。クラウドサーバ２００は、保存している画像データを端末装置１００に送信する。クラウドサーバ２００は、画像処理装置および画像復元装置の一例である。クラウドサーバ２００は、１つの装置により実現してもよく、或いは、仮想化技術を用いた複数の装置の共同により実現してもよい。なお、端末装置１００とクラウドサーバ２００とはインターネットなどのネットワークを介して接続される。【００１５】
クラウドサーバ２００は、画像受信部２０１、領域特定部２０２、変更画像生成部２０３、背景画像生成部２０４、記憶部２０５、鍵生成部２０６、記録部２０７、鍵入力部２０８、画像取得部２０９、復元部２１０、および画像送信部２１１を備える。【００１６】
画像受信部２０１は、端末装置１００から画像データを受信する。画像データは、請求の範囲に規定される「第１の画像」の一例である。領域特定部２０２は、画像受信部２０１が受信した画像データから所定の対象が写った所定の領域（以下、「対象領域」と称する）を特定する。対象の例としては、人物、動物、および車両などの移動体が挙げられる。領域特定部２０２は、例えば、予め用意した対象のテンプレートと画像データとのパターンマッチングを行なうことにより対象が写った領域を特定する。【００１７】
変更画像生成部２０３は、領域特定部２０２が特定した領域に対して所定の変更を施すことで、複数の変更画像を生成する。変更画像生成部２０３による変更処理は、対象の属性情報の少なくとも一部を読み取りできなくする。複数の画像は、それぞれ対象の異なる属性（完全に異なる属性に限らず、一部重複する属性でもよい）を認識可能とされている。変更画像生成部２０３による変更処理の例として以下のものが挙げられる。
（１）変更画像生成部２０３は、領域特定部２０２が特定した領域に写った対象をシルエットに置換してもよい。これにより、変更画像生成部２０３は、対象の種別（例えば、人物、動物、車両など）を特定可能な変更画像を生成することができる。
（２）変更画像生成部２０３は、領域特定部２０２が特定した領域の画像を、当該領域に写った対象の属性情報（例えば、性別、年齢、身長など）を表示する画像に置換してもよい。これにより、変更画像生成部２０３は、対象の属性情報を特定可能な変更画像を生成することができる。
（３）変更画像生成部２０３は、領域特定部２０２が特定した領域の解像度を低下させてもよい。これにより、変更画像生成部２０３は、対象の色を特定可能な変更画像を生成することができる。
（４）変更画像生成部２０３は、領域特定部２０２が特定した領域に写った対象の一部（例えば、人物の顔、車両のナンバープレートなど）をマスクしてもよい。これにより、変更画像生成部２０３は、対象とする人物の服の種類や車種を特定可能な変更画像を生成することができる。【００１８】
背景画像生成部２０４は、画像受信部２０１が受信した画像データから領域特定部２０２が特定した領域を除去することで、背景画像を生成する。背景画像生成部２０４は、例えば、対象となる画像データと領域内に対象が存在しない他のフレームの画像とを合成することで、特定した領域を画像データから除去することができる。また、背景画像生成部２０４は、特定した領域の周辺の画素集合を当該領域に貼り付けることで、特定した領域を除去することができる。また、背景画像生成部２０４は、例えば、対象が存在しない他のフレームの画像を背景画像として用いることができる。【００１９】
記憶部２０５は、変更画像生成部２０３が生成した複数の変更画像、変更画像生成部２０３による変更処理前の画像（以下、「変更前画像」と称する）、並びに、背景画像生成部２０４が生成した背景画像を記憶する。ここで、変更画像および変更前画像には、当該画像が抽出された位置が関連付けられる。また、変更画像および変更前画像は、それぞれ異なる暗号鍵により暗号化されて記憶部２０５に記憶される。なお、画像データが動画像を示す場合、記憶部２０５は、変更画像、変更前画像、および背景画像をフレームごとに記憶してもよい。或いは、記憶部２０５は、変更画像、変更前画像、および背景画像をそれぞれ動画像として記憶してもよい。【００２０】
鍵生成部２０６は、変更画像および変更前画像に基づいて暗号鍵を生成する。例えば、鍵生成部２０６は、変更前画像に含まれる対象の特徴量（例えば、人物の顔特徴量、車両のナンバープレートの文字列、等）に基づいて暗号鍵を生成する。記録部２０７は、変更画像生成部２０３が生成した変更画像を所定の暗号鍵で暗号化する。記録部２０７は、変更前画像を鍵生成部２０６が生成した暗号鍵で暗号化する。記録部２０７は、暗号化した変更画像、変更前画像、並びに、背景画像を記憶部２０５に記録する。【００２１】
鍵入力部２０８は、端末装置１００にて入力された暗号鍵を受け付ける。画像取得部２０９は、記憶部２０５が記憶する変更画像のうち鍵入力部２０８に入力された暗号鍵によって復元可能な変更画像と、背景画像とを取得する。復元部２１０は、画像取得部２０９が取得した変更画像と背景画像とを合成することで、提示用画像データを生成する。提示用画像データは、請求の範囲に規定される「第２の画像」の一例である。画像送信部２１１は、復元部２１０が生成した提示用画像データを端末装置１００に送信する。なお、画像送信部２１１は、請求の範囲に規定される「出力部」の一例である。【００２２】
次に、クラウドサーバ２００の動作について図２のフローチャートを参照して説明する。ここでは、クラウドサーバ２００により端末装置１００が撮像した画像データを記録する手順について説明する。図２は、クラウドサーバ２００による画像記録処理を示すフローチャートである。【００２３】
まず、端末装置１００が撮像した画像データをクラウドサーバ２００に送信する。クラウドサーバ２００の画像受信部２０１は画像データを受信する（ステップＳ１）。領域特定部２０２は、画像データに含まれるフレームごとにステップＳ２〜ステップＳ８を実行する。なお、画像データが静止画像である場合、ステップＳ２〜ステップＳ８を１回実行する。【００２４】
領域特定部２０２は、処理対象のフレームの画像から対象が写った領域を特定する（ステップＳ２）。処理対象のフレームの画像に複数の対象が写っている場合、領域特定部２０２は各々の対象を含む領域をそれぞれ特定する。次に、変更画像生成部２０３は、領域特定部２０２が特定した各領域について、複数種類の変更処理を施して、複数の変更画像を生成する（ステップＳ３）。本実施例では、変更画像生成部２０３は、領域特定部２０２が特定した領域について以下の４つの処理を実行する。
（１）対象のシルエットを抽出する処理。
（２）対象の性別を示す画像に置換する処理。
（３）対象の年齢を示す画像に置換する処理。
（４）解像度を低下させる処理。【００２５】
次に、背景画像生成部２０４は、処理対象のフレームの画像から領域特定部２０２が特定した領域を除去して、背景画像を生成する（ステップＳ４）。領域特定部２０２が複数の領域を特定した場合、処理対象のフレームの画像から全ての領域を除去する。【００２６】
次に、鍵生成部２０６は、領域特定部２０２が特定した各領域の変更前画像から対象の特徴量を抽出する（ステップＳ５）。記録部２０７は、暗号鍵として鍵生成部２０６が生成した特徴量を用いて変更前画像を暗号化する（ステップＳ６）。その後、記録部２０７は、変更画像生成部２０３が生成した変更画像を、変更処理ごとに共通の暗号鍵を用いて暗号化する（ステップＳ７）。変更画像の暗号化に用いられる共通鍵としては、シルエット画像の暗号鍵、低解像度画像の暗号鍵、性別ごとの暗号鍵、および年代ごとの暗号鍵が挙げられる。例えば、記録部２０７は、対象の性別を示す変更画像を、対象の性別に応じた暗号鍵を用いて暗号化する。【００２７】
次に、記録部２０７は、暗号化した複数の変更前画像、変更画像、および背景画像を記憶部２０５に記録する（ステップＳ８）。このとき、記録部２０７は、変更前画像および変更画像を配置すべき座標とフレーム番号とを、変更前画像、変更画像、および背景画像に関連付けて記憶部２０５に記録する。【００２８】
上記の手順によれば、クラウドサーバ２００は、利用目的に応じて対象の属性情報の開示量を調整して画像データを提示するためのデータベースを構築することができる。【００２９】
次に、クラウドサーバ２００が端末装置１００の要求に基づいて画像データを提供する手順について説明する。図３は、クラウドサーバ２００による画像提供処理を示すフローチャートである。
利用者は、端末装置１００を介して画像データを閲覧したい場合、端末装置１００に閲覧したい情報に応じた暗号鍵を入力する。端末装置１００は、利用者によって暗号鍵が入力されると、当該暗号鍵をクラウドサーバ２００に送信する。【００３０】
クラウドサーバ２００の鍵入力部２０８は、端末装置１００から暗号鍵を受信する（ステップＳ１１）。画像取得部２０９は、記憶部２０５が記憶する全ての変更前画像および変更画像に対して暗号鍵による復号を試みる（ステップＳ１２）。画像取得部２０９は、記憶部２０５が領域ごとかつフレームごとに記憶する変更前画像および変更画像のうち、復号に成功した画像を取得する（ステップＳ１３）。なお、画像取得部２０９が複数の暗号鍵を用いて復号を試みた結果、同一領域の同一フレームについて複数の画像の復号に成功した場合、画像取得部２０９は、最も特定可能な属性情報が多い画像を取得する。ここで、特定可能な属性情報の量は、変更前画像が最も多く、変更画像のうちシルエット画像が最も少ない。また、画像取得部２０９は、記憶部２０５が記憶する各フレームの背景画像を取得する（ステップＳ１４）。【００３１】
次に、復元部２１０は、画像取得部２０９が取得した各フレームの背景画像に対して、当該フレームに係る領域ごとの変更前画像または変更画像を合成することで、提供用画像データを生成する（ステップＳ１５）。具体的には、復元部２１０は、背景画像のうち記憶部２０５が記憶する座標に変更前画像または変更画像を配置することで、提供用画像データを生成する。つまり、復元部２１０は、暗号鍵によって指定された被写体の属性情報を認識可能な変更画像を用いて、提供用画像データを生成する。そして、画像送信部２１１は、復元部２１０が生成した提供用画像データを、暗号鍵の送信元の端末装置１００に送信する（ステップＳ１６）。【００３２】
端末装置１００は、クラウドサーバ２００から提供用画像データを受信すると、当該提供用画像データをディスプレイに表示させる。これにより、利用者は所望の画像を閲覧することができる。【００３３】
このように、上記の手順によれば、クラウドサーバ２００は、利用目的に応じて対象の属性情報の開示量を調整して画像データを利用者に提示することができる。例えば、画像処理システム１は、画像データをマーケティングに利用することを望む利用者に性別ごとの暗号鍵または年代ごとの暗号鍵を提供することができる。これにより、利用者は、画像処理システム１を用いて画像データに写った人物の性別または年代を特定することができる。一方、画像処理システム１は、利用者によって画像データに写った人物の服装や顔が認識されることを防止することができる。【００３４】
また、画像処理システム１は、所定の人物の捜索を望む利用者に、当該人物の顔特徴量から抽出した暗号鍵を提供することができる。これにより、利用者は、画像処理システム１を用いて画像データに写る捜索対象者の詳細な画像を閲覧することができる。一方、画像処理システム１は、利用者によって画像データに写る他の人物が認識されることを防止することができる。
【実施例２】
【００３５】
本発明の実施例２について図４を参照して説明する。実施例１に係る画像処理システム１では、クラウドサーバ２００が画像の登録処理および画像の提供処理を行なっていた。これに対して、実施例２に係る画像処理システム１では、画像の登録処理をクラウドサーバ２００以外の装置に実行させる。【００３６】
図４は、本発明の実施例２に係る画像処理システム１のブロック図である。実施例２に係る画像処理システム１は、端末装置１００と、クラウドサーバ２００と、エッジサーバ３００とを備える。エッジサーバ３００は、クラウドサーバ２００に掛かる負荷を抑えるために、端末装置１００が送信するデータについて前処理を行なう。具体的には、エッジサーバ３００は、画像受信部２０１、領域特定部２０２、変更画像生成部２０３、背景画像生成部２０４、鍵生成部２０６、および記録部２０７を備える。また、クラウドサーバ２００は、記憶部２０５、鍵入力部２０８、画像取得部２０９、復元部２１０、および画像送信部２１１を備える。実施例２では、構成要素２０１乃至２１１がクラウドサーバ２００およびエッジサーバ３００に分散して配置されているが、実施例１に係るクラウドサーバ２００の構成要素２０１乃至２１１と同等の機能を備えている。なお、エッジサーバ３００が備える記録部２０７は、クラウドサーバ２００が備える記憶部２０５に前述の画像を記録する。【００３７】
上述のように、実施例２に係る画像処理システム１では、エッジサーバ３００は画像の登録処理を行い、クラウドサーバ２００は画像の提供処理を行なう。実施例２に係るクラウドサーバ２００は、請求の範囲に規定される画像復元装置の一例である。このように、実施例２に係る画像処理システム１は、処理負荷の高い画像の登録処理をエッジサーバ３００に分担させることで、クラウドサーバ２００の負荷を抑えることができる。【００３８】
本実施例では、エッジサーバ３００が画像の登録処理を行い、クラウドサーバ２００が画像の提供処理を行なうが、これに限定されるものではない。例えば、本実施例を改造して画像の提供処理の一部をエッジサーバ３００に実施させてもよいし、画像の登録処理の一部をクラウドサーバ２００に実施させてもよい。或いは、クラウドサーバ２００と端末装置１００との間で画像処理を分担させるようにしてもよい。【００３９】
なお、クラウドサーバ２００は請求の範囲に規定する第１の情報処理装置の一例であり、エッジサーバ３００と端末装置１００は請求の範囲に規定する第２の情報処理装置の一例である。つまり、第１の情報処理装置であるクラウドサーバ２００と第２の情報処理装置であるエッジサーバ３００とが画像処理を分担してもよい。或いは、第１の情報処理装置であるクラウドサーバ２００と第２の情報処理装置である端末装置１００とが画像処理を分担してもよい。
【実施例３】
【００４０】
次に、本発明の実施例３について図５を参照して説明する。実施例１および実施例２に係る画像処理システム１に搭載されたクラウドサーバ２００は、復号に成功した画像が存在する全ての領域について当該画像を用いて提供用画像データを生成する。これに対して、実施例３に係る画像処理システム１に搭載するクラウドサーバ２００は、複数の暗号鍵が入力された場合に、全ての暗号鍵を用いて復号に成功した領域についてのみ、当該画像を用いて提供用画像データを生成する。【００４１】
実施例３に係る画像処理システム１は、実施例１に係る画像処理システム１と同様の構成を有する。但し、実施例３に係る画像処理システム１は実施例１に係る画像処理システム１と画像の提供処理が異なる。図５は、実施例３に係るクラウドサーバ２００による画像提供処理を示すフローチャートである。【００４２】
利用者は、端末装置１００を介して画像データを閲覧する場合、当該端末装置１００に閲覧したい情報に応じた暗号鍵を入力する。このとき、利用者は、表示すべき対象が属性情報に係る複数の暗号鍵を端末装置１００に入力する。例えば、表示すべき対象が３０代の男性である場合、利用者は、３０代に関連付けられた暗号鍵と、男性に関連付けられた暗号鍵とを端末装置１００に入力する。端末装置１００は、利用者によって暗号鍵が入力されると、当該暗号鍵をクラウドサーバ２００に送信する。【００４３】
クラウドサーバ２００の鍵入力部２０８は、端末装置１００から暗号鍵を受信する（ステップＳ２１）。次に、画像取得部２０９は、記憶部２０５が記憶する全ての変更前画像および変更画像について、暗号鍵による復号を試みる（ステップＳ２２）。画像取得部２０９は、対象が含まれる領域のうち、各暗号鍵で復号できる全ての変更画像が含まれる領域を特定する（ステップＳ２３）。例えば、鍵入力部２０８が３０代に関連付けられた暗号鍵と、男性に関連付けられた暗号鍵とを受信した場合、画像取得部２０９は、３０代に関連付けられた暗号鍵で復号できる変更画像と、男性に関連付けられた暗号鍵で復号できる変更画像とに紐付けられた領域を特定する。その後、画像取得部２０９は、特定した領域に係る変更前画像または変更画像を記憶部２０５から取得する（ステップＳ２４）。このとき、画像取得部２０９は、同一の領域について、最も特定可能な属性情報が多い画像を取得する。また、画像取得部２０９は、記憶部２０５が記憶する各フレームの背景画像を取得する（ステップＳ２５）。【００４４】
次に、復元部２１０は、画像取得部２０９が取得した背景画像に、ステップＳ２４で取得した変更前画像または変更画像を合成することで、提供用画像データを生成する（ステップＳ２６）。つまり、復元部２１０は、暗号鍵によって指定された被写体の属性情報を認識可能な変更画像を用いて、提供用画像データを生成する。そして、画像送信部２１１は、復元部２１０が生成した提供用画像データを、暗号鍵の送信元の端末装置１００に送信する（ステップＳ２７）。【００４５】
端末装置１００は、クラウドサーバ２００から提供用画像データを受信すると、当該提供用画像データをディスプレイに表示させる。これにより、利用者は所望の画像を閲覧することができる。このように、本実施例に係るクラウドサーバ２００は、入力された暗号鍵の条件を全て満たす対象が写る提供用画像データを生成することができる。これにより、利用者は、提供用画像データを用いて、捜索の対象を効率よく探すことができる。
【実施例４】
【００４６】
次に、本発明の実施例４に係る画像処理システム１について図６及び図７を参照して説明する。実施例１乃至実施例３に係るクラウドサーバ２００は、端末装置１００から受信した暗号鍵を用いて提供用画像データを生成している。これに対して、本実施例に係るクラウドサーバ２００は、暗号鍵に代えて写真データを用いることで、当該写真データに写る対象が写った提供用画像データを生成する。【００４７】
図６は、本発明の実施例４に係る画像処理システム１のブロック図である。実施例４に係るクラウドサーバ２００は、実施例１に係るクラウドサーバ２００における鍵入力部２０８に代えて条件入力部２１２を備える。このため、実施例４に係るクラウドサーバ２００は、実施例１に係るクラウドサーバ２００と構成要素２０１〜２０７、２０９〜２１１と同一の構成要素を有するが、鍵生成部２０６および画像取得部２０９の動作が実施例１と異なる。条件入力部２１２は、端末装置１００から対象が写る写真データを受信する。【００４８】
次に、実施例４に係るクラウドサーバ２００が端末装置１００の要求に応じて画像データを提供する手順について説明する。図７は、実施例４に係るクラウドサーバ２００による画像提供処理を示すフローチャートである。
利用者は、端末装置１００を介して画像データを閲覧する場合、表示すべき対象が写った写真データを当該端末装置１００に入力する。端末装置１００は、利用者によって写真データが入力されると、当該写真データをクラウドサーバ２００に送信する。【００４９】
まず、クラウドサーバ２００の条件入力部２１２は、端末装置１００から写真データを受信する（ステップＳ３１）。次に、画像取得部２０９は、利用者の権限情報を参照し、写真データに基づいて対象の変更前画像を閲覧する権限があるか否かを判定する（ステップＳ３２）。具体的には、画像取得部２０９は、画像処理システム１への利用者のログイン情報に基づいて権限の判定を行なう。例えば、画像取得部２０９は、利用者が捜査権限を有する警察官である場合に、写真データに基づいて対象の変更前画像を閲覧する権限があると判定する。画像取得部２０９は、利用者に権限がないと判定した場合（ステップＳ３２の判定結果「ＮＯ」）、提供用画像データを生成せずに画像提供処理を終了する。【００５０】
一方、利用者に権限がある場合（ステップＳ３２の判定結果「ＹＥＳ」）、鍵生成部２０６は、条件入力部２１２に入力された写真データから対象の特徴量を抽出する（ステップＳ３３）。次に、画像取得部２０９は、記憶部２０５が記憶する全ての変更前画像について、写真データから抽出した対象の特徴量を暗号鍵として、画像データの復号を試みる（ステップＳ３４）。その後、画像取得部２０９は、記憶部２０５が領域ごと、かつ、フレームごとに記憶する変更前画像のうち、復号に成功した変更前画像を取得する（ステップＳ３５）。また、画像取得部２０９は、記憶部２０５が記憶する各フレームの背景画像を取得する（ステップＳ３６）。【００５１】
次に、復元部２１０は、画像取得部２０９が取得した各フレームの背景画像に、当該フレームに係る領域ごとの変更画像を合成することで、提供用画像データを生成する（ステップＳ３７）。具体的には、復元部２１０は、背景画像において記憶部２０５が記憶する座標に変更前画像を配置することで、提供用画像データを生成する。つまり、復元部２１０は、写真データによって指定された被写体の属性情報を認識可能な変更画像を用いて、提供用画像データを生成する。そして、画像送信部２１１は、復元部２１０が生成した提供用画像データを、暗号鍵の送信元の端末装置１００に送信する（ステップＳ３８）。【００５２】
端末装置１００は、クラウドサーバ２００から提供用画像データを受信すると、当該提供用画像データをディスプレイに表示させる。これにより、利用者は所望の画像を閲覧することができる。このように、上記の手順によれば、クラウドサーバ２００は、利用者によって入力された写真データに基づいて、当該写真データに写った対象が写った画像データを利用者に提供することができる。【００５３】
図１乃至図７を参照して実施例１乃至実施例４とともに本発明に係る画像処理システム１について詳細に説明したが、具体的な構成は上述の実施例に限定されるものではなく、様々な設計変更を施すことが可能である。例えば、画像処理システム１は、変更画像および変更前画像を暗号化して記憶部２０５に記録するものとしたが、これに限定されるものではない。上述の実施例を変形して、画像処理システム１は、変更画像および変更前画像を平文で記憶部２０５に記録してもよい。或いは、画像処理システム１は、変更前画像を暗号化して記憶部２０５に記録し、変更画像を平文で記録部２０５に記録してもよい。【００５４】
上述の実施例に係る画像処理システム１は、背景画像と変更画像または変更前画像とを合成することで、提供用画像データを生成したが、これに限定されるものではない。例えば、画像処理システム１は、背景画像を含まない提供用画像データを生成してもよい。つまり、上述の実施例を変形して、画像処理システム１は変更画像の合成処理を行なわずに、利用者に応じて変更画像または変更前画像を出力してもよい。この場合、変更前画像は請求の範囲に規定する第１の画像の一例であり、変更画像は請求の範囲に規定する第２の画像の一例である。或いは、画像処理システム１は、背景画像生成部２０４が生成した背景画像に代えて、予め用意された背景画像（例えば、無地の一色の背景画像や写真など）と、変更画像または変更前画像とを合成して提供用画像データを生成してもよい。【００５５】
上述の実施例に係る画像処理システム１では、記憶部２０５が記憶する変更画像および変更前画像に基づいて提供用画像データを生成するが、これに限定されるものではない。例えば、上述の実施例を変形して、画像処理システム１は、ライブカメラなどのリアルタイムの画像を提供してもよい。つまり、画像処理システム１の変更画像生成部２０３は、利用者による閲覧のたびに変更画像を生成し、復元部２１０は、変更画像または変更前画像に基づいて提供用画像を逐次生成する。この場合、画像処理システム１は記憶部２０５および記録部２０７を備えなくてもよい。【００５６】
次に、本発明に係る画像処理装置および画像復元装置の基本構造、並びに、画像処理方法および画像復元方法の基本処理について図８乃至図１１を参照して説明する。【００５７】
図８は、画像処理装置１０の基本構成を示すブロック図である。上述した実施例では、画像処理装置１０の一例であるクラウドサーバ２００およびエッジサーバ３００について説明したが、画像処理装置１０の基本構成は図８に示すとおりである。すなわち、画像処理装置１０は、変更画像生成部１１および出力部１２を備える。【００５８】
図９は、画像処理方法の基本処理を示すフローチャートである。画像処理装置１０の変更画像生成部１１は、第１の画像に含まれる特定の対象を変更した第２の画像を生成する（ステップＳ１０１）。出力部１２は、第１の画像および第２の画像のいずれかを閲覧者に応じて出力する（ステップＳ１０２）。【００５９】
これにより、画像処理装置１０は、閲覧者の利用目的に応じて対象の属性情報の開示量を調整した画像データを提供することができる。なお、前述の変更画像生成部２０３は、変更画像生成部１１の一例である。また、前述の画像送信部２１１は、出力部１２の一例である。【００６０】
図１０は、画像復元装置２０の基本構成を示すブロック図である。上述の実施例では、画像復元装置２０の一例としてクラウドサーバ２００について説明したが、画像復元装置２０の基本構成は図１０に示す通りである。すなわち、画像復元装置２０は、画像取得部２１および復元部２２を備える。【００６１】
図１１は、画像復元方法の基本処理を示すフローチャートである。まず、画像取得部２１は、対象画像を取得する（ステップＳ２０１）。画像取得部２１は、対象画像と背景画像とを合成して、第２の画像を生成する（ステップＳ２０２）。これにより、画像復元装置２０は、閲覧者の利用目的に応じて対象の属性情報の開示量を調整して第２の画像を生成し、利用者に提供することができる。なお、前述の画像取得部２０９は画像取得部２１の一例であり、前述の復元部２１０は復元部２２の一例である。【００６２】
図１２は、本発明に係る画像処理機能および画像復元機能を実装可能なコンピュータ９００のブロック図である。コンピュータ９００は、ＣＰＵ９０１，主記憶装置９０２、補助記憶装置９０３、およびインタフェース９０４を備える。上述のクラウドサーバ２００の機能およびエッジサーバ３００の機能は、コンピュータ９００に実装される。そして、上述の構成要素２０１〜２１２の動作は、プログラム形式で補助記憶装置９０３に記憶される。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上述の処理手順を実行する。また、ＣＰＵ９０１は、プログラムに従って記憶部２０５に対応する記憶領域を補助記憶装置９０３に確保する。【００６３】
コンピュータ９００において、補助記憶装置９０３は、一時的でない有形の記憶媒体の一例である。一時的でない有形の記憶媒体としては、インタフェースを介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、上述のプログラムが通信回線を介してコンピュータに配信される場合、コンピュータ９００が当該プログラムを主記憶装置９０２に展開して、上述の処理手順を実行するようにしてもよい。【００６４】
上述のプログラムは本発明に係る画像処理機能および画像復元機能の一部を実現するためのものであってもよい。また、上述のプログラムは、本発明に係る画像処理機能および画像復元機能を補助記憶装置９０３に既にインストールされている他のプログラムとの組み合わせで実現するような差分プログラム（或いは、差分ファイル）であってもよい。【００６５】
最後に、本発明の構成及び機能は上述の実施例及び変形例に限定されるものではなく、添付した請求の範囲に規定される発明の範囲内における設計変更や改変をも包含し得るものである。
【産業上の利用可能性】
【００６６】
本発明は、画像データに含まれる対象の属性情報を閲覧者に応じて制御する技術に関するものであり、上述の実施例では画像処理及び画像復元処理をクラウドサーバやエッジサーバに実装するものとしたが、他のシステムや装置に実装することも可能である。また、画像データに限らず、文章データや音声データに含まれる対象の属性情報を利用者に応じて制御することも可能である。
【符号の説明】
【００６７】
１      画像処理システム
１０    画像処理装置
１１    変更画像生成部
１２    出力部
２０    画像復元装置
２１    画像取得部
２２    復元部
１００  端末装置
２００  クラウドサーバ
２０１  画像受信部
２０２  領域特定部
２０３  変更画像生成部
２０４  背景画像生成部
２０５  記憶部
２０６  鍵生成部
２０７  記録部
２０８  鍵入力部
２０９  画像取得部
２１０  復元部
２１１  画像送信部
２１２  条件入力部
３００  エッジサーバ
【図１】
2017026356.tif 000003
【図２】
2017026356.tif 000004
【図３】
2017026356.tif 000005
【図４】
2017026356.tif 000006
【図５】
2017026356.tif 000007
【図６】
2017026356.tif 000008
【図７】
2017026356.tif 000009
【図８】
2017026356.tif 000010
【図９】
2017026356.tif 000011
【図１０】
2017026356.tif 000012
【図１１】
2017026356.tif 000013
【図１２】
2017026356.tif 000014
【手続補正書】
【提出日】平成30年1月22日(2018.1.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の画像に含まれる特定の対象を変更した第２の画像を生成する変更画像生成部と、
前記第１の画像または前記第２の画像のいずれかを閲覧者に応じて出力する出力部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記変更画像生成部は、前記第２の画像を複数種類生成可能であり、
前記出力部は、前記第１の画像および複数種類の前記第２の画像のうちいずれかを閲覧者に応じて出力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変更画像生成部は、前記特定の対象に相当する対象画像を変更し、
前記出力部は、前記対象画像を閲覧者に応じて出力することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記変更画像生成部は、前記特定の対象に相当する対象画像を変更し、
前記第１の画像から前記対象画像を除いた背景画像を生成する背景画像生成部を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第２の画像は、前記対象の属性情報を表示するものであることを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項６】
前記第２の画像は、前記第１の画像に比べて解像度を低くしたことを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項７】
前記第２の画像は、前記対象に係る情報の一部を隠蔽したことを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項８】
異なる暗号鍵によってそれぞれ暗号化された前記第１の画像及び前記第２の画像を記憶する記憶部を更に備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
第１の画像に含まれる特定の対象を変更した第２の画像を生成し、
前記第１の画像または前記第２の画像のいずれかを閲覧者に応じて出力することを特徴とする画像処理方法。
【請求項１０】
第１の画像に含まれる特定の対象を変更した第２の画像を生成し、
前記第１の画像または前記第２の画像のいずれかを閲覧者に応じて出力することを、コンピュータに実行させるためのプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
最後に、本発明の構成及び機能は上述の実施例及び変形例に限定されるものではなく、添付した請求の範囲に規定される発明の範囲内における設計変更や改変をも包含し得るものである。
（付記）
本発明は、例えば、以下の付記のように表現することができる。
［付記１］
第１の画像に含まれる特定の対象を変更した第２の画像を生成する変更画像生成手段と、
前記第１の画像または前記第２の画像のいずれかを閲覧者に応じて出力する出力手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記変更画像生成手段は、前記第２の画像を複数種類生成可能であり、
前記出力手段は、前記第１の画像および複数種類の前記第２の画像のうちいずれかを閲覧者に応じて出力することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記変更画像生成手段は、前記特定の対象に相当する対象画像を変更し、
前記出力手段は、前記対象画像を閲覧者に応じて出力することを特徴とする付記１に記載の画像処理装置。
［付記４］
前記変更画像生成手段は、前記特定の対象に相当する対象画像を変更し、
前記第１の画像から前記対象画像を除いた背景画像を生成する背景画像生成手段を更に備えることを特徴とする付記１に記載の画像処理装置。
［付記５］
複数種類の前記第２の画像は、前記特定の対象に係る異なる属性をそれぞれ認識可能なものであることを特徴とする付記２に記載の画像処理装置。
［付記６］
前記第１の画像に複数の対象が含まれる場合、前記変更画像生成手段は前記複数の対象に相当する複数の対象画像をそれぞれ変更することを特徴とする付記３に記載の画像処理装置。
［付記７］
前記第２の画像は、前記対象の属性情報を表示するものであることを特徴とする付記１乃至付記６の何れかに記載の画像処理装置。
［付記８］
前記第２の画像は、前記第１の画像に比べて解像度を低くしたことを特徴とする付記１乃至付記６の何れかに記載の画像処理装置。
［付記９］
前記第２の画像は、前記対象に係る情報の一部を隠蔽したことを特徴とする付記１乃至付記６の何れかに記載の画像処理装置。
［付記１０］
前記背景画像と前記対象画像とを合成することで、前記第２の画像を生成する復元手段を更に備えたことを特徴とする付記４に記載の画像処理装置。
［付記１１］
前記復元手段は、閲覧者に応じた属性情報を認識可能な前記対象画像を用いて、前記第２の画像を生成することを特徴とする付記１０に記載の画像処理装置。
［付記１２］
複数の異なる暗号鍵によって暗号化された複数の前記対象画像を記憶する記憶手段と、
少なくとも１つの暗号鍵を入力する鍵入力手段と、
を更に備え、
前記復元手段は、前記記憶手段が記憶する複数の前記対象画像のうち、前記鍵入力手段によって入力された前記少なくとも１つの暗号鍵によって復号可能な前記対象画像を用いて、前記第２の画像を生成することを特徴とする付記１０に記載の画像処理装置。
［付記１３］
前記復元手段は、前記鍵入力手段によって複数の暗号鍵が入力された場合に、その全ての暗号鍵で復号可能な前記対象画像のみを復号して、前記第２の画像を生成することを特徴とする付記１２に記載の画像処理装置。
［付記１４］
異なる暗号鍵によってそれぞれ暗号化された前記第１の画像及び前記第２の画像を記憶する記憶手段を更に備えたことを特徴とする付記１に記載の画像処理装置。
［付記１５］
前記対象の特徴情報に基づいて前記暗号鍵を生成する鍵生成手段を更に備えたことを特徴とする付記１２に記載の画像処理装置。
［付記１６］
前記暗号鍵を入力する前記鍵入力手段に代えて、前記対象画像が含まれる第３の画像を入力する条件入力手段を更に備え、
前記鍵生成手段は、前記第３の画像から前記暗号鍵を生成し、
前記復元手段は、前記記憶手段が記憶する複数の前記対象画像のうち、前記第３の画像から生成された前記暗号鍵によって復号可能な前記対象画像を用いて、前記第２の画像を生成することを特徴とする付記１５に記載の画像処理装置。
［付記１７］
特定の対象について、第１の閲覧者に応じた第１の対象画像と、第２の閲覧者に応じた第２の対象画像と、を出力する画像処理装置。
［付記１８］
第１の画像に含まれる特定の対象を変更した第２の画像を生成し、
前記第１の画像または前記第２の画像のいずれかを閲覧者に応じて出力することを特徴とする画像処理方法。
［付記１９］
コンピュータに付記１８に記載の画像処理方法を実行させることを特徴とするプログラム。
［付記２０］
第１の画像に含まれる特定の対象に相当する対象画像を取得する画像取得手段と、
前記第１の画像から前記対象画像を除いた背景画像と、前記対象画像とを合成して第２の画像を生成する復元手段と、
を備えることを特徴とする画像復元装置。
［付記２１］
第１の画像に含まれる特定の対象に相当する対象画像を取得し、
前記第１の画像から前記対象画像を除いた背景画像と、前記対象画像とを合成して第２の画像を生成することを特徴とする画像復元方法。
［付記２２］
コンピュータに付記２１に記載の画像復元方法を実行させることを特徴とするプログラム。
［付記２３］
第１の画像に含まれる特定の対象を変更して第２の画像を生成し、前記第１の画像および前記第２の画像を登録する画像登録処理を実行する第１の情報処理装置と、
前記第１の画像または前記第２の画像のいずれかを閲覧者に応じて出力する画像提供処理を実行する第２の情報処理装置と、
を具備することを特徴とする画像処理システム。
【国際調査報告】
2017026356.tif 000015
2017026356.tif 000016
2017026356.tif 000017
2017026356.tif 000018