(57)【要約】【課題】与えられた画像に対して効率的な圧縮を行って圧縮画像の容量の抑制を行い、通信容量を絞った状態での画像データの送受信が可能な技術を提供する。【解決手段】画像取得手段と、センサ手段と、データベースとを備えたコンピュータが、原画像の取得と同時に前記原画像の取得地点の環境情報を取得し、前記原画像に含まれている可能性の高い被写体を選定するためのマッチングリストを作成し、当該マッチングリストに基づき、前記原画像に近似する基準画像を生成し、前記原画像と前記基準画像との差分を取り、共通する被写体情報を取り除いた差分画像を生成し、前記差分画像の圧縮・符号化を行い、前記マッチングリストに含まれるマッチング情報と、前記被写体情報と、を含む差分メタ情報を生成し、前記符号化差分画像と前記差分メタ情報とを結合した符号化画像を生成する。【選択図】図３
2019186868.tif 000002
【特許請求の範囲】
【請求項１】
画像取得手段と、センサ手段と、第１のデータベースとを備えたコンピュータが、
前記画像取得手段により原画像を取得する画像取得工程と、
前記センサ手段により前記原画像の取得地点の環境情報を取得する環境情報取得工程と、
前記原画像に含まれている可能性の高い被写体を選定するために、前記環境情報を参照して前記第１のデータベースから前記被写体の候補となり得るものを抽出してマッチングリストを作成するマッチングリスト作成工程と、
前記マッチングリストと前記原画像との比較を行いながら、前記原画像に近似する基準画像を生成する基準画像生成工程と、
前記原画像と前記基準画像との差分を取り、共通する被写体情報を取り除いた差分画像を生成する差分画像生成工程と、
前記差分画像の圧縮・符号化を行って符号化差分画像を生成する符号化差分画像生成工程と、
前記マッチングリストに含まれるマッチング情報と、前記被写体情報と、を含む差分メタ情報を生成する差分メタ情報生成工程と、
前記符号化差分画像と前記差分メタ情報とを結合して符号化画像を生成する符号化画像生成工程と、
を実行することを特徴とする画像圧縮方法。
【請求項２】
画像取得手段と、センサ手段と、第１のデータベースとを備えたコンピュータが、
前記画像取得手段により原画像を取得する画像取得工程と、
前記センサ手段により前記原画像の取得地点の環境情報を取得する環境情報取得工程と、
前記原画像に含まれている可能性の高い被写体を選定するために、前記環境情報を参照して前記第１のデータベースから前記被写体の候補となり得るものを抽出してマッチングリストを作成するマッチングリスト作成工程と、
前記マッチングリストと前記原画像との比較を行いながら、前記原画像に近似する基準画像を生成する基準画像生成工程と、
前記原画像と前記基準画像との差分を取り、共通する被写体情報を取り除いた差分画像を生成する差分画像生成工程と、
前記差分画像の圧縮・符号化を行って符号化差分画像を生成する符号化差分画像生成工程と、
前記マッチングリストに含まれるマッチング情報と、前記被写体情報と、を含む差分メタ情報を生成する差分メタ情報生成工程と、
前記符号化差分画像と前記差分メタ情報とを結合して符号化画像を生成する符号化画像生成工程と、
を実行する画像圧縮方法により圧縮・符号化された画像を、第２のデータベースを備えたコンピュータが復号する画像復号方法であって、
前記符号化画像から前記符号化差分画像を抽出して前記差分メタ情報を分離し、当該差分メタ情報に含まれる前記被写体情報を抽出する符号化画像前処理工程と、
前記被写体情報を参照して、前記第２のデータベースから被写体モデルを呼び出す被写体モデル呼び出し工程と、
画像サイズ内に前記被写体情報に基づき前記被写体モデルを配置して基準画像を再構築する基準画像再構築工程と、
前記符号化差分画像に対して復号化処理を行って前記差分画像を再生し、当該差分画像に再構築された前記基準画像を当てはめ前記原画像を再生する画像復号処理工程と、
を実行することを特徴とする画像復号方法。
【請求項３】
前記第２のデータベースは階層化構造を有しており、
前記被写体モデル呼び出し工程では、
前記第２のデータベースを階層ごとに検索し、当てはまる前記被写体モデルを検出できなかった場合には、前記被写体情報を抽象化して再構築し、当該再構築された被写体情報を基に前記データベースから被写体モデルを呼び出すことを特徴とする請求項２に記載の画像復号方法。
【請求項４】
画像取得手段を備えたコンピュータが、
前記画像取得手段により原画像を取得する画像取得工程と、
前記原画像からハッシュ値を算出するハッシュ値算出工程と、
前記原画像の一部を抽象化した部分抽象化画像を生成する部分抽象化画像生成工程と、
前記原画像と前記部分抽象化画像との差分を取り、前記部分抽象化画像生成工程で抽象化された部分を取り除いた差分画像を生成する差分画像生成工程と、
前記抽象化された部分の情報をストリップする情報ストリップ工程と、
前記差分画像の圧縮・符号化を行って符号化差分画像を生成する符号化差分画像生成工程と、
前記符号化差分画像を外部へ送信する符号化差分画像送信工程と、
前記符号化差分画像の送信先から受信したハッシュ値を、前記ハッシュ値算出工程で算出されたハッシュ値と比較するハッシュ値比較工程と、
を実行することを特徴とする画像圧縮方法。
【請求項５】
画像取得手段を備えたコンピュータが、
前記画像取得手段により原画像を取得する画像取得工程と、
前記原画像からハッシュ値を算出するハッシュ値算出工程と、
前記原画像の一部を抽象化した部分抽象化画像を生成する部分抽象化画像生成工程と、
前記原画像と前記部分抽象化画像との差分を取り、前記部分抽象化画像生成工程で抽象化された部分を取り除いた差分画像を生成する差分画像生成工程と、
前記抽象化された部分の情報をストリップする情報ストリップ工程と、
前記差分画像の圧縮・符号化を行って符号化差分画像を生成する符号化差分画像生成工程と、
前記符号化差分画像を外部へ送信する符号化差分画像送信工程と、
前記符号化差分画像の送信先から受信したハッシュ値を、前記ハッシュ値算出工程で算出されたハッシュ値と比較するハッシュ値比較工程と、
を実行する画像圧縮方法により圧縮・符号化された画像を、データベースを備えたコンピュータが復号する画像復号方法であって、
前記符号化差分画像に対して復号化処理を行って前記差分画像を再生し、当該差分画像の情報欠缺部分に当てはまる情報を自己情報を利用して前記データベースから抽出して当てはめ前記原画像を再構築する原画像再構築工程と、
再構築された前記原画像からハッシュ値を算出し、該ハッシュ値を前記符号化差分画像の送信元へ送信するハッシュ値送信工程と、
を実行することを特徴とする画像復号方法。
【請求項６】
画像取得手段を備えたコンピュータが、
前記画像取得手段により原画像を取得する画像取得工程と、
任意の乱数を生成して当該乱数で前記原画像の一部を抽象化した部分抽象化画像を生成する部分抽象化画像生成工程と、
前記原画像と前記部分抽象化画像との差分を取り、前記部分抽象化画像生成工程で抽象化された部分を取り除いた差分画像を生成する差分画像生成工程と、
前記抽象化された部分の情報をストリップする情報ストリップ工程と、
前記差分画像の圧縮・符号化を行って符号化差分画像を生成する符号化差分画像生成工程と、
を実行することを特徴とする画像圧縮方法。
【請求項７】
画像取得手段を備えたコンピュータが、
前記画像取得手段により原画像を取得する画像取得工程と、
任意の乱数を生成して当該乱数で前記原画像の一部を抽象化した部分抽象化画像を生成する部分抽象化画像生成工程と、
前記原画像と前記部分抽象化画像との差分を取り、前記部分抽象化画像生成工程で抽象化された部分を取り除いた差分画像を生成する差分画像生成工程と、
前記抽象化された部分の情報をストリップする情報ストリップ工程と、
前記差分画像の圧縮・符号化を行って符号化差分画像を生成する符号化差分画像生成工程と、
を実行する画像圧縮方法により圧縮・符号化された画像を、データベースを備えたコンピュータが復号する画像復号方法であって、
前記符号化差分画像に対して復号化処理を行って前記差分画像を再生し、当該差分画像の情報欠缺部分に当てはまる情報を自己情報を利用して前記データベースから抽出して当てはめ前記原画像を再構築する画像再構築工程と、
再構築された前記原画像から前記乱数を除去する乱数除去工程と、
を実行することを特徴とする画像復号方法。
【請求項８】
画像取得手段と、センサ手段と、複数に階層化された第１のデータベースと、を備えたコンピュータが、
前記画像取得手段により原画像を取得する画像取得工程と、
前記センサ手段により前記原画像の取得地点の環境情報を取得する環境情報取得工程と、
前記原画像に含まれている可能性の高い被写体を選定するために、前記環境情報を参照して前記第１のデータベースから前記被写体の候補となり得るものを抽出してマッチングリストを作成するマッチングリスト作成工程と、
前記マッチングリストと前記原画像との比較を行いながら、前記原画像に近似する基準画像を生成する基準画像生成工程と、
前記原画像と前記基準画像との差分を取り、共通する被写体情報を取り除いた差分画像を生成する差分画像生成工程と、
前記差分画像の圧縮・符号化を行って符号化差分画像を生成する符号化差分画像生成工程と、
前記マッチングリストに含まれるマッチング情報と、前記被写体情報と、を含む差分メタ情報を生成する差分メタ情報生成工程と、
前記符号化差分画像を前記第１のデータベースの所定の階層に保存する符号化差分画像保存工程と、
前記差分メタ情報を前記第１のデータベースの所定の階層に保存する差分メタ情報保存工程と、
外部からの申請に対して認証し、前記符号化差分画像および前記差分メタ情報を提供するか、もしくは前記符号化差分画像および内容を部分的に抽象化した前記差分メタ情報を提供するか、またはいずれも提供しないかの判定を行う認証・判定工程と、
前記認証・判定工程において、
前記符号化差分画像および前記差分メタ情報を提供すると判定された申請者に対しては、前記第１のデータベースの所定の階層に保存された符号化差分画像、および前記第１のデータベースの所定の階層に保存された差分メタ情報を提供し、
前記符号化差分画像および内容を部分的に抽象化した前記差分メタ情報を提供すると判定された申請者に対しては、前記第１のデータベースの所定の階層に保存された符号化差分画像、および前記第１のデータベースの所定の階層に保存された前記差分メタ情報を内容の一部を抽象化して提供し、
いずれも提供しないと判定された申請者に対しては画像情報の提供をしないことを実行する画像情報選択提供工程と、
を実行することを特徴とする画像圧縮方法。
【請求項９】
画像取得手段と、センサ手段と、複数に階層化された第１のデータベースと、を備えたコンピュータが、
前記画像取得手段により原画像を取得する画像取得工程と、
前記センサ手段により前記原画像の取得地点の環境情報を取得する環境情報取得工程と、
前記原画像に含まれている可能性の高い被写体を選定するために、前記環境情報を参照して前記第１のデータベースから前記被写体の候補となり得るものを抽出してマッチングリストを作成するマッチングリスト作成工程と、
前記マッチングリストと前記原画像との比較を行いながら、前記原画像に近似する基準画像を生成する基準画像生成工程と、
前記原画像と前記基準画像との差分を取り、共通する被写体情報を取り除いた差分画像を生成する差分画像生成工程と、
前記差分画像の圧縮・符号化を行って符号化差分画像を生成する符号化差分画像生成工程と、
前記マッチングリストに含まれるマッチング情報と、前記被写体情報と、を含む差分メタ情報を生成する差分メタ情報生成工程と、
前記符号化差分画像を前記第１のデータベースの所定の階層に保存する符号化差分画像保存工程と、
前記差分メタ情報を前記第１のデータベースの所定の階層に保存する差分メタ情報保存工程と、
外部からの申請に対して認証し、前記符号化差分画像および前記差分メタ情報を提供するか、もしくは前記符号化差分画像および内容を部分的に抽象化した前記差分メタ情報を提供するか、またはいずれも提供しないかの判定を行う認証・判定工程と、
前記認証・判定工程において、
前記符号化差分画像および前記差分メタ情報を提供すると判定された申請者に対しては、前記第１のデータベースの所定の階層に保存された符号化差分画像、および前記第１のデータベースの所定の階層に保存された差分メタ情報を提供し、
前記符号化差分画像および内容を部分的に抽象化した前記差分メタ情報を提供すると判定された申請者に対しては、前記第１のデータベースの所定の階層に保存された符号化差分画像、および前記第１のデータベースの所定の階層に保存された前記差分メタ情報を内容の一部を抽象化して提供し、
いずれも提供しないと判定された申請者に対しては画像情報の提供をしないことを実行する画像情報選択提供工程と、
を実行する画像圧縮方法により圧縮・符号化された画像を、第２のデータベースを備えたコンピュータが復号する画像復号方法であって、
前記符号化差分画像および前記差分メタ情報の提供を受けた場合は、
前記差分メタ情報に含まれる前記被写体情報を抽出する符号化画像前処理工程と、
前記被写体情報を参照して、前記第２のデータベースから被写体モデルを呼び出す被写体モデル呼び出し工程と、
画像サイズ内に前記被写体情報に基づき前記被写体モデルを配置して基準画像を再構築する基準画像再構築工程と、
前記符号化差分画像に対して復号化処理を行って前記差分画像を再生し、当該差分画像に再構築された前記基準画像を当てはめ前記原画像を再生する画像復号処理工程と、
を実行することを特徴とする画像復号方法。
【請求項１０】
画像取得手段と、センサ手段と、複数に階層化された第１のデータベースと、を備えたコンピュータが、
前記画像取得手段により原画像を取得する画像取得工程と、
前記センサ手段により前記原画像の取得地点の環境情報を取得する環境情報取得工程と、
前記原画像に含まれている可能性の高い被写体を選定するために、前記環境情報を参照して前記第１のデータベースから前記被写体の候補となり得るものを抽出してマッチングリストを作成するマッチングリスト作成工程と、
前記マッチングリストと前記原画像との比較を行いながら、前記原画像に近似する基準画像を生成する基準画像生成工程と、
前記原画像と前記基準画像との差分を取り、共通する被写体情報を取り除いた差分画像を生成する差分画像生成工程と、
前記差分画像の圧縮・符号化を行って符号化差分画像を生成する符号化差分画像生成工程と、
前記マッチングリストに含まれるマッチング情報と、前記被写体情報と、を含む差分メタ情報を生成する差分メタ情報生成工程と、
前記符号化差分画像を前記第１のデータベースの所定の階層に保存する符号化差分画像保存工程と、
前記差分メタ情報を前記第１のデータベースの所定の階層に保存する差分メタ情報保存工程と、
外部からの申請に対して認証し、前記符号化差分画像および前記差分メタ情報を提供するか、もしくは前記符号化差分画像および内容を部分的に抽象化した前記差分メタ情報を提供するか、またはいずれも提供しないかの判定を行う認証・判定工程と、
前記認証・判定工程において、
前記符号化差分画像および前記差分メタ情報を提供すると判定された申請者に対しては、前記第１のデータベースの所定の階層に保存された符号化差分画像、および前記第１のデータベースの所定の階層に保存された差分メタ情報を提供し、
前記符号化差分画像および内容を部分的に抽象化した前記差分メタ情報を提供すると判定された申請者に対しては、前記第１のデータベースの所定の階層に保存された符号化差分画像、および前記第１のデータベースの所定の階層に保存された前記差分メタ情報を内容の一部を抽象化して提供し、
いずれも提供しないと判定された申請者に対しては画像情報の提供をしないことを実行する画像情報選択提供工程と、
を実行する画像圧縮方法により圧縮・符号化された画像を、第２のデータベースを備えたコンピュータが復号する画像復号方法であって、
前記符号化差分画像および内容が部分的に抽象化された前記差分メタ情報の提供を受けた場合は、
内容が部分的に抽象化された前記差分メタ情報に含まれる抽象化された内容を含む前記被写体情報を抽出する符号化画像前処理工程と、
抽象化された内容を含む前記被写体情報を参照して、前記第２のデータベースから被写体モデルを呼び出す被写体モデル呼び出し工程と、
画像サイズ内に前記被写体情報に基づき前記被写体モデルを配置して基準画像を再構築する基準画像再構築工程と、
前記符号化差分画像に対して復号化処理を行って前記差分画像を再生し、当該差分画像に再構築された前記基準画像を当てはめ前記原画像を再生する画像復号処理工程と、
を実行することを特徴とする画像復号方法。
【請求項１１】
画像取得手段と、センサ手段と、第１のデータベースとを備えたコンピュータに、
前記画像取得手段により原画像を取得する画像取得工程と、
前記センサ手段により前記原画像の取得地点の環境情報を取得する環境情報取得工程と、
前記原画像に含まれている可能性の高い被写体を選定するために、前記環境情報を参照して前記第１のデータベースから被写体の候補となり得るものを抽出してマッチングリストを作成するマッチングリスト作成工程と、
前記マッチングリストと前記原画像との比較を行いながら、前記原画像に近似する基準画像を生成する基準画像生成工程と、
前記原画像と前記基準画像との差分を取り、共通する被写体情報を取り除いた差分画像を生成する差分画像生成工程と、
前記差分画像の圧縮・符号化を行って符号化差分画像を生成する符号化差分画像生成工程と、
前記マッチングリストに含まれるマッチング情報と、前記被写体情報と、を含む差分メタ情報を生成する差分メタ情報生成工程と、
前記符号化差分画像と前記差分メタ情報とを結合して符号化画像を生成する符号化画像生成工程と、
を実行させることを特徴とする画像圧縮プログラム。
【請求項１２】
画像取得手段と、センサ手段と、第１のデータベースとを備えたコンピュータに、
前記画像取得手段により原画像を取得する画像取得工程と、
前記センサ手段により前記原画像の取得地点の環境情報を取得する環境情報取得工程と、
前記原画像に含まれている可能性の高い被写体を選定するために、前記環境情報を参照して前記第１のデータベースから被写体の候補となり得るものを抽出してマッチングリストを作成するマッチングリスト作成工程と、
前記マッチングリストと前記原画像との比較を行いながら、前記原画像に近似する基準画像を生成する基準画像生成工程と、
前記原画像と前記基準画像との差分を取り、共通する被写体情報を取り除いた差分画像を生成する差分画像生成工程と、
前記差分画像の圧縮・符号化を行って符号化差分画像を生成する符号化差分画像生成工程と、
前記マッチングリストに含まれるマッチング情報と、前記被写体情報と、を含む差分メタ情報を生成する差分メタ情報生成工程と、
前記符号化差分画像と前記差分メタ情報とを結合して符号化画像を生成する符号化画像生成工程と、
を実行させる画像圧縮プログラムにより圧縮・符号化された画像を、第２のデータベースを備えたコンピュータに復号させる画像復号プログラムであって、
前記符号化画像から前記符号化差分画像を抽出して前記差分メタ情報を分離し、当該差分メタ情報に含まれる前記被写体情報を抽出する符号化画像前処理工程と、
前記被写体情報を参照して、前記第２のデータベースから被写体モデルを呼び出す被写体モデル呼び出し工程と、
画像サイズ内に前記被写体情報に基づき前記被写体モデルを配置して基準画像を再構築する基準画像再構築工程と、
前記符号化差分画像に対して復号化処理を行って前記差分画像を再生し、当該差分画像に前記基準画像再構築工程で再構築された基準画像を当てはめ前記原画像を再生する画像復号処理工程と、
を実行させることを特徴とする画像復号プログラム。
【請求項１３】
原画像を取得する画像取得手段と、
前記原画像の取得地点の環境情報を取得する環境情報取得手段と、
種々のデータを格納する第１のデータベースと、
前記原画像に含まれている可能性の高い被写体を選定するために、前記環境情報を参照して前記第１のデータベースから被写体の候補となり得るものを抽出してマッチングリストを作成するマッチングリスト作成手段と、
前記マッチングリストと前記原画像との比較を行いながら、前記原画像に近似する基準画像を生成する基準画像生成手段と、
前記原画像と前記基準画像との差分を取り、共通する被写体情報を取り除いた差分画像を生成する差分画像生成手段と、
前記差分画像の圧縮・符号化を行って符号化差分画像を生成する符号化差分画像生成手段と、
前記マッチングリストに含まれるマッチング情報と、前記被写体情報と、を含む差分メタ情報を生成する差分メタ情報生成手段と、
前記符号化差分画像と前記差分メタ情報とを結合して符号化画像を生成する符号化画像生成手段と、
を備えたことを特徴とする画像圧縮装置。
【請求項１４】
原画像を取得する画像取得手段と、
前記原画像の取得地点の環境情報を取得する環境情報取得手段と、
種々のデータを格納する第１のデータベースと、
前記原画像に含まれている可能性の高い被写体を選定するために、前記環境情報を参照して前記第１のデータベースから被写体の候補となり得るものを抽出してマッチングリストを作成するマッチングリスト作成手段と、
前記マッチングリストと前記原画像との比較を行いながら、前記原画像に近似する基準画像を生成する基準画像生成手段と、
前記原画像と前記基準画像との差分を取り、共通する被写体情報を取り除いた差分画像を生成する差分画像生成手段と、
前記差分画像の圧縮・符号化を行って符号化差分画像を生成する符号化差分画像生成手段と、
前記マッチングリストに含まれるマッチング情報と、前記被写体情報と、を含む差分メタ情報を生成する差分メタ情報生成手段と、
前記符号化差分画像と前記差分メタ情報とを結合して符号化画像を生成する符号化画像生成手段と、
を備えた画像圧縮装置により圧縮・符号化された画像を復号する画像復号装置であって、
前記符号化画像から前記符号化差分画像を抽出して前記差分メタ情報を分離し、当該差分メタ情報に含まれる前記被写体情報を抽出する符号化画像前処理手段と、
種々のデータを格納する第２のデータベースと、
前記被写体情報を参照して、前記第２のデータベースから被写体モデルを呼び出す被写体モデル差分メタ情報処理手段と、
画像サイズ内に前記被写体情報に基づき前記被写体モデルを配置して基準画像を再構築する基準画像再構築手段と、
前記符号化差分画像に対して復号化処理を行って前記差分画像を再生し、当該差分画像に再構築された前記基準画像を当てはめ前記原画像を再生する画像復号処理手段と、
を備えたことを特徴とする画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像圧縮方法、画像復号方法、画像圧縮プログラム、画像復号プログラム、画像圧縮装置、および画像復号装置に関する。
【背景技術】
【０００２】
一般に、デジタル信号データの圧縮においては、符号化に際してデータの冗長性を特定する変換を行い、それにハフマン符号化やＬＺＲ（Ｌｅｍｐｅｌ−Ｚｉｖ−Ｒｅｎａｕ)をはじめとする符号化方法により冗長性を取り除くことでデータサイズを小さくしている。
【０００３】
画像圧縮を行う場合は、フィルタリングとして画像特有の特徴を用いることで冗長性を特定する。たとえば、Ｗｅｂ（ウェブ）上でよく使われるＰＮＧ（Ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  Ｇｒａｐｈｉｃｓ）であれば、画像に表されているものの多くが面積を持ち、隣接画素の色情報が急峻に変化することが少ないことを利用して隣接画素の差分とその差分に対するパターン最適化処理でデータの冗長性を見出している。また、写真画像によく使われるＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）では、写真を周波数空間に写したとき、パワーのほとんどが高周波領域に集中することと、人間の目は色領域の変化に鈍感なことを利用して、人間の視覚に対して本質的でないデータを捨てることで大きな圧縮効率を得ている。しかし、この処理では画像内の情報が一部失われるため、元の画像を復元することはできず、非可逆な圧縮である。
【０００４】
さらに、動画圧縮形式であるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）では、コマごとに各ピクセルの変化が少ないことを利用して、前のコマからの差分を取ったり、変化を予測してそこからの差分を取ったりすることで効率的に冗長化した上で符号化を行っている（以上、たとえば、特許文献１を参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１９１９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
昨今のパーソナル・コンピュータやスマートフォン等の情報端末の普及に伴って、通信量が加速度的に増大している。インターネット黎明期に比べて格段に画像コンテンツが増えていることからも、このことは明白である。総務省情報通信白書によれば、一年間にインターネット上でやり取りされるデータ量は日本国内だけでも３５エクサバイトにものぼる。
【０００７】
一方で、通信帯域の向上は限定的で、携帯端末の大規模障害に端を発したデータ量制限にみられるように通信量増大に追いついていない感がある。また、これと同時に処理量も増大の一途をたどっている。その中で、さらに追い討ちをかけるようにＩｏＴ（Ｉｎｔｅｒｎｅｔ  ｏｆ  Ｔｈｉｎｇｓ）の取り組みやクラウドコンピューティング、ＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍｓ）の普及で、さらにこれから通信をはじめとしたＩＣＴ（Ｉｎｆｏｒｍａｔｉｏｎ  ａｎｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ）資源が多く使われ重要な位置を占めることは確実である。このような状況下にあって、通信量の野放図な増大はＩＣＴの発展の一つのボトルネックとなりかねない。そのため、通信環境の改善は喫緊の課題ともいえる。
【０００８】
また、ネットワークトラフィックに対して画像は大きな割合を占める。単なるウェブページコンテンツのみならず、広告、投稿サイト、はてはＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋｉｎｇ  Ｓｅｒｖｉｃｅ）での活発な投稿でネットワークは画像メディアで溢れている。これに対して、画像は圧縮されて提供されているが、現在主流のＪＰＥＧやＰＮＧ等は２０年以上前の技術であり、最近では新しい圧縮形式としてＷｅｂＰやＨＥＩＦ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｉｍａｇｅ  Ｆｏｒｍａｔ）等の画像圧縮技術による解決アプローチがなされてきたが主流になったとは云い難く、また、効果は限定的と云わざるを得ない状況である。その上、一眼レフカメラやスマートフォンなどのカメラの高品質化に伴ってカメラの画素数は上昇し画像メディアの容量は年々増える一方である。このため、さらなる効率的な圧縮を行って圧縮画像の容量の抑制を行うことが望まれる。
【０００９】
また、近年のインターネットの普及に伴い、個人情報流出に伴うダメージも年々深刻になっている。手軽かつ簡単にきれいな写真が取れるようになり、簡単にアップロードできるようになったこともあり、またデータリテラシーのない層が増加したこともあいまって、たとえ本人に非がなくとも、一旦個人の名誉が傷つけられると取り返しのつかない事態となってしまう。
【００１０】
そこで、よりセキュアで簡易な認証方法として指紋や顔認証をはじめとした生体画像認証システムが普及してきている。一方でＳＮＳ上での写真から指紋が読み取れるようになるなどそれを破る技術も進歩しており、いわゆるいたちごっこの状態にある。最終的には道端で生態認証情報を“盗む”ことで認証情報も悪用されかねない。以上のように、画像情報はこれまで以上に個人情報として重要になると考えられ、より厳重な個人情報の管理が望まれる。
【００１１】
本発明は、上述した従来技術による問題点を解消するため、与えられた画像に対して効率的な圧縮を行って圧縮画像の容量の抑制を行い、通信容量を絞った状態での画像データの送受信が可能な技術を提供することを目的とする。また、圧縮画像の復号時に表示される画像内の個人情報の表示・非表示を制御することで、プライバシー保護の目的に沿った画像データの授受を可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するため、本開示技術の一つは、画像取得手段と、センサ手段と、データベースとを備えたコンピュータが、前記画像取得手段により原画像を取得する画像取得工程と、前記画像取得工程の処理と同時に前記センサ手段により前記原画像の取得地点の環境情報を取得する環境情報取得工程と、前記原画像に含まれている可能性の高い被写体を選定するために、前記環境情報を参照して前記データベースから前記被写体の候補となり得るものを抽出してマッチングリストを作成するマッチングリスト作成工程と、前記マッチングリストと前記原画像との比較を行いながら、前記原画像に近似する基準画像を生成する基準画像生成工程と、前記原画像と前記基準画像との差分を取り、共通する被写体情報を取り除いた差分画像を生成する差分画像生成工程と、前記差分画像の圧縮・符号化を行い差分符号化画像を生成する符号化差分画像生成工程と、前記マッチングリストに含まれるマッチング情報と、前記被写体情報と、を含む差分メタ情報を生成する差分メタ情報生成工程と、前記差分符号化画像と前記差分メタ情報とを結合する符号化差分画像生成工程と、を含む処理を実行することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、与えられた画像に対して効率的な圧縮を行って圧縮画像の容量の抑制を行い、通信容量を絞った状態での画像データの送受信が可能な技術を提供することができるという効果を奏する。また、圧縮画像の復号時に表示される画像内の個人情報の表示・非表示を制御することで、プライバシー保護の目的に沿った画像データの授受を可能にする技術を提供することができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】実施の形態１にかかる画像圧縮装置のハードウェア構成例を示す図である。
【図２】実施の形態１にかかる画像圧縮装置の機能的構成を示すブロック図である。
【図３】実施の形態１における画像圧縮処理の手順を示すフローチャートである。
【図４】実施の形態１における画像圧縮処理の概要を説明するための図である。
【図５】基準画像生成処理の手順を示すフローチャートである。
【図６】実施の形態１にかかる画像復号装置のハードウェア構成例を示す図である。
【図７】実施の形態１にかかる画像復号装置の機能的構成を示すブロック図である。
【図８】実施の形態１における画像復号処理の手順を示すフローチャートである。
【図９】被写体モデルの呼び出し処理の手順を示すフローチャートである。
【図１０】実施の形態２の概要を説明するための図である。
【図１１】実施の形態２における画像圧縮・復号方法を用いた認証処理の手順を示すフローチャートである。
【図１２】実施の形態２における画像圧縮・復号方法を用いた認証処理の手順の変形例を示すフローチャートである。
【図１３】実施の形態３の概要を説明するための図である。
【図１４】実施の形態３における画像圧縮・復号方法を用いたユーザ相互認証処理の手順を示すフローチャートである。
【図１５】実施の形態４の概要を説明するための図である。
【図１６】実施の形態４における画像圧縮・復号方法を用いたプライバシー保護配信の手順を示すフォローチャートである。
【発明を実施するための形態】
【００１５】
本発明では、画像圧縮において、前処理としてのフィルタリングの際に「場面」情報を用いることで圧縮率を高め、データに抽象性を持たせるとともに、この抽象性を用いて認証や情報保護の制度を向上させる。なお、本発明において「場面」とは画像の状況的・環境的文脈を含む被写体の様子すべてのことを意味し、以下本明細書において当該事項を単に「場面」と表記する。
【００１６】
一般に広く用いられる画像圧縮方式は、フィルタリングと呼ばれる前処理を行い、情報の冗長性を確保する。たとえば、可逆圧縮方式であるＰＮＧであれば、いくつか用意された細かいフィルタを画像の部分ごとに最適な形になるように適用し、それをメタ情報として記録しておく。また、不可逆圧縮方式であるＪＰＥＧでは、画像を周波数領域で分解し、人間の目の特性上あまり気にならない色の高周波成分を捨てることで冗長化度を向上させている。
【００１７】
これらの圧縮方式を用いて圧縮率を上げようとする場合、いずれも冗長化度の向上に上限がある。圧縮率を上げるためには、前提としてフィルタリングによる冗長化効率を高める必要がある。たとえば、ＰＮＧでは、冗長化効率を高めるためには、個別の画像に対して最適な組み合わせのフィルタを選ぶ必要があり、圧縮率は処理時間との交換になってしまい、復号する際にも負荷がかかる。しかし、このフィルタの種類は限られるため冗長化効率の向上にはおのずから上限がある。一方、ＪＰＥＧは不可逆圧縮なので情報の一部を捨てることにより、圧縮率を向上させることが可能である。しかし、この場合、情報の一部を捨てることになるため、圧縮率を向上させることは画像の再現性を低下させてしまうことになり、エイリアシングや色転びなどの問題となって顕現し、事実上の上限にはやいところでぶつかってしまう。
【００１８】
そこで、本発明ではこのフィルタリング段階での冗長化度を上げることで圧縮率の壁の問題を解決する。フィルタリングを効率化するためには、原画像の情報を落とす必要があり、なるべく大域的にそれに近い類似画像を生成して差分を取ることで実現できる。そこで、本発明では、類似画像を生成する際に、写り込んでいるものの中で典型的な被写体に関するデータベース（ＤＢ）を利用する。このＤＢは共通のものとして頒布することもできる他、個々人でよく使うものを独自にもつこともできる。写真というのはＳＮＳでは自分撮りや料理等、旅行記では特定の地域に紐づいたランドマークや風景などと被写体に一定の傾向がある。これらの被写体が、どの位置にどの角度で存在するかを認識できれば、よく似た部分基準画像を構成することができ、それらを合わせた全体基準画像と元画像との差分を取って差分画像とし、符号化することで効率的な圧縮を実現できる。
【００１９】
たとえば、誰かが撮影した「某有名観光地で鳥居が右に立っておりその下に成人男性が一人立っている」という写真があるものを考えてみる。この場合、最も抽象化された状態はまさに前記の文章である。文章だけでは微妙な位置や鳥居の形、写り込んだ建造物などが表現されないが、これらを加えても、昨今の高解像度の画像データに比べて格段にデータ容量は少ない。その一方で、写真としての情報量を全てないしほとんど含めることができる。このような情報を取り出した場合、この抽象化作業はフィルタリングとして考えると最大限の冗長化がなされていると捉えることができるため、最も効率よく画像圧縮することができる。
【００２０】
本発明では、各「場面」画像の差分圧縮を行い、抽象化・分離した情報を使って圧縮することで、他にも様々な用途が生まれる。圧縮時に参照する空間が絞られていない場合は、圧縮は非常に困難だが、復号は一定の方法でできる。また、差分画像と基準画像、圧縮時のメタ情報がすべて揃わないと復号ができない。そこで、この一方向性を利用して画像のみで暗号化・認証に使うことができる。また、画像データ内に直接個人情報にかかわる情報を埋め込まない状態でｗｅｂにアップロードしたり、他者とのやり取りをしたりすることで  個人情報の拡散を抑制し、個人情報を厳重に保護することも可能になる。
【００２１】
以上のように、本発明によれば、与えられた画像に対して効率的な圧縮を行うことができるほか、画像圧縮時に行った抽象化処理を利用して画像内における個人情報の表示・非表示を容易にコントロールすることができる。
【００２２】
以下、添付図面を参照して、本発明の好適な実施の形態を詳細に説明する。
【００２３】
（実施の形態１）
（画像圧縮装置のハードウェア構成例）
図１は、実施の形態１にかかる画像圧縮装置のハードウェア構成例を示す図である。図１において、画像圧縮装置１００は、ＣＰＵ１０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３と、ディスクドライブ１０４と、ディスク１０５と、カメラ１０６と、入力デバイス１０７と、映像Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０８と、ディスプレイ１０９と、通信Ｉ／Ｆ１１０と、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）ユニット１１１と、各種センサ１１２と、を備えている。なお、各構成部１０１〜１１２はバス１２０によってそれぞれ接続されている。
【００２４】
まず、ＣＰＵ１０１は、画像圧縮装置１００の全体の制御をつかさどる。ＲＯＭ１０２は、たとえばブートプログラム、画像取得から画像圧縮・符号化へ至るまでのプログラム、データベース作成プログラム、データ解析プログラムなどの各種プログラムを記録している。
【００２５】
ＲＡＭ１０３は、たとえばＣＰＵ１０１のワークエリアとして使用される。ディスクドライブ１０４は、ＣＰＵ１０１の制御にしたがってディスク１０５に対するデータのリード／ライトを制御する。ディスク１０５は、ディスクドライブ１０４の制御で書き込まれたデータを記録する。ディスク１０５としては、たとえば、ＨＤ（ハードディスク）や、着脱可能な記録媒体として光ディスク等を用いることも想定される。また、ディスクドライブ１０４およびディスク１０５の代わりに、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）や半導体メモリなどを用いてもよい。
【００２６】
ディスク１０５に記録される情報の一例として、後述するＧＰＳユニット１１１で検出された現在位置を示す位置情報、後述する各種センサ１１２からの出力値、後述するカメラ１０６の撮影画像、「場面」情報などが挙げられる。また、これらの情報は、後述するマッチングリスト作成などに用いられる。
【００２７】
なお、図１に示した例ではディスク１０５に上述した各種情報が記録されるようにしたが、これに限るものではない。上記各種情報は、画像圧縮装置１００のハードウェアと一体に設けられているものに限って記録されているものではなく、画像圧縮装置１００の外部に設けられていてもよい。この場合、画像圧縮装置１００は、たとえば、通信Ｉ／Ｆ１１０を通じて、ネットワークを介して各種情報を取得するようにしてもよい。こうして取得された各種情報は、たとえばＲＡＭ１０３などに記憶される。
【００２８】
カメラ１０６は、ＣＰＵ１０１の制御に基づき、画像撮影を行う。入力デバイス１０７は、文字、数値、各種指示などの入力のための複数のキーを備えたリモコン、キーボード、タッチパネルなどが挙げられる。
【００２９】
また、映像Ｉ／Ｆ１０８は、ディスプレイ１０９と接続される。この映像Ｉ／Ｆ１０８は、具体的には、たとえば、ディスプレイ１０９全体の制御をおこなうグラフィックコントローラと、即時表示可能な画像情報を一時的に記録するＶＲＡＭ（Ｖｉｄｅｏ  ＲＡＭ）などのバッファメモリと、グラフィックコントローラから出力される画像データに基づいて、ディスプレイ１０９を表示制御する制御ＩＣなどによって構成される。ディスプレイ１０９には、各種画像、アイコン、カーソル、メニュー、ウインドウ、あるいは文字などの各種データが表示される。このディスプレイ１０９としては、たとえば、液晶ディスプレイなどを採用することができる。
【００３０】
また、通信Ｉ／Ｆ１１０は、ネットワークに接続され、ネットワークを介して外部の各種装置に接続される。そして、通信Ｉ／Ｆ１１０は、ネットワークと画像圧縮装置１００内部とのインターフェースをつかさどり、外部の各種装置からのデータの入出力を制御する。ネットワークとしては、たとえば、インターネット、ＬＡＮ、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などが想定される。
【００３１】
ＧＰＳユニット１１１は、ＧＰＳ衛星からの受信波や後述する各種センサ１１２からの出力値を用いて、現在位置を示す位置情報を算出する。現在位置を示す位置情報は、たとえば、緯度・経度、高度などの地図情報上の一点を特定する情報である。また、ＧＰＳユニット１１１は、各種センサ１１２からの出力値を用いて、速度変化量、方位変化量などを出力することもできる。
【００３２】
各種センサ１１２は、速度センサ、加速度センサ、角速度センサ、方位センサなどであり、その出力値は、ＧＰＳユニット１１１による位置情報の算出や、速度や方位の変化量の測定に用いられる。
【００３３】
（画像圧縮装置の機能的構成）
図２は、実施の形態１にかかる画像圧縮装置の機能的構成を示すブロック図である。この画像圧縮装置１００は、撮影系２００と処理系３００とから構成される。
【００３４】
撮影系２００は、画像撮影取得部２１０と、環境情報取得部２２０と、からなる。画像撮影取得部２１０は、カメラ機能を有する。環境情報取得部２２０は、センサ部２２１と、環境情報記憶部２２２とを有し、後段の処理に役立つ情報を取得する。環境情報取得部２２０で取得する情報は、画像撮影取得部２１０が撮影した画像から取得する情報ではなく、センサ部２２1が取得する情報である。
【００３５】
画像撮影取得部２１０の機能は、図１に示したカメラ１０６で実現する。環境情報取得部２２０の機能は、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ディスク１０５などの記憶手段に記憶されたプログラムをＣＰＵ１０１に実行させることにより実現する。センサ部２２１の機能は、図１に示したＧＰＳユニット１１１、各種センサ１１２により実現する。環境情報記憶部２２２の機能は、図１に示したＲＡＭ１０３、または、ディスクドライブ１０４にディスク１０５の制御を実行させることにより実現する。
【００３６】
センサ部２２１は、時間・位置情報・方位・温湿度等の環境情報を取得する各種センサを備えている。センサ部２２１は、たとえば、ＧＰＳ衛星からの受信波を受信可能なＧＰＳセンサや、速度センサ、加速度センサ、角速度センサ、方位センサなどを備えることによって、撮影位置の詳細情報（たとえば、緯度・経度、高度などの地図情報上の一点を特定する情報）を取得し、その位置からの方向を特定することで被写体の候補をより正確に絞ったり、候補のより尤もらしい順にランキングを作成したりすることに役立つ。また、撮影中に移動するようなことがあっても、十分に対応することができる。さらに、温度センサ、湿度センサ、光センサなどを備えることにより、位置情報や温湿度、天候や光の具合なども引き出すことができるため被写体特定の精度を向上させることができる。さらに、臭い、振動の記録、姿勢系、高度計、可視光以外の波長照度計、音声情報の記録等、「場面」の指定に役立つセンサ類を追加すると、より好ましい。
【００３７】
環境情報記憶部２２２は、画像撮影取得部２１０の型番（画像撮影取得部２１０が備えるカメラのＦ値等撮影情報含む）や、直前に画像撮影取得部２１０が撮影取得した画像から予測される「場面」情報などを記憶している。たとえば、使用レンズの焦点距離がわかれば、被写体の候補に重み付けをすることができる。また、写真を撮影する際は、一定の文脈に沿った撮影を行うことが多いため、直前の「場面」情報は有効な情報になる場合が多い。ユーザの趣味嗜好なども大きく影響すると考えられるため、そのような情報も含まれているとより好ましい。
【００３８】
なお、画像撮影取得部２１０による画像の撮影取得と、環境情報取得部２２０による環境情報取得とは、同時になされる。画像撮影取得部２１０により撮影取得された画像は原画像として、環境情報取得部２２０により取得された環境情報や環境情報記憶部２２２が有する「場面」情報等は環境メタ（付帯）情報として処理系３００へ供給される。
【００３９】
処理系３００は、差分生成部３２０と、符号化部３３０と、基準ＤＢ（データベース）３４０と、を備える。また、差分生成部３２０は、前処理部３１０を含んでいる。前処理部３１０、差分生成部３２０、および符号化部３３０の機能は、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ディスク１０５などの記憶手段に記憶されたプログラムをＣＰＵ１０１に実行させることにより実現する。基準ＤＢ３４０の機能は、図１に示したディスクドライブ１０４にディスク１０５の制御を実行させることにより実現する。
【００４０】
前処理部３１０は、マッチングリスト作成部３１１と基準画像生成部３１２とからなり、冗長化処理のための前段処理、すなわち差分を引くための基準となる画像を生成する。
【００４１】
まず、マッチングリスト作成部３１１は、前記環境メタ情報を参照しながら、基準画像の元となるモデルデータを格納している基準ＤＢ３４０から画像撮影取得部２１０が取得した原画像に含まれている可能性が高い被写体候補を検索し、当該原画像に最も含まれていそうな被写体の候補を絞るためのマッチングリストを作成する。なお、このマッチングリストには、登場可能性が高い順に被写体候補がランキングされていることが好ましい。
【００４２】
前記環境メタ情報は、被写体を特定するための精度の高い重要な情報を含んでいるため、この環境メタ情報に合致する被写体候補を基準ＤＢ３４０から容易に検索することが可能になる。基準ＤＢ３４０には、ユーザ個人が撮りためた画像とこの画像のメタ情報としてのＧＰＳ位置情報やアクセスポイント、ユーザがネットワーク等を介して取得した画像とこの画像のメタ情報としてのＧＰＳ位置情報やアクセスポイント等が蓄積されている。また、当該画像のメタ情報は、照明の変化やパース等の際に必要になる時間や天候、撮影時に使用したレンズ情報をはじめとする機材情報が含まれていることがより好ましい。この基準ＤＢ３４０に格納される情報は、三次元モデルのようにパラメータの変更によりいくつもの視点や状態変化を表せることが好ましいが、部分的な三次元モデル、画像などの形態をとってもよい。なお、基準ＤＢ３４０に被写体候補になり得る対象物が格納されていない場合は、図１に示した通信Ｉ／Ｆ１１０を介してＷｅｂ（ウェブ）上に任意にアクセス可能に公開されている各種画像情報を親ＤＢ３５０として基準ＤＢ３４０を検索するのと同じ要領で検索して、被写体候補を絞る。
【００４３】
基準画像生成部３１２は、マッチングリスト作成部３１１が作成したリストと画像撮影取得部２１０が実際に撮影取得した原画像との比較を行いながら、最も基準画像が原画像に近くなるように被写体像の位置・方向・パース・照明の具合などのマッチングを行い、原画像になるべく近い基準画像を生成する。被写体像の位置・方向・パース・照明の具合などのマッチングが行われた際に生じた情報は「マッチング情報」として差分メタ情報生成部３２２へ送られる。
【００４４】
差分生成部３２０は、差分画像生成部３２１と差分メタ情報生成部３２２とを備え、フィルタリングに相当する処理を行う。差分画像生成部３２１は、基準画像生成部３１２で生成された基準画像を用いて、原画像（画像撮影取得部２１０で撮影取得された画像）との差分を取る。これにより原画像に載っていた情報が落ちて冗長化されるため、圧縮率の向上に寄与する。この処理で生成される画像を「差分画像」と呼ぶことにする。ここでは、原画像から基準画像生成部３１２で画像マッチングを行った際に使用した「マッチング情報に対応する位置にある被写体像」を取り除き、「差分画像」と「取り除かれた被写体像の位置メタ情報」が生成される。
【００４５】
ところで、基準画像で全ての「場面」を再現できるわけではないため、単純に差分のみをとられた画像には明るい背景に黒い穴があくなど、大きなコントラストがついてしまったり、高周波情報が多くなってしまったりと逆に冗長性が失われてしまう場合も予想される。そこで、差分画像生成部３２１では単に画像の引き算を行うだけではなく、先の例で云えば黒い穴になってしまったところを背景と同様の画像で埋めるような補間処理等の冗長性を高めるための補助的処理も続いて行う。このようにして作成された「差分画像」は、差分画像符号化部３３１へ送られる。また、「取り除かれた被写体像の位置メタ情報」と実行される補間処理の内容を示す「補間情報」は差分メタ情報生成部３２２へ送られる。
【００４６】
差分メタ情報生成部３２２は、原画像を再現するために必要な差分メタ情報を生成する。この差分メタ情報は、基準画像生成部３１２から送られた「マッチング情報」、差分画像生成部３２１から送られた「取り除かれた被写体像の位置メタ情報」、「補間情報」に加え、後述する差分画像符号化部３３１で実行された差分画像の圧縮・符号化処理の内容を示す「圧縮・符号化アルゴリズム情報」を含むパラメータである。
【００４７】
符号化部３３０は、差分画像符号化部３３１と、符号化画像生成部３３２と、を備える。差分画像符号化部３３１は、差分画像生成部３２１によって生成された差分画像の圧縮・符号化を行う。ここで行われる差分画像の圧縮・符号化は、既存の圧縮・符号化アルゴリズムを使用することができる。たとえば、ＰＮＧと同じ処理を行えば高い圧縮率を持つ可逆圧縮になるし、ＪＰＥＧと同じ処理を行えば不可逆圧縮だがさらに高い圧縮率を得ることができる。もちろん、本発明に最適な形式の符号化方式を用いてもよく、このアルゴリズムの選択も「場面」や用途に合わせて任意に変更することができる。この符号化された差分画像を「符号化差分画像」と呼称することにする。
【００４８】
符号化画像生成部３３２は、差分画像符号化部３３１で圧縮・符号化された「符号化差分画像」に差分メタ情報生成部３２２で生成された「差分メタ情報」を結合させた、符号化画像を生成する。ここで生成された符号化画像は、最終的な「場面」符号化画像として外部へ出力される。
【００４９】
以上のようにして圧縮・符号化された画像はそれまでの過程で、原画像のデータ内容が「マッチング情報」、「取り除かれた被写体像の位置メタ情報」、「補間情報」、「圧縮・符号化アルゴリズム情報」、「符号化差分画像」等のパラメータに抽象化されていることになる。
【００５０】
なお、本実施の形態では、撮影系２００と処理系３００とが一体化された画像圧縮装置１００の例を示したが、撮影系２００と処理系３００とは別体に構成されていても構わない。
【００５１】
（画像圧縮処理の手順）
図３は、実施の形態１における画像圧縮処理の手順を示すフローチャートである。また図４は、実施の形態１における画像圧縮処理の概要を説明するための図である。以下では、一例として図４（ａ）に示すような「有名観光地で鳥居とともにその周辺に点在する建造物が写っている」写真を撮影し、この写真が抽象化されて圧縮・符号化されるまでの処理の手順を示す。
【００５２】
図３において、画像圧縮装置１００は、まず画像撮影取得部２１０により被写体（たとえば、図４（ａ）の写真）の撮影処理を行う（ステップＳ３０１）。ここでは、撮影と同時に、環境情報取得部２２０がマッチング対象の選定基準となる情報を取得する。
【００５３】
具体的には、センサ部２２１が、写真の撮影位置の詳細情報やその位置から当該写真内に写されているマッチングの対象となるもの（たとえば、図４（ｂ），（ｃ），（ｄ））の方向、距離、大きさ、明るさ、各対象物間の距離等を検出する。また、環境情報取得部２２０が環境情報記憶部２２２に記憶されている、画像撮影取得部２１０の型番情報や、直前に画像撮影取得部２１０が取得した画像から予測される「場面」情報などを読み出す。これらは環境メタ情報として処理系３００へ供給されるものである。
【００５４】
マッチングリスト作成部３１１は、前記環境メタ情報を参照しながら、基準画像の元となるモデルデータを格納している基準ＤＢ３４０（または親ＤＢ３５０）から画像撮影取得部２１０が撮影した原画像に含まれている可能性が高い被写体候補を検索し、当該原画像に最も含まれていそうな被写体の候補を絞るためのマッチングリストを作成する（ステップＳ３０２）。
【００５５】
基準画像生成部３１２は、マッチングリスト作成部３１１が作成したマッチングリストと画像撮影取得部２１０が実際に撮影した原画像との比較を行いながら、原画像に近似する基準画像を生成する（ステップＳ３０３）。以下、このステップＳ３０３の基準画像生成処理をより詳細に説明する。
【００５６】
（基準画像生成処理の手順）
図５は、基準画像生成処理の手順を示すフローチャートである。この処理はすべて基準画像生成部３１２において実行される。
【００５７】
まず、前記環境メタ情報に含まれるユーザ個人の情報や直前の撮影履歴を読み出し（ステップＳ５０１）、これとマッチングリストを照らし合わせて被写体候補の絞り込みと重み付けを行う（ステップＳ５０２）。そして、絞り込まれた物体に対して一般物体認識により特定のカテゴリに割り振った（ステップＳ５０３）後、特定物体認識にかけより被写体に近いモデルの認識を試みる（ステップＳ５０４）。ここで、一般物体認識とは、認識した物体のカテゴリを当てるタスクであり、特定物体認識とは物体そのものを当てるタスクである。特定性が高くランドマークとなり得る物体を特定物体認識により特定することができれば、より被写体に近いモデルを使うことができる。これらは同じ形態のものが何個も登場するものや、ランドマークのように固有の他に存在しないもの（たとえば、図４（ａ）の写真中であれば、図４（ｂ），（ｃ），（ｄ）に示されたもの）を意味する。
【００５８】
次に、マッチング場所の重み付けを行う（ステップＳ５０５）。具体的には、ステップＳ３０１で取得されたマッチング対象の選定基準となる情報すべてを用い、ステップＳ５０１〜ステップＳ５０４までの処理によって絞られた被写体候補のマッチング場所の重み付けを行った、マッチング情報を生成する。特に、ステップＳ５０４の処理で特定物体と認定されたものを中心に行えばよく、たとえば、図４（ａ）の写真を対象にすれば、図４（ｅ）に示すように、各被写体間の方位、距離、周辺照度、撮影時に使用されたレンズ等の情報を用いて、被写体候補のマッチング場所の重み付け行う。
【００５９】
続いて、画像マッチングを行う（ステップＳ５０６）。具体的には、ステップＳ５０５の処理結果を用いて画像内における各被写体の配置位置を決定し、基準画像候補を生成する。ここでは、最も基準画像が原画像に近くなるように被写体の位置・方向・パース・照明の具合などのマッチングを行う。
【００６０】
次に、ステップＳ３０１で撮影取得された原画像と、ステップＳ５０６で生成された基準画像候補とを比較し、前記基準画像候補を基準画像としてよいか、すなわち圧縮に効果がある基準画像が構成できたか否かを判定する（ステップＳ５０７）。圧縮に効果があるとは、符号化差分画像を生成した際に、その圧縮率が高くなる（たとえば、原画像をそのまま符号化したときの圧縮率より高くなる）ことを意味する。ここでは、たとえば実際に圧縮して比較してみたり、冗長性が確保できているか確かめるために空間周波数成分を求めたりしてみると効果的である。
【００６１】
ステップＳ５０７において圧縮に効果がある基準画像が構成できたと判定された場合（ステップＳ５０７：Ｙｅｓ）は、後述する図３のステップＳ３０４の処理を行う。一方、ステップＳ５０７において圧縮に効果がある基準画像が構成できなかったと判定された場合（ステップＳ５０７：Ｎｏ）は、所定時間が経過した（タイムアウト）か否かを判定する（ステップＳ５０８）。この所定時間は、画像圧縮・符号化処理に鑑み、作業効率化を図るため、ユーザが予め設定できるようにするとよい。このときタイムアウト時間を設定する目的は、プレビュー・動機タイミング・電力抑制などが挙げられる。カメラなどに本発明の画像圧縮装置を搭載した場合、静止画を撮る際一つの画像にアクセスしている時間は全体に比べて短いことから、プレビューなどのタイミングで一度中断してから再開するようにすればなおよい。画像圧縮装置自体を撮像装置以外に搭載して後から圧縮する場合も同様である。
【００６２】
ステップＳ５０８において所定時間が経過したと判定された場合（ステップＳ５０８：Ｙｅｓ）は、ステップＳ３０４の処理に移行する。一方、ステップＳ５０８において所定時間が経過していないと判定された場合（ステップＳ５０８：Ｎｏ）は、再度ステップＳ５０２の処理から繰り返す。
【００６３】
基準画像が生成された後は、図３に戻り、差分画像生成部３２１が、当該基準画像を用いて、原画像（画像撮影取得部２１０で撮影された画像）との差分を取り、差分画像を生成する（ステップＳ３０４）。ここでは、たとえば、図４（ｆ）に示すように、「原画像」からステップＳ５０６で画像マッチングを行った際に使用した「マッチング情報に対応する位置にある被写体像」を取り除き、「差分画像」と「取り除かれた被写体像の位置メタ情報」が生成される。ここで生成される「差分画像」は、原画像に載っていた情報が落ちて冗長化されるため、圧縮率の向上に寄与するが、冗長性が失われてしまうことも予想して、補間処理等の冗長性を高めるための補助的処理も行う。このとき、行われた処理内容を示す「補間情報」も生成される。
【００６４】
次に、差分画像符号化部３３１は、ステップＳ３０４で生成された差分画像の圧縮・符号化を行い、「符号化差分画像」を生成する（ステップＳ３０５）。ここで行われる差分画像の圧縮・符号化は、既存の圧縮・符号化アルゴリズムを使用してもよいし、本発明に最適な形態の圧縮・符号化方式を用いてもよく、このアルゴリズムの選択も場面や用途に合わせて任意に変更することができる。
【００６５】
差分メタ情報生成部３２２は、原画像を再現するために必要な差分メタ情報を生成する（ステップＳ３０６）。この差分メタ情報は、ステップＳ５０５で生成された「マッチング情報」、ステップＳ３０４で生成された「取り除かれた被写体像の位置メタ情報」、「補間情報」に加え、ステップＳ３０５で実行された差分画像の圧縮・符号化処理の内容を示す「圧縮・符号化アルゴリズム情報」を含むパラメータである。
【００６６】
最後に、符号化画像生成部３３２は、ステップＳ３０５で圧縮・符号化された「符号化差分画像」にステップＳ３０６で生成された「差分メタ情報」を結合させた、符号化画像を生成する（ステップＳ３０７）。
【００６７】
実施の形態１にかかる画像圧縮装置では、以上のような処理手順を経ることで、原画像に含まれる多くの「場面」情報が差分メタ情報内に抽象化されて呼び出し可能な形式で圧縮・符号化された差分画像と共に形成されるため、情報量の多い原画像を単に圧縮・符号化する場合と比べ、圧縮画像データの容量を大幅に縮減することができる。このため、ネットワークを介して圧縮画像データを外部へ送信する場合、ネットワークトラフィックの負荷を大幅に軽減することが可能になる。
【００６８】
（画像復号装置のハードウェア構成例）
次に、画像圧縮装置１００で圧縮・符号化処理された画像を復号する画像復号装置のハードウェア構成例を示す。図６は、実施の形態１にかかる画像復号装置のハードウェア構成例を示す図である。この画像復号装置６００は、図１に示した画像圧縮装置１００を構成する要素と一部同様の要素で構成することができる。そこで、画像圧縮装置１００と同様の構成要素には同一の符号を付すとともに、それらについての詳細な説明は省略する。
【００６９】
図６において、画像復号装置６００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ディスクドライブ１０４と、ディスク１０５と、入力デバイス１０７と、映像Ｉ／Ｆ１０８と、ディスプレイ１０９と、通信Ｉ／Ｆ１１０と、を備えている。なお、各構成部はバス１２０によってそれぞれ接続されている。
【００７０】
まず、ＣＰＵ１０１は、画像復号装置６００の全体の制御をつかさどる。ＲＯＭ１０２は、たとえばブートプログラム、圧縮・符号化処理された画像を復号するためのプログラム、データ解析プログラムなどの各種プログラムを記録している。
【００７１】
ＲＡＭ１０３は、たとえばＣＰＵ１０１のワークエリアとして使用される。ディスクドライブ１０４は、ＣＰＵ１０１の制御にしたがってディスク１０５に対するデータのリード／ライトを制御する。ディスク１０５は、ディスクドライブ１０４の制御で書き込まれたデータを記録する。
【００７２】
入力デバイス１０７は、文字、数値、各種指示などの入力のための複数のキーを備えたリモコン、キーボード、タッチパネルなどが挙げられる。また、映像Ｉ／Ｆ１０８は、ディスプレイ１０９と接続される。ディスプレイ１０９には、各種画像、アイコン、カーソル、メニュー、ウインドウ、あるいは文字などの各種データが表示される。
【００７３】
また、通信Ｉ／Ｆ１１０は、ネットワークに接続され、ネットワークを介して外部の各種装置に接続される。そして、通信Ｉ／Ｆ１１０は、ネットワークと画像復号装置６００内部とのインターフェースをつかさどり、外部の各種装置からのデータの入出力を制御する。
【００７４】
（画像復号装置の機能的構成）
図７は、実施の形態１にかかる画像復号装置の機能的構成を示すブロック図である。この画像復号装置６００は、符号化画像前処理部６０１と、差分メタ情報処理部６０２と、基準画像再構築部６０３と、画像復号部６０４と、基準モデルＤＢ６０５と、を備え、画像圧縮装置１００により生成された符号化画像を復号して原画像を再生する。なお、基準モデルＤＢ６０５は、画像復号装置６００とは別体に構成することも可能ではあるが、アクセス速度やトラフィック面を考慮すると装置内に含まれていることが好ましい。
【００７５】
符号化画像前処理部６０１、差分メタ情報処理部６０２、基準画像再構築部６０３、画像復号部６０４の機能は、図６に示したＲＯＭ１０２、ＲＡＭ１０３、ディスク１０５などの記憶手段に記憶されたプログラムをＣＰＵ１０１に実行させることにより実現する。基準モデルＤＢ６０５の機能は、図６に示したＲＡＭ１０３、または、ディスクドライブ１０４にディスク１０５の制御を実行させることにより実現する。
【００７６】
符号化画像前処理部６０１は、画像圧縮装置１００により生成された符号化画像から符号化差分画像を抽出し、差分メタ情報を分離する。また、差分メタ情報から、「マッチング情報」、「取り除かれた被写体像の位置メタ情報」、「補間情報」、「圧縮・符号化アルゴリズム情報」を抽出する。なお、符号化差分画像の復号処理は時間を要するため、符号化画像前処理部６０１で符号化差分画像に対し前段復号処理を施してもよい。
【００７７】
差分メタ情報処理部６０２は、「マッチング情報」、「取り除かれた被写体像の位置メタ情報」を用いて、基準モデルＤＢ６０５から基準画像を再構築するための被写体モデルを呼び出す。ここで呼び出される被写体モデルは、図３に示したステップＳ３０４の処理で取り除かれた被写体像と一致するものである。
【００７８】
なお、基準モデルＤＢ６０５は、画像そのものを格納することもできるが、３Ｄモデルを格納すれば、被写体の位置や撮影方向の変化に対してパラメトリックにより忠実に対応できるようになる。基準モデルＤＢ６０５は、データ構造として、意味別に分かれた抽象−具象関係の階層構造が記憶されることが好ましい。
【００７９】
また、基準モデルＤＢ６０５には無限にモデルが格納されているわけではない。そこで、基準モデルＤＢ６０５をローカルに置かれる個人ＤＢとし、Ｗｅｂ上に置かれた親ＤＢ６１０との間で親子構造を構築してもよい。さらに、親ＤＢ６１０の上に複数のＤＢを設け、親ＤＢ６１０はマスタＤＢ６２０を頂点とする親子構造をもつ階層構造内に含まれる構成とすれば、より理想的である。また、各ＤＢを各地域に分散して配置し、それぞれの地域でよく使われる順に被写体モデルをリスト化したランキングリストを格納することもできる。このような構成内に基準モデルＤＢ６０５が含まれていれば、基準モデルＤＢ６０５内に該当する被写体モデルがない場合は、たとえば図６に示した通信Ｉ／Ｆ１１０を介して親ＤＢ６１０に対し基準モデルＤＢ６０５を検索するのと同じ要領で検索して、必要に応じて被写体モデルをダウンロードできる。
【００８０】
基準画像再構築部６０３は、差分メタ情報処理部６０２の処理によってピックアップされた被写体モデルを「取り除かれた被写体像の位置メタ情報」に従って画像内に配置し、フィルタリング等を行い、基準画像を再構築する。
【００８１】
画像復号部６０４は、符号化画像前処理部６０１で抽出された「符号化差分画像」に対して「圧縮・符号化アルゴリズム情報」に基づき復号化処理を施し、差分画像を生成する。そして、この差分画像に、基準画像再構築部６０３で再構築された基準画像を当てはめ原画像への再生を行う。
【００８２】
（画像復号処理の手順）
図８は、実施の形態１における画像復号処理の手順を示すフローチャートである。図８において、まず、符号化画像前処理を行う（ステップＳ８０１）。具体的には、符号化画像前処理部６０１が、画像圧縮装置１００により生成された符号化画像から符号化差分画像を抽出し、差分メタ情報を分離する。また、差分メタ情報から、「マッチング情報」、「取り除かれた被写体像の位置メタ情報」、「補間情報」、「圧縮・符号化アルゴリズム情報」を抽出する。
【００８３】
次に、被写体モデルの呼び出しを行う（ステップＳ８０２）。この処理手順は、図９に示すフローチャートに基づき説明する。図９は、被写体モデルの呼び出し処理の手順を示すフローチャートである。
【００８４】
図９において、まず、基準モデルＤＢ６０５に被写体モデルが格納されているか否かを検索する（ステップＳ９０１）。ここでは、差分メタ情報処理部６０２が、「マッチング情報」、「取り除かれた被写体像の位置メタ情報」を用いて、基準モデルＤＢ６０５内に基準画像を再構築するために必要な被写体モデルが格納されているか否かを検索する。
【００８５】
ステップＳ９０１において被写体モデルが格納されている場合（ステップＳ９０１：Ｙｅｓ）は、差分メタ情報処理部６０２が、「マッチング情報」を用いて、基準画像を再構築するために必要な被写体モデルを呼び出す（ステップＳ９０２）。ここで呼び出される被写体モデルは、図３に示したステップＳ３０４の処理で取り除かれた被写体像と一致するものである。
【００８６】
次に、被写体モデルの修正チェックを行う（ステップＳ９０３）。「マッチング情報」および「位置メタ情報」には被写体像の位置・方向・パース・照明の具合などの情報が含まれているため、これらの情報に基づいて、被写体モデルの修正チェックを行う。
【００８７】
そして、後処理を行う（ステップＳ９０４）。ここでは、「マッチング情報」に含まれる各種情報に基づき、被写体モデルのスムージング等の後処理を行う。
【００８８】
一方、ステップＳ９０１において被写体モデルが格納されていない場合（ステップＳ９０１：Ｎｏ）は、差分メタ情報処理部６０２が、一段上の親ＤＢへの問い合わせを開始する（ステップＳ９０５）。
【００８９】
次に、差分メタ情報処理部６０２は、当該ＤＢに被写体モデルが格納されているか否かを検索する（ステップＳ９０６）。ここで、当該ＤＢに被写体モデルが格納されている場合（ステップＳ９０６：Ｙｅｓ）は、ステップＳ９０２へ移行する。
【００９０】
一方、当該ＤＢに被写体モデルが格納されていない場合（ステップＳ９０６：Ｎｏ）は、差分メタ情報処理部６０２が、マスタＤＢ６２０までの検索が終了したか否かを判定する（ステップＳ９０７）。ここで、マスタＤＢ６２０までの検索が終了していない場合（ステップＳ９０７：Ｎｏ）は、再度ステップＳ９０５へ移行する。
【００９１】
一方、マスタＤＢ６２０までの検索が終了した場合（ステップＳ９０７：Ｙｅｓ）は、差分メタ情報処理部６０２は、「マッチング情報」、「取り除かれた被写体像の位置メタ情報」等の抽象化処理（特定物体であれば、なるべく近しい一般物体モデルを使用する等）を行う（ステップＳ９０８）。この後、ステップＳ９０２へ戻る。
【００９２】
被写体モデルが呼び出された後は、図８に戻り、基準画像の再構築を行う（ステップＳ８０３）。ここでは、基準画像再構築部６０３が、ステップＳ８０２の処理によってピックアップされた被写体モデルを「取り除かれた被写体像の位置メタ情報」に従って画像内に配置し、フィルタリング等を行い、基準画像を再構築する。なお、図９のステップＳ９０８の処理を経た後にピックアップされた被写体モデルを用いた場合は、当該被写体モデルが真の被写体モデルとは多少異なるものが用いられることになる。
【００９３】
最後に、復号化処理を行う（ステップＳ８０４）。ここでは、画像復号部６０４が、ステップＳ８０１で抽出された「符号化差分画像」に対して「圧縮・符号化アルゴリズム情報」に基づき復号化処理を施し、差分画像を再生する。そして、この差分画像に、ステップＳ８０３で再構築された基準画像を当てはめ原画像への再生を行う。
【００９４】
以上説明したように、実施の形態１によれば、与えられた画像に対して効率的な圧縮を施して圧縮画像の容量の抑制を行っても、原画像に含まれる多くの「場面」情報が差分メタ情報内に抽象化された呼び出し可能な形式で圧縮・符号化された差分画像と共に形成されるため、差分メタ情報を用いることによって容易に高い精度で原画像の再現を実行することができる。また、情報量の多い原画像を単に圧縮・符号化する場合と比べ、圧縮画像データの容量を大幅に縮減することができるので、ネットワークを介して圧縮画像データを外部へ送信する場合、ネットワークトラフィックの負荷を大幅に軽減することが可能になる。
【００９５】
なお、本実施の形態における、画像圧縮装置１００と画像復号装置６００とは、ネットワークを介して接続されてもよいし、ケーブル類で直接接続されていてもよい。
【００９６】
（実施の形態２）
本実施の形態２では、画像圧縮、画像復号方法を用いて認証を行う例を示す。本実施の形態で用いる画像圧縮装置、画像復号装置は実施の形態１に示したものと同様である。本発明によれば、画像圧縮の際に、画像は「場面」情報・基準モデル（被写体）・差分画像の三つに分割される。いずれかが欠ければ原画像の再現閲覧はできなくなるため、これらはお互いが鍵のようになっている。このうち、基準モデルデータは撮影者にとって所与のものになるため、これを鍵として利用することができる。
【００９７】
本実施の形態では、ユーザＡがユーザＢの認証を行う場合を考える。ユーザＡが画像圧縮装置１００を有し、ユーザＢが画像復号装置６００を有しているものとする。図１０は、実施の形態２の概要を説明するための図である。図１０に示すように、ユーザＡは、まず、Ａ，Ｂが固有に所持しているモデルがそれぞれ両方写った画像１００１を用意する。これは固有のものであれば何でもよいが、ここでは例として二人の顔が写っているものとする。また、ユーザＢも二人の顔が写って画像を有しているものとする。
【００９８】
（画像圧縮・復号方法を用いた認証処理の手順）
以下、実施の形態２にかかる画像圧縮・復号方法を用いた認証処理の手順を説明する。本実施の形態は、実施の形態１に示した画像圧縮・復号処理の変形例として認証処理を行うものである。図１１は、実施の形態２における画像圧縮・復号方法を用いた認証処理の手順を示すフローチャートである。
【００９９】
まず、ユーザＡ側で実行される処理を示す。図１１において、まず、原画像からハッシュＡを得る（ステップＳ１１０１）。たとえば、図２に示した基準画像生成部３１２が、基準ＤＢ３４０から図１０に示した画像１００１を読み出し、画像１００１からハッシュＡを計算する。このハッシュＡは、たとえば基準ＤＢ３４０に格納される。
【０１００】
次に、原画像においてユーザＡの顔を抽象化する（ステップＳ１１０２）。たとえば、基準画像生成部３１２が、Ａ自身の固有の顔部位が直接参照できないように、一段細かい階層にまで分解して抽象化する。すなわち、原画像の一部を抽象化した画像を生成する。顔の場合、通常ならば誰それの顔というマッチングをするが、かかるマッチングが不可能なように（たとえば、図１０の画像１００２）、顔を目、鼻、口などのパーツごとに分解し、顔部位の種類配置情報を含む顔抽象化データを生成する。このデータのみを盗み見しても、誰が写っているか判別することができない。このデータは、差分メタ情報生成部３２２へ送られる。
【０１０１】
そして、原画像のユーザＡの顔が取り除かれた差分画像を生成する（ステップＳ１１０３）。この処理は、たとえば、差分画像生成部３２１が原画像と顔の部分が抽象化された画像との差分を取り、抽象化された部分を取り除いた差分画像を生成する。
【０１０２】
次に、顔抽象化データをストリップする（ステップＳ１１０４）。具体的には、差分メタ情報生成部３２２が受け取った顔抽象化データを符号化画像生成部３３２へ送信せずに、基準ＤＢ３４０等へ保存するなどして、ステップＳ１１０３で生成された差分画像に顔抽象化データが結合されないようにする。
【０１０３】
差分画像符号化部３３１が、ステップＳ１１０３で生成された差分画像を圧縮・符号化処理して符号化差分画像を生成して、これをユーザＢ側の画像復号装置６００へ送信する（ステップＳ１１０５）。なお、差分画像符号化部３３１で実行された圧縮・符号化処理のアルゴリズム情報は、符号化差分画像に添付されているものとする。
【０１０４】
次に、ユーザＢ側で実行される処理を示す。まず、画像の復号処理を行い、ユーザＡの顔の再構築を行う（ステップＳ１１０６）。ここでは、たとえば、図７に示された画像復号部６０４が、ステップＳ１１０５で生成された「符号化差分画像」に対して復号処理を施し、差分画像を再生する。この差分画像には抽象化された顔（たとえば、図１０の画像１００３）が存在するが、ユーザＢ自身も写り込んでいるため、ユーザＢは抽象化されている顔が知人であると判断できる。そこで、この差分画像の抽象化されている顔部分に、画像復号部６０４がユーザＢの顔データを基に基準モデルＤＢ６０５等から抽出されたユーザＡの顔を当てはめ、原画像を再現できる。ユーザＢはユーザＡとともに写って画像を有していることが前提であるため、ユーザＡの顔を確定することは比較的容易である。
【０１０５】
画像復号部６０４は、再現した原画像からハッシュＢを計算し（ステップＳ１１０７）、これをユーザＡへ送信する（ステップＳ１１０８）。
【０１０６】
Ａ側で、送られたハッシュＢがハッシュＡと一致することを確認する（ステップＳ１１０９）。この処理は、たとえば、マッチングリスト作成部３１１が基準ＤＢ３４０に格納されているハッシュＡを検出し、送信されてきたハッシュＢと一致するかを確認することによって実行される。
【０１０７】
以上のような処理を実行することで、ユーザＡは、送信相手のユーザＢが意図した相手なのか否かを容易に確認することができる。また、写真で本人確認を容易に行えるため、認証で通常必要な認証局を必要としない。
【０１０８】
（乱数を用いた認証処理の手順）
また、実施の形態２における画像圧縮・復号方法を用いた認証処理の変形例として乱数を用いることもできる。以下では、乱数を用いた場合の認証処理の手順を説明する。この手順は、図１１に示した手順を基礎とし、これに乱数処理を施す工程が加わるのみである。よって、図１１に示した手順と同様な処理を行う工程の説明は省略する。図１２は、実施の形態２における画像圧縮・復号方法を用いた認証処理の手順の変形例を示すフローチャートである。
【０１０９】
まず、ユーザＡ側で実行される処理を示す。図１２において、ステップＳ１１０１の後に、任意の乱数を生成する（ステップＳ１２０１）。ここで生成される乱数は従来の方法によるものでよい。この処理は、たとえば、基準画像生成部３１２で実行される。
【０１１０】
ステップＳ１１０４の処理の後、ステップＳ１１０３で生成された差分画像にステップＳ１２０１で生成された乱数を基にしたパラメータを埋め込む（ステップＳ１２０２）。この処理は、たとえば、差分画像符号化部３３１が実行する。なお、この後実行されるステップＳ１１０５の処理は当該パラメータが埋め込まれた状態で行われることになる。
【０１１１】
また、この後行われるステップＳ１１０６の処理は、乱数がふられていた場合でも、抽象化されている顔が誰であるか予め見当がついているため、乱数に惑わされずに差分画像か判別することは容易である。
【０１１２】
ステップＳ１１０６の処理の後、再構築された画像から乱数を取り除く（ステップＳ１２０３）。この処理は、たとえば、画像復号部６０４で実行する。この後の処理は、図１１に示したフローチャートと同様である。
【０１１３】
以上のような処理を利用することで、データ送信の際、たとえば図１２に示した乱数などを共通鍵とすれば、暗号化通信を容易に行うことができる。また、実施の形態２において、鍵となる固有の物は顔以外でもよく、都度変更してもよい。さらに、何らかが一緒に写り込んでいる画像は結合させることでいくらでも作り出すことができるので、攻撃者の推測をかく乱するために写り込んでいる対象物を多く抽象化させることが好ましい。安全性を向上させるため、鍵に使うモデルはその都度作成したモデルを使用すれば（たとえば、ワンタイムパスワードのように）、より好ましい。
【０１１４】
（実施の形態３）
本実施の形態３では、画像圧縮・復号方法を用いたユーザ相互間の認証を行う例、具体的には、ユーザＡとユーザＢとの間で、基準モデルデータをやり取りする場合を考える。本実施の形態３で用いる画像圧縮装置、画像復号装置は実施の形態１に示したものと同様であるが、ユーザ相互が同様の画像圧縮装置、画像復号装置を一組有していることが前提となる。基準データモデルは、復号の際に必要であるが、たとえば顔データの場合プライバシーそのものであり、写真と同様流出を避けたい。そこで「場面」符号化を用いて相互を認証しつつ通信する。以下では、一例としてユーザの顔データを用いる方法を示すが、これに限ったものではない。
【０１１５】
図１３は、実施の形態３の概要を説明するための図である。図１３に示すように、はじめに、ユーザＡ，Ｂは互いを含む画像を用意する。これをユーザ各々が乱数を使って符号化するが、たとえば、ＡはＡのモデルを基準にして、ＢはＢのモデルを基準にしてそれぞれの画像の符号化を行う。そして、自らの顔データを特定し得るデータを取り除いた状態の符号化差分画像の交換を行う。ここで交換された画像は、Ａ’はＡの顔モデルが、Ｂ’はＢの顔モデルが復号のカギになっている。ユーザＡの手元にある画像と、Ｂから送られた画像にはそれぞれＡの顔、Ｂの顔のデータが直接埋まっていないが、Ａの画像Ａ'とＢの画像Ｂ'とのパラメータの差分を取るとＡの顔だけでなくＢの顔も鍵とすることができる。これにより、Ａ，Ｂ双方はお互いの鍵をやり取りすることなく別の画像から同じ画像を復元することができる。これらが一致すれば、相互の確認が取れる。以上の鍵としてのモデルは、ワンタイムパスワードのように都度作成できるようにすることが望ましい。
【０１１６】
（ユーザ相互間の認証処理の手順）
以下、実施の形態３における画像圧縮・復号方法を用いたユーザ相互認証処理の手順を説明する。本実施の形態は、実施の形態２の変形例としてユーザ相互認証処理を行うものである。図１４は、実施の形態３における画像圧縮・復号方法を用いたユーザ相互認証処理の手順を示すフローチャートである。
【０１１７】
図１４において、まず、ユーザＡ，Ｂ側各々で、任意の乱数を生成する（ステップＳ１４０１）。この処理は、たとえば、図２に示した基準画像生成部３１２が実行する。
【０１１８】
次に、ユーザＡ，Ｂ側各々で、送信する画像をステップＳ１４０１で生成した乱数を用いて原画像の一部（たとえば、顔の部分）を符号化する（ステップＳ１４０２）。この工程における処理は、たとえば、図２の基準画像生成部３１２が実行する。
【０１１９】
次に、ユーザＡ，Ｂ側各々で、ステップＳ１４０２で符号化された画像から、自身の顔データをストリップする（ステップＳ１４０３）。この工程における処理は、図１２における、ステップＳ１１０３〜ステップＳ１１０４の処理と同様である。
【０１２０】
次に、ユーザＡ，Ｂが相互に生成した符号化差分画像を交換する（ステップＳ１４０４）。
【０１２１】
次に、ユーザＡ，Ｂそれぞれが受け取った画像に対して自身の顔データを用いて復号する（ステップＳ１４０５）。この工程における処理は、図１２におけるステップＳ１１０６〜ステップＳ１２０３の処理と同様である。
【０１２２】
最後に、ユーザＡ，Ｂ側各々で、自身が所有する画像と同じ画像が再現できたことを確認する（ステップＳ１４０６）。以上のような工程を経ることにより、ユーザＡ，Ｂ間の相互認証が可能になる。
【０１２３】
なお、予め用意する画像は大勢の人物が写っているものだとより好ましい。ここで大勢というのは画像モデルを再構築可能な画像の枚数以上の人数という意味である。ただ、この場合、写り込んでいる人の顔部分はより抽象化して差分画像を生成することが好ましい。
【０１２４】
また、本実施の形態では、以下のようにすることもできる。たとえば、符号化の際に、写り込んでいるすべての顔に対して同じ基準モデルで少しずつ角度を変えた基準画像を生成し符号化すれば、認証と同時に直接モデルをやり取りすることもできる。ユーザＡの手元にある画像と、ユーザＢから送られた画像にはそれぞれＡの顔、Ｂの顔のデータが直接埋まっていないが、画像に含まれる任意の顔Ｘについて、Ａの画像Ａ'とＢの画像Ｂ'とのパラメータの差分を取るとＡの顔とＸの顔との合成で表すことができる。Ａの顔は自身の物として所与のものなので、任意のＸの顔を知らない状態でも必ず解くことが可能である。また、付加された乱数は画像Ａ'，Ｂ'におけるＡとＢとの顔の合成を比較することで取り出すことができる。よって、画像に埋め込まれたすべての顔を復元することができる。この画像から所望のモデルを構築し読み出せばモデルが直接含まれない画像でモデルを交換することができる。このようにすれば、ただデータを暗号化するのではなく、モデルそのものの情報を含まない形でモデルデータのやり取りが可能になる。
【０１２５】
（実施の形態４）
本発明における重要な点の一つとして、「場面」情報をメタ情報という形で抽象化している点がある。基本的に圧縮・符号化されたものの復号は完全な形で行われなければならず、失敗した場合は意味をなさないことが多い。ところが、抽象化情報を使えば、その中間段階の復号を行うことで産業上有利に使用することができる。「場面」符号化では、復号の際に基準ＤＢからモデルを読み出して基準画像を生成する。この際に、符号化時に用いたものと同じモデルを用いれば完全な復号ができるが、このときに別のモデルを用いることで一部分は原画像とは異なるが良く似た画像を生成することが可能である。この特性を利用すると、任意の場所の情報（解像度等）を意図的に落とした形で画像を提供することが可能になる。たとえば、パーソナルな基準ＤＢにモデルが入っているか否か、または画像の一部の公開を制限することで、同じ画像でも端末によっては完全に表示されたり、または表示されなかったりといったことを実現することができる。これにより顔等プライバシーの保護、ナンバープレートの処理、画像のライセンス管理など産業上様々な用途に使うことができる。本実施の形態では、この特性を使った一例を示す。
【０１２６】
実施の形態４では、上述の実施の形態のすべてまたは一部を含む手法を用いて機能する非対称表示画像符号化方法である。本実施の形態ではイメージしやすくするため顔データのプライバシー保護表示を一例として挙げるが、もちろんこれだけに限るものではない。
【０１２７】
図１５は、実施の形態４の概要を説明するための図である。ここでは、ユーザＡが自分を含む友人が写り込んだユーザグループＣだけに写真を公開する状況を考える。従来の方法であれば、たとえば、アクセスに制限のあるＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋｉｎｇ  Ｓｅｒｖｉｃｅ）などでグループを作り画像をアップロードするものである。しかしこの方法では、ユーザグループＣのユーザＢが画像を別の場所にアップロードしてしまうと、とたんに画像は誰からでも閲覧できるものになってしまう。
【０１２８】
そこで、本実施の形態では、前提としてユーザＡは画像をアップロードする前に図３に示したような手順により、表示することを望まないデータを差分メタ情報として符号化しておく。このとき、写り込んでいる自分自身の顔データを基準ＤＢ３４０から読み出して使用し、その内容は符号化メタ情報として保存・ファイルに結合されるが、これを一部不完全に行う。まず、顔の基準モデルを公開しない。このため、画像を発信者が意図しない形で第三者が入手しても、完全な再現はできない。次に、差分メタ情報を符号化差分画像と完全には結合させず、符号化差分画像には最低限の差分メタ情報しか付加されない状態にする。一例を挙げれば、差分画像の符号化情報と、背景だけのメタ情報を残し、他は別ファイルとして保存する、等である。このようにすることで、画像だけ流出した際に、第三者が意味のある画像として再現することができなくなる。
【０１２９】
上記の例で云えば、ユーザＡは不完全なメタ情報が付与された差分画像だけ公開すると、この画像だけをどこかに流出させても、意味のある画像を閲覧権限がない第三者は得ることができない。一方で、ユーザグループＣに対しては、認証処理を経て上記残りのメタ情報と顔も表示できるアクセス権を付与する。この際の認証にはどのような方法を用いてもよく、たとえば、ＳＮＳのユーザである、ユーザグループの一員であるという情報や、実施の形態２で示した方法を用いてもよい。顔モデルへのアクセス権はユーザ相互で交換することにすると、相互のプライバシーに不公平がなくなり抑止力となるため好ましい。個人は、登録した上で、一方向のアクセスのみ可能とすることができる。また、顔モデルのやり取りは、実施の形態３に示したように本人との差分を取る方式にすると、受信者の顔を鍵とした暗号化となり盗聴に対して復元が困難になるため、より好ましい。このとき、やり取りする顔モデルデータは必要最低限の不完全なモデルにしてもよい。このようにすることで、データの盗難に対する安全性を向上させることができる。
【０１３０】
一方で、親しいグループほど完全に画像を見せる必要はないが、一定のコミュニティ内においては概要を閲覧させたい場合もある。たとえば、ニュースでよく見る街中の雑踏は人の顔を見せたいのではなく、たくさんの人が歩いていること、そこで雪や雨が降っていることなどを伝えたいだけである。このような場合は、閲覧権限を制限されたユーザとして、一部のメタ情報のみ閲覧権限を付与する。もちろん、このメタ情報は用途によって内容を制限してもよい。閲覧権限を制限されたユーザは、一部のメタ情報は利用することができるが、基準モデルを利用することができない。結果として、復号の際に該当箇所を抽象化して復号処理を行うことになる。そのため、顔の場合であれば顔が抽象化された基準モデル状態、たとえば一般アジア人壮年男性モデル等の状態で復号が行われる。この処理では顔が本人の顔ではなく予め用意された全く別の顔で復号されるため、出来上がった画像では誰が写っているかという情報が抜け落ちた状態で表示され、写真の目的を損ねず同一の写真でプライバシーの保護を達成できる。
【０１３１】
以上の処理はＤＢの構造や指定によって抽象化の方法が変わるため、どのような抽象化方法でもよい。顔のない状態にしたり、極端に解像度が低い状態にしたり、イラスト風にするなど様々な抽象化形態をとることが可能である。閲覧権限を付与する基盤はＳＮＳでもよいし、コミュニティごとに付与してもよい。また、上記アクセス権限を管理することで画像ライセンスの管理も利用できる。以上は、本発明が符号化・圧縮に際して画像を場面情報・基準モデル・差分画像の三つに分割し、三つがそろわないと完全に復号できないことを利用している。
【０１３２】
（画像圧縮・復号方法を用いたプライバシー保護配信の手順）
以下、実施の形態４の処理手順を説明する。図１６は、実施の形態４における画像圧縮・復号方法を用いたプライバシー保護配信の手順を示すフローチャートである。この処理を始める前に、管理者（上記の例で云えば、たとえば、ユーザＡ）側で、図３に示したフローチャートのステップＳ３０６までの処理を終了させた後に、一般閲覧を望まない情報を差分メタ情報（顔画像データ）として符号化差分画像とは分離し、図１５の基準ＤＢ３４０内の顔画像ＤＢ３４１に格納しておく。また、符号化差分画像は図１５の基準ＤＢ３４０内のメタファイルＤＢ３４２に格納しておく。ここでは、画像閲覧を希望する申請者（上記の例で云えば、たとえば、ユーザＢ）が有する画像復号装置６００から管理者が有する画像圧縮装置１００に対してアクセスを行う。
【０１３３】
また、以下では詳細な説明は省略するが、差分メタ情報（顔画像データ）や符号化差分画像を受信した場合は実施の形態１と同様な方法で復号処理を行うこととする。
【０１３４】
図１６において、ユーザ相互間で閲覧権限の認証処理を行う（ステップＳ１６０１）。この処理は、一般的な認証方法を実行してもよいし、実施の形態２，３で示した方法によってもよい。また、認証の際、鮮明な状態の画像を閲覧可能にするか、画像の重要度の高い情報が表示された部分（たとえば特定人の顔）を除く残部のみを閲覧可能にするか、閲覧権限を認めないかの決定を行う。
【０１３５】
そこで、閲覧権限があるか否かを判定する（ステップＳ１６０２）。この工程では、ステップＳ１６０１で認証された権限に基づき、要求を受け取った管理者側の、たとえば画像圧縮装置１００のマッチングリスト作成部３１１が実行する。
【０１３６】
ステップＳ１６０２において閲覧権限がないと判定された場合（ステップＳ１６０２：Ｎｏ）は、処理を終了する。一方、ステップＳ１６０２において閲覧権限があると判定された場合（ステップＳ１６０２：Ｙｅｓ）は、基準ＤＢ３４０内のメタファイルＤＢ３４２へのアクセス権を付与する（ステップＳ１６０３）。
【０１３７】
次に、顔閲覧権限があるか否かを判定する（ステップＳ１６０４）。この工程では、ステップＳ１６０２で認証された権限に基づき、要求を受け取った管理者側の、たとえば画像圧縮装置１００のマッチングリスト作成部３１１が実行する。
【０１３８】
ステップＳ１６０４において顔閲覧権限がないと判定された場合（ステップＳ１６０４：Ｎｏ）は、ステップＳ１６０９へ移行する。一方、ステップＳ１６０４において閲覧権限があると判定された場合（ステップＳ１６０４：Ｙｅｓ）は、たとえば図１５の基準ＤＢ３４０内の顔画像ＤＢ３４１へのアクセス権を付与する（ステップＳ１６０５）。
【０１３９】
申請者側へ符号化差分画像をダウンロードする（ステップＳ１６０６）。この処理は、申請者側の画像復号装置６００がメタファイルＤＢ３４２にアクセスすることによって実行される。
【０１４０】
申請者側へ差分メタ情報（顔画像データ）をダウンロードする（ステップＳ１６０７）。この処理は、申請者側の画像復号装置６００が顔画像ＤＢ３４１にアクセスすることによって実行される。
【０１４１】
最後に、画像の完全再現を実行する（ステップＳ１６０８）。ここでは、ステップＳ１６０６で受け取った差分画像と、ステップＳ１６０７で受け取った差分メタ情報（顔画像データ）を用いて、図８に示されたフローチャートと同様な手順で原画像が完全な状態で再現できる。
【０１４２】
すなわち、画像復号装置６００において、前記差分メタ情報に含まれる被写体情報を抽出し当該被写体情報を参照して、基準モデルＤＢ６０５から被写体モデルを呼び出し、画像サイズ内に前記被写体情報に基づき前記被写体モデルを配置して基準画像を再構築し、前記符号化差分画像に対して復号化処理を行って差分画像を再生し、当該差分画像に再構築された基準画像を当てはめ、完全な状態の原画像を再生する。
【０１４３】
一方、ステップＳ１６０４において顔閲覧権限がないと判定された場合（ステップＳ１６０４：Ｎｏ）は、申請者側へ符号化差分画像と内容を部分的に抽象化した差分メタ情報をダウンロードする（ステップＳ１６０９）。この処理は、メタファイルＤＢ３４２に保存されている符号化差分画像はそのままの状態で申請者側へダウンロードされるが、顔画像ＤＢ３４１に保存されている差分メタ情報は内容が部分的に抽象化（たとえば、被写体の解像度を落とす等）された状態で申請者側へダウンロードされる。この処理は、たとえば、マッチングリスト作成部３１１が実行する。
【０１４４】
続いて、画像の不完全再現を実行する（ステップＳ１６１０）。顔閲覧権限がない申請者は、内容が部分的に抽象化された差分メタ情報を受け取ることになるため、この情報を用いても重要部分が不完全な状態の原画像を再現できるのみである。ここでの処理は、図８に示されたフローチャートと同様な手順で実行される。
【０１４５】
すなわち、この場合、画像復号装置６００において、内容が部分的に抽象化された前記差分メタ情報に含まれる抽象化された内容を含む被写体情報を抽出し当該抽象化された内容を含む被写体情報を参照して、基準モデルＤＢ６０５から被写体モデルを呼び出し、画像サイズ内に抽象化された内容を含む被写体情報に基づき前記被写体モデルを配置して基準画像を再構築し、符号化差分画像に対して復号化処理を行って差分画像を再生し、当該差分画像に再構築された基準画像を当てはめ原画像を再生することになる。結果として重要部分の表示が不完全な画像が再生できるのみである。
【０１４６】
以上説明したように、実施の形態４にかかる画像圧縮・復号方法によれば、画像の閲覧権限の有無、または閲覧権限があってもその範囲に制限が設けられている等、申請者の権限の種類に従って管理者が意図する状態の画像を閲覧することが可能になる。よって、プライバシー保護に資するデータの授受が可能になる。
【０１４７】
上述のように、上記各実施の形態で説明した画像圧縮方法、画像復号方法、画像圧縮・復号方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。
【産業上の利用可能性】
【０１４８】
以上のように、本発明は、通信容量を絞った状態での画像データの送受信に有用であり、さらに、プライバシー保護の目的に沿った画像データの授受が可能になる。
【符号の説明】
【０１４９】
１００  画像圧縮装置
２００  撮影系
２１０  画像撮影取得部
２２０  環境情報取得部
２２１  センサ部
２２２  環境情報記憶部
３００  処理系
３１０  前処理部
３１１  マッチングリスト作成部
３１２  基準画像生成部
３２０  差分生成部
３２１  差分画像生成部
３２２  差分メタ情報生成部
３３０  符号化部
３３１  差分画像符号化部
３３２  符号化画像生成部
３４０  基準ＤＢ
３４１  顔画像ＤＢ
３４２  メタファイルＤＢ
３５０，６１０  親ＤＢ
６００  画像復号装置
６０１  符号化画像前処理部
６０２  差分メタ情報処理部
６０３  基準画像再構築部
６０４  画像復号部
６０５  基準モデルＤＢ
６２０  マスタＤＢ
【図１】
2019186868.tif 000003
【図２】
2019186868.tif 000004
【図３】
2019186868.tif 000005
【図４】
2019186868.tif 000006
【図５】
2019186868.tif 000007
【図６】
2019186868.tif 000008
【図７】
2019186868.tif 000009
【図８】
2019186868.tif 000010
【図９】
2019186868.tif 000011
【図１０】
2019186868.tif 000012
【図１１】
2019186868.tif 000013
【図１２】
2019186868.tif 000014
【図１３】
2019186868.tif 000015
【図１４】
2019186868.tif 000016
【図１５】
2019186868.tif 000017
【図１６】
2019186868.tif 000018