(57)【要約】【課題】  同じ撮像装置で生成した画像データを基に得られた画像データであるか否かを判定できるデータ処理装置を提供する。【解決手段】  デジタルカメラ３で生成された参照画像データＲＥＦにコンピュータ５で補間処理を施して参照画像データＲＥＦａを生成し、これを照合装置６に登録する。そして、照合装置６が、入力した判定用画像データＯＢＪａを構成するＲ，Ｇ，Ｂの少なくとも一つの要素データと、上記登録した参照画像データＲＥＦａを構成するＧの要素データとの相関を検出する。そ６あ、上記検出した上記相関を基に、判定用画像データＯＢＪａがデジタルカメラ３が生成した画像データＳ３を基にして得られたか否かを判定する。【選択図】  図１
2005151345.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像データを構成するＲ（赤），Ｇ（緑），Ｂ（青）の少なくとも一つの要素データと第２の画像データを構成するＧの要素データとの相関を検出する相関検出手段と、
前記相関検出手段が検出した前記相関を基に、前記第１の画像データと前記第２の画像データとが同じ撮像装置が生成した画像データを基にして得られたか否かを判定する判定手段と
を有するデ−タ処理装置。
【請求項２】
前記相関検出手段は、受光感度に固有のバラツキを持つ受光素子に被写体からの反射光を入射する撮像装置によって生成された画像データに、当該画像データを構成する前記受光素子の受光結果に応じた前記要素データに生じた前記受光感度のバラツキを前記相関に反映する処理を施す
請求項１に記載のデータ処理装置。
【請求項３】
前記相関検出手段は、前記第１の画像データを構成するＲ，Ｇ，Ｂの要素データの各々と、前記第２の画像データを構成するＧの要素データとの相関をそれぞれ検出し、
前記判定手段は、前記相関検出手段が検出した前記相関の全てが所定のレベル以上の場合に、前記第１の画像データと前記第２の画像データとが同じ撮像装置が生成した画像データを基にして得られたと判定する
請求項１に記載のデータ処理装置。
【請求項４】
前記相関検出手段は、前記第１の画像データを構成するＲ，Ｇ，Ｂの要素データの各々について、当該要素データと前記第２の画像データを構成するＲ，Ｇ，Ｂの要素データの各々との合計９個の相関を検出し、
前記判定手段は、前記相関検出手段が検出した前記合計９個の相関のうち、前記第１の画像データを構成するＲ，Ｇ，Ｂの要素データの各々と前記第２の画像データを構成するＧの要素データとの相関以外の相関が、前記所定のレベル未満である場合に、前記第１の画像データと前記第２の画像データとが同じ撮像装置が生成した画像データを基にして得られたと判定する
請求項３に記載のデータ処理装置。
【請求項５】
前記相関検出手段は、前記撮像装置で撮像され当該撮像装置内でマトリクス状に配設された複数の画素位置のそれぞれにＲ，Ｇ，Ｂのいずれか一つの光を結像して得られたＲ，Ｇ，Ｂの要素データを、当該Ｒ，Ｇ，Ｂの要素データ毎に補間処理して生成された前記複数の画素位置の全てのＲ，Ｇ，Ｂの要素データからなる参照画像データを、前記第１の画像データとして用いて前記相関を検出し、
前記判定手段は、前記相関検出手段が検出した前記相関の全てが所定のレベル以上の場合に、前記第１の画像データが、前記撮像装置が生成した画像データからＧの要素データを抽出して補間処理を行って前記複数の画素位置の全てのＧの要素データを生成し、前記画像データから抽出されたＲおよびＢの要素データの各々について、当該要素データと当該要素データに対応して前記補間処理により生成された前記Ｇの要素データとを基に新たな要素データを生成し、当該新たな要素データを基に補間処理を行って生成された画像データを基に得られた画像データであると判定する
請求項４に記載のデータ処理装置。
【請求項６】
前記相関検出手段は、前記第１の画像データを構成するＲの要素データと前記第２の画像データを構成するＲの要素データとの第１の相関、前記第１の画像データを構成するＧの要素データと前記第２の画像データを構成するＧの要素データとの第２の相関、前記第１の画像データを構成するＢの要素データと前記第２の画像データを構成するＢの要素データとの第３の相関を検出し、
前記判定手段は、前記相関検出手段が検出した前記第１の相関、前記第２の相関および前記第３の相関の全てが所定のレベル以上の場合に、前記第１の画像データが前記第２の画像データと同じ撮像装置で生成され、当該撮像装置内でマトリクス状に配設された複数の画素位置のそれぞれにＲ，Ｇ，Ｂのいずれか一つの光を結像して得られたＲ，Ｇ，Ｂの要素データから構成される生データであると判定する
請求項１に記載のデータ処理装置。
【請求項７】
前記相関検出手段は、
前記第１の画像データおよび前記第２の画像データを直交変換してそれぞれ第１の周波数成分データおよび第２の周波数成分データを生成する変換手段と、
前記第１の周波数成分データを構成する各々の複素数データを、各複素数データの絶対値で除算して第１の複素数データを生成し、前記第２の周波数成分データを構成する各々の複素数データを、各複素数データの絶対値で除算して第２の複素数データを生成する除算手段と、
前記第１の複素数データおよび前記第２の複素数データの一方を構成する各々の複素数データを複素共役な複素数データに置き換えた第３の複素数データを生成する置換手段と、
前記置換手段によって置き換えが行われていない前記第１の複素数データまたは前記第２の複素数データと、前記置換手段で生成された前記第３の複素数データとを乗算して第４の複素数データを生成する乗算手段と、
前記乗算手段が生成した前記第４の複素数データを逆直交変換して前記相関を生成する逆変換回路と
を有する請求項１に記載のデータ処理装置。
【請求項８】
第１の画像データを構成するＲ（赤），Ｇ（緑），Ｂ（青）の少なくとも一つの要素データと第２の画像データを構成するＧの要素データとの相関を検出する第１の工程と、
前記第１の工程で検出した前記相関を基に、前記第１の画像データと前記第２の画像データとが同じ撮像装置が生成した画像データを基にして得られたか否かを判定する第２の工程と
を有するデ−タ処理方法。
【請求項９】
前記第１の工程は、前記第１の画像データを構成するＲ，Ｇ，Ｂの要素データの各々と、前記第２の画像データを構成するＧの要素データとの相関をそれぞれ検出し、
前記第２の工程は、前記第１の工程で検出した前記相関の全てが所定のレベル以上の場合に、前記第１の画像データと前記第２の画像データとが同じ撮像装置が生成した画像データを基にして得られたと判定する
請求項８に記載のデータ処理方法。
【請求項１０】
撮像結果に応じたデジタルの画像データを生成する撮像装置であって、
マトリクス状に配設された複数の画素位置のそれぞれにＲ，Ｇ，Ｂのいずれか一つの光を結像して得られたＲ，Ｇ，Ｂの要素データから構成される第１の画像データを生成する撮像手段と、
前記撮像手段が生成した前記第１の画像データを前記撮像装置の外部に出力する第１のインタフェースと、
前記撮像手段が生成した前記第１の画像データからＧの要素データを抽出して補間処理を行って前記複数の画素位置の全てのＧの要素データを生成し、前記画像データから抽出されたＲおよびＢの要素データの各々について、当該要素データと当該要素データに対応して前記補間処理により生成された前記Ｇの要素データとを基に新たな要素データを生成し、当該新たな要素データを基に補間処理を行って第２の画像データを生成する処理手段と、
前記処理手段が生成した前記第２の画像データを前記撮像装置の外部に出力する第２のインタフェースと
を有する撮像装置。
【請求項１１】
前記第１の画像データを前記撮像装置の外部に出力する前に暗号化する処理と、前記第２の画像データを前記撮像装置の外部に出力する前に暗号化する処理との少なくとも一方を行う暗号化手段
をさらに有する請求項１０に記載の撮像装置。
【請求項１２】
前記撮像手段は、前記複数の画素位置のそれぞれに対応して設けられ、受光感度に固有のバラツキを有する受光素子に前記光を結像する
請求項１０に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同じ撮像装置で生成した画像データを基に得られた画像データであるか否かを判定するデータ処理装置、その方法および撮像装置に関する。
【背景技術】
【０００２】
例えば、デジタル方式のカメラで撮像したデジタル形式の画像データが、当該画像データの著作権者の許諾を受けずに、第三者によって不正に使用されることがある。
このようなデジタル方式のカメラで撮像された画像データは、例えば、表示用デコード処理を経た後にサーバ装置などに送信されて公開される。
上記表示デコード処理は、例えば、カメラが生成したオリジナルの画像データからＧの要素データを抽出して補間処理を行ってカメラの画素位置の全てのＧの要素データを生成する。そして、上記画像データから抽出されたＲおよびＢの要素データの各々について、当該要素データと当該要素データに対応して上記補間処理により生成されたＧの要素データとを基に新たな要素データを生成し、当該新たな要素データを基に補間処理を行って公開用の画像データを生成する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来では、上述した表示用デコード処理を経て公開された他人の画像データを不正に改竄して画像データが生成された場合に、その不正を特定できないという問題がある。
【０００４】
本発明は上述した従来技術の問題点に鑑みてなされ、同じ撮像装置で生成した画像データを基に得られた画像データであるか否かを判定できるデータ処理装置およびその方法を提供することを目的とする。
また、本発明は、上述した判定を高い信頼性で行うことを可能にするために用いられる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した従来技術の問題点を解決し、上述した目的を達成するために、第１の発明のデータ処理装置は、第１の画像データを構成するＲ（赤），Ｇ（緑），Ｂ（青）の少なくとも一つの要素データと第２の画像データを構成するＧの要素データとの相関を検出する相関検出手段と、前記相関検出手段が検出した前記相関を基に、前記第１の画像データと前記第２の画像データとが同じ撮像装置が生成した画像データを基にして得られたか否かを判定する判定手段とを有する。
【０００６】
第１の発明のデ−タ処理装置の作用は以下のようになる。
先ず、相関検出手段が、第１の画像データを構成するＲ（赤），Ｇ（緑），Ｂ（青）の少なくとも一つの要素データと第２の画像データを構成するＧの要素データとの相関を検出する。
次に、判定手段が、前記相関検出手段が検出した前記相関を基に、前記第１の画像データと前記第２の画像データとが同じ撮像装置が生成した画像データを基にして得られたか否かを判定する。
【０００７】
第２の発明のデータ処理方法は、第１の画像データを構成するＲ（赤），Ｇ（緑），Ｂ（青）の少なくとも一つの要素データと第２の画像データを構成するＧの要素データとの相関を検出する第１の工程と、前記第１の工程で検出した前記相関を基に、前記第１の画像データと前記第２の画像データとが同じ撮像装置が生成した画像データを基にして得られたか否かを判定する第２の工程とを有する。
【０００８】
第２の発明のデ−タ処理方法の作用は以下のようになる。
先ず、第１の工程において、第１の画像データを構成するＲ（赤），Ｇ（緑），Ｂ（青）の少なくとも一つの要素データと第２の画像データを構成するＧの要素データとの相関を検出する。
次に、第２の工程において、前記第１の工程で検出した前記相関を基に、前記第１の画像データと前記第２の画像データとが同じ撮像装置が生成した画像データを基にして得られたか否かを判定する。
【０００９】
第３の発明の撮像装置は、撮像結果に応じたデジタルの画像データを生成する撮像装置であって、マトリクス状に配設された複数の画素位置のそれぞれにＲ，Ｇ，Ｂのいずれか一つの光を結像して得られたＲ，Ｇ，Ｂの要素データから構成される第１の画像データを生成する撮像手段と、前記撮像手段が生成した前記第１の画像データを前記撮像装置の外部に出力する第１のインタフェースと、前記撮像手段が生成した前記第１の画像データからＧの要素データを抽出して補間処理を行って前記複数の画素位置の全てのＧの要素データを生成し、前記画像データから抽出されたＲおよびＢの要素データの各々について、当該要素データと当該要素データに対応して前記補間処理により生成された前記Ｇの要素データとを基に新たな要素データを生成し、当該新たな要素データを基に補間処理を行って第２の画像データを生成する処理手段と、前記処理手段が生成した前記第２の画像データを前記撮像装置の外部に出力する第２のインタフェースとを有する。
【００１０】
第３の発明の撮像装置の作用は以下のようになる。
先ず、撮像手段が、マトリクス状に配設された複数の画素位置のそれぞれにＲ，Ｇ，Ｂのいずれか一つの光を結像して得られたＲ，Ｇ，Ｂの要素データから構成される第１の画像データを生成する。
そして、第１のインタフェースが、前記撮像手段が生成した前記第１の画像データを前記撮像装置の外部に出力する。
また、処理手段が、前記撮像手段が生成した前記第１の画像データからＧの要素データを抽出して補間処理を行って前記複数の画素位置の全てのＧの要素データを生成し、前記画像データから抽出されたＲおよびＢの要素データの各々について、当該要素データと当該要素データに対応して前記補間処理により生成された前記Ｇの要素データとを基に新たな要素データを生成し、当該新たな要素データを基に補間処理を行って第２の画像データを生成する。
そして、第２のインタフェースが、前記処理手段が生成した前記第２の画像データを前記撮像装置の外部に出力する。
【発明の効果】
【００１１】
第１および第２の発明によれば、同じ撮像装置で生成した画像データを基に得られた画像データであるか否かを判定できるデータ処理装置およびその方法を提供することができる。
また、第２の発明によれば、上述した判定を高い信頼性で行うことを可能にするために用いられる撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００１２】
第１実施形態
以下、本発明の第１実施形態を図１〜図２０を参照して説明する。
当該実施形態は、第１および第２の発明に対応している。
先ず、本発明の構成要素と本実施形態の構成要素との対応関係を説明する。
図１等に示す照合装置６が、第１の発明のデータ処理装置に対応している。
図７に示す相関検出部４２が第１の発明の相関検出手段に対応し、判定部４３が第１の発明の判定手段に対応している。
また、図１等に示す判定用画像データＯＢＪａ（ＯＢＪ）が第１および第２の発明の第１の画像データに対応し、参照画像データＲＥＦａが第１および第２の発明の第２の画像データ、並びに第１の発明の参照画像データに対応している。
【００１３】
以下、本発明の第１実施形態の概要について説明する。
デジタルカメラ３で生成された参照画像データＲＥＦにコンピュータ５で補間処理を施して参照画像データＲＥＦａを生成し、これを照合装置６に登録する。
そして、図７に示す相関検出部４２が、入力した判定用画像データＯＢＪａを構成するＲ（赤），Ｇ（緑），Ｂ（青）の少なくとも一つの要素データと、上記登録した参照画像データＲＥＦａを構成するＧの要素データとの相関を検出する。
このとき、相関検出部４２は、受光感度に固有のバラツキを持つ受光素子に被写体からの反射光を入射するデジタルカメラ３等によって生成され上記判定用画像データＯＢＪａおよび参照画像データＲＥＦａに、これらの画像データを構成する受光素子の受光結果に応じた要素データに生じた上記受光感度のバラツキを上記相関に反映する処理を施す。
そして、判定部４３が、相関検出部４２が検出した上記相関を基に、判定用画像データＯＢＪａがデジタルカメラ３が生成した画像データＳ３を基にして得られたか否かを判定する。
【００１４】
以下、第１実施形態のデータ処理システム１について詳細に説明する。
図１は、本実施形態のデータ処理システム１の構成図である。
図１に示すように、データ処理システム１は、例えば、デジタルカメラ３、コンピュータ４、コンピュータ５および照合装置６を有する。
〔デジタルカメラ３〕
デジタルカメラ３は、図１に示すように、レンズ１０、受光部１１、Ａ／Ｄ変換部１２およびエンコーダ１３を有する。
レンズ１０は、被写体からの光を入射し、それを受光部１１に出力する。
受光部１１は、マトリクス状に配設された複数の受光素子を有する。
レンズ１０を介して入力した被写体からの光は、上記受光素子に入射する。
そして、受光部１１は、複数の受光素子の受光結果に応じた画像信号をＡ／Ｄ変換部１２に出力する。
Ａ／Ｄ変換部１２は、受光部１１から入力した画像信号をＡ／Ｄ変換してデジタルの画像データを生成し、これをエンコーダ１３に出力する。
エンコーダ１３は、Ａ／Ｄ変換部１２から入力した参照用の画像データを暗号化して参照画像データＲＥＦを生成し、これを記録媒体２１に書き込む。
また、エンコーダ１３は、同様に、Ａ／Ｄ変換部１２から入力した公開用の画像データを暗号化して画像データＳ３を生成し、これを記録媒体２０に書き込む。
【００１５】
受光部１１は、図２に示すように、マトリクス状に配設された各受光素子に対応した位置（画素位置）にＲ，Ｇ，Ｂのフィルタを配設したカラーフィルタ２５を有する。
これにより、図２に示すカラーフィルタ２５の「Ｒ」の位置にある受光素子には被写体からの光のうちＲの成分のみがカラーフィルタ２５を透過して入射し、「Ｇ」の位置にある受光素子には被写体からの光のうちＧの成分のみがカラーフィルタ２５を透過して入射し、「Ｂ」の位置にある受光素子には被写体からの光のうちＢの成分のみがカラーフィルタ２５を透過して入射する。
これにより、受光部１１は、複数の上記画素位置のそれぞれにＲ，Ｇ，Ｂのいずれか一つの光を結像して得られたＲ，Ｇ，Ｂの画素信号で構成される画像信号を生成する。
【００１６】
受光部１１の上記受光素子は、例えば、ＣＣＤ(Charge Coupled Device) 撮像素子であり、受光感度に製造上の固有のばらつきがある。当該ばらつきは、人為的に再現困難なものである。
図３は、図１に示す受光部１１の受光素子の断面を模式的に示す図である。
図３に示すように、受光部１１の受光素子は、シリコン基板３２、開口部３３が設けられた遮光層３４、並びに集光レンズ３５を有する。
シリコン基板３２には、開口部３３と対向する位置に光電変換領域が形成されている。  また、集光レンズ３５は、遮光層３４に対してシリコン基板３２と反対側の位置から、遮光層３４を介してシリコン基板３２に達するように形成されている。
【００１７】
開口部３３は、例えば、紫外線の露光によってエッチングのマスクになるレジストに微細加工を施した後、遮光層３４とその下部の絶縁層３６をエッチングによって除去して形成される。
集光レンズ３５は、ガラス層にフォトリソグラフィーにより微細加工を施した後、高温でガラス層を融解し球状に形成される。
上述した受光素子の製造過程で、開口部３３は、なるべく均一な形状が形成されるように制御されるが、様々な要因により形状にはばらつきが生じる。このため、複数の受光素子の各々の開口部３３の形状にはばらつきがある。
ここで、各受光素子の開口部３３の形状のばらつきによって、受光素子に入射する光（光束）の形状がばらつき、シリコン基板３２の光電変換領域に入射する光量がばらつく。従って、各受光素子によって、受光感度のばらつきが生じる。
このような受光感度のばらつきは、人為的なものではなく、しかも、指紋のようにそれぞれの受光素子に固有のものである。また、このような受光素子の受光感度のばらつきの影響が、上記受光素子を用いたデジタルカメラ３によって生成される画像データに生じる。
本実施形態では、上述したように、上記カメラによって生成された画像データに生じる、受光素子の受光感度の製造上のばらつきを利用して、照合を行う。
照合装置６は、予め登録されたデジタルカメラ３の参照画像データＲＥＦを基に、被判定用画像データＯＢＪがデジタルカメラ３で生成された画像データを用いて生成されたか否かを判定する。
【００１８】
〔コンピュータ４〕
コンピュータ４は、図４に示すように、記録媒体２０から読み出した画像データＳ３から、Ｒ，Ｇ，Ｂの要素データをそれぞれ抽出して画像データＩＭ＿Ｒ，ＩＭ＿Ｇ，ＩＭ＿Ｂ（図示せず）をそれぞれ生成する。
そして、コンピュータ４は、画像データＩＭ＿Ｇを補間処理して全ての画素位置の要素データから構成される画像データＩＭ１＿Ｇを生成する。
このとき、コンピュータ４は、例えば、図５（Ａ）に示すように、要素データＧｘの周囲の要素データＧ１，Ｇ２，Ｇ３，Ｇ４の平均（＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４）を、要素データＧｘの補間データとする補間処理を行う。
【００１９】
コンピュータ４は、画像データＩＭ＿Ｒ内のＲの要素データを、当該Ｒの要素データに対応する画像データＩＭ１＿Ｇ内のＧの要素データで除算して画像データＩＭ１＿Ｒを生成する。
コンピュータ４は、例えば、画像データＩＭ１＿Ｒを補間処理して全ての画素位置の要素データＨｒから構成される画像データＩＭ２＿Ｒを生成する。
このとき、コンピュータ４は、図５（Ｂ）に示すように、要素データＲ１，Ｒ２，Ｒ３，Ｒ４を用いて、その周囲の要素データＲｘ１，Ｒｘ２，Ｒｘ３を生成する補間処理を行う。
すなわち、要素データＲｘ１を（Ｒ１＋Ｒ２）／２により生成し、要素データＲｘ２を（Ｒ１＋Ｒ３）／２により生成し、要素データＲｘ３を（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）／４により生成する。
【００２０】
コンピュータ４は、画像データＩＭ１＿ＧとＩＭ２＿Ｒとの対応する画素位置の要素データＨｒ，Ｇについて（Ｈｒ＊Ｇ）の演算を行って画像データＩＭ３＿Ｒを生成する。
また、コンピュータ４は、Ｂ画像データＩＭ＿Ｂについても、上述したＲの画像データＩＭ＿Ｒと同様の処理を行って、画像データＩＭ３＿Ｂを生成する。
そして、コンピュータ４は、画像データＩＭ１＿Ｇ，ＩＭ３＿Ｒ，ＩＭ３＿Ｂから構成される画像データＳ４を、例えば、ネットワーク上のサーバ装置に送信して公開する。
【００２１】
〔コンピュータ５〕
コンピュータ５は、記録媒体２０から読み出した参照画像データＲＥＦあるいは入力した判定用画像データＯＢＪ内の要素データを、当該Ｒ，Ｇ，Ｂの要素データ毎に補間処理して全ての画素位置についてＲ，Ｇ，Ｂ全ての要素データを生成する。
具体的には、コンピュータ５は、図６に示すように、参照画像データＲＥＦあるいは判定用画像データＯＢＪから、Ｇの要素データを抽出して画像データＩＭ１０＿Ｇを生成し、Ｒの要素データを抽出して画像データＩＭ１０＿Ｒを生成し、Ｂの要素データを抽出して画像データＩＭ１０＿Ｂを生成する。
そして、コンピュータ５は、例えば、図５（Ａ）で説明した補間処理を、画像データＩＭ１０＿Ｇに施して画像データＩＭ１１＿Ｇを生成する。
また、コンピュータ５は、例えば、図５（Ｂ）で説明した補間処理を、画像データＩＭ１０＿Ｒに施して画像データＩＭ１１＿Ｒを生成する。
また、コンピュータ５は、同様の補間処理を、画像データＩＭ１０＿Ｂに施して画像データＩＭ１１＿Ｂを生成する。
コンピュータ５は、それぞれ画像データＩＭ１１＿Ｇ，ＩＭ１１＿Ｒ，ＩＭ１１＿Ｂからなる参照画像データＲＥＦａあるいは判定用画像データＯＢＪａを照合装置６に出力する。
【００２２】
〔照合装置６〕
図７は、図１に示す照合装置６の構成図である。
図７に示すように、照合装置６は、例えば、インタフェース４１、相関検出部４２および判定部４３を有する。
インタフェース４１は、コンピュータ５から上述した参照画像データＲＥＦａおよび判定用画像データＯＢＪａを入力する。
相関検出部４２は、インタフェース４１を介して入力した参照画像データＲＥＦａを構成する図６に示すＩＭ１１＿Ｇ，ＩＭ１１＿Ｒ，ＩＭ１１＿Ｂの各々について、インタフェース４１を介して入力した判定用画像データＯＢＪａを構成するＧ，Ｒ，Ｂの画像データのそれぞれとの相関を検出する。
相関検出部４２は、受光感度に固有のバラツキを持つ受光素子に被写体からの反射光を入射するデジタルカメラ３によって生成された画像データに、当該画像データを構成する受光部１１の受光素子の受光結果に応じた要素データに生じた上記受光感度のバラツキを前記相関に反映する処理を施す。
【００２３】
判定部４３は、相関検出部４２が検出した相関を基に、被判定用画像データＯＢＪがデジタルカメラ３で生成された画像データを用いて生成されたか否かを判定する。
図８は、判定部４３の判定処理を説明するための図である。
ステップＳＴ１：
判定部４３は、図９に示すように、参照画像データＲＥＦａの図６に示すＧの画像データＩＭ１１＿Ｇと、判定用画像データＯＢＪａを構成するＲ，Ｇ，Ｂの画像データの各々との相関の結果を基に、これらの全ての相関が所定の第１のレベル以上であるか否かを判断し、所定のレベル以上であると判断するとステップＳＴ２に進み、そうでない場合にはステップＳＴ３に進む。
【００２４】
ステップＳＴ２：
判定部４３は、デジタルカメラ３で撮像されコンピュータ４の処理を経て公開された画像データＳ４を基に、判定用画像データＯＢＪａが生成されたと判定する。
例えば、図１０に示すように、コンピュータ４が生成して公開された画像データＳ４がそのまま画像データＯＢＪａとして照合装置６に入力された場合には、図４に示すように、画像データＳ４の画像データＩＭ３＿Ｒ，ＩＭ３＿Ｂが画像データＩＭ１＿Ｇを基に生成されているため、画像データＩＭ３＿Ｒ，ＩＭ３＿Ｂと図６に示す参照画像データＲＥＦａのＧの画像データＩＭ１１＿Ｇとの相関が高くなる。
なお、画像データＳ４と参照画像データＲＥＦａとは、デジタルカメラ３が異なる撮像対象を撮像して生成したものであっても、上述した受光部１１の受光素子の製造感度に生じる製造上のばらつきの固有性により、図９に示す相関が得られる。
【００２５】
また、図１１に示すように、例えば、デジタルカメラ３で撮像した画像データＳ３を基に得られた画像データＳ４が多数公開されている場合、これらの画像データＳ４に平均化処理ＡＶＲを施して画像データＳ５２を生成する。これにより、画像データＳ５２には画像パターン情報の一部が消える。
そして、デジタルカメラ３ｂの撮像結果を基に得られた画像データＳ３ｂと画像データＳ５２とを要素データ単位で乗算処理ＭＵＬして画像データＳ５３を生成する。
この場合に、図１に示す画像データＯＢＪとして画像データＳ５３をコンピュータ５に入力すると、図９に示す相関が得られる。
これにより、照合装置６は、画像データＳ５３がオリジナルの生(RAW) データではなく、デジタルカメラ３で生成した画像データを基に偽造された生データであると判定できる。
なお、本実施形態において、生データとは、デジタルカメラで生成させ、コンピュータ４による補間処理を経ていない画像データである。
【００２６】
また、図１２に示すように、例えば、デジタルカメラ３で撮像した画像データＳ３を基に得られた画像データＳ４が公開されている場合、画像データＳ４からデジタルカメラ３の図２に示すカラーフィルタ２５のＲ，Ｇ，Ｂの配列に対応したＲ，Ｇ，Ｂの要素データを抽出し、これを再配列することで他のデジタルカメラの生データを偽造した画像データＳ５８を生成する。
そして、この偽造した画像データＳ５８を、上記他のデジタルカメラの生データと偽ってコンピュータ５に入力して画像データＳ５８ａを生成させ、これが照合装置６に入力された場合に、デジタルカメラ３の参照画像データＲＥＦａを基に照合装置６で相関を検出した場合には、図１３（Ａ）に示すように図９と同じ結果が得られる。
また、画像データＳ５８ａを上記他のデジタルカメラの参照画像データＲＥＦｂを基に照合装置６で相関を検出した場合には、図１３（Ｂ）に示す結果が得られる。
これにより、照合装置６は、画像データＳ５８が上記他のデジタルカメラの生データではなく、デジタルカメラ３で生成した画像データを基に偽造された生データであると判定できる。
【００２７】
また、図１４に示すように、例えば、デジタルカメラ３で撮像した画像データＳ３を基に得られた画像データＳ４が公開されている場合、画像データＳ４からデジタルカメラ３の図２に示すカラーフィルタ２５のＲ，Ｇ，Ｂの配列に対応したＲ，Ｇ，Ｂの要素データを抽出し、これを再配列して画像データＳ５８を生成する。
そして、デジタルカメラ３ｂの撮像結果を基に得られた生データである画像データＳ３ｂと上記画像データＳ５８との要素データ単位での乗算処理ＭＵＬを行って、偽造した画像データＳ５９を生成する。
そして、この偽造した画像データＳ５９を、デジタルカメラ３ｂの生データと偽って照合装置６に入力された場合に、デジタルカメラ３ｂの参照画像データＲＥＦａを基に照合装置６で相関を検出した場合には、図１５（Ａ）に示すように図９と同じ結果が得られる。
また、画像データＳ５９をデジタルカメラ３ｂの参照画像データＲＥＦｂを基に照合装置６で相関を検出した場合には、図１５（Ｂ）に示す結果が得られる。
これにより、照合装置６は、画像データＳ５８がデジタルカメラ３の生データではなく、デジタルカメラ３ｂで生成した画像データを基に偽造された生データであると判定できる。
【００２８】
ステップＳＴ３：
判定部４３は、図１６に示すように、参照画像データＲＥＦａの図６に示すＲの画像データＩＭ１１＿Ｒと判定用画像データＯＢＪａを構成するＲの画像データとの相関、図６に示すＧの画像データＩＭ１１＿Ｇと判定用画像データＯＢＪａを構成するＧの画像データとの相関、図６に示すＧの画像データＩＭ１１＿Ｂと判定用画像データＯＢＪａを構成するＢの画像データとの相関の全てが所定のレベルを超えているか否かを判断し、超えていればステップＳＴ４に進み、そうでなければステップＳＴ５に進む。
【００２９】
ステップＳＴ４：
判定部４３は、参照画像データＲＥＦａと判定用画像データＯＢＪａとが同じデジタルカメラ３で撮像された生データであると判定する。
すなわち、参照画像データＲＥＦａと判定用画像データＯＢＪａとが同じデジタルカメラ３で撮像された生データである場合には、コンピュータ４による処理を経ていないので、受光部１１の受光感度のばらつきパターンに起因して、参照画像データＲＥＦａの図６に示すＧの画像データＩＭ１１＿Ｇは判定用画像データＯＢＪａのＧの画像データＩＭ１１＿Ｇとの間でのみ第１のレベル以上の相関を生じ、参照画像データＲＥＦａの図６に示すＲの画像データＩＭ１１＿Ｒは判定用画像データＯＢＪａのＲの画像データＩＭ１１＿Ｒとの間でのみ第１のレベル以上の相関を生じ、参照画像データＲＥＦａの図６に示すＢの画像データＩＭ１１＿Ｂは判定用画像データＯＢＪａのＢの画像データＩＭ１１＿Ｂとの間でのみ第１のレベル以上の相関を生じる。これにより、図１６に示す相関が得られる。
【００３０】
ステップＳＴ５：
判定部４３は、参照画像データＲＥＦａと判定用画像データＯＢＪａとが図１７に示すように異なるデジタルカメラ３，３ｂで撮像された生データあるいは当該画像データを処理した画像データであると判定する。
これは、例えば、相関検出部４２における相関結果が、例えば、図１８のようになった場合である。
【００３１】
以下、ＳＰＯＭＦ(Symmetrical Phase Only Matched Filtering)方式を採用した図７に示す相関検出部４２の構成について説明する。
ＳＰＯＭＦは、文献”Symmetric Phase-Only Matched Filtering of Fourier-Mellin Transforms for Image Registration and Recognition” IEEE Transaction on Pattern analysis and Machine Intelligence, VOL.16 No.12 December 1994などに記載されている。
図１９は、図７に示す相関検出部４２の機能ブロック図である。
図１９に示すように、相関検出部４２は、例えば、ＦＦＴ回路(Fast Fourier Transforms) １２１、ホワイトニング回路１２２、ＦＦＴ回路１２３、ホワイトニング回路１２４、複素共役化回路１２５、乗算回路１２６およびＩＦＦＴ回路１２７を有する。
ＦＦＴ回路１２１およびＦＦＴ回路１２３が本発明の変換手段に対応し、ホワイトニング回路１２２およびホワイトニング回路１２４が本発明の除算手段に対応し、複素共役化回路１２５が本発明の置換手段に対応し、乗算回路１２６が本発明の乗算回路に対応し、ＩＦＦＴ回路１２７が本発明の逆変換回路に対応している。
【００３２】
ＦＦＴ回路１２１は、例えば、デジタルカメラ３からの参照画像データＲＥＦａにフーリエ変換を施して第２の周波数成分データＳ１２１を生成し、これをホワイトニング回路１２２に出力する。
ホワイトニング回路１２２は、第２の周波数成分データＳ１２１を構成する各々の複素数データを、各複素数データの絶対値で除算して（すなわち、各要素データの絶対値を等しくする）第２の複素数データＳ１２２を生成し、これを乗算回路１２６に出力する。
【００３３】
ＦＦＴ回路１２３は、例えば、入力した判定用画像データＯＢＪａ（ＯＢＪ）にフーリエ変換を施して第１の周波数成分データＳ１２３を生成し、これをホワイトニング回路１２４は、第１の周波数成分データＳ１２３を構成する各々の複素数データを、各複素数データの絶対値で除算して第１の複素数データＳ１２４を生成し、これを複素共役化回路１２５に出力する。
【００３４】
複素共役化回路１２５は、第１の複素数データＳ１２４を構成する各々の複素数データを、複素共役な複素数データに置き換えた第３の複素数データＳ１２５を生成し、これを乗算回路１２６に出力する。
乗算回路１２６は、第２の複素数データＳ１２２と第３の複素数データＳ１２５とを乗算して第４の複素数データＳ１２６を生成し、これをＩＦＦＴ回路１２７に出力する。
ＩＦＦＴ回路１２７は、第４の複素数データＳ１２６に逆フーリエ変換を施して相関データＳ４２を生成し、これを図７に示す判定部４３に出力する。
【００３５】
以下、図７に示す判定部４３による上述した相関のレベルの判定の基準に用いられる値の決定方法について説明する。
相関検出部４２は、参照画像データＲＥＦａと判定用画像データＯＢＪａ（ＯＢＪ）との間の相対位置を２次元上循環的にずらして相関をとった値の全ての値を相関データＳ４２とする。
ここで、参照画像データＲＥＦａと判定用画像データＯＢＪａ（ＯＢＪ）とは、絵柄については無相関なので、相関データＳ４２の原点以外の値は、無相関なデータ間の偶発的な相関値を示している。
判定部４３は、相関データＳ４２の標準偏差σを求め、相関データＳ４２の原点の値Ｃ００が標準偏差の所定数倍を越えるか否かを基準として、上記判定を行う。
値Ｃ００を用いたのは、画像全体同士で相関を取る場合、撮像素子の固有パターンが一致するのは原点を一致させた状態なので、その場合に相関器の出力Ｃ００にピークが現れるからである。
【００３６】
相関データＳ４２内の各要素データをＣｉｊ、また、要素データの数をｎとする。
判定部４３は、下記式（１）に基づいて、相関データＳ４２内の全要素データが示す値の平均値ｍｅａｎを生成する。
【００３７】
（数１）
ｃｍｅａｎ  ＝  （Σｃｉｊ）／ｎ                  …（１）
【００３８】
また、判定部４３は、上記平均値ｍｅａｎを用いて、下記式（２）に基づいて、標準偏差σを生成する。
【００３９】
（数２）
σ  ＝  √｛｛Σ（ｃｉｊ−ｃｍｅａｎ）×（ｃｉｊ−ｃｍｅａｎ）｝／ｎ｝
…（２）
【００４０】
そして、判定部４３は、下記式（３）を基に、相関データＳ４２内の原点の要素データｃ００が示す値が、標準偏差σの１０倍を超える場合には、相関レベルが前述した第１のレベルを超えると（相関大と）判定する。
【００４１】
（数３）
ｃ００  ＞  １０×σ                              …（３）
【００４２】
以下、図１に示すデータ処理システム１の全体動作を説明する。
図２０は、当該動作を説明するためのフローチャートである。
ステップＳＴ１１：
デジタルカメラ３で生成された参照画像データＲＥＦにコンピュータ５で補間処理を施して参照画像データＲＥＦａを生成し、これを照合装置６に登録する。
ステップＳＴ１２：
判定用画像データＯＢＪを必要に応じてコンピュータ５で補間処理して判定用画像データＯＢＪａを生成し、これを照合装置６に入力する。
ステップＳＴ１３：
図７に示す照合装置６の相関検出部４２が、入力した判定用画像データＯＢＪａを構成するＲ（赤），Ｇ（緑），Ｂ（青）の少なくとも一つの要素データと、ステップＳＴ１１で登録した参照画像データＲＥＦａを構成するＧの要素データとの相関を検出する。
ステップＳＴ１４：
図７に示す照合装置６の判定部４３が、ステップＳＴ１３で相関検出部４２が検出した上記相関を基に、判定用画像データＯＢＪａがデジタルカメラ３が生成した画像データＳ３を基にして得られたか否かを判定する。
【００４３】
以上説明したように、データ処理システム１によれば、照合装置６において、図８に示すステップＳＴ１，ＳＴ２を用いて説明したように相関検出部４２による相関検出および判定部４３による判定を行うことで、判定用画像データＯＢＪａ（ＯＢＪ）がデジタルカメラ３の公開画像データＳ４、あるいはそれを基にして生成された画像データであるかを判定できる。
また、データ処理システム１によれば、照合装置６において、図８に示すステップＳＴ３，ＳＴ４，ＳＴ５を用いて説明したように相関検出部４２による相関検出および判定部４３による判定を行うことで、判定用画像データＯＢＪａ（ＯＢＪ）がデジタルカメラ３の画像データＳ３（生データ）であるか否かを判定できる。
【００４４】
これにより、判定用画像データＯＢＪａ（ＯＢＪ）が、他人のデジタルカメラで得られた画像データを不正に利用して得られたものであるか否かを適切に判定できる。このとき、ハッシュ値による電子署名情報や電子透かし情報を画像データに付加する従来の手法ではできなかった、当該他人のデジタルカメラの特定が可能となる。
また、他人の画像データを不正に改竄して得た偽造データを参照画像データＲＥＦとして登録することを適切に回避できる。
【００４５】
また、データ処理システム１によれば、電子透かし情報を画像データに付加しないため、画像データの劣化を防止できる。
【００４６】
第２実施形態
第２実施形態は、第３の発明に対応した実施形態である。
図２１は、本発明の実施形態に係わるデジタルカメラ２０３の構成図である。
デジタルカメラ２０３は、図２１に示すように、レンズ１０、受光部１１、Ａ／Ｄ変換部１２、エンコーダ１３、インタフェース２１１、補間処理部２１２およびインタフェース２１３を有する。
ここで、レンズ１０および受光部１１が本発明の撮像手段に対応し、補間処理部２１２が本発明の処理手段に対応し、インタフェース２１１が本発明の第１のインタフェースに対応し、インタフェース２１３が本発明の第２のインタフェースに対応している。
【００４７】
図２１において、図１と同じ符号を付した受光部１１、Ａ／Ｄ変換部１２およびエンコーダ１３は、第１実施形態で説明したものと同じである。
インタフェース２１１は、エンコーダ１３が生成した暗号化された参照画像データＲＥＦをそのままデジタルカメラ２０３の外部に出力する。
例えば、インタフェース２１１は、図１に示すコンピュータ５に接続され、参照画像データＲＥＦをコンピュータ５に出力する。
補間処理部２１２は、エンコーダ１３から入力した画像データＳ３に対して第１実施形態でコンピュータ４の処理として説明した補間処理を施して画像データＳ４を生成する。
インタフェース２１３は、補間処理部２１２が生成した画像データＳ４をデジタルカメラ２０３の外部に出力する。
インタフェース２１３は、例えば、画像データＳ４を所定のコンピュータに出力し、サーバ装置に送信して公開する。
なお、デジタルカメラ２０３は、画像データＳ４をデジタルカメラ２０３の外部に出力する前に暗号化する処理と、参照画像データＲＥＦをデジタルカメラ２０３の外部に出力する前に暗号化する処理との少なくとも一方を行う暗号化回路を備えてもよい。
【００４８】
デジタルカメラ２０３によれば、生データである参照画像データＲＥＦをインタフェース２１１を介してデジタルカメラ２０３の外部に出力してコンピュータ５に登録できる。
また、デジタルカメラ２０３によれば、生データである画像データＳ３に補間処理を施して公開可能な画像データＳ４を生成でき、これをインタフェース２１３を介してデジタルカメラ２０３の外部に出力できる。これにより、画像データＳ４を公開できる。
ここで、参照画像データＲＥＦおよび画像データＳ４の使用形態は、例えば、第１実施形態と同様である。
このように、デジタルカメラ２０３は、第１実施形態と同様の判定処理を行うために用いることが可能であり、第１実施形態のデータ処理システム１の作用により、信頼性の高い判定を行うことを可能にする。
【００４９】
本発明は上述した実施形態には限定されない。
本実施形態では、図８に示すステップＳＴ１において、判定部４３が図９に示す相関パターンを検出した場合にステップＳＴ２に進む場合を例示したが、図７に示す相関検出部４２が、入力した判定用画像データＯＢＪａを構成するＲ（赤），Ｇ（緑），Ｂ（青）の少なくとも一つの要素データと、参照画像データＲＥＦａを構成するＧの要素データとの相関を検出し、その相関が第１のレベル以上の場合にステップＳＴ１２に進むようにしてもよい。
【産業上の利用可能性】
【００５０】
本発明は、同じ撮像装置で生成した画像データを基に得られた画像データであるか否かを判定するデータ処理システムに適用可能である。
【図面の簡単な説明】
【００５１】
【図１】図１は、本発明の実施形態のデータ処理システムの構成図である。
【図２】図２は、図１に示す受光部で用いられるカラーフィルタを説明するための図である。
【図３】図３は、カメラが備える受光素子の断面を模式的に示す図である。
【図４】図４は、図１に示すコンピュータ４における補間処理を説明するための図である。
【図５】図５は、図４に示す補間処理を説明するための図である。
【図６】図６は、図１に示すコンピュータ５における補間処理を説明するための図である。
【図７】図７は、図１に示す照合装置の機能ブロック図である。
【図８】図８は、図７に示す照合装置の動作例を説明するためのフローチャートである。
【図９】図９は、判定用画像データが、所定のデジタルカメラの公開画像データを基に得られた場合の相関パターンを説明するための図である。
【図１０】図１０は、公開された画像データをそのまま判定用画像データとして用いた場合を説明するための図である。
【図１１】図１１は、公開された画像データに所定の処理を施して得られた画像データを判定用画像データとして用いた場合を説明するための図である。
【図１２】図１２は、公開された画像データにその他の所定の処理を施して得られた画像データを判定用画像データとして用いた場合を説明するための図である。
【図１３】図１３は、図１２に示す場合の相関パターンを説明するための図である。
【図１４】図１４は、公開された画像データにその他の所定の処理を施して得られた画像データを判定用画像データとして用いた場合を説明するための図である。
【図１５】図１５は、図１４に示す場合の相関パターンを説明するための図である。
【図１６】図１６は、判定用画像データが、所定のデジタルカメラの生データである場合の相関パターンを説明するための図である。
【図１７】図１７は、異なる２つのデジタルカメラの画像データを基に相関を検出する場合を説明するための図である。
【図１８】図１８は、図１７に示す場合の相関パターンを説明するための図である。
【図１９】図１９は、図７に示す相関検出部の構成図である。
【図２０】図２０は、図１に示すデータ処理システムの全体動作を説明するためのフローチャートである。
【図２１】図２１は、本発明の第２実施形態のデジタルカメラの構成図である。
【符号の説明】
【００５２】
１…データ処理システム、３…デジタルカメラ、４…コンピュータ、５…コンピュータ、６…照合装置、２５…カラーフィルタ、３１…受光素子、３２…シリコン基板、３３…開口部、３４…遮光層、３５…集光レンズ、４１…インタフェース、４２…相関検出部、４３…判定部、１２１…ＦＦＴ回路、１２２…ホワイトニング回路、１２３…ＦＦＴ回路、１２４…ホワイトニング回路、１２５…複素共役化回路、１２６…乗算回路、１２７…ＩＦＦＴ回路
【図１】
2005151345.tif 000003
【図２】
2005151345.tif 000004
【図３】
2005151345.tif 000005
【図４】
2005151345.tif 000006
【図５】
2005151345.tif 000007
【図６】
2005151345.tif 000008
【図７】
2005151345.tif 000009
【図８】
2005151345.tif 000010
【図９】
2005151345.tif 000011
【図１０】
2005151345.tif 000012
【図１１】
2005151345.tif 000013
【図１２】
2005151345.tif 000014
【図１３】
2005151345.tif 000015
【図１４】
2005151345.tif 000016
【図１５】
2005151345.tif 000017
【図１６】
2005151345.tif 000018
【図１７】
2005151345.tif 000019
【図１８】
2005151345.tif 000020
【図１９】
2005151345.tif 000021
【図２０】
2005151345.tif 000022
【図２１】
2005151345.tif 000023