(57)【要約】【課題】ライブ映像中の個人の肖像権又はプライバシー等を侵害することがなく且つライブ映像を遠方から撮影した映像としたり又は所定の解像度よりも低い解像度に落としたりすることなくモニター等の表示装置へ伝送することができる画像抽象化処理プログラム等を提供する。【解決手段】コンピュータに、撮像装置により撮像された画像に対して特徴抽出及び領域分割を行なって人物画像と背景画像とを識別させ、識別された人物画像には所定の人物抽象化処理を施して抽象化された人物画像を取得させ、背景画像には所定の背景抽象化処理を施して抽象化された背景画像を取得させ、取得された抽象化された人物画像と抽象化された背景画像とを合成させる。抽象化された人物画像としては所望のアニメーション・キャラクタの画像を用いることができ、抽象化された背景画像としては当該背景画像をその色彩と同色で塗りつぶされた画像を用いることができる。【選択図】  図１
2005210324.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された画像に抽象化処理を施すための画像抽象化処理プログラムであって、コンピュータに、
前記撮像装置により撮像された画像に対して特徴抽出及び領域分割を行なって、人物画像と背景画像とを識別させる画像認識ステップ、
前記画像認識ステップにおいて識別された人物画像には所定の人物抽象化処理を施して抽象化された人物画像を取得させ、背景画像には所定の背景抽象化処理を施して抽象化された背景画像を取得させる抽象化処理ステップ、
前記抽象化処理ステップで取得された抽象化された人物画像と抽象化された背景画像とを合成させる合成処理ステップを実行させるための画像抽象化処理プログラム。
【請求項２】
請求項１記載の画像抽象化処理プログラムにおいて、前記抽象化処理ステップにおける人物画像処理は、
前記画像認識ステップで特徴抽出された所定の特徴点の所定の特徴量と、予め人物画像特徴量記録部に記録された人物画像の所定の特徴点における所定の特徴量とを比較して、前記画像認識ステップで識別された人物画像の種別を特定する人物種別特定ステップと、
前記画像認識ステップにおいて識別された人物画像を前記人物種別特定ステップで特定された種別に応じた抽象化された人物画像に置換する人物置換処理ステップとを備えたことを特徴とする画像抽象化処理プログラム。
【請求項３】
請求項１記載の画像抽象化処理プログラムにおいて、前記抽象化処理ステップにおける背景抽象化処理は、
前記画像認識ステップで特徴抽出された所定の特徴点の所定の特徴量と、予め背景画像特徴量記録部に記録された背景画像の所定の特徴点における所定の特徴量とを比較して、前記画像認識ステップで識別された背景画像の種別を特定する背景種別特定ステップと、
前記画像認識ステップにおいて識別された背景画像を前記背景種別特定ステップで特定された種別に応じた抽象化された背景画像に置換する背景置換処理ステップとを備えたことを特徴とする画像抽象化処理プログラム。
【請求項４】
請求項１ないし３のいずれかに記載の画像抽象化処理プログラムにおいて、前記抽象化された人物画像はアニメーション・キャラクタの画像であることを特徴とする画像抽象化処理プログラム。
【請求項５】
請求項１ないし４のいずれかに記載の画像抽象化処理プログラムにおいて、前記抽象化された背景画像は該背景画像と同色で塗りつぶされた画像であることを特徴とする画像抽象化処理プログラム。
【請求項６】
請求項１ないし６のいずれかに記載の画像抽象化処理プログラムを記録したコンピュータ読取り可能な記録媒体。
【請求項７】
撮像装置により撮像された画像に抽象化処理を施した合成データと所定のタグ情報とを対応付けて保持するデータ構造であって、当該データ構造は、コンピュータに、
前記撮像装置により撮像された画像に対して特徴抽出及び領域分割を行なって、人物画像と背景画像とを識別させる画像認識ステップと、
前記画像認識ステップにおいて識別された人物画像には所定の人物抽象化処理を施して抽象化された人物画像を取得させ、背景画像には所定の背景抽象化処理を施して抽象化された背景画像を取得させる抽象化処理ステップと、
前記抽象化処理ステップで取得された抽象化された人物画像と抽象化された背景画像とを合成させる合成処理ステップとを実行させることにより得られた合成データと所定のタグ情報であって人物画像または背景画像と関連したタグ情報とを対応付けて保持することを特徴とするデータ構造を記録したコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置により撮像された画像に抽象化処理を施すための画像抽象化処理プログラム等に関する。
【背景技術】
【０００２】
従来、テレビジョン（ＴＶ）放送等により種々のライブ映像が撮像され、種々のモニター等の表示装置へ送られて生活情報として利用されている。ここで、生活情報とは例えば通勤等で通る道路における渋滞情報または天候情報等である。特に、今後カーナビゲーションシステムにおいて生活情報のライブ映像配信サービスの拡大が予想されており、カーナビゲーション装置のモニター等の表示装置へ生活情報のライブ映像が映し出される時代も近い将来の話と想定されている。ＴＶ放送等では非特許文献１に記載されているように所定の解像度等により撮像された画像が伝送されている。
【非特許文献１】長谷川伸著、「改訂画像工学」、第１１４頁−第１１６頁、平成６年１２月２０日改訂版第４刷発行、株式会社コロナ社。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述のライブ映像中には通行中の人間または自動車等が撮影されている場合があり、このライブ映像をそのままモニター等の表示装置へ伝送してしまうと個人の肖像権またはプライバシー等を侵害するおそれがあった。このため、通行中の人間または自動車等を遠方から撮影した映像または上述の所定の解像度よりも低い解像度に落とした不鮮明な映像をモニター等の表示装置へ伝送していた。しかし、これらの映像をモニター等の表示装置で見た場合、遠方からの映像または不鮮明な映像であるため生活情報として利用することに支障があるという問題があった。
【０００４】
そこで、本発明の目的は、上記問題を解決するためになされたものであり、ライブ映像中の個人の肖像権またはプライバシー等を侵害することがなく、且つライブ映像を遠方から撮影した映像としたりまたは所定の解像度よりも低い解像度に落としたりすることなくモニター等の表示装置へ伝送することができる画像抽象化処理プログラム等を提供することにある。
【課題を解決するための手段】
【０００５】
この発明の画像抽象化処理プログラムは、撮像装置により撮像された画像に抽象化処理を施すための画像抽象化処理プログラムであって、コンピュータに、前記撮像装置により撮像された画像に対して特徴抽出及び領域分割を行なって、人物画像と背景画像とを識別させる画像認識ステップ、前記画像認識ステップにおいて識別された人物画像には所定の人物抽象化処理を施して抽象化された人物画像を取得させ、背景画像には所定の背景抽象化処理を施して抽象化された背景画像を取得させる抽象化処理ステップ、前記抽象化処理ステップで取得された抽象化された人物画像と抽象化された背景画像とを合成させる合成処理ステップを実行させるための画像抽象化処理プログラムである。
【０００６】
ここで、この発明の画像抽象化処理プログラムにおいて、前記抽象化処理ステップにおける人物画像処理は、前記画像認識ステップで特徴抽出された所定の特徴点の所定の特徴量と、予め人物画像特徴量記録部に記録された人物画像の所定の特徴点における所定の特徴量とを比較して、前記画像認識ステップで識別された人物画像の種別を特定する人物種別特定ステップと、前記画像認識ステップにおいて識別された人物画像を前記人物種別特定ステップで特定された種別に応じた抽象化された人物画像に置換する人物置換処理ステップとを備えることができる。
【０００７】
ここで、この発明の画像抽象化処理プログラムにおいて、前記抽象化処理ステップにおける背景抽象化処理は、前記画像認識ステップで特徴抽出された所定の特徴点の所定の特徴量と、予め背景画像特徴量記録部に記録された背景画像の所定の特徴点における所定の特徴量とを比較して、前記画像認識ステップで識別された背景画像の種別を特定する背景種別特定ステップと、前記画像認識ステップにおいて識別された背景画像を前記背景種別特定ステップで特定された種別に応じた抽象化された背景画像に置換する背景置換処理ステップとを備えることができる。
【０００８】
ここで、この発明の記載の画像抽象化処理プログラムにおいて、前記抽象化された人物画像はアニメーション・キャラクタの画像であるものとすることができる。
【０００９】
ここで、この発明の画像抽象化処理プログラムにおいて、前記抽象化された背景画像は該背景画像と同色で塗りつぶされた画像であるものとすることができる。
【００１０】
この発明の記録媒体は、本発明のいずれかの画像抽象化処理プログラムを記録したコンピュータ読取り可能な記録媒体である。
【００１１】
この発明の記録媒体は、撮像装置により撮像された画像に抽象化処理を施した合成データと所定のタグ情報とを対応付けて保持するデータ構造であって、当該データ構造は、コンピュータに、前記撮像装置により撮像された画像に対して特徴抽出及び領域分割を行なって、人物画像と背景画像とを識別させる画像認識ステップと、前記画像認識ステップにおいて識別された人物画像には所定の人物抽象化処理を施して抽象化された人物画像を取得させ、背景画像には所定の背景抽象化処理を施して抽象化された背景画像を取得させる抽象化処理ステップと、前記抽象化処理ステップで取得された抽象化された人物画像と抽象化された背景画像とを合成させる合成処理ステップとを実行させることにより得られた合成データと所定のタグ情報であって人物画像または背景画像と関連したタグ情報とを対応付けて保持することを特徴とするデータ構造を記録したコンピュータ読取り可能な記録媒体である。
【発明の効果】
【００１２】
本発明の画像抽象化処理プログラムによれば、コンピュータに、撮像装置により撮像された画像に対して特徴抽出及び領域分割を行なって人物画像と背景画像とを識別させ、識別された人物画像には所定の人物抽象化処理を施して抽象化された人物画像を取得させ、背景画像には所定の背景抽象化処理を施して抽象化された背景画像を取得させ、取得された抽象化された人物画像と抽象化された背景画像とを合成させる。抽象化された人物画像としては所望のアニメーション・キャラクタの画像を用い、抽象化された背景画像としては当該背景画像をその色彩と同色で塗りつぶされた画像を用いる。この結果、ライブ映像中の個人の肖像権またはプライバシー等を侵害することがなく、且つライブ映像を遠方から撮影した映像としたりまたは所定の解像度よりも低い解像度に落としたりすることなくモニター等の表示装置へ伝送することができるという効果がある。
【発明を実施するための最良の形態】
【００１３】
以下、各実施例について図面を参照して詳細に説明する。
【実施例１】
【００１４】
図１は、本発明の実施例１における画像抽象化処理プログラムの処理の流れをフローチャートで示す。図１に示されるように、撮像装置（不図示）により撮像された画像に対して特徴抽出及び領域分割を行なって、人物画像と背景画像とを識別させる（画像認識ステップ。ステップＳ１０）。ここで、撮像装置は例えば都市における道路および通行人等のライブ映像を撮像しているものとする。特徴抽出には従来技術におけるエッジ（edge）検出、画素の濃度勾配等を用いることができ、領域分割には従来技術における領域拡張法、統計的仮説検定法等を用いることができる。
【００１５】
次に、画像認識ステップ（ステップＳ１０）において識別された人物画像には所定の人物抽象化処理（ステップＳ１８、Ｓ２０）を施して抽象化された人物画像を取得させ、背景画像には所定の背景抽象化処理（ステップＳ１４、Ｓ１６）を施して抽象化された背景画像を取得させる（抽象化処理ステップ。ステップＳ１２）。
【００１６】
上述の人物抽象化処理では、画像認識ステップ（ステップＳ１０）で特徴抽出された所定の特徴点の所定の特徴量と、予め人物画像特徴量記録部１０（後述）に記録された人物画像の所定の特徴点における所定の特徴量とを比較して、画像認識ステップ（ステップＳ１０）で識別された人物画像の種別を特定する（人物種別特定ステップ。ステップＳ１８）。図２は、人物画像特徴量記録部１０の内容を例示する。図２に示されるように、人物画像特徴量記録部１０は、人物画像における種々の特徴点Ｐ１（１２）、Ｐ２（１４）、．．．、Ｐｎ（１６）等に対する各特徴量Ｆ１１、Ｆ１２、．．．、Ｆ１ｎ等を有している。特徴点Ｐ１等としては、例えば人物の頭頂部、左右の眉部、左右の目部、鼻の頂上部、鼻の下部、耳の上部、耳の下部、顔の輪郭等を用いることができる。特徴量Ｆ１１等としては、例えば各特徴点の２次元の位置座標または各特徴点が占める面積等を用いてもよい。画像認識ステップ（ステップＳ１０）で特徴抽出された特徴点Ｐ１等の特徴量と、予め人物画像特徴量記録部１０に記録された人物画像の特徴点Ｐ１等における特徴量Ｆ１１等とを比較して、所定の許容範囲内で一致する特徴量が最も多い人物画像特徴量記録部１０中の行に対応する人物種別１８を、人物画像の種別として特定することができる。例えば、ある人物画像の特徴点Ｐ１ないしＰｎの特徴量が各々Ｆ１１ないしＦ１ｎと所定の許容範囲内で一致した場合、当該人物画像の人物種別１８は「Ａ１（大人、男、年代Ｙ１、体型Ｓ１等）」と特定される。人物種別１８には他にも顔型等を含めてもよい。ここでＡ１は人物種別１８を識別する種別コードである。
【００１７】
続いて、画像認識ステップ（ステップＳ１０）において識別された人物画像を人物種別特定ステップ（ステップＳ１８）で特定された人物種別１８に応じた抽象化された人物画像に置換する（人物置換処理ステップ。ステップＳ２０）。抽象化された人物画像は、例えばアニメーション・キャラクタの画像とすることが好適である。具体的には種別コードＡ１中の顔型が丸顔、角顔または卵顔等に応じて所望のアニメーション・キャラクタの画像に置換すればよい。所望のアニメーション・キャラクタをコード化しておき、種別コードと対応付けて人物画像特徴量記録部１０中に記録しておくこともできる。
【００１８】
一方、上述の背景抽象化処理では、画像認識ステップ（ステップＳ１０）で特徴抽出された所定の特徴点の所定の特徴量と、予め背景画像特徴量記録部２０（後述）に記録された背景画像の所定の特徴点における所定の特徴量とを比較して、画像認識ステップ（ステップＳ１０）で識別された背景画像の種別を特定する（背景種別特定ステップ。ステップＳ１４）。図３は、背景画像特徴量記録部２０の内容を例示する。図３に示されるように、背景画像特徴量記録部２０は、背景画像における種々の特徴点Ｑ１（２２）、Ｑ２（２４）、．．．、Ｑｎ（２６）等に対する各特徴量Ｇ１１、Ｇ１２、．．．、Ｇ１ｎ等を有している。特徴点Ｑ１等としては、例えば背景の縁部または中央部等を用いることができる。特徴量Ｇ１１等としては、例えば各特徴点の２次元の位置座標、各特徴点が占める面積または色彩等を用いることができる。画像認識ステップ（ステップＳ１０）で特徴抽出された特徴点Ｑ１等の特徴量と、予め背景画像特徴量記録部２０に記録された背景画像の特徴点Ｑ１等における特徴量Ｇ１１等とを比較して、所定の許容範囲内で一致する特徴量が最も多い背景画像特徴量記録部２０中の行に対応する背景種別２８を、背景画像の種別として特定することができる。例えば、ある背景画像の特徴点Ｑ１ないしＱｎの特徴量が各々Ｇｋ１ないしＧｋｎと所定の許容範囲内で一致した場合、当該背景画像の背景種別２８は「Ｂｋ（車）」と特定される。背景種別２８には他の種別も含めてもよい。ここでＢｋは種別を識別する種別コードである。
【００１９】
続いて、画像認識ステップ（ステップＳ１０）において識別された背景画像を背景種別特定ステップ（ステップＳ１４）で特定された背景種別２８に応じた抽象化された背景画像に置換する（背景置換処理ステップ。ステップＳ１６）。抽象化された背景画像は、例えば当該背景画像と同色で塗りつぶされた画像とすることが好適である。当該背景画像の色彩は背景画像特徴量記録部２０中の特徴点Ｑ１等の特徴量Ｇ１１等と所定の許容範囲内で一致した色彩を用いればよい。具体的にはある背景画像が種別コードＢｋ（車）と一致した場合、種別コードＢｋ（車）の行における色彩を示す特徴点Ｑ１等の特徴量Ｇ１１等の色（白等）で塗りつぶされた画像に置換すればよい。
【００２０】
最後に、抽象化処理ステップ（ステップＳ１４およびＳ１６、またはステップＳ１８およびＳ２０）で取得された抽象化された人物画像と抽象化された背景画像とを合成させて合成データを得ることができる（合成処理ステップ。ステップＳ２２）。
【００２１】
以上より、本発明の実施例１によれば、コンピュータに、撮像装置により撮像された画像に対して特徴抽出及び領域分割を行なって人物画像と背景画像とを識別させ、識別された人物画像には所定の人物抽象化処理を施して抽象化された人物画像を取得させ、背景画像には所定の背景抽象化処理を施して抽象化された背景画像を取得させ、取得された抽象化された人物画像と抽象化された背景画像とを合成させることができる。抽象化された人物画像としては所望のアニメーション・キャラクタの画像を用いることができ、抽象化された背景画像としては当該背景画像をその色彩と同色で塗りつぶされた画像を用いることができる。このため、ライブ映像中の個人の肖像権またはプライバシー等を侵害することがなく、且つライブ映像を遠方から撮影した映像としたりまたは所定の解像度よりも低い解像度に落としたりすることなくモニター等の表示装置へ伝送することができる画像抽象化処理プログラム等を提供することができる。
【実施例２】
【００２２】
上述の実施例１における合成処理ステップ（ステップＳ２２）で得られた合成データと所定のタグ情報とを対応付けたデータ構造をコンピュータ読取り可能な記録媒体に保持することができる。すなわち、当該データ構造は、コンピュータに、撮像装置により撮像された画像に対して特徴抽出及び領域分割を行なって、人物画像と背景画像とを識別させ、識別された人物画像には所定の人物抽象化処理を施して抽象化された人物画像を取得させ、背景画像には所定の背景抽象化処理を施して抽象化された背景画像を取得させ、取得された抽象化された人物画像と抽象化された背景画像とを合成させることにより得られた合成データと、人物画像または背景画像と関連した所定のタグ情報とを対応付けて保持するデータ構造とすることができる。所定のタグ情報としては、例えばＸＭＬ（Extensible Markup Language）のタグを用いることができる。
【００２３】
以上より、本発明の実施例２によれば、合成データと例えばＸＭＬのタグとを対応付けたデータ構造をコンピュータ読取り可能な記録媒体に記録しておくことができる。この結果、上記記録媒体に記録されたデータ構造を上述の撮像装置側から伝送されたモニター等の表示装置側において、上記タグを利用することによりデータマイニングおよびフィルタリング操作が容易となるため、欲しい情報を容易に取捨選択することができる。さらに、上述の撮像装置側においても上記タグを同様に利用することにより配信の時間、場所および場合に応じて伝送する合成データの選択を行なうことが容易になる。
【実施例３】
【００２４】
図４は、上述した各実施例を実現するための本発明のコンピュータ・プログラムを実行する例えば撮像装置側のコンピュータの内部回路３０を示すブロック図である。図４に示されるように、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、画像制御部３６、コントローラ３７、入力制御部４０および外部インタフェース（Ｉ／Ｆ）部４４はバス４６に接続されている。図４において、上述の本発明のコンピュータ・プログラムは、ハードディスク（ＨＤＤ）３８ａ等の読み書き可能な記録媒体、またはＲＯＭ３２若しくはＣＤ−ＲＯＭ３８ｎ等の読み取り可能な記録媒体（いずれも脱着可能な記録媒体を含む）に記録されている。ハードディスク（ＨＤＤ）３８ａには実施例１における人物画像特徴量記録部１０および背景画像特徴量記録部２０が記録されている。さらに、実施例２における合成データと例えばＸＭＬのタグとを対応付けたデータ構造を記録しておくことができる。本発明のコンピュータ・プログラムは、ＲＯＭ３２からバス４６を介し、またはハードディスク（ＨＤＤ）３８ａ若しくはＣＤ−ＲＯＭ３８ｎ等の記録媒体からコントローラ３７を経由してバス４６を介しＲＡＭ３３へロードされる。入力制御部４０はマウス、キーボード等の入力操作部４２と接続され入力制御等を行う。画像メモリであるＶＲＡＭ３５は撮像装置等の表示部３４の少なくとも一画面分のデータ容量に相当する容量を有しており、画像制御部３６はＶＲＡＭ３５のデータを画像データへ変換して表示部３４へ送出する機能を有している。外部Ｉ／Ｆ部４４は、本コンピュータが外部と通信する際の入出力インタフェース機能を有する。
【００２５】
ＣＰＵ３１が上述の本発明のコンピュータ・プログラムを実行することにより、本発明の目的を達成することができる。当該コンピュータ・プログラムは上述のようにハードディスク（ＨＤＤ）３８ａ等の読み書き可能な記録媒体、またはＲＯＭ３２若しくはＣＤ−ＲＯＭ３８ｎ等の読み取り可能な記録媒体（いずれも脱着可能な記録媒体を含む）の形態でコンピュータＣＰＵ３１に供給することができ、当該コンピュータ・プログラムを記録したハードディスク（ＨＤＤ）３８ａ等の読み書き可能な記録媒体、またはＲＯＭ３２若しくはＣＤ−ＲＯＭ３８ｎ等の読み取り可能な記録媒体（いずれも脱着可能な記録媒体を含む）も同様に本発明を構成することになる。当該コンピュータ・プログラムを記録した記録媒体としては上述された記録媒体の他に、例えばメモリ・カード、メモリ・スティック、ＤＶＤ、光ディスク、ＦＤ等を用いることができる。
【産業上の利用可能性】
【００２６】
本発明の活用例として、ＴＶ放送におけるライブ映像中の画像を撮像器からカーナビゲーション装置のモニター等の表示装置へ伝送する場合に適用することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施例１における画像抽象化処理プログラムの処理の流れを示すフローチャートである。
【図２】人物画像特徴量記録部１０の内容を例示する図である。
【図３】背景画像特徴量記録部２０の内容を例示する図である。
【図４】本発明のコンピュータ・プログラムを実行するコンピュータの内部回路３０を示すブロック図である。
【符号の説明】
【００２８】
１０  人物画像特徴量記録部、  １２，１４，１６，２２，２４，２６  特徴点、  １８  人物種別、  ２０  背景画像特徴量記録部、  ２８  背景種別、  ３０  内部回路、  ３１  ＣＰＵ、  ３２  ＲＯＭ、  ３３  ＲＡＭ、  ３４  表示部、  ３５  ＶＲＡＭ、  ３６  画像制御部、  ３７  コントローラ、  ３８ａ  ハードディスク（ＨＤＤ）、  ３８ｎ  ＣＤ−ＲＯＭ、  ４０  入力制御部、  ４２  入力操作部、  ４４  外部Ｉ／Ｆ部、  ４６  バス。
【図１】
2005210324.tif 000003
【図２】
2005210324.tif 000004
【図３】
2005210324.tif 000005
【図４】
2005210324.tif 000006