(57)【要約】【課題】プライバシーを保護した動画を簡単に生成できるようにする。【解決手段】ブジェクト抽出部１０４は、オブジェクトデータベース１０７を有しており、復号化部１０１により復号化された画像データに対して、オブジェクトデータベース１０７に登録されているデータとのマッチングを行い、オブジェクトを抽出する。特徴判定部１０５は、オブジェクト抽出部１０４により抽出されたオブジェクトの種類がプライバシーに関するものであり、信頼度が所定の閾値以上である場合には特徴と判定し、画像処理部１０６は、特徴判定部１０５から入力された情報を基にメモリ１０３に記憶されている時間的に前の画像データに対して特徴部分にモザイク等のエフェクト処理を施して画像データを出力する。【選択図】図１
2010268055.tif 000002
【特許請求の範囲】
【請求項１】
画像データからオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクト抽出手段によって抽出されたオブジェクトから、前記オブジェクトの信頼度に応じて特徴部分を抽出する特徴抽出手段と、
前記特徴抽出手段によって抽出された特徴部分に対してマスキング処理を行うとともに、前記画像データよりも過去の画像データに含まれる前記特徴部分であるオブジェクトに対してマスキング処理を行う画像処理手段とを有することを特徴とする画像処理装置。
【請求項２】
前記画像処理手段は、前記特徴部分の動き情報に基づいて、前記過去の画像データに含まれる前記特徴部分であるオブジェクトに対してマスキング処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像データは、Ｈ．２６４方式又はＭＰＥＧ２方式の符号化データから復号化されたフレームであることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記特徴抽出手段は、前記オブジェクトの信頼度が所定の値以上である場合に特徴部分として抽出し、
前記画像処理手段は、前記過去の画像データにおいて前記特徴部分であるオブジェクトの信頼度が所定の値未満である場合に、前記オブジェクトに対してもマスキング処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
画像データから特徴部分としてオブジェクトを抽出する抽出手段と、
前記抽出手段によって抽出された特徴部分に対してマスキング処理を行う画像処理手段とを有し、
前記抽出手段は、前記抽出したオブジェクトのうち、前記画像データよりも過去の画像データから所定の期間、信頼度が所定の値未満であるオブジェクトを特徴部分としないようにすることを特徴とする画像処理装置。
【請求項６】
被写体を撮像して画像データを生成する撮像手段と、
前記撮像手段により生成された画像データからオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクト抽出手段によって抽出されたオブジェクトから、前記オブジェクトの信頼度と前記撮像手段の撮像情報とに基づいて特徴部分を抽出する特徴抽出手段と、
前記特徴抽出手段によって抽出された特徴部分に対してマスキング処理を行うとともに、前記画像データよりも過去の画像データに含まれる前記特徴部分であるオブジェクトに対してマスキング処理を行う画像処理手段とを有することを特徴とする画像処理装置。
【請求項７】
前記撮像情報は、フォーカス情報であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記撮像情報は、撮影モードであることを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記オブジェクト抽出手段によって抽出されるオブジェクトは、個人を特定するプライバシー情報であることを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
【請求項１０】
画像データからオブジェクトを抽出するオブジェクト抽出工程と、
前記オブジェクト抽出工程において抽出されたオブジェクトから、前記オブジェクトの信頼度に応じて特徴部分を抽出する特徴抽出工程と、
前記特徴抽出工程において抽出された特徴部分に対してマスキング処理を行うとともに、前記画像データよりも過去の画像データに含まれる前記特徴部分であるオブジェクトに対してマスキング処理を行う画像処理工程とを有することを特徴とする画像処理方法。
【請求項１１】
画像データから特徴部分としてオブジェクトを抽出する抽出工程と、
前記抽出工程において抽出された特徴部分に対してマスキング処理を行う画像処理工程とを有し、
前記抽出工程においては、前記抽出したオブジェクトのうち、前記画像データよりも過去の画像データから所定の期間、信頼度が所定の値未満であるオブジェクトを特徴部分としないようにすることを特徴とする画像処理方法。
【請求項１２】
被写体を撮像して画像データを生成する撮像工程と、
前記撮像工程において生成された画像データからオブジェクトを抽出するオブジェクト抽出工程と、
前記オブジェクト抽出工程において抽出されたオブジェクトから、前記オブジェクトの信頼度と前記撮像工程における撮像情報とに基づいて特徴部分を抽出する特徴抽出工程と、
前記特徴抽出工程によって抽出された特徴部分に対してマスキング処理を行うとともに、前記画像データよりも過去の画像データに含まれる前記特徴部分であるオブジェクトに対してマスキング処理を行う画像処理工程とを有することを特徴とする画像処理方法。
【請求項１３】
画像データからオブジェクトを抽出するオブジェクト抽出工程と、
前記オブジェクト抽出工程において抽出されたオブジェクトから、前記オブジェクトの信頼度に応じて特徴部分を抽出する特徴抽出工程と、
前記特徴抽出工程において抽出された特徴部分に対してマスキング処理を行うとともに、前記画像データよりも過去の画像データに含まれる前記特徴部分であるオブジェクトに対してマスキング処理を行う画像処理工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
画像データから特徴部分としてオブジェクトを抽出する抽出工程と、
前記抽出工程において抽出された特徴部分に対してマスキング処理を行う画像処理工程とをコンピュータに実行させ、
前記抽出工程においては、前記抽出したオブジェクトのうち、前記画像データよりも過去の画像データから所定の期間、信頼度が所定の値未満であるオブジェクトを特徴部分としないようにするようコンピュータに実行させることを特徴とするプログラム。
【請求項１５】
被写体を撮像して画像データを生成する撮像工程と、
前記撮像工程において生成された画像データからオブジェクトを抽出するオブジェクト抽出工程と、
前記オブジェクト抽出工程において抽出されたオブジェクトから、前記オブジェクトの信頼度と前記撮像工程における撮像情報とに基づいて特徴部分を抽出する特徴抽出工程と、
前記特徴抽出工程によって抽出された特徴部分に対してマスキング処理を行うとともに、前記画像データよりも過去の画像データに含まれる前記特徴部分であるオブジェクトに対してマスキング処理を行う画像処理工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１６】
請求項１３〜１５の何れか１項に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、プログラム及び記憶媒体に関し、特に、プライバシーを保護した動画を生成するために用いて好適な技術に関する。
【背景技術】
【０００２】
近年、インターネットの環境が進化し、一般のユーザーがインターネット上のウェブサーバーに気軽に動画をアップロードして、不特定多数のユーザーに動画を公開することが可能になっている。不特定多数のユーザーに動画を公開する場合、従来、知られているパスワード等によるセキュリティシステムを用いることができないため、公衆の状況を撮影したような画像の場合、個人情報を含むプライバシーの問題が顕在化している。動画をアップロード（配信）する時にプライバシーを保護する技術としては、以下のような技術が知られている。
【０００３】
例えば、特許文献１に記載のテレビ電話は、時間的に異なる画像データの画素差分値より顔部分を検出し、検出された顔部分とその他の領域とを別々に符号化して顔部分のみプライバシーを保護した画像データとして配信している。また、特許文献２に記載のモザイク機能付きの撮像装置は、記録した動画データを出力する際に、テンプレートデータと比較し、マッチング度が所定の閾値以上である場合は、モザイク等のエフェクト処理を施して動画データを出力している。
【０００４】
さらに、特許文献３に記載の撮像装置は、画像データを記録する時に付加情報を付して記録し、アップロードを行う時に付加情報に基づいた制限をユーザーの操作に応じて設けることによって、適宜、プライバシーを保護している。また、これら以外にも、一度記録した動画データを、パーソナルコンピュータ（ＰＣ）等を用いてソフトウェアでプライバシーを保護するデータに編集してからアップロードすることも可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−４６４１４号公報
【特許文献２】特開２００１−８６４０７号公報
【特許文献３】特開２００８−１７２２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述した従来技術では、以下のような問題があった。
特許文献１に記載の方法では、顔情報を切り離して別途符号化して送信するため、符号化処理が煩雑であるという問題があった。さらには、アップロードを行う時のストリームの多重化方法、及び復号化の処理が煩雑であるという問題があった。
【０００７】
また、特許文献２に記載の方法では、閾値が低くなりすぎると、必要以上にプライバシーを保護してしまい、画像の中の多くの領域をエフェクト処理してしまう。一方、閾値が高くなりすぎると、エフェクト処理を行う部分が少なくなりプライバシーを十分に保護できない。このように、閾値の設定が難しいという問題があった。
【０００８】
さらに、特許文献３に記載の方法では、アップロードを行う時に、付加情報に基づいてユーザーが制限を指定するため、処理が煩雑であった。また、付加情報が付加されずに記録された画像データの場合や、ユーザーが指定を誤ってしまった場合には、プライバシーを保護できないといった問題があった。また、ＰＣ等を用いたソフトウェアによる作業をしてアップロードする場合は、処理が煩雑であるとともに、ソフトウェアを起動できる環境が必要となる等の問題があった。
【０００９】
本発明は前述の問題点に鑑み、プライバシーを保護した動画を簡単に生成できるようにすることを目的としている。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、画像データからオブジェクトを抽出するオブジェクト抽出手段と、前記オブジェクト抽出手段によって抽出されたオブジェクトから、前記オブジェクトの信頼度に応じて特徴部分を抽出する特徴抽出手段と、前記特徴抽出手段によって抽出された特徴部分に対してマスキング処理を行うとともに、前記画像データよりも過去の画像データに含まれる前記特徴部分であるオブジェクトに対してマスキング処理を行う画像処理手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ユーザーが煩わしい処理を行うことなく、個人情報などのプライバシーを保護した動画を生成することができる。これにより、ウェブサーバー等の共有領域に動画を手軽にアップロードすることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】エフェクト処理の動作手順の一例を示すフローチャートである。
【図３】本発明の第１の実施形態のエフェクト処理の概要の一例を示す図である。
【図４】本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図５】エフェクト処理の動作手順の一例を示すフローチャートである。
【図６】本発明の第２の実施形態のエフェクト処理の概要の一例を示す図である。
【図７】本発明の第２の実施形態のエフェクト処理の概要の一例を示す図である。
【図８】エフェクト処理の動作手順の一例を示すフローチャートである。
【図９】本発明の第３の実施形態のエフェクト処理の概要の一例を示す図である。
【図１０】本発明の第４の実施形態に係る画像処理装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照しながら説明する。
図１は、本実施形態に係る画像処理装置１０の構成例を示すブロック図である。
図１において、制御部１００は、不図示のＭＰＵ（ＭＰＵはマイクロコンピュータの形を可とする）、ＲＯＭ、ＲＡＭ等によって構成されており画像処理装置１０全体を統括制御する。
【００１４】
復号化部１０１は、入力された例えばＭＰＥＧ２方式又はＨ．２６４方式の符号化データに対して、エントロピー復号化、逆量子化、逆直交変換等の処理を行い、符号化データを復号化する。そして、メモリ制御部１０２を介して、復号化した画像データをメモリ１０３に出力する。さらに、復号化部１０１は、オブジェクト抽出部１０４からの指示により、指定された動き情報をオブジェクト抽出部１０４に出力する。
【００１５】
メモリ制御部１０２は、各ブロックからのメモリ１０３へのアクセスを優先順位等に応じて調停、制御する。メモリ１０３は、復号化部１０１が復号化する際に、符号化データ、復号化済みの画像データを一時的に記憶する領域として使用されるとともに、画像処理部１０６が画像処理を行う際の記憶領域としても使用される。
【００１６】
オブジェクト抽出部１０４は、オブジェクトデータベース１０７を有しており、復号化部１０１により復号化された画像データに対して、オブジェクトデータベース１０７に登録されているデータとのマッチングを行う。そして、復号化された画像データからオブジェクトを抽出し、抽出したオブジェクトの種類及び信頼度の情報を特徴判定部１０５に出力する。
【００１７】
また、オブジェクト抽出部１０４は、データとのマッチング以外にも肌色等の色情報と同系統の色の大きさに基づいてオブジェクトを抽出し、抽出したオブジェクトの種類及び信頼度の情報を特徴判定部１０５に出力する。さらに、オブジェクト抽出部１０４は、抽出したオブジェクトの部分の動き情報を復号化部１０１から取得し、特徴判定部１０５に出力する。ここで、動き情報は、符号化方式が例えばＭＰＥＧ２方式やＨ．２６４方式の場合、所定数の画素から構成されるマクロブロックとよばれる単位で取得することができる。
【００１８】
特徴判定部１０５は特徴抽出手段として機能し、オブジェクト抽出部１０４により抽出されたオブジェクトの種類が人物の顔、名前、住所等の個人を特定するプライバシー情報に関するものであり、信頼度が所定の閾値以上である場合には特徴であると判定する。そして、特徴部分のエリア情報と動き情報とを画像処理部１０６に出力する。画像処理部１０６は、特徴判定部１０５から入力された情報を基にメモリ１０３に記憶されている時間的に前の画像データ（フレーム又はフィールド、以下、代表してフレームとする）に対して特徴部分にモザイク等のエフェクト処理（マスキング処理）を施す。そして、画像データ（フレーム）を出力する。
【００１９】
次に、図２及び図３を参照しながら本実施形態における画像処理方法を説明する。図２は、本実施形態に係るエフェクト処理の動作手順の一例を示すフローチャートである。また、図３（ａ）は、従来のエフェクト処理の概要を示す図であり、図３（ｂ）は、本実施形態に係るエフェクト処理の概要の一例を示す図である。
【００２０】
まず、ステップＳ２００において、復号化部１０１は、入力された符号化データに対してエントロピー復号化、逆量子化、逆直交変換等の処理を行って復号化する。そして、ステップＳ２０１において、オブジェクト抽出部１０４は、復号化部１０１によって復号化された画像データ（フレーム）からオブジェクトを抽出し、そのオブジェクトの種類及び信頼度の情報と動き情報とを抽出する。
【００２１】
次に、ステップＳ２０２において、特徴判定部１０５は、抽出したオブジェクトに特徴があるか否かを判定する。本実施形態では、オブジェクトの種類が個人情報等のプライバシーに関するものであり、信頼度が所定の閾値以上である場合に特徴であると判定する。一方、オブジェクトの種類が個人情報等のプライバシーに関するものでないか、或いは、個人情報等のプライバシーに関するものであるが、信頼度が所定の閾値未満である場合は、特徴ではないと判定する。
【００２２】
ステップＳ２０２の判定の結果、特徴であるオブジェクトが存在する場合は、ステップＳ２０３に進む。一方、ステップＳ２０２の判定の結果、特徴であるオブジェクトが存在しない場合は、処理を終了する。また、本実施形態では、図３（ａ）及び図３（ｂ）に示すフレーム（３）及びフレーム（４）における信頼度が所定の閾値以上であり、フレーム（１）及びフレーム（２）における信頼度が所定の閾値より低いものとする。
【００２３】
次に、ステップＳ２０３において、画像処理部１０６は、特徴判定部１０５によって特徴であると判定された特徴部分に対して、例えば図３（ｂ）のフレーム（３）及びフレーム（４）に示すように、モザイク等のエフェクト処理を施す。
【００２４】
そして、ステップＳ２０４において、画像処理部１０６は、特徴であると判定された画像データ（フレーム）のマクロブロックの動き情報を用いてメモリ１０３に記憶されている１つ前のフレームに対してモザイク等のエフェクト処理を施す。例えば、図３（ｂ）に示すように、フレーム（３）のマクロブロックの動き情報を用いて、フレーム（２）のオブジェクトを判別する。そして、フレーム（２）に対してモザイク等のエフェクト処理を施す。画像処理部１０６は、メモリ１０３に記憶されているフレームのうち、該当するオブジェクトを含む過去のフレームに対してこの処理を繰り返し行い、メモリ１０３に記憶されている該当するオブジェクトを含む過去のフレームに対して全て行う。そして、処理を終了する。
【００２５】
以上説明したように、本実施形態によれば、特徴部分の動き情報を用いて、復号化、画像処理等に用いられるメモリ１０３に保持されている過去の画像データに対してもモザイク処理等のエフェクトを施す。これにより、閾値のみを用いた場合は、図３（ａ）に示すように、個人情報を含むプライバシーを十分に保護できなかった。ところが、本実施形態によれば、図３（ｂ）に示すように個人情報を含むプライバシーを十分に保護することができるようになる。このように、容易にかつ正確にモザイク等のエフェクト処理を施すことが可能となり、手軽に動画をウェブサーバー等の共有領域にアップロードすることが可能となる。
【００２６】
（第２の実施形態）
第１の実施形態では、符号化時の動き情報を用いてモザイク等のエフェクト処理を施す場合を説明したが、本実施形態では、特徴判定部の信頼度を用いてモザイク等のエフェクト処理を施す。以下、本実施形態について図４〜図７を参照しながら説明する。
【００２７】
図４は、本実施形態に係る画像処理装置４０の構成例を示すブロック図である。なお、第１の実施形態において説明したブロックと同じ構成のものは同じ番号を付しており、内容につては省略する。
図４において、復号化部４０１は、入力された符号化データに対して、エントロピー復号化、逆量子化、逆直交変換等の処理を行って復号化する。そして、メモリ制御部１０２を介して、復号化した画像データをメモリ１０３に出力する。
【００２８】
オブジェクト抽出部４０４は、オブジェクトデータベース４０７を有しており、復号化部４０１で復号化された画像データに対して、オブジェクトデータベース４０７に登録されているデータとのマッチングを行う。そして、復号化された画像データからオブジェクトを抽出し、抽出したオブジェクトの種類及び信頼度の情報を特徴判定部４０５に出力する。
【００２９】
また、オブジェクト抽出部４０４は、データとのマッチング以外にも肌色等の色情報と同系統の色の大きさに基づいてオブジェクトを抽出し、抽出したオブジェクトの種類及び信頼度の情報を特徴判定部４０５に出力する。
【００３０】
特徴判定部４０５は特徴抽出手段として機能し、オブジェクト抽出部４０４により抽出されたオブジェクトの種類が人物の顔、名前、住所等の個人を特定するプライバシー情報に関するものであり、信頼度が所定の閾値以上である場合は特徴であると判定する。そして、特徴部分のエリア情報を画像処理部４０６に出力する。また、特徴判定部４０５は、このように特徴であると判定したオブジェクトのうち、時間的に前の画像データ（フレーム）では特徴でないと判定したものを探索する。
【００３１】
図６（ａ）は、従来のエフェクト処理の概要を示す図であり、図６（ｂ）は、本実施形態に係るエフェクト処理の概要の一例を示す図である。
図６（ａ）のフレーム（１）及びフレーム（２）では、人物の顔の一部しか含まれていないため、信頼度が所定の閾値未満となり、特徴であると判断されない。本実施形態では、フレーム（３）で人物の顔が特徴であると判定されると、信頼度が所定の閾値未満であった時間的に前のフレーム（１）及びフレーム（２）に対してもプライバシーに関するものである可能性が高いと判定する。そこで、その画像における特徴部分（人物の顔部分）のエリア情報を画像処理部４０６に出力する。
【００３２】
画像処理部４０６は、特徴判定部４０５から入力された情報を基にメモリ１０３に記憶されている画像データ（フレーム）に対して特徴部分にモザイク等のエフェクト処理を施し、エフェクト処理を施した画像データを出力する。
【００３３】
図５は、本実施形態に係るエフェクト処理の動作手順の一例を示すフローチャートである。
まず、ステップＳ５００において、復号化部４０１は、エントロピー復号化、逆量子化、逆直交変換等の処理を行い、符号化データを復号化する。そして、ステップＳ５０１において、オブジェクト抽出部４０４は、復号化部４０１によって復号化された画像データ（フレーム）からオブジェクトを抽出し、そのオブジェクトの種類及び信頼度の情報を抽出する。なお、第１の実施形態と異なる点は、動き情報が不要である点である。
【００３４】
次に、ステップＳ５０２において、特徴判定部４０５は、抽出したオブジェクトに特徴があるか否かを判定する。第１の実施形態と同様に、オブジェクトの種類が個人情報等のプライバシーに関するものであり、信頼度が所定の閾値以上である場合に特徴と判定する。一方、オブジェクトの種類が個人情報等のプライバシーに関するものでないか、或いは、個人情報等のプライバシーに関するものであるが、信頼度が所定の閾値未満である場合は特徴ではないと判定する。
【００３５】
ステップＳ５０２の判定の結果、特徴であるオブジェクトが存在する場合は、ステップＳ５０３に進む。一方、ステップＳ５０２の判定の結果、特徴であるオブジェクトが存在しない場合は、処理を終了する。また、図６（ａ）及び図６（ｂ）に示すフレーム（３）及びフレーム（４）が所定の閾値以上であり、フレーム（１）及びフレーム（２）が所定の閾値より低いものとする。
【００３６】
次に、ステップＳ５０３において、画像処理部４０６は、特徴判定部４０５によって特徴と判定された特徴部分に対して、例えば、図６（ｂ）のフレーム（３）及びフレーム（４）に示すように、モザイク等のエフェクト処理を施す。この点は、第１の実施形態と同様である。
【００３７】
そして、ステップＳ５０４において、特徴判定部４０５は、ステップＳ５０２で特徴であると判定したオブジェクトを含む過去の画像データをメモリ１０３から探索する。そして、過去の画像データにおいて信頼度は所定の閾値より低いが、プライバシーに関するオブジェクトである可能性が高いと判定し、その画像における特徴部分のエリア情報を画像処理部４０６に出力する。画像処理部４０６は、入力されたエリア情報に基づいて、過去の画像データ（フレーム）に対してモザイク等のエフェクト処理を追加で施す。そして、処理を終了する。
【００３８】
例えば、図６（ｂ）に示すように、特徴判定部４０５は、フレーム（１）及びフレーム（２）の人物の一部が含まれているエリアの情報を画像処理部４０６に出力する。そして、画像処理部４０６は、そのエリア情報に基づいて、フレーム（１）及びフレーム（２）に対してもエフェクト処理を施す。
【００３９】
以上のように本実施形態では、特徴であると検出した画像データ（フレーム）のみではなく、信頼度が所定の値未満であっても、メモリ１０３に保持されている過去の画像データに対しても同一のオブジェクトに対してモザイク処理等のエフェクトを施す。これにより、容易にかつ正確にモザイク等のエフェクト処理を施すことができ、個人情報を含むプライバシーを保護するとともに、手軽に動画をウェブサーバー等の共有領域にアップロードすることができる。
【００４０】
また、図７に示すように、メモリ１０３に保持されている過去の画像データ全てに対して行うのではなく、再度、閾値を所定の値より低く再設定して、その閾値以上の画像データにのみモザイク等のエフェクト処理を施してもよい。
【００４１】
図７（ａ）は、従来のエフェクト処理の概要を示す図であり、図７（ｂ）は、本実施形態に係るエフェクト処理の概要の他の一例を示す図である。信頼度の閾値を一律下げてしまうと必要以上にプライバシーを保護してしまうが、図７に示す方法では、必要以上にプライバシーを保護することなく、信頼度が閾値近傍で推移しているような場合で特に有効である。
【００４２】
（第３の実施形態）
第２の実施形態では、特徴判定部４０５で判定した信頼度を用いてモザイク等のエフェクト処理を施す場合を説明した。本実施形態では、フレーム内に登場してくる（フレームインする）オブジェクトを、一旦、全て特徴として抽出し、モザイク等のエフェクト処理を施す。その後、信頼度等に応じて特徴から除外し、モザイク等のエフェクト処理を施さないようにする。以下、本実施形態について図４、図８及び図９を参照しながら説明する。なお、本実施形態の画像処理装置の構成は図４と同一のものであるため、第２の実施形態と異なる点についてのみ説明する。
【００４３】
オブジェクト抽出部４０４は、オブジェクトデータベース４０７を有しており、復号化部４０１によって復号化された画像データからフレームインしたオブジェクト全てを、例えば、輝度信号の差分値から検出し、特徴判定部４０５に出力する。
【００４４】
また、オブジェクト抽出部４０４は、先に検出されたオブジェクトに対して、オブジェクトデータベース４０７に登録されているデータとのマッチングを行う。そしてそのマッチング結果を特徴判定部４０５に出力する。さらに、オブジェクト抽出部４０４は、肌色等の色情報と同系統の色の大きさからオブジェクトの種類及び信頼度を算出し、特徴判定部４０５に出力する。
【００４５】
特徴判定部４０５は、オブジェクトの種類及び信頼度によらず、まずは、オブジェクト抽出部４０４で抽出されたオブジェクトを特徴と判定し、特徴部分のエリア情報を画像処理部４０６に出力する。また、特徴判定部４０５は、所定の期間、オブジェクトの信頼度が所定の閾値未満の状態が続いているもの、及びオブジェクトの信頼度が所定の閾値以上の状態が続いており、プライバシー性が低い場合には、特徴ではないと再度判定する。そして、画像処理部４０６にエリア情報として出力する対象から除外する。画像処理部４０６は、特徴判定部４０５が特徴と判定したオブジェクトに対して特徴部分にモザイク等のエフェクト処理を施し、画像データを出力する。
【００４６】
図８は、本実施形態に係るエフェクト処理の動作手順の一例を示すフローチャートである。また、図９は、本実施形態に係るエフェクト処理の概要の一例を示す図である。
まず、ステップＳ８００において、復号化部４０１は、エントロピー復号化、逆量子化、逆直交変換等の処理を行い、符号化データを復号化する。
【００４７】
次に、ステップＳ８０１において、オブジェクト抽出部４０４は、復号化部４０１によって復号化された画像データにおいて、フレームインしたオブジェクトが存在するか否かを判定する。フレームインしたオブジェクトを検出する際には、前述したように、例えば、輝度信号の差分値から判断して抽出する。この判定の結果、フレームインしたオブジェクトが存在する場合は、ステップＳ８０２に進む。一方、ステップＳ８０１の判断の結果、フレームインしたオブジェクトが存在しない場合は、処理を終了する。
【００４８】
次に、ステップＳ８０２において、特徴判定部４０５は、抽出したオブジェクトに対して、種類及び信頼度によらず特徴であると判定する。そして、ステップＳ８０３において、特徴判定部４０５は、メモリ１０３に保持されている過去の画像データ（フレーム）を参照してオブジェクトの種類及び信頼度を監視する。そして、プライバシー性が低い種類であって、信頼度が閾値より高い状態が続いているオブジェクト、及びプライバシー性によらず信頼度が閾値より低い状態が続いているオブジェクトを特徴から除外する。そして、特徴部分のエリア情報を画像処理部４０６に出力する。
【００４９】
次に、ステップＳ８０４において、画像処理部４０６は、特徴であるオブジェクトに対してモザイク等のエフェクト処理を行い、処理を終了する。ここで、ステップＳ８０３で特徴から除外されたオブジェクトについては、モザイク等のエフェクト処理を行わないようにする。
【００５０】
以上説明したように、フレームインしたオブジェクトに対してプライバシー性が正確に判断できるまでモザイク等のエフェクト処理を施す。例えば、図９に示すように、フレーム（３）では、プライバシー性が低い動物であることが正確に判断できるようになった段階で特徴から除外している。これにより、プライバシー情報を確実に保護するとともに、手軽に動画をウェブサーバー等の共有領域にアップロードすることが可能となる。
【００５１】
（第４の実施形態）
以下、本発明の第４の実施形態について、図１０を参照しながら説明する。
図１０は、本実施形態に係る画像処理装置１０００の構成例を示すブロック図である。
図１０において、レンズ１１０は、被写体像を入光するためのものであり、撮像素子１１１は、レンズ１１０から入光した被写体像を光電変換するためのものである。
【００５２】
カメラ信号処理部１１２は、撮像素子１１１からの出力信号をマトリクス処理することによって輝度信号及び色差信号を生成し、ガンマ処理、Ａ／Ｄ変換などの処理を施して、映像信号を符号化部１１４に出力する。また、カメラ信号処理部１１２は、信号処理の際に用いるフォーカス情報、ゲインアップ情報、撮影モード（風景モード／人物モード／夜景モード等のデジタルビデオカメラに搭載されている撮影モード）等の撮像情報（カメラ情報）を符号化部１１４に出力する。
【００５３】
オブジェクト抽出部１１３は、オブジェクトデータベース１２１を有しており、カメラ信号処理部１１２で処理された映像信号に対して、オブジェクトデータベース１２１に登録されているデータとのマッチングを行う。そして、オブジェクトを抽出し、抽出したオブジェクトの種類及び信頼度の情報を符号化部１１４に出力する。また、オブジェクト抽出部１１３は、データとのマッチング以外にも肌色等の色情報と同系統の色の大きさからオブジェクトを抽出し、抽出したオブジェクトの種類及び信頼度のオブジェクト情報を符号化部１１４に出力する。
【００５４】
符号化部１１４は、カメラ信号処理部１１２から出力される映像信号を、動き補償、直交変換、量子化、エントロピー符号化等の処理を行い、メモリ制御部１１５を介してＳＤカード等の記録媒体１１７に記録する。また、符号化部１１４は、オブジェクト抽出部１１３から入力されたオブジェクト情報とカメラ信号処理部１１２から入力されたカメラ情報とをアンシラリデータとして、同時に符号化する。
【００５５】
メモリ制御部１１５は、各ブロックからのメモリ１１６へのアクセスを優先順位等に応じて調停、制御する。メモリ１１６は、符号化部１１４が符号化及び記録する際に一時的に記憶する領域、及び復号化部１１８が復号化を行う際の一時的に記憶する領域として使用される。さらにメモリ１１６は、画像処理部１２０が画像処理を行う際の記憶領域としても使用される。
【００５６】
復号化部１１８は、記録媒体１１７に記録された符号化データを、メモリ１１６を介して読み出し、エントロピー復号化、逆量子化、逆直交変換等の処理を行って符号化データを復号化する。そして、復号化した画像データをメモリ１１６に出力する。また、復号化部１１８は、符号化データを復号化した際に得られたオブジェクト情報及びカメラ情報からなるアンシラリデータを特徴判定部１１９に出力する。
【００５７】
特徴判定部１１９は、オブジェクト情報から、第１の実施形態と同様の方法により特徴を判定し、特徴部分のエリア情報を画像処理部１２０へ出力する。なお、第１の実施形態ではなく、第２又は第３の実施形態と同様の方法により特徴を判定してもよい。
【００５８】
本実施形態では、特徴判定部１１９に入力されるカメラ情報は信頼度を算出するために使用される。フォーカス情報は、フォーカスがあっていない領域に対しては通常と同じ信頼度のオブジェクトであっても、信頼度が小さいと判断して信頼度から一定値減算する。撮影モードは、人物モードである場合に、通常と同じ信頼度でも、信頼が高いと判断して信頼度から一定値加算する。
【００５９】
画像処理部１２０は、特徴判定部１１９が特徴と判定したオブジェクトに対して特徴部分にモザイク等のエフェクト処理を施し、画像データを出力する。
【００６０】
以上説明したように、映像信号を記録する時にプライバシーに関する情報を映像信号とともに記録することにより、再生時にプライバシーを確実に保護するとともに、手軽に動画をウェブサーバー等の共有領域にアップロードすることができる。また、本実施形態では、復号化時にモザイク等のエフェクト処理を施す方法を説明したが、符号化時に特徴判定部１１９を用いて特徴部分を同時に符号化してしまい、復号化時にモザイク等のエフェクト処理を施す構成にしてもよい。。
【００６１】
（本発明に係る他の実施形態）
前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【００６２】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００６３】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図２、図５及び図８に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００６４】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００６５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００６６】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００６７】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
【００６８】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザーに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００６９】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザーに配布し、所定の条件をクリアしたユーザーに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００７０】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００７１】
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【符号の説明】
【００７２】
１０４  オブジェクト抽出部、１０５  特徴判定部、１０６  画像処理部
【図１】
2010268055.tif 000003
【図２】
2010268055.tif 000004
【図３】
2010268055.tif 000005
【図４】
2010268055.tif 000006
【図５】
2010268055.tif 000007
【図６】
2010268055.tif 000008
【図７】
2010268055.tif 000009
【図８】
2010268055.tif 000010
【図９】
2010268055.tif 000011
【図１０】
2010268055.tif 000012