(57)【特許請求の範囲】
【請求項１】
記憶した複数の基準パターンと、多様な画像の集合体である学習用画像中から抽象的な所定の範疇に属する画像であるか否かの判定に寄与するものを部品化した状態で自動的に切り出して抽出した幾何的な形状のオブジェクトパターンとを形状に関して回転角度の要素を除外して比較して、前記基準パターンと特定のオブジェクトパターンとの関連性を数値化した値が所定以上になった場合に、当該特定のオブジェクトパターンを前記複数の基準パターンの内容に追加する工程と、
検査画像中からオブジェクトパターンを抽出する工程と、
前記検査画像中から抽出したオブジェクトパターンと前記基準パターンとを比較する工程と、
前記検査画像中から抽出したオブジェクトパターンと前記基準パターンとの関連性を数値化した値が所定以上であるものが存在する場合に、前記検査画像が所定の範疇に属する画像であると判定する工程と
を備える画像認識方法であって、
自動的な切り出しによって抽出された前記幾何的な形状のオブジェクトパターンのうち、所定のオブジェクトパターンを、前記基準パターンとの比較の前に除去し、
自動的な切り出しによって抽出された前記幾何的な形状のオブジェクトパターンのうち、除去されないで残ったオブジェクトパターンのランキングを行い、当該ランキングの結果に基づきランキング上位と判定されたオブジェクトパターンを、前記基準テンプレートのうち順位の下のものと入れ替え可能とし、入れ替えた場合に、新たな前記基準テンプレートとして保存することを特徴とする画像認識方法。
【請求項２】
前記複数の基準パターンと前記特定のオブジェクトパターンとの関連性を数値化した値を、色及び形状を含むパラメータの重み付けによって定めることを特徴とする請求項１に記載の画像認識方法。
【請求項３】
記憶した複数の基準パターンと、多様な画像の集合体である学習用画像中から抽象的な所定の範疇に属する画像であるか否かの判定に寄与するものを部品化した状態で自動的に切り出して抽出した幾何的な形状のオブジェクトパターンとを形状に関して回転角度の要素を除外して比較して、前記基準パターンと特定のオブジェクトパターンとの関連性を数値化した値が所定以上になった場合に、当該特定のオブジェクトパターンを前記複数の基準パターンの内容に追加する手段と、
検査画像中からオブジェクトパターンを抽出する手段と、
前記検査画像中から抽出したオブジェクトパターンと前記基準パターンとを比較する手段と、
前記検査画像中から抽出したオブジェクトパターンと前記基準パターンとの関連性を数値化した値が所定以上であるものが存在する場合に、前記検査画像が所定の範疇に属する画像であると判定する手段と
を備える画像認識装置であって、
自動的な切り出しによって抽出された前記幾何的な形状のオブジェクトパターンのうち、所定のオブジェクトパターンを、前記基準パターンとの比較の前に除去し、
自動的な切り出しによって抽出された前記幾何的な形状のオブジェクトパターンのうち、除去されないで残ったオブジェクトパターンのランキングを行い、当該ランキングの結果に基づきランキング上位と判定されたオブジェクトパターンを、前記基準テンプレートのうち順位の下のものと入れ替え可能とし、入れ替えた場合に、新たな前記基準テンプレートとして保存することを特徴とする画像認識装置。
【請求項４】
コンピュータを、
記憶した複数の基準パターンと、多様な画像の集合体である学習用画像中から抽象的な所定の範疇に属する画像であるか否かの判定に寄与するものを部品化した状態で自動的に切り出して抽出した幾何的な形状のオブジェクトパターンとを形状に関して回転角度の要素を除外して比較して、前記基準パターンと特定のオブジェクトパターンとの関連性を数値化した値が所定以上になった場合に、当該特定のオブジェクトパターンを前記複数の基準パターンの内容に追加する手段と、
検査画像中からオブジェクトパターンを抽出する手段と、
前記検査画像中から抽出したオブジェクトパターンと前記基準パターンとを比較する手段と、
前記検査画像中から抽出したオブジェクトパターンと前記基準パターンとの関連性を数値化した値が所定以上であるものが存在する場合に、前記検査画像が所定の範疇に属する画像であると判定する手段
として機能させるためのコンピュータプログラムであって、
自動的な切り出しによって抽出された前記幾何的な形状のオブジェクトパターンのうち、所定のオブジェクトパターンを、前記基準パターンとの比較の前に除去し、
自動的な切り出しによって抽出された前記幾何的な形状のオブジェクトパターンのうち、除去されないで残ったオブジェクトパターンのランキングを行い、当該ランキングの結果に基づきランキング上位と判定されたオブジェクトパターンを、前記基準テンプレートのうち順位の下のものと入れ替え可能とし、入れ替えた場合に、新たな前記基準テンプレートとして保存することを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、特定の範疇に属する写真等の画像を検出するための画像認識方法及び装置、並びにこれらを実現するためのプログラムに関する。
【０００２】
【従来の技術】
特開平１１−２５２７１号公報には、写真から画像内オブジェクトを抽出するための方法が開示されている。この方法では、階調の連続性を利用して徐々に階調エッジ画像を拡大して画像内オブジェクトを得ている。この方法を利用すれば、特定の画像に類似する画像を自動的に検索することができる。つまり、写真画像等からある程度意味のあるオブジェクトを適宜抽出することができ、多数の写真画像等中から目的とする特定画像（キー画像）に類似する画像を自動的検索することもできる。
【０００３】
【発明が解決しようとする課題】
しかし、上記公報に開示の方法では、例えば猥褻画像のように特定カテゴリに属する画像を的確に検出することができない。すなわち、カテゴリは、抽象的であいまいな概念的広がりを有するものであり、特定カテゴリに属するか否かの基準も必ずしも明確にできない場合が多くその基準も時代とともに推移する可能性があることから、ある画像が特定カテゴリに属するか否かを自動的に適切に判定することはできていない。また、判定の対象が生物等の画像である場合、その姿勢の変化、背景物体の種類・有無など画像に多様性が不可避的に存在するが、このような多様性に対応できる体系的なカテゴリ判定法がまだ存在しない。
【０００４】
そこで、本発明は、特定カテゴリに属するオブジェクトを自動的に抽出することができる画像認識方法等を提供することを目的とする。
【０００５】
また、本発明は、特定カテゴリに属する画像を自動的に検出することができる画像認識方法等を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、本発明の画像認識方法は、記憶した複数の基準パターンと、多様な画像の集合体である学習用画像中から抽象的な所定の範疇に属する画像であるか否かの判定に寄与するものを部品化した状態で自動的に切り出して抽出した幾何的な形状のオブジェクトパターンとを形状に関して回転角度の要素を除外して比較して、例えば前記基準パターンと特定のオブジェクトパターンとの関連性を数値化した値が所定以上になった場合に当該特定のオブジェクトパターンを前記複数の基準パターンの内容に追加する工程と、検査画像中からオブジェクトパターンを抽出する工程と、前記検査画像中から抽出したオブジェクトパターンと前記基準パターンとを比較する工程と、前記検査画像中から抽出したオブジェクトパターンと前記基準パターンとの関連性を数値化した値が所定以上であるものが存在する場合に、前記検査画像が所定の範疇に属する画像であると判定する工程とを備える画像認識方法であって、自動的な切り出しによって抽出された前記幾何的な形状のオブジェクトパターンのうち、所定のオブジェクトパターンを、前記基準パターンとの比較の前に除去し、自動的な切り出しによって抽出された前記幾何的な形状のオブジェクトパターンのうち、除去されないで残ったオブジェクトパターンのランキングを行い、当該ランキングの結果に基づきランキング上位と判定されたオブジェクトパターンを、前記基準テンプレートのうち順位の下のものと入れ替え可能とし、入れ替えた場合に、新たな前記基準テンプレートとして保存する。
【０００７】
上記方法では、前記基準パターンと特定のオブジェクトパターンとの関連性が所定以上になった場合に、当該特定のオブジェクトパターンを前記複数の基準パターンの内容に追加するので、複数の基準パターンを適切なものに更新しつつ検査画像中から抽出したオブジェクトパターンとの関連性を判定することができる。よって、抽象的であいまいな特定カテゴリに属するオブジェクト等を高い確度で自動的に検出することができる。なお、ここでオブジェクトパターンについて「追加」とは、基準パターンにオブジェクトパターンを追加して基準パターンを増やすことのほか、基準パターンのいずれかを追加のオブジェクトパターンと置換することを含む。
【０００８】
上記方法の具体的な態様では、前記検査画像中から抽出したオブジェクトパターンと前記基準パターンとの関連性が所定以上になった場合に、前記検査画像が所定の範疇に属する画像であると判定する工程をさらに備える。この場合、多数の画像から猥褻画像等の所定の範疇に属する画像をある程度の確度で自動的に検出することができる。
【０００９】
上記方法の別の具体的な態様では、例えば前記基準パターンと特定のオブジェクトパターンとの関連性が所定以上になった場合において、さらに前記学習用画像が前記所定の範疇に属する典型画像であると判断された場合に、当該特定のオブジェクトパターンを前記複数の基準パターンの内容に追加する。この場合、典型画像を利用して、上述の複数の基準パターンをより適切なものに更新することができる。
【００１０】
上記方法の別の具体的な態様では、前記所定の範疇に属する追加画像中から抽出したオブジェクトパターンが前記所定の範疇に属する原因となると判断された場合に、前記追加画像中から抽出したオブジェクトパターンを前記複数の基準パターンの内容に追加する工程をさらに備える。この場合、典型画像中の重要なオブジェクトパターンを選択することができ、上述の複数の基準パターンをより適切なものに更新することができる。
【００１１】
上記方法の別の具体的な態様では、前記検査画像中から抽出したオブジェクトパターンと前記基準パターンとの類似性が所定以上になった場合に、前記検査画像中から抽出したオブジェクトパターンを保存する工程をさらに備える。この場合、多数の画像から肖像等の所定の範疇に属するオブジェクトパターンをある程度の確度で自動的に保存することができる。
【００１２】
上記方法の別の具体的な態様では、前記検査画像中から抽出した複数のオブジェクトパターン間の相対的な配置関係を要素として、前記類似性を判断する。この場合、肖像等の所定の範疇に属するオブジェクトパターンをより高い確度で認識することができる。
【００１３】
本発明の画像認識装置は、記憶した複数の基準パターンと、多様な画像の集合体である学習用画像中から抽象的な所定の範疇に属する画像であるか否かの判定に寄与するものを部品化した状態で自動的に切り出して抽出した幾何的な形状のオブジェクトパターンとを形状に関して回転角度の要素を除外して比較して、前記基準パターンと特定のオブジェクトパターンとの関連性を数値化した値が所定以上になった場合に、当該特定のオブジェクトパターンを前記複数の基準パターンの内容に追加する手段と、検査画像中からオブジェクトパターンを抽出する手段と、前記検査画像中から抽出したオブジェクトパターンと前記基準パターンとを比較する手段と、前記検査画像中から抽出したオブジェクトパターンと前記基準パターンとの関連性を数値化した値が所定以上であるものが存在する場合に、前記検査画像が所定の範疇に属する画像であると判定する手段とを備える画像認識装置であって、自動的な切り出しによって抽出された前記幾何的な形状のオブジェクトパターンのうち、所定のオブジェクトパターンを、前記基準パターンとの比較の前に除去し、自動的な切り出しによって抽出された前記幾何的な形状のオブジェクトパターンのうち、除去されないで残ったオブジェクトパターンのランキングを行い、当該ランキングの結果に基づきランキング上位と判定されたオブジェクトパターンを、前記基準テンプレートのうち順位の下のものと入れ替え可能とし、入れ替えた場合に、新たな前記基準テンプレートとして保存する。
【００１４】
上記装置では、前記基準パターンと特定のオブジェクトパターンとの関連性が所定以上になった場合に、当該特定のオブジェクトパターンを前記複数の基準パターンの内容に追加するので、複数の基準パターンを適切なものに更新しつつ検査画像中から抽出したオブジェクトパターンとの関連性を判定することができる。よって、抽象的であいまいな特定カテゴリに属するオブジェクト等を高い確度で自動的に検出することができる。
【００１５】
本発明のコンピュータプログラムは、コンピュータを、記憶した複数の基準パターンと多様な画像の集合体である学習用画像中から抽象的な所定の範疇に属する画像であるか否かの判定に寄与するものを部品化した状態で自動的に切り出して抽出した幾何的な形状のオブジェクトパターンとを形状に関して回転角度の要素を除外して比較して、前記基準パターンと特定のオブジェクトパターンとの関連性を数値化した値が所定以上になった場合に、当該特定のオブジェクトパターンを前記複数の基準パターンの内容に追加する手段と、検査画像中からオブジェクトパターンを抽出する手段と、前記検査画像中から抽出したオブジェクトパターンと前記基準パターンとを比較する手段と、前記検査画像中から抽出したオブジェクトパターンと前記基準パターンとの関連性を数値化した値が所定以上であるものが存在する場合に、前記検査画像が所定の範疇に属する画像であると判定する手段として機能させるためのコンピュータプログラムであって、自動的な切り出しによって抽出された前記幾何的な形状のオブジェクトパターンのうち、所定のオブジェクトパターンを、前記基準パターンとの比較の前に除去し、自動的な切り出しによって抽出された前記幾何的な形状のオブジェクトパターンのうち、除去されないで残ったオブジェクトパターンのランキングを行い、当該ランキングの結果に基づきランキング上位と判定されたオブジェクトパターンを、前記基準テンプレートのうち順位の下のものと入れ替え可能とし、入れ替えた場合に、新たな前記基準テンプレートとして保存する。
【００１６】
上記コンピュータプログラムを組み込んだコンピュータでは、前記基準パターンと特定のオブジェクトパターンとの関連性が所定以上になった場合に、当該特定のオブジェクトパターンを前記複数の基準パターンの内容に追加するので、複数の基準パターンを適切なものに更新しつつ検査画像中から抽出したオブジェクトパターンとの関連性を判定することができる。よって、抽象的であいまいな特定カテゴリに属するオブジェクト等を高い確度で自動的に検出することができる。
【００１７】
【発明の実施の形態】
〔第１実施形態〕
図１は、第１実施形態に係る画像認識装置及び方法を実現するためのネットワークシステムの全体構造を示す。
【００１８】
このネットワークシステムは、通信ネットワークであるインターネットＩＮと、このインターネットＩＮに接続されて画像を含む各種情報を送信する多数のＷＥＢサーバＮＳと、多数のＷＥＢサーバＮＳが提供する画像情報を自動的に監視することができる監視システムＭＳとからなる。
【００１９】
ＷＥＢサーバＮＳは、インターネットＩＮに直接的若しくは間接的に接続するための通信装置を備えたコンピュータシステムであり、インターネットＩＮを介して各種ホームページを公開している。なお、ＷＥＢサーバＮＳが提供するホームページには、各種カテゴリに属する画像が含まれている。
【００２０】
監視システムＭＳも、インターネットＩＮに直接的若しくは間接的に接続するための通信装置を備えたコンピュータシステムであり、多数のＷＥＢサーバＮＳが提供するホームページにアクセス可能になっている。なお、この監視システムＭＳは、多数のＷＥＢサーバＮＳが提供するホームページ中に例えば猥褻画像が含まれているか否かを自動的に監視するための画像検出装置すなわち画像認識装置である。
【００２１】
図２は、図１に示す監視システムＭＳの構造を概念的に説明するブロック図である。図示の監視システムＭＳは、一般的なコンピュータと同様に、ＣＰＵ２１、入力装置２２、表示装置２３、記憶装置２４、及び通信制御装置２５を備えている。
【００２２】
ＣＰＵ２１は、バス１００を介して、表示装置２３、記憶装置２４や通信制御装置２５との間で相互にデータの授受が可能になっている。また、ＣＰＵ２１は、入力装置２２からの指示に基づいて、記憶装置２４や通信制御装置２５から所定のプログラムやデータを読み出し、これらプログラム及びデータに基づく各種処理を実行する。
【００２３】
具体的に説明すると、ＣＰＵ２１は、事前学習プログラムにおいて、入力装置２２からの指示に基づいて、入力装置２２、記憶装置２４等を介して入力された学習用画像中から適宜抽出したオブジェクトパターンを基準パターンである基準テンプレートに追加して、基準テンプレートの適正化を図ることができる。また、ＣＰＵ２１は、ホームページ監視プログラムにおいて、入力装置２２からの指示に基づいて、通信制御装置２５を介して入手したホームページデータに含まれる画像中から適宜オブジェクトパターンを抽出し、このオブジェクトパターンと学習によって更新した基準テンプレートとを比較して画像の猥褻性を自動判定する。
【００２４】
入力装置２２は、キーボード等から構成され、表示装置２３を利用したＧＩＵ操作により、監視システムＭＳを操作するオペレータの意思を反映した指令信号をＣＰＵ２１に出力する。
【００２５】
表示装置２３は、ＣＰＵ２１から入力されるデータに基づいて駆動信号を生成する表示駆動回路と、表示駆動回路から入力される駆動信号に基づいて必要な表示を行うＣＲＴ等により構成され、ＣＰＵ２１からの指令信号に基づいて必要な表示を行う。
【００２６】
記憶装置２４は、監視システムＭＳを動作させる基本プログラム等を複数記憶しているＲＯＭと、アプリケーションプログラム、入力指示、入力データ、処理結果等を一時格納するワークメモリ等のＲＡＭとを備える。さらに、記憶装置２４は、磁気的、或いは光学的な手法によってアプリケーションプログラムやデータを保持することができる記録媒体を駆動するためのドライブを備えており、駆動される記録媒体は、記憶装置２４に固定的に設けたもの、若しくは着脱自在に装着するものとできる。なお、上記アプリケーションプログラムには、事前学習プログラム、ホームページ監視プログラムが含まれ、上記データには、各種画像を含むデータベース等が含まれる。
【００２７】
通信制御装置２５は、ＬＡＮアダプタ等によって構成され、図示を省略するファイヤ・ウォールを介して、インターネットＩＮとの間においてＴＣＰ/ＩＰプロトコルによる通信を可能にしている。
【００２８】
以下、図１に示す監視システムＭＳの主要な動作について説明する。図３は、事前の学習を説明するフローチャートであり、図４〜図６は、図３のフローチャートをさらに具体的に説明するフローチャートである。
【００２９】
監視システムＭＳでは、まず、ＣＰＵ２１が、入力装置２２からの指示に基づいて、記憶装置２４に記憶したデータから初期テンプレートを準備する（ステップＳ２）。初期テンプレートは、ユーザの判断を必要としない固定的なものであり、典型的な猥褻オブジェクトを初期テンプレートとすることができる。具体的には、猥褻画像を構成すると考えられる胸、股、尻等の人体各部の部分画像を予め初期テンプレートとして記憶装置２４に保存しておくことで初期テンプレートとしている。なお、初期テンプレートをユーザ側で準備することもできる。この場合、予め猥褻画像を準備し、この猥褻画像からオブジェクトを切り出し、これを初期画像とする。
【００３０】
次に、ＣＰＵ２１は、入力装置２２からの指示に基づいて、記憶装置２４や通信制御装置２５を介して典型的な猥褻画像を含む複数の学習用サンプル画像を取り込む（ステップＳ４）。なお、取り込まれる複数の学習用サンプル画像は、一般的な猥褻画像のみを含むものではなく、一般的には猥褻と認められないような画像まで含む多様な画像の集合体を構成する。
【００３１】
次に、ＣＰＵ２１は、各学習用サンプル画像から自動的に猥褻なオブジェクトを切り出すとともに、この猥褻オブジェクトをユーザ判断を取り入れつつ当初記憶している初期テンプレートに追加して記憶装置２４に保存することにより、テンプレートの修正を行う（ステップＳ６）。このように、初期テンプレートを多様な学習用サンプル画像とユーザ判断とを利用して修正することで、国や地域、時代の変遷に適合する基準テンプレートすなわち基準パターンを得ることができる。すなわち、以上の工程により、ユーザ側の基準で猥褻と認める画像を検出するための基本的な基準テンプレート(猥褻画像に寄与するものを部品化した画像データ）を学習・準備することができる。
【００３２】
なお、上記ステップＳ４、Ｓ６は、複数回繰返すことができる。これにより、基準テンプレートを複数回更新することができ、よりユーザの判断に近い判定を可能にする基準テンプレートを得ることができる。
【００３３】
また、上記ステップＳ４で、取り込まれる複数の学習用サンプル画像を一般的な猥褻画像のみを含むものとしておくこともできる。この場合、基準テンプレートを猥褻画像に関係するものに精度良く限定することができる。その一方、ユーザの判断が学習用サンプル画像の範囲や傾向の影響を受ける場合が生じやすくなるという問題もある。この解決策としては、学習用サンプル画像の数を増やし、基準テンプレートの数を増やすことが考えられる。
【００３４】
図４は、図３のステップＳ６におけるテンプレートの修正処理を説明するフローチャートである。まず、ＣＰＵ２１は、記憶装置２４等から学習用サンプル画像のうち未評価の任意の特定画像を読み出す（ステップＳ６１）。
【００３５】
次に、ＣＰＵ２１は、図３のステップＳ２で得た初期テンプレートを利用して、ステップＳ６１で読み出した特定画像の猥褻度を判定する（ステップＳ６２）。後に詳細に説明するが、猥褻度の判定にあたっては、対象となる特定画像からオブジェクトを自動的に切り出し、切り出したオブジェクトと初期テンプレートとの相関性すなわち関連性を数値化した猥褻度を出力する。
【００３６】
次に、ＣＰＵ２１は、すべての学習用サンプル画像について猥褻度を判定したか否かを判断し（ステップＳ６３）、すべての学習用サンプル画像について猥褻度評価が終了するまで、ステップＳ６１、Ｓ６２を繰り返す。
【００３７】
次に、ＣＰＵ２１は、各学習用サンプル画像について得た猥褻度にもとづいて、一群の学習用サンプル画像について猥褻度のランキングを行い、表示装置２３にランキング結果を表示させる（ステップＳ６４）。
【００３８】
次に、ＣＰＵ２１は、各学習用サンプル画像の猥褻度ランキングに際して得られたワースト・オブジクトのリストを作成し、表示装置２３にそのリストや対応オブジェクトを表示させる（ステップＳ６５）。
【００３９】
その後、ＣＰＵ２１は、ランキング上位と判定された猥褻画像に対応するワースト・オブジェクトを、初期テンプレートを構成するオブジェクトと入れ替え、基準テンプレートとして記憶装置２４に保存する（ステップＳ６６）。例えば、初期テンプレートが１０であり、ワースト・オブジェクトを５つ追加する場合、初期テンプレートは残り５つとなる。なお、初期テンプレートには順位が付してあり、ワースト・オブジェクトの追加に際して削除される初期テンプレートは順位の下のものとなっている。
【００４０】
次に、ＣＰＵ２１は、表示装置２３を介して、ユーザに対しランキングと関係なく全学習用サンプル画像から特に猥褻と認めるものを適宜選択させる（ステップＳ６７）。具体的には、入力装置２２及び表示装置２３を利用して、ユーザが、ランキング表示された学習用サンプル画像から自己の判断で猥褻と考えるものを例えば上位５つ選択する。
【００４１】
ユーザがステップＳ６７で猥褻画像を選択した場合、ＣＰＵ２１は、選択された猥褻画像に対応するオブジェクトを基本テンプレートを構成するオブジェクトに追加或いは入れ替えて、基準テンプレートとして記憶装置２４に再保存する（ステップＳ６８）。例えば、ステップＳ６６で初期テンプレートを更新した基準プレートが１０であれば、このステップＳ６８で猥褻画像を構成するオブジェクトを５つ追加することになる。
【００４２】
ユーザがステップＳ６７で猥褻画像を選択しなかった場合、ＣＰＵ２１は、ステップＳ６６で得た基準テンプレートをそのまま最終的な基準テンプレートとして保存し、処理を終了する。
【００４３】
図５は、図４のステップＳ６２における猥褻度判定の処理を説明するフローチャートである。まず、ＣＰＵ２１は、判定の対象となる特定画像からオブジェクトを自動的に切り出す（ステップＳ６２１）。オブジェクトの切出に際しては、公知の各種技術を用いることができる。例えば、「従来技術」の欄で引用した公報に開示のように、対象画像を階調化したエッジ画像を取り出し、階調の低いエッジ画像から連続的に階調が増加する領域を拡大統合することによってオブジェクトを切り出すことができる。
【００４４】
次に、ＣＰＵ２１は、ステップＳ６２１で得たオブジェクトから無意味なオブジェクトを除去する（ステップＳ６２２）。具体的には、小さなオブジェクトや背景を構成すると考えられるオブジェクトが、検出された一群のオブジェクトから除去される。例えば、オブジェクトの専有面積比が所定のしきい値以下の場合や、専有面積比が所定のしきい値以上であっても画像の隅部分に偏って検出されたオブジェクトは、微小オブジェクトや背景オブジェクトと判断され、処理速度向上のために判定に利用しない。
【００４５】
次に、ＣＰＵ２１は、ステップＳ６２２で残った各オブジェクトに付いて、オブジェクト特性を計算する（ステップＳ６２３）。このオブジェクト特性は、色、形状、テクスチャ、サイズ等の各種パラメータからなる多次元ベクトルとして表現される。なお、形状に関しては、回転角度を要素として含まないものとすることができる。これにより、男性や女性の肉体の一部である対象物の姿勢等の要素がオブジェクト特性に含まれないようにすることができる。
【００４６】
次に、ＣＰＵ２１は、ステップＳ６２３で特性を算出した各オブジェクトについて、全基準テンプレートとの相関をとりつつ類似性の総合評価を行うことにより、画像全体としての猥褻度を計算する（ステップＳ６２４）。
【００４７】
図６は、図５のステップＳ６２４における猥褻度判定の処理を説明するフローチャートである。まず、ＣＰＵ２１は、オブジェクト特性を算出した特定オブジェクトについて相関度を算出する（ステップＳ６２４ａ）。具体的には、この特定オブジェクトの特性と特定の基準テンプレートの特性との差を各パラメータの重み付けを考慮して線形的或いは非線形的に求め、相関度すなわち類似性を総合的に評価する。なお、基準テンプレートのオブジェクト特性は、ステップＳ６２３で説明したと同様の手法によって予め計算されている。
【００４８】
次に、ＣＰＵ２１は、ステップＳ６２４ａで計算の対象となった特定オブジェクトについて、すべての基準テンプレートとの間で相関度の計算が終了したか否かを判断する（ステップＳ６２４ｂ）。
【００４９】
ステップＳ６２４ｂで全ての基準テンプレートについての相関度計算が終了していないと判断された場合、ステップＳ６２４ａの相関度計算を、残った基準テンプレートについて順次繰返す。
【００５０】
ステップＳ６２４ｂで全ての基準テンプレートについての相関度計算が終了していると判断された場合、ＣＰＵ２１は、判定対象の画像から切り出して得た全ての対象オブジェクトについて、相関度の計算が終了したか否かを判断する（ステップＳ６２４ｃ）。
【００５１】
ステップＳ６２４ｂで全ての対象オブジェクトについての相関度計算が終了していないと判断された場合、ステップＳ６２４ａの相関度計算を、残った対象オブジェクトについて順次繰返す。
【００５２】
ステップＳ６２４ｂで全ての対象オブジェクトについての相関度計算が終了していると判断された場合、ＣＰＵ２１は、各対象オブジェクト毎に得た基準オブジェクトに対する相関度を、サイズや配置を考慮して線形的或いは非線形的にさらに加算することにより、関連性に関する平均的指数すなわち特定画像全体としての猥褻性の程度を示す猥褻度を得る（ステップＳ６２４ｄ）。なお、非線形的な処理では、高い相関度のものが存在すれば、単なる加算よりも高い猥褻度を示し、低い相関度のものが存在すれば、単なる加算よりも低い猥褻度を示すような処理、例えば相関度の数値を３乗や４乗した値を加算するような評価を行うことができる。
【００５３】
図７は、ＷＥＢサイトの監視を説明するフローチャートである。まず、ＣＰＵ２１は、通信制御装置２５を介して適当なＷＥＢサイトに自動的に接続する（ステップＳ１１）。
【００５４】
次に、ＣＰＵ２１は、通信制御装置２５を介して上記ＷＥＢサイトのホームページの画像データ（すなわち検査画像）をダウンロードし、画像ファイルを記憶装置２４に保存する（ステップＳ１２）。画像ファイルは、ＷＥＢサイト単位で収集することができ、ある既定数のホームページの画像データを一括して収集することもできる。例えば、特定のＷＥＢサイトに関してルートディレクトリを定め、それ以下からjpg、gif等のイメージファイルのフルパスを記録したイメージファイルの一覧表を作成し、記憶装置２４に設けた特定ディレクトリに統一したファイル形式で格納することができる。
【００５５】
次に、ＣＰＵ２１は、図３のステップＳ６で得た基準テンプレートを利用して、画像ファイルについて猥褻度を判定する（ステップＳ１３）。猥褻度の判定は、図５に示すものとほぼ同様であるが、単一ではなく多数の画像ファイルについて同様の処理で猥褻度を判定する点が異なる。
【００５６】
次に、ＣＰＵ２１は、これら画像ファイル中に猥褻画像が存在するか否かを判断する（ステップＳ１４）。具体的には、各画像ファイルに関する猥褻度があるしきい値を超えたか否かを判断し、いずれかの画像ファイルで猥褻度が所定のしきい値を超えていれば、猥褻画像が存在すると判断する。
【００５７】
ステップＳ１４で猥褻画像を検出したと判断した場合、ＣＰＵ２１は、表示装置２３に猥褻画像の検出を警告表示する（ステップＳ１５）。この際、ＣＰＵ２１は、検出した猥褻画像をサムネールやファイルリストとして、ＷＥＢサイトのアドレス等とともに表示装置２３に表示させることができ、これらの表示情報を記憶装置２４に保存する。この結果は、例えば離れた場所で別のコンピュータシステムを操作する管理者にメール等の手段を利用して自動的に通報される。
【００５８】
次に、ＣＰＵ２１は、監視対象のＷＥＢサイトの全てについて猥褻度判定が終了したか否かを判断し、全ての対象ＷＥＢサイトについて猥褻度判定が終了していないと判断した場合、ステップＳ１１〜Ｓ１５の処理を繰返す。
【００５９】
以上により、監視対象のＷＥＢサイトに猥褻な画像が含まれるか否かを自動的に監視することができる。この際、本実施形態の方法によれば、猥褻画像を構成する対象の姿勢や背景の影響がキャンセルされ、高い検出精度を得ることができる。
【００６０】
現在まで、インターネット上で公開されている画像が猥褻画像であるかどうかは、人間の肉眼によって判断されている。これは、大変な労力のかかる作業であり、日々に変わるインターネットのコンテンツのチェックには限界がある。安心してネットサーフィンしたいユーザーのために、健全なサービスの提供を目指すインターネットコンテンツ業者にとって、肉眼作業以外の手段で猥褻画像を自動的に検出できる技術の開発が急務になって来ている。最近では、未成年のユーザーを含む一般コンシューマ向けにＩＰＳ(インターネット・プロバイダー・サービス)を提供する事業業者にとって、猥褻画像に対するチェックが義務つけられている。本実施形態の監視システムＭＳは、従来の肉眼による識別方法に代わるものであり、コンピュータによるＷＥＢサイト上における猥褻画像の自動検出が可能になる。すなわち、本監視システムＭＳは、従来の人間の肉眼による判断しかできなかった猥褻画像の識別を、コンピュータによる自動検出、自動認識として実現することができる。これにより、大変な労力とコストを削減でき、インターネットコンテンツの管理、監視の自動化に大きく貢献することができる。また、画像コンテンツの管理、監視の自動化により、一層合理的で低コスト、柔軟性を持つシステムが構築できる。さらに、ＩＰＳ業者にとっては、猥褻画像の放任による行政指導や営業停止の処分を受ける可能性も一段少なくなるという利益が生じる。
【００６１】
図８は、図３〜図７に示す動作におけるデータの流れを視覚的に説明する図であり、図８（ａ）は、監視システムＭＳの事前学習処理を示し、図８（ｂ）は、監視システムＭＳのホームページ監視処理を示す。
【００６２】
図８（ａ）に示す事前学習処理では、自動学習部が、学習用サンプル画像を初期テンプレートを利用して猥褻画像と非猥褻画像とに分類し、その結果をユーザー判断で修正することによって、基準テンプレートを得る。
【００６３】
図８（ｂ）に示すホームページ監視処理では、自動判定部が、図８（ａ）で得た基準テンプレートに基づいて、監視対象画像を自動的に猥褻画像と非猥褻画像とに分別する。
【００６４】
なお、上記実施形態では、ＷＥＢサイトにおいて猥褻画像を検出したが、それ以外のネットワーク、例えば社内のコンピュータネットワーク等において、猥褻画像ファイルが存在すれば、これを簡易・確実に検出することもできる。
【００６５】
〔第２実施形態〕
第２実施形態に係る画像認識装置び方法は、第１実施形態の装置び方法を肖像切り出しのために変形したものである。
【００６６】
事前学習処理は、基本的に第１実施形態のものと同様である。したがって、全体的な処理としては、図３と同様のものが行われ、図４に対応する処理として図９に示す処理が行われ、図５に対応する処理として図１０に示す処理が行われ、図６に対応する処理として図１１に示す処理が行われる。
【００６７】
なお、肖像の初期テンプレートは、肖像から適宜切り出したオブジェクトとすることができ、顔、首、髪の毛等を含む。このように、髪の毛も顔画像のテンプレートに含めるのは、実際に使用される顔写真が髪の毛も含むためである。学習用サンプル画像は、例えば人物の正面スタイルの顔写真とすることができ、女性、男性、髪の毛の薄い又は濃い等、典型的なものについて何パターンかの画像を用意する。
【００６８】
また、学習用サンプル画像のランキング後の画像再追加に際しては、切り出したい肖像の性別、民族等を考慮したものとすることができる。また、テンプレートの修正によって得られる基準テンプレートは、一枚の学習サンプル画像から得られる一群のオブジェクト（例えば、顔、首を含めた皮膚色オブジェクト、髪の毛オブジェクト）及びこれらの位置関係を組み合わせた複合的なものとなっている。このような基準テンプレートを構成するオブジェクトの輪郭は、場合によって手動で調整することもできる。結果的に得られた複数枚の複合的な基準テンプレートは、肖像の画像すなわち顔画像オブジェクトの自動識別及び切り出しの際に使用される。
【００６９】
図１２は、肖像の切り出しを説明するフローチャートである。まず、ＣＰＵ２１は、ＷＥＢサイトや記憶装置２４中の画像データを読み出す（ステップＳ２０１）。
【００７０】
次に、ＣＰＵ２１は、切り出しの処理対象範囲の選択に関する処理を行う（ステップＳ２０２）。具体的には、画像データに対応するプレビュー画像を表示装置２３に表示させる。このプレビュー画像は、何段階かで拡大・縮小表示可能であり、適当なツールを用いてプレビュー画像中で範囲選択を行うことができる。この際、ＣＰＵ２１は、選択範囲や原画像が一定サイズ以下の場合、画質が良くない旨の警告を表示装置２３に行わせる。
【００７１】
次に、ＣＰＵ２１は、対象画像のサイズをチェックする（ステップＳ２０３）。対象画像のサイズが一定値を超えていなければ、そのまま原画像で以後の処理を行う。対象画像のサイズが一定値を超えている場合、▲１▼対象画像のサイズを変更しないで後の処理を行う超高解像度モードと、▲２▼対象画像のサイズを縮小する一般モードとをオペレータに適宜選択させる。
【００７２】
次に、ＣＰＵ２１は、図９の処理で得た基準テンプレートを利用して、画像ファイルから得た対象画像について肖像度を判定する（ステップＳ２０４）。肖像度の判定は、図１０に示すものとほぼ同様である。
【００７３】
次に、ＣＰＵ２１は、これら対象画像中に肖像が存在するか否かを判断する（ステップＳ２０５）。具体的には、対象画像について得た肖像度があるしきい値を超えたか否かや、オブジェクトの配置的要素等を判断し、これらの肖像度等が所定の基準を満たせば、肖像が存在すると判断する。
【００７４】
肖像度の算出及び肖像の存否判断に際しては、切り出したオブジェクトについて、相関度すなわち類似度が最も大きくなる基準テンプレートが、顔、首を含めた皮膚色のテンプレートオブジェクトであれば、顔面候補オブジェクトと認定する。また、類似度が最も大きくなる基準テンプレートが、髪の毛のテンプレートオブジェクトであれば、髪の毛候補オブジェクトと認定する。この際、類似度が画像の中心領域からの距離より重み付け修正される。すべての顔面候補オブジェクトについて、一つ以上の髪の毛候補オブジェクトと隣り合って、隣り合う部分の輪郭線の合計が全体のうち所定の範囲内の値でなければ、同顔面候補オブジェクトを肖像度算出の対象から除外する。すべての髪の毛候補オブジェクトについても、同様な除外処理を行って、切り出したオブジェクトの配置関係を考慮して自動的な弁別を行う。このとき、顔面候補オブジェクトと髪の毛候補オブジェクトとの数が必ずしも一致する必要はない。なお、顔面候補オブジェクトの数が既定の最大値を超えているなら、類似度の低いものとこれに隣接する髪の毛候補オブジェクトを更に除外する。
【００７５】
なお、上記説明は、頭部のオブジェクト抽出を意味するが、衣服のオブジェクトも同様に抽出することができる。この場合、顔面候補オブジェクトに隣接して髪の毛候補オブジェクトの反対側に、所定の予想範囲にあるオブジェクトを衣服候補オブジェクトとして抽出する。この予想範囲は、例えば顔面候補オブジェクトの大きさから算定するものとする。
【００７６】
ステップＳ２０４で肖像を検出したと判断した場合、ＣＰＵ２１は、表示装置２３に肖像画から得たオブジェクトを表示する（ステップＳ２０６）。この際、すべての切り出しオブジェクトを表示することもできるが、対象画像の指定範囲にある一部オブジェクトのみを表示することもできる。オブジェクトの表示方法は、対象画像中のオブジェクトが存在する領域を楕円等で範囲表示し、そこにあるオブジェクトを重なりなくツリー表示するものとすることができる。切り出したオブジェクトのうち不要なものがあれば、上記のようなツリー表示のオブジェクトのいずれかを入力装置２２で指定し、オブジェクトのグループから除去することができる。
【００７７】
次に、ＣＰＵ２１は、切り出したオブジェクトの輪郭修正を受け付ける処理を行う（ステップＳ２０７）。ＣＰＵ２１は、切り出したオブジェクトに対応して、表示装置２３に表示した対象画像のプレビューに重ねて、鮮明な色彩で輪郭線を表示する。この輪郭線は、入力装置２２からの指示に基づいて修正することができる。例えば、輪郭線に沿って先鋭度が極値をとるポイントを一定密度以下で自動検出し、これらのポイントを連結することによって輪郭線用の操作ハンドルを得る。そして、隣接ポイント間には、入力装置２２からの指示に基づいて強制的にポイントを形成することができ、逆に不要なポイントは間引くこともできる。このようにして得た操作ハンドルは、入力装置２２を利用して修正することができ、ユーザの判断を付加した適切な輪郭検出が可能になる。
【００７８】
次に、ＣＰＵ２１は、輪郭を決定したオブジェクトを幾何的に切り出し、切り出した画像を記憶装置２４に保存する処理を行う（ステップＳ２０８）。オブジェクトは、上記のようにして得た輪郭に沿って切り出すこともできるが、任意の矩形領域、楕円領域、円形領域内に輪郭が収まるような画像として切り抜くことができる。
【００７９】
以上により、適当な画像ファイルから肖像を自動的に簡易に切り出して保存、蓄積することができる。このようにして得た肖像ファイルは、携帯電話やパソコン間で行われる電子メールに顔写真ファイルとして添付することができる。また、このような肖像ファイルは、各種画像作成を簡易なものとする。例えば、記念用の顔写真の寄せ書き、顔写真のシール等の多様な用途で、上記のような肖像ファイルが活かされる。
【００８０】
以上実施形態に即して本発明を説明したが、本発明は上記実施形態に限定されるものではない。例えば上記実施形態では、猥褻画像や肖像画を自動検出したが、他の抽象的な範疇の画像を自動検出する場合にも、本発明の方法を適用することができる。
【図面の簡単な説明】
【図１】第１実施形態の画像認識装置及び方法が活用されるネットワークシステムの全体構造を示す。
【図２】図１に示す監視システムの構造を概念的に説明するブロック図である。
【図３】事前の学習を説明するフローチャートである。
【図４】事前の学習の一部を説明するフローチャートである。
【図５】事前の学習の一部を説明するフローチャートである。
【図６】事前の学習の一部を説明するフローチャートである。
【図７】ＷＥＢサイトの監視を説明するフローチャートである。
【図８】（ａ）は、監視システムの事前学習処理を示し、（ｂ）は、監視システムのホームページ監視処理を示す。
【図９】第２実施形態の画像認識装置における事前学習の一部を説明するフローチャートである。
【図１０】第２実施形態の画像認識装置における事前学習の一部を説明するフローチャートである。
【図１１】第２実施形態の画像認識装置における事前学習の一部を説明するフローチャートである。
【図１２】第２実施形態の画像認識装置における肖像画像の切り出しを説明するフローチャートである。
【符号の説明】
２２      入力装置
２３      表示装置
２４      記憶装置
２５      通信制御装置
２１      ＣＰＵ
ＩＮ      インターネット
ＭＳ      監視システム
【図１】
0004643872.tif 000002
【図２】
0004643872.tif 000003
【図３】
0004643872.tif 000004
【図４】
0004643872.tif 000005
【図５】
0004643872.tif 000006
【図６】
0004643872.tif 000007
【図７】
0004643872.tif 000008
【図８】
0004643872.tif 000009
【図９】
0004643872.tif 000010
【図１０】
0004643872.tif 000011
【図１１】
0004643872.tif 000012
【図１２】
0004643872.tif 000013