(57)【要約】【課題】膨大な容量の記録装置を設けずとも、所望の画像をユーザに確実に提示できるようにする。【解決手段】画像表示部１４に表示されている画像に含まれるオブジェクトがオブジェクト抽出部２２により抽出され、その特徴量が特徴量抽出部２３により抽出され、特徴量データベース１３に登録される。入力画像切り替え部３１は、入力される画像信号を常にモニタし、その画像に含まれるオブジェクトをオブジェクト抽出部３２が抽出する。特徴量抽出部３３は、オブジェクト抽出部３２により抽出されたオブジェクトの特徴量を抽出する。類似度判定部３４は、特徴量データベース１３に登録されているオブジェクトの特徴量と類似する特徴量を有する画像信号が入力されたとき、入力画像切り替え部２１にその画像信号を選択させる。本発明は、テレビジョン受像機に適用することができる。【選択図】　　　図１
2004038423.tif 000002
【特許請求の範囲】
【請求項１】
入力された複数の画像信号から１つを選択する選択手段と、
前記選択手段により選択された前記画像信号を出力する出力手段と、
前記出力手段により出力されている前記画像信号のオブジェクトを抽出する第１の抽出手段と、
前記第１の抽出手段により抽出された前記オブジェクトの特徴量を検出する第１の検出手段と、
前記第１の検出手段により検出された前記オブジェクトの特徴量を記憶する記憶手段と、
入力された前記画像信号のオブジェクトを抽出する第２の抽出手段と、
前記第２の抽出手段により抽出された前記オブジェクトの特徴量を検出する第２の検出手段と、
前記第２の抽出手段により抽出された前記オブジェクトの特徴量を、前記記憶手段に既に記憶されている前記特徴量と比較して類似度を判定し、前記第２の抽出手段により抽出された前記オブジェクトの特徴量が、前記記憶手段に既に記憶されている前記特徴量と類似している場合、前記特徴量が、前記記憶手段に記憶されている前記特徴量と類似している前記画像信号を前記出力手段に出力させるように制御する制御手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記第１の抽出手段は、
前記オブジェクトの候補を抽出する候補抽出手段と、
前記候補抽出手段により抽出された前記オブジェクトの候補を、ユーザに提示する提示手段と
を備え、
前記第１の検出手段は、前記提示手段により提示された前記オブジェクトの候補のうち、前記ユーザにより指定されたものの特徴量を検出する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記制御手段は、前記類似度が、予め設定された基準値より大きいとき、前記第２の抽出手段により抽出された前記オブジェクトの特徴量が、前記記憶手段に既に記憶されている前記特徴量と類似していると判定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記制御手段は、前記第２の抽出手段により抽出された前記オブジェクトの特徴量が、前記記憶手段に既に記憶されている前記特徴量と類似している場合、そのとき出力されている前記画像信号に替えて、前記特徴量が、前記記憶手段に既に記憶されている前記特徴量と類似していると判定された前記画像信号を前記出力手段に出力させる
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
情報処理装置の情報処理方法において、
入力された複数の画像信号から１つを選択する選択ステップと、
前記選択ステップの処理により選択された前記画像信号を出力する出力ステップと、
前記出力ステップの処理により出力されている前記画像信号のオブジェクトを抽出する第１の抽出ステップと、
前記第１の抽出ステップの処理により抽出された前記オブジェクトの特徴量を検出する第１の検出ステップと、
前記第１の検出ステップの処理により検出された前記オブジェクトの特徴量を記憶する記憶ステップと、
入力された前記画像信号のオブジェクトを抽出する第２の抽出ステップと、
前記第２の抽出ステップの処理により抽出された前記オブジェクトの特徴量を検出する第２の検出手段と、
前記第２の抽出ステップの処理により抽出された前記オブジェクトの特徴量を、前記記憶ステップの処理により既に記憶されている前記特徴量と比較して類似度を判定し、前記第２の抽出ステップの処理により抽出された前記オブジェクトの特徴量が、前記記憶ステップの処理により既に記憶されている前記特徴量と類似している場合、前記特徴量が、前記記憶ステップの処理により既に記憶されている前記特徴量と類似している前記画像信号を出力させるように制御する制御ステップと
を含むことを特徴とする情報処理方法。
【請求項６】
入力された複数の画像信号から１つを選択する選択ステップと、
前記選択ステップの処理により選択された前記画像信号を出力する出力ステップと、
前記出力ステップの処理により出力されている前記画像信号のオブジェクトを抽出する第１の抽出ステップと、
前記第１の抽出ステップの処理により抽出された前記オブジェクトの特徴量を検出する第１の検出ステップと、
前記第１の検出ステップの処理により検出された前記オブジェクトの特徴量を記憶する記憶ステップと、
入力された前記画像信号のオブジェクトを抽出する第２の抽出ステップと、
前記第２の抽出ステップの処理により抽出された前記オブジェクトの特徴量を検出する第２の検出手段と、
前記第２の抽出ステップの処理により抽出された前記オブジェクトの特徴量を、前記記憶ステップの処理により既に記憶されている前記特徴量と比較して類似度を判定し、前記第２の抽出ステップの処理により抽出された前記オブジェクトの特徴量が、前記記憶ステップの処理により既に記憶されている前記特徴量と類似している場合、前記特徴量が、前記記憶ステップの処理により既に記憶されている前記特徴量と類似している前記画像信号を出力させるように制御する制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項７】
情報処理装置を制御するコンピュータに、
入力された複数の画像信号から１つを選択する選択ステップと、
前記選択ステップの処理により選択された前記画像信号を出力する出力ステップと、
前記出力ステップの処理により出力されている前記画像信号のオブジェクトを抽出する第１の抽出ステップと、
前記第１の抽出ステップの処理により抽出された前記オブジェクトの特徴量を検出する第１の検出ステップと、
前記第１の検出ステップの処理により検出された前記オブジェクトの特徴量を記憶する記憶ステップと、
入力された前記画像信号のオブジェクトを抽出する第２の抽出ステップと、
前記第２の抽出ステップの処理により抽出された前記オブジェクトの特徴量を検出する第２の検出手段と、
前記第２の抽出ステップの処理により抽出された前記オブジェクトの特徴量を、前記記憶ステップの処理により既に記憶されている前記特徴量と比較して類似度を判定し、前記第２の抽出ステップの処理により抽出された前記オブジェクトの特徴量が、前記記憶ステップの処理により既に記憶されている前記特徴量と類似している場合、前記特徴量が、前記記憶ステップの処理により既に記憶されている前記特徴量と類似している前記画像信号を出力させるように制御する制御ステップと
を含む処理を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、視聴者に情報を確実に提示することができるようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
特開平９−２７０００６号公報には、動画像処理方法が開示されている。この動画像処理方法においては、視聴者が視聴した画像の特徴量が時事刻々とデータベースに記録される。また、新たに入力された画像は、既にデータベースに登録されている特徴量と比較され、特徴量が類似している場合、いま、入力された画像は、既に試聴した画像であるとして、例えば、表示が中止される。
【０００３】
このようにして、視聴者が既に見た画像を繰り返し試聴してしまうようなことを防止するようにしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記公報に提案されている動画像処理方法においては、リアルタイムで入力される画像の特徴量が全て記録されるため、そのデータ量が膨大なものとなり、大容量の記録媒体が必要となり、コスト高となる。
【０００５】
また、既に試聴した画像を重複して見ないようにするだけで、視聴者に対して、積極的に情報を提供することができない課題があった。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、膨大な容量の記録媒体を必要とせず、かつ、視聴者に対して積極的に情報を提供することができるようにするものである。
【０００７】
【課題を解決するための手段】
本発明の情報処理装置は、入力された複数の画像信号から１つを選択する選択手段と、選択手段により選択された画像信号を出力する出力手段と、出力手段により出力されている画像信号のオブジェクトを抽出する第１の抽出手段と、第１の抽出手段により抽出されたオブジェクトの特徴量を検出する第１の検出手段と、第１の検出手段により検出されたオブジェクトの特徴量を記憶する記憶手段と、入力された画像信号のオブジェクトを抽出する第２の抽出手段と、第２の抽出手段により抽出されたオブジェクトの特徴量を検出する第２の検出手段と、第２の抽出手段により抽出されたオブジェクトの特徴量を、記憶手段に既に記憶されている特徴量と比較して類似度を判定し、第２の抽出手段により抽出されたオブジェクトの特徴量が、記憶手段に既に記憶されている特徴量と類似している場合、特徴量が、記憶手段に記憶されている特徴量と類似している画像信号を出力手段に出力させるように制御する制御手段とを備えることを特徴とする。
【０００８】
前記第１の抽出手段は、オブジェクトの候補を抽出する候補抽出手段と、候補抽出手段により抽出されたオブジェクトの候補を、ユーザに提示する提示手段とを備え、第１の検出手段は、提示手段により提示されたオブジェクトの候補のうち、ユーザにより指定されたものの特徴量を検出することができる。
【０００９】
前記制御手段は、類似度が、予め設定された基準値より大きいとき、第２の抽出手段により抽出されたオブジェクトの特徴量が、記憶手段に既に記憶されている特徴量と類似していると判定することができる。
【００１０】
前記制御手段は、第２の抽出手段により抽出されたオブジェクトの特徴量が、記憶手段に既に記憶されている特徴量と類似している場合、そのとき出力されている画像信号に替えて、特徴量が、記憶手段に既に記憶されている特徴量と類似していると判定された画像信号を出力手段に出力させるようにすることができる。
【００１１】
本発明の情報処理方法は、入力された複数の画像信号から１つを選択する選択ステップと、選択ステップの処理により選択された画像信号を出力する出力ステップと、出力ステップの処理により出力されている画像信号のオブジェクトを抽出する第１の抽出ステップと、第１の抽出ステップの処理により抽出されたオブジェクトの特徴量を検出する第１の検出ステップと、第１の検出ステップの処理により検出されたオブジェクトの特徴量を記憶する記憶ステップと、入力された画像信号のオブジェクトを抽出する第２の抽出ステップと、第２の抽出ステップの処理により抽出されたオブジェクトの特徴量を検出する第２の検出手段と、第２の抽出ステップの処理により抽出されたオブジェクトの特徴量を、記憶ステップの処理により既に記憶されている特徴量と比較して類似度を判定し、第２の抽出ステップの処理により抽出されたオブジェクトの特徴量が、記憶ステップの処理により既に記憶されている特徴量と類似している場合、特徴量が、記憶ステップの処理により既に記憶されている特徴量と類似している画像信号を出力させるように制御する制御ステップとを含むことを特徴とする。
【００１２】
本発明の記録媒体のプログラムは、入力された複数の画像信号から１つを選択する選択ステップと、選択ステップの処理により選択された画像信号を出力する出力ステップと、出力ステップの処理により出力されている画像信号のオブジェクトを抽出する第１の抽出ステップと、第１の抽出ステップの処理により抽出されたオブジェクトの特徴量を検出する第１の検出ステップと、第１の検出ステップの処理により検出されたオブジェクトの特徴量を記憶する記憶ステップと、入力された画像信号のオブジェクトを抽出する第２の抽出ステップと、第２の抽出ステップの処理により抽出されたオブジェクトの特徴量を検出する第２の検出手段と、第２の抽出ステップの処理により抽出されたオブジェクトの特徴量を、記憶ステップの処理により既に記憶されている特徴量と比較して類似度を判定し、第２の抽出ステップの処理により抽出されたオブジェクトの特徴量が、記憶ステップの処理により既に記憶されている特徴量と類似している場合、特徴量が、記憶ステップの処理により既に記憶されている特徴量と類似している画像信号を出力させるように制御する制御ステップとを含むことを特徴とする。
【００１３】
本発明のプログラムは、情報処理装置を制御するコンピュータに、入力された複数の画像信号から１つを選択する選択ステップと、選択ステップの処理により選択された画像信号を出力する出力ステップと、出力ステップの処理により出力されている画像信号のオブジェクトを抽出する第１の抽出ステップと、第１の抽出ステップの処理により抽出されたオブジェクトの特徴量を検出する第１の検出ステップと、第１の検出ステップの処理により検出されたオブジェクトの特徴量を記憶する記憶ステップと、入力された画像信号のオブジェクトを抽出する第２の抽出ステップと、第２の抽出ステップの処理により抽出されたオブジェクトの特徴量を検出する第２の検出手段と、第２の抽出ステップの処理により抽出されたオブジェクトの特徴量を、記憶ステップの処理により既に記憶されている特徴量と比較して類似度を判定し、第２の抽出ステップの処理により抽出されたオブジェクトの特徴量が、記憶ステップの処理により既に記憶されている特徴量と類似している場合、特徴量が、記憶ステップの処理により既に記憶されている特徴量と類似している画像信号を出力させるように制御する制御ステップとを含む処理を実行させることを特徴とする。
【００１４】
本発明においては、抽出されたオブジェクトの特徴量が記憶される。そして、抽出されたオブジェクトの特徴量が、既に記憶されている特徴量と比較され、両者が類似している場合、その類似している画像信号が出力される。
【００１５】
【発明の実施の形態】
図１は、本発明を適用した画像信号処理装置の構成例を表している。この画像信号処理装置１は、記録フェーズ部１１、フィルタリングフェーズ部１２、特徴量データベース１３、画像表示部１４、およびユーザ入力制御部１５により構成されている。
【００１６】
記録フェーズ部１１は、入力された画像信号に含まれるオブジェクトのうち、ユーザにより指定されたものの特徴量を検出し、特徴量データベース１３に記録する処理を実行する。このため、記録フェーズ部１１は、入力画像切り替え部２１、オブジェクト抽出部２２、および特徴量抽出部２３を備えている。
【００１７】
入力画像切り替え部２１は、図示せぬチューナ、インターネット、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含む各種のネットワークなどを介して、複数チャンネルの画像信号を入力する。入力画像切り替え部２１は、ユーザ入力制御部１５からの入力ソース切り替え信号に対応して、複数チャンネルの画像信号の中から、ユーザの指令に対応したチャンネルの画像信号を選択し、画像表示部１４に出力する。
【００１８】
また、入力画像切り替え部２１は、ユーザ入力制御部１５から記録指示信号が入力されると、そのとき、画像表示部１４に出力している画像信号をオブジェクト抽出部２２に供給する。オブジェクト抽出部２２は、入力画像切り替え部２１より入力された画像信号から、そこに含まれているオブジェクトを抽出する。特徴量抽出部２３は、オブジェクト抽出部２２より入力されたオブジェクト（画像信号）の特徴量を抽出し、特徴量データベース１３に供給し、記録させる。
【００１９】
フィルタリングフェーズ部１２は、入力された複数チャンネルの画像信号の中から、登録されたオブジェクトを含むものを検索し、検索された所定のチャンネルの画像信号をユーザに提示する処理を実行する。このため、フィルタリングフェーズ部１２は、入力画像切り替え部３１、オブジェクト抽出部３２、特徴量抽出部３３、および類似度判定部３４を有している。なお、フィルタリングフェーズ部１２のオブジェクト抽出部３２と特徴量抽出部３３は、記録フェーズ部１１のオブジェクト抽出部２２または特徴量抽出部２３と兼用するようにしてもよい。
【００２０】
入力画像切り替え部３１は、記録フェーズ部１１における入力画像切り替え部２１と同様に、複数チャンネルの画像信号を入力する。入力画像切り替え部３１は、ユーザ入力制御部１５から検索指示信号が入力されたとき、複数のチャンネルの画像信号の中から、１つのチャンネルの画像信号を選択し、オブジェクト抽出部３２に出力する。オブジェクト抽出部３２は、記録フェーズ部１１におけるオブジェクト抽出部２２と同様に、入力画像切り替え部３１より入力された画像信号から、そこに含まれるオブジェクトを抽出し、抽出したオブジェクトに関する画像信号を特徴量抽出部３３に供給する。
【００２１】
特徴量抽出部３３は、オブジェクト抽出部３２より入力されたオブジェクトの特徴量を抽出し、類似度判定部３４に出力する。
【００２２】
類似度判定部３４は、特徴量抽出部３３より供給された特徴量と、特徴量データベース１３に既に登録されている特徴量とを比較し、その比較結果に基づいて、、入力ソース切り替え信号を入力画像切り替え部２１に供給し、所定のチャンネルの画像信号を画像表示部１４に選択、出力させる。
【００２３】
類似度判定部３４は、また、入力画像切り替え部３１に検索指示信号を出力し、所定のチャンネルの画像信号を選択させる。
【００２４】
次に、図２のフローチャートを参照して、記録フェーズ部１１の入力画像切り替え部２１における画像切り替え処理について説明する。
【００２５】
最初に、ステップＳ１１において、入力画像切り替え部２１は、初期化処理を実行する。これにより、選択する画像信号の設定処理（受信チャンネルの設定処理）が行われる。
【００２６】
ステップＳ１２において、入力画像切り替え部２１は、複数の入力画面の中から、ステップＳ１１の初期化処理で設定されたチャンネルの入力画像を選択し、画像表示部１４に出力し、表示させる処理を実行する。これにより、複数チャンネルの画像信号の中から、例えば、装置の電源をオンした直後は、デフォルトで予め設定されているチャンネルの画像信号が選択され、画像表示部１４に出力され、表示されることになる。
【００２７】
次に、ステップＳ１３に進み、入力画像切り替え部２１は、ユーザ入力制御部１５の出力をモニタし、入力ソース切り替え信号を取得する（読み取る）処理を実行する。ステップＳ１４において、入力画像切り替え部２１は、ステップＳ１３の処理で実際に、入力ソースの切り替えを指示する信号が取得されたか否かを判定し、取得されていない場合には、ステップＳ１６に進み、処理終了が指令されたか否かを判定する。処理終了が指令されていない場合には、ステップＳ１２に戻り、入力画像切り替え部２１は、それ以降の処理を繰り返し実行する。
【００２８】
ステップＳ１４において、切り替え信号が取得された（切り替えが指示された）と判定された場合、ステップＳ１５に進み、入力画像切り替え部２１は、ユーザ入力制御部１５より指定された入力ソース（画像信号）を選択するように、切り替え処理を行う。そして、ステップＳ１２に戻り、入力画像切り替え部２１は、ステップＳ１５の処理で切り替えられたチャンネルの画像信号を選択し、画像表示部１４に出力し、表示させる。
【００２９】
以上のような処理が繰り返し実行される。その結果、ユーザは、ユーザ入力制御部１５を操作することで、所望のチャンネルの画像信号を選択し、画像表示部１４に表示させることができる。
【００３０】
ステップＳ１６において、処理の終了が指令されたと判定された場合、図２の画像切り替え処理は終了される。
【００３１】
以上の図２に示される処理を実行することで、画像表示部１４には、ユーザが所望するチャンネルの画像信号に対応する画像が表示されることになる。ユーザはこのような画像を視聴している場合において、いま見ている（画像表示部１４に表示されている）対応する画像を再び見たいと思ったとき、ユーザ入力制御部１５を操作してオブジェクトの記録を指令する。このときオブジェクト特徴量記録処理が実行される。このオブジェクト特徴量記録処理について、図３のフローチャートを参照して説明する。
【００３２】
ステップＳ３１において、入力画像切り替え部２１は、ユーザ入力制御部１５から記録指示信号が入力されたか否かを判定する。記録指示信号が入力されていないと判定された場合、入力されるまで待機する。
【００３３】
ステップＳ３１において、記録指示信号が入力されたと判定された場合、ステップＳ３２に進み、入力画像切り替え部２１は、記録指示信号が入力されたタイミングにおいて、画像表示部１４に出力（表示）されている画像信号を取り込み、オブジェクト抽出部２２に供給する。オブジェクト抽出部２２は、ステップＳ３３において、オブジェクト抽出処理を実行する。このオブジェクト抽出処理の詳細につして、図４のフローチャートを参照して説明する。
【００３４】
ステップＳ５１において、オブジェクト抽出部２２は、ステップＳ３２の処理で取得した対象フレームの前のフレームと後のフレームの画像を取得する。具体的には、ステップＳ３２の処理で、対象フレームを含むその前後の複数フレームの画像がオブジェクト抽出部２２に供給されてきて内蔵するメモリに記憶される。オブジェクト抽出部２２は、記憶された複数フレームの画像データの中から、対象フレームとその前後のフレームの画像データを取得する。
【００３５】
ステップＳ５２において、オブジェクト抽出部２２は、ステップＳ５１の処理で取得された対象フレームの画像に含まれるオブジェクトを、登録の候補として抽出する。このオブジェクトは抽出処理は、例えば、画像の輪郭線を検出したり、近似する色の画素をグループ化したりすることで行うことができるが、これらに限定されるものではない。ここにおけるオブジェクトとは、対象フレームに含まれる一部の画像である。例えば、対象フレームに複数の出演者の顔の画像が表示されているとき、その複数の出演者の顔の画像がオブジェクトとしてそれぞれ抽出される。
【００３６】
ステップＳ５３において、オブジェクト抽出部２２は、ステップＳ５２の処理で抽出したオブジェクトの登録の候補を、入力画像切り替え部２１を介して、画像表示部１４に出力し、表示（提示）させる。ユーザは、この画像表示部１４に表示されたオブジェクトの登録の候補を見て、自分自身が登録したいと思うオブジェクトをユーザ入力制御部１５を操作して指定する。
【００３７】
そこで、ステップＳ５４において、オブジェクト抽出部２２は、ユーザ入力制御部１５からのオブジェクト指定情報を取得する。例えば、複数の出演者の顔の画像が登録候補のオブジェクトとして画像表示部１４に表示された場合、ユーザは、そのうちの一人の出演者の画像を、登録するオブジェクトとして指定することになる。勿論、このとき、２以上のオブジェクトを指定してもよい。
【００３８】
ステップＳ５５において、オブジェクト抽出部２２は、ステップＳ５４の処理で選択、抽出された、登録対象のオブジェクトの画像信号を特徴量抽出部２３に転送する。
【００３９】
なお、このとき、オブジェクト抽出部２２は、オブジェクトのサムネイル画像を生成し、特徴量抽出部２３を介して特徴量データベース１３に供給し、登録させる。
【００４０】
以上のようにして、オブジェクト抽出処理が完了した後、図３のステップＳ３４において、特徴量抽出処理が特徴量抽出部２３において実行される。この特徴量抽出処理の詳細について、図５のフローチャートを参照して説明する。
【００４１】
ステップＳ７１において、特徴量抽出部２３は、オブジェクト抽出部２２から転送されてきた登録対象のオブジェクトの画像信号を取得する。ステップＳ７２において、特徴量抽出部２３は、ステップＳ７１の処理で取得したオブジェクトの画像信号の特徴量を抽出する。
【００４２】
この特徴量としては、例えば、アクティビティ、コントラスト、エッジ量、単純画素差分、色成分のヒトグラム、フラクタ次元などを用いることができるが、これらに限られるものではない。
【００４３】
このようにして、指定されたオブジェクトの特徴量が抽出されると、図３のステップＳ３５において、特徴量抽出部２３は、抽出した特徴量を特徴量データベース１３に供給し、記録させる。
【００４４】
その後、ステップＳ３６に進み、処理の終了が指令されたか否かが判定され、処理の終了が指令されていない場合には、ステップＳ３１に戻り、それ以降の処理が繰り返し実行される。処理の終了が指令されたと判定された場合、特徴量記録処理は終了される。
【００４５】
以上のようにして、ユーザは、画像表示部１４に表示されている画像を視聴しながら、オブジェクトとして選択したい画像が表示されたタイミングにおいて、その都度、ユーザ入力制御部１５を操作して、そのオブジェクトの特徴量を特徴量データベース１３に記録させる。
【００４６】
登録される特徴量は、１画面全部ではなく（まして、供給された番組のすべての画像ではなく）、ユーザにより指定されたオブジェクトに関するものだけであるから、データ量は少なくて済む。また、後述するように、フィルタリング処理で、対応する特徴量を有する画像が検索されるが、検索の基準となる登録画像が、１画面全部ではなく、個々のオブジェクトであるので、ユーザが意図する画像（オブジェクトが含まれる画像）を、正確に検出することが可能となる。
【００４７】
以上のようにして、任意の数のオブジェクトの特徴量を特徴量データベース１３に登録した後、ユーザは、そのオブジェクトを含む画像が受信された場合、これを自動的に検出し、画像表示部１４に表示させるようにすることができる。このようなフィルタリング処理を実行するとき、ユーザは、ユーザ入力制御部１５を操作して、フィルタリング処理の開始を指令する。
【００４８】
次に、このフィルタリング処理について、図６のフローチャートを参照して説明する。
【００４９】
フィルタリング処理の開始が指示されると、ユーザ入力制御部１５は、フィルタリングフェーズ部１２の入力画像切り替え部３１に対して、検索指示信号を送出する。そこで、ステップＳ９１において、入力画像切り替え部３１は、検索指示信号が入力されたか否かを判定し、入力されていない場合には、入力されるまで待機する。検索指示信号がユーザ入力制御部１５から入力されたと判定された場合、ステップＳ９２に進み、入力画像切り替え部３１は、特徴量データベース１３に既に登録されているオブジェクトのサムネイル画像を読み出し、画像表示部１４に出力し、表示させる。このサムネイル画像は、図４のステップＳ５５の処理で選択されたオブジェクトの特徴量とともに、特徴量データベース１３に登録されたものである。
【００５０】
ユーザは、このオブジェクトのサムネイル画像を見て、フィルタリング対象とするオブジェクトのサムネイル画像をユーザ入力制御部１５を操作することで指定する。そこで、ステップＳ９３において、入力画像切り替え部３１は、ユーザ入力制御部１５から入力される検索対象とするオブジェクトの選択信号（検索指示信号）を取得する。
【００５１】
検索指示信号を取得すると、ステップＳ９４において、入力画像切り替え部３１は、特徴量データベース１３から、検索対象として指定されたオブジェクトの特徴量を読み出し、類似度判定部３４に出力し、記憶させる。
【００５２】
その後、類似度判定部３４からの制御に基づいて、入力画像切り替え部３１は、ステップＳ９５において、複数チャンネルの画像信号の中から１つのチャンネルの画像信号を取り込み、その取り込んだ入力ソース画像をオブジェクト抽出部３２に供給する。
【００５３】
オブジェクト抽出部３２は、ステップＳ９６において、オブジェクト抽出処理を実行する。このオブジェクト抽出処理について、図７のフローチャートを参照して説明する。
【００５４】
ステップＳ１１１において、オブジェクト抽出部３２は、対象フレームとその前後のフレームの画像を取得する。ステップＳ１１２において、オブジェクト抽出部３２は、ステップＳ１１１の処理で取得した対象フレームとその前後のフレームの画像に基づいて、対象フレームに含まれるオブジェクトを抽出する。ステップＳ１１３において、オブジェクト抽出部３２は、ステップＳ１１２の処理で抽出したオブジェクトの画像信号を特徴量抽出部３３に転送する。
【００５５】
以上のステップＳ１１１乃至ステップＳ１１３の処理は、図４に示したステップＳ５１，Ｓ５２，Ｓ５５の処理と基本的に同様である。すなわち、図４のオブジェクト抽出処理（記録フェーズ部１１のオブジェクト抽出部２２のオブジェクト抽出処理）においては、オブジェクト抽出部２２が抽出したオブジェクトの中からユーザが指定したものが選択され、特徴量抽出部２３に供給されているのであるが、このフィルタリングフェーズ部１２のオブジェクト抽出部３２が実行するオブジェクト抽出処理においては、ユーザの選択操作が行われない。したがって、抽出された全てのオブジェクトの画像信号が特徴量抽出部３３に供給される。
【００５６】
次に、ステップＳ９７において、特徴量抽出部３３は、特徴量抽出処理を実行する。この特徴量抽出処理は、図３のステップＳ３４における特徴量抽出処理、すなわち、図５に示される特徴量抽出処理と同様の処理である。従って、この処理により、ステップＳ９６の処理で抽出された任意の数のオブジェクトの特徴量が抽出され、その特徴量が類似度判定部３３に供給される。
【００５７】
ステップＳ９８において、類似度判定部３４は、類似度判定処理を実行する。具体的には、ステップＳ９５の処理で、特徴量データベース１３から読み出され、入力画像切り替え部３１を介して取得されたフィルタリング対象として指定されたオブジェクトの特徴量と、ステップＳ９７の処理で抽出された、いま入力されている画像信号に含まれるオブジェクトの特徴量が比較され、その類似度が判定される。２つの特徴量の類似度は、例えば、両者の値の差の大きさから、判定することができる。
【００５８】
比較の基準となる登録画像はオブジェクト（画面の一部の画像）であって、１枚の画像全体ではないから、１枚の画像全体を登録する場合に較べて、ユーザが希望する画像（オブジェクトを含む画像）を含まない画像から正確に区別して、検出することができる。
【００５９】
ステップＳ９９において、類似度判定部３４は、ステップＳ９８の処理で判定した類似度が予め設定した所定の閾値を超えたか否かを判定する。具体的には、２つの類似度の差が基準値より大きいか否かが判定される。類似度が閾値を超えていない場合（類似度の差の絶対値が基準値より大きい場合）には、ステップＳ９５に戻り、それ以降の処理が繰り返し実行される。
【００６０】
ステップＳ９９において、類似度が閾値を超えた（類似度の差の絶対値が基準値以下である）と判定された場合、ステップＳ１００に進み、類似度判定部３４は、入力画像切り替え部２１を制御し、複数の画像信号の中から、いま入力画像切り替え部３１が選択しているチャンネルの画像信号を、それまで選択していた画像信号に代えて選択させる。その結果、画像表示部１４に、オブジェクトを含まない画像が表示されている状態において、ユーザがフィルタリング処理を指定したオブジェクトを含む画像信号が入力されると、そのオブジェクトを含む画像信号が、それまでの画像信号に代えて、自動的に選択されて、画像表示部１４に表示されることになる。
【００６１】
ステップＳ１０１において、処理の終了が指令されたか否かが判定され、処理の終了が指令されていない場合には、ステップＳ９１に戻り、それ以降の処理が繰り返し実行される。
【００６２】
ステップＳ１０１において、処理の終了が指令されていると判定された場合、フィルタリング処理は終了される。
【００６３】
以上のようにして、ユーザが予め指定したオブジェクトのフィルタリング処理を指定すると、そのオブジェクトを含む画像信号が受信されると、そのとき、そのオブジェクトを含む画像信号を受信していなくても、自動的にその画像が画像表示部１４に表示され、ユーザに提示されることになる。従って、ユーザは、指定したオブジェクトを含む画像信号を確実に視聴することが可能となる。
【００６４】
例えば、ユーザが所定のチャンネルの放送番組を視聴している状態において、裏番組が自動的に入力画像切り替え部３１によりスキャンされ、ユーザが予め指定したオブジェクト（例えば、出演者）が登場する番組が放送されると、それが入力画像切り替え部２１により自動的に選択され、画像表示部１４に表示されることになる。その結果、ユーザは、所望のオブジェクトを予め登録しておくことで、視聴したい番組を確実に視聴することが可能となる。
【００６５】
また、この場合において、登録されるのは、オブジェクトの特徴量とサムネイル画像だけであるので、そのデータ量は膨大なものとはならず、充分実用化が可能となる。
【００６６】
さらに、例えば、オブジェクトとして番組のタイトルなどを記録しておけば、毎週あるいは毎月決まった番組を確実に受信し、表示させることが可能となる。また、プロ野球の放送が延長されたり、特別番組が途中で挿入された結果、自分自身が本来視聴したい番組の放送開始時刻がずれたとしても、その番組を確実に視聴（受信）することが可能となる。
【００６７】
なお、番組を視聴せずとも、入力画像切り替え部２１により選択された放送チャンネルの画像信号を、ビデオテープレコーダ、その他の記録装置により記録させるようにすることも可能である。
【００６８】
この他、例えば、コマーシャルの画像が表示される直前の画像をオブジェクトとして登録しておけば、コマーシャルが終了すると、コマーシャルが開始される直前の画像から表示が再開されることが多いので、コマーシャルが開始した直後に、他のチャンネルの番組を視聴しているようなときでも、コマーシャルが終了したとき、自動的に元の番組が表示されるので、それを視聴することができる。
【００６９】
また、オブジェクトとして再度見たい番組のオブジェクトを登録しておけば、その番組が再放送されたとき、それを自動的に視聴することが可能となる。
【００７０】
以上、説明した画像信号処理装置１は、例えば、テレビジョン受像機、ビデオテープレコーダ、ハードディスクレコーダ、ＤＶＤ記録装置といった装置に適用することが可能である。
【００７１】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、画像信号処理装置は、図８に示されるようなパーソナルコンピュータにより構成される。
【００７２】
図８において、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１２１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２２に記憶されているプログラム、または記憶部１２８からＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１２３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１２３にはまた、ＣＰＵ１２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００７３】
ＣＰＵ１２１、ＲＯＭ１２２、およびＲＡＭ１２３は、バス１２４を介して相互に接続されている。このバス１２４にはまた、入出力インタフェース１２５も接続されている。
【００７４】
入出力インタフェース１２５には、キーボード、マウスなどよりなる入力部１２６、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　ｄｉｓｐｌａｙ）などよりなるディスプレイ、並びにスピーカなどよりなる出力部１２７、ハードディスクなどより構成される記憶部１２８、モデム、ターミナルアダプタなどより構成される通信部１２９が接続されている。通信部１２９は、インターネットを含むネットワークを介しての通信処理を行う。
【００７５】
入出力インタフェース１２５にはまた、必要に応じてドライブ１３０が接続され、磁気ディスク１４１、光ディスク１４２、光磁気ディスク１４３、或いは半導体メモリ１４４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１２８にインストールされる。
【００７６】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【００７７】
この記録媒体は、図８に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１４１（フロッピディスクを含む）、光ディスク１４２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ−Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）を含む）、光磁気ディスク１４３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）を含む）、もしくは半導体メモリ１４４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ１２２や、記憶部１２８に含まれるハードディスクなどで構成される。
【００７８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００７９】
【発明の効果】
以上の如く、本発明によれば、所望の画像信号を出力させることができる。特に、膨大な容量のハードディスクなどの記録装置がなくても、ユーザが所望する画像信号をユーザに確実に提示することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像信号処理装置の構成例を示すブロック図である。
【図２】図１の画像信号処理装置の画像切り替え処理を説明するフローチャートである。
【図３】図１の画像信号処理装置の特徴量記録処理を説明するフローチャートである。
【図４】図３のステップＳ３３のオブジェクト抽出処理を説明するフローチャートである。
【図５】図３のステップＳ３４の特徴量抽出処理を説明するフローチャートである。
【図６】図１の画像信号処理装置のフィルタリング処理を説明するフローチャートである。
【図７】図６のステップＳ９６におけるオブジェクト抽出処理を説明するフローチャートである。
【図８】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
１　画像信号処理装置，　１１　記録フェーズ部，　１２　フィルタリングフェーズ部，　１３　特徴量データベース，　１４　画像表示部，　１５　ユーザ入力制御部，　２１　入力画像切り替え部，　２２　オブジェクト抽出部，　２３　特徴量抽出部，　３１　入力画像切り替え部，　３２　オブジェクト抽出部，　３３　特徴量抽出部，　３４　類似度判定部
【図１】
2004038423.tif 000003
【図２】
2004038423.tif 000004
【図３】
2004038423.tif 000005
【図４】
2004038423.tif 000006
【図５】
2004038423.tif 000007
【図６】
2004038423.tif 000008
【図７】
2004038423.tif 000009
【図８】
2004038423.tif 000010