(57)【要約】      （修正有）【課題】検索者の問い合わせ意図を明確にし、より問い合わせ意図に沿ったコンテンツを検索できる。【解決手段】複数の検索キーコンテンツの各々について、その特徴値をベクトル要素とする検索キーコンテンツ原始ベクトルを生成し、複数の検索キーコンテンツ原始ベクトルの差分を演算し、閾値条件と閾値条件に対応するベクトル要素の前記差分とを各々対比し、前記差分が前記閾値条件に該当するものを基準値、前記差分が前記閾値条件に該当しないものを０値として、これらをベクトル要素とする演算用ベクトルを生成し、前記重み係数により重み付け演算した値をベクトル要素とする問い合わせ意図ベクトルを生成し、比較コンテンツ群の各々について、その特徴値をベクトル要素とする比較コンテンツ原始ベクトルと、前記問い合わせ意図ベクトルとの各々との相関量を演算し、少なくとも、前記相関量が最も高いコンテンツを抽出し、出力するコンテンツ検索システム。【選択図】図６
2008176772.tif 000002
【特許請求の範囲】
【請求項１】
複数の検索キーコンテンツの各々について、検索キーコンテンツの特徴を現す特徴値をベクトル要素とする検索キーコンテンツ原始ベクトルを生成する検索キーコンテンツ原始ベクトル生成部と、
前記検索キーコンテンツ原始ベクトルのベクトル要素の各々に対応して閾値条件を記憶する閾値条件記憶部と、
複数の検索キーコンテンツ原始ベクトルの差分を演算し、前記閾値条件記憶部から前記閾値条件を抽出し、前記閾値条件と前記閾値条件に対応するベクトル要素の前記差分とを各々対比し、前記差分が前記閾値条件に該当するものを基準値、前記差分が前記閾値条件に該当しないものを０値として、前記基準値若しくは前記０値若しくはその双方をベクトル要素とする演算用ベクトルを生成する演算用ベクトル生成部と、
前記演算用ベクトルのベクトル要素の各々に対応する重み係数を記憶する重み係数記憶部と、
前記重み係数記憶部から重み係数を抽出し、前記演算用ベクトルのベクトル要素を前記重み係数により重み付け演算し、前記重み付けした値をベクトル要素とする問い合わせ意図ベクトルを生成する問い合わせ意図ベクトル生成部と、
コンテンツデータベースに格納されている比較コンテンツ群の各々について、比較コンテンツの特徴を現す特徴値をベクトル要素とする比較コンテンツ原始ベクトルを記憶する比較コンテンツ原始ベクトル記憶部と、
前記比較コンテンツ原始ベクトル記憶部から比較コンテンツ原始ベクトルを抽出し、前記問い合わせ意図ベクトルと前記比較コンテンツ原始ベクトルの各々との相関量を演算取得する相関量取得部と、
少なくとも、前記比較コンテンツ群の中から前記相関量が最も高いコンテンツを前記コンテンツデータベースから抽出するコンテンツ抽出部とを備えることを特徴とするコンピュータによるコンテンツ検索システム。
【請求項２】
前記複数の検索キーコンテンツ原始ベクトルの差分を、下記数１により演算することを特徴とする請求項１記載のコンテンツ検索システム。
【数１】
2008176772.tif 000011
【請求項３】
前記閾値条件と前記重み係数の各々を変更可能に設定することを特徴とする請求項１又は２記載のコンテンツ検索システム。
【請求項４】
前記閾値条件記憶部が、詳細な検索意図を現す検索意図種別の各々に対応し且つ前記検索キーコンテンツ原始ベクトルのベクトル要素の各々に対応して前記閾値条件を記憶し、
前記演算用ベクトル生成部が、入力部で選択された検索意図種別に対応する閾値条件を前記閾値条件記憶部から抽出し、前記閾値条件と前記閾値条件に対応するベクトル要素の前記差分とを各々対比して演算用ベクトルを生成すると共に、
前記重み係数記憶部が、前記検索意図種別の各々に対応し且つ前記演算用ベクトルのベクトル要素の各々に対応する重み係数を記憶し、
前記問い合わせ意図ベクトル生成部が、前記選択された検索意図種別に対応する重み係数を前記重み係数記憶部から抽出し、前記演算用ベクトルのベクトル要素を前記重み係数により重み付け演算して問い合わせ意図ベクトルを生成することを特徴とする請求項１〜３の何れかに記載のコンテンツ検索システム。
【請求項５】
前記検索キーコンテンツ原始ベクトル生成部が、入力部で選択された検索意図種別に対応する検索キーコンテンツ原始ベクトルを生成し、
前記比較コンテンツ原始ベクトル記憶部が、前記比較コンテンツ群の各々の比較コンテンツ原始ベクトルを前記検索意図種別の各々に対応して記憶し、
前記相関量取得部が、入力部で選択された検索意図種別に対応する比較コンテンツ原始ベクトルを抽出し、前記問い合わせ意図ベクトルと前記比較コンテンツ原始ベクトルの各々との相関量を演算取得することを特徴とする請求項４記載のコンテンツ検索システム。
【請求項６】
前記検索キーコンテンツのコンテンツと前記比較コンテンツ群のコンテンツとが、画像、文書、音若しくはこれらの内の少なくとも２つの組み合わせであることを特徴とする請求項１〜５の何れかに記載のコンテンツ検索システム。
【請求項７】
複数の検索キーコンテンツの各々について、検索キーコンテンツの特徴を現す特徴値をベクトル要素とする検索キーコンテンツ原始ベクトルを生成するステップと、
複数の検索キーコンテンツ原始ベクトルの差分を演算し、前記検索キーコンテンツ原始ベクトルのベクトル要素の各々に対応して記憶されている閾値条件を抽出し、前記閾値条件と前記閾値条件に対応するベクトル要素の前記差分とを各々対比し、前記差分が前記閾値条件に該当するものを基準値、前記差分が前記閾値条件に該当しないものを０値として、前記基準値若しくは前記０値若しくはその双方をベクトル要素とする演算用ベクトルを生成するステップと、
前記演算用ベクトルのベクトル要素の各々に対応して記憶されている重み係数を抽出し、前記演算用ベクトルのベクトル要素を前記重み係数により重み付け演算し、前記重み付けした値をベクトル要素とする問い合わせ意図ベクトルを生成するステップと、
コンテンツデータベースに格納されている比較コンテンツ群の各々について記憶されている、比較コンテンツの特徴を現す特徴値をベクトル要素とする比較コンテンツ原始ベクトルを抽出し、前記問い合わせ意図ベクトルと前記比較コンテンツ原始ベクトルの各々との相関量を演算取得するステップと、
少なくとも、前記比較コンテンツ群の中から前記相関量が最も高いコンテンツを前記コンテンツデータベースから抽出するステップとを備えることを特徴とするコンピュータによるコンテンツ検索方法。
【請求項８】
複数の検索キーコンテンツの各々について、検索キーコンテンツの特徴を現す特徴値をベクトル要素とする検索キーコンテンツ原始ベクトルを生成する検索キーコンテンツ原始ベクトル生成部と、
前記検索キーコンテンツ原始ベクトルのベクトル要素の各々に対応して閾値条件を記憶する閾値条件記憶部と、
複数の検索キーコンテンツ原始ベクトルの差分を演算し、前記閾値条件記憶部から前記閾値条件を抽出し、前記閾値条件と前記閾値条件に対応するベクトル要素の前記差分とを各々対比し、前記差分が前記閾値条件に該当するものを基準値、前記差分が前記閾値条件に該当しないものを０値として、前記基準値若しくは前記０値若しくはその双方をベクトル要素とする演算用ベクトルを生成する演算用ベクトル生成部と、
前記演算用ベクトルのベクトル要素の各々に対応する重み係数を記憶する重み係数記憶部と、
前記重み係数記憶部から重み係数を抽出し、前記演算用ベクトルのベクトル要素を前記重み係数により重み付け演算し、前記重み付けした値をベクトル要素とする問い合わせ意図ベクトルを生成する問い合わせ意図ベクトル生成部と、
コンテンツデータベースに格納されている比較コンテンツ群の各々について、比較コンテンツの特徴を現す特徴値をベクトル要素とする比較コンテンツ原始ベクトルを記憶する比較コンテンツ原始ベクトル記憶部と、
前記比較コンテンツ原始ベクトル記憶部から比較コンテンツ原始ベクトルを抽出し、前記問い合わせ意図ベクトルと前記比較コンテンツ原始ベクトルの各々との相関量を演算取得する相関量取得部と、
少なくとも、前記比較コンテンツ群の中から前記相関量が最も高いコンテンツを前記コンテンツデータベースから抽出するコンテンツ抽出部としてコンピュータを機能させることを特徴とするコンテンツ検索プログラム。
【請求項９】
複数の検索キーコンテンツの各々について、検索キーコンテンツの特徴を現す特徴値をベクトル要素とする検索キーコンテンツ原始ベクトルを生成する検索キーコンテンツ原始ベクトル生成部と、
前記検索キーコンテンツ原始ベクトルの差分を演算し、前記差分と設定記憶されている閾値パラメーター群とを対比し、前記差分が前記閾値パラメーターの条件に該当するものを基準値、前記差分が前記閾値パラメーターの条件に該当しないものを０値として、前記基準値若しくは前記０値若しくはその双方をベクトル要素とする演算用ベクトル群を生成する演算用ベクトル群生成部と、
前記演算用ベクトル群のベクトル要素の各々に対応する重みパラメーター群を記憶する重みパラメーター群記憶部と、
前記重みパラメーター群記憶部から重みパラメーター群を抽出し、前記演算用ベクトル群のベクトル要素を前記重みパラメーター群により重み付け演算し、又は前記演算用ベクトル群から共通要素を表す共通要素ベクトルを取得若しくは所定式に従って共通要素を表す共通要素ベクトルを演算取得すると共に、所定式に従って差分要素を現す差分要素ベクトルを演算取得して、前記共通要素ベクトルのベクトル要素と前記差分要素ベクトルのベクトル要素を前記重みパラメーター群により重み付け演算し、前記重み付けした値をベクトル要素とする問い合わせ意図ベクトルを生成する問い合わせ意図ベクトル生成部と、
コンテンツデータベースに格納されている比較コンテンツ群の各々について、比較コンテンツの特徴を現す特徴値をベクトル要素とする比較コンテンツ原始ベクトルを記憶する比較コンテンツ原始ベクトル記憶部と、
前記比較コンテンツ原始ベクトル記憶部から比較コンテンツ原始ベクトルを抽出し、前記問い合わせ意図ベクトルと前記比較コンテンツ原始ベクトルの各々との相関量を演算取得する相関量取得部と、
少なくとも、前記比較コンテンツ群の中から前記相関量が最も高いコンテンツを前記コンテンツデータベースから抽出するコンテンツ抽出部とを備えることを特徴とするコンテンツ検索システム。
【請求項１０】
検索キーコンテンツの特徴を現す特徴値をベクトル要素とする検索キーコンテンツ原始ベクトルを生成する検索キーコンテンツ原始ベクトル生成部と、
更新前の問い合わせ意図ベクトルを記憶する問い合わせ意図ベクトル記憶部と、
前記検索キーコンテンツ原始ベクトルと前記更新前の問い合わせ意図ベクトルとの差分を演算し、前記差分と設定記憶されている閾値パラメーター群とを対比し、前記差分が前記閾値パラメーターの条件に該当するものを基準値、前記差分が前記閾値パラメーターの条件に該当しないものを０値として、前記基準値若しくは前記０値若しくはその双方をベクトル要素とする演算用ベクトル群を生成する演算用ベクトル群生成部と、
前記演算用ベクトル群のベクトル要素の各々に対応する重みパラメーター群を記憶する重みパラメーター群記憶部と、
前記重みパラメーター群記憶部から重みパラメーター群を抽出し、前記演算用ベクトル群のベクトル要素を前記重みパラメーター群により重み付け演算し、又は前記演算用ベクトル群から共通要素を表す共通要素ベクトルを取得若しくは所定式に従って共通要素を表す共通要素ベクトルを演算取得すると共に、所定式に従って差分要素を現す差分要素ベクトルを演算取得して、前記共通要素ベクトルのベクトル要素と前記差分要素ベクトルのベクトル要素を前記重みパラメーター群により重み付け演算し、前記重み付けした値をベクトル要素とする問い合わせ意図ベクトルを生成する問い合わせ意図ベクトル生成部と、
コンテンツデータベースに格納されている比較コンテンツ群の各々について、比較コンテンツの特徴を現す特徴値をベクトル要素とする比較コンテンツ原始ベクトルを記憶する比較コンテンツ原始ベクトル記憶部と、
前記比較コンテンツ原始ベクトル記憶部から比較コンテンツ原始ベクトルを抽出し、前記問い合わせ意図ベクトルと前記比較コンテンツ原始ベクトルの各々との相関量を演算取得する相関量取得部と、
少なくとも、前記比較コンテンツ群の中から前記相関量が最も高いコンテンツを前記コンテンツデータベースから抽出するコンテンツ抽出部とを備えることを特徴とするコンテンツ検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索者の問い合わせ意図に沿う画像等の検索を可能にするコンテンツ検索システム、コンテンツ検索方法及びコンテンツ検索プログラムに関する。
【背景技術】
【０００２】
インターネットの普及、マルチメディア技術の進展、及び、記憶装置の大容量化などに伴い、大規模な画像データベース等から検索者の意図に沿った画像等のコンテンツを検索する需要が高まっており、コンテンツ検索を行う手法が提案されている。前記コンテンツ検索の手法の中で画像検索の手法では、問い合わせ画像の特徴情報と比較対象画像の特徴情報との類似度を算出し、比較対象画像から問い合わせ画像との類似度が高い類似画像を抽出する方法が一般的である（特許文献１参照）。
【０００３】
【特許文献１】特開２００６−２８５５７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記画像検索の手法は、単一の問い合わせ画像で検索者の問い合わせ意図を表現して画像を検索するものであるが、個々人の主観的な認識や判断に依拠する問い合わせ意図を単一の問い合わせ画像で表現することは困難であり、抽出した画像は問い合わせ画像の特徴情報との類似度が高くても、必ず検索者の問い合わせ意図に沿う検索結果とはならない。そのため、より検索者の問い合わせ意図に沿った画像を検索できる手法が求められている。また、画像以外のコンテンツに於いても、より検索者の問い合わせ意図に沿ったコンテンツを検索できるようにすることが望まれる。
【０００５】
本発明は上記課題に鑑み提案するものであって、検索者の問い合わせ意図を表現する問い合わせを複数の画像等から構成し、その問い合わせに基づき画像等を検索することにより、検索者の問い合わせ意図を明確にし、より問い合わせ意図に沿った画像等のコンテンツを検索することができるコンテンツ検索システム、コンテンツ検索方法、及びコンテンツ検索プログラムを提供することを目的とする。また、本発明の他の目的は、単一の問い合わせ画像等では表現できない検索者の問い合わせ意図に対応する内容を有する画像等を検索することができるコンテンツ検索システム、コンテンツ検索方法及びコンテンツ検索プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明のコンテンツ検索システムは、コンピュータによるコンテンツ検索システムであって、複数の検索キーコンテンツの各々について、検索キーコンテンツの特徴を現す特徴値をベクトル要素とする検索キーコンテンツ原始ベクトルを生成する検索キーコンテンツ原始ベクトル生成部と、前記検索キーコンテンツ原始ベクトルのベクトル要素の各々に対応して閾値条件を記憶する閾値条件記憶部と、複数の検索キーコンテンツ原始ベクトルの差分を演算し、前記閾値条件記憶部から前記閾値条件を抽出し、前記閾値条件と前記閾値条件に対応するベクトル要素の前記差分とを各々対比し、前記差分が前記閾値条件に該当するものを基準値、前記差分が前記閾値条件に該当しないものを０値として、前記基準値若しくは前記０値若しくはその双方をベクトル要素とする演算用ベクトルを生成する演算用ベクトル生成部と、前記演算用ベクトルのベクトル要素の各々に対応する重み係数を記憶する重み係数記憶部と、前記重み係数記憶部から重み係数を抽出し、前記演算用ベクトルのベクトル要素を前記重み係数により重み付け演算し、前記重み付けした値をベクトル要素とする問い合わせ意図ベクトルを生成する問い合わせ意図ベクトル生成部と、コンテンツデータベースに格納されている比較コンテンツ群の各々について、比較コンテンツの特徴を現す特徴値をベクトル要素とする比較コンテンツ原始ベクトルを記憶する比較コンテンツ原始ベクトル記憶部と、前記比較コンテンツ原始ベクトル記憶部から比較コンテンツ原始ベクトルを抽出し、前記問い合わせ意図ベクトルと前記比較コンテンツ原始ベクトルの各々との相関量を演算取得する相関量取得部と、少なくとも、前記比較コンテンツ群の中から前記相関量が最も高いコンテンツを前記コンテンツデータベースから抽出するコンテンツ抽出部とを備えることを特徴とする。前記問い合わせ意図ベクトルと比較コンテンツ原始ベクトルとの相関量には、例えば内積、コサイン、距離等を用いることが可能である。
【０００７】
また、本発明のコンテンツ検索システムは、前記複数の検索キーコンテンツ原始ベクトルの差分を、下記数１により演算することを特徴とする。
【０００８】
【数１】
2008176772.tif 000003
【０００９】
また、本発明のコンテンツ検索システムは、前記閾値条件と前記重み係数の各々を変更可能に設定することを特徴とする。
【００１０】
また、本発明のコンテンツ検索システムは、前記閾値条件記憶部が、詳細な検索意図を現す検索意図種別の各々に対応し且つ前記検索キーコンテンツ原始ベクトルのベクトル要素の各々に対応して前記閾値条件を記憶し、前記演算用ベクトル生成部が、入力部で選択された検索意図種別に対応する閾値条件を前記閾値条件記憶部から抽出し、前記閾値条件と前記閾値条件に対応するベクトル要素の前記差分とを各々対比して演算用ベクトルを生成すると共に、前記重み係数記憶部が、前記検索意図種別の各々に対応し且つ前記演算用ベクトルのベクトル要素の各々に対応する重み係数を記憶し、前記問い合わせ意図ベクトル生成部が、前記選択された検索意図種別に対応する重み係数を前記重み係数記憶部から抽出し、前記演算用ベクトルのベクトル要素を前記重み係数により重み付け演算して問い合わせ意図ベクトルを生成することを特徴とする。
【００１１】
また、本発明のコンテンツ検索システムは、前記検索キーコンテンツ原始ベクトル生成部が、入力部で選択された検索意図種別に対応する検索キーコンテンツ原始ベクトルを生成し、前記比較コンテンツ原始ベクトル記憶部が、前記比較コンテンツ群の各々の比較コンテンツ原始ベクトルを前記検索意図種別の各々に対応して記憶し、前記相関量取得部が、入力部で選択された検索意図種別に対応する比較コンテンツ原始ベクトルを抽出し、前記問い合わせ意図ベクトルと前記比較コンテンツ原始ベクトルの各々との相関量を演算取得することを特徴とする。
【００１２】
また、本発明のコンテンツ検索システムは、前記検索キーコンテンツのコンテンツと前記比較コンテンツ群のコンテンツとが、画像、文書、音若しくはこれらの内の少なくとも２つの組み合わせであることを特徴とする。
【００１３】
また、本発明のコンテンツ検索方法は、コンピュータによるコンテンツ検索方法であって、複数の検索キーコンテンツの各々について、検索キーコンテンツの特徴を現す特徴値をベクトル要素とする検索キーコンテンツ原始ベクトルを生成するステップと、複数の検索キーコンテンツ原始ベクトルの差分を演算し、前記検索キーコンテンツ原始ベクトルのベクトル要素の各々に対応して記憶されている閾値条件を抽出し、前記閾値条件と前記閾値条件に対応するベクトル要素の前記差分とを各々対比し、前記差分が前記閾値条件に該当するものを基準値、前記差分が前記閾値条件に該当しないものを０値として、前記基準値若しくは前記０値若しくはその双方をベクトル要素とする演算用ベクトルを生成するステップと、前記演算用ベクトルのベクトル要素の各々に対応して記憶されている重み係数を抽出し、前記演算用ベクトルのベクトル要素を前記重み係数により重み付け演算し、前記重み付けした値をベクトル要素とする問い合わせ意図ベクトルを生成するステップと、コンテンツデータベースに格納されている比較コンテンツ群の各々について記憶されている、比較コンテンツの特徴を現す特徴値をベクトル要素とする比較コンテンツ原始ベクトルを抽出し、前記問い合わせ意図ベクトルと前記比較コンテンツ原始ベクトルの各々との相関量を演算取得するステップと、少なくとも、前記比較コンテンツ群の中から前記相関量が最も高いコンテンツを前記コンテンツデータベースから抽出するステップとを備えることを特徴とする。
【００１４】
また、本発明のコンテンツ検索プログラムは、複数の検索キーコンテンツの各々について、検索キーコンテンツの特徴を現す特徴値をベクトル要素とする検索キーコンテンツ原始ベクトルを生成する検索キーコンテンツ原始ベクトル生成部と、前記検索キーコンテンツ原始ベクトルのベクトル要素の各々に対応して閾値条件を記憶する閾値条件記憶部と、複数の検索キーコンテンツ原始ベクトルの差分を演算し、前記閾値条件記憶部から前記閾値条件を抽出し、前記閾値条件と前記閾値条件に対応するベクトル要素の前記差分とを各々対比し、前記差分が前記閾値条件に該当するものを基準値、前記差分が前記閾値条件に該当しないものを０値として、前記基準値若しくは前記０値若しくはその双方をベクトル要素とする演算用ベクトルを生成する演算用ベクトル生成部と、前記演算用ベクトルのベクトル要素の各々に対応する重み係数を記憶する重み係数記憶部と、前記重み係数記憶部から重み係数を抽出し、前記演算用ベクトルのベクトル要素を前記重み係数により重み付け演算し、前記重み付けした値をベクトル要素とする問い合わせ意図ベクトルを生成する問い合わせ意図ベクトル生成部と、コンテンツデータベースに格納されている比較コンテンツ群の各々について、比較コンテンツの特徴を現す特徴値をベクトル要素とする比較コンテンツ原始ベクトルを記憶する比較コンテンツ原始ベクトル記憶部と、前記比較コンテンツ原始ベクトル記憶部から比較コンテンツ原始ベクトルを抽出し、前記問い合わせ意図ベクトルと前記比較コンテンツ原始ベクトルの各々との相関量を演算取得する相関量取得部と、少なくとも、前記比較コンテンツ群の中から前記相関量が最も高いコンテンツを前記コンテンツデータベースから抽出するコンテンツ抽出部としてコンピュータを機能させることを特徴とする。
【００１５】
また、本発明のコンテンツ検索システムは、複数の検索キーコンテンツの各々について、検索キーの特徴に対応するベクトル要素を有する検索キーコンテンツ原始ベクトルを生成する手段と、少なくとも、前記複数の検索キーコンテンツ原始ベクトルの差分と、設定記憶されている第１のパラメーター群（閾値パラメーター群）とから演算用ベクトル群を生成する手段と、前記演算用ベクトル群を、設定記憶されている第２のパラメーター群（重みパラメーター群）により演算して問い合わせ意図ベクトルを生成する手段と、コンテンツデータベースに格納されている比較コンテンツ群の各々の、比較コンテンツの特徴に対応するベクトル要素を有する比較コンテンツ原始ベクトルを記憶する手段と、前記問い合わせ意図ベクトルと前記比較コンテンツ原始ベクトルとの相関量を演算する手段と、前記相関量に基づき、前記比較コンテンツ群の中から少なくとも１つのコンテンツを抽出する手段とを備えるコンピュータによるコンテンツ検索システムとすることを特徴とする。
【００１６】
また、前記演算用ベクトル群を生成する手段が、前記複数の検索キーコンテンツ原始ベクトルの差分を、前記第１のパラメーター群の所定パラメーターを閾値として区分することにより、演算用ベクトルを生成すると共に、前記問い合わせ意図ベクトルを生成する手段が、前記演算用ベクトル群を、前記第２のパラメーター群で重み付けして論理演算する若しくは論理演算して前記第２のパラメーター群で重み付けすることにより、問い合わせ意図ベクトルを生成することが好ましい。
【００１７】
また、前記演算用ベクトル群を生成する手段が、検索キーコンテンツ原始ベクトルを、第１のパラメーター群の所定パラメーターを閾値として区分することにより、演算用ベクトルを生成する構成とすることが好ましい。
【００１８】
また、前記第１のパラメーター群、若しくは前記第２のパラメーター群、若しくは前記第１と第２のパラメーター群の双方の内、少なくとも１つのパラメーターを変更可能に設定することが好ましい。
【００１９】
また、前記設定記憶されている第１のパラメーター群、若しくは前記第２のパラメーター群、若しくは前記第１と第２のパラメーター群の双方が検索時に入力される構成とすることが好ましい。
【００２０】
また、前記演算用ベクトル群を生成する手段、若しくは前記問い合わせ意図ベクトルを生成する手段、若しくはその双方が検索時に入力されるベクトル生成指令群に従ってベクトルを生成する構成とすることが好ましい。前記ベクトル生成指令群は、例えば後述の問い合わせ意図指令群等である。また、前記ベクトル生成指令群を入力する場合、検索時以外の所要時に入力可能にしてもよく、適宜の時点で変更可能にしてもよい。
【００２１】
また、任意の問い合わせ検索に対応するベクトル生成指令群、例えば任意の問い合わせ検索に対応する問い合わせ意図指令群の全部を変更可能にする構成、又は全部の内の1つ若しくは複数の部分的な指令を変更可能にする構成、或いは前記問い合わせ意図指令群の全部を検索時に入力する構成、又は全部の内の1つ若しくは複数の部分的な指令を検索時に入力する構成とすることも可能である。また、例えば演算用ベクトル生成指令群と問い合わせ意図指令群など複数のベクトル生成指令群の内、問い合わせ意図指令群のみなど１つ若しくは複数の部分的な指令群を変更可能や検索時に入力可能な構成とすることも可能である。
【００２２】
また、前記演算用ベクトル群を生成する手段が、前記複数の検索キー原始ベクトルの差分を、前記第１のパラメーター群の所定パラメーターを閾値として区分することにより、演算用ベクトルを生成すると共に、前記問い合わせ意図ベクトルを生成する手段が、前記演算用ベクトル群を対象として、問い合わせ意図指令群により、論理演算を行い、問い合わせ意図を反映する特徴を取り出し、取り出した特徴を、問い合わせ意図指令群により前記第２のパラメーター群で重み付けしてベクトルの算術演算を行うことにより、問い合わせ意図ベクトルを生成することが好ましい。
【００２３】
また、本発明のコンテンツ検索方法は、複数の検索キーコンテンツの各々について、検索キーコンテンツの特徴に対応するベクトル要素を有する検索キーコンテンツ原始ベクトルを生成するステップと、少なくとも、前記複数の検索キーコンテンツ原始ベクトルの差分と、設定記憶されている第１のパラメーター群とから演算用ベクトル群を生成するステップと、前記演算用ベクトル群を、設定記憶されている第２のパラメーター群により演算して問い合わせ意図ベクトルを生成するステップと、記憶されている、コンテンツデータベースに格納されている比較コンテンツ群の各々の、比較コンテンツの特徴に対応する要素を有する比較コンテンツ原始ベクトルと、前記問い合わせ意図ベクトルとの相関量を演算するステップと、前記相関量に基づき、前記比較コンテンツ群の中から少なくとも１つのコンテンツを抽出するステップとを備えるコンピュータによるコンテンツ検索方法とすることを特徴とする。
【００２４】
また、本発明のコンテンツ検索プログラムは、複数の検索キーコンテンツの各々について、検索キーコンテンツの特徴に対応するベクトル要素を有する検索キーコンテンツ原始ベクトルを生成する手段と、少なくとも、前記複数の検索キーコンテンツ原始ベクトルの差分と、設定記憶されている第１のパラメーター群とから演算用ベクトル群を生成する手段と、前記演算用ベクトル群を、設定記憶されている第２のパラメーター群により演算して問い合わせ意図ベクトルを生成する手段と、コンテンツデータベースに格納されている比較コンテンツ群の各々の、比較コンテンツの特徴に対応するベクトル要素を有する比較コンテンツ原始ベクトルを記憶する手段と、前記問い合わせ意図ベクトルと前記比較コンテンツ原始ベクトルとの相関量を演算する手段と、前記相関量に基づき、前記比較コンテンツ群の中から少なくとも１つのコンテンツを抽出する手段としてコンピュータを機能させることを特徴とする。
【００２５】
また、本発明のコンテンツ検索システムは、検索キーコンテンツについて、検索キーコンテンツの特徴に対応するベクトル要素を有する検索キーコンテンツ原始ベクトルを生成する手段と、更新前の問い合わせ意図ベクトルを記憶する手段と、前記検索キーコンテンツ原始ベクトルと前記更新前の問い合わせ意図ベクトルとの差分と、設定記憶されている第１のパラメーター群（閾値パラメーター群）とから演算用ベクトル群を生成する手段と、前記演算用ベクトル群を、設定記憶されている第２のパラメーター群（重みパラメーター群）により演算して問い合わせ意図ベクトルを更新する手段と、コンテンツデータベースに格納されている比較コンテンツ群の各々の、比較コンテンツの特徴に対応する要素を有する比較コンテンツ原始ベクトルを記憶する手段と、前記更新後の問い合わせ意図ベクトルと前記比較コンテンツ原始ベクトルとの相関量を演算する手段と、前記相関量に基づき、前記比較コンテンツ群の中から少なくとも１つのコンテンツを抽出する手段とを備えるコンピュータによるコンテンツ検索システムとすることを特徴とする。
【００２６】
そして、例えばコンテンツが画像の場合、本発明の画像検索システムは、検索キーコンテンツに相当する個々の問い合わせ画像から、所定の特徴群に対応する要素を有し、当該問い合わせ画像の特徴を表す問い合わせ画像の原始ベクトルを生成し、個々の比較画像から、所定の特徴群に対応する要素を有し、当該比較画像の特徴を表す比較画像の原始ベクトルを生成し、問い合わせ画像の原始ベクトル群の差分を計算し、前記差分を演算パラメーター群の所定パラメーターと対比して、演算用ベクトル群を生成し、問い合わせ意図指令に従い、問い合わせ意図パラメーター群を重み係数とし、演算用ベクトル群から問い合わせ意図ベクトルを生成し、問い合わせ意図ベクトルと比較画像の原始ベクトル群の各原始ベクトルとの相関量を計算し、前記相関量に基づき、前記比較画像群より画像を抽出する構成とすると良好である。
【００２７】
また、原始ベクトルを生成する際に、画像の特徴群に対応する要素群を有し、当該画像の特徴を現す多次元ベクトルを生成する構成とすると良好である。また、問い合わせ画像群には１からｎまでの番号を付けてもよい。また、問い合わせ画像自体を入力して検索要求を行い、検索処理をする構成、或いは、画像検索システムの所定部が、画像データベース或いはサンプル画像データベース等に記憶している画像の中から画像若しくはサンプル画像を抽出して出力し、ユーザ側で選択された画像若しくはサンプル画像を問い合わせ画像として検索処理を行う構成としてもよい。また、問い合わせ画像、若しくは比較画像、若しくは問い合わせ画像と比較画像、若しくは演算パラメーター群、若しくは問い合わせ意図指令群、若しくは問い合わせ意図パラメーター群、若しくはこれらの組み合わせは一括して若しくは複数回に分けて入力することが可能である。
【００２８】
また、演算用ベクトル群を生成する際に、問い合わせ画像の原始ベクトル群中の各ベクトル要素間に於ける共通要素と差分要素を演算パラメーター群に基づき算出する構成とすると良好であり、更に、生成した演算用ベクトルは記憶装置に記憶する構成とするとよい。また、問い合わせ画像の原始ベクトルの各要素を‘０’又は‘１’の演算用ベクトルに２値変換して演算用ベクトルを生成してもよい。更に、ｎ個の問い合わせ画像の原始ベクトル群からｎ＋１個の演算用ベクトル群：共通ベクトルＲc、差分ベクトルＲ1、差分ベクトルＲ2、…、Ｒnを生成する構成とし、更には、共通ベクトルＲcの‘１’の要素群は、問い合わせ画像群の共通の特徴群を表すものとする構成、‘０’の要素群は、共通の特徴ではない他の要素（差分の要素）を表すものとする構成としてもよく、更には、差分ベクトルＲiの‘１’の要素群は、問い合わせ画像群に番号iを付けられた画像iの特徴群を表し、当該特徴群は、画像i中のみが有し、他の全ての画像は有しないものとする構成とするとよい。また、画像iの差分特徴要素を２値変換工程によって‘１’に変換し、画像差分特徴要素ではない画像iの他の要素を２値変換工程によって‘０’に変換し、変換結果を、画像iの演算用差分ベクトルＲiとして出力する構成としてもよい。更に、生成した若しくは記憶している問い合わせ意図ベクトルと、問い合わせ画像の原始ベクトル群とから、演算パラメーター群に基づき、各画像の共通特徴要素群、若しくは各画像の差分特徴要素群、若しくはこれらの双方を算出するようにしてもよい。
【００２９】
また、問い合わせ意図ベクトルを生成する際には、演算用ベクトル群に対し、問い合わせ意図指令群の指示に従い、ベクトルの論理演算、算術演算（加算、減算、乗算、除算）、ベクトルと問い合わせ意図パラメーターとの算術演算を行う構成とすると良好であり、例えば論理演算（ＡＮＤ，ＯＲ，ＮＯＴ）を演算用ベクトルに対して施し、１個の問い合わせ意図ベクトルＲを生成するとよい。更に、生成した問い合わせ意図ベクトルＲは記憶装置に記憶するとよい。また、記憶装置に記憶されている問い合わせ意図ベクトルＲを2値に変換し、２値に変換された問い合わせ意図ベクトルと演算用ベクトルに対して論理演算を行い、１個の新規な問い合わせ意図ベクトルＲを生成する構成としてもよく、例えば２値に変換された問い合わせ意図ベクトルＲと各演算用ベクトルとをベクトルの論理演算を行い、新たな2値ベクトルを形成し、該ベクトルの各要素にそれぞれ所定の重み係数で重み付け演算し、新規な問い合わせ意図ベクトルＲを生成する構成等とする。更に、入力される演算用ベクトル群と、記憶装置に記憶されている演算用ベクトル群との論理演算、算術演算を行い、１個の新規な問い合わせ意図ベクトルＲを形成する構成としてもよい。また、論理演算子、算術演算子で演算用ベクトル群と演算パラメーターとをベクトル合成演算し、問い合わせ意図ベクトルを生成する構成としてもよい。また、本発明に於ける重み付け演算は、各数値に重み係数或いは重みパラメーターを乗算し、乗算後の数値を加算する構成の他、必要に応じて乗算後の数値を減算するもの等とすることが可能である。
【００３０】
また、相関量を計算して画像を抽出する際に、コンテンツデータベースに格納された画像群中の画像を、各画像に対応する相関量の順に並べ替えて出力する構成、或いは、相関量を問い合わせ意図ベクトルとコンテンツデータベースに格納された画像の原始ベクトルとの内積とし、コンテンツデータベースに格納された画像の原始ベクトル群より、各画像に対応する内積値が最大となる画像を抽出して出力する構成とすると良好である。更に、コンテンツデータベースに格納された画像群により抽出した画像を問い合わせ画像として使用し、コンテンツデータベースから検索する構成としてもよい。
尚、検索キーコンテンツ原始ベクトルや、比較コンテンツ原始ベクトルや、これらに対応する演算用ベクトル、問い合わせ意図ベクトルのベクトル要素は、コンテンツの種別等に応じて適宜のものを用いることが可能であり、例えばコンテンツが画像若しくは画像を主体とするものである場合、ＲＧＢ値を％値で表現等した色の強度、輝度値、又は、画像中に含まれる輪郭線の長さ、水平線との角度、角度の変化値等とすることが可能であり、また、コンテンツが動画像若しくは動画像を主体とするものである場合、各フレーム画像のRGB値、各フレーム画像のRGB平均値、前フレーム画像RGB平均値との差、RGB値の変化がある座標、各フレーム画像のウェーブレット変換値等とすることが可能であり、また、コンテンツが文書若しくは文書を主体とするものである場合、単語が文書中に出現した頻度、単語が単独文書中に出現した頻度と単語が全文書集合中に出現した頻度との比例値等とすることが可能であり、また、コンテンツが音若しくは音を主体とするものである場合、音の振幅、音の周波数、音波のウェーブレット変換値、フーリエ変換値等とすることが可能である。更に、検索キー原始ベクトルを、複数種類の特徴に基づく要素で構成し、また、これに対応して問い合わせ意図ベクトルもこれらの要素で構成するようにしてもよく、例えば画像の画素値に基づく要素と、輪郭線の長さ、角度の変化値に基づく要素で構成される原始ベクトルを生成する構成、又は、画像と音によるコンテンツなど複数種のコンテンツ要素の組み合わせで構成されるコンテンツの場合に、例えば画像の画素値の要素と、音楽の音波のウェーブレット変換値の要素で原始ベクトルを構成してもよい。
また、コンテンツを格納するコンテンツデータベースに、画像特徴群と対応する要素群と対応付けて比較画像を記憶する構成として、例えば画像の内容若しくは印象を表す１つ以上のキーワードと対応付けて比較画像を記憶する等とし、或いは、文書特徴群に対応する要素群と対応付けて比較文書を記憶する構成として、例えば文書の内容若しくは印象を表す１つ以上のキーワードと対応付けて比較文書を記憶する等とし、或いは、音特徴群に対応する要素群と対応付けて比較音を記憶する構成として、例えば音の内容や印象を表す１つ以上のキーワードと対応付けて比較音を記憶する等とすることが可能である。この場合には、例えばユーザが所望の画像、文書若しくは音に対応して入力する複数の検索語で構成される検索語群の各単語の出現頻度を検索キーとなる原始ベクトルの要素とし、比較コンテンツの原始ベクトルは印象語の出現頻度をベクトルの要素とし、生成する問い合わせ意図ベクトルはこれに対応する要素で構成されるものとする。
【００３１】
また、本明細書に開示の発明には、各発明の部分的な構成を他の構成に変更したもの、或いは各発明の構成に他の構成を付加したもの、或いは各発明の部分的な構成を部分的な作用効果が得られる限度で削除して上位概念化したものも含まれる。
【発明の効果】
【００３２】
本発明は、検索キーコンテンツの原始ベクトルの差分を閾値条件と対比して演算用ベクトルを生成することにより、共通する特徴だけでなく相違する特徴も必要に応じて抽出し、検索キーコンテンツの特徴情報を検索意図に沿って取捨選択して、演算用ベクトルを生成することができる。更に、重み係数の重み付け演算で問い合わせ意図ベクトルを生成することにより、特徴情報に検索意図に沿った強弱を付けて問い合わせ意図ベクトルを生成することができる。これにより、検索者の問い合わせ意図をより正確に反映した問い合わせ（問い合わせ意図ベクトル）を生成し、その問い合わせにより検索することが可能となる。従って、検索者の問い合わせ意図を明確にし、より問い合わせ意図に沿った画像等のコンテンツを検索することができる。また、単一の問い合わせ画像等では表現できない検索者の問い合わせ意図に対応する内容を有する画像等を検索することができる。
【００３３】
また、閾値条件や重み係数を変更可能に設定する、或いは演算用ベクトルの生成に関わる第１のパラメーター群や、問い合わせ意図ベクトルの生成に関わる第２のパラメーター群の所要パラメーターを変更可能にすることにより、検索キーコンテンツの特定の特徴情報を検索意図に沿って取捨選択し、或いは特定の特徴情報に強弱をつける設定を必要に応じて行うことができる。従って、例えばシステムの運用動向を見ながらの検索精度の改善や、心理学的な研究成果を反映させての検索精度の改善など、随時、より一層検索者の意図に沿った問い合わせ（問い合わせ意図ベクトル）の生成と、検索者の意図に沿うコンテンツの検索を可能にすることができる。
【００３４】
また、詳細な検索意図を現す検索意図種別の各々に対応する閾値条件と重み係数を記憶し、選択された検索意図種別に対応する閾値条件と重み係数によって、演算用ベクトルや問い合わせ意図ベクトルを生成することにより、検索者がより望んでいる詳細な検索意図に対応する検索が可能となると共に、より多様な検索が可能になる。
【００３５】
また、入力部で選択された検索意図種別に対応する検索キーコンテンツ原始ベクトルを生成し、検索意図種別に対応する比較コンテンツ原始ベクトルを抽出し、問い合わせ意図ベクトルと比較コンテンツ原始ベクトルの各々との相関量を演算取得することにより、例えば画像と音楽を有するコンテンツの画像と音楽の双方に対する検索、画像部分に対する検索、音楽部分に対する検索等を行うことが可能になり、検索者がより一層望んでいる詳細な検索意図に対応する検索が可能となると共に、より一層多様な検索が可能になる。
【発明を実施するための最良の形態】
【００３６】
以下、添付図面を参照しながら、本発明に係る好適な実施形態を詳細に説明する。尚、各実施形態や各変形例の部分的な構成は適宜適用可能な範囲で他の実施形態や変形例の構成に付加、変更することが可能である。
【００３７】
〔第１実施形態〕
本発明のコンテンツ検索システムの実施形態として、静止画像のコンテンツを検索対象とするコンテンツ検索システムについて説明する。図１は第１実施形態のコンテンツ検索システムの構成図である。装置の各部は、所要機能を実現するものであれば、それぞれが専用のプログラムメモリやデータメモリやプロセッサを含む機器としてもよいし、又、複数の機能部を同一のＣＰＵがＲＯＭやＲＡＭやハードディスク等に記憶された各機能プログラムを実行して実現する構成としてもよいし、各機能に対応する特定のハードウェアを制御する制御プログラムを実行して実現する構成としてもよい。
【００３８】
第１実施形態のコンテンツ検索システムは、図１に示すように、入力部１００１、出力部１００２、検索意図種別記憶部１００３、検索意図種別選択制御部１００４、検索キーコンテンツ原始ベクトル生成部１００５、閾値条件記憶部１００６、演算用ベクトル生成部１００７、重み係数記憶部１００８、問い合わせ意図ベクトル生成部１００９、コンテンツデータベース１０１０、比較コンテンツ原始ベクトル記憶部１０１１、相関量取得部１０１２、コンテンツ抽出部１０１３、比較コンテンツ原始ベクトル生成部１０１４とを備え、その他に必要な処理や記憶を行う所定制御処理部や所定記憶部を備える。
【００３９】
《入力部１００１、出力部１００２》
入力部１００１は、キーボード・マウス・スキャナー等で構成され、又、出力部１００２は、検索結果の画像を表示するためのディスプレイ等で構成される。尚、入力部１００１と出力部１００２を設ける構成と共に、或いは前記構成に代え、コンテンツ検索システムに通信制御部を設け、前記コンテンツ検索システムが、通信制御部を介して接続される外部の端末から、入力部１００１から入力されるデータに相当するデータを受信し、前記外部の端末に、出力部１００２に出力するデータに相当するデータを送信する構成としてもよい。
【００４０】
《検索意図種別記憶部１００３》
検索意図種別記憶部１００３は、ハードディスク等で構成され、図２に示すように、詳細な検索意図を現す複数の検索意図種別を、出力部１００２で出力可能に格納する。検索意図種別は、例えば２つの検索キーコンテンツ（本実施形態では検索キー画像）など複数の検索キーコンテンツの共通部分を有するコンテンツ（本実施形態では画像）を検索する検索意図を検索意図（１）、複数の検索キーコンテンツ（本実施形態では検索キー画像）の共通部分を有し、且つ何れかの検索キーコンテンツ（本実施形態では検索キー画像）の要素２等に対応する特徴部分を有するコンテンツ（本実施形態では画像）を検索する検索意図を検索意図（２）、複数の検索キーコンテンツ（本実施形態では検索キー画像）と共通部分を有しないコンテンツ（本実施形態では画像）を検索する検索意図を検索意図（３）等として設定する。
【００４１】
《検索意図種別選択制御部１００４》
検索意図種別選択制御部１００４は、ＲＯＭに記憶されている制御プログラムに従って機能するＣＰＵ等で構成され、検索意図種別記憶部１００３に格納されている複数の検索意図種別を抽出し、前記抽出した検索意図種別を出力部１００２で出力する。尚、前記通信制御部を介して外部の端末と送受信する構成では、前記抽出した検索意図種別を、通信制御部を介して外部端末で出力可能に送信する構成とする。
【００４２】
《検索キーコンテンツ原始ベクトル生成部１００５》
検索キーコンテンツ原始ベクトル生成部１００５は、ＲＯＭに記憶されている制御プログラムに従って機能するＣＰＵ等で構成され、複数の検索キーコンテンツ（本実施形態では複数の検索キー画像）の各々について、検索キーコンテンツ（本実施形態では検索キー画像）の特徴を現す特徴値をベクトル要素とする検索キーコンテンツ原始ベクトル（本実施形態では検索キー画像原始ベクトル）を生成する。
【００４３】
本実施形態では、検索キーコンテンツ（本実施形態では検索キー画像）の特徴を現す特徴値として各画素のＲＧＢ値を用い、検索キーコンテンツ原始ベクトル生成部１００５は、検索キー画像の各画素のＲＧＢ値を取得して、各画素のＲＧＢ値（Ｒ値、Ｇ値若しくはＢ値）を各ベクトル要素とする検索キーコンテンツ原始ベクトルを生成する。検索キーコンテンツ原始ベクトルＱiは、Ｑi＝（ベクトル要素１、ベクトル要素２、ベクトル要素３、…、ベクトル要素ｎ）のような形式で生成される。
【００４４】
尚、コンテンツ検索システムが複数の検索キーコンテンツを認識する際には、複数の検索キーコンテンツが入力部１００１から入力される構成、或いは複数の検索キーコンテンツを外部の端末から通信制御部を介して受信する構成、或いは所定記憶部に記憶されているサンプル画像等のサンプルを出力若しくは送信し、その選択情報の入力若しくは受信により認識する構成等とすることが可能である。
【００４５】
《閾値条件記憶部１００６》
閾値条件記憶部１００６は、ハードディスク等で構成され、図３に示すように、詳細な検索意図を現す検索意図種別の各々に対応し、且つ検索キーコンテンツ原始ベクトルのベクトル要素の各々に対応する閾値条件を記憶する。図３の閾値条件は、上記検索意図（１）〜（３）等の各々に対応し、且つ検索キーコンテンツ原始ベクトルＱiのベクトル要素１〜ｎの各々に対応するように設定され、入力部１００１からの入力等により変更可能に設定記憶されている。
【００４６】
例えば検索意図（１）の閾値条件は、ベクトル要素１の差分＜Ｐ11、ベクトル要素２の差分＜Ｐ12、ベクトル要素３の差分＜Ｐ13、…等のように各ベクトル要素１〜ｎの差分が閾値Ｐ11〜Ｐ1n未満若しくは以下の場合に条件に合致するようにして、差分が少ない共通する場合を抽出可能に設定する。また、検索意図（２）の閾値条件は、ベクトル要素１の差分＜Ｐ21、ベクトル要素３の差分＜Ｐ23、…等のように、所定のベクトル要素Ｐiの差分が閾値Ｐki未満若しくは以下の場合に条件に合致するようにして、差分が小さい共通する場合を抽出可能に設定すると共に、ベクトル要素２の差分＞Ｐ22、…等のように、所定のベクトル要素Ｐjの差分が閾値Ｐkj以上若しくは超の場合に条件に合致するようにして、差分が大きい相違する場合を抽出可能に設定する。また、検索意図（３）の閾値条件は、ベクトル要素１の差分＞Ｐ31、ベクトル要素２の差分＞Ｐ32、ベクトル要素３の差分＞Ｐ33、…等のように各ベクトル要素１〜ｎの差分が閾値Ｐ31〜Ｐ3n以上若しくは超の場合に条件に合致するようにして、差分が大きい相違する場合を抽出可能に設定する。
【００４７】
尚、閾値条件記憶部１００６には、図３に示すように、ｎ個のベクトル要素を超える数のベクトル要素を設定可能な領域を確保し、適宜のベクトル要素の数に増加に対応可能に構成することが好ましい。
【００４８】
《演算用ベクトル生成部１００７》
演算用ベクトル生成部１００７は、ＲＯＭに記憶されている制御プログラムに従って機能するＣＰＵ等で構成され、入力部１００１で選択された検索意図種別に対応する閾値条件を閾値条件記憶部１００６から抽出し、複数の検索キーコンテンツ原始ベクトルの差分を演算し、前記抽出した閾値条件と前記閾値条件に対応するベクトル要素の前記差分とを各々対比し、前記差分が前記閾値条件に該当するものを基準値、本例では「１」とし、前記差分が前記閾値条件に該当しないものを０値として、前記基準値若しくは前記０値若しくはその双方をベクトル要素とする演算用ベクトルを生成する。前記複数の検索キーコンテンツ原始ベクトルの差分は、下記数１により演算する。また、演算用ベクトルＭは、Ｍ＝（１、０、１、０、０、…、１）のような形式で生成される。
【００４９】
【数２】
2008176772.tif 000004
【００５０】
《重み係数記憶部１００８》
重み係数記憶部１００８は、ハードディスク等で構成され、図４に示すように、検索意図種別の各々に対応し、且つ演算用ベクトルのベクトル要素の各々に対応する重み係数を記憶する。重み係数は、入力部１００１からの入力等により変更可能に重み係数記憶部１００８に設定記憶されている。図４の重み係数は、上記検索意図（１）〜（３）等の各々に対応し、且つ演算用ベクトルＭのベクトル要素１〜ｎの各々に対応するように設定され、前記重み係数で演算用ベクトルＭの各ベクトル要素を重み付け演算し、所要の共通を意味するベクトル要素或いは相違を意味するベクトル要素の意味を強調し、又は弱める。
【００５１】
図４の例では、検索意図（１）に対応する各ベクトル要素１〜ｎの重み係数をＷ11、Ｗ12、Ｗ13、…Ｗ1nとして設定し、検索意図（２）に対応する各ベクトル要素１〜ｎの重み係数をＷ21、Ｗ22、Ｗ23、…Ｗ2nとして設定し、検索意図（３）に対応する各ベクトル要素１〜ｎの重み係数をＷ31、Ｗ32、Ｗ33、…Ｗ3n等として設定しており、各ベクトル要素と対応する重み係数で各ベクトル要素を強調し、又は弱めることが可能である。尚、重み係数記憶部１００８は、上記閾値条件記憶部１００６の場合と同様に、ｎ個のベクトル要素を超える数のベクトル要素を設定可能な領域を確保し、適宜のベクトル要素の数の増加に対応可能に構成することが好ましい。
【００５２】
《問い合わせ意図ベクトル生成部１００９》
問い合わせ意図ベクトル生成部１００９は、ＲＯＭに記憶されている制御プログラムに従って機能するＣＰＵ等で構成され、前記選択された検索意図種別に対応する重み係数を重み係数記憶部１００８から抽出し、演算用ベクトルのベクトル要素を前記重み係数により重み付け演算し、前記重み付けした値をベクトル要素とする問い合わせ意図ベクトルを生成する。本実施形態に於ける問い合わせ意図ベクトルＲは、演算用ベクトルＭの各ベクトル要素１〜ｎに、各々対応する重み係数を乗算して重み付け演算して生成し、例えば検索意図（１）の場合で、上記演算用ベクトルＭ＝（１、０、１、０、０、…、１）の場合には、問い合わせ意図ベクトルＲ＝（ｒ1、０、ｒ3、０、０、…、ｒn）となり、前記ｒ１＝Ｗ11、前記ｒ３＝Ｗ13、前記ｒｎ＝Ｗ1nである。
【００５３】
《コンテンツデータベース１０１０》
コンテンツデータベース１０１０は、ハードディスク等で構成され、検索対象となる比較コンテンツ群（本実施形態では比較画像群）を格納する。前記比較コンテンツ群は、比較コンテンツ識別番号C000001〜C00000nの各々に対応してコンテンツデータベース１０１０に格納され、出力部１００２で出力可能に格納され、本実施形態ではディスプレイで表示可能に格納される。
【００５４】
《比較コンテンツ原始ベクトル記憶部１０１１》
比較コンテンツ原始ベクトル記憶部１０１１は、ハードディスク等で構成され、コンテンツデータベース１０１０に格納されている比較コンテンツ群の各々について、比較コンテンツの特徴を現す特徴値をベクトル要素とする比較コンテンツ原始ベクトルを記憶する。
【００５５】
本実施形態に於ける比較コンテンツ原始ベクトル（本実施形態では比較画像原始ベクトル）は、入力部１００１等から入力される比較コンテンツを基に、検索キーコンテンツ原始ベクトル生成部１００５と同様の構成及び機能を有する比較コンテンツ原始ベクトル生成部１０１４で生成され、比較コンテンツ原始ベクトル記憶部１０１１に格納されるようになっており、例えば比較コンテンツ（本実施形態では比較画像）の特徴を現す特徴値として各画素のＲＧＢ値を用い、比較コンテンツ原始ベクトル生成部１０１４は比較コンテンツの各画素のＲＧＢ値を取得して、各画素のＲＧＢ値を各ベクトル要素とする比較コンテンツ原始ベクトルを生成し、比較コンテンツ原始ベクトルＣi＝（ベクトル要素１、ベクトル要素２、ベクトル要素３、…、ベクトル要素ｎ）のような形式で生成され、図５に示すように、比較コンテンツ（本実施形態では比較画像）の識別番号である比較コンテンツ識別番号C00000iと対応して比較コンテンツ原始ベクトル記憶部１０１１に格納される。
【００５６】
《相関量取得部１０１２》
相関量取得部１０１２は、ＲＯＭに記憶されている制御プログラムに従って機能するＣＰＵ等で構成され、比較コンテンツ原始ベクトル記憶部１０１１から比較コンテンツ原始ベクトルを抽出し、問い合わせ意図ベクトルと比較コンテンツ原始ベクトルの各々との相関量を演算取得する。本実施形態に於ける相関量取得部１０１２は、比較コンテンツ原始ベクトル記憶部１０１１から比較コンテンツ原始ベクトルＣ1〜Ｃnを読み出し、問い合わせ意図ベクトルＲと各比較コンテンツ原始ベクトルＣ1〜Ｃnnnとの内積Ｒ・Ｃ1、Ｒ・Ｃ2、Ｒ・Ｃ3、…、Ｒ・Ｃnnnを相関量としてそれぞれ演算取得し、最大の内積値を取得して、最大内積値に対応する比較コンテンツ（本実施形態では比較画像）Ｃiの比較コンテンツ識別番号C00000iを比較コンテンツ原始ベクトル記憶部１０１１から認識し、前記比較コンテンツ識別番号C00000iをコンテンツ抽出部１０１３に出力する。
【００５７】
尚、前記構成に代え、相関量取得部１０１２が、問い合わせ意図ベクトルＲと各比較コンテンツ原始ベクトルＣ1〜Ｃnnnとの内積Ｒ・Ｃ1、Ｒ・Ｃ2、Ｒ・Ｃ3、…、Ｒ・Ｃnnnを相関量として演算取得し、内積の大きさの順位を特定すると共に、前記比較コンテンツ原始ベクトルＣ1〜Ｃnnnの各内積にそれぞれ対応する比較コンテンツ識別番号C000001〜C00000nを比較コンテンツ原始ベクトル記憶部１０１１から認識し、内積の大きい順に並び替えた比較コンテンツ識別番号C000001〜C00000nをコンテンツ抽出部１０１３に出力する構成としてもよい。また、前記構成では、比較コンテンツ原始ベクトルC1〜Cnnnの全ての内積について順位を特定する構成、或いは所定記憶部に設定されている所定数の内積について順位を特定し、前記所定数に対応する比較コンテンツ識別番号についてだけ処理する構成としてもよい。
【００５８】
また、問い合わせ意図ベクトルＲと比較コンテンツ原始ベクトルＣとの相関量には、前記内積以外にも適宜の数値を用いることが可能であり、例えばコサイン：cos（Ｒ,Ｃ）や、或いは距離：（Ｒ２＋Ｃ２）０．５等を用いることができる。
【００５９】
《コンテンツ抽出部１０１３》
コンテンツ抽出部１０１３は、ＲＯＭに記憶されている制御プログラムに従って機能するＣＰＵ等で構成され、少なくとも、比較コンテンツ群の中から前記相関量が最も高いコンテンツ（本実施形態では画像）をコンテンツデータベース１０１０から抽出し、前記抽出コンテンツ（本実施形態では抽出画像）を出力部１００２で出力する。本実施形態のコンテンツ抽出部１０１３は、相関量取得部１０１２から内積が最大の比較コンテンツ識別番号C00000iが入力され、コンテンツデータベース１０１０の比較コンテンツ識別番号C000001〜C00000nに各々対応する比較コンテンツ群の中から比較コンテンツ識別番号C00000iに対応する比較コンテンツを抽出し、前記抽出した比較コンテンツを出力部１００２で出力する（本実施形態では抽出画像をディスプレイで出力する）。
【００６０】
尚、コンテンツ抽出部１０１３が相関量取得部１０１２から内積の大きい順に並び替えた比較コンテンツ識別番号C000001〜C00000n或いは前記所定数の比較コンテンツ識別番号を入力される構成の場合には、コンテンツ抽出部１０１３は、コンテンツデータベース１０１０から比較コンテンツ識別番号C000001〜C00000nに対応する全比較コンテンツ（本実施形態では全比較画像）或いは前記所定数の比較コンテンツ識別番号に対応する比較コンテンツ（本実施形態では比較画像）を抽出し、前記内積の大きい順に前記比較コンテンツを並び替えて、前記並び替えた順で比較コンテンツを出力部１００２から出力する（本実施形態では比較画像をディスプレイで出力する）。
【００６１】
また、前記通信制御部を介して外部の端末と送受信する構成では、前記内積が最大の比較コンテンツ或いは前記内積の大きい順に並び替えた比較コンテンツを、通信制御部を介して外部端末で出力可能に送信する構成とする。
【００６２】
《第１実施形態のコンテンツ検索システムの検索処理手順》
第１実施形態のコンテンツ検索システムが検索処理を行う際には、例えば検索意図種別選択制御部１００４が検索意図種別記憶部１００３に記憶されている検索意図種別を抽出し、所定記憶部に記憶されている画面データを用い、複数の検索キーコンテンツ（本実施形態では検索キー画像）の入力を検索者に促すと共に検索意図種別を表示して検索意図種別の選択入力を促す画面を出力部１００２で出力する。そして、入力部１００１からの複数の検索キーコンテンツ（本実施形態では検索キー画像）の入力と検索意図種別の選択入力に応じて（Ｓ１０１）、検索キーコンテンツ原始ベクトル生成部１００５は、複数の検索キーコンテンツ（本実施形態では複数の検索キー画像）の各々について、特徴値として各画素のＲＧＢ値を取得し、各画素のＲＧＢ値を各ベクトル要素とする検索キー画像原始ベクトルＱiを生成する（Ｓ１０２）。
【００６３】
更に、演算用ベクトル生成部１００７は、前記選択された検索意図種別に対応する閾値条件を閾値条件記憶部１００６から抽出し、複数の検索キーコンテンツ原始ベクトルの差分を演算し、前記抽出した閾値条件と前記閾値条件に対応するベクトル要素の差分とを各々対比し、前記差分が前記閾値条件に該当するものを「１」、前記差分が前記閾値条件に該当しないものを「０」として、「１」と「０」の２値をベクトル要素とする演算用ベクトルＭを生成する（Ｓ１０３）。その後、問い合わせ意図ベクトル生成部１００９は、前記選択された検索意図種別に対応する重み係数を重み係数記憶部１００８から抽出し、前記演算用ベクトルＭの各ベクトル要素にそれぞれ対応する重み係数を乗算して重み付け演算し、問い合わせ意図ベクトルＲを生成する（Ｓ１０４）。
【００６４】
そして、相関量取得部１０１２は、比較コンテンツ原始ベクトル記憶部１０１１から比較コンテンツ原始ベクトルＣ1〜Ｃnnnを抽出し、前記生成した問い合わせ意図ベクトルＲと比較コンテンツ原始ベクトルＣ1〜Ｃnnnの各々の内積Ｒ・Ｃ1、Ｒ・Ｃ2、Ｒ・Ｃ3、…、Ｒ・Ｃnnnを相関量としてそれぞれ演算取得し（Ｓ１０５）、最大の内積値を取得して、最大内積値に対応する比較コンテンツＣiの比較コンテンツ識別番号C00000iをコンテンツ抽出部１０１３に出力する（Ｓ１０６）。
【００６５】
コンテンツ抽出部１０１３は、相関量取得部１０１２から内積が最大の比較コンテンツ識別番号C00000iが入力され、コンテンツデータベース１０１０の比較コンテンツ識別番号C000001〜C00000nに各々対応する比較コンテンツ群の中から比較コンテンツ識別番号C00000iに対応する比較コンテンツを抽出し、前記抽出した比較コンテンツ（本実施形態では比較画像）を出力部１００２で出力する（Ｓ１０７）。
【００６６】
第１実施形態のコンテンツ検索システムは、検索キーコンテンツ原始ベクトルＱiの差分を閾値条件と対比して演算用ベクトルＭを生成することにより、共通する特徴だけでなく相違する特徴も必要に応じて抽出し、検索キーコンテンツの特徴情報を検索意図に沿って取捨選択して、演算用ベクトルＭを生成することができる。更に、重み係数の重み付け演算で問い合わせ意図ベクトルＲを生成することにより、特徴情報に検索意図に沿った強弱を付けて問い合わせ意図ベクトルＲを生成することができる。これにより、検索者の問い合わせ意図を明確にし、より問い合わせ意図に沿った画像を検索することができる。また、単一の問い合わせ画像では表現できない検索者の問い合わせ意図に対応する内容を有する画像を検索することができる。
【００６７】
また、閾値条件や重み係数を変更可能に設定することにより、検索キーコンテンツの特定の特徴情報を検索意図に沿って取捨選択し、或いは特定の特徴情報に強弱をつける設定を必要に応じて行うことができる。従って、例えばシステムの運用動向を見ながらの検索精度の改善や、心理学的な研究成果を反映させての検索精度の改善など、随時、より一層検索者の意図に沿った問い合わせの生成と、検索者の意図に沿うコンテンツの検索を可能にすることができる。また、詳細な検索意図を現す検索意図種別の各々に対応する閾値条件と重み係数を記憶し、選択された検索意図種別に対応する閾値条件と重み係数によって、演算用ベクトルＭや問い合わせ意図ベクトルＲを生成することにより、検索者がより望んでいる詳細な検索意図に対応する検索が可能となると共に、より多様な検索が可能になる。
【００６８】
尚、上記第１実施形態のコンテンツ検索システムでは、検索キーコンテンツである検索キー画像と、比較コンテンツである比較画像の特徴を現す特徴値として各画素のＲＧＢ値を用いたが、例えばＲＧＢ値、ＲＧＢ値から求めた色の強度、輝度値、又は、画像中に含まれるオブジェクトの輪郭線の長さ、水平線との角度、角度の変化値、画像のフーリエ変換値、画像のウェーブレット変換値等の少なくとも２つの複数種を適宜組み合わせて用いてもよく、或いはＲＧＢ値以外のこれらの値を単独で用いてもよい。
【００６９】
また、検索キーコンテンツを検索キー画像とする場合、適宜の複数個とすることが可能であるが、２個、３個、４個、５個など適宜の個数とすることが可能であるが、２個とすると画像の検索精度が一層高まって好適である。他方で、後述の如く、検索キーコンテンツを検索キー文書とする場合、適宜の複数個とすることが可能であるが、５文書以上などある程度多数の文書とする方が検索精度が一層高まって好適である。
【００７０】
〔第２実施形態〕
第２実施形態のコンテンツ検索システムは、文書のコンテンツを検索対象とするコンテンツ検索システムである。その基本的な構成は、図７に示すように、入力部２００１、出力部２００２、検索意図種別記憶部２００３、検索意図種別選択制御部２００４、検索キーコンテンツ原始ベクトル生成部２００５、閾値条件記憶部２００６、演算用ベクトル生成部２００７、重み係数記憶部２００８、問い合わせ意図ベクトル生成部２００９、コンテンツデータベース２０１０、比較コンテンツ原始ベクトル記憶部２０１１、相関量取得部２０１２、コンテンツ抽出部２０１３と、比較コンテンツ原始ベクトル生成部２０１４を備える第１実施形態と同様の構成であるが、前記構成に加えて登録単語記憶部２０１５を備え、その他に必要な処理や記憶を行う所定制御処理部や所定記憶部を備える。
【００７１】
尚、装置の各部の構成は、所要機能を実現するものであれば、第１実施形態と同様に適宜であり、入力部２００１、出力部２００２、通信制御部による構成、検索意図種別記憶部２００３、検索意図種別選択制御部２００４、閾値条件記憶部２００６、演算用ベクトル生成部２００７、重み係数記憶部２００８、問い合わせ意図ベクトル生成部２００９、相関量取得部２０１２、コンテンツ抽出部２０１３等、特に言及しない構成には第１実施形態と同様の構成を用いることが可能である。
【００７２】
《登録単語記憶部２０１５》
登録単語記憶部２０１５は、ハードディスク等で構成され、図８に示すように、検索キーコンテンツ原始ベクトルのベクトル要素の各々に対応して登録単語を記憶し、登録単語は変更可能で且つ追加可能に記憶されている。図８の登録単語α１〜αｎは、検索キーコンテンツ原始ベクトルＱiのベクトル要素１〜ｎの各々に対応するように設定されている。
【００７３】
《検索キーコンテンツ原始ベクトル生成部２００５》
検索キーコンテンツ原始ベクトル生成部２００５は、ＲＯＭに記憶されている制御プログラムに従って機能するＣＰＵ等で構成され、複数の検索キーコンテンツ（本実施形態では複数の検索キー文書）の各々について、検索キーコンテンツ（本実施形態では検索キー文書）の特徴を現す特徴値をベクトル要素とする検索キーコンテンツ原始ベクトル（本実施形態では検索キー文書原始ベクトル）を生成する。本実施形態では、検索キーコンテンツ（本実施形態では検索キー文書）の特徴を現す特徴値として、登録単語記憶部２０１５の各登録単語について文書中に於ける出現頻度を取得し、各登録単語の出現頻度をベクトル要素とする検索キーコンテンツ原始ベクトルを生成する。
【００７４】
《コンテンツデータベース２０１０、比較コンテンツ原始ベクトル記憶部２０１１》
コンテンツデータベース２０１０は、ハードディスク等で構成され、検索対象となる比較コンテンツ群（本実施形態では比較文書群）を格納する。また、本実施形態に於ける比較コンテンツ原始ベクトル生成部２０１４は、特徴値として登録単語記憶部２０１５の各登録単語について各比較コンテンツ（比較文書）中の出現頻度を取得して、各登録単語の出現頻度をベクトル要素とする比較コンテンツ原始ベクトルを生成し、比較コンテンツ（本実施形態では比較文書）の識別番号と対応して比較コンテンツ原始ベクトル記憶部２０１１に格納される（図５参照）。
【００７５】
《第２実施形態のコンテンツ検索システムの検索処理手順》
第２実施形態のコンテンツ検索システムの検索処理は、入力部２００１からの複数の検索キーコンテンツ（本実施形態では検索キー文書）の入力と検索意図種別の選択入力に応じて、検索キーコンテンツ原始ベクトル生成部２００５が、複数の検索キーコンテンツ（本実施形態では複数の検索キー文書）の各々について、検索キーコンテンツ（本実施形態では検索キー文書）の特徴を現す特徴値として登録単語記憶部２０１５の各登録単語について各キー文書中に於ける出現頻度を取得し、各登録単語の出現頻度をベクトル要素とする検索キーコンテンツ原始ベクトルを生成する。その他の基本的な処理は第１実施形態と同様である。そして、第２実施形態のコンテンツ検索システムも第１実施形態と同様の効果を奏する。
【００７６】
尚、上記第２実施形態のコンテンツ検索システムでは、検索キーコンテンツである検索キー文書と、比較コンテンツである比較文書の特徴を現す特徴値として各登録単語の文書中に於ける出現頻度を用いたが、例えば登録単語の文書中に於ける出現頻度、又は、単語が単独の比較文書若しくは単独の検索キー文書に出現した頻度と単語が比較文書の全文書集合中に出現した頻度との比例値、又は、単語が単独の比較文書若しくは単独の検索キー文書に出現した頻度と予め登録した単語の重みとの重み付け値などの少なくとも２つの複数種を適宜組み合わせて用いてもよく、或いは登録単語の文書中に於ける出現頻度以外のこれらの値を単独で用いてもよい。
【００７７】
〔第３実施形態〕
第３実施形態のコンテンツ検索システムは、音楽、音声、自然音など音のコンテンツを検索対象とするコンテンツ検索システムである。その基本的な構成は、図９に示すように、入力部３００１、出力部３００２、検索意図種別記憶部３００３、検索意図種別選択制御部３００４、検索キーコンテンツ原始ベクトル生成部３００５、閾値条件記憶部３００６、演算用ベクトル生成部３００７、重み係数記憶部３００８、問い合わせ意図ベクトル生成部３００９、コンテンツデータベース３０１０、比較コンテンツ原始ベクトル記憶部３０１１、相関量取得部３０１２、コンテンツ抽出部３０１３と、比較コンテンツ原始ベクトル生成部３０１４を備える第１実施形態と同様の構成であり、その他に必要な処理や記憶を行う所定制御処理部や所定記憶部を備える。
【００７８】
尚、装置の各部の構成は、所要機能を実現するものであれば、第１実施形態と同様に適宜であり、検索意図種別記憶部３００３、検索意図種別選択制御部３００４、閾値条件記憶部３００６、演算用ベクトル生成部３００７、重み係数記憶部３００８、問い合わせ意図ベクトル生成部３００９、相関量取得部３０１２等、特に言及しない構成には第１実施形態と同様の構成を用いることが可能である。
【００７９】
《入力部３００１、出力部３００２》
入力部３００１は、キーボード・マウス・スキャナー・検索キー音の入力が可能なマイクロフォン等で構成され、又、出力部３００２は、検索指令の入力画面など画像を表示するためのディスプレイや検索音の出力が可能なスピーカ等で構成される。尚、入力部３００１と出力部３００２を設ける構成と共に、或いは前記構成に代え、コンテンツ検索システムに通信制御部を設け、前記コンテンツ検索システムが、通信制御部を介して接続される外部の端末から、入力部３００１から入力されるデータに相当するデータを受信し、前記外部の端末に、出力部３００２に出力するデータに相当するデータを送信する構成としてもよい。
【００８０】
《検索キーコンテンツ原始ベクトル生成部３００５》
検索キーコンテンツ原始ベクトル生成部３００５は、ＲＯＭに記憶されている制御プログラムに従って機能するＣＰＵ等で構成され、複数の検索キーコンテンツ（本実施形態では複数の検索キー音）の各々について、検索キーコンテンツ（本実施形態では検索キー音）の特徴を現す特徴値をベクトル要素とする検索キーコンテンツ原始ベクトル（本実施形態では検索キー音原始ベクトル）を生成する。本実施形態では、検索キーコンテンツ（本実施形態では検索キー音）の特徴を現す特徴値として、例えば音声信号の開始時刻など所定時刻から所定時間刻み毎の強度（開始時刻とｔ１とｔ２とｔ３は一定の時間間隔とした場合に、時刻０からｔ１秒後の強度、ｔ２秒後の強度、ｔ３秒後の強度等）を取得し、各時刻での強度をベクトル要素とする検索キー原始ベクトルを生成する。
【００８１】
《コンテンツデータベース３０１０、比較コンテンツ原始ベクトル記憶部３０１１》
コンテンツデータベース３０１０は、ハードディスク等で構成され、検索対象となる比較コンテンツ群（本実施形態では比較音群）を格納する。また、本実施形態に於ける比較コンテンツ原始ベクトル生成部３０１４は、特徴値として、例えば音声信号の開始時刻など所定時刻から所定時間刻み毎の強度を取得し、各時刻での強度をベクトル要素とする比較コンテンツ原始ベクトルを生成し、比較コンテンツ（本実施形態では比較音）の識別番号と対応して比較コンテンツ原始ベクトル記憶部２０１１に格納される（図５参照）。
【００８２】
《コンテンツ抽出部３０１３》
コンテンツ抽出部３０１３は、ＲＯＭに記憶されている制御プログラムに従って機能するＣＰＵ等で構成され、少なくとも、比較コンテンツ群の中から前記相関量が最も高いコンテンツ（本実施形態では音）をコンテンツデータベース３０１０から抽出し、前記抽出コンテンツ（本実施形態では抽出音）を出力部３００２であるスピーカで出力する。
【００８３】
尚、コンテンツ抽出部３０１３が相関量取得部３０１２から内積の大きい順に並び替えた比較コンテンツ識別番号C000001〜C00000n或いは前記所定数の比較コンテンツ識別番号を入力される構成の場合には、コンテンツ抽出部３０１３は、コンテンツデータベース３０１０から比較コンテンツ識別番号C000001〜C00000nに対応する全比較コンテンツ（本実施形態では全比較音）或いは前記所定数の比較コンテンツ識別番号に対応する比較コンテンツ（本実施形態では比較音）を抽出し、前記比較コンテンツと対応して記憶されている比較コンテンツの題名について前記内積の大きい順に並び替えて、前記並び替えた順で題名を出力部３００２であるディスプレイで出力すると共に、前記出力した題名から入力部３００１によって検索者に指定入力された比較コンテンツについて出力部３００２であるスピーカで出力する構成としてもよい。
【００８４】
また、前記通信制御部を介して外部の端末と送受信する構成では、前記内積が最大の比較コンテンツ或いは前記内積の大きい順に並び替えた比較コンテンツの題名を、通信制御部を介して外部端末で出力可能に送信する構成とし、更に前記並び替えの構成では外部端末で指定入力された比較コンテンツについて外部端末のスピーカで出力可能に送信する構成としてもよい。
【００８５】
《第３実施形態のコンテンツ検索システムの検索処理手順》
第３実施形態のコンテンツ検索システムの検索処理は、入力部３００１からの複数の検索キーコンテンツ（本実施形態では検索キー音）の入力と検索意図種別の選択入力に応じて、検索キーコンテンツ原始ベクトル生成部３００５が、複数の検索キーコンテンツ（本実施形態では複数の検索キー音）の各々について、検索キーコンテンツ（本実施形態では検索キー音）の特徴を現す特徴値として、例えば音声信号の開始時刻など所定時刻から所定時間刻み毎の強度を取得し、各時刻での強度をベクトル要素とする検索キー原始ベクトルを生成する。また、出力時には検索された音が出力部３００２であるスピーカで出力される。その他の基本的な処理は第１実施形態と同様である。そして、第３実施形態のコンテンツ検索システムも第１実施形態と同様の効果を奏する。
【００８６】
尚、上記第１実施形態のコンテンツ検索システムでは、検索キーコンテンツである検索キー音と、比較コンテンツである比較音の特徴を現す特徴値として、所定時刻から所定時間刻み毎の強度を用いたが、例えば所定時刻から所定時間刻み毎の音声信号の強度、音声信号の周波数、音声信号のフーリエ変換値、音声信号のウェーブレット変換値等の少なくとも２つの複数種を適宜組み合わせてもよく、或いは所定時刻から所定時間刻み毎の音声信号の強度以外のこれらの値を単独で用いてもよい。
【００８７】
〔第４実施形態〕
第１実施形態〜第３実施形態のコンテンツ検索システムは、画像、文書又は音をそれぞれ検索対象とする構成としたが、第１〜第３実施形態の構成を適宜組み合わせ、画像、文書又は音の少なくとも何れか２つが組み合わされたコンテンツを検索対象とする構成としてもよい。
【００８８】
この場合、例えば検索キーコンテンツ原始ベクトル生成部は、複数の検索キーコンテンツの各々について、例えば検索キーコンテンツの画像に対応する特徴値、検索キーコンテンツの文書に対応する特徴値及び検索キーコンテンツの音に対応する特徴値等、検索キーコンテンツの複数種の特徴値をベクトル要素とする検索キーコンテンツ原始ベクトルを生成すると共に、前記検索キーコンテンツ原始ベクトルと対応するようにして、比較コンテンツ原始ベクトルも複数種の特徴値をベクトル要素とする比較コンテンツ原始ベクトルを生成し、比較コンテンツ原始ベクトルを比較コンテンツ原始ベクトル記憶部に記憶する。また、閾値条件記憶部、重み係数記憶部も検索キーコンテンツ原始ベクトルのベクトル要素に対応するようにして閾値条件や重み係数を記憶する。そして、上記と同様の処理で、演算用ベクトルを生成し、問い合わせ意図ベクトル生成して相関量を取得し、比較コンテンツの中から相関量の大きいコンテンツを抽出して出力する。
【００８９】
更に、画像、文書又は音の少なくとも何れか２つが組み合わせによる検索と、画像、文書又は音による単独の検索など、複数種の検索が可能なコンテンツでシステムを構成する場合、複数種の検索の内の何れの検索かを検索意図として選択させ、その選択された種類の検索を行う構成とすると好適である。この場合、検索キーコンテンツ原始ベクトルと同次元のベクトル要素を有し、且つ各検索種別に対応する比較コンテンツ原始ベクトルを比較コンテンツ原始ベクトル記憶部に格納すると共に、閾値条件記憶部、重み係数記憶部にも同様に各検索種別に対応する閾値条件、重み係数を各ベクトル要素の対応して記憶する。そして、検索キーコンテンツ原始ベクトル生成部が、選択された種別の検索に対応する検索キーコンテンツ原始ベクトルを生成し、前記検索種別のベクトル要素に対応する閾値条件や重み係数を用いて、演算用ベクトル、問い合わせ意図ベクトルを生成し、前記検索種別に対応する比較コンテンツ原始ベクトルと前記問い合わせ意図ベクトルの相関量を取得し、比較コンテンツの中から相関量の大きいコンテンツを抽出して出力する構成とするとよい。
【００９０】
前記構成により、例えば画像と音楽を有するコンテンツの画像と音楽の双方に対する検索、画像部分に対する検索、音楽部分に対する検索等を行うことが可能になり、検索者がより一層望んでいる詳細な検索意図に対応する検索が可能となると共に、より一層多様な検索が可能になる。
【００９１】
〔第５実施形態〕
上記実施形態の変形として、コンテンツ検索システムを、複数の検索キーコンテンツの各々について、検索キーコンテンツの特徴を現す特徴値をベクトル要素とする検索キーコンテンツ原始ベクトルを生成する検索キーコンテンツ原始ベクトル生成部と、前記検索キーコンテンツ原始ベクトルの差分を演算し、前記差分と設定記憶されている閾値パラメーター群とを対比し、前記差分が前記閾値パラメーターの条件に該当するものを基準値、前記差分が前記閾値パラメーターの条件に該当しないものを０値として、前記基準値若しくは前記０値若しくはその双方をベクトル要素とする演算用ベクトル群を生成する演算用ベクトル群生成部と、前記演算用ベクトル群のベクトル要素の各々に対応する重みパラメーター群を記憶する重みパラメーター群記憶部と、前記重みパラメーター群記憶部から重みパラメーター群を抽出し、前記演算用ベクトル群のベクトル要素を前記重みパラメーター群により重み付け演算し、又は前記演算用ベクトル群から共通要素を表す共通要素ベクトルを取得若しくは所定式に従って共通要素を表す共通要素ベクトルを演算取得すると共に、所定式に従って差分要素を現す差分要素ベクトルを演算取得して、前記共通要素ベクトルのベクトル要素と前記差分要素ベクトルのベクトル要素を前記重みパラメーター群により重み付け演算し、前記重み付けした値をベクトル要素とする問い合わせ意図ベクトルを生成する問い合わせ意図ベクトルを生成部と、コンテンツデータベースに格納されている比較コンテンツ群の各々について、比較コンテンツの特徴を現す特徴値をベクトル要素とする比較コンテンツ原始ベクトルを記憶する比較コンテンツ原始ベクトル記憶部と、前記比較コンテンツ原始ベクトル記憶部から比較コンテンツ原始ベクトルを抽出し、前記問い合わせ意図ベクトルと前記比較コンテンツ原始ベクトルの各々との相関量を演算取得する相関量取得部と、少なくとも、前記比較コンテンツ群の中から前記相関量が最も高いコンテンツを前記コンテンツデータベースから抽出するコンテンツ抽出部とを備える構成としてもよく、例えば第５実施形態の如く構成することが可能である。尚、前記共通要素ベクトル、差分要素ベクトルは、それぞれ問い合わせ意図の特徴を表すものである。
図１０は第５実施形態のコンテンツ検索システム（画像検索システム）の構成図である。装置の各部は、所要機能を実現するものであれば、それぞれが専用のプログラムメモリやデータメモリやプロセッサを含む機器としてもよいし、又、複数の機能部を同一のＣＰＵがＲＯＭやＲＡＭやハードディスク等に記憶された各機能プログラムを実行して実現する構成としてもよいし、各機能に対応する特定のハードウェアを制御する制御プログラムを実行して実現する構成としてもよい。
【００９２】
《入力装置１１》
図１０に示す第５実施形態の入力装置１１は、中央制御部、記憶部、通信制御部、命令実行の指示の入力や問い合わせ画像・演算パラメーター・問い合わせ意図指令・問い合わせ意図パラメーター・比較対象画像等の入力が可能なキーボード・マウス・スキャナー等の入力部、検索結果・エラーメッセージなどを表示可能な表示部等を備えるコンピュータ装置である。入力装置１１或いはその通信制御部は、通信回線を介して画像検索システムと外部装置とを接続し、両者の間でのデータの入出力を制御し、ユーザ側装置であるクライアント端末から送信された問い合わせ画像群、問い合わせ意図指令群、第１のパラメーター群である演算パラメーター群、第２のパラメーター群である問い合わせ意図パラメーター群、及び、画像データベース１８から送信された比較画像群を受信し、画像検索システムの各所定装置へ出力し、例えば、問い合わせ画像群と比較対象画像群を原始ベクトル生成装置１２へ、演算パラメーター群を演算用ベクトル生成装置１４へ、問い合わせ意図指令群と問い合わせ意図パラメーター群を問い合わせ意図ベクトル生成装置１５へ出力する。
【００９３】
また、入力装置１１は、受信したn個の問い合わせ画像群に、文字QMと1からnまでの番号、つまり、QM1からQMnまでの記号を付け、記号を付した問い合わせ画像を原始ベクトル生成装置１２へ出力する。入力装置１１は、受信したm個の比較対象画像群に、文字IMと1からmまでの番号、つまり、IM1からIMmまでの記号を付け、記号を付した比較対象画像を原始ベクトル生成装置１２へ出力する。入力装置１１は、受信したl+1個の第１のパラメーター群である演算パラメーター群に、文字eと0からlまでの番号、つまり、e0からelまでの記号を付け、記号を付した演算パラメーターを演算用ベクトル生成装置１４へ出力する。入力装置１１は、受信したt個の問い合わせ意図指令群に、文字CMDと1からtまでの番号、つまり、CMD1からCMDtまでの記号を付け、記号を付した問い合わせ意図指令を問い合わせ意図ベクトル生成装置１５へ出力する。入力装置１１は、受信したs+1個の第２のパラメーター群である問い合わせ意図パラメーター群に、文字Pと0からsまでの番号、P0からPsまでの記号を付け、記号を付した問い合わせ意図パラメーターを問い合わせ意図ベクトル生成装置１５へ出力する。
【００９４】
図１１は、本実施形態のシステムの処理手順を示すフローチャートである。まず、入力装置１０１は、ステップS201で、入力されたデータが問い合わせ画像であるかどうかを判断する。問い合わせ画像であれば、上記記号を付して原始ベクトル生成装置１２に出力し、ステップS201からステップS202に進む。原始ベクトル生成装置１２は、ステップS202で、問い合わせ画像から問い合わせ画像の原始ベクトルを生成する処理を実行し、ステップS203で、問い合わせ画像の原始ベクトルを記憶装置１３に保存する処理を実施し、ステップS201に戻る。一方、入力されたデータが問い合わせ画像でない場合、入力装置１１は、ステップS204で、入力されたデータが比較対象画像であるかどうかを判断する。入力されたデータが比較対象画像であれば、上記記号を付して原始ベクトル生成装置１２に出力し、ステップS204からステップS202、S203に進む。原始ベクトル生成装置１２は、ステップS202で比較対象画像から比較対象画像の原始ベクトルを生成する処理を実行し、ステップS203で、比較対象画像の原始ベクトルを記憶装置１３に保存する処理を実施し、ステップS201に戻る。
【００９５】
更に、入力装置１１は、ステップS205で、入力されたデータが演算パラメーターであるかどうかを判断する。演算パラメーターであれば、上記記号を付して演算用ベクトル生成装置１４へ出力し、ステップS205からステップS206、S207、S203に進む。演算用ベクトル生成装置１４は、ステップS206 で、問い合わせ画像群の特徴群の差分算出処理（問い合わせ画像の原始ベクトル群の差分算出処理）を実施し、ステップS207で、問い合わせ画像の原始ベクトルから演算用ベクトルを生成する処理を実施し、ステップS203で、演算用ベクトルを記憶装置１３に保存する処理を実施し、ステップS201に戻る。
【００９６】
また、入力装置１１は、ステップS208で、入力されたデータが問い合わせ意図指令であるかどうかを判断する。入力されたデータが問い合わせ意図指令であれば、ステップS208からステップS209に進み、ステップS209で問い合わせ意図パラメーターの入力を待つ。正しい入力がされず、問い合わせ意図指令でない場合には、S211でエラーコードを‘１’にセットし、ステップS213に進み、エラー処理を実行する。
【００９７】
更に、入力装置１１は、ステップS209で、入力されたデータが問い合わせ意図パラメーターであるかどうかを判断する。問い合わせ意図パラメーターであれば、上記記号を付して問い合わせ意図ベクトル生成装置１５へ出力し、ステップS209からステップS210に進む。問い合わせ意図ベクトル生成装置１５は、ステップS210で、問い合わせ意図指令と問い合わせ意図パラメーターとに従い、問い合わせ意図ベクトルの生成処理を実施し、相関計量装置１６へ出力し、ステップS215に進む。他方、入力装置１１は、問い合わせ意図パラメーターでなければ、S212でエラーコードを‘２’にセットし、ステップS213に進み、エラー処理を実行する。
【００９８】
相関計量装置１６は、ステップS215で、問い合わせ意図ベクトルの生成処理が終了したか否かを判断する。終了したら、ステップS214に進む。相関計量装置１６は、ステップS214で、問い合わせ意図ベクトルと比較対象画像の原始ベクトルとの相関量計算処理を実行し、画像抽出装置１７は、S216で、画像抽出処理を実施し、ステップS201に戻る。
【００９９】
《原始ベクトル生成装置１２》
図１０において、原始ベクトル生成装置１２は、入力装置１１から入力された問い合わせ画像QMiから画素値など画像の特徴群を抽出し、該画像特徴群から問い合わせ画像QMiの原始ベクトルを生成し、当該原始ベクトルに問い合わせ画像QMiと対応する記号QMiを付け、当該原始ベクトルQMiを記憶装置１３に出力する。また、原始ベクトル生成装置１２は、入力装置１０１から入力された比較対象画像IMiであれば、上記問い合わせ画像QMiと同様な処理を行って、比較対象画像IMiの原始ベクトルIMiを生成し、当該原始ベクトルに比較対象画像IMiと対応する記号IMiを付け、当該原始ベクトルIMiを記憶装置１３に出力する。
【０１００】
原始ベクトル生成装置１２の原始ベクトルの生成処理の仕方は適宜であり、例えば画像の画素の色を特徴群として用い、画像全体、所定領域若しくは所定位置の各画素のＲＧＢ値を画像の特徴群とし、その特徴群を要素として原始ベクトルを生成する構成、或いは、既存の画像変換技術を用い、ＲＧＢ／ＨＳＶ変換技術で画素のＲＧＢ値を変換してＨ値（色相）、Ｓ値（彩度）、Ｖ値（明度）を画像の特徴群として抽出し、その特徴群を要素として原始ベクトルを生成する若しくは原始ベクトルに変換する構成、又は、画像全体、所定領域若しくは所定位置の各画素の輝度値を特徴群とし、それを原始ベクトルの要素とする構成、又は、画素の濃淡差を閾値で区分する等で画像中に含まれる輪郭線を特徴群として取得し、その輪郭線の長さ、角度の変化値を要素とする原始ベクトルを生成する構成等とすることが可能である。また、原始ベクトルの生成処理では、一種類の画像の特徴群に基づき原始ベクトルを生成する構成又は、複数種類の画像の特徴群に基づき原始ベクトルを生成する構成とすることが可能であり、後者の場合には、例えば色、輝度、輪郭線を特徴群とし、色に基づく要素、輝度に基づく要素、輪郭線に基づく要素で構成される原始ベクトルを生成する構成等とすることができる。
【０１０１】
次に、画像の画素のＲＧＢ値を画像の特徴として原始ベクトルを生成する場合に於ける、原始ベクトル生成装置１２の動作手順について説明する。図１２は、原始ベクトル生成装置１２の処理手順と、画像QM1、QM2を例とするデータ変換過程を示す図である。原始ベクトル生成装置１２は、S301で、画像の特徴である３色、Ｒ、Ｇ、Ｂ値の抽出処理を実施し、S302で、抽出した画素値から画像の原始ベクトルを生成する処理を実施する。
【０１０２】
画像QM1に対する変換処理は、START1からステップS301の処理結果に進み、S301で画像QM1から、３つの画素行列、R、G、Bを生成し、ステップS302の処理結果に進み、S302で生成された３つの画素行列から画像の原始ベクトルQMiを生成し、END1に進み、処理を終了する。図３において、上記行列を原始ベクトルに変換する手順は、まず、行列＝［v1, v2,…, vｋ, …, vn］の各列の列ベクトルvkを求め、その後、各列ベクトルの転置ベクトルv'kを求め、最後は、ベクトルv'kを一行に並べ、原始ベクトル＝［ v'1, v'2, …, v'k, …, v'n］を生成する。画像QM2の原始ベクトルQm2の生成処理は、上記と同様にSTART2から開始し、END2までで処理を終了する。
【０１０３】
《記憶装置１３》
記憶装置１３は、所定装置の処理の過程で生成されるデータを一時記憶するためのＲＡＭ、ハードディスクなどの揮発性主記憶装置と不揮発性の補助記憶装置などを含み、各種処理手順に対応するプログラム又は所定処理手順に対応するプログラムや、処理過程で生成される所定データを記憶する。例えば、問い合わせ画像の原始ベクトル群、比較対象画像の原始ベクトル群、演算用ベクトル群、問い合わせ意図ベクトル、及び問い合わせ意図パラメーター群、問い合わせ意図指令群と演算パラメーター群などを記憶装置１３は記憶する。尚、所要プログラムや所要データは記憶装置１３以外の各装置に記憶させてもよい。
【０１０４】
《演算用ベクトル生成装置１４》
演算用ベクトル生成装置１４は、各問い合わせ画像QMiの特徴を示す演算用ベクトルRiを取得する。即ち、複数の問い合わせ画像QM1〜QMnまでの原始ベクトルQM1〜QMnを記憶装置１３から読み出し、演算パラメーター群を閾値として使用し、問い合わせ画像QMiの原始ベクトルQMiの各要素kQMiと演算パラメーターeiの比較演算を行い演算用ベクトルRiの各要素rkを求め（下記数２参照）、記憶装置１３に出力して記憶する。要素kQMiの値がパラメーターeiの値より大きい場合、Riの要素rkを‘１’にセットし、そうではない場合、‘０’にセットする。
【０１０５】
【数３】
2008176772.tif 000005
【０１０６】
演算用ベクトル生成装置１４は、問い合わせ画像QMi〜QMnの共通特徴を示す演算用ベクトルRcを取得する。即ち、複数の問い合わせ画像QM1〜QMnまでの原始ベクトルQM1〜QMnの差分ベクトルDiffを求め、差分ベクトルDiffの各要素kDiffと、閾値である演算パラメーターe0との比較演算を上記と同様に行い、演算用ベクトルRｃの各要素rkを求め（下記数３参照）、記憶装置１３に出力して記憶する。要素kDiffの値がパラメーターe0の値以下若しくは未満の場合、Rｃの要素rkを‘１’にセットし、そうではない場合、‘０’にセットする。
【０１０７】
【数４】
2008176772.tif 000006
【０１０８】
以下では、２つの問い合わせ画像QM1、QM2の原始ベクトルQM1、QM2から演算用ベクトルを生成する処理について説明する。図１３は演算用ベクトル生成装置１４の処理手順と、画像QM1、QM2の原始ベクトルQM1、QM2を例とするデータ変換過程を示す図である。図１３において、演算用ベクトル生成装置１４は、ステップS401で、画像QM1の原始ベクトルQM1と画像QM2の原始ベクトルQM2を読み出し、ステップS402に進み、S402で原始ベクトルQM1と原始ベクトルQM2の差分から１つの差分ベクトルDiffを生成し（下記数４参照）、ステップS403に進む。演算用ベクトル生成装置１４は、S403で、画像QM1、QM2の共通特徴を示す演算用ベクトルと、画像QM1の特徴又は画像QM2の特徴を示す演算用ベクトルとで構成される演算用ベクトル群の記憶保存記号を定義し、ステップS404に進み、S404で、画像QM1、QM2の共通特徴を示す、差分ベクトルDiffの演算用ベクトルRc、画像QM1の特徴を示す演算用ベクトルR1、画像QM2の特徴を示す演算用ベクトルR2を生成し、ENDに進み、処理を終了する。図１３において、差分ベクトルDiffは、上記定義された２つの原始ベクトルQM1とQM2の算術差を求め、求めた結果の絶対値を使用し生成される。演算用ベクトルRcは、上記生成された差分ベクトルDiffの各要素kDiffと演算パラメーターe0との比較演算により、生成される（下記数５参照）。演算用ベクトルR1は、上記原始ベクトルQM1の各要素kQM1と演算パラメーターe1との比較演算により、生成される（下記数６参照）。演算用ベクトルR2は、上記生成されたベクトルQM2の各要素kQM2と演算パラメーターe2との比較演算により、生成される（下記数７参照）。
【０１０９】
【数５】
2008176772.tif 000007
【０１１０】
【数６】
2008176772.tif 000008
【０１１１】
【数７】
2008176772.tif 000009
【０１１２】
【数８】
2008176772.tif 000010
【０１１３】
《問い合わせ意図ベクトル生成装置１５》
図１４において、問い合わせ意図ベクトル生成装置１５は、入力装置１１から入力された問い合わせ意図指令を、問い合わせ意図指令解釈装置５０１において解釈し、解釈により形成された制御信号を、演算用ベクトル読み取り装置５０２と、ベクトル演算装置５０３に出力し、制御信号に従い、演算用ベクトル読み取り装置５０２において、演算用ベクトル群を記憶装置１３から読み出し、ベクトル演算装置５０３において、入力装置１１から入力された問い合わせ意図パラメーターと演算用ベクトルを制御信号に従い、問い合わせ意図ベクトルＲを生成し、生成した問い合わせ意図ベクトルＲを記憶装置１３に保存する。
【０１１４】
演算用ベクトル読み取り装置５０２は、以前の処理工程で生成された問い合わせ意図ベクトルを制御信号に従い記憶装置１３から読み出し、ベクトル演算装置５０３に出力する機能がある。また、演算用ベクトル読み取り装置５０２は、ベクトルの加算（＋）、減算（−）、乗算（＊）、除算（／）、論理演算（AND、OR、NOT）、及びベクトル各要素に対する比較演算（>, >=, =, <=, <）機能がある。
【０１１５】
以下に、上記問い合わせ画像QM1とQM2のＲＧＢ値に基づき生成した演算用ベクトルの例により、問い合わせ意図ベクトルを生成する処理手順を説明する。図１５は問い合わせ意図ベクトル生成装置１５の処理手順を示すフローチャートである。
【０１１６】
まず、問い合わせ意図ベクトル生成装置１５は、入力装置１１から入力された問い合わせ意図指令を、ステップS601で解釈し、ステップS601からステップS602に進む。ステップS602では、ステップS601で解釈された問い合わせ意図指令に記憶されている演算用ベクトルを記憶装置１３から読み出す制御信号があるかないかを判別し、あれば、ステップS603で記憶されている演算用ベクトルを記憶装置１３から読み出す操作を行う。ステップS604では、ステップS601で解釈された問い合わせ意図指令に記憶されている問い合わせ意図ベクトルを記憶装置１３から読み出す制御信号があるかないかを判別し、あれば、ステップS605で記憶されている問い合わせ意図ベクトルを記憶装置１３から読み出す操作を行う。そして、ステップS606で、ステップS601で問い合わせ意図指令の制御信号に従ってベクトルの論理演算、算術演算などの演算を行い、問い合わせ意図ベクトルを生成し、ステップS607に進む。ステップS60７では、問い合わせ意図指令による制御が完了しているかどうかを判断し、継続処理が必要な場合、ステップS601に戻る。継続処理がない場合、ステップS608に進む。ステップS608では、生成した問い合わせ意図ベクトルを記憶装置１３に保存する。
【０１１７】
図１６は画像QM1、QM2に基づく演算用ベクトル群から問い合わせ意図ベクトルの作成までのデータ変換過程を示す図である。本例の問い合わせ意図指令は、「画像QM1とQM2の画素が重なっている部分を問い合わせの基本的な意図とするが、問い合わせ意図から重なっていない部分も排除しない」ことを基準に設定される。図７において、データの変換過程は、まず、STARTから矢印の方向に進み、最後、ENDまで辿り着き、処理が終了する。STARTから、S601の処理結果に至り、「RC、R1とR2を記憶装置１３から読み出す」の制御信号に従い、S602で演算用ベクトルRc、R1とR2を記憶装置１３から読み出す。その後、制御信号「NOT RC  AND R1 → TMP01」に従い、S606でベクトルの演算処理を行い、ベクトルTMP01を求め、継続処理があるので、S601に戻る。S601で新たな制御信号「NOT RC  AND R2 → TMP02」に従い、S606でベクトルの演算処理を行い、ベクトルTMP02を求め、継続処理があるので、S601に戻る。S601で新たな制御信号「RC * P0 + TMP01 * P1 + TMP02 * P2 → R」に従い、S606でベクトルの演算処理を行い、問い合わせ意図ベクトルRを求め、S608に進む。S608で、制御信号「Rを記憶装置に保存」に従い、問い合わせ意図ベクトルRを記憶装置１０３に保存し、ENDに進み、処理が終了する。
【０１１８】
尚、Rcは共通要素を現す共通要素ベクトル（複数の場合は共通要素ベクトル群）に相当し、TMP01、TMP02は差分要素を現す差分要素ベクトル（差分要素ベクトル群）に相当し、「NOT RC  AND R1 → TMP01」、「NOT RC  AND R2 → TMP02」は差分要素ベクトルを演算取得する際の所定式に相当し、共通要素ベクトル、差分要素ベクトルは、それぞれ問い合わせ意図の特徴を表す。また、上記例では共通要素ベクトルとして演算用ベクトルRcをそのまま用いたが、前記Rcに代えて、別途に共通要素ベクトルTMP00を所定式に従って演算取得して用いてもよい。前記共通要素ベクトルTMP00は、例えば演算用ベクトルR1、R2に基づき所定式「 R1  AND R2 → TMP00」に従って演算取得する。また、前記所定式は制御プログラム中又は記憶装置１３の所定記憶領域に設定記憶することが可能である。
【０１１９】
《相関計量装置１６》
図１０において、相関計量装置１６は、記憶装置１３に記憶されている問い合わせ意図ベクトルＲと、各比較対象画像IMiの原始ベクトルIMiとを読み出し、相関量として、問い合わせ意図ベクトルＲと各比較対象画像IMiの原始ベクトルIMiとの内積を演算し、その演算結果を画像抽出装置１７に出力する。
【０１２０】
《画像抽出装置１８》
画像抽出装置１８は、図１０に示すように、相関計量装置１６から入力される問い合わせ意図ベクトルRと比較画像IMiの原始ベクトルIMiとの内積に基づき、各画像に関わる記号（識別番号）を内積相関量の順に並べ替え、記号（識別番号）を索引記号として使用し、画像データベース１８から該当画像を抽出し、ユーザ側のクライアント端末に出力して送信する。
【０１２１】
図１７に、例として前記問い合わせ画像QM1とQM2を用い、異なる問い合わせ意図指令群の指示に従って得られる検索結果を示す。画像群E801が問い合わせ画像群として本画像検索システムに入力される。画像群E802が比較画像群として本画像検索システムに入力される。また、問い合わせ画像群の特徴は問い合わせ画像の画素集合とし、E803にある各画像（QM1、QM2、IM1〜IM6）を、E803で示されたように、3×2のブロック、1，2，3，4，5、6に分け、各ブロック画素値の平均値を、画像QM1、QM2、IM1〜IM6の特徴として抽出することを前記の原始ベクトル生成装置１２に、アルゴリズムとして設定する。図８では、問い合わせ画像群の特徴がE804で示され、２つの問い合わせ意図指令群がE805、E808が示される。そして、問い合わせ意図指令群E805の指示に従った本画像検索システムの検索結果は、E806で示され、各比較画像の原始ベクトルと問い合わせ意図ベクトルの内積値は、E807で示される。また、問い合わせ意図指令群E808の指示に従った本画像検索システムの検索結果は、E809で示され、各比較画像の原始ベクトルと問い合わせ意図ベクトルの内積値は、E810で示される。
【０１２２】
〔第６実施形態〕
上記実施形態の変形として、コンテンツ検索システムを、検索キーコンテンツの特徴を現す特徴値をベクトル要素とする検索キーコンテンツ原始ベクトルを生成する検索キーコンテンツ原始ベクトル生成部と、更新前の問い合わせ意図ベクトルを記憶する問い合わせ意図ベクトル記憶部と、前記検索キーコンテンツ原始ベクトルと前記更新前の問い合わせ意図ベクトルとの差分を演算し、前記差分と設定記憶されている閾値パラメーター群とを対比し、前記差分が前記閾値パラメーターの条件に該当するものを基準値、前記差分が前記閾値パラメーターの条件に該当しないものを０値として、前記基準値若しくは前記０値若しくはその双方をベクトル要素とする演算用ベクトル群を生成する演算用ベクトル群生成部と、前記演算用ベクトル群のベクトル要素の各々に対応する重みパラメーター群を記憶する重みパラメーター群記憶部と、前記重みパラメーター群記憶部から重みパラメーター群を抽出し、前記演算用ベクトル群のベクトル要素を前記重みパラメーター群により重み付け演算し、又は前記演算用ベクトル群から共通要素を表す共通要素ベクトルを取得若しくは所定式に従って共通要素を表す共通要素ベクトルを演算取得すると共に、所定式に従って差分要素を現す差分要素ベクトルを演算取得して、前記共通要素ベクトルのベクトル要素と前記差分要素ベクトルのベクトル要素を前記重みパラメーター群により重み付け演算し、前記重み付けした値をベクトル要素とする問い合わせ意図ベクトルを生成する問い合わせ意図ベクトルを生成部と、コンテンツデータベースに格納されている比較コンテンツ群の各々について、比較コンテンツの特徴を現す特徴値をベクトル要素とする比較コンテンツ原始ベクトルを記憶する比較コンテンツ原始ベクトル記憶部と、前記比較コンテンツ原始ベクトル記憶部から比較コンテンツ原始ベクトルを抽出し、前記問い合わせ意図ベクトルと前記比較コンテンツ原始ベクトルの各々との相関量を演算取得する相関量取得部と、少なくとも、前記比較コンテンツ群の中から前記相関量が最も高いコンテンツを前記コンテンツデータベースから抽出するコンテンツ抽出部とを備える構成としてもよく、例えば第６実施形態の如く構成することが可能である。尚、前記共通要素ベクトル、差分要素ベクトルは、それぞれ問い合わせ意図の特徴を表すものである。
第６実施形態のコンテンツ検索システム（画像検索システム）は、図１８に示すように、問い合わせ画像や検索要求が入力されるマウス、キーボード、スキャナー等の入力装置１０１、原始ベクトル生成装置１０２、記憶装置１０３、演算用ベクトル生成装置１０４、問い合わせ意図ベクトル生成装置１０５、相関計量装置１０６、画像抽出装置１０７、画像データベース１０８とで構成され、更に、検索結果の画像等を表示するためのディスプレイ等の出力装置１０９を備える。尚、画像検索システムに通信インターフェイスを設け、インターネット等の通信回線を介して接続されるクライアント端末から問い合わせ画像や検索要求を受信する構成、或いは検索結果をクライアント端末で送信する構成としてもよく、又、音楽や音声など音自体或いは音を含むコンテンツである場合には、入力装置１０１にマイクロフォン、前記出力装置１０９にスピーカを設けるとよい。
【０１２３】
記憶装置１０３は、予め設定されている場合或いは初回検索以後の検索で生成されている場合には更新前の問い合わせ意図ベクトルＲと、演算用ベクトル生成用の閾値である第１のパラメーター群である演算用パラメーター群e0, e1, e2と、問い合わせ意図ベクトルＲを記憶保持していない状態での初回検索時の演算用ベクトル（Rc、R１、R2）生成用の第１の判定式群に於けるRc の判定式(1)：｜QM1−QM2｜≦ｅ0、同R1 の判定式(2)：QM1 ＞ｅ1、同R2 =の判定式(3)：QM2 ＞ｅ2と、問い合わせ意図ベクトルＲを記憶保持している場合の演算用ベクトル生成用の第２の判定式群に於けるRc の判定式(1)：｜Ｒ−QM1｜≦ｅ0、若しくは、｜Ｒ−QM2｜≦ｅ0、同R1 の判定式(2)：Ｒ＞ｅ1、同R２ の判定式(3)：QM1 ＞ｅ2、若しくは、QM2 ＞ｅ2と、問い合わせ意図を表す係数である第２のパラメーター群P0、P1、P2と、これらの式やパラメーター等により所定処理を実行する制御プログラムを記憶しており、更に、比較画像IM1〜IMmの識別番号及び前記識別番号に対応して格納された比較画像IM1〜IMmの原始ベクトルIM1〜IMmとを入力装置１０１からの入力で変更可能に記憶している。画像データベース１０８は、比較画像IM1〜IMmの識別番号と前記識別番号に対応して比較画像IM1〜IMmとを格納する。尚、前記比較画像IM1〜IMmの原始ベクトルIM1〜IMmは、後述する問い合わせ画像QM1の原始ベクトルQM1と同様の仕方で、原始ベクトル生成装置１０２が入力された比較画像IM1〜IMmから原始ベクトルIM1〜IMmを生成し、記憶装置１０３に記憶するようにすると好適である。また、前記制御プログラム、制御プログラムで使用される式やパラメーターを部分的に変更可能に設定すると好適である。
【０１２４】
そして、入力装置１０１からの問い合わせ画像QM1（若しくはQM2）、又は問い合わせ画像QM1と問い合わせ画像QM2と、検索要求の入力に応じて、原始ベクトル生成装置１０２が、問い合わせ画像QM1（若しくはQM2）、又は問い合わせ画像QM1、QM2と検索要求を認識し、問い合わせ画像QM1（若しくはQM2）、又は問い合わせ画像QM1、画像QM2の各画素の画素データを要素とする原始ベクトルQM1（若しくはQM2）、又は原始ベクトルQM1、QM2を取得し、演算用ベクトル生成装置１０４が、更新前の問い合わせ意図ベクトルＲと原始ベクトルQM1（若しくはQM2）、又は原始ベクトルQM1とQM2の対応する要素の差の絶対値が閾値ｅ0未満若しくは以下である場合に１、それ以外の場合に０を要素とする演算用ベクトルＲcを取得し、更新前の問い合わせ意図ベクトルＲの要素の値、又は原始ベクトルQM1の要素の値が閾値ｅ1超若しくは以上である場合に１、それ以外の場合に０を要素とする演算用ベクトルＲ1を取得し、原始ベクトルQM1（若しくはQM2）の要素の値、又は原始ベクトルQM2の要素の値が閾値ｅ2超若しくは以上である場合に１、それ以外の場合に０を要素とする演算用ベクトルＲ2とを取得し、問い合わせ意図ベクトル生成装置１０５が、問い合わせ意図ベクトル算出式Ｒ＝Ｒc＊P0＋Ｒ1＊P1＋Ｒ3＊P2により、更新後の問い合わせ意図ベクトル、又は初回の問い合わせ意図ベクトルＲを算出し、相関計量装置１０６が、更新後の問い合わせ意図ベクトル、又は初回の問い合わせ意図ベクトルＲと比較画像IM1〜IMｍの原始ベクトルIM1〜IMｍの各々との内積を相関量として演算し、画像抽出装置１０７が、画像データベース１０８から比較画像IM1〜IMｍを抽出し、前記相関量の降順に並べて出力装置１０９で出力する。
【０１２５】
《原始ベクトル生成装置１０２》
原始ベクトル生成装置１０２は、問い合わせ画像QMi等について各画素の画素データを要素とする原始ベクトルQMiを取得する際には、例えば画素データとしてＲＧＢ値を用い、ｋ個の画素で構成される画像QMiの原始ベクトルQMiを、QMi＝［r1 r2…rk  g1 g2…gk  b1 b2…bk］とし、前記r1,r2,…rkはそれぞれ画素１〜ｋのＲ値、g1,g2…gkはそれぞれ画素１〜kのＧ値、b1,b2…bkはそれぞれ画素１〜ｋのＢ値とする。尚、原始ベクトルQMiの要素とする画素データはＲＧＢ値以外の情報を用いることが可能であり、例えば既存のＲＧＢ／ＨＳＶ変換技術でＲＧＢ値を変換してＨ値（色相）、Ｓ値（彩度）、Ｖ値（明度）を画素データとして用いてもよい。
【０１２６】
《演算用ベクトル生成装置１０４》
演算用ベクトル生成装置１０４は、記憶装置１０３の問い合わせ意図ベクトルＲの有無を判定し、問い合わせ意図ベクトルＲが予め設定されていない状態での初回検索の場合には、記憶装置１０３に変更可能に設定記憶された演算用ベクトル生成用の閾値である第１のパラメーターｅ0、ｅ1、ｅ2と、問い合わせ意図ベクトルＲを記憶保持していない初回検索時の演算用ベクトル生成用の第１の判定式群の式(1)：｜QM1−QM2｜≦ｅ0、式(2)：QM1 ＞ｅ1、式(3)：QM2 ＞ｅ2とに従って、演算用ベクトルＲc、Ｒ1、Ｒ2を取得する。また、問い合わせ意図ベクトルＲを記憶保持している場合には、前記第１のパラメーターｅ0、ｅ1、ｅ2と、演算用ベクトル生成用の第２の判定式群の式(1)：｜Ｒ−QM1｜≦ｅ0、若しくは、｜Ｒ−QM2｜≦ｅ0、同R1 の判定式(2)：Ｒ＞ｅ1、同R２ の判定式(3)：QM1 ＞ｅ2、若しくは、QM2 ＞ｅ2とに従って、演算用ベクトルＲc、Ｒ1、Ｒ2を取得する。
【０１２７】
より詳細には、問い合わせ意図ベクトルＲが設定されていない状態での初回検索時に於ける、演算用ベクトルＲcの取得では、入力される問い合わせ画像QM1、QM2の原始ベクトルQM1、QM2の対応要素が第１の判定式群の式(1)：｜QM1−QM2｜≦ｅ0を充足する、即ち、原始ベクトルQM1、QM2の対応する各要素の差の絶対値が閾値ｅ0未満の場合には１を要素とし、それ以外の場合には０を要素として演算用ベクトルＲcを取得する。演算用ベクトルＲ1の取得では、前記問い合わせ画像QM1、QM2の原始ベクトルQM1、QM2の対応要素が第１の判定式群の式(2)： QM1 ＞ｅ1を充足する、即ち、原始ベクトルQM1の要素の値が閾値ｅ1以上の場合には１を要素とし、それ以外の場合には０を要素として演算用ベクトルＲ1を取得する。演算用ベクトルＲ2の取得では、前記問い合わせ画像QM2の要素の値が第１の判定式群の式(3)：QM2 ＞ｅ2を充足する、即ち、原始ベクトルQM2の要素の値が閾値ｅ2以上の場合には１を要素とし、それ以外の場合には０を要素として演算用ベクトルＲ2を取得する。
【０１２８】
予め問い合わせ意図ベクトルＲが設定されている場合、或いは既に行われた検索で問い合わせ意図ベクトルＲが生成され記憶装置１０３に格納されている場合に於ける、演算用ベクトルＲcの取得では、認識した問い合わせ意図ベクトルＲと入力された問い合わせ画像QM1若しくはQM2の原始ベクトルQM1若しくはQM2の対応要素とが第２の判定式群の式(1)：｜Ｒ−QM1｜≦ｅ0若しくは｜Ｒ−QM2｜≦ｅ0、を充足する、即ち、問い合わせ意図ベクトルＲと原始ベクトルQM1若しくはQM2の対応する各要素の差の絶対値が閾値ｅc未満の場合には１を要素とし、それ以外の場合には０を要素として演算用ベクトルＲcを取得する。演算用ベクトルＲ1の取得では、問い合わせ意図ベクトルＲの要素の値が第２の判定式群の式(2)：Ｒ＞ｅ1を充足する、即ち、問い合わせ意図ベクトルＲの要素の値が閾値ｅ1以上の場合には１を要素とし、それ以外の場合には０を要素として演算用ベクトルＲ1を取得する。演算用ベクトルＲ2の取得では、問い合わせ意図ベクトルＲと問い合わせ画像QM1若しくはQM2の原始ベクトルQM1若しくはQM2の要素の値が第２の判定式群の式(3)：QM1 ＞ｅ2若しくはQM2 ＞ｅ2を充足する、即ち、原始ベクトルQM1若しくはQM2の要素の値が閾値ｅ2以上の場合には１を要素とし、それ以外の場合には０を要素として演算用ベクトルＲ2を取得する。
【０１２９】
《問い合わせ意図ベクトル生成装置１０５》
問い合わせ意図ベクトル生成装置１０５は、記憶装置１０３に記憶されている問い合わせ意図ベクトル生成用の問い合わせ意図係数である第２のパラメーターP0、P1、P2と、問い合わせ意図ベクトル算出式：Ｒ ＝Ｒc＊P0＋Ｒ1＊P1＋Ｒ2＊P2とを用い、演算用ベクトル生成装置１０４で生成された演算用ベクトルＲc、Ｒ1、Ｒ2を前記問い合わせ意図ベクトル算出式に代入して、新たな問い合わせ意図ベクトル又は初回の問い合わせ意図ベクトルＲを算出し、記憶装置１０３に記憶されている旧問い合わせ意図ベクトルをＲに更新する、又は記憶装置１０３に新規に問い合わせ意図ベクトルＲを格納する。
【０１３０】
《相関計量装置１０６》
相関計量装置１０６は、問い合わせ意図ベクトル生成装置１０５で生成された問い合わせ意図ベクトルＲを認識し、記憶装置１０３に格納された比較画像IM1〜IMmの原始ベクトルIM1〜IMmを読み出し、前記問い合わせ意図ベクトルＲと各原始ベクトルIM1〜IMmとの内積Ｒ・IM1、Ｒ・IM2、…、Ｒ・IMmを相関量としてそれぞれ演算し、比較画像IM1〜IMmの識別番号と各演算取得した相関量を画像抽出装置１０７へ出力する。
【０１３１】
《画像抽出装置１０７》
画像抽出装置１０７は、前記相関量の大きさに従って降順に比較画像IM1〜IMmの識別番号を並べると共に、画像データベース１０８から比較画像IM1〜IMmを抽出し、相関計量装置１０６で並べられた識別番号の降順に従って比較画像IM1〜IMmを並べて表示画面を生成し、液晶ディスプレイ等の出力装置１０９に出力する。前記構成に代え、例えば画像抽出装置１０７が、画像抽出装置１０７等に設定記憶されている所定数だけ、前記相関量の大きいものの識別番号を認識し、その所定数の識別番号に対応する比較画像を画像データベース１０８から抽出し、識別番号の降順に従って抽出した比較画像を並べて表示画面を生成する構成や、或いは前記所定数に代え、画像抽出装置１０７等に設定記憶されている基準相関量と算出した相関量とを対比し、基準相関量超或いは以上のものの識別番号を認識し、その識別番号の比較画像を抽出する構成や、或いは複数の比較画像を出力する構成に限定されず、最も相関量の大きい単一の比較画像を抽出するなど単一の比較画像を抽出・出力するようにしてもよい。
【産業上の利用可能性】
【０１３２】
本発明は、例えばスタンドアローン型のコンテンツ検索装置や、インターネット等の通信回線でクライアント端末に接続されるコンテンツ検索サーバで利用することができる。
【図面の簡単な説明】
【０１３３】
【図１】第１実施形態のコンテンツ検索システムの構成図。
【図２】検索意図種別記憶部のデータテーブルを示す図。
【図３】閾値条件記憶部のデータテーブルを示す図。
【図４】重み係数記憶部のデータテーブルを示す図。
【図５】比較コンテンツ原始ベクトル記憶部のデータテーブルを示す図。
【図６】第１実施形態のコンテンツ検索システムに於ける検索処理手順を示すフローチャート。
【図７】第２実施形態のコンテンツ検索システムの構成図。
【図８】登録単語記憶部のデータテーブルを示す図。
【図９】第３実施形態のコンテンツ検索システムの構成図。
【図１０】第５実施形態のコンテンツ検索システムの構成図。
【図１１】第５実施形態のコンテンツ検索システムの処理手順を示すフローチャート。
【図１２】原始ベクトル生成装置１２の処理手順と、画像QM1、QM2を例とするデータ変換過程を示す図。
【図１３】演算用ベクトル生成装置１４の処理手順と、画像QM1、QM2の原始ベクトルQM1、QM2を例とするデータ変換過程を示す図。
【図１４】問い合わせ意図ベクトル生成装置１５と記憶装置１３の処理手順を示す図。
【図１５】問い合わせ意図ベクトル生成装置１５の処理手順を示すフローチャート。
【図１６】画像QM1、QM2に基づく演算用ベクトル群から問い合わせ意図ベクトルの作成までのデータ変換過程を示す図。
【図１７】異なる検索指令群の指示に従って得られる検索結果を示す図。
【図１８】第２実施形態のコンテンツ検索システムの構成図。
【符号の説明】
【０１３４】
１００１、２００１、３００１…入力部  １００２、２００２、３００２…出力部  １００３、２００３、３００３…検索意図種別記憶部  １００４、２００４、３００４…検索意図種別選択制御部  １００５、２００５、３００５…検索キーコンテンツ原始ベクトル生成部  １００６、２００６、３００６…閾値条件記憶部  １００７、２００７、３００７…演算用ベクトル生成部  １００８、２００８、３００８…重み係数記憶部  １００９、２００９、３００９…問い合わせ意図ベクトル生成部  １０１０、２０１０、３０１０…コンテンツデータベース  １０１１、２０１１、３０１１…比較コンテンツ原始ベクトル記憶部  １０１２、２０１２、３０１２…相関量取得部  １０１３、２０１３、３０１３…コンテンツ抽出部  １０１４、２０１４、３０１４…比較コンテンツ原始ベクトル生成部  ２０１５…登録単語記憶部  １１、１０１…入力装置  １２、１０２…原始ベクトル生成装置  １３、１０３…記憶装置  １４、１０４…演算用ベクトル生成装置  １５、１０５…問い合わせ意図ベクトル生成装置  １６、１０６…相関計量装置  １７、１０７…画像抽出装置  １８、１０８…画像データベース  １０９…出力装置
【図１】
2008176772.tif 000012
【図２】
2008176772.tif 000013
【図３】
2008176772.tif 000014
【図４】
2008176772.tif 000015
【図５】
2008176772.tif 000016
【図６】
2008176772.tif 000017
【図７】
2008176772.tif 000018
【図８】
2008176772.tif 000019
【図９】
2008176772.tif 000020
【図１０】
2008176772.tif 000021
【図１１】
2008176772.tif 000022
【図１２】
2008176772.tif 000023
【図１３】
2008176772.tif 000024
【図１４】
2008176772.tif 000025
【図１５】
2008176772.tif 000026
【図１６】
2008176772.tif 000027
【図１７】
2008176772.tif 000028
【図１８】
2008176772.tif 000029