(57)【要約】【課題】  ユーザが画像情報をキーにその画像情報とマッチングする音情報をデータベースから検索し、あるいは音情報をキーにその音情報とマッチングする画像情報をデータベースから検索するマルチメディア情報検索システムを提供する。【解決手段】  この発明のマルチメディア情報検索システムでは、入力された音データを周波数分析して音特徴量を生成し、この音特徴量にマッチングする画像コントラストファクタを決定し、この画像コントラストファクスをキーにして画像識別子と画像データと画像コントラストファクタとを対応させた画像レコードを多種類登録している画像データベースを検索し、該当する画像データを抽出する、あるいはその逆の検索を行う。【選択図】      図１
2006155042.tif 000002
【特許請求の範囲】
【請求項１】
表示出力、印字出力、ネットワークに対する情報入出力、入力手段からの情報入力を処理する入出力処理部と、
画像識別子と画像データと画像特徴量とを対応させた画像レコードを多種類登録している画像データベースと、
前記入出力処理部に入力された音データを周波数分析し、音特徴量を生成する音分析部と、
前記音分析部の生成した音特徴量にマッチングする画像特徴量を決定する音・画像マッチング処理部と、
前記音・画像マッチング処理部の決定した画像特徴量をキーにして前記画像データベースを検索し、該当する画像特徴量を持つ画像データを抽出する画像データベース検索部とを備えたマルチメディア情報検索システム。
【請求項２】
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数Ａ１】
2006155042.tif 000032
の画像特徴量算出式に基づいて算出した画像特徴量Ｃｒｇ，Ｃｙｂとを対応させた画像レコードを多種類保持しており、
前記音分析部は、入力された音データに対して、
【数Ａ２】
2006155042.tif 000033
式に基づいて、音特徴量Ｃｆを求め、
前記音・画像マッチング処理部は、音特徴量Ｃｆとこれにマッチングする画像特徴量Ｃｒｇ，Ｃｙｂとの対応データを保持していて、前記音分析部の求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像特徴量Ｃｒｇ，Ｃｙｇを決定することを特徴とする請求項１に記載のマルチメディア情報検索システム。
【請求項３】
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数Ｂ１】
2006155042.tif 000034
の画像特徴量算出式に基づいて算出した画像特徴量としての彩度Ｃｓ１又はＣｓ２とを対応させた画像レコードを多種類保持しており、
前記音分析部は、入力された音データに対して、
【数Ｂ２】
2006155042.tif 000035
式に基づいて、音特徴量Ｃｆを求め、
前記音・画像マッチング処理部は、音特徴量Ｃｆとこれにマッチングする画像彩度Ｃｓ１又はＣｓ２との対応データを保持していて、前記音分析部の求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像彩度Ｃｓ１又はＣｓ２を決定することを特徴とする請求項１に記載のマルチメディア情報検索システム。
【請求項４】
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数Ｃ１】
2006155042.tif 000036
の画像特徴量算出式に基づいて算出した画像特徴量としての明度Ｃｂｒとを対応させた画像レコードを多種類保持しており、
前記音分析部は、入力された音データに対して、
【数Ｃ２】
2006155042.tif 000037
式に基づいて、音特徴量Ｃｆを求め、
前記音・画像マッチング処理部は、音特徴量Ｃｆとこれにマッチングする画像明度Ｃｂｒとの対応データを保持していて、前記音分析部の求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像明度Ｃｂｒを決定することを特徴とする請求項１に記載のマルチメディア情報検索システム。
【請求項５】
表示出力、印字出力、ネットワークに対する情報入出力、入力手段からの情報入力を処理する入出力処理部と、
音識別子と音データと音特徴量とを対応させた音レコードを多種類登録している音データベースと、
前記入出力処理部に入力された画像データに所定の画像特徴量算出式を適用して画像特徴量を生成する画像分析部と、
前記画像分析部の生成した画像特徴量にマッチングする音特徴量を決定する画像・音マッチング処理部と、
前記画像・音マッチング処理部の決定した音特徴量をキーにして前記音データベースを検索し、該当する音特徴量を持つ音データを抽出する音データベース検索部とを備えたマルチメディア情報検索システム。
【請求項６】
前記音データベースは、音識別子と、音データと、当該音データに対して、
【数Ｄ１】
2006155042.tif 000038
の音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、
前記画像分析部は、入力された画像データに対して、
【数Ｄ２】
2006155042.tif 000039
式に基づいて、画像特徴量Ｃｒｇ，Ｃｙｂを求め、
前記画像・音マッチング処理部は、画像特徴量Ｃｒｇ，Ｃｙｂとこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析部の求めた画像特徴量Ｃｒｇ，Ｃｙｂに対して当該対応データを参照して当該画像特徴量にマッチングする音特徴量Ｃｆを決定することを特徴とする請求項５に記載のマルチメディア情報検索システム。
【請求項７】
前記音データベースは、音識別子と、音データと、当該音データに対して、
【数Ｅ１】
2006155042.tif 000040
の音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、
前記画像分析部は、入力された画像データに対して、
【数Ｅ２】
2006155042.tif 000041
式に基づいて、画像特徴量としての彩度Ｃｓ１又はＣｓ２を求め、
前記画像・音マッチング処理部は、画像特徴量Ｃｓ１又はＣｓ２とこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析部の求めた画像彩度Ｃｓ１又はＣｓ２に対して当該対応データを参照して当該画像彩度にマッチングする音特徴量Ｃｆを決定することを特徴とする請求項５に記載のマルチメディア情報検索システム。
【請求項８】
前記音データベースは、音識別子と、音データと、当該音データに対して、
【数Ｆ１】
2006155042.tif 000042
の音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、
前記画像分析部は、入力された画像データに対して、
【数Ｆ２】
2006155042.tif 000043
式に基づいて、画像特徴量としての明度Ｃｂｒを求め、
前記画像・音マッチング処理部は、画像明度Ｃｂｒとこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析部の求めた画像明度Ｃｂｒに対して当該対応データを参照して当該画像明度にマッチングする音特徴量Ｃｆを決定することを特徴とする請求項５に記載のマルチメディア情報検索システム。
【請求項９】
入力された音データを周波数分析し、音特徴量を生成する音分析ステップと、
前記音分析ステップで生成した音特徴量にマッチングする画像特徴量を決定する音・画像マッチング処理ステップと、
前記音・画像マッチング処理ステップで決定した画像特徴量をキーにして、画像識別子と画像データと画像特徴量とを対応させた画像レコードを多数保持している画像データベースを検索し、該当する画像特徴量を持つ画像データを抽出する画像データベース検索ステップとをコンピュータに実行させるマルチメディア情報検索プログラム。
【請求項１０】
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数Ｇ１】
2006155042.tif 000044
の画像特徴量算出式に基づいて算出した画像特徴量Ｃｒｇ，Ｃｙｂとを対応させた画像レコードを多種類保持しており、
前記音分析ステップでは、入力された音データに対して、
【数Ｇ２】
2006155042.tif 000045
式に基づいて、音特徴量Ｃｆを求め、
前記音・画像マッチング処理ステップでは、音特徴量Ｃｆとこれにマッチングする画像特徴量Ｃｒｇ，Ｃｙｂとの対応データを保持していて、前記音分析ステップで求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像特徴量Ｃｒｇ，Ｃｙｇを決定することを特徴とする請求項９に記載のマルチメディア情報検索プログラム。
【請求項１１】
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数Ｈ１】
2006155042.tif 000046
の画像特徴量算出式に基づいて算出した画像特徴量としての彩度Ｃｓ１又はＣｓ２とを対応させた画像レコードを多種類保持しており、
前記音分析ステップでは、入力された音データに対して、
【数Ｈ２】
2006155042.tif 000047
式に基づいて、音特徴量Ｃｆを求め、
前記音・画像マッチング処理ステップでは、音特徴量Ｃｆとこれにマッチングする画像彩度Ｃｓ１又はＣｓ２との対応データを保持していて、前記音分析ステップで求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像彩度Ｃｓ１又はＣｓ２を決定することを特徴とする請求項９に記載のマルチメディア情報検索プログラム。
【請求項１２】
前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数Ｉ１】
2006155042.tif 000048
の画像特徴量算出式に基づいて算出した画像特徴量としての明度Ｃｂｒとを対応させた画像レコードを多種類保持しており、
前記音分析ステップでは、入力された音データに対して、
【数Ｉ２】
2006155042.tif 000049
式に基づいて、音特徴量Ｃｆを求め、
前記音・画像マッチング処理ステップでは、音特徴量Ｃｆとこれにマッチングする画像明度Ｃｂｒとの対応データを保持していて、前記音分析ステップで求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像明度Ｃｂｒを決定することを特徴とする請求項９に記載のマルチメディア情報検索プログラム。
【請求項１３】
入力された画像データに所定の画像特徴量算出式を適用して画像特徴量を生成する画像分析ステップと、
前記画像分析ステップで生成した画像特徴量にマッチングする音特徴量を決定する画像・音マッチング処理ステップと、
前記画像・音マッチング処理ステップで決定した音特徴量をキーにして、音識別子と音データと音特徴量とを対応させた音レコードを多種類登録している音データベースを検索し、該当する音特徴量を持つ音データを抽出する音データベース検索ステップとをコンピュータに実行させるマルチメディア情報検索プログラム。
【請求項１４】
前記音データベースは、音識別子と、音データと、当該音データに対して、
【数Ｊ１】
2006155042.tif 000050
の音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、
前記画像分析ステップでは、入力された画像データに対して、
【数Ｊ２】
2006155042.tif 000051
式に基づいて、画像特徴量Ｃｒｇ，Ｃｙｂを求め、
前記画像・音マッチング処理ステップでは、画像特徴量Ｃｒｇ，Ｃｙｂとこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析ステップで求めた画像特徴量Ｃｒｇ，Ｃｙｂに対して当該対応データを参照して当該画像特徴量にマッチングする音特徴量Ｃｆを決定することを特徴とする請求項１３に記載のマルチメディア情報検索プログラム。
【請求項１５】
前記音データベースは、音識別子と、音データと、当該音データに対して、
【数Ｋ１】
2006155042.tif 000052
の音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、
前記画像分析ステップでは、入力された画像データに対して、
【数Ｋ２】
2006155042.tif 000053
式に基づいて、画像特徴量としての彩度Ｃｓ１又はＣｓ２を求め、
前記画像・音マッチング処理ステップでは、画像特徴量Ｃｓ１又はＣｓ２とこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析ステップで求めた画像彩度Ｃｓ１又はＣｓ２に対して当該対応データを参照して当該画像彩度にマッチングする音特徴量Ｃｆを決定することを特徴とする請求項１３に記載のマルチメディア情報検索プログラム。
【請求項１６】
前記音データベースは、音識別子と、音データと、当該音データに対して、
【数Ｌ１】
2006155042.tif 000054
の音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、
前記画像分析ステップでは、入力された画像データに対して、
【数Ｌ２】
2006155042.tif 000055
式に基づいて、画像特徴量としての明度Ｃｂｒを求め、
前記画像・音マッチング処理ステップでは、画像明度Ｃｂｒとこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析ステップで求めた画像明度Ｃｂｒに対して当該対応データを参照して当該画像明度にマッチングする音特徴量Ｃｆを決定することを特徴とする請求項１３に記載のマルチメディア情報検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コントラストモデルを用いたマルチメディア情報検索システム及びプログラムに関する。
【背景技術】
【０００２】
従来、インターネット上の検索に利用されるＧｏｏｇｌｅ（登録商標）、Ｙａｈｏｏ！（登録商標）のような検索システムは、テキストによる検索が主であり、テキスト以外の異なるメディア情報間の検索システムはほとんど知られていない。また画像情報や音情報のような異なるメディアデータを編集には各種情報に関連する知識が必要とされ、専門技術者でなければこのような情報の編集ができない。しかも専門技術者であってもインターネット上にあるメディア情報をすべて見ることはできない。反面、現在、高度な専門知識を有しないユーザが多量に流されるインターネット上のマルチメディアデータにアクセスするようになってきている。また、地上波ディジタル放送が解禁されると、その放送に流すコンテンツの重要が増加することが予想される。
【０００３】
このような現実では、高度な知識を有しない一般ユーザであっても異なるメディアデータを編集できるシステムが存在するようになれば、コンテンツの内容の幅が広がり、将来のコンテンツ産業の拡大が期待できる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、このような従来の技術的課題に鑑みてなされたもので、ユーザが画像情報をキーにその画像情報とマッチングする音情報を音データベースから検索できるマルチメディア情報検索システム及びプログラムを提供することを目的とする。
【０００５】
本発明はまた、ユーザが音情報をキーにその音情報とマッチングする画像情報を画像データベースから検索できるマルチメディア情報検索システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の特徴は、表示出力、印字出力、ネットワークに対する情報入出力、入力手段からの情報入力を処理する入出力処理部と、画像識別子と画像データと画像特徴量とを対応させた画像レコードを多種類登録している画像データベースと、前記入出力処理部に入力された音データを周波数分析し、音特徴量を生成する音分析部と、前記音分析部の生成した音特徴量にマッチングする画像特徴量を決定する音・画像マッチング処理部と、前記音・画像マッチング処理部の決定した画像特徴量をキーにして前記画像データベースを検索し、該当する画像特徴量を持つ画像データを抽出する画像データベース検索部とを備えたマルチメディア情報検索システムにある。
【０００７】
ここで、前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数Ｍ１】
2006155042.tif 000003
の画像特徴量算出式に基づいて算出した画像特徴量Ｃｒｇ，Ｃｙｂとを対応させた画像レコードを多種類保持しており、前記音分析部は、入力された音データに対して、
【数Ｍ２】
2006155042.tif 000004
式に基づいて、音特徴量Ｃｆを求め、前記音・画像マッチング処理部は、音特徴量Ｃｆとこれにマッチングする画像特徴量Ｃｒｇ，Ｃｙｂとの対応データを保持していて、前記音分析部の求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像特徴量Ｃｒｇ，Ｃｙｇを決定するものとすることができる。
【０００８】
また、前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数Ｎ】
2006155042.tif 000005
の画像特徴量算出式に基づいて算出した画像特徴量としての彩度Ｃｓ１又はＣｓ２とを対応させた画像レコードを多種類保持しており、前記音分析部は、入力された音データに対して、前記音特徴量Ｃｆを求め、前記音・画像マッチング処理部は、音特徴量Ｃｆとこれにマッチングする画像彩度Ｃｓ１又はＣｓ２との対応データを保持していて、前記音分析部の求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像彩度Ｃｓ１又はＣｓ２を決定するものとすることができる。
【０００９】
また、前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数Ｏ】
2006155042.tif 000006
の画像特徴量算出式に基づいて算出した画像特徴量としての明度Ｃｂｒとを対応させた画像レコードを多種類保持しており、前記音分析部は、入力された音データに対して、前記音特徴量Ｃｆを求め、前記音・画像マッチング処理部は、音特徴量Ｃｆとこれにマッチングする画像明度Ｃｂｒとの対応データを保持していて、前記音分析部の求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像明度Ｃｂｒを決定するものとすることができる。
【００１０】
本発明の第２の特徴は、表示出力、印字出力、ネットワークに対する情報入出力、入力手段からの情報入力を処理する入出力処理部と、音識別子と音データと音特徴量とを対応させた音レコードを多種類登録している音データベースと、前記入出力処理部に入力された画像データに所定の画像特徴量算出式を適用して画像特徴量を生成する画像分析部と、前記画像分析部の生成した画像特徴量にマッチングする音特徴量を決定する画像・音マッチング処理部と、前記画像・音マッチング処理部の決定した音特徴量をキーにして前記音データベースを検索し、該当する音特徴量を持つ音データを抽出する音データベース検索部とを備えたマルチメディア情報検索システムにある。
【００１１】
ここで、前記音データベースは、音識別子と、音データと、当該音データに対して、
【数Ｐ１】
2006155042.tif 000007
の音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、前記画像分析部は、入力された画像データに対して、
【数Ｐ２】
2006155042.tif 000008
式に基づいて、画像特徴量Ｃｒｇ，Ｃｙｂを求め、前記画像・音マッチング処理部は、画像特徴量Ｃｒｇ，Ｃｙｂとこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析部の求めた画像特徴量Ｃｒｇ，Ｃｙｂに対して当該対応データを参照して当該画像特徴量にマッチングする音特徴量Ｃｆを決定するものとすることができる。
【００１２】
また、前記音データベースは、音識別子と、音データと、当該音データに対して、前記音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、前記画像分析部は、入力された画像データに対して、
【数Ｑ】
2006155042.tif 000009
式に基づいて、画像特徴量としての彩度Ｃｓ１又はＣｓ２を求め、前記画像・音マッチング処理部は、画像特徴量Ｃｓ１又はＣｓ２とこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析部の求めた画像彩度Ｃｓ１又はＣｓ２に対して当該対応データを参照して当該画像彩度にマッチングする音特徴量Ｃｆを決定するものとすることができる。
【００１３】
また、前記音データベースは、音識別子と、音データと、当該音データに対して、前記音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、前記画像分析部は、入力された画像データに対して、
【数Ｒ】
2006155042.tif 000010
式に基づいて、画像特徴量としての明度Ｃｂｒを求め、前記画像・音マッチング処理部は、画像明度Ｃｂｒとこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析部の求めた画像明度Ｃｂｒに対して当該対応データを参照して当該画像明度にマッチングする音特徴量Ｃｆを決定するものとすることができる。
【００１４】
本発明の第３の特徴は、入力された音データを周波数分析し、音特徴量を生成する音分析ステップと、前記音分析ステップで生成した音特徴量にマッチングする画像特徴量を決定する音・画像マッチング処理ステップと、前記音・画像マッチング処理ステップで決定した画像特徴量をキーにして、画像識別子と画像データと画像特徴量とを対応させた画像レコードを多数保持している画像データベースを検索し、該当する画像特徴量を持つ画像データを抽出する画像データベース検索ステップとをコンピュータに実行させるマルチメディア情報検索プログラムにある。
【００１５】
ここで、前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数Ｓ１】
2006155042.tif 000011
の画像特徴量算出式に基づいて算出した画像特徴量Ｃｒｇ，Ｃｙｂとを対応させた画像レコードを多種類保持しており、前記音分析ステップでは、入力された音データに対して、
【数Ｓ２】
2006155042.tif 000012
式に基づいて、音特徴量Ｃｆを求め、前記音・画像マッチング処理ステップでは、音特徴量Ｃｆとこれにマッチングする画像特徴量Ｃｒｇ，Ｃｙｂとの対応データを保持していて、前記音分析ステップで求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像特徴量Ｃｒｇ，Ｃｙｇを決定するものとすることができる。
【００１６】
また、前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数Ｔ】
2006155042.tif 000013
の画像特徴量算出式に基づいて算出した画像特徴量としての彩度Ｃｓ１又はＣｓ２とを対応させた画像レコードを多種類保持しており、前記音分析ステップでは、入力された音データに対して、前記音特徴量Ｃｆを求め、前記音・画像マッチング処理ステップでは、音特徴量Ｃｆとこれにマッチングする画像彩度Ｃｓ１又はＣｓ２との対応データを保持していて、前記音分析部の求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像彩度Ｃｓ１又はＣｓ２を決定するものとすることができる。
【００１７】
また、前記画像データベースは、画像識別子と、画像データと、当該画像データに対して、
【数Ｕ】
2006155042.tif 000014
の画像特徴量算出式に基づいて算出した画像特徴量としての明度Ｃｂｒとを対応させた画像レコードを多種類保持しており、前記音分析ステップでは、入力された音データに対して、前記音特徴量Ｃｆを求め、前記音・画像マッチング処理ステップでは、音特徴量Ｃｆとこれにマッチングする画像明度Ｃｂｒとの対応データを保持していて、前記音分析ステップで求めた音特徴量Ｃｆに対して当該対応データを参照して当該音特徴量にマッチングする画像明度Ｃｂｒを決定するものとすることができる。
【００１８】
本発明の第４の特徴は、入力された画像データに所定の画像特徴量算出式を適用して画像特徴量を生成する画像分析ステップと、前記画像分析ステップで生成した画像特徴量にマッチングする音特徴量を決定する画像・音マッチング処理ステップと、前記画像・音マッチング処理ステップで決定した音特徴量をキーにして、音識別子と音データと音特徴量とを対応させた音レコードを多種類登録している音データベースを検索し、該当する音特徴量を持つ音データを抽出する音データベース検索ステップとをコンピュータに実行させるマルチメディア情報検索プログラムにある。
【００１９】
ここで、前記音データベースは、音識別子と、音データと、当該音データに対して、
【数Ｖ１】
2006155042.tif 000015
の音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、前記画像分析ステップでは、入力された画像データに対して、
【数Ｖ２】
2006155042.tif 000016
式に基づいて、画像特徴量Ｃｒｇ，Ｃｙｂを求め、前記画像・音マッチング処理ステップでは、画像特徴量Ｃｒｇ，Ｃｙｂとこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析ステップで求めた画像特徴量Ｃｒｇ，Ｃｙｂに対して当該対応データを参照して当該画像特徴量にマッチングする音特徴量Ｃｆを決定するものとすることができる。
【００２０】
また、前記音データベースは、音識別子と、音データと、当該音データに対して、前記音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、前記画像分析ステップでは、入力された画像データに対して、
【数Ｗ】
2006155042.tif 000017
式に基づいて、画像特徴量としての彩度Ｃｓ１又はＣｓ２を求め、前記画像・音マッチング処理ステップでは、画像特徴量Ｃｓ１又はＣｓ２とこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析ステップで求めた画像彩度Ｃｓ１又はＣｓ２に対して当該対応データを参照して当該画像彩度にマッチングする音特徴量Ｃｆを決定するものとすることができる。
【００２１】
また、前記音データベースは、音識別子と、音データと、当該音データに対して、前記音特徴量算出式に基づいて算出した音特徴量Ｃｆとを対応させた音レコードを多種類保持しており、前記画像分析ステップでは、入力された画像データに対して、
【数Ｘ】
2006155042.tif 000018
式に基づいて、画像特徴量としての明度Ｃｂｒを求め、前記画像・音マッチング処理ステップでは、画像明度Ｃｂｒとこれにマッチングする音特徴量Ｃｆとの対応データを保持していて、前記画像分析ステップで求めた画像明度Ｃｂｒに対して当該対応データを参照して当該画像明度にマッチングする音特徴量Ｃｆを決定するものとすることができる。
【発明の効果】
【００２２】
本発明によれば、ユーザが入力される画像情報をキーにその画像情報とマッチングする音情報をデータベースから検索できる。
【００２３】
また本発明によれば、ユーザが入力される音情報をキーにその音情報とマッチングする画像情報をデータベースから検索できる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態を図に基づいて詳説する。
【００２５】
（第１の実施の形態）図１は本発明の１つの実施の形態のマルチメディア情報検索システムの構成を示している。本実施の形態のマルチメディア情報検索システムは、入力された音データに調和する画像データを検索して抽出する機能、また入力された画像データに調和する音データを検索して抽出する機能を備えていて、表示装置１０、図示しないプリンタやネットワークに対する情報出力、キーボード１１、図示しないポインティングデバイスやネットワークからの情報入力を処理する入出力処理部１、入力された音データを分析して保存処理する音分析部２、入力された画像データを分析し保存処理する画像分析部３、音分析部２にて分析された音データを保存する音データベース４、画像分析部３にて分析された画像データを保存する画像データベース５、音データとマッチする画像データの検索又はその逆の検索を実行し、入力された音データにマッチする画像データ、又は入力された画像データにマッチする音データを抽出するマッチング処理部６、これらのすべての要素をプログラムに従って制御する制御部７を備えている。なお、本システムは本来、コンピュータシステムに当該諸機能を備えたマルチメディア情報検索プログラムをインストールして実行させることにより実現されるものであるが、ここでは説明の便宜のために音分析部２、画像分析部３、マッチング処理部６等、個別のブロックに分けて示している。
【００２６】
次に、上記構成のマルチメディア情報検索システムによる検索動作について説明する。まず、音データベース４、画像データベース５に音データ、画像データを登録する処理を説明する。音特徴量算出式に基づいて多数の音データそれぞれの音特徴量を算出し、音識別子と音データとこの音特徴量とを対応させて音データベース４に登録する。同様に画像特徴量算出式に基づいて多数の画像データそれぞれの画像特徴量を算出し、画像識別子と画像データとこの画像特徴量とを対応させて画像データベース５に登録する。
【００２７】
まず、画像のコントラストモデルを以下のように定義する。
【数１】
2006155042.tif 000019
【００２８】
コントラストの計算は、画像全体のＲＧＢそれぞれの平均値ｒ，ｇ，ｂを求めた後、（１）、（２）式に代入し、コントラスト値Ｃｒｇ，Ｃｙｂを求める。そして、彩度の近似式Ｃｓ１，Ｃｓ２を（３）、（４）式にて求める。
【数２】
2006155042.tif 000020
【００２９】
調和に関連して、ムーン・スペンサーは二色配色の色彩調和の理論を提案している（乾敏郎著、「建築の色彩設計」、鹿島出版会、１９７６年）。それによれば、図２、図３に示したように、色相、彩度、明度の「同等」、「類似」の二色配色では調和度が高くなる一方、少し異種の色相、彩度、明度では調和度が低くなる。そしてこの現象はすべての色相、彩度、明度に相対的に起こる。
【００３０】
一方、同じような現象が二音和音（純音）にも起こる。異なる周波数から成る二音和音において、その周波数との差によって協和・不協和が生じる。図４は周波数差と協和・不協和との分布を示している（Ｐｌｏｍｐ＆Ｌｅｖｅｌｔの分布）が、色相の場合と同様に二音和音の協和度は周波数が同等、接近しているときには高くなる一方、少し周波数が離れると不協和度が大きくなり、Ｖ字型の分布となる。
【００３１】
この現象を踏まえ、画像データに関して導き出したのが上式（１）〜（４）である。これを用いて、横軸を色相（０°から３６０°）、縦軸を画像コントラスト値にした分布を図５に示している。この図５のグラフを見れば、図４の周波数差と協和度・不協和度との分布と同じようなＶ字型の分布になっていることが分かる。
【００３２】
＜実験１の内容＞
次に、画像コントラストモデルと音の協和音・不協和音との間での調和・不調和の関係を検証するために、次のような心理実験１を実施した。つまり、明るい色調の画像には協和音が調和すると感じるか、不協和音が調和すると感じるか、また逆に暗い色調の画像には協和音が調和すると感じるか、不協和音が調和すると感じるかをテストした。
【００３３】
・画像サンプル：黒地に紫の画像、和紙テクスチャ、樹木表面、空、イチョウの葉、カラフルビーズの計６種類。
【００３４】
・和音サンプル：協和音２種類（Ａ４−Ｃ４、Ａ４−Ｆ４）、不協和音２種類（Ｇ８−Ａ４、Ａ４−Ａ＃４）の二音和音計４種類。
【００３５】
・実験サンプル：二音和音のみ４種類、自然画像６種類×二音和音４種類、計２８サンプル。音サンプルは電子ピアノの生演奏。
【００３６】
・有効被験者：２０歳代前半の大学生８名。
【００３７】
・スケール：調和度・不調和度を７段階（１に近いほど調和度が高い）で評価する。
【００３８】
画像コントラストモデル値Ｃｒｇ，Ｃｙｂとこの実験結果による調和度・不調和度の関係を図６、図７に示している。この結果から、図６に示すように、協和音については、コントラスト値Ｃｒｇとの調和度が正の相関（図６では負であるが、調和度が小さいと調和となるため）があり、コントラスト値Ｃｒｇが大きいほど調和度が上がる傾向を確認できる。他方、Ｃｙｂとの相関は弱い。図７に示すように、不協和音については、コントラスト値Ｃｙｂとの調和度が負の相関があり、コントラスト値Ｃｙｂが小さいほど調和度が上がる傾向がある。他方、Ｃｒｇとの相関は弱い。つまり、調和度を上げる方法としては、協和音にはコントラスト値Ｃｒｇが大きい画像、他方、不協和音にはコントラスト値Ｃｙｂが小さい画像が有効であることが分かった。
【００３９】
これから、画像と音の調和・不調和について判断する場合、二音和音が協和音あるいは不協和音かによって調和する画像が異なる。したがって、画像と音との調和・不調和を推定するためには二音和音が協和音か不協和音かを推定した上でマッチングする画像を決める必要がある。
【００４０】
上述の二音和音の周波数の差と協和度・不協和度の分布を参考にして構築した数式による推定モデルは次の通りである。この推定モデルを構築する上で、次の項目を前提条件とした。
【００４１】
（ａ）１オクターブ内でのモデル。
【００４２】
（ｂ）１オクターブ内の最小周波数ｆ０と最大周波数ｆ１（＝２ｆ０）を利用。
【００４３】
（ｃ）ウェーバーの法則を利用。
【００４４】
（ｄ）画像のコントラストモデルを参考。
【００４５】
上の（ａ）、（ｂ）の条件より、ｆをオクターブ内の任意の周波数、ｆ０を１オクターブ内の最小周波数＝基準周波数、ｆ１（＝２ｆ０）を１オクターブ内の最大周波数とする。上の（１）式の画像コントラストモデルにおいて、変数はｒ，ｇの２変数からなっており、二音和音では周波数ｆだけの１変数である。図４のようなＶ字型の分布にするためには、上の条件（ｃ）のウェーバーの法則を用い、２つの変数ｆａ，ｆｂを次の（５）、（６）式のように定義した。ここで、ｆａは周波数ｆと基準周波数ｆ０との差を基準周波数ｆ０で割り、ｆｂは最大周波数ｆ１と周波数ｆとの差を基準周波数ｆ０で割った値とする。
【数３】
2006155042.tif 000021
【００４６】
また上の条件（ｄ）より、（１）、（２）式の画像コントラストモデルを参考にして、周波数コントラストモデルＣｆ’を次の（７）式のように定義する。
【数４】
2006155042.tif 000022
【００４７】
しかし、Ｐｌｏｍｐ＆Ｌｅｖｅｌｔの分布により、最不協和になるときＣｆ＝０にならないので、次の（８）式のようにパラメータαを導入する。これによって、Ｃｆ＝０のときの周波数の値が変化する。
【数５】
2006155042.tif 000023
【００４８】
（５）、（６）式をこの（８）式に代入すると、
【数６】
2006155042.tif 000024
【００４９】
となる。
【００５０】
Ｃｆ＝０のとき、ｆの値をｆ’とすると、
【数７】
2006155042.tif 000025
【００５１】
である。ここで、Ｚｗｉｃｋｅｒらの臨界帯域幅ｆｗのモデル式を、
【数８】
2006155042.tif 000026
【００５２】
と近似する。そうすれば、Ｐｌｏｍｐ＆Ｌｅｖｅｌｔの分布は、
【数９】
2006155042.tif 000027
【００５３】
のときに０（＝Ｃｆ）となるので、（１１）式より、
【数１０】
2006155042.tif 000028
【００５４】
が得られる。そこで、（１０）、（１２）式よりｆ’を消去すれば、次の（１３）式が得られる。
【数１１】
2006155042.tif 000029
【００５５】
（９）式にこの（１３）式を代入すると、
【数１２】
2006155042.tif 000030
【００５６】
となる。図８は基準周波数がｆ０＝４４０Ｈｚのとき、図９は基準周波数がｆ０＝８８０Ｈｚのときの周波数ｆとＣｆ値の分布を示している。よって、（１）、（２）、（１４）式を用いて、画像と音の調和・不調和を自動推定することが可能になる。そしてさらに実験と解析を続けたところ、実際には、画像の彩度と音の協和度、また画像の彩度と音の不協和度との間に相関があることが見出せた。
【００５７】
図１に示した本実施の形態のシステムは、この（３）、（４）式と（１２）式を演算し、この結果から、画像と音の調和度・不調和度を自動推定し、与えられた音にマッチングする画像を抽出し、また逆に与えられた画像にマッチングする音を抽出する。
【００５８】
＜データベースへの登録＞
まず、音データベース４、画像データベース５に対するデータ蓄積処理は、次による。記録メディアあるいはネットワークを通じて多種類の音データを順次、入出力処理部１を通じて入力し、音分析部２によって（１４）式に基づいて協和度・不協和度を演算し、識別子、音データ、演算結果を音データベース４に順次登録しておく。同様に、記録メディアあるいはネットワークを通じて多種類の画像データを順次、入出力処理部１を通じて入力し、画像分析部３によって（３）、（４）式に基づいて彩度を演算し、識別子、画像データ、演算結果を画像データベース５に順次登録しておく。
【００５９】
＜音をキーにした画像検索＞
入力される音データをキーにして調和する画像を検索して抽出する処理を、図１０のフローチャートを用いて説明する。入力される音データに対して、その協和度、不協和度を（１４）式によって分析する（ステップＳ１，Ｓ２）。協和音とする基準は、０．６＜Ｃｆ≦１．０、逆に不協和音とする基準は、０≦Ｃｆ＜０．３、そして０．３≦Ｃｆ≦０．６はそのどちらでもないとする。
【００６０】
続いて、この音データの協和度・不協和度に応じて調和度の高い画像の彩度を決定するマッチング処理をし（ステップＳ３）、その彩度を持つ画像データを画像データベース５から抽出する（ステップＳ４）。
【００６１】
＜画像をキーにした音検索＞
入力される画像データをキーにして調和する音を検索して抽出する処理を、図１１のフローチャートを用いて説明する。入力される画像データに対して、その彩度を（３）、（４）式によって分析する（ステップＳ１１，Ｓ１２）。
【００６２】
続いて、この画像データの彩度に応じて調和度の高い音の協和度、不協和度を決定するマッチング処理をし（ステップＳ１３）、その協和度、不協和度を持つ音データを音データベース４から抽出する（ステップＳ１４）。つまり、０．６＜Ｃｆ≦１．０のＣｆを持つ音データを協和音として抽出し、逆に０≦Ｃｆ＜０．３のＣｆを持つ音データを不協和音として抽出する。
【００６３】
以上の処理により、本発明のシステムでは、入力される音データに対してマッチングする画像データを画像データベースを検索して抽出してユーザに提案することができ、また逆に入力される画像データに対してマッチングする音データを音データベースを検索して抽出してユーザに提案することができる。
【００６４】
なお、上記実施の形態では画像データについては静止画像について説明したが、動画像データについても各フレームごとに、あるいは一定時間間隔のフレームごとの画像特徴量を算出することで、音データとの調和を考えることができる。
【００６５】
（第２の実施の形態）本発明の第２の実施の形態のマルチメディア情報検索システムについて説明する。第２の実施の形態のシステムの構成は図１に示した第１の実施の形態と同様であるが、画像データを分析して画像特徴量を算出するために用いる式が異なっている。
【００６６】
すなわち、本実施の形態では、画像分析部３にて入力される画像データのＲＧＢについて画像全体で次の（１５）式によって明度Ｃｂｒを算出する。そして画像識別子と画像データとこの画像特徴量としての明度データとを対応させ、多数の画像データについて画像データベース５に登録しておく。但し、（１５）式において「２５６」はＲＧＢ各階調を０〜２５５の２５６段階で表示している場合に正規化するための数値であり、システムが採用する画像データのフォーマットによって異なるものである。
【数１３】
2006155042.tif 000031
【００６７】
また入力される画像データに対して調和度の高い音データを音データベース４から抽出する処理では、画像分析部３において入力された画像データに対して上述の演算によって画像特徴量を算出し、マッチング処理部６において得られた画像特徴量に対して調和度の高い音特徴量、すなわち、協和音であるか不協和音であるかを判断し、該当するＣｆ値を持つ音データを音データベース４から抽出するのである。本実施の形態でも、明度Ｃｂｒの高い画像データに対しては協和音が調和し、明度Ｃｂｒの低い画像データに対しては不協和音が調和するものとして音データベース４から抽出する。
【００６８】
この第２の実施の形態のマルチメディア情報検索システムによれば、明るい画像に協和音が対応し、暗い画像に対して不協和音が対応し、相互に検索することができる。なお、上記実施の形態でも画像データについては静止画像について説明したが、動画像データについても各フレームごとに、あるいは一定時間間隔のフレームごとの画像特徴量を算出することで、音データとの調和を考えることができる。
【００６９】
＜実験２の内容＞
次に、画像明度と音の協和音・不協和音との間での調和・不調和の関係を検証するために、次のような心理実験２を実施した。つまり、明るい画像には協和音が調和すると感じるか、不協和音が調和すると感じるか、また逆に暗い画像には協和音が調和すると感じるか、不協和音が調和すると感じるかをテストした。
【００７０】
・画像サンプル：画像データ２０００種類から２６種類を選定。
【００７１】
・和音サンプル：協和音１種類、不協和音１種類の二音和音計２種類。
【００７２】
・実験サンプル：二音和音のみ２種類、自然画像２６種類×二音和音２種類、計５４サンプル。音サンプルは電子ピアノの生演奏。
【００７３】
・有効被験者：２０代前半の大学生１６名。
【００７４】
・スケール：調和度・不調和度を７段階（１に近いほど調和度が高い）で評価する。
【００７５】
この実験２データ結果として、明度Ｃｂｒと調和度・不調和度の関係を図１２、図１３に示す。その結果から、図１２に示すように、協和音については、明度Ｃｂｒは調和度と正の相関（図１２では負だが、調和度が小さいと調和となるため）があり、明度Ｃｂｒが大きいほど調和度が上がる傾向があることが確認できた。また、図１３に示すように、不協和音については、明度Ｃｂｒと負の相関があり、明度Ｃｂｒが小さいほど調和度が上がる傾向があることが確認できた。よって、調和度を上げる方法として、協和音には明度Ｃｂｒが大きい画像、一方、不協和音には明度Ｃｂｒが小さい画像が有効であると結論できた。
【００７６】
なお、上記第１、第２の実施の形態では、音データから調和度の高い画像データを検索して抽出する機能とその逆の検索・抽出機能を併有するシステムを示したが、音データから調和度の高い画像データを検索・抽出するだけの機能、あるいは逆に画像データから調和度の高い音データを検索・抽出するだけの機能の片方向だけの機能を有するマルチメディア情報検索システムを構築することも可能である。
【産業上の利用可能性】
【００７７】
本発明によれば、入力される音に対してマッチングする画像をデータベースを検索して抽出してユーザに提案することができ、または入力される画像に対してマッチングする音をデータベースを検索して抽出してユーザに提案することができるので、ある音楽を演奏している場所でスクリーンにその音楽の推移していく各部の協和度、不協和度に応じて調和する彩度の画像を連続的に変化させながら表示していくことができ、また逆に、ある映像を投影している場所で音空間にその映像の彩度の変化に応じて調和する協和度、不協和度の音を連続的に変化させながら再生していくことができ、再生する音と映像のマッチングが図れる。
【図面の簡単な説明】
【００７８】
【図１】本発明の１つの実施の形態のマルチメディア情報検索システムのブロック図。
【図２】二色配色の色相間の調和、不調和の関係を示す図。
【図３】二色配色の彩度、明度間の調和、不調和の関係を示す別の図。
【図４】二音和音の周波数差と協和・不協和の関係を示すグラフ。
【図５】画像の色相とコントラストモデル値Ｃｒｇ，Ｃｙｂとの関係分布を示すグラフ。
【図６】画像コントラストモデル値Ｃｒｇ，Ｃｙｂと協和音との調和度の相関グラフ。
【図７】画像コントラストモデル値Ｃｒｇ，Ｃｙｂと不協和音との調和度の相関グラフ。
【図８】基準周波数４４０Ｈｚに対する他の音の周波数ｆと調和度Ｃｆとの関係を示すグラフ。
【図９】基準周波数８８０Ｈｚに対する他の音の周波数ｆと調和度Ｃｆとの関係を示すグラフ。
【図１０】上記実施の形態による音情報をキーにした画像情報検索処理のフローチャート。
【図１１】上記実施の形態による画像情報をキーにした音情報検索処理のフローチャート。
【図１２】画像明度Ｃｂｒと協和音との調和度の相関グラフ。
【図１３】画像明度Ｃｂｒと不協和音との調和度の相関グラフ。
【符号の説明】
【００７９】
１  入出力処理部
２  音分析部
３  画像分析部
４  音データベース
５  画像データベース
６  マッチング処理部
７  制御部
１０  表示装置
１１  キーボード
【図１】
2006155042.tif 000056
【図２】
2006155042.tif 000057
【図３】
2006155042.tif 000058
【図４】
2006155042.tif 000059
【図５】
2006155042.tif 000060
【図６】
2006155042.tif 000061
【図７】
2006155042.tif 000062
【図８】
2006155042.tif 000063
【図９】
2006155042.tif 000064
【図１０】
2006155042.tif 000065
【図１１】
2006155042.tif 000066
【図１２】
2006155042.tif 000067
【図１３】
2006155042.tif 000068