(57)【特許請求の範囲】
【請求項１】
少なくとも１以上のコンテンツ情報を、各前記コンテンツ情報に関連する画像である関連画像情報と対応付けて記憶する記憶手段と、
処理すべき前記コンテンツ情報に関連する事物を撮影して対象画像情報を取得する対象画像情報取得手段と、
前記コンテンツ情報に関連する事物の動きを検出する動き検出手段と、
前記取得した対象画像情報と、前記記憶手段に記憶された各前記関連画像情報とについて、夫々相関演算処理を行ない、該対象画像情報と最も相関の高い関連画像情報に対応する前記コンテンツ情報を前記記憶手段から取得する情報取得手段と、を備え、
前記情報取得手段により取得したコンテンツ情報が現在再生中であるか否かを判定し、判定の結果、現在再生中でない場合には当該コンテンツ情報の再生処理を行ない、現在再生中である場合には、前記動き検出手段により検出された事物の動きに応じた処理を当該再生中のコンテンツ情報に対して行なうことを特徴とする処理装置。
【請求項２】
請求項１に記載の処理装置において、
前記記憶手段は、前記事物の形状を示す形状情報を記憶し、
前記対象画像情報取得手段は、前記形状情報に基づいて前記対象画像情報を取得することを特徴とする処理装置。
【請求項３】
請求項２に記載の処理装置において、
前記対象画像情報取得手段は、
前記事物を撮影すべき撮影範囲を撮影して背景画像情報を取得する背景画像情報取得手段と、
前記撮影範囲内にて前記事物を撮影して事物画像情報を取得する事物画像情報取得手段と、
前記背景画像情報と前記事物画像情報との差を示す差画像情報を取得する差情報取得手段と、
前記差画像情報によって示される画像領域から前記記憶手段に記憶された形状情報に対応する領域を切り出す領域切り出し手段と、を更に有し、かつ
前記領域切り出し手段によって切り出された領域に基づいて前記対象画像情報を取得することを特徴とする処理装置。
【請求項４】
請求項３に記載の処理装置において、
前記対象画像情報取得手段は、前記領域切り出し手段によって切り出された領域を、前記記憶手段に記憶された形状情報によって示される画像の大きさと一致するよう処理を施して前記対象画像情報を取得することを特徴とする処理装置。
【請求項５】
請求項１乃至請求項４のいずれか一項に記載の処理装置において、
前記記憶手段に記憶された前記コンテンツ情報は、情報記録媒体に記録されていた記録コンテンツ情報であって、
前記事物は、前記情報記録媒体に関連する事物であることを特徴とする処理装置。
【請求項６】
請求項５に記載の処理装置において、
前記関連画像情報は、前記情報記録媒体の包装の画像であり、
前記形状情報は、前記情報記録媒体の包装の形状を示すことを特徴とする処理装置。
【請求項７】
請求項６に記載の処理装置において、
前記事物は、前記情報記録媒体の包装又は前記情報記録媒体の包装の印刷物であることを特徴とする処理装置。
【請求項８】
請求項５に記載の処理装置において、
前記関連画像情報は、前記情報記録媒体自身の面の画像であり、
前記事物は、前記情報記録媒体自身であり、
前記形状情報は、前記情報記録媒体自身の面の形状を示すことを特徴とする処理装置。
【請求項９】
請求項１乃至請求項４のいずれか一項に記載の処理装置において、
前記記憶手段に記憶された前記コンテンツ情報は、ネットワークを介して取得したコンテンツ情報であることを特徴とする処理装置。
【請求項１１】
請求項１乃至請求項９のいずれか一項に記載の処理装置は、情報記録再生装置であることを特徴とする処理装置。
【請求項１２】
コンピュータを、
少なくとも１以上のコンテンツ情報を、各前記コンテンツ情報に関連する画像である関連画像情報と対応付けて記憶する記憶手段、
処理すべき前記コンテンツ情報に関連する事物を撮影して対象画像情報を取得する対象画像情報取得手段、
前記コンテンツ情報に関連する事物の動きを検出する動き検出手段、
前記取得した対象画像情報と、前記記憶手段にて記憶された各前記関連画像情報とについて、夫々相関演算処理を行ない、該対象画像情報と最も相関の高い関連画像情報に対応する前記コンテンツ情報を前記記憶手段から取得する情報取得手段、として機能させ、かつ、
前記情報取得手段により取得したコンテンツ情報が現在再生中であるか否かを判定し、判定の結果、現在再生中でない場合には当該コンテンツ情報の再生処理を行ない、現在再生中である場合には、前記動き検出手段により検出された事物の動きに応じた処理を当該再生中のコンテンツ情報に対して行なうよう機能させることを特徴とする処理プログラム。
【請求項１３】
請求項１２に記載の処理プログラムにおいて、
前記記憶手段を前記事物の形状を示す形状情報を記憶するよう機能させ、
前記対象画像情報取得手段を、前記形状情報に基づいて前記対象画像情報を取得するよう機能させることを特徴とする処理プログラム。
【請求項１４】
請求項１３に記載の処理プログラムにおいて、
前記対象画像情報取得手段を、
前記事物を撮影すべき撮影範囲を撮影して背景画像情報を取得する背景画像情報取得手段、
前記撮影範囲内にて前記事物を撮影して事物画像情報を取得する事物画像情報取得手段、
前記背景画像情報と前記事物画像情報との差を示す差画像情報を取得する差情報取得手段、
前記差画像情報によって示される画像領域から前記記憶手段にて記憶された形状情報に対応する領域を切り出す領域切り出し手段として機能させ、かつ、
前記領域切り出し手段により切り出された領域に基づいて前記対象画像情報を取得するよう機能させることを特徴とする処理プログラム。
【請求項１５】
請求項１４に記載の処理プログラムにおいて、
前記対象画像情報取得手段を、前記領域切り出し手段によって切り出された領域を、前記記憶手段にて記憶された形状情報によって示される画像の大きさと一致するよう処理を施して前記対象画像情報を取得するよう機能させることを特徴とする処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は処理装置及び処理プログラムに係り、特に情報を記憶する記憶部を有し、情報に関連する画像をアクセスキーとして当該記憶部に記憶された情報のうち処理すべき１の情報を取得する情報取得処理に関する。
【背景技術】
【０００２】
近年、ＣＤに記録された楽曲データ等のコンテンツをＨＤＤに記録する、いわゆるＣＤリッピングを行うことができる情報記録再生装置が知られており、かかる装置によれば、ユーザは、例えば、自己が購入した多くのＣＤに収録された楽曲データをＨＤＤに記録することができる。
【０００３】
ところで、ユーザは、ＨＤＤに記録したＣＤの楽曲データから、あるＣＤの楽曲データを再生しようとするとき、装置に備えたコントローラなどで、ＣＤの番号やタイトルを選んで再生させることがある。また、非特許文献１には、ＣＤにＲＦＩＤ（Radio Frequency Identification）タグを貼り、装置では当該ＣＤに貼られたＲＦＩＤタグを読み取って対応するＣＤを検索する技術が開示されている。
【非特許文献１】
塚田浩二，増井俊之: MouseField:「「置いて，動かす」イディオムを用いた日用品の拡張」インタラクション2004論文集, pp.45-46 (2004)  http://mobiquitous.com/activity.html
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、かかる手法はユーザが所有するＣＤに自らＲＦＩＤタグを入手して、当該ＲＦＩＤタグをＣＤに貼らなくてはならないという煩雑さがあった。
また当該ＲＦＩＤタグが、対応するコンテンツを再生する唯一のアクセスキーであるため、ＲＦＩＤタグが紛失した場合や、ＩＣタグが貼られたＣＤ自体が紛失した場合等には対応できないという問題があった。
【０００５】
本願は以上説明した事情に鑑みてなされたものであり、その課題の一例としては、ＣＤに記録されたコンテンツをＨＤＤ等に記憶して、当該ＨＤＤに記憶されたコンテンツのうち、所望のコンテンツをＨＤＤから読み出して再生／録音等の処理を行なう際に、処理すべきコンテンツを簡易な手法で検索して処理を行なうことを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するため、本願の一つの観点において請求項１に記載の発明は、少なくとも１以上のコンテンツ情報を、各前記コンテンツ情報に関連する画像である関連画像情報と対応付けて記憶する記憶手段と、処理すべき前記コンテンツ情報に関連する事物を撮影して対象画像情報を取得する対象画像情報取得手段と、前記コンテンツ情報に関連する事物の動きを検出する動き検出手段と、前記取得した対象画像情報と、前記記憶手段に記憶された各前記関連画像情報とについて、夫々相関演算処理を行ない、該対象画像情報と最も相関の高い関連画像情報に対応する前記コンテンツ情報を前記記憶手段から取得する情報取得手段と、を備え、前記情報取得手段により取得したコンテンツ情報が現在再生中であるか否かを判定し、判定の結果、現在再生中でない場合には当該コンテンツ情報の再生処理を行ない、現在再生中である場合には、前記動き検出手段により検出された事物の動きに応じた処理を当該再生中のコンテンツ情報に対して行なうことを特徴とする。
【０００７】
上述した課題を解決するため、本願の一つの観点において請求項１２に記載の発明は、コンピュータを、少なくとも１以上のコンテンツ情報を、各前記コンテンツ情報に関連する画像である関連画像情報と対応付けて記憶する記憶手段、処理すべき前記コンテンツ情報に関連する事物を撮影して対象画像情報を取得する対象画像情報取得手段、前記コンテンツ情報に関連する事物の動きを検出する動き検出手段、前記取得した対象画像情報と、前記記憶手段にて記憶された各前記関連画像情報とについて、夫々相関演算処理を行ない、該対象画像情報と最も相関の高い関連画像情報に対応する前記コンテンツ情報を前記記憶手段から取得する情報取得手段として機能させ、かつ、前記情報取得手段により取得したコンテンツ情報が現在再生中であるか否かを判定し、判定の結果、現在再生中でない場合には当該コンテンツ情報の再生処理を行ない、現在再生中である場合には、前記動き検出手段により検出された事物の動きに応じた処理を当該再生中のコンテンツ情報に対して行なうよう機能させることを特徴とする。
【図面の簡単な説明】
【０００８】
【図１】オーディオシステムＳの構成を示すブロック図である。
【図２】記憶部１に記憶したコンテンツ対応テーブルの説明図である。
【図３】操作入力部３の構成例である。
【図４】第１実施形態におけるシステム制御部７が実行する画像認識再生処理を示すフローチャートである。
【図５】第１、第２実施形態におけるシステム制御部７が実行する変化検出処理を示すフローチャートである。
【図６】第１、第２実施形態におけるシステム制御部７が実行する対象媒体画像データ取得処理を示すフローチャートである。
【図７】（Ａ）標準二値化マスクＭｈの説明図である。（Ｂ）二値化画像データＤＦ２の説明図である。
【図８】対象媒体画像データ取得処理にて取得した矩形領域情報Ｌ（ｔ）の説明図である。
【図９】第２実施形態におけるシステム制御部７が実行する画像認識再生処理を示すフローチャートである。
【図１０】第２実施形態におけるシステム制御部７が実行するコマンド認識処理を示すフローチャートである。
【図１１Ａ】記憶部１に記憶したコマンド対応テーブルの説明図である。
【図１１Ｂ】各方向ベクトルとコマンドとの関係を示す説明図である。
【図１２】他の実施例におけるシステム制御部７が実行するコマンド認識処理を示すフローチャートである。
【図１３】他の実施例におけるＣＤジャケットの回転角θの説明図である。
【符号の説明】
【０００９】
Ｓ…オーディオシステム
１…記憶部
２…画像取得部
２Ａ…カメラ
３…操作入力部
３Ａ…シャッターボタン
３Ｂ…画像認識再生開始ボタン
４…バッファメモリ
５…スピーカ
６…表示部
７…システム制御部
８…バス
Ｃ（Ｃ１、Ｃ２、…、Ｃｎ）…コンテンツ
Ｄｊ（Ｄｊ１、Ｄｊ２、…、Ｄｊｎ）…ジャケット画像データ
ＤＢ…背景画像データ
ＤＦ…誤差
ＤＦ２…二値化画像データ
ＤＣ…矩形領域画像データ
Ｄimage…事物画像データ
Ｌ…矩形領域情報
Ｌｍ…平均矩形領域情報
Ｍｈ…標準二値化マスク
Ｍ…マスク
ＤＣＳ…対象媒体画像データ
ｉ、ｔ…サンプリング時間
Ｆ…コマンド情報
ＬＤ…動きベクトル
ＬＤｍ…平均動きベクトル
ＬＤ…動きベクトル
ＬＤｍ…平均動きベクトル
LDm’ …正規化平均動きベクトル
ＬＴＬ、ＬＴＲ…２頂点座標
ＬＵ…中点座標
θ…角度
【発明を実施するための最良の形態】
【００１０】
Ａ．第１実施形態
以下、本願の最良の実施形態を図面に基づいて説明する。なお、以下に説明する実施の形態は、オーディオシステムに対して本願の処理装置及び情報記録再生装置を適用した場合の実施形態である。
【００１１】
［１．オーディオシステムの構成及び機能の実施形態］
始めに、本実施形態にかかるオーディオシステムの構成及び機能を、図１乃至図３を用いて説明する。なお、図１は、本願におけるオーディオシステムＳの概要構成を示すブロック図である。
オーディオシステムＳは、例えばオーディオビジュアル（以下、単にＡＶ（Audio Visual）と称する）装置（例えば、ＣＤ（Compact Disc）プレーヤ、ＤＶＤ（Digital Versatile Disc）プレーヤ及びセットトップボックス等）であり、当該オーディオシステムＳにて再生処理された音声や映像は、音声を出力するためのスピーカ５、及び映像再生用のモニターやディスプレイ等の表示部６から出力されるよう構成されている。
【００１２】
また、オーディオシステムＳは、ＣＤやＤＶＤ等に記録された楽曲データ等をリッピングしたファイル、もしくは家庭用デジタルビデオカメラなどで撮影した音声付き映像ファイル等を記憶した記憶部１と、カメラ２Ａを備えて構成された画像取得部２と、ユーザが各設定を行なうとともにオーディオシステムＳに命令を入力する際に用いられる操作入力部３と、バッファメモリ４を用いて画像取得部２にて取得した画像情報等を表示する表示部６と、バッファメモリ４を用いて記憶部１に記憶されたコンテンツの音楽情報を再生出力するスピーカ５と、システムＳ全体を制御するシステム制御部７とを含んで構成されており、各構成部分は、バス８を介して相互に接続されている。
【００１３】
記憶部１は、各種データ、テーブル及びプログラム等を記憶（格納）するＨＤＤ(Hard Disc Drive)、磁気ディスク装置、光磁気ディスク装置等の周知の記憶装置にて構成されており、ＣＤ等に記録された楽曲データ（コンテンツＣ）を、ＷＭＡ（Windows（登録商標） Media Audio）、ＭＰ３（MPEG（Moving Picture Experts Group）Audio Layer-3）、ＷＡＶ、ＡＶＩ等のフォーマットにて記憶（リッピング）している。
さらに、記憶部１は、システム制御部７と共に本願の記憶手段として機能し、これらのコンテンツＣ（情報）を、当該コンテンツＣが記録されたＣＤ（情報記録媒体）のジャケットの画像（情報に関連する画像）を示すジャケット画像データＤｊ（関連画像情報）と対応付けて記憶する。
【００１４】
ここで、記憶部１に記憶されたコンテンツＣとジャケット画像データＤｊについて説明する。
【００１５】
図２は、記憶部１に記憶されたコンテンツ対応テーブルの説明図である。同図に示す如く、本実施形態においてはｎ個のＣＤに記録されたコンテンツＣ（Ｃ１、Ｃ２、…、Ｃｎ）が、それぞれのＣＤのジャケット画像を示すジャケット画像データＤｊ（Ｄｊ１、Ｄｊ２、…、Ｄｊｎ）と対応付けて記憶されている。なお、本実施形態においては、通常１つのＣＤが１枚のディスク盤で販売されている場合について説明するが、２枚のＣＤで販売されるいわゆる２枚組みＣＤ等に本願を適用する場合には、２枚のディスク盤に記録されたコンテンツＣをそのＣＤのジャケットの画像を示す１つのジャケット画像データＤｊと対応付けて記憶させればよい。
【００１６】
なお、本実施形態において、ＣＤのジャケットは本願における情報記録媒体の包装の一例として説明する。
【００１７】
また、記憶部１は、後に詳述する画像認識再生処理において使用する標準二値化マスクＭｈを記憶する。この標準二値化マスクＭｈは、ＣＤジャケットに対応する矩形形状（形状情報）を示すものである。
【００１８】
次に、画像取得部２は、カメラ２Ａによって撮影された画像を画像データとしてシステムＳ内に取り込むためのものである。すなわち、上述した記憶部１内に記憶させたコンテンツ対応テーブルを作成する際に、カメラ２Ａにてリッピング後の（或いはリッピングを行なう前に）ＣＤのジャケット画像を撮影してジャケット画像データＤｊを取得する。取得されたジャケット画像データＤｊは、記憶部１にＣＤに記録されたコンテンツＣと対応付けて記憶される。
【００１９】
また、ユーザによって当該操作入力部３が操作されることにより、後に詳述する画像認識再生処理の開始が指示されると、カメラ２Ａの撮影範囲内を撮影して背景画像情報としての背景画像データＤＢを取得する。そして、ユーザによってカメラ２Ａの撮影範囲内に示された再生を所望するコンテンツＣが記録されたＣＤのジャケットを撮影して、事物画像情報としての事物画像データＤimageをシステムＳ内に取り込んで、画像認識再生処理を行なう。
【００２０】
操作入力部３は、ユーザが各設定を行なうとともにオーディオシステムＳに対して各種命令を行なう際に用いる。操作入力部３の構成例を図３に示す。より具体的には、ＣＤに記録されたコンテンツＣを記憶部１に記憶（リッピング）させた後（或いはリッピングを行なう前に）、ユーザが当該ＣＤジャケットを上記カメラ２Ａ前に近づけ、当該操作入力部３に備えたシャッターボタン３Ａを押して撮影を行なう。撮影されたＣＤジャケットの画像は、ジャケット画像データＤｊとして取得されて、コンテンツＣと対応付けて記憶部１内に記憶される（図２参照。）。
【００２１】
また、記憶部１に記憶されているコンテンツＣの再生を所望する場合において、ユーザが当該操作入力部３に備えた画像認識再生開始ボタン３Ｂを押すことにより、後に詳述する画像認識再生処理を開始するようになっている。なお、この際にはシャッターボタン３Ａを操作しなくても、撮影が順次行なわれて、画像認識再生処理が適切に行なわれるよう構成されている。
【００２２】
なお、本実施形態においては、図３に示す如く操作入力部３をカメラ２Ａ及び表示部６と一体に形成した例を示したが、これに限らず、当該オーディオシステムＳと、各部材を別個独立に形成し、ブルートゥース等の短距離無線通信で各種命令信号や各種データの授受を行なうよう構成してもよく、或いはＩＥＥＥ（the Institute of Electrical and Electronic Engineers）１３９４の通信Ｉ／Ｆ等によって、各部材を接続して各種データの授受を行なうよう構成してもよい。
【００２３】
また、スピーカ５は、システム制御部７の制御に基づいて記憶部１より取得したコンテンツＣに基づいて、制御部７の指示により図示しない音声処理部が出力すべき音声信号を生成し、スピーカ５を介して拡声するように構成されている。
【００２４】
そして、表示部６は、画像取得部２によって取得した画像データを、制御部１０の指示により図示しない表示処理部が表示部６に表示させるべく所定の処理に基づいて表示処理を行ない、バッファメモリ４に一時的に保存しつつ、所定のタイミングでバッファメモリ４から表示処理済の画像データを読み出して、画像を表示するためのモニターなどで構成されている。例えば、ＣＤに記録されたコンテンツＣを記憶部１に記憶（リッピング）させた後（或いはリッピングを行なう前に）、ユーザが当該ＣＤジャケットを上記カメラ２Ａ前に近づけ、当該操作入力部３に備えたシャッターボタンを押して撮影を行なう際には、図３に一点鎖線で示す如く表示部６に撮影枠６Ａを表示させるよう構成する。これにより、ユーザはカメラ２Ａが現在捉えているＣＤジャケットの像を表示部６に表示させて認識しつつ、表示部６に表示された撮影枠６Ａに合致させるようにして操作入力部３に備えたシャッターボタン３Ａを操作することができる。従って、常に同じサイズの鮮明なジャケット画像データＤｊを取得することが可能になる。
【００２５】
また、記憶部１に記憶されているコンテンツＣの再生を所望する場合において、ユーザが再生を所望するＣＤジャケットをカメラ２Ａの前に近づけて画像認識再生処理を行なう際にも、ユーザはカメラ２Ａが現在捉えているＣＤジャケットの像を表示部６に表示させて認識しつつ、表示部６に表示された撮影枠６Ａに合致させるようにユーザに対してＣＤジャケットを翳すべき場所をガイドしてやることにより、後に詳述する画像認識再生処理においてより確実な画像認識を行なうことが可能になる。
【００２６】
システム制御部７は、図示しないＣＰＵ（Central Processing Unit）、作業用ＲＡＭ（Random Access Memory）、処理プログラム等を含む各種制御プログラムやデータ等を記憶するＲＯＭ（Read Only Memory）及び発振回路等を備えて構成されており、図示しない操作部からの操作信号に基づいて、当該操作信号に含まれている操作情報に対応する動作を実現すべく上記各構成部材を制御するための制御情報を生成し、バス８を介して当該制御情報を該当する構成部材に出力して当該各構成部材の動作を統轄制御する。より具体的には、キー入力ポート、表示部Ｍの制御ポート等の各種入出力ポートを含み、処理のための全般的な機能を総括的に制御するようになっている。また、システム制御部７は、ＲＯＭ等に記憶されたプログラムを実行することにより、本願の記憶手段、対象画像情報取得手段、情報取得手段、情報処理手段、背景画像情報取得手段、事物画像情報取得手段、差画像情報取得手段及び領域切り出し手段等として機能するようになっている。
【００２７】
より具体的には、システム制御部７は、記憶部１と共に記憶手段として機能し、ＣＤに記憶されたコンテンツＣと、当該コンテンツＣが記録されたＣＤのジャケット画像を示すジャケット画像データＤｊとを対応付けて記憶する。
【００２８】
また、システム制御部７は、画像取得部２と共に背景画像情報取得手段及び事物画像情報取得手段として機能し、ユーザによって当該操作入力部３が操作されることにより、後に詳述する画像認識再生処理において、カメラ２Ａの撮影範囲内を撮影して背景画像情報としての背景画像データＤＢを取得する。そして、ユーザによってカメラ２Ａの撮影範囲内に示された再生を所望するコンテンツＣが記録されたＣＤのジャケットを撮影して、事物画像情報としての事物画像データＤimageを取得する。
【００２９】
また、システム制御部７は、差画像情報取得手段及び領域切り出し手段として機能し、後に詳述する画像認識再生処理において取得された上記背景画像データＤＢ及び事物画像データＤimageを構成する画素値に基づいて、当該背景画像データＤＢと事物画像データＤimageの差画像情報としての誤差ＤＦを取得し、当該誤差ＤＦを二値化した二値化画像データＤＦ２のうち、記憶部１に記憶した標準二値化マスクＭｈに示される矩形形状に対応する領域を切り出して、矩形領域画像データＤＣを取得する。
【００３０】
また、システム制御部７は、対象画像情報取得手段として機能し、矩形領域画像データＤＣを記憶部１に記憶したジャケット画像データＤｊと同サイズになるよう解像度変換処理を行なって対象画像情報としての対象媒体画像データＤＣＳを取得する。
【００３１】
また、システム制御部７は、情報取得手段及び情報処理手段として機能し、後に詳述する画像認識再生処理において取得された対象媒体画像データＤＣＳを、後に詳述する画像認識再生処理にて、記憶部１に記憶したジャケット画像データＤｊと照合して、対応するコンテンツＣを記憶部１より取得して、所定の再生処理を行なう。
【００３２】
［２．画像認識再生処理］
続いて、図４乃至図６を参照して、オーディオシステムＳの画像認識再生処理について説明する。
【００３３】
図４乃至図６は、オーディオシステムＳのシステム制御部７における画像認識再生処理を示すフローチャートであり、当該フローチャートにより示される処理は、システム制御部７内の図示しないＲＯＭ等に予め記憶されているプログラムに基づいて当該システム制御部７の制御に基づいて実行されるものである。
【００３４】
なお、ユーザが当該操作入力部３に備えた画像認識再生開始ボタン３Ｂを押して画像認識再生処理の開始を指示することによって、当該画像認識再生処理が開始される。
【００３５】
まず、図４に基づいて画像認識再生処理の概略的動作について説明した後に、当該画像認識再生処理にて実行される変化検出処理及び対象媒体画像データ取得処理について、夫々図５及び図６に示すフローチャートを用いて具体的に説明する。
【００３６】
まず、ユーザによって画像認識再生開始ボタン３Ｂが押されて、画像認識再生処理の開始が指示されると、変化検出処理を行なう（ステップＳ１）。そして、後に詳述する変化検出処理にて変化が検出されたか否かを判定し（ステップＳ２）、変化が検出された場合（ステップＳ２：Ｙｅｓ）には、続いて対象媒体画像データ取得処理を行なう（ステップＳ３）。
【００３７】
すなわち、ステップＳ１における変化検出処理では、カメラ２Ａの撮影範囲内をカメラ２Ａで撮影することにより、カメラ２Ａの撮影範囲内に何らかの物体がフレームインしたことを検知することにより、ユーザが再生を所望するＣＤジャケットをカメラ２Ａの前に近づけたことを検知するよう構成される。
【００３８】
そして、ステップＳ３の対象媒体画像データ取得処理にて、既定のサンプリング時間Ｔｃ内にカメラ２Ａにて撮影が行なわれて、画像取得部２にてシステム内に取り込まれた画像データに基づいて、ユーザによってカメラ２Ａの前（撮影範囲）に示されたＣＤジャケットに対応する矩形領域を切り出して、後に詳述する所定処理に基づいて対象媒体画像データＤＣＳを取得する。
【００３９】
他方、ステップＳ２の判定において、変化が検出されなかったと判定された場合（ステップＳ２：Ｎｏ）には、処理を終了する。なお、この際に「撮影できませんでした。もう一度はじめからやり直してください。」等の所定の音声をスピーカ５から再生出力させ、ユーザに再度画像認識再生開始ボタン３Ｂを操作して画像認識再生処理を試みることを促すよう構成してもよい。
【００４０】
続いて、記憶部１に記憶させたコンテンツ対応テーブルを参照して、ステップＳ３の処理において取得した対象媒体画像データＤＣＳとジャケット画像データＤｊとを照合し、対応するコンテンツＣを検索する（ステップＳ４）。
【００４１】
より具体的には、対象媒体画像データＤＣＳと、ジャケット画像データＤｊとを相関演算することにより、記憶部１に記憶された全てのジャケット画像データＤｊについて、最も相関の高いジャケット画像データＤｊを取得し、これに対応するコンテンツＣを検索する。ＣＤ等のジャケット写真はアーティストの個性を反映し、独立性が高い。従って、相関演算をした結果、記憶部１に記憶された全てのジャケット画像データＤｊのうち最も相関の高いジャケット画像データＤｉを表示部６にアイコンとして大きく表示し再生するよう構成する。
【００４２】
また、例えば相関が２番目に高いジャケット画像データＤｉ、３番目に高いジャケット画像データＤｉ、・・・、といったように上位のジャケット画像データＤｉ候補もその相関値に比例したサイズのアイコンで表示部６に表示するよう構成してもよい。そしてユーザは操作入力部３を操作することにより、又は表示部６をタッチパネルで構成するなどして、これらのアイコンを選択可能に構成することも可能である。このように構成することにより、ユーザは再生を所望するコンテンツを再選択することが可能になる。従って、仮に相関演算結果に誤りが生じた場合であっても、ユーザが表示部６に表示されたアイコンを見て、次候補、次々候補等を選択して再生するコンテンツCを変更することが可能になる。
【００４３】
そして検索の結果、対応するコンテンツＣが記憶されていない場合（ステップＳ４：Ｎｏ）には、「一致するコンテンツはありませんでした」等の所定の音声をスピーカ５から再生出力させると共に、表示部６に所定の待ち受け画面を表示させる等のシステム制御部７の制御に基づいて所定の不適合処理を行ない（ステップＳ５）、ステップＳ７に移行する。
【００４４】
他方、ステップＳ４の検索の結果、対応するコンテンツＣが記憶されている場合（ステップＳ４：Ｙｅｓ）には、当該コンテンツＣを記憶部１から取得して再生処理を開始する（ステップ６）。
【００４５】
そして、ステップＳ５において不適合処理を行なった後、或いはステップＳ６にて対応するコンテンツＣの再生処理を開始した後に、画像認識再生処理の終了が指示されたか否かを判定し（ステップＳ７）、画像認識再生処理の終了が指示された場合（ステップＳ７：Ｙｅｓ）には当該画像認識再生処理を終了し、他方、画像認識再生処理の終了が指示されていない場合（ステップＳ７：Ｎｏ）には再度ステップＳ１に移行して引き続き画像認識再生処理を行なう。
【００４６】
なお、上述したステップＳ７における終了の指示の一例として、例えば、ユーザが操作入力部３を操作することにより、画像認識再生処理を終了する指示信号が生成され、システム制御部７の制御に基づいて当該処理を終了するよう構成する。
【００４７】
〔２−１．変化検出処理〕
続いて、上述したステップＳ１における変化検出処理について、図５に示すフローチャートを用いて具体的に説明する。
【００４８】
まず、ＣＤジャケットが未だカメラ２Ａに映っていないときの画像データを取得すべく、背景画像データＤＢを取得する（ステップＳ１０）。なお、背景画像データＤＢは以下の数式１で示され中、ｔはシステム制御部７に備えた内蔵時計等に基づいて計測したサンプリング時間、（ｘ,ｙ）は空間座標、であり、image(x,y,t)は、サンプリング時間ｔにおける空間座標（ｘ,ｙ）での濃度値（Gray level）若しくは輝度値等の画素値を示している。
【００４９】
【数１】
0004481996.tif 000002
従って、上記数式１により算出される「ＤＢ(x,y)」は、カメラ２Ａで撮像したサンプリング時間ｔ＝１の画像データからｔ＝Ｔ番目の画像データまでの画素値の平均値を意味しており、システム制御部７は、この画素値の平均値「ＤＢ(x,y)」により表される画像データを背景画像データＤＢとして取り扱う。そして、このようにして取得した背景画像データＤＢは、システム制御部７内に備えたＲＡＭ等に記憶させておく。
【００５０】
続いて、サンプリング時間ｔを０として初期化し（ステップＳ１１）、画像データを監視し、現在の画像を示す画像データを取得して、ステップＳ１にて取得した背景画像データＤＢ(x,y)を以下の式に代入して差分画像データＤ(x,y,t)を取得する（ステップＳ１２）。
【００５１】
【数２】
0004481996.tif 000003
ここで、この（数式２）において右辺の「Ｄimage(x,y,t)」は現在の画像を示す画像データを意味している。すなわち、ユーザによってカメラ２Ａの撮影範囲内に示された再生を所望するコンテンツＣが記録されたＣＤのジャケットを撮影した事物画像データＤimageを示す。
【００５２】
一般に現在の画像が背景画像と比較して変化していない場合、「Ｄimage (x,y,t)」と「ＤＢ(x,y)」は、ほぼ等しい値をとりＤ(x,y,t)の値が小さくなるのに対して、例えば、ＣＤジャケットがカメラ２Ａの前（撮影範囲）に映し出される等、現在の画像に変化が生じると、「Ｄimage(x,y,t)」と「ＤＢ(x,y,t)」との間の差が大きくなり、「Ｄ(x,y,t)」の値が大きくなる。従って、差分画像データＤを示す「Ｄ(x,y,t)」は、カメラ２Ａの撮影範囲内に何らかの物体が映し出されたか否かを判断する指標となり、この値が所定値を越えた場合に、ＣＤジャケットがカメラ２Ａの前（撮影範囲）に映し出されたことが推測されることとなる。
【００５３】
そこで、ステップＳ１３の処理において、システム制御部７は、この算出された差分画像データＤを示す「Ｄ(x,y,t)」と予め定められた閾値「thＤ１」とを比較し、差分画像データＤを示す「Ｄ(x,y,t)」」が閾値「thＤ１」以上である場合（ステップ１３：Ｎｏ）に、ＣＤジャケットがカメラ２Ａの撮影範囲内に映し出されたと判定する構成となっている。
【００５４】
従って、ステップＳ１３の処理において、差分画像データＤを示す「Ｄ(x,y,t)」が閾値「thＤ１」未満である場合（ステップ１３：Ｙｅｓ）には、この変化検出処理を終了して図４に示す処理に戻る（リターン）。なお、この場合には、上述した図４に示すステップＳ２の処理において、変化が検出された（ステップＳ２：Ｙｅｓ）として判定されることになる。
【００５５】
他方、ステップＳ１３の処理において、差分画像データＤを示す「Ｄ(x,y,t)」が閾値「thＤ１」以上である場合（ステップ１３：Ｎｏ）には、サンプリング時間ｔが所定のタイムアウト時間Ｔｏ（例えば３０秒〜１分）を経過したか否かを判断し（ステップＳ１４）、タイムアウト時間Ｔｏを経過していない場合（ステップＳ１４：Ｎｏ）には、サンプリング時間ｔをｔ+1として（ステップＳ１５）、ステップＳ１２の処理に以降して再び差分画像データＤを取得し、タイムアウト時間Ｔｏが経過するまで、或いは閾値ｔｈＤ１以上となる差分画像データＤが取得されるまで、ステップＳ１２及びステップＳ１３の処理を繰り返し行なうよう構成される。
【００５６】
〔２−２．対象媒体画像データ取得処理〕
続いて、上述したステップＳ３における対象媒体画像データ取得処理について、図６に示すフローチャートを用いて具体的に説明する。
【００５７】
まず、サンプリング時間ｔを０として初期化する（ステップＳ２１）。
【００５８】
次に、画像取得手段２にて画像を取得し、当該取得した画像を現在の画像を示す画像データとして、背景画像データＤＢとの誤差ＤＦ(x,y,t)を次の数式３に基づいて算出する（ステップＳ２２）。
【００５９】
【数３】
0004481996.tif 000004
この誤差ＤＦ(x,y,t) （以下、「誤差ＤＦ」という。）は、Ｄimage(x,y,t)で示される現在の画像を示す事物画像データＤimageを構成する夫々の画素について、各画素に対応する背景画像データＤＢ(x,y)で示される上述したステップＳ１０で取得した背景画像データＤＢを構成する画素の画素値を減算することにより算出される。
【００６０】
続いて、算出した誤差ＤＦを二値化して二値化画像データＤＦ２(x,y,t)（以下、「二値化画像データＤＦ２」という。）を取得する（ステップＳ２３）。
【００６１】
より具体的には、誤差「ＤＦ(x,y,t)」が所定の閾値「ｔｈＤ２」より大きい部分については「１」とし、誤差「ＤＦ(x,y,t)」が所定の閾値「ｔｈＤ２」以下の部分については「０」として二値化画像データＤＦ２(x,y,t)を取得する。すなわち、ＣＤジャケットの画像が映し出されている部分は、事物画像データＤimageと背景画像データＤＢとの誤差「ＤＦ(x,y,t)」が大きくなる。従って、この二値化画像データＤＦ２は、ＣＤジャケットに対応する部分（ＣＤジャケットの形状）を示す矩形形状のマスクを含んで形成されることになる。
【００６２】
続いて、取得した二値化画像データＤＦ２のうち、ＣＤジャケットに対応する矩形形状を示す標準二値化マスクＭｈと最も近い形状の二値化マスク形状を検索する（ステップＳ２４）。
【００６３】
図７の（Ａ）は、標準二値化マスクＭｈの説明図、図７の（Ｂ）は、ステップＳ２３にて取得した二値化画像データＤＦ２の説明図を示す。
【００６４】
同図（Ａ）に示す標準化二値化マスクＭｈの形状は、ＣＤジャケットと同一の矩形形状で構成される。そして、ステップＳ２３にて取得した二値化画像データＤＦ２は、同図（Ｂ）に示す如く、ＣＤジャケットをカメラ２Ａ前に翳したときの手の動きなどにより何箇所かのマスク形状が取得される。同図に示す二値化画像データＤＦ２の例に拠れば、二値化画像データＤＦ２には、マスクＭ１、Ｍ２及びＭ３が含まれている。そしてこれらのうち、マスクＭ２が（Ａ）に示す標準二値化マスクＭｈと最も近い形状のマスク形状として検索されることになる。
【００６５】
続いて、ステップＳ２４において検索されたマスク形状のサイズＬＳ（ｔ）及び左上座標ＬＴ（ｔ）（ＬＴ（t）＝(xｍ,yｍ)）を矩形領域情報Ｌ（ｔ）として、取得する（ステップＳ２５）。なお、取得された矩形領域情報Ｌ（ｔ）は、図８に示す如くシステム制御部７内に備えたＲＡＭ等に一時的に記憶しておく。
【００６６】
そして、サンプリング時間ｔが既定サンプリング時間Ｔｃ（例えば１秒〜２秒）を経過したか否かを判断し（ステップＳ２６）、既定サンプリング時間Ｔｃを経過していない場合（ステップＳ２６：Ｎｏ）には、サンプリング時間ｔをｔ+1として（ステップＳ２７）、ステップＳ２２の処理に以降して再び画像データを監視し、現在の画像を示す画像データに対応した画像データを取得して、上記ステップＳ２２乃至ステップＳ２５の処理を繰り返し行ない、図８に示す如く矩形領域情報を順次取得する。なお、この既定サンプリング時間Ｔｃは、システム制御部７の制御性能や、画像取得部等に基づいて適宜変更することができる。
【００６７】
他方、ステップＳ２６の処理において、サンプリング時間ｔが既定サンプリング時間Ｔｃを経過したと判断した場合（ステップＳ２６：Ｙｅｓ）には、ステップＳ２５で取得した矩形領域情報Ｌ（ｔ）を記憶したシステム制御部７内に備えたＲＡＭ等から読み出して、以下に示す数式４に基づいて平均化して平均矩形領域情報Ｌｍ（ＬＳｍ及びＬＴｍ）を取得する（ステップＳ２８）。
【００６８】
【数４】
0004481996.tif 000005
そして、ステップＳ２８にて取得した平均矩形領域情報Ｌｍによって示される矩形形状内を「１」、それ以外を「0」とした切り出し用マスクＭｋ(x,y) （以下、「切り出し用マスクＭｋ」という。）を生成する。
【００６９】
そして、当該生成した切り出し用マスクＭｋを用いて、以下に示す数式５に基づいて矩形領域画像データＤＣ(x,y) （以下、「矩形領域画像データＤＣ」という。）を切り出して取得する（ステップＳ３０）。
【００７０】
【数５】
0004481996.tif 000006
そして取得した矩形領域画像データＤＣを、記憶部１に記憶させたジャケット画像データＤｊと同サイズになるよう解像度変換を行ない（ステップＳ３１）、対象媒体画像データＤＣＳを取得し（ステップＳ３２）、システム制御部７内に備えたＲＡＭ等に記憶させた後に、上述した図４のフローチャートに示すステップＳ４の処理に移行（リターン）して対象媒体画像データ取得処理を終了する。
【００７１】
そして、上述した図４のフローチャートに示すステップＳ４乃至Ｓ６の処理においては、上記ＲＡＭ等に記憶させた対象媒体画像データＤＣＳをシステム制御部７の処理に基づいて読み出して、記憶部１に記憶させたコンテンツ対応テーブルを参照して、当該対象媒体画像データＤＣＳとジャケット画像データＤｊとを照合し、対応するコンテンツＣを検索して再生処理を行なう。
【００７２】
以上説明した第１実施形態によれば、カメラ２Ａにて撮影したＣＤのジャケット画像（事物画像データＤimage）と背景画像データＤＢとの誤差ＤＦを二値化した二値化画像データＤＦ２を、ＣＤのジャケットの矩形形状を示す標準二値化マスクＭｈに基づいて、ＣＤジャケットの画像とそれ以外の画像とを判別して、ＣＤジャケットの画像領域のみを切り出した対象媒体画像データＤＣＳを取得することができる。そして、取得した対象画像媒体データＤＣＳを、記憶部１に記憶したジャケット画像データＤｊと照合し、対応するコンテンツＣを取得して再生することが可能になる。
【００７３】
また、上述した実施形態では、ＣＤに記録されたコンテンツＣを、当該ＣＤのジャケットの画像であるジャケット画像データＤｊをアクセスキーとして対応付けているため、例えば友人に借りたＣＤジャケットをコンテンツＣに関連する事物として、カメラ２Ａにて撮影して事物画像データＤimageを取得しても、略同一の事物画像データＤimageや対象媒体画像データＤＣＳを取得することができるため、同じコンテンツＣを取得することができる。
【００７４】
また、上述した実施形態では、ステップＳ３１にて取得した矩形領域画像データＤＣを、記憶部１に記憶させたジャケット画像データＤｊと同サイズにするよう解像度変換を行なって、対象媒体画像データＤＣＳを取得するよう構成したため、実際のＣＤジャケットとは異なるサイズであるＣＤジャケットのコピーや、ＣＤ（ＣＤのジャケット）が掲載された雑誌の切抜きなどのＣＤジャケットの印刷物であっても、略同一の対象媒体画像データＤＣＳを取得することができるため、１つのコンテンツＣに対するアクセスを多様化させることが可能になる。
【００７５】
さらに、ＣＤのジャケットの画像は、そのＣＤのアーティスト等の個性を表現したものであるため、当該ジャケット画像を、コンテンツＣに関連する画像として用いることにより、アクセスキーとしての独立性が高くなるという効果がある。
【００７６】
なお、上述した実施形態においては、ＣＤのジャケットの画像を、コンテンツＣに関連する画像として用いたが、これに限らず、例えばＣＤのディスク盤の記録面と反対の面（図柄等が記載されている面）の画像をコンテンツＣに関連する画像として用いてもよい。この場合には、ユーザは当該ＣＤのディスク盤をコンテンツＣに関連する事物としてカメラ２Ａにて撮影し、当該ＣＤのディスク盤の記録面と反対の面の画像を、事物画像データＤimageとして取得するよう構成する。そしてこの場合には、ＣＤのディスク盤の円形形状を示す標準二値化マスクＭｈを使用して、対象媒体画像データＤＣＳを取得するよう構成すればよい。
【００７７】
さらに、上述した実施形態では、ＣＤに記録されたコンテンツＣをリッピングして記憶部１に記憶させるよう構成したが、インターネット等のネットワークを介してダウンロード（或いはストリーミング）して取得されたコンテンツＣを記憶部１に記憶してもよい。この場合には、コンテンツＣに関連する画像として、ダウンロードサイトに掲載されたＣＤの画像や、アーティストの写真等を共にダウンロードして、コンテンツＣと対応付けて記憶部１に記憶させ、また、当該サイトに掲載されたＣＤの画像や、アーティストの写真を紙などに印刷（プリントアウト）し、当該印刷した紙などの印刷物を、コンテンツＣに関連する事物として用いればよい。その他、アーティスト名と曲名を紙に書いたメモや、似顔絵等のカメラ２Ａにて撮影可能な情報であれば、コンテンツＣに関連する事物（対象画像情報）として用いることが可能である。この場合には、関連画像情報として当該アーティスト名と曲名を紙に書いたメモや、似顔絵等を、コンテンツＣとを対応付けて記憶部１に記憶させておけばよい。
【００７８】
更に、記憶部１にコンテンツＣと共に当該ＣＤの属性情報（発売時期、アーティスト名、プロデューサ名、レコード会社等）を対応づけて記憶させておき、或いはＣＤジャケット等を認識した段階でインターネットに接続して当該属性情報を検索できるよう構成すれば、ＣＤのアーティストが複数メンバーで構成されたバンドである場合には、属性情報をキーとして各メンバーのソロアルバム等の各種コンテンツＣを記憶部１から検索することが可能になる。また、記憶部１にこのような各メンバーのソロアルバム等が記憶してない場合であっても、インターネット等に接続して、ダウンロードすることが可能になる。
【００７９】
このように、１つのＣＤジャケットや１枚の写真やメモ等が、予め対応づけておいた１つのコンテンツＣだけではなく、複数のコンテンツＣに次々にアクセスするためのキーとして利用することが可能になる。
【００８０】
Ｂ．第２実施形態
次に、本願にかかる他の実施形態である第２実施形態について図を参照して説明する。
【００８１】
第１実施形態は、カメラ２Ａにて撮像したＣＤジャケットの画像を認識して、当該画像をアクセスキーとして、記憶部１に記憶したコンテンツＣのうち、対応するコンテンツＣを検索して再生するよう構成したが、第２実施形態においては、システム制御部７をＲＯＭ等に記憶されたプログラムを実行することにより、動き検出手段として機能させる。
【００８２】
具体的には、コンテンツＣの再生中に、ユーザが所定の処理（コマンド）を実行すべくＣＤジャケットをカメラ２Ａの前（カメラ２Ａの撮影範囲）で動かすと、当該ＣＤジャケットの画像を認識して、スピーカ５から出力再生されているコンテンツＣのボリュームコントロール処理を行なったり、或いはコンテンツＣが複数の楽曲で構成される場合において選曲処理を行なうなど、各種再生中に認識／取得されるＣＤジャケットの画像データに基づいて各種コマンドを実行可能に構成する。
【００８３】
なお、オーディオシステムＳのその他の構成及び機能は第１実施形態と同様であるため説明を省略する。
【００８４】
〔１．画像認識再生処理〕
図９は、オーディオシステムＳのシステム制御部７における画像認識再生処理を示すフローチャートであり、当該フローチャートにより示される処理は、システム制御部７内の図示しないＲＯＭ等に予め記憶されているプログラムに基づいて当該システム制御部７の制御に基づいて実行されるものである。
【００８５】
まず、コンテンツＣが再生中に、ユーザによって画像認識再生開始ボタン３Ｂが押されて、画像認識再生処理の開始が指示されると、変化検出処理を行ない（ステップＳ５１）、変化が検出されたか否かを判定し（ステップＳ５２）、変化が検出された場合（ステップＳ５２：Ｙｅｓ）には、続いて対象媒体画像データ取得処理を行なう（ステップＳ５３）。他方、ステップＳ５２の判定において、変化が検出されなかったと判定された場合（ステップＳ５２：Ｎｏ）には、処理を終了する。なお、ステップＳ５１における変化検出処理及びステップＳ５３における対象媒体画像データ取得処理は、第１実施形態の説明と同様であるため説明を省略する。
【００８６】
続いて、記憶部１に記憶させたコンテンツ対応テーブルを参照して、ステップＳ５３の処理において取得した対象媒体画像データＤＣＳとジャケット画像データＤｊとを照合し、対応するコンテンツＣを検索する（ステップＳ５４）。そして検索の結果、対応するコンテンツＣがない場合（ステップＳ５４：Ｎｏ）には、「一致するコンテンツはありませんでした」等の所定のメッセージを表示部６に表示させる等のシステム制御部７の制御に基づいて所定の不適合処理を行ない（ステップＳ５５）、ステップＳ６０に移行する。
【００８７】
ここまでのステップＳ５１乃至ステップＳ５５の処理は、上述した第１実施形態におけるステップＳ１乃至ステップＳ５の処理と同様であるため、詳細な説明は省略する。なお、ステップＳ５では、所定の不適合処理としてスピーカ５から「一致するコンテンツはありませんでした」等の音声を出力するよう構成したが、本実施形態においては、コンテンツＣが再生中であるため、再生中のコンテンツＣに邪魔にならないよう表示部６に所定のメッセージを表示させる。なお、対象となる媒体がＣＤではなくＤＶＤ等である場合には、表示部６を構成するモニターの上端部や下端部などに、所定のメッセージを表示させるよう構成すればよい。
【００８８】
また、ステップＳ５４の検索の結果、対応するコンテンツＣが記憶されている場合（ステップＳ５４：Ｙｅｓ）には、当該コンテンツＣが、現在再生中であるか否かを判定し（ステップＳ５６）、判定の結果、現在再生中である場合（ステップＳ５６：Ｙｅｓ）には、ステップＳ５８のコマンド認識処理に移行する。なお、コマンド認識処理（ステップＳ５８）については、後にフローチャートを用いて詳述する。
【００８９】
一方、ステップＳ５４の判定の結果、対応するコンテンツＣが現在再生中でない場合（ステップＳ５６：Ｎｏ）には、ステップＳ５３にて取得した対象媒体画像データＤＣＳとジャケット画像データＤｊとを照合し、対応するコンテンツＣを記憶部１から取得して再生処理を開始し（ステップ５７）、ステップＳ６０に移行する。
【００９０】
そして、ステップＳ５８のコマンド認識処理においてコマンド情報Ｆを取得すると、取得されたコマンド情報Ｆに対応する所定のコマンドを実行し（ステップＳ５９）、ステップＳ６０に移行する。なお、コマンド情報Ｆとこれに対応するコマンドについては後のコマンド認識処理の説明で詳細に説明する。
【００９１】
そして、ステップＳ６０では、上述した第１実施形態におけるステップＳ７の処理と同様に、画像認識再生処理の終了が指示されたか否かを判定し（ステップＳ６０）、画像認識再生処理の終了が指示された場合（ステップＳ６０：Ｙｅｓ）には当該画像認識再生処理を終了し、他方、画像認識再生処理の終了が指示されていない場合（ステップＳ６０：Ｎｏ）には再度ステップＳ５１に移行して引き続き画像認識再生処理を行なう。
【００９２】
〔２．コマンド認識処理〕
続いて、上述したステップＳ５８におけるコマンド認識処理について、図１０に示すフローチャートを用いて具体的に説明する。なお、当該フローチャートにより示される処理は、システム制御部７内の図示しないＲＯＭ等に予め記憶されているプログラムに基づいて当該システム制御部７の制御に基づいて実行されるものである。
【００９３】
まず、サンプリング時間ｉを０として初期化する（ステップＳ７１）。
【００９４】
次に、画像取得手段２にて画像を取得し、当該取得した画像を現在の画像を示す画像データとして、背景画像データＤＢとの誤差ＤＦ(x,y,t)を算出する（ステップＳ７２）。
【００９５】
続いて、算出した誤差ＤＦ(x,y,t)を二値化して二値化画像データＤＦ２(x,y,t)（以下、「二値化画像データＤＦ２」という。）を取得する（ステップＳ７３）。
【００９６】
そして、取得した二値化画像データＤＦ２のうち、ＣＤジャケットに対応する矩形形状を示す標準二値化マスクＭｈと最も近い形状の二値化マスク形状を検索し（ステップＳ７４）、検索されたマスク形状の左上座標ＬＴ（ｉ）（ＬＴ（ｉ）＝(x,y)）を矩形領域情報Ｌ（ｉ）として取得する。以上の処理を繰り返し行ない、第１実施形態の説明において記載した数式４に基づいて平均化して平均矩形領域情報Ｌｍ（ｉ）を取得する（ステップＳ７５）。
【００９７】
以上ステップＳ７１乃至ステップＳ７５に示す処理は、第１実施形態の説明において詳述した対象媒体画像データ取得処理におけるステップＳ２１乃至ステップＳ２８の処理と同様であるため、ここでの詳細な説明は省略する。
【００９８】
更に、ステップＳ７５にて取得した平均矩形領域情報Ｌｍ（ｉ）を以下に示す数式６に基づいて各時刻での動きベクトルＬＤ（ｉ）を算出して取得する（ステップＳ７６）。
【００９９】
【数６】
0004481996.tif 000007
そして、サンプリング時間ｉが既定サンプリング時間Ｉを経過したか否かを判断し（ステップＳ７７）、既定サンプリング時間Ｉを経過していない場合（ステップＳ７７：Ｎｏ）には、サンプリング時間ｉをｉ+1として（ステップＳ７８）、ステップＳ７２の処理に移行して再び画像データを監視し、現在の画像を示す画像データを取得して、上記ステップＳ７２乃至ステップＳ７６の処理を繰り返し行ない、動きベクトルＬＤ（ｉ）を順次取得する。なお、取得された動きベクトルＬＤ（ｉ）は、システム制御部７内に備えたＲＡＭ等に一時的に記憶しておく。
【０１００】
他方、ステップＳ７７の処理において、サンプリング時間ｉが既定サンプリング時間Ｉを経過したと判断した場合（ステップＳ７７：Ｙｅｓ）には、ステップＳ７６で取得した動きベクトルＬＤ（ｉ）を記憶したシステム制御部７内に備えたＲＡＭ等から読み出して、以下に示す数式７に基づいて平均化して平均動きベクトルＬＤｍを取得する（ステップＳ７９）。
【０１０１】
【数７】
0004481996.tif 000008
これにより、ユーザがカメラ２Ａの撮影範囲でＣＤジャケットを何れの方向に動かしているかを把握することができる。
【０１０２】
そして、取得した平均動きベクトルＬＤｍと、既定の方向基準ベクトルとを照合し、適合する方向基準ベクトルに対応するコマンド情報Ｆを取得する（ステップＳ８０）。
【０１０３】
なお、方向基準ベクトルは、右方向を（1,0）、左方向を（-1,0）、上方向を（0,1）、下方向を（0,-1）といった単位ベクトルを用いて表され、記憶部１に、当該方向基準ベクトルと、対応するコマンド情報Ｆ、対応するコマンドの内容と、をコマンド対応テーブルとして予め記憶させておく（図１１Ａ参照。）。なお、図１１Ｂは、各方向ベクトルとコマンドとの関係を示す説明図である。
【０１０４】
すなわち、ステップＳ７９の処理にて取得された平均動きベクトルＬＤｍと適合した方向基準ベクトルが（-1,0）である場合には、コマンド情報Ｆ１が取得され、適合した方向基準ベクトルが（1,0）である場合には、コマンド情報Ｆ２が取得され、同様にして、平均動きベクトルＬＤｍが方向基準ベクトル（0,-1）と適合した場合にはコマンド情報Ｆ３が、方向基準ベクトル（0,1）と適合した場合にはコマンド情報Ｆ４が、夫々ステップＳ８０にて取得されるよう構成する。
【０１０５】
より具体的には、例えば、先ずステップＳ７９で取得した平均動きベクトルLDmのノルムを１に正規化したものを正規化平均動きベクトルLDm’を算出し、この正規化平均動きベクトルLDm’と以下に示す４種類の方向基準ベクトルとの内積を求める。つまり、正規化平均動きベクトルLDm’=(0.1513, 0.9885)ならば、方向基準ベクトル(1,0)との内積は0.1513となり、同様にして、方向基準ベクトル(-1,0)との内積は-0.1513、方向基準ベクトル(0,1)との内積は0.9885、方向基準ベクトル(0,-1)との内積は−0.9885となる。この中で内積が最大の値となるのは方向基準ベクトル(0,1)となり、この場合には、ＣＤジャケットが上方向に動いていると認識され、方向基準ベクトル(0,1)に対応するコマンド情報Ｆ４が取得される。
【０１０６】
そして、取得したコマンド情報Ｆをシステム制御部７内に備えたＲＡＭ等に記憶させた後に、上述した図9のフローチャートに示すステップＳ５９の処理に移行（リターン）してコマンド認識処理を終了する。
【０１０７】
そして、上述した図9のフローチャートに示すステップＳ５９の処理においては、上記ＲＡＭ等に記憶させたコマンド情報Ｆをシステム制御部７の処理に基づいて読み出して、記憶部１に記憶したコマンド対応テーブルを参照して、コマンド情報Ｆに対応する所定のコマンドを実行する。
【０１０８】
つまり、コマンド情報Ｆ１が取得された場合には、現在再生中の曲の、前の曲の再生処理が実行され、コマンド情報Ｆ２が取得された場合には、現在再生中の曲の、次の曲の再生処理が実行され、コマンド情報Ｆ３が取得された場合には、ボリュームアップ処理が実行され、コマンド情報Ｆ４が取得された場合には、ボリュームダウン処理が実行される。
【０１０９】
以上説明した第２実施形態によれば、コンテンツＣの再生中に、ユーザがＣＤジャケットをカメラ２Ａの撮影範囲内で既定方向に動かし、この動きを撮影して検知することにより、当該動きに対応するコマンドを実行することが可能になる。
【０１１０】
〔２−１．コマンド認識処理の他の実施例〕
続いて、上述したコマンド認識処理における他の実施例について説明する。
【０１１１】
上述したコマンド認識処理においては、再生音量のボリュームアップ／ダウンを、ＣＤの動きの上下で（すなわち、図１１Ａ及び図１１Ｂに示す方向基準ベクトルが（0,1）若しくは（0,-1）で）認識していたが、一般にオーディオ機器ではボリュームつまみを円状に回すことでボリュームをコントロールすることが多い。以下に述べる他の実施例においては、ボリュームつまみを回転させるように、ＣＤジャケットをカメラ２Ａの撮影範囲内で回転させて、その回転角度に基づいてボリュームアップ／ダウンを認識する処理について図１２に示すフローチャートを用いて具体的に説明する。
【０１１２】
なお、当該フローチャートにより示される処理は、システム制御部７内の図示しないＲＯＭ等に予め記憶されているプログラムに基づいて当該システム制御部７の制御に基づいて実行されるものである。
【０１１３】
まず、サンプリング時間ｉを０として初期化し（ステップＳ９１）、次に画像取得手段２にて画像を取得し、当該取得した画像を現在の画像を示す画像データとして、背景画像データＤＢとの誤差ＤＦ(x,y,t)を算出する（ステップＳ９２）。続いて、算出した誤差ＤＦ(x,y,t)を二値化して二値化画像データＤＦ２を取得し（ステップＳ９３）この二値化画像データＤＦ２のうち、ＣＤジャケットに対応する矩形形状を示す標準二値化マスクＭｈと最も近い形状の二値化マスク形状を検索する（ステップＳ９４）。
【０１１４】
ここまでのステップＳ９１乃至ステップＳ９４の処理は上述した「１−１．コマンド認識処理」におけるステップＳ７１乃至ステップＳ７４と同様の処理（すなわち、第１実施形態の説明において詳述した対象媒体画像データ取得処理におけるステップＳ２１乃至ステップＳ２４の処理と同様）であるため、詳細な説明は省略する。
【０１１５】
次に、検索されたマスク形状の上辺の２頂点の座標としてＬＴＬ（ｉ）とＬＴＲ（ｉ）を取得する。第１実施形態の説明において詳述した対象媒体画像データ取得処理におけるステップＳ２１乃至ステップＳ２８の処理と同様に、２頂点の座標としてＬＴＬ（ｉ）とＬＴＲ（ｉ）を取得する処理を繰り返し行ない、平均矩形領域情報Ｌｍ（ｉ）として、取得した２頂点の座標を平均化して、平均化された２頂点座標をＬＴＬｍ（ｉ）とＬＴＲｍ（ｉ）を取得する（ステップＳ９５）。
【０１１６】
更に、ステップＳ９５にて取得した平均矩形領域情報Ｌｍ（ｉ）を用いて、以下に示す数式８に従って各時刻での上辺の中点座標ＬＵ（ｉ）を算出して取得する（ステップＳ９６）。
【０１１７】
【数８】
0004481996.tif 000009
そして、サンプリング時間ｉが既定サンプリング時間Ｉを経過したか否かを判断し（ステップＳ９７）、既定サンプリング時間Ｉを経過していない場合（ステップＳ９７：Ｎｏ）には、サンプリング時間ｉをｉ+1として（ステップＳ９８）、ステップＳ９２の処理に移行して再び画像データを監視し、現在の画像を示す画像データを取得して、上記ステップＳ９２乃至ステップＳ９８の処理を繰り返し行ない、中点座標ＬＵ（ｉ）を順次取得する。なお、取得された中点座標ＬＵ（ｉ）は、システム制御部７内に備えたＲＡＭ等に一時的に記憶しておく。
【０１１８】
他方、ステップＳ９７の処理において、サンプリング時間ｉが既定サンプリング時間Ｉを経過したと判断した場合（ステップＳ９７：Ｙｅｓ）には、ステップＳ９６で取得した中点座標ＬＵ（ｉ）を、システム制御部７内に備えたＲＡＭ等から読み出して、その動きの履歴により、ユーザがＣＤジャケットを回転させている角度θを算出する（ステップＳ９９）。
【０１１９】
そして、取得した角度θをシステム制御部７内に備えたＲＡＭ等に記憶させた後に、上述した図9のフローチャートに示すステップＳ５９の処理に移行（リターン）してコマンド認識処理を終了する。
【０１２０】
なお、ステップＳ９９において、中点座標ＬＵ（ｉ）の動きの履歴から回転角度θを求めるには種々の手法が考えられるが、例えば、ステップＳ９５にて取得した平均矩形領域情報Ｌｍ（０）に含まれる２頂点座標ＬＴＬｍ（０）及びＬＴＲｍ（０）から、ＣＤジャケットの上辺の長さが推定でき、図１３に示す如くＣＤジャケットの中心から中点までの矢印Ａを定めることができる。
【０１２１】
そして、同様にしてステップＳ９５にて取得した平均矩形領域情報Ｌｍ（I−１）に含まれる２頂点の座標ＬＴＬｍ（I−１）及びＬＴＲｍ（I−１）から、角度θ分回転後のＣＤジャケットの中心から中点までの矢印Bを定めることができる。そして、これら矢印A及び矢印Bの情報及び中点座標の履歴から扇型が形成され、これらの情報より角度θを求めることができる。
【０１２２】
なお、ＣＤジャケットが正方形である場合には、ステップS９３にて取得した二値化画像データＤＦ２をシステム制御部７内に備えたＲＡＭ等に一旦記憶しておき、ステップＳ９９の処理において回転後の画像データと照合することにより、角度θが０度の場合と、角度θが９０度の場合とを判別する。その他の手法として、標準二値化マスクＭｈの横方向の辺を縦方向の辺より長くするなどして、角度θが０度の場合と、角度θが９０度の場合とを判別する。
【０１２３】
そして図9のフローチャートに示すステップＳ５９に移行して、当該角度θに適合するボリュームアップ／ダウン処理を行なう。
【０１２４】
なお、一般のオーディオシステムにおいて、ボリュームつまみを回す角度が増すに従って大きなボリュームになるよう構成されている。従って、回転の角度θが４５度であるときのボリュームを+４５ｄＢとすると、１５度で+１５ｄＢ、３０度で+３０ｄＢとなるように角度θとボリュームとが均等配分となるよう構成することが好ましい。また、回転の角度θがマイナスとなった場合には、ボリュームが小さくなるよう構成することが好ましい。
【図１】
0004481996.tif 000010
【図２】
0004481996.tif 000011
【図３】
0004481996.tif 000012
【図４】
0004481996.tif 000013
【図５】
0004481996.tif 000014
【図６】
0004481996.tif 000015
【図７】
0004481996.tif 000016
【図８】
0004481996.tif 000017
【図９】
0004481996.tif 000018
【図１０】
0004481996.tif 000019
【図１１Ａ】
0004481996.tif 000020
【図１１Ｂ】
0004481996.tif 000021
【図１２】
0004481996.tif 000022
【図１３】
0004481996.tif 000023