(57)【要約】      （修正有）【課題】マルチメディア信号から生成されるフィンガープリントの歪曲を最小化することができる電子装置およびその動作方法を提供する。【解決手段】マルチメディア信号認識のための電子装置の動作方法は、検出される信号を複数のフレームに分割する動作と、フレームそれぞれを複数のブロックに分割する動作と、ブロックそれぞれの時間特性と周波数特性に基づき、ブロックそれぞれをハッシュワードで表現する動作と、を含む。【選択図】図３
2020201482.tif 000002
【特許請求の範囲】
【請求項１】
電子装置の動作方法であって、
検出される信号を複数のフレームに分割する動作、
前記フレームそれぞれを複数のブロックに分割する動作、および
前記ブロックそれぞれの時間特性と周波数特性に基づき、前記ブロックそれぞれをハッシュワードで表現する動作を含む、方法。
【請求項２】
前記時間特性は、前記ブロックそれぞれの時間によるエネルギー分布を示し、
前記周波数特性は、前記ブロックそれぞれの周波数によるエネルギー分布を示す、請求項１に記載の方法。
【請求項３】
前記ブロックは、交差する時間軸と周波数軸によって定義される、請求項２に記載の方法。
【請求項４】
前記ハッシュワードで表現する動作は、
前記時間軸上の双方向と前記周波数軸上の双方向との組み合わせによる微分値に基づき、前記ブロックそれぞれのハッシュワードを検出する動作、および
前記ブロックそれぞれを前記検出されたハッシュワードで表現する動作を含む、請求項３に記載の方法。
【請求項５】
前記ハッシュワードを検出する動作は、
前記時間軸の第１時間方向と前記周波数軸の第１周波数方向による第１微分値を計算する動作、
前記時間軸の第２時間方向と前記周波数軸の第２周波数方向による第２微分値を計算する動作、
前記第１微分値と第２微分値とを合わせて前記微分値を計算する動作、および
前記微分値に基づき、前記ハッシュワードを検出する動作を含む、請求項４に記載の方法。
【請求項６】
前記ハッシュワードを検出する動作は、
前記第１時間方向と第２周波数方向による第３微分値を計算する動作、または
前記第２時間方向と第１周波数方向による第４微分値を計算する動作のうちの少なくともいずれか１つをさらに含む、請求項５に記載の方法。
【請求項７】
前記の微分値を計算する動作は、
前記第１微分値および第２微分値とともに、前記第３微分値または第４微分値のうちの少なくともいずれか１つを合わせて前記微分値を計算する、請求項６に記載の方法。
【請求項８】
前記ハッシュワードを検出する動作は、
前記微分値と閾値とを比較して前記微分値に対応する前記ハッシュワードを検出する、請求項５に記載の方法。
【請求項９】
前記閾値は、前記フレームのうちの現在フレームで微分値と比較するために、前記フレームのうちの以前フレームで微分値によって決定する、請求項８に記載の方法。
【請求項１０】
前記ハッシュワードを検出する動作は、
前記微分値が前記閾値を超過すれば前記ハッシュワードを１で検出し、
前記微分値が前記閾値以下であれば前記ハッシュワードを０で検出する、請求項８に記載の方法。
【請求項１１】
電子装置であって、
入力モジュール、および
前記入力モジュールによって検出される信号のフィンガープリントを生成するように構成されるプロセッサを含み、
前記プロセッサは、
検出される信号を複数のフレームに分割し、
前記フレームそれぞれを複数のブロックに分割し、
前記ブロックそれぞれの時間特性と周波数特性に基づき、前記ブロックそれぞれをハッシュワードで表現するように構成される、装置。
【請求項１２】
前記時間特性は、前記ブロックそれぞれの時間によるエネルギー分布を示し、
前記周波数特性は、前記ブロックそれぞれの周波数によるエネルギー分布を示す、請求項１１に記載の装置。
【請求項１３】
前記ブロックは、交差する時間軸と周波数軸によって定義される、請求項１２に記載の装置。
【請求項１４】
前記プロセッサは、
前記時間軸上の双方向と前記周波数軸上の双方向との組み合わせによる微分値に基づき、前記ブロックそれぞれのハッシュワードを検出し、
前記ブロックそれぞれを前記検出されたハッシュワードで表現するように構成される、請求項１３に記載の装置。
【請求項１５】
前記プロセッサは、
前記時間軸の第１時間方向と前記周波数軸の第１周波数方向による第１微分値を計算し、
前記時間軸の第２時間方向と前記周波数軸の第２周波数方向による第２微分値を計算し、
前記第１微分値と第２微分値とを合わせて前記微分値を計算し、
前記微分値に基づき、前記ハッシュワードを検出するように構成される、請求項１４に記載の装置。
【請求項１６】
前記プロセッサは、
前記第１時間方向と第２周波数方向による第３微分値、または前記第２時間方向と第１周波数方向による第４微分値のうちの少なくともいずれか１つを計算し、
前記第１微分値および第２微分値とともに、前記第３微分値または第４微分値のうちの少なくともいずれか１つを合わせて前記微分値を計算するように構成される、請求項１５に記載の装置。
【請求項１７】
前記プロセッサは、
前記微分値と閾値とを比較して前記微分値に対応する前記ハッシュワードを検出する、請求項１５に記載の装置。
【請求項１８】
前記閾値は、前記フレームのうちの現在フレームで微分値と比較するために、前記フレームのうちの以前フレームで微分値によって決定される、請求項１７に記載の装置。
【請求項１９】
前記プロセッサは、
前記微分値が前記閾値を超過すれば前記ハッシュワードを１で検出し、
前記微分値が前記閾値以下であれば前記ハッシュワードを０で検出する、請求項１７に記載の装置。
【請求項２０】
非一時なコンピュータ読み取り可能な記録媒体であって、
検出される信号を複数のフレームに分割する動作、
前記フレームそれぞれを複数のブロックに分割する動作、および
前記ブロックそれぞれの時間特性と周波数特性に基づき、前記ブロックそれぞれをハッシュワードで表現する動作を実行するための１つまたは複数のプログラムを記録するための、非一時なコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の多様な実施形態は、マルチメディア信号認識のための電子装置およびその動作方法に関する。
【背景技術】
【０００２】
最近の通信環境においてＱｂＨ（ｑｕｅｒｙ  ｂｙ  ｈｕｍｍｉｎｇ）サービスが提供されている。このようなサービスの提供のために、サーバでは大量のオーディオファイルに関する情報を保存している。クライアントが検索したいメロディーをもつオーディオ信号をサーバに送信すると、サーバは、このオーディオ信号と最も類似するオーディオファイルの情報をクライアントにフィードバックする。このために、サーバでは、オーディオ信号と大量のオーディオファイルとの比較作業が行われる。サーバがオーディオファイルを比較するために、オーディオ信号の特性に基づいてオーディオフィンガープリントを生成するのが一般的である。このとき、サーバは、オーディオ信号の周波数方向によるエネルギーの分布だけに基づいてフィンガープリントを生成するが、オーディオ信号内の雑音の周波数成分によってフィンガープリントに歪曲が生じることがある。これにより、サーバがフィンガープリントを用いてオーディオファイルを検索するにあたり、正確度の低下が問題視されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の多様な実施形態は、マルチメディア信号から生成されるフィンガープリントの歪曲を最小化することができる電子装置およびその動作方法を提供することを目的とする。
【０００４】
本発明の多様な実施形態は、フィンガープリントを用いてマルチメディアファイルを検索するにあたり、正確度を向上させることができる電子装置およびその動作方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の多様な実施形態に係る電子装置の動作方法は、検出される信号を複数のフレームに分割する動作、前記フレームそれぞれを複数のブロックに分割する動作、および前記ブロックそれぞれの時間特性と周波数特性に基づき、前記ブロックそれぞれをハッシュワードで表現する動作を含んでよい。
【０００６】
本発明の多様な実施形態に係る電子装置は、入力モジュール、および前記入力モジュールによって検出される信号のフィンガープリントを生成するように構成されるプロセッサを含んでよい。
【０００７】
本発明の多様な実施形態によると、前記プロセッサは、検出される信号を複数のフレームに分割し、前記フレームそれぞれを複数のブロックに分割し、前記ブロックそれぞれの時間特性と周波数特性に基づき、前記ブロックそれぞれをハッシュワードで表現するように構成されてよい。
【０００８】
本発明の多様な実施形態に係る非一時なコンピュータ読み取り可能な記録媒体は、検出される信号を複数のフレームに分割する動作、前記フレームそれぞれを複数のブロックに分割する動作、および前記ブロックそれぞれの時間特性と周波数特性に基づき、前記ブロックそれぞれをハッシュワードで表現する動作を実行するための１つまたは複数のプログラムを記録してよい。
【発明の効果】
【０００９】
本発明の多様な実施形態によると、電子装置が、検出される信号の周波数特性だけでなく時間特性に基づいてハッシュワードを表現することにより、信号のフィンガープリントを生成することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の多様な実施形態における、電子装置を示した図である。
【図２】本発明の多様な実施形態における、電子装置の動作方法を示した図である。
【図３】図２のフィンガープリント生成動作を示した図である。
【図４ａ】マルチメディア信号の特性を説明するための図である。
【図４ｂ】マルチメディア信号の特性を説明するための図である。
【図５ａ】マルチメディア信号の特性を説明するための図である。
【図５ｂ】マルチメディア信号の特性を説明するための図である。
【図６ａ】マルチメディア信号の特性を説明するための図である。
【図６ｂ】マルチメディア信号の特性を説明するための図である。
【図６ｃ】マルチメディア信号の特性を説明するための図である。
【図６ｄ】マルチメディア信号の特性を説明するための図である。
【図７ａ】マルチメディア信号の特性を説明するための図である。
【図７ｂ】マルチメディア信号の特性を説明するための図である。
【図７ｃ】マルチメディア信号の特性を説明するための図である。
【図７ｄ】マルチメディア信号の特性を説明するための図である。
【図８】マルチメディア信号のフィンガープリントを説明するための図である。
【図９ａ】フィンガープリントから導き出される特性を説明するための図である。
【図９ｂ】フィンガープリントから導き出される特性を説明するための図である。
【図９ｃ】フィンガープリントから導き出される特性を説明するための図である。
【図９ｄ】フィンガープリントから導き出される特性を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、本発明の多様な実施形態について、添付の図面を参照しながら詳細に説明する。
【００１２】
本発明の多様な実施形態に係る電子装置は、マルチメディア信号を認識するように実現されてよい。例えば、マルチメディア信号は、オーディオ信号またはビデオ信号のうちの少なくともいずれか１つを含んでよい。一実施形態によると、電子装置は、複数のマルチメディアファイルを記録しており、マルチメディア信号に基づき、マルチメディアファイルのうちの少なくともいずれか１つを検出してよい。ここで、電子装置は、マルチメディア信号の特性とマルチメディアファイルの特性との類似度を検出し、類似度によってマルチメディアファイルのうちの少なくともいずれか１つを検出してよい。本発明の多様な実施形態によると、電子装置は、マルチメディア信号の特性に基づき、マルチメディア信号のフィンガープリント（ｆｉｎｇｅｒｐｒｉｎｔ）を生成してよい。
【００１３】
図１は、本発明の多様な実施形態における、電子装置１００を示した図である。
【００１４】
図１を参照すると、本発明の多様な実施形態に係る電子装置１００は、入力モジュール１１０、出力モジュール１２０、メモリ１３０、またはプロセッサ１４０うちの少なくともいずれか１つを含んでよい。一実施形態によると、電子装置１００の構成要素のうちの少なくともいずれか１つが省略されてもよいし、電子装置１００に１つまたは複数の他の構成要素が追加されてもよい。
【００１５】
入力モジュール１１０は、電子装置１００の少なくとも１つの構成要素が使用する命令または信号を入力してよい。入力モジュール１１０は、ユーザが電子装置１００に命令またはデータを直接に入力するように構成される入力装置、周辺環境を感知して信号を発生するように構成されるセンサ装置、または外部装置（図示せず）との通信によって命令またはデータを受信するように構成される通信装置のうちの少なくともいずれか１つを含んでよい。例えば、入力装置は、マイクロフォン（ｍｉｃｒｏｐｈｏｎｅ）、カメラ（ｃａｍｅｒａ）、マウス（ｍｏｕｓｅ）、またはキーボード（ｋｅｙｂｏａｒｄ）のうちの少なくともいずれか１つを含んでよい。例えば、通信装置は、有線通信モジュールまたは無線通信モジュールのうちの少なくともいずれか１つを含み、無線通信モジュールは、遠距離通信網または近距離通信網のうちの少なくともいずれか１つを介して外部装置との通信を実行してよい。
【００１６】
出力モジュール１２０は、電子装置１００の外部に情報を提供してよい。出力モジュール１２０は、情報を視覚的に提供する表示装置、情報を聴覚的に提供するオーディオ装置、または情報を送信するように構成される通信装置のうちの少なくともいずれか１つを含んでよい。例えば、表示装置は、ディスプレイ、ホログラム装置、またはプロジェクタのうちの少なくともいずれか１つを含んでよい。一実施形態によると、表示装置は、タッチを感知するように設定されたタッチ回路（ｔｏｕｃｈ  ｃｉｒｃｕｉｔｒｙ）、またはタッチによって発生する力の強度を測定するように設定されたセンサ回路のうちの少なくともいずれか１つを含んでよい。例えば、通信装置は、有線通信モジュールまたは無線通信モジュールのうちの少なくともいずれか１つを含み、無線通信モジュールは、遠距離通信網または近距離通信網のうちの少なくともいずれか１つを介して外部装置との通信を実行してよい。
【００１７】
メモリ１３０は、電子装置１００の少なくとも１つの構成要素が使用する多様なデータを記録してよい。例えば、メモリ１３０は、揮発性メモリまたは不揮発性メモリのうちの少なくともいずれか１つを含んでよい。データは、プログラム、またはこれと関連する入力データまたは出力データを含んでよい。一実施形態によると、メモリ１３０は、複数のマルチメディアファイルまたはそれぞれのマルチメディアファイルのメタ情報のうちの少なくともいずれか１つを記録してよい。
【００１８】
プロセッサ１４０は、メモリ１３０のプログラムを実行して電子装置１００の少なくとも１つの構成要素を制御してよく、データ処理または演算を実行してよい。プロセッサ１４０は、入力モジュール１１０により、マルチメディア信号を検出してよい。このとき、マルチメディア信号は、オーディオ信号またはビデオ信号のうちの少なくともいずれか１つを含んでよい。プロセッサ１４０は、マルチメディア信号を複数のフレームに分割してよい。このとき、フレームは、時間軸と周波数軸によって定義されてよく、互いに重なってよい。それぞれのフレームは、時間と周波数によるそれぞれのエネルギー分布を有してよい。プロセッサ１４０は、それぞれのフレームのフィンガープリントを生成してよい。このとき、フィンガープリントは、ハッシュワード（ｈａｓｈ  ｗｏｒｄ）の配列で表現されてよい。
【００１９】
プロセッサ１４０は、それぞれのフレームを複数のブロックに分割してよい。ここで、ブロックは同一フレーム内に配列され、これにより、時間または周波数のうちの少なくともいずれか１つが異なってよい。プロセッサ１４０は、それぞれのブロックの時間特性と周波数特性を計算してよい。時間特性は時間によるエネルギー分布を示し、周波数特性は周波数によるエネルギー分布を示してよい。このために、プロセッサ１４０は、それぞれのブロックに対し、時間軸上の双方向と周波数軸上の双方向との組み合わせ（Ｄ）による微分値を計算してよい。プロセッサ１４０は、それぞれのブロックの時間特性と周波数特性に基づき、それぞれのブロックのハッシュワードを検出してよい。このとき、プロセッサ１４０は、それぞれのブロックのエネルギー微分値に基づき、それぞれのブロックのハッシュワードを検出してよい。例えば、プロセッサ１４０は、微分値と閾値とを比較して微分値に対応するハッシュワードを検出してよい。ここで、閾値は、現在フレームで微分値と比較するために、以前フレームで微分値によって決定されてよい。
【００２０】
本発明の多様な実施形態によると、電子装置１００が、検出される信号の周波数特性だけでなく時間特性に基づいてハッシュワードを表現することにより、信号のフィンガープリントを生成することができる。これにより、電子装置１００は、フィンガープリントの歪曲を最小化することができる。すなわち、信号から周波数特性または時間特性のうちのいずれか１つを検出するにあたり、エラーが発生したとしても、周波数特性または時間特性のうちの他の１つに基づいてフィンガープリントの歪曲を無効にすることが可能となる。例えば、信号が雑音を含んでいたとしても、雑音の周波数成分によるフィンガープリントの歪曲を無効化することができる。これにより、電子装置１００がフィンガープリントを生成するにあたり、正確度を向上させることができる。さらに、電子装置１００がフィンガープリントを用いてマルチメディアファイルを検索するにあたり、正確度を向上させることができる。
【００２１】
本発明の多様な実施形態に係る電子装置１００は、入力モジュール１１０、および入力モジュール１１０によって検出される信号のフィンガープリントを生成するように構成されるプロセッサ１４０を含んでよい。
【００２２】
本発明の多様な実施形態によると、プロセッサ１４０は、検出される信号を複数のフレームに分割し、フレームそれぞれを複数のブロックに分割し、ブロックそれぞれの時間特性と周波数特性に基づき、ブロックそれぞれをハッシュワードで表現するように構成されてよい。
【００２３】
本発明の多様な実施形態によると、時間特性はブロックそれぞれの時間によるエネルギー分布を示し、周波数特性はブロックそれぞれの周波数によるエネルギー分布を示してよい。
【００２４】
本発明の多様な実施形態によると、ブロックは、交差する時間軸と周波数軸によって定義されてよい。
【００２５】
本発明の多様な実施形態によると、プロセッサ１４０は、時間軸上の双方向と周波数軸上の双方向との組み合わせによる微分値に基づき、ブロックそれぞれのハッシュワードを検出し、ブロックそれぞれを検出されたハッシュワードで表現するように構成されてよい。
【００２６】
本発明の多様な実施形態によると、プロセッサ１４０は、時間軸の第１時間方向と周波数軸の第１周波数方向による第１微分値を計算し、時間軸の第２時間方向と周波数軸の第２周波数方向による第２微分値を計算し、第１微分値と第２微分値とを合わせて微分値を計算し、微分値に基づいてハッシュワードを検出するように構成されてよい。
【００２７】
本発明の多様な実施形態によると、プロセッサ１４０は、第１時間方向と第２周波数方向による第３微分値、または第２時間方向と第１周波数方向による第４微分値のうちの少なくともいずれか１つを計算し、第１微分値および第２微分値とともに、第３微分値または第４微分値のうちの少なくともいずれか１つを合わせて微分値を計算するように構成されてよい。
【００２８】
本発明の多様な実施形態によると、プロセッサ１４０は、微分値と閾値とを比較し、微分値に対応するハッシュワードを検出してよい。
【００２９】
本発明の多様な実施形態によると、閾値は、フレームのうちの現在フレームで微分値と比較するために、フレームのうちの以前フレームで微分値によって決定されてよい。
【００３０】
本発明の多様な実施形態によると、プロセッサ１４０は、微分値が閾値を超過すればハッシュワードを１で検出し、微分値が閾値以下であればハッシュワードを０で検出してよい。
【００３１】
図２は、本発明の多様な実施形態における、電子装置１００の動作方法を示した図である。図４ａ、図４ｂ、図５ａ、図５ｂ、図６ａ、図６ｂ、図６ｃ、図６ｄ、図７ａ、図７ｂ、図７ｃ、および図７ｄは、マルチメディア信号の特性を説明するための図である。図８は、マルチメディア信号のフィンガープリントを説明するための図である。図９ａ、図９ｂ、図９ｃ、および図９ｄは、フィンガープリントから導き出される特性を説明するための図である。
【００３２】
図２を参照すると、電子装置１００は、動作２１０で、マルチメディア信号を検出してよい。プロセッサ１４０は、入力モジュール１１０により、マルチメディア信号を検出してよい。このとき、マルチメディア信号は、オーディオ信号またはビデオ信号のうちの少なくともいずれか１つを含んでよい。
【００３３】
例えば、オーディオ信号は、図４ａと図４ｂ、図５ａと図５ｂに示すように、時間領域（ｔｉｍｅ  ｄｏｍａｉｎ）と周波数領域（ｆｒｅｑｕｅｎｃｙ  ｄｏｍａｉｎ）によるエネルギーの分布を示すスペクトル（ｓｐｅｃｔｒｕｍ）で表現されてよい。ここで、オーディオ信号のスペクトルは、図４ａと図４ｂに示すように立体的に表現されてもよく、図５ａと図５ｂに示すように平面的に表現されてもよい。このとき、オーディオ信号が雑音を含まない場合、オーディオ信号のスペクトルは、図４ａおよび図５ａに示すように表現されてよい。一方、オーディオ信号が雑音を含む場合、オーディオ信号のスペクトルは、図４ｂおよび図５ｂに示すように表現されてよい。
【００３４】
電子装置１００は、動作２２０で、マルチメディア信号を複数のフレームに分割してよい。このとき、フレームは、時間軸と周波数軸によって定義されてよく、互いに重なってよい。それぞれのフレームは、時間と周波数によるそれぞれのエネルギー分布を有してよい。一実施形態によると、プロセッサ１４０は、フレーミング回路、フーリエ変換回路、または絶対値回路のうちの少なくともいずれか１つを含んでよい。フレーミング回路は、フレームを区分してよい。フーリエ変換回路は、それぞれのフレームで時間と周波数によるエネルギー分布に対するフーリエ係数を検出してよい。絶対値回路は、フーリエ係数の絶対値を計算してよい。
【００３５】
例えば、オーディオ信号から分割されたフレームのうちのいずれか１つに対し、それぞれの時間での周波数によるエネルギー分布が、図６ａ、図６ｂ、図６ｃ、および図６ｄに示すように表現されてよい。ここで、それぞれの時間での周波数によるエネルギー分布は、オーディオ信号が雑音を含むか否かに応じて異なるように表現されてよい。一方、オーディオ信号から分割されたフレームのうちのいずれか１つに対し、それぞれの周波数での時間によるエネルギー分布が、図７ａ、図７ｂ、図７ｃ、および図７ｄに示すように表現されてよい。ここで、それぞれの周波数での時間によるエネルギー分布は、オーディオ信号が雑音を含むか否かに応じて異なるように表現されてよい。しかし、それぞれの周波数での時間によるエネルギー分布における特性、すなわち、スペクトルピーク（ｓｐｅｃｔｒａｌ  ｐｅａｋ）は、オーディオ信号が雑音を含むか否かとは関係なく、維持されてよい。
【００３６】
電子装置１００は、動作２３０で、それぞれのフレームのフィンガープリントを生成してよい。プロセッサ１４０は、それぞれのフレームの時間と周波数によるエネルギー分布をフィンガープリントで表現してよい。このとき、フィンガープリントは、ハッシュワード（ｈａｓｈ  ｗｏｒｄ）の配列で表現されてよい。一実施形態によると、プロセッサ１４０は、隣接する２つのフレームのエネルギー分布を比較し、それぞれのフレームのフィンガープリントを生成してよい。このために、フレームから、フィンガープリントを生成しようとする現在フレームと、現在フレームと隣接する以前フレームが定義されてよい。
【００３７】
例えば、プロセッサ１４０は、図８に示すように、フィンガープリントを生成してよい。フィンガープリントにおいて、白色（ｗｈｉｔｅ  ｃｏｌｏｒ）の画素はビット値が１であるハッシュワードを、黒色（ｂｌａｃｋ  ｃｏｌｏｒ）の画素はビット値が０であるハッシュワードを示してよい。ここで、オーディオ信号が雑音を含まない場合、フィンガープリントは、図８（ａ）に示すように表現されてよい。この反面、オーディオ信号が雑音を含まない場合、フィンガープリントは、図８（ｂ）に示すように表現されてよい。さらに、オーディオ信号の雑音は、図８（ｃ）に示すように表現されてよい。
【００３８】
図３は、図２のフィンガープリント生成動作を示した図である。
【００３９】
図３を参照すると、電子装置１００は、動作３１０で、それぞれのフレームを複数のブロックに分割してよい。プロセッサ１４０が、それぞれのフレームを複数のブロックに分割してよい。このとき、ブロックは、時間軸と周波数軸によって定義されてよい。ここで、ブロックは同一フレーム内に配列され、これにより、時間または周波数のうちの少なくともいずれか１つが異なってよい。一実施形態によると、プロセッサ１４０は帯域分割回路を含み、帯域分割回路が、予め定められた時間帯域および予め定められた周波数帯域に基づき、それぞれのフレームを複数のブロックに分割してよい。例えば、帯域分割回路は、複数の選択器を含み、それぞれの選択器がそれぞれのブロックを検出してよい。
【００４０】
電子装置１００は、動作３２０で、それぞれのブロックの時間特性と周波数特性を検出してよい。プロセッサ１４０が、それぞれのブロックの時間特性と周波数特性を計算してよい。時間特性は時間によるエネルギー分布を示し、周波数特性は周波数によるエネルギー分布を示してよい。このために、プロセッサ１４０は、時間軸および周波数軸のエネルギー勾配の方向を考慮した上で、それぞれのブロックのエネルギー微分値を計算してよい。
【００４１】
本発明の多様な実施形態によると、プロセッサ１４０は、それぞれのブロックに対し、時間軸上の双方向と周波数軸上の双方向との組み合わせ（Ｄ）による微分値を計算してよい。このとき、プロセッサ１４０は、以下の数式（１）のように微分値を計算してよい。すなわち、プロセッサ１４０は、それぞれのブロックに対し、時間軸上の双方向のうちの少なくともいずれか１つと周波数軸の双方向のうちの少なくともいずれか１つとの組み合わせ（Ｄ）による少なくとも１つの微分値を合わせてよい。ここで、時間軸上の双方向は、第１時間方向とこれに反対する第２時間方向で定義され、周波数軸上の双方向は、第１周波数方向とこれに反対する第２周波数方向で定義されてよい。例えば、第１時間方向と第２時間方向は１と−１で表現され、第１周波数方向と第２周波数方向は１と−１で表現されてよく、このような場合、時間軸上の双方向と周波数軸上の双方向との組み合わせ（Ｄ）は、（１、１）、（１、−１）、（−１、１）、または（−１、−１）のうちの少なくともいずれか１つを含んでよい。
【００４２】
【数１】
2020201482.tif 000003
ここで、ｎは時間帯域を示し、ｍは周波数帯域を示し、Ｅはバンド合計（ｂａｎｄ−ｓｕｍｍｅｄ）エネルギーを示してよい。
【００４３】
一実施形態によると、プロセッサ１４０は、第１時間方向と第１周波数方向による第１微分値を計算し、第２時間方向と第２周波数方向による第２微分値を計算してよい。これにより、プロセッサ１４０は、第１微分値と第２微分値とを合わせ、それぞれのブロックに対するエネルギー微分値を計算してよい。一例として、時間軸上の双方向と周波数軸上の双方向との組み合わせ（Ｄ）は、（−１、１）と（−１、−１）を含んでよい。
【００４４】
他の実施形態によると、プロセッサ１４０は、第１時間方向と第１周波数方向による第１微分値を計算し、第２時間方向と第２周波数方向による第２微分値を計算してよい。さらに、プロセッサ１４０は、第１時間方向と第２周波数方向による第３微分値または第２時間方向と第１周波数方向による第４微分値のうちの少なくともいずれか１つを計算してよい。これにより、プロセッサ１４０は、第１微分値および第２微分値とともに、第３微分値または第４微分値のうちの少なくともいずれか１つを合わせ、それぞれのブロックのエネルギー微分値を計算してよい。他の例として、時間軸上の双方向と周波数軸上の双方向の組み合わせ（Ｄ）は、（１、１）、（−１、１）、および（−１、−１）を含むか、（１、−１）、（−１、１）、および（−１、−１）を含んでよい。
【００４５】
電子装置１００は、動作３３０で、それぞれのブロックの時間特性と周波数特性に基づき、それぞれのブロックのハッシュワードを検出してよい。このとき、プロセッサ１４０は、それぞれのブロックのエネルギー微分値に基づき、それぞれのブロックに対するハッシュワードを検出してよい。例えば、プロセッサ１４０は、以下の数式（２）のように微分値と閾値とを比較し、微分値に対応するハッシュワードを検出してよい。ここで、閾値は、以下の数式（２）のように現在フレームで微分値と比較するために、以前フレームで微分値によって決定されてよい。すなわち、プロセッサ１４０は、微分値が閾値を超過すればハッシュワードを１で検出し、微分値が閾値未満であればハッシュワードを０で検出してよい。
【００４６】
【数２】
2020201482.tif 000004
電子装置１００は、動作３４０で、それぞれのブロックをハッシュワードで表現してよい。プロセッサ１４０が、図８に示すように、それぞれのブロックをハッシュワードで表現してよい。例えば、それぞれのブロックに対し、プロセッサ１４０は、ハッシュワードが１であれば白色の画素で表現し、ハッシュワードが０であれば黒色の画素で表現してよい。
【００４７】
これにより、それぞれのフレームのフィンガープリントが生成されてよい。例えば、それぞれのフレームのフィンガープリントから、それぞれの時間での周波数によるエネルギー分布が、図９ａ、図９ｂ、図９ｃ、および図９ｄに示すように導き出されてよい。ここで、それぞれの時間での周波数によるエネルギー分布は、オーディオ信号が雑音を含むか否かに応じて異なるように表現されてよい。しかし、それぞれの時間での周波数によるエネルギー分布における特性、すなわち、スペクトルピークは、オーディオ信号が雑音を含むか否かとは関係なく、維持されてよい。言い換えれば、オーディオ信号が雑音を含んでいても、スペクトルピークは明確に表現されてよい。
【００４８】
本発明の多様な実施形態によると、電子装置１００が、検出される信号の周波数特性だけでなく時間特性に基づいてハッシュワードを表現することにより、信号のフィンガープリントを生成することができる。これにより、電子装置１００は、フィンガープリントの歪曲を最小化することができる。すなわち、信号から周波数特性または時間特性のうちのいずれか１つを検出するにあたり、エラーが発生したとしても、周波数特性または時間特性のうちの他の１つに基づいてフィンガープリントの歪曲を無効にすることが可能となる。例えば、信号が雑音を含んでいたとしても、雑音の周波数成分によるフィンガープリントの歪曲を無効化することができる。これにより、電子装置１００がフィンガープリントを生成するにあたり、正確度を向上させることができる。さらに、電子装置１００がフィンガープリントを用いてマルチメディアファイルを検索するにあたり、正確度を向上させることができる。
【００４９】
本発明の多様な実施形態に係る電子装置１００の動作方法は、検出される信号を複数のフレームに分割する動作、フレームそれぞれを複数のブロックに分割する動作、およびブロックそれぞれの時間特性と周波数特性に基づき、ブロックそれぞれをハッシュワードで表現する動作を含んでよい。
【００５０】
本発明の多様な実施形態によると、時間特性はブロックそれぞれの時間によるエネルギー分布を示し、周波数特性はブロックそれぞれの周波数によるエネルギー分布を示してよい。
【００５１】
本発明の多様な実施形態によると、ブロックは、交差する時間軸と周波数軸によって定義されてよい。
【００５２】
本発明の多様な実施形態によると、ハッシュワード表現動作は、時間軸上の双方向と周波数軸上の双方向との組み合わせによる微分値に基づき、ブロックそれぞれのハッシュワードを検出する動作、およびブロックそれぞれを検出されたハッシュワードで表現する動作を含んでよい。
【００５３】
本発明の多様な実施形態によると、ハッシュワード検出動作は、時間軸の第１時間方向と周波数軸の第１周波数方向による第１微分値を計算する動作、時間軸の第２時間方向と周波数軸の第２周波数方向による第２微分値を計算する動作、第１微分値と第２微分値とを合わせて微分値を計算する動作、および微分値に基づいてハッシュワードを検出する動作を含んでよい。
【００５４】
本発明の多様な実施形態によると、ハッシュワード検出動作は、第１時間方向と第２周波数方向による第３微分値を計算する動作、または第２時間方向と第１周波数方向による第４微分値を計算する動作のうちの少なくともいずれか１つをさらに含んでよい。
【００５５】
本発明の多様な実施形態によると、微分値計算動作は、第１微分値および第２微分値とともに、第３微分値または第４微分値のうちの少なくともいずれか１つを合わせて微分値を計算してよい。
【００５６】
本発明の多様な実施形態によると、ハッシュワード検出動作は、微分値と閾値とを比較し、微分値に対応するハッシュワードを検出してよい。
【００５７】
本発明の多様な実施形態によると、閾値は、フレームのうちの現在フレームで微分値と比較するために、フレームのうちの以前フレームで微分値によって決定されてよい。
【００５８】
本発明の多様な実施形態によると、ハッシュワード検出動作は、微分値が閾値を超過すればハッシュワードを１で検出し、微分値が閾値以下であればハッシュワードを０で検出してよい。
【００５９】
本明細書の多様な実施形態は、機器（ｍａｃｈｉｎｅ）（例：電子装置１００）で読み取り可能な記録媒体（ｓｔｏｒａｇｅ  ｍｅｄｉｕｍ）（例：メモリ１３０）に記録された１つまたは複数の命令語を含むソフトウェアとして実現されてよい。例えば、機器のプロセッサ（例：プロセッサ１４０）は、記録媒体から記録された１つまたは複数の命令語のうちの少なくとも１つの命令を呼び出し、これを実行してよい。これは、機器が呼び出された少なくとも１つの命令語にしたがって少なくとも１つの機能を実行するように制御されることを可能にする。１つまたは複数の命令語は、コンパイラによって生成されたコードまたはインタプリタによって実行されることのできるコードを含んでよい。機器で読み取り可能な記録媒体は、非一時的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記録媒体の形態で提供されてよい。ここで、「非一時的」とは、記録媒体が実在（ｔａｎｇｉｂｌｅ）する装置であって、信号（ｓｉｇｎａｌ）（例：電磁波）を含まないということを意味するだけのものであり、この用語は、データが記録媒体に半永久的に記録される場合と一次的に記録される場合とを区分しない。
【００６０】
本発明の多様な実施形態に係る非一時的なコンピュータ読み取り可能な記録媒体は、検出される信号を複数のフレームに分割する動作、フレームそれぞれを複数のブロックに分割する動作、およびブロックそれぞれの時間特性と周波数特性に基づき、ブロックそれぞれをハッシュワードで表現する動作を実行するための１つまたは複数のプログラムを記録してよい。
【００６１】
本明細書の多様な実施形態およびこれに使用された用語は、本明細書に記載された技術を特定の実施形態に対して限定しようとするものではなく、該当の実施例の多様な変更、均等物、および／または代替物を含むものと理解されなければならない。図面の説明に関し、類似の構成要素には類似の参照符号が付与されてよい。単数の表現は、文脈上で明らかに異なるように記載されていない限り、複数の表現を含んでよい。本明細書において、「ＡまたはＢ」、「Ａおよび／またはＢのうちの少なくとも１つ」「Ａ、Ｂ、またはＣ」、または「Ａ、Ｂ、および／またはＣのうちの少なくとも１つ」などの表現は、羅列されている項目のすべての可能な組み合わせを含んでよい。「第１」、「第２」または「１番目」、「２番目」などの表現は、該当の構成要素を順序または重要度とは関係なく修飾してよく、ある構成要素を他の構成要素と区分するために使用されるだけであって、該当の構成要素を限定するものではない。ある（例：第１）構成要素が他の（例：第２）構成要素に「（機能的にまたは通信的に）連結されて」いたり「接続されて」いると言及されるときには、前記ある構成要素が前記他の構成要素に直接的に連結されてもよいし、他の構成要素（例：第３構成要素）を介して連結されてもよい。
【００６２】
本明細書で使用される用語「モジュール」は、ハードウェア、ソフトウェア、またはファームウェアで構成されたユニットを含み、例えば、ロジック、論理ブロック、部品、または回路などの用語と互換的に使用されてよい。モジュールは、一体で構成された部品、または１つまたはそれ以上の機能を実行する最小単位またはその一部であってよい。例えば、モジュールは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）で構成されてよい。
【００６３】
本発明の多様な実施形態によると、記載した構成要素のそれぞれの構成要素（例：モジュールまたはプログラム）は、単数または複数の個体を含んでよい。本発明の多様な実施形態によると、上述した該当の構成要素のうちの１つまたは複数の構成要素または動作が省略されてもよいし、１つまたは複数の他の構成要素または動作が追加されてもよい。代替的あるいは追加的に、複数の構成要素（例：モジュールまたはプログラム）は、１つの構成要素として統合されてよい。このような場合、統合された構成要素は、複数の構成要素それぞれの構成要素の１つまたは複数の機能を、統合以前の複数の構成要素のうちの該当の構成要素によって実行されるものと同一または類似に実行してよい。本発明の多様な実施形態によると、モジュール、プログラム、または他の構成要素によって実行される動作は、順次的、並列的、反復的、または体験的に実行されてよく、動作のうちの１つまたは複数が他の順序で実行されたり、省略されたり、または１つまたは複数の他の動作が追加されたりしてもよい。
【図１】
2020201482.tif 000005
【図２】
2020201482.tif 000006
【図３】
2020201482.tif 000007
【図４ａ】
2020201482.tif 000008
【図４ｂ】
2020201482.tif 000009
【図５ａ】
2020201482.tif 000010
【図５ｂ】
2020201482.tif 000011
【図６ａ】
2020201482.tif 000012
【図６ｂ】
2020201482.tif 000013
【図６ｃ】
2020201482.tif 000014
【図６ｄ】
2020201482.tif 000015
【図７ａ】
2020201482.tif 000016
【図７ｂ】
2020201482.tif 000017
【図７ｃ】
2020201482.tif 000018
【図７ｄ】
2020201482.tif 000019
【図８】
2020201482.tif 000020
【図９ａ】
2020201482.tif 000021
【図９ｂ】
2020201482.tif 000022
【図９ｃ】
2020201482.tif 000023
【図９ｄ】
2020201482.tif 000024