(57)【要約】  送信側に、入力されたオーディオ信号に対して分析パラメータを算出し、分析パラメータに基づいて、入力されたオーディオ信号がデータを埋め込みを許容できる箇所かを判定する埋め込み可否判定部（４１）と、埋め込み可否判定部の判定結果が埋め込み可だった場合には、該許容できる箇所にデータを埋め込んだオーディオ信号を出力し、埋め込み可否判定部の判定結果が埋め込み不可だった場合にはオーディオ信号をそのまま出力する埋め込み部(４２)と、を備えるデータ埋め込み装置を備えており、受信側で、逆の操作によりデータを抽出するデータ抽出装置を備えた音声通信システムが提供され、それにより、埋め込みに適さない箇所への埋め込みによる許容できない音質の変化、及び埋め込み量の低下を生じさせる事なく、音声信号にデータを埋め込む事が可能となる。
2008114432.tif 000002
【特許請求の範囲】
【請求項１】
入力されたオーディオ信号に対して分析パラメータを算出し、前記分析パラメータに基づいて、前記入力されたオーディオ信号がデータの埋め込みを許容できる箇所が存在するかを判定する埋め込み可否判定部と、
前記埋め込み可否判定部の判定結果が埋め込み可だった場合には、該許容できる箇所にデータを埋め込んだオーディオ信号を出力し、前記埋め込み可否判定部の判定結果が埋め込み不可だった場合には前記オーディオ信号をそのまま出力する埋め込み部と、
を備えているデータ埋め込み装置。
【請求項２】
前記埋め込み可否判定部は、
前記入力されたオーディオ信号の、埋め込み対象箇所をあらかじめ初期値として設定して出力する前処理部と、
前記前処理部で埋め込み対象箇所を初期値に設定されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部及び、
前記パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、
前記埋め込み対象箇所を初期値に設定されたオーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、
のうち少なくとも１つの特徴量算出部と、
前記特徴量算出部で算出された特徴量を用いて埋め込みの可否を判定する判定部と、を備えていることを特徴とする請求項1に記載のデータ埋め込み装置。
【請求項３】
前記埋め込み可否判定部は、
前記入力されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部及び、
前記パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、
前記オーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、
のうち少なくとも１つの特徴量算出部と、
前記特徴量算出部で算出された特徴量を用いて埋め込みの可否を判定する判定部と、を備えており、
前記埋め込み部は、前記入力されたオーディオ信号の１フレーム前の前記判定部の判定結果に基づいて前記データの埋め込み又は前記オーディオ信号の出力処理を行うようにしたことを特徴とする請求項1に記載のデータ埋め込み装置。
【請求項４】
前記埋め込み可否判定部は、
前記入力されたオーディオ信号のマスキング閾値を算出するマスキング閾値算出部と、
前記オーディオ信号に仮にデータを埋め込む仮埋め込み部と、
前記仮埋め込み部でデータを埋め込まれた仮埋め込み信号と、前記オーディオ信号の誤差を算出する誤差算出部と、
前記マスキング閾値と前記誤差を用いて埋め込みの可否を判定する判定部と、を備えている、請求項１に記載のデータ埋め込み装置。
【請求項５】
入力されたオーディオ信号に対して分析パラメータを算出し、前記分析パラメータに基づいて、前記入力されたオーディオ信号内にデータが埋め込まれているかを判定する埋め込み判定部と、
前記埋め込み判定部の判定結果が埋め込み有だった場合には、前記オーディオ信号に埋め込まれているデータを抽出する抽出部と、
を備えているデータ抽出装置。
【請求項６】
前記埋め込み判定部は、
前記入力されたオーディオ信号の、埋め込み対象箇所をあらかじめ初期値として設定して出力する前処理部と、
前記前処理部で埋め込み対象箇所を初期値に設定されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部及び、
前記パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、
前記埋め込み対象箇所を初期値に設定されたオーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、
のうち少なくとも１つの特徴量算出部と、
前記特徴量算出部で算出された特徴量を用いてデータが埋め込まれているかを識別する埋め込み識別部と、を備えている請求項５に記載のデータ抽出装置。
【請求項７】
前記埋め込み判定部は、
前記入力されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部及び、
前記パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、
前記オーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、
のうち少なくとも１つの特徴量算出部と、
前記特徴量算出部で算出された特徴量を用いて埋め込みの有無を識別する埋め込み識別部と、を備えており、
前記抽出部は、前記入力されたオーディオ信号の１フレーム前の前記埋め込み判定部の判定結果に基づいて前記データの抽出を行うようにしたことを特徴とする請求項５に記載のデータ抽出装置。
【請求項８】
送信側に、入力されたオーディオ信号に対して分析パラメータを算出し、前記分析パラメータに基づいて、前記入力されたオーディオ信号がデータを埋め込みを許容できる箇所かを判定する埋め込み可否判定部と、
前記埋め込み可否判定部の判定結果が埋め込み可だった場合には、あらかじめ定めておいた埋め込み方法に従って前記オーディオ信号にデータを埋め込み、前記埋め込み可否判定部の判定結果が埋め込み不可だった場合には前記オーディオ信号をそのまま出力する埋め込み部と、
を備えるデータ埋め込み装置を備えており、
受信側に、入力されたオーディオ信号に対して分析パラメータを算出し、前記分析パラメータに基づいて、前記入力されたオーディオ信号内にデータが埋め込まれているかを判定する埋め込み判定部と、
前記埋め込み判定部の判定結果が埋め込み有だった場合には、あらかじめ定めておいた埋め込み方法に従って前記オーディオ信号にデータが埋め込まれているものとしてデータを抽出し、判定結果が埋め込み無しだった場合には何も出力しない抽出部と、
を備えているデータ抽出装置を備えた音声通信システム。
【請求項９】
前記送信側において、
前記埋め込み可否判定部は、
前記入力されたオーディオ信号の、あらかじめ定めておいた埋め込み対象箇所を初期値に設定して出力する前処理部と、
前記前処理部で埋め込み対象箇所を初期値に設定されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部及び、
前記パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、
前記埋め込み対象箇所を初期値に設定されたオーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、
のうち少なくとも１つの特徴量算出部と、
前記特徴量算出部で算出された特徴量を用いて埋め込みの可否を判定する判定部と、を備えており、
前記受信側において、
前記埋め込み判定部は、
前記入力されたオーディオ信号の、あらかじめ定めておいた埋め込み対象箇所を初期値に設定して出力する前処理部と、
前記前処理部で埋め込み対象箇所を初期値に設定されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部及び、
前記パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、
前記埋め込み対象箇所を初期値に設定されたオーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、
のうち少なくとも１つの特徴量算出部と、
前記特徴量算出部で算出された特徴量を用いてデータが埋め込まれているかを識別する埋め込み識別部と、を備えている請求項８に記載の音声通信システム。
【請求項１０】
前記送信側において、
前記埋め込み可否判定部は、
前記入力されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部及び、
前記パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、
前記オーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、
のうち少なくとも１つの特徴量算出部と、
前記特徴量算出部で算出された特徴量を用いて埋め込みの可否を判定する判定部と、を備えており、
前記埋め込み部は、前記入力されたオーディオ信号の１フレーム前の前記判定部の判定結果に基づいて前記データの埋め込み又は前記オーディオ信号の出力処理を行うようにし、
前記受信側において、
前記埋め込み判定部は、
前記入力されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部及び、
前記パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、
前記オーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、
のうち少なくとも１つの特徴量算出部と、
前記特徴量算出部で算出された特徴量を用いて埋め込みの有無を識別する埋め込み識別部と、を備えており、
前記抽出部は、前記入力されたオーディオ信号の１フレーム前の前記埋め込み判定部の判定結果に基づいて前記データの抽出を行うようにしたことを特徴とする請求項8に記載の音声通信システム。
【請求項１１】
入力されたオーディオ信号に対して分析パラメータを算出し、前記分析パラメータに基づいて、前記入力されたオーディオ信号がデータの埋め込みを許容できる箇所が存在するかを判定するステップと、
前判定するステップにおける判定結果が埋め込み可だった場合には、該許容できる箇所にデータを埋め込んだオーディオ信号を出力し、前記埋め込み可否判定部の判定結果が埋め込み不可だった場合には前記オーディオ信号をそのまま出力するステップと、
を備えているデータ埋め込み方法。
【請求項１２】
前記埋め込みを許容できる箇所かを判定するステップは、
前記入力されたオーディオ信号の、埋め込み対象箇所をあらかじめ初期値に設定して出力する前処理ステップと、
前記前処理ステップで埋め込み対象箇所を初期値に設定されたオーディオ信号のパワーに関する特徴量を算出するパワー算出ステップ及び、
前記パワー算出ステップで算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、
前記埋め込み対象箇所を初期値に設定されたオーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出ステップ、
のうち少なくとも１つの特徴量算出ステップと、
前記特徴量算出ステップで算出された特徴量を用いて埋め込みの可否を判定する判定ステップと、を備えていることを特徴とする請求項１１に記載のデータ埋め込み方法。
【請求項１３】
前記埋め込み可否判定ステップは、
前記入力されたオーディオ信号のパワーに関する特徴量を算出するパワー算出ステップ及び、
前記パワー算出ステップで算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出ステップ及び、
前記オーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出ステップ、
のうち少なくとも１つの特徴量算出ステップと、
前記特徴量算出ステップで算出された特徴量を用いて埋め込みの可否を判定する判定ステップと、を備えており、
前記埋め込みステップは、前記入力されたオーディオ信号の１フレーム前の前記判定部の判定結果に基づいて前記データの埋め込み又は前記オーディオ信号の出力処理を行うようにしたことを特徴とする請求項１１に記載のデータ埋め込み方法。
【請求項１４】
前記埋め込み可否判定ステップは、
前記入力されたオーディオ信号のマスキング閾値を算出するマスキング閾値算出ステップと、
前記オーディオ信号に仮にデータを埋め込む仮埋め込みステップと、
前記仮埋め込みステップでデータを埋め込まれた仮埋め込み信号と、前記オーディオ信号の誤差を算出する誤差算出ステップと、
前記マスキング閾値と前記誤差を用いて埋め込みの可否を判定する判定ステップと、を備えている、請求項１１に記載のデータ埋め込み方法。
【請求項１５】
入力されたオーディオ信号に対して分析パラメータを算出し、前記分析パラメータに基づいて、前記入力されたオーディオ信号内にデータが埋め込まれているかを判定する埋め込み判定ステップと、
前記埋め込み判定部の判定結果が埋め込み有だった場合には、前記オーディオ信号に埋め込まれたデータを抽出する抽出ステップと、
を備えているデータ抽出方法。
【請求項１６】
前記埋め込み判定ステップは、
前記入力されたオーディオ信号の、埋め込み対象箇所をあらかじめ初期値に設定して出力する前処理ステップと、
前記前処理部で埋め込み対象箇所を初期値に設定されたオーディオ信号のパワーに関する特徴量を算出するパワー算出ステップ及び、
前記パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出ステップ及び、
前記埋め込み対象箇所を初期値に設定されたオーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出ステップ、
のうち少なくとも１つの特徴量算出ステップと、
前記特徴量算出ステップで算出された特徴量を用いてデータが埋め込まれているかを識別する埋め込み識別部と、を備えている請求項１５に記載のデータ抽出方法。
【請求項１７】
前記埋め込み判定ステップは、
前記入力されたオーディオ信号のパワーに関する特徴量を算出するパワー算出ステップ及び、
前記パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出ステップ及び、
前記オーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出ステップ、
のうち少なくとも１つの特徴量算出ステップと、
前記特徴量算出ステップで算出された特徴量を用いて埋め込みの有無を識別する埋め込み識別ステップと、を備えており、
前記抽出ステップは、前記入力されたオーディオ信号の１フレーム前の前記埋め込み判定部の判定結果に基づいて前記データの抽出を行うようにしたことを特徴とする請求項１５に記載のデータ抽出方法。
【請求項１８】
送信側にて、入力されたオーディオ信号に対して分析パラメータを算出し、前記分析パラメータに基づいて、前記入力されたオーディオ信号がデータを埋め込みを許容できる箇所かを判定する埋め込み可否判定ステップと、
前記埋め込み可否判定部の判定結果が埋め込み可だった場合には、あらかじめ定めておいた埋め込み方法に従って前記オーディオ信号にデータを埋め込み、前記埋め込み可否判定部の判定結果が埋め込み不可だった場合には前記オーディオ信号をそのまま出力する埋め込みステップと、
を備えるデータ埋め込み方法を行い、
受信側にて、入力されたオーディオ信号に対して分析パラメータを算出し、前記分析パラメータに基づいて、前記入力されたオーディオ信号内にデータが埋め込まれているかを判定する埋め込み判定ステップと、
前記埋め込み判定部の判定結果が埋め込み有だった場合には、あらかじめ定めておいた埋め込み方法に従って前記オーディオ信号にデータが埋め込まれているものとしてデータを抽出し、判定結果が埋め込み無しだった場合には何も出力しない抽出ステップと、
を備ええているデータ抽出方法を行う事を特徴とする音声通信方法。
【請求項１９】
前記送信側において、
前記埋め込み可否判定ステップは、
前記入力されたオーディオ信号の、あらかじめ定めておいた埋め込み対象箇所を初期値に設定して出力する前処理ステップと、
前記前処理ステップで埋め込み対象箇所を初期値に設定されたオーディオ信号のパワーに関する特徴量を算出するパワー算出ステップ及び、
前記パワー算出ステップで算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出ステップ及び、
前記埋め込み対象箇所を初期値に設定されたオーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出ステップ、
のうち少なくとも１つの特徴量算出ステップと、
前記特徴量算出ステップで算出された特徴量を用いて埋め込みの可否を判定する判定ステップと、を備えており、
前記受信側において、
前記埋め込み判定ステップは、
前記入力されたオーディオ信号の、あらかじめ定めておいた埋め込み対象箇所を初期値に設定して出力する前処理ステップと、
前記前処理ステップで埋め込み対象箇所を初期値に設定されたオーディオ信号のパワーに関する特徴量を算出するパワー算出ステップ及び、
前記パワー算出ステップで算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出ステップ及び、
前記埋め込み対象箇所を初期値に設定されたオーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出ステップ、
のうち少なくとも１つの特徴量算出ステップと、
前記特徴量算出ステップで算出された特徴量を用いてデータが埋め込まれているかを識別する埋め込み識別ステップと、を備えている請求項１８に記載の音声通信方法。
【請求項２０】
前記送信側において、
前記埋め込み可否判定ステップは、
前記入力されたオーディオ信号のパワーに関する特徴量を算出するパワー算出ステップ及び、
前記パワー算出ステップで算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出ステップ及び、
前記オーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出ステップ、
のうち少なくとも１つの特徴量算出ステップと、
前記特徴量算出ステップで算出された特徴量を用いて埋め込みの可否を判定する判定ステップと、を備えており、
前記埋め込みステップは、前記入力されたオーディオ信号の１フレーム前の前記判定ステップの判定結果に基づいて前記データの埋め込み又は前記オーディオ信号の出力処理を行うようにし、
前記受信側において、
前記埋め込み判定ステップは、
前記入力されたオーディオ信号のパワーに関する特徴量を算出するパワー算出ステップ及び、
前記パワー算出ステップで算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出ステップ及び、
前記オーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出ステップ、
のうち少なくとも１つの特徴量算出ステップと、
前記特徴量算出ステップで算出された特徴量を用いて埋め込みの有無を識別する埋め込み識別ステップと、を備えており、
前記抽出ステップは、前記入力されたオーディオ信号の１フレーム前の前記埋め込み判定ステップの判定結果に基づいて前記データの抽出を行うようにしたことを特徴とする請求項１8に記載の音声通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルオーディオ信号処理技術に関し、特に、オーディオ信号のディジタルデータ系列に対して、その一部を別の任意の情報と置換する事により、任意のディジタルデータをオーディオ信号に埋め込むデータ埋め込み装置、これにより埋め込まれたデータを抽出するデータ抽出装置、及びデータ埋め込み装置とデータ抽出装置を含み音声通信システムに関する。
【背景技術】
【０００２】
近年、マルチメディアコンテンツなどのディジタル系列に任意のデータを埋め込む「データ埋め込み技術」が注目を集めている。これは、人間の知覚の特性を利用し、マルチメディアコンテンツ自体に、その品質に影響を与えることなく別の任意の情報を埋め込む技術である。【０００３】
データ埋め込み技術は動画又は画像に対して適用されることが多いが、オーディオ信号に対してもこのような任意の情報を埋め込み、伝送または蓄積する技術がいくつか提案されている。【０００４】
図１はオーディオ信号にデータを埋め込み、埋め込んだデータを抽出することを説明する概念図である。
図１の（A)はデータ埋め込み側における処理を示し、図１の(B)はデータ抽出側における処理を示している。まず、埋め込み側では、図１の（A）に示すように、埋め込み部１１で、オーディオ信号の一部を埋め込みデータで置換することにより、データを埋め込む。一方、データ抽出側では、図１の(B)に示すように、抽出部１２にて、入力されたデータが埋め込まれたオーディオ信号から別のデータで置換された箇所を抽出し、埋め込まれたデータを復元する。これにより、オーディオ信号の中に情報量を増加させることなく別の任意のデータを挿入することが可能となる。すなわち、データ埋め込み技術を用いることにより、データを保持する容量が増加しない、音声通信時に(通常の通信以上に)伝送帯域を圧迫しないというメリットがある。更にデータが埋め込まれていることを知らない第三者にとっては通常のオーディオデータ/音声通信としか認識されないため、ID情報や暗証番号など、高い秘匿性が要求される情報を密かに保持/送受信する際にも有効な手段となる。【０００５】
このようなデータ埋め込み技術では、データを埋め込むマルチメディアコンテンツの品質を落とさないことが重要である。そのため、オーディオ信号への埋め込みの際には音質に影響がないようにデータを埋め込む必要がある。これを実現するデータ埋め込みの基本技術として以下の（１）〜（３）にあげるものがある。【０００６】
（１）下位ビットへの埋め込み
一般にディジタルオーディオ信号は、PCM(Pulse-Code Modulation：パルス符号変調)と呼ばれる方式で記録される。この方式は、AD変換によりサンプリングされた信号の振幅を、あらかじめ定められたビット数で表現するものであり、特に1サンプルを16bitで表す方式が、音楽CD等をはじめとして広く使われている。従来の埋め込み技術は、この16bitPCMの下位ビットを変更(反転)しても音質への影響が小さいことを利用し、例えば下位1ビットを任意の値に置換することにより、埋め込みを実現する。
（２）周波数領域での埋め込み
オーディオ信号を時間・周波数変換により周波数領域の信号に変換し、音質への影響が小さい周波数帯域の値にデータを埋め込む。例えば、振幅が小さい周波数帯域にデータを埋め込む方法や、位相の変化が聴覚に影響しにくいことを利用し、位相成分にデータを埋め込む方法などがある。
（３）符号化データへの埋め込み
携帯電話や、近年利用が急増している音楽配信サービス等では、オーディオ信号は伝送帯域の効率利用のために、圧縮された符号化データとして伝送される。符号化データは音声の性質をあらわす複数のパラメータからなっており、符号化データへのデータ埋め込み技術では、このパラメータのうち、音質への影響が小さい符号に対してデータを埋め込む。【０００７】
上記（１）〜（３）に記載の基本技術では、音質への影響が小さい箇所を選択して埋め込みを行うが、埋め込みを行う箇所が埋め込みに適している箇所かを考慮していないという問題がある。換言すれば、基本技術では、埋め込みを行う箇所が入力されたオーディオ信号にとってデータの埋め込みを許容できる箇所かを判定していないという問題がある。したがって、基本技術では、データを埋め込む事によって、音質が劣化する可能性がある。この課題を解決する方法として、以下に挙げる従来技術がある。【０００８】
従来技術１（特許文献１）
図２は従来技術1による埋め込みのイメージを示す図である。従来技術1では、信号にデータを埋め込むことにより信号の振幅値を変化させても、その信号の振幅値の変化がその信号の音質に与える影響は、信号の振幅変動が大きい箇所aでは小さい事を利用し、振幅変動が大きい箇所における信号の下位ビットを埋め込み対象として埋め込みを行う事により、音質を劣化させることなく埋め込みを行う。即ち、図２の（B)に示すように、時刻tにおいてデータの埋め込み前の信号の振幅値がa1であったのに対し、データの埋め込み後の信号の振幅値がa2になったが、a1とa2の差は信号の振幅値の変動が大きい箇所ではリスナには判別できない程度である。【０００９】
従来技術２（特許文献２）
図３は従来技術２による埋め込みのイメージを示す図である。従来技術２によれば、図３の(A)に示されるように人が知覚しにくい微小振幅の信号(無音)区間に、図３の(B)に示されるような、同じく人が知覚しにくい微小振幅の信号を埋め込み信号として挿入することにより、音質を変化させることなく埋め込みを実現する。例えば、16ビットPCM音声信号の振幅は32767から-32768までの値をとるのに対し、図３の(B)に示した信号の振幅は１であって最大振幅に対して極めて小さい。このような微小振幅の信号を図３の(A)に示したような無音区間や微小信号区間に埋め込んでも、信号の品質に大きな影響はない。【００１０】
【特許文献１】特許第３３２１８７６号
【特許文献２】特開２０００−６８９７０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上記従来技術は、いずれも埋め込みに適した箇所を選択して埋め込むことを目的としているが、従来技術による選択方法では、埋め込みに適した箇所、換言すれば埋め込みが許容される箇所、を適切に選択できないという課題がある。ここでまず、埋め込みに適した箇所とはどのような箇所かを以下に述べる。【００１２】
データ埋め込みの観点からオーディオ信号を見ると、オーディオ信号は以下のA,B,Cの3つに分類することができる。【００１３】
A.  埋め込みによる音質の変化が聴覚的にわからない箇所
従来技術２にある微小信号や、ホワイトノイズ(ランダム信号)区間などがこの箇所に相当する。前者では、そもそも信号を聴覚的に知覚できないために音質の変化はなく、後者は元々ランダムな信号であるため、そのような信号を埋め込みにより同じくランダムに変化させても音質の変化を感じない。【００１４】
B.  埋め込みによる音質の変化が聴覚的に許容できる箇所
自動車のエンジン音などの定常的でかつ、人間にとって重要でない雑音がある区間がこの箇所に相当する。この場合、データの埋め込みによる音質の変化は知覚できるが、人間にとって重要でない音であるため、音質の変化を許容できる。【００１５】
C.  埋め込みによる音質の変化が聴覚的に許容できない箇所
音声や音楽、非定常雑音(周囲の人が喋っている声など。例えば駅のアナウンス。)の区間がこの箇所に相当する。これらの区間ではデータの埋め込みによる音質の変化により、例えば、通信相手の音声が歪んで聞きとりにくくなる、聴いている音楽にノイズが混じる、通話の裏側で聞こえている駅のアナウンスが歪んで耳障りなノイズとなる、等の音質劣化が生じるため、音質の変化を許容できない。【００１６】
このうち、A,Bが埋め込みに適した箇所であり、Cが埋め込みに適さない箇所となる。この分類に従って従来技術を検証すると、従来技術１では、振幅変動が大きい箇所に対して埋め込みを行うが、A,B,Cのいずれの箇所でも、振幅変動が大きい箇所は存在する。すなわち、音質の変化が聴覚的に許容できないCの箇所に埋め込みを行う可能性がある。また、従来技術２は、Aの一部である微小信号部分のみに埋め込みを行うため、Bの箇所に相当する、定常的な雑音などには埋め込むことができない。すなわち、データを埋め込める量が少なくなる。特に、音声通信に対して適用することを考えると、一般に音声通信を行う場合は何らかの背景雑音下で行うことが多いため、従来技術２ではデータを埋め込むことができなくなる。【００１７】
本発明は前記の課題に鑑みてなされたものであり、データを埋め込む箇所を適切に判定して埋め込みを行うことで、音質を落とすことなくオーディオ信号にデータを埋め込む事ができるデータ埋め込み・抽出方法を提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明の第１の態様によれば、入力されたオーディオ信号に対して分析パラメータを算出し、その分析パラメータに基づいて、入力されたオーディオ信号がデータの埋め込みを許容できる箇所が存在するかを判定する埋め込み可否判定部と、埋め込み可否判定部の判定結果が埋め込み可だった場合には、該許容できる箇所にデータを埋め込んだオーディオ信号を出力し、埋め込み可否判定部の判定結果が埋め込み不可だった場合にはオーディオ信号をそのまま出力する埋め込み部と、を備えているデータ埋め込み装置が提供される。【００１９】
上記第１の態様において、埋め込み可否判定部は、入力されたオーディオ信号の、埋め込み対象箇所をあらかじめ初期値として設定して出力する前処理部と、前処理部で埋め込み対象箇所を初期値に設定されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部及び、パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、埋め込み対象箇所を初期値に設定されたオーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、のうち少なくとも１つの特徴量算出部と、特徴量算出部で算出された特徴量を用いて埋め込みの可否を判定する判定部と、を備えていることが好ましい。【００２０】
上記第１の態様において、更なる変形例として、埋め込み可否判定部は、入力されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部及び、パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、オーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、のうち少なくとも１つの特徴量算出部と、特徴量算出部で算出された特徴量を用いて埋め込みの可否を判定する判定部と、を備えており、埋め込み部は、入力されたオーディオ信号の１フレーム前の判定部の判定結果に基づいてデータの埋め込み又はオーディオ信号の出力処理を行うようにしたことを特徴とするデータ埋め込み装置が提供される。【００２１】
上記第１の態様において、更なる変形例として、埋め込み可否判定部は、入力されたオーディオ信号のマスキング閾値を算出するマスキング閾値算出部と、オーディオ信号に仮にデータを埋め込む仮埋め込み部と、仮埋め込み部でデータを埋め込まれた仮埋め込み信号と、オーディオ信号の誤差を算出する誤差算出部と、マスキング閾値と誤差を用いて埋め込みの可否を判定する判定部と、を備えているデータ埋め込み装置が提供される。【００２２】
本発明の第２の態様によれば、入力されたオーディオ信号に対して分析パラメータを算出し、分析パラメータに基づいて、入力されたオーディオ信号内にデータが埋め込まれているかを判定する埋め込み判定部と、埋め込み判定部の判定結果が埋め込み有だった場合には、オーディオ信号に埋め込まれているデータを抽出する抽出部とを備えているデータ抽出装置が提供される。【００２３】
埋め込み判定部は、入力されたオーディオ信号の、埋め込み対象箇所をあらかじめ初期値として設定して出力する前処理部と、前処理部で埋め込み対象箇所を初期値に設定されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部と、パワー算出部で算出されたパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、埋め込み対象箇所を初期値に設定されたオーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、のうち少なくとも１つの特徴量算出部と、特徴量算出部で算出された特徴量を用いてデータが埋め込まれているかを識別する埋め込み識別部とを備えているデータ抽出装置が提供される。【００２４】
上記第２の態様において、更なる変形例として、埋め込み判定部は、入力されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部及び、パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、オーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、のうち少なくとも１つの特徴量算出部と、特徴量算出部で算出された特徴量を用いて埋め込みの有無を識別する埋め込み識別部と、を備えており、抽出部は、入力されたオーディオ信号の１フレーム前の埋め込み判定部の判定結果に基づいてデータの抽出を行うようにしたことを特徴とするデータ抽出装置が提供される。【００２５】
本発明の第３の態様により、上記第１の態様によるデータ埋め込み装置と、第２の態様によるデータ抽出装置とを備えた音声通信システムが提供される。
【発明の効果】
【００２６】
本発明によるデータの埋め込み・抽出を行うことで、従来技術１の課題であった、埋め込みに適さない箇所への埋め込みによる許容できない音質の変化を生じさせる事はなく、且つ従来技術２の課題であった埋め込み量の低下を生じさせる事なく、音声信号にデータを埋め込む事が可能となる。【００２７】
本発明は、図面を参照しながら以下に記載する好ましい実施の形態により一層明瞭に理解されるであろう。
【図面の簡単な説明】
【００２８】
【図１】オーディオ信号にデータを埋め込み、埋め込んだデータを抽出することを説明する概念図である。
【図２】従来技術１による埋め込みのイメージを示す図である。
【図３】従来技術２による埋め込みのイメージを示す図である。
【図４】(A)は本発明の実施の形態によるデータ埋め込み装置の概略を示すブロック図、(B)は本発明の実施の形態によるデータ抽出装置の概略を示すブロック図である。
【図５】本発明の実施例１によるデータ埋め込み装置の構成を示すブロック図である。
【図６】本発明の実施例１によるデータ抽出装置の構成を示すブロック図である。
【図７】埋め込み可否判定部５５の動作を説明するフローチャートである。
【図８】本発明の実施例２によるデータ埋め込み装置の構成を示すブロック図である。
【図９】本発明の実施例２によるデータ抽出装置の構成を示すブロック図である。
【図１０】本発明の実施例３によるデータ埋め込み装置の構成を示すブロック図である。
【図１１】本発明の実施例３によるデータ抽出装置の構成を示すブロック図である。
【符号の説明】
【００２９】
４１    埋め込み可否判定部
４２    埋め込み部
４４    埋め込み判定部
４５    抽出部
５１    前処理部
５２    パワー算出部
５３    パワー分散算出部
５４    ピッチ抽出部
５５    埋め込み可否判定部
５６    埋め込み部
６１    前処理部
６２    パワー算出部
６３    パワー分散算出部
６４    ピッチ抽出部
６５    埋め込み判定部
６６    抽出部
８１    遅延素子
８２    パワー算出部
８３    パワー分散算出部
８４    ピッチ抽出部
８５    埋め込み可否判定部
８６    埋め込み部
９１    遅延素子
９２    パワー算出部
９３    パワー分散算出部
９４    ピッチ抽出部
９５    埋め込み判定部
９６    抽出部
１０１    仮埋め込み部
１０２    誤差算出部
１０３    マスキング閾値算出部
１０４    埋め込み可否判定部
１０５    出力信号選択部
１１１    抽出部
【発明を実施するための最良の形態】
【００３０】
以下、図面により本発明の実施の形態を説明する。
図４の(A)は本発明の実施の形態によるデータ埋め込み装置の概略を示すブロック図である。図４の（A）において、データ埋め込み装置は、入力されたオーディオ信号に対して分析パラメータを算出し、その分析パラメータから、入力されたオーディオ信号がデータの埋め込みを許容できる箇所かを判定する埋め込み可否判定部４１と、埋め込み可否判定部４１の判定結果が埋め込み可だった場合には、あらかじめ定めておいた埋め込み方法に従ってオーディオ信号にデータを埋め込み、埋め込み可否判定部４１の判定結果が埋め込み不可だった場合にはオーディオ信号をそのまま出力する埋め込み部４２と、埋め込みデータ格納部４３とを備えている。【００３１】
次に図４の(A)に示したデータ埋め込み装置の動作を説明する。
まず、オーディオ信号を埋め込み可否判定部４１に入力し、当該オーディオ信号に対して埋め込み可能かどうか(埋め込みに適した箇所かどうか)を判定する。なお、判定方法は、オーディオ信号が「埋め込みに適している『音質の変化がわからない、あるいは許容できる』箇所」であるか、「埋め込みに適さない『音質の変化が許容できない』箇所」であるかを物理パラメータ等の分析パラメータから判定する方法であれば、任意の判定方法を用いることができる。分析パラメータの具体例は、実施例で述べる。【００３２】
埋め込み可否判定部４１における判定の結果、「埋め込み可」であれば、オーディオ信号、及び埋め込みデータを埋め込み部４２に入力し、埋め込みデータ格納部４３に格納されている埋め込みデータをあらかじめ定めておいた埋め込み方法により、オーディオ信号に埋め込んで出力する。「埋め込み不可」の場合はデータを埋め込まずにオーディオ信号をそのまま出力する。また、次のオーディオ信号のために、埋め込みデータ格納部４３に、データを埋め込んだかどうかの結果を出力する。この結果、埋め込みデータ格納部４３は次に埋め込むデータがどれであるかを判定することができる。【００３３】
図４の(B)は本発明の実施の形態によるデータ抽出装置の概略を示すブロック図である。図４の(B)において、データ抽出装置は、入力されたオーディオ信号に対して分析パラメータを算出し、その分析パラメータから、入力されたオーディオ信号内にデータが埋め込まれているかを判定する埋め込み判定部４４と、埋め込み判定部４４の判定結果が埋め込み有だった場合には、あらかじめ定めておいた埋め込み方法に従ってオーディオ信号にデータが埋め込まれているものとしてデータを抽出し、判定結果が埋め込み無しだった場合には何も出力しない抽出部４５とを備えている。【００３４】
次に図４の(B)に示したデータ抽出装置の動作を説明する。
オーディオ信号を埋め込み判定部４４に入力し、当該オーディオ信号が埋め込まれているかどうかを判定する。
この判定結果とオーディオ信号を抽出部４５に入力し、判定部４４における判定が「埋め込まれている」であった場合は、データが埋め込まれているもの判定し、オーディオ信号中の、あらかじめ定めておいたデータ埋め込み位置からデータを抽出して出力する。「埋め込まれていない」場合はデータが埋め込まれていないと判定し、何も出力しない。【００３５】
なお、データが埋め込まれたオーディオ信号からデータを抽出する場合は、埋め込み側と同じ判定方法で埋め込みに適している箇所かどうかを判定し、埋め込みに適していると判定した箇所にデータが埋め込まれているとして、データを抽出する。なお、データの埋め込み方法(PCM信号の下位nビットに埋め込む、等)は任意であるが、埋め込み側と抽出側であらかじめ埋め込み方法を共有しておく必要がある。
【実施例１】
【００３６】
本発明を、電話、Voice over Internet Protocol(VoIP)などの音声通信に適用する場合の一例を図５、図６、図７に示す。
図５は本発明の実施例１によるデータ埋め込み装置の構成を示すブロック図である。図５において、データ埋め込み装置は、前処理部５１と、パワー算出部５２と、パワー分散部５３と、ピッチ抽出部５４と、埋め込み可否判定部５５と、埋め込み部５６と、埋め込みデータ格納部５７とを備えている。本実施例では、入力信号を複数サンプル(例えば160サンプル)まとめたフレーム単位で処理を行う。また、前述の分析パラメータは本実施例１では入力オーディオ信号のパワー、パワー分散、及びピッチ周期、及びピッチ強度である。【００３７】
次に図５に示したデータ埋め込み装置の動作を説明する。
まず、現フレームの入力信号を前処理部５１に入力し、埋め込みの対象とするビット(例えば下位1ビット)を初期値に設定する。初期値の設定方法は任意であるが、例えば埋め込み対象とするビットを0にクリアする。なお、この初期値設定処理は、抽出側に埋め込み前の入力信号がない場合であっても、埋め込み側と抽出側で同じ判定を行えるようにするための処理である。【００３８】
次いで、初期値設定処理で初期化された（例えば0にクリアされた）現フレームの信号をパワー算出部５２に入力し、式(1)に従ってフレームの平均パワーを算出する。式(1)において、s(n,i)はnフレームのi番目の入力信号を、pw(n)はnフレーム目の平均パワーを、FRAMESIZEはフレームサイズを表す。
【数１】
2008114432.tif 000003
【００３９】
次いで、パワー算出部５２で算出されたフレームの平均パワーをパワー分散算出部５３に入力し、式(2)に従って、パワー分散を求める。式(2)において、σ(n)は、nフレーム目におけるパワー分散、pw ave(n)はnフレーム目から過去FRAMENUMフレームまでの平均パワーを表す。
【数２】
2008114432.tif 000004
【００４０】
次いで初期値設定処理で初期化された（例えば0にクリアされた）オーディオ信号をピッチ抽出部５４に入力し、現フレームにおけるピッチ強度とピッチ周期を求める。ピッチの求め方は任意であるが、例えば式(3)を用いて、オーディオ信号の正規化された自己相関ac(k)を計算し、ac(k)の最大値をピッチ強度、及びac(k)が最大値をとるkをピッチ周期とする方法などがある。なお、式(3)において、Mは自己相関を算出する幅、pitchmin,pitchmaxはそれぞれピッチ周期を探索する最小値、最大値を表す。
【数３】
2008114432.tif 000005
【００４１】
このようにして求めたフレームの平均パワー、パワー分散、ピッチ周期、ピッチ強度を埋め込み可否判定部５５に入力し、図7のフローチャートに従って現フレームにデータを埋め込むか否かを決定し、埋め込み決定フラグfin(n)を出力する。【００４２】
現フレームの入力信号、埋め込みデータ、及び上記埋め込み決定フラグfin(n)を埋め込み部５６に入力し、埋め込み決定フラグfin(n)が「埋め込み可」を示している場合は、入力信号のあらかじめ定められた位置(例えば下位1ビット)を埋め込みデータで置換して出力する。埋め込み決定フラグfin(n)が「埋め込み不可」を示している場合は何もせずに入力信号をそのまま出力する。【００４３】
図７は埋め込み可否判定部５５の動作を説明するフローチャートである。図７において、ステップ７１にて、パワー算出部５２から出力されるパワーが所定閾値以下であれば、従来技術を図３により説明したのと同様に入力信号は微小信号なのでこの区間にデータを埋め込んでも音質を変化させることはない。したがってデータ埋め込み可であり、ステップ７２にてデータを埋め込む。【００４４】
ステップ７１の判定でパワーが所定閾値より大であっても、ステップ７３にてパワー分散算出部５３の出力が所定閾値以下で、且つステップ７４にてピッチ抽出部５４の出力であるピッチ強度が所定閾値以下であれば、白色雑音の領域でありしたがってデータ埋め込み可と判定してステップ７５にてデータを埋め込む。【００４５】
さらに、ステップ７４でピッチ強度が上記所定閾値より大であり、且つステップ７６にてピッチ周期が所定範囲外であれば、自動車のエンジン音等の定常雑音の領域でありしたがってデータ埋め込み可と判定してステップ７７にてデータを埋め込む。【００４６】
ステップ７３でパワー分散が上記所定閾値より大である場合、及びステップ７６にてピッチ周期が上記所定閾値外ではないと判定された場合は、音声、音楽又は駅のアナウンスなどの非定常雑音の領域であると判断して、ステップ７８にてデータを埋め込み不可と判定する。【００４７】
図６は本発明の実施例１によるデータ抽出装置の構成を示すブロック図である。図６において、データ抽出装置は、前処理部６１と、パワー算出部６２と、パワー分散算出部６３と、ピッチ抽出部６４と、埋め込み判定部６５と、抽出部６６とを備えている。【００４８】
次に図６に示した装置の動作を説明する。
まず、現フレームの入力信号を前処理部６１に入力し、埋め込みの対象とするビット(例えば下位1ビット)を初期設定する（例えば0にクリアする）。
次いで、初期設定された（例えば0にクリアされた）現フレームの信号をパワー算出部６２に入力し、式(1)に従ってフレームの平均パワーを算出する。
次いで、パワー算出部６２で算出されたフレームの平均パワーをパワー分散算出部６３に入力し、式(2)に従って、パワー分散を求める。
次いで、前処理部６１で初期設定された（例えば0にクリアされた）オーディオ信号を用いて、ピッチ抽出部６４にて現フレームにおけるピッチ強度とピッチ周期を求める。ピッチの求め方は任意であるが、例えば式(3)を用いて、オーディオ信号の正規化された自己相関ac(k)を計算し、ac(k)の最大値をピッチ強度、及びac(k)が最大値をとるkをピッチ周期とする方法などがある。【００４９】
このようにして求めたフレームの平均パワー、パワー分散、ピッチ周期、ピッチ強度を埋め込み判定部６５に入力し、現フレームにデータが埋め込まれているか否かを判定する。判定は、埋め込み側と同様、図7のフローチャートに従って行い、データ埋め込み可能な箇所にはデータが埋め込まれており、そうでない箇所にはデータは埋め込まれていないものと判定し、判定した結果を、埋め込み判定フラグfout(n)として埋め込み判定部６５から出力する。【００５０】
最後に、現フレームの入力信号、埋め込みデータ、及び埋め込み判定部６５にて算出した埋め込み判定フラグfout(n)を埋め込み部６６に入力し、埋め込み判定フラグfout(n)が「埋め込み有」である場合は、入力信号にデータが埋め込まれていると判定し、あらかじめ定められた位置(例えば下位1ビット)を埋め込みデータとして抽出し、出力する。埋め込み判定フラグfout(n)が「埋め込み無」である場合は何も出力しない。【００５１】
本実施例１では、入力信号から平均パワー、パワー分散、ピッチ周期、ピッチ強度を算出し、現フレームが埋め込みの可否を判定する。これにより、埋め込みに適したフレームのみを適切に選択してデータを埋め込むことができるため、音質を劣化させずにデータを埋め込む事が可能となる。また、前処理部５１で埋め込み対象ビットを初期値に設定して（例えば0にクリアして）から判定パラメータを算出することにより、音声通信の受信側など、埋め込み前の信号がない場合であっても、抽出側で埋め込み側と同一の判定を行うことができるため、正確に埋め込みデータを抽出する事が出来る。【００５２】
なお、本実施例１では、分析パラメータとして、入力信号の平均パワー、パワー分散、ピッチ周期、ピッチ強度を用いて埋め込みの可否を判定しているが、分析パラメータはこれに限るものではなく、例えば入力信号のスペクトル包絡形状など、任意の別のパラメータを用いても良い。
【実施例２】
【００５３】
本発明を、電話、Voice over Internet Protocol(VoIP)などの音声通信に適用する場合の別の実施例を図8、図9に示す。図8は本発明の実施例２によるデータ埋め込み装置の構成を示すブロック図であり、図9は本実施例２によるデータ抽出装置の構成を示すブロック図である。【００５４】
図８において、本発明の実施例２によるデータ埋め込み装置は、「D」というブロックで示される遅延素子８１、パワー算出部８２と、パワー分散部８３と、ピッチ抽出部８４と、埋め込み可否判定部８５と、埋め込み部８６と、埋め込みデータ格納部８７とを備えている。遅延素子８１は、入力された信号を1フレーム分遅延させる。【００５５】
図９において、本発明の実施例２によるデータ抽出装置は、「D」というブロックで示される遅延素子９１と、パワー算出部９２と、パワー分散部９３と、ピッチ抽出部９４と、埋め込み可否判定部９５と、埋め込み部９６とを備えている。遅延素子９１は、入力された信号を1フレーム分遅延させる。【００５６】
本実施例２では、前処理で埋め込み対象とするビットを初期値に設定しない（例えば0にクリアしない）点、及び埋め込みを行った(あるいは行わなかった)前フレームまでの信号を用いて、現フレームの埋め込み可否を決定する判定パラメータを算出し、埋め込みの可否を判定する点が実施例１と異なり、その他の処理は同一である。前フレームまでの信号で現フレームの埋め込み可否を決定することにより、埋め込み対象とするビットを初期値に設定する（例えば0にクリアする）ことなく、埋め込み側と抽出側で同一の判定を行うことができる。【００５７】
本実施例２でも、実施例１と同様に、入力信号から平均パワー、パワー分散、ピッチ周期、及びピッチ強度を分析パラメータとして算出し、現フレームが埋め込みの可否を判定する。これにより、埋め込みに適したフレームのみを適切に選択してデータを埋め込むことができるため、音質を劣化させずにデータを埋め込む事が可能となる。また、前フレームまでの埋め込み後の信号を用いて分析パラメータを算出することにより、音声通信の受信側など、埋め込み前の信号がない場合であっても、抽出側で埋め込み側と同一の判定を行うことができるため、正確に埋め込みデータを抽出する事が出来る。【００５８】
なお、本実施例でも、分析パラメータとして、入力信号の平均パワー、パワー分散、ピッチ周期、ピッチ強度を用いて埋め込みの可否を判定しているが、分析パラメータはこれに限るものではなく、例えば入力信号のスペクトル包絡形状など、任意の別のパラメータを用いても良い。
【実施例３】
【００５９】
本発明を音楽や映画、ドラマ等のリッチコンテンツに適用する場合の実施例３を図１０、図１１示す。
図１０は本実施例３によるデータ埋め込み装置の構成を示すブロック図、図１１は本実施例３によるデータ抽出装置の構成を示すブロック図である。
図１０において、本実施例３によるデータ埋め込み装置は、仮埋め込み部１０１と、誤差算出部１０２と、マスキング閾値算出部１０３と、埋め込み可否判定部１０４と、出力信号選択部１０５、埋め込みデータ格納部１０６とを備えている。【００６０】
図１１において、本実施例３によるデータ抽出装置は、抽出部１１１に、埋め込み後の信号と、埋め込みを行っていない原信号を入力し、両信号が異なっていればデータが埋め込まれているとして、あらかじめ定めておいたデータ埋め込み位置よりデータを抽出する。【００６１】
本実施例３でも、実施例１及び２と同様に、入力信号を複数サンプルまとめたフレーム単位で処理を行う。まず、本実施例３のデータ埋め込み装置における処理を以下に詳細に説明する。【００６２】
まず、入力オーディオ信号をマスキング閾値算出部１０３に入力し、現フレームにおけるマスキング閾値を算出する。なお、マスキング閾値とは入力信号に付加しても聴覚的に違いがわからない限界のノイズ量を示す。マスキング閾値の求め方は任意であるが、例えばISO/IEC 13818-7:2003, Advanced Audio Codingにある心理聴覚モデルなどを用いて求める方法などがある。【００６３】
次に、入力オーディオ信号を仮埋め込み部１０１に入力し、あらかじめ定めておいた埋め込み方法(例えば下位1ビットに埋め込む)に従って仮にデータを埋め込んだ仮埋め込み信号を作成し、仮埋め込み部１０１から出力する。
次に、入力オーディオ信号と、仮埋め込み部１０１において算出された仮埋め込み信号とを誤差算出部１０２に入力し、入力信号と仮埋め込み信号の誤差を算出する。【００６４】
次に、マスキング閾値算出部１０３で算出したマスキング閾値と誤差算出部１０２で算出した誤差とを埋め込み可否判定部１０４に入力し、現フレームの埋め込みの可否を判定する。埋め込み可否判定部１０４は、誤差算出部１０２で算出した誤差がマスキング閾値算出部１０３で算出したマスキング閾値以下であれば、埋め込み可、そうでなければ埋め込み不可と判定し、結果を出力する。【００６５】
次いで、入力信号、仮埋め込み部１０１で算出した仮埋め込み信号、及び埋め込み可否判定部１０４の出力である埋め込み可否の判定結果を、出力信号選択部１０５に入力し、埋め込み可であれば仮埋め込み部１０１で算出した仮埋め込み信号を出力信号選択部１０５から出力し、埋め込み不可であれば入力信号をそのまま出力信号選択部１０５から出力する。出力信号選択部１０５の出力は埋め込みデータ格納部１０６に格納されて、埋め込みデータ格納部１０６において次に埋め込むべきデータがどれであるかの判定を可能にしている。【００６６】
本実施例３では、音楽や映画、ドラマ等のリッチコンテンツに対し、マスキング閾値を用いて埋め込みによって聴覚的に差が生じない箇所にのみデータを埋め込む。このような構成にすることで、音質の変化が音声通信等に比べて許容されにくいリッチコンテンツにであっても、音質を落とさずにデータを埋め込むことが可能となる。なお、本実施例ではマスキング閾値のみを用いて埋め込みの可否を判定しているが、これに限るものではなく例えば実施例１及び２のように入力信号のパワー等を判定パラメータとして用いても良い。
【産業上の利用可能性】
【００６７】
以上の説明から明らかなように、本発明によれば、オーディオ信号が埋め込みに適した箇所かを、パワーの変動・ピッチ強度・ピッチ周波数・周波数スペクトルの分布等あるいはマスキング閾値といった分析パラメータから、当該のオーディオ信号が埋め込みに適した箇所、すなわちデータを埋め込んでも音質の変化がわからない、あるいは音質の変化が許容できる箇所かを判定し、埋め込み箇所に適していると判定された場合にのみ、データを埋め込む事により、埋め込みに適さない箇所への埋め込みによる許容できない音質の変化を生じさせる事なく、且つ埋め込み量の低下を生じさせる事なく、音声信号にデータを埋め込む事が可能となる。
また、そのようにして埋め込まれたデータを抽出することが可能となる。
【図１】
2008114432.tif 000006
【図２】
2008114432.tif 000007
【図３】
2008114432.tif 000008
【図４】
2008114432.tif 000009
【図５】
2008114432.tif 000010
【図６】
2008114432.tif 000011
【図７】
2008114432.tif 000012
【図８】
2008114432.tif 000013
【図９】
2008114432.tif 000014
【図１０】
2008114432.tif 000015
【図１１】
2008114432.tif 000016
【手続補正書】
【提出日】平成21年9月1日(2009.9.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力されたオーディオ信号に対して分析パラメータを算出し、前記分析パラメータに基づいて、前記入力されたオーディオ信号が、「データを埋め込むことによる音質の変化が聴覚的にわからない箇所」、「データを埋め込むことによる音質の変化が聴覚的に許容できる箇所」及び「データを埋め込むことによる音質の変化が聴覚的に許容できない箇所」のいずれにあたるかを判定し、前記入力されたオーディオ信号が「データを埋め込むことによる音質の変化が聴覚的にわからない箇所」及び「データを埋め込むことによる音質の変化が聴覚的に許容できる箇所」のいずれかである場合に前記入力されたオーディオ信号へのデータの埋め込みを許容する埋め込み可否判定部と、
前記埋め込み可否判定部の判定結果が埋め込み可だった場合には、該許容できる箇所にデータを埋め込んだオーディオ信号を出力し、前記埋め込み可否判定部の判定結果が埋め込み不可だった場合には前記オーディオ信号をそのまま出力する埋め込み部と、
を備えているデータ埋め込み装置。
【請求項２】
前記埋め込み可否判定部は、
前記入力されたオーディオ信号の、埋め込み対象箇所をあらかじめ初期値として設定して出力する前処理部と、
前記前処理部で埋め込み対象箇所を初期値に設定されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部及び、
前記パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、
前記埋め込み対象箇所を初期値に設定されたオーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、
のうち少なくとも１つの特徴量算出部と、
前記特徴量算出部で算出された特徴量を用いて埋め込みの可否を判定する判定部と、を備えていることを特徴とする請求項1に記載のデータ埋め込み装置。
【請求項３】
前記埋め込み可否判定部は、
前記入力されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部及び、
前記パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、
前記オーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、
のうち少なくとも１つの特徴量算出部と、
前記特徴量算出部で算出された特徴量を用いて埋め込みの可否を判定する判定部と、を備えており、
前記埋め込み部は、前記入力されたオーディオ信号の１フレーム前の前記判定部の判定結果に基づいて前記データの埋め込み又は前記オーディオ信号の出力処理を行うようにしたことを特徴とする請求項1に記載のデータ埋め込み装置。
【請求項４】
前記埋め込み可否判定部は、
前記入力されたオーディオ信号のマスキング閾値を算出するマスキング閾値算出部と、
前記オーディオ信号に仮にデータを埋め込む仮埋め込み部と、
前記仮埋め込み部でデータを埋め込まれた仮埋め込み信号と、前記オーディオ信号の誤差を算出する誤差算出部と、
前記マスキング閾値と前記誤差を用いて埋め込みの可否を判定する判定部と、を備えている、請求項１に記載のデータ埋め込み装置。
【請求項５】
送信側に、入力されたオーディオ信号に対して分析パラメータを算出し、前記分析パラメータに基づいて、前記入力されたオーディオ信号が、「データを埋め込むことによる音質の変化が聴覚的にわからない箇所」、「データを埋め込むことによる音質の変化が聴覚的に許容できる箇所」及び「データを埋め込むことによる音質の変化が聴覚的に許容できない箇所」のいずれにあたるかを判定し、前記入力されたオーディオ信号が「データを埋め込むことによる音質の変化が聴覚的にわからない箇所」及び「データを埋め込むことによる音質の変化が聴覚的に許容できる箇所」のいずれかである場合に前記入力されたオーディオ信号へのデータの埋め込みを許可する埋め込み可否判定部と、
前記埋め込み可否判定部の判定結果が埋め込み可だった場合には、あらかじめ定めておいた埋め込み方法に従って前記オーディオ信号にデータを埋め込み、前記埋め込み可否判定部の判定結果が埋め込み不可だった場合には前記オーディオ信号をそのまま出力する埋め込み部と、
を備えるデータ埋め込み装置を備えており、
受信側に、入力されたオーディオ信号に対して分析パラメータを算出し、前記分析パラメータに基づいて、前記入力されたオーディオ信号内にデータが埋め込まれているかを判定する埋め込み判定部と、
前記埋め込み判定部の判定結果が埋め込み有だった場合には、あらかじめ定めておいた埋め込み方法に従って前記オーディオ信号にデータが埋め込まれているものとしてデータを抽出し、判定結果が埋め込み無しだった場合には何も出力しない抽出部と、
を備えているデータ抽出装置を備えた音声通信システム。
【請求項６】
前記送信側において、
前記埋め込み可否判定部は、
前記入力されたオーディオ信号の、あらかじめ定めておいた埋め込み対象箇所を初期値に設定して出力する前処理部と、
前記前処理部で埋め込み対象箇所を初期値に設定されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部及び、
前記パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、
前記埋め込み対象箇所を初期値に設定されたオーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、
のうち少なくとも１つの特徴量算出部と、
前記特徴量算出部で算出された特徴量を用いて埋め込みの可否を判定する判定部と、を備えており、
前記受信側において、
前記埋め込み判定部は、
前記入力されたオーディオ信号の、あらかじめ定めておいた埋め込み対象箇所を初期値に設定して出力する前処理部と、
前記前処理部で埋め込み対象箇所を初期値に設定されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部及び、
前記パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、
前記埋め込み対象箇所を初期値に設定されたオーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、
のうち少なくとも１つの特徴量算出部と、
前記特徴量算出部で算出された特徴量を用いてデータが埋め込まれているかを識別する埋め込み識別部と、を備えている請求項５に記載の音声通信システム。
【請求項７】
前記送信側において、
前記埋め込み可否判定部は、
前記入力されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部及び、
前記パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、
前記オーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、
のうち少なくとも１つの特徴量算出部と、
前記特徴量算出部で算出された特徴量を用いて埋め込みの可否を判定する判定部と、を備えており、
前記埋め込み部は、前記入力されたオーディオ信号の１フレーム前の前記判定部の判定結果に基づいて前記データの埋め込み又は前記オーディオ信号の出力処理を行うようにし、
前記受信側において、
前記埋め込み判定部は、
前記入力されたオーディオ信号のパワーに関する特徴量を算出するパワー算出部及び、
前記パワー算出部で算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、
前記オーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出部、
のうち少なくとも１つの特徴量算出部と、
前記特徴量算出部で算出された特徴量を用いて埋め込みの有無を識別する埋め込み識別部と、を備えており、
前記抽出部は、前記入力されたオーディオ信号の１フレーム前の前記埋め込み識別部の識別結果に基づいて前記データの抽出を行うようにしたことを特徴とする請求項５に記載の音声通信システム。
【請求項８】
入力されたオーディオ信号に対して分析パラメータを算出し、前記分析パラメータに基づいて、前記入力されたオーディオ信号が、「データを埋め込むことによる音質の変化が聴覚的にわからない箇所」、「データを埋め込むことによる音質の変化が聴覚的に許容できる箇所」及び「データを埋め込むことによる音質の変化が聴覚的に許容できない箇所」のいずれにあたるかを判定し、前記入力されたオーディオ信号が「データを埋め込むことによる音質の変化が聴覚的にわからない箇所」及び「データを埋め込むことによる音質の変化が聴覚的に許容できる箇所」のいずれかである場合に前記入力されたオーディオ信号へのデータの埋め込みを許容する埋め込み可否判定ステップと、
前記埋め込み可否判定ステップにおいて埋め込みが許可された場合には、該許容できる箇所にデータを埋め込んだオーディオ信号を出力し、前記埋め込み可否判定ステップにおいて埋め込み不可だった場合には前記オーディオ信号をそのまま出力するステップと、
を備えているデータ埋め込み方法。
【請求項９】
前記埋め込み可否判定ステップは、
前記入力されたオーディオ信号の、埋め込み対象箇所をあらかじめ初期値に設定して出力する前処理ステップと、
前記前処理ステップで埋め込み対象箇所を初期値に設定されたオーディオ信号のパワーに関する特徴量を算出するパワー算出ステップ及び、
前記パワー算出ステップで算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出部及び、
前記埋め込み対象箇所を初期値に設定されたオーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出ステップ、
のうち少なくとも１つの特徴量算出ステップと、
前記特徴量算出ステップで算出された特徴量を用いて埋め込みの可否を判定する判定ステップと、を備えていることを特徴とする請求項８に記載のデータ埋め込み方法。
【請求項１０】
前記埋め込み可否判定ステップは、
前記入力されたオーディオ信号のパワーに関する特徴量を算出するパワー算出ステップ及び、
前記パワー算出ステップで算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出ステップ及び、
前記オーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出ステップ、
のうち少なくとも１つの特徴量算出ステップと、
前記特徴量算出ステップで算出された特徴量を用いて埋め込みの可否を判定する判定ステップと、を備えており、
前記埋め込みステップは、前記入力されたオーディオ信号の１フレーム前の前記判定部の判定結果に基づいて前記データの埋め込み又は前記オーディオ信号の出力処理を行うようにしたことを特徴とする請求項８に記載のデータ埋め込み方法。
【請求項１１】
前記埋め込み可否判定ステップは、
前記入力されたオーディオ信号のマスキング閾値を算出するマスキング閾値算出ステップと、
前記オーディオ信号に仮にデータを埋め込む仮埋め込みステップと、
前記仮埋め込みステップでデータを埋め込まれた仮埋め込み信号と、前記オーディオ信号の誤差を算出する誤差算出ステップと、
前記マスキング閾値と前記誤差を用いて埋め込みの可否を判定する判定ステップと、を備えている、請求項８に記載のデータ埋め込み方法。
【請求項１２】
送信側にて、入力されたオーディオ信号に対して分析パラメータを算出し、前記分析パラメータに基づいて、前記入力されたオーディオ信号が、「データを埋め込むことによる音質の変化が聴覚的にわからない箇所」、「データを埋め込むことによる音質の変化が聴覚的に許容できる箇所」及び「データを埋め込むことによる音質の変化が聴覚的に許容できない箇所」のいずれかである場合に前記入力されたオーディオ信号へのデータの埋め込みを許可する埋め込み可否判定ステップと、
前記埋め込み可否判定ステップの判定結果が埋め込み可だった場合には、あらかじめ定めておいた埋め込み方法に従って前記オーディオ信号にデータを埋め込み、前記埋め込み可否判定ステップの判定結果が埋め込み不可だった場合には前記オーディオ信号をそのまま出力する埋め込みステップと、
を備えるデータ埋め込み方法を行い、
受信側にて、入力されたオーディオ信号に対して分析パラメータを算出し、前記分析パラメータに基づいて、前記入力されたオーディオ信号内にデータが埋め込まれているかを判定する埋め込み判定ステップと、
前記埋め込み判定ステップの判定結果が埋め込み有だった場合には、あらかじめ定めておいた埋め込み方法に従って前記オーディオ信号にデータが埋め込まれているものとしてデータを抽出し、判定結果が埋め込み無しだった場合には何も出力しない抽出ステップと、
を備えているデータ抽出方法を行う事を特徴とする音声通信方法。
【請求項１３】
前記送信側において、
前記埋め込み可否判定ステップは、
前記入力されたオーディオ信号の、あらかじめ定めておいた埋め込み対象箇所を初期値に設定して出力する前処理ステップと、
前記前処理ステップで埋め込み対象箇所を初期値に設定されたオーディオ信号のパワーに関する特徴量を算出するパワー算出ステップ及び、
前記パワー算出ステップで算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出ステップ及び、
前記埋め込み対象箇所を初期値に設定されたオーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出ステップ、
のうち少なくとも１つの特徴量算出ステップと、
前記特徴量算出ステップで算出された特徴量を用いてデータの埋め込みの可否を判定する判定ステップと、を備えており、
前記受信側において、
前記埋め込み判定ステップは、
前記入力されたオーディオ信号の、あらかじめ定めておいた埋め込み対象箇所を初期値に設定して出力する前処理ステップと、
前記前処理ステップで埋め込み対象箇所を初期値に設定されたオーディオ信号のパワーに関する特徴量を算出するパワー算出ステップ及び、
前記パワー算出ステップで算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出ステップ及び、
前記埋め込み対象箇所を初期値に設定されたオーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出ステップ、
のうち少なくとも１つの特徴量算出ステップと、
前記特徴量算出ステップで算出された特徴量を用いてデータが埋め込まれているかを識別する埋め込み識別ステップと、を備えている請求項１２に記載の音声通信方法。
【請求項１４】
前記送信側において、
前記埋め込み可否判定ステップは、
前記入力されたオーディオ信号のパワーに関する特徴量を算出するパワー算出ステップ及び、
前記パワー算出ステップで算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出ステップ及び、
前記オーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出ステップ、
のうち少なくとも１つの特徴量算出ステップと、
前記特徴量算出ステップで算出された特徴量を用いて埋め込みの可否を判定する判定ステップと、を備えており、
前記埋め込みステップは、前記入力されたオーディオ信号の１フレーム前の前記判定ステップの判定結果に基づいて前記データの埋め込み又は前記オーディオ信号の出力処理を行うようにし、
前記受信側において、
前記埋め込み判定ステップは、
前記入力されたオーディオ信号のパワーに関する特徴量を算出するパワー算出ステップ及び、
前記パワー算出ステップで算出されたオーディオ信号のパワーに関する特徴量と過去のオーディオ信号のパワーに関する特徴量を用いてパワーの分散に関する特徴量を算出するパワー分散算出ステップ及び、
前記オーディオ信号を用いて周期性に関する特徴量を算出するピッチ抽出ステップ、
のうち少なくとも１つの特徴量算出ステップと、
前記特徴量算出ステップで算出された特徴量を用いて埋め込みの有無を識別する識別ステップと、を備えており、
前記抽出ステップは、前記入力されたオーディオ信号の１フレーム前の前記識別ステップの識別結果に基づいて前記データの抽出を行うようにしたことを特徴とする請求項１２に記載の音声通信方法。
【国際調査報告】
2008114432.tif 000017
2008114432.tif 000018
2008114432.tif 000019
2008114432.tif 000020