(57)【要約】【課題】確率モデルを用いて波形の雑音除去を行う際の除去精度を向上させる。【解決手段】各時刻の波形を表すデータよりなる時系列データを用いて確率モデルにしたがって各時刻の波形を推定した場合に生起確率が低い波形成分を雑音として前記時系列データから除去する雑音除去装置における確率モデルとして、各時刻の波形に対応する可視素子と当該可視素子と対になる隠れ素子とを含むとともに、時間軸方向に並んだ可視素子間の遷移、時間軸方向に並んだ隠れ素子間の遷移、または隣接する時刻における可視素子と隠れ素子との間の遷移を実現する順方向および逆方向の再帰素子を含むモデルを採用する。そして、各時刻のデータを各時刻の可視素子に対応付け、各時刻の波形を再帰素子の示す遷移にしたがって当該時刻よりも過去の可視素子および隠れ素子と当該時刻よりも未来の可視素子および隠れ素子とから推定する。【選択図】  図１
2016071203.tif 000002
【特許請求の範囲】
【請求項１】
各時刻の波形を表すデータよりなる時系列データが入力される入力手段と、
前記入力手段に入力された時系列データを用いて確率モデルにしたがって各時刻の波形を推定した場合の生起確率が低い波形成分を雑音として前記時系列データから除去する雑音除去手段と、
を備え、
前記確率モデルは、
各時刻の波形に対応付けられる可視素子と、
前記可視素子と対になる隠れ素子と、
各々時刻毎に定められ、時間軸方向に並んだ可視素子間の遷移、当該時間軸方向に並んだ隠れ素子間の遷移、および、互いに隣り合う時刻の可視素子と隠れ素子との間の遷移を実現する順方向および逆方向の再帰素子であって、各時刻における順方向の再帰素子の各々は、当該再帰素子に対応する時刻の可視素子と当該時刻よりも過去の時刻の順方向の再帰素子とから一意に定まる一方、前記各時刻の逆方向の再帰素子の各々は当該再帰素子に対応する時刻の可視素子と当該時刻よりも未来の時刻の逆方向の再帰素子とから一意に定まる、順方向および逆方向の再帰素子と、
前記順方向および逆方向の再帰素子の各々による遷移および時間軸方向に並んだ再帰素子間の結合の強さを規定するモデルパラメータと、
を含み、
前記モデルパラメータは、雑音を含まない波形を各時刻の可視素子に対応させた場合に、各時刻において可視素子に対応する波形の生起確率が最も高くなるように予め学習済であり、
前記雑音除去手段は、
前記入力手段に入力された時系列データを構成する各時刻のデータの表す波形を各時刻の可視素子に対応付けて各時刻における順方向および逆方向の再帰素子を算出し、当該順方向および逆方向の再帰素子と前記モデルパラメータとにしたがって各時刻の可視素子および隠れ素子を更新し、更新後の各時刻の可視素子に対応するデータを雑音除去済の時系列データとして出力する
ことを特徴とする雑音除去装置。
【請求項２】
雑音を含まない波形を表す時系列データを教師データとして前記モデルパラメータを学習する学習手段を備え、
前記雑音除去手段は、前記学習手段により学習したモデルパラメータを用いて雑音除去を行う
ことを特徴とする請求項１に記載の雑音除去装置。
【請求項３】
前記確率モデルは、双方向再帰制限付きボルツマンマシンであり、可視素子に対応する波形の生起確率はシグモイド関数にしたがって算出されることを特徴とする請求項１または請求項２に記載の雑音除去装置。
【請求項４】
各時刻の波形を表すデータよりなる時系列データを用いて確率モデルにしたがって各時刻の波形を推定した場合における生起確率が低い波形成分を雑音として前記時系列データから除去する雑音除去方法であって、
前記確率モデルとして、
各時刻の波形に対応付けられる可視素子と、
前記可視素子と対になる隠れ素子と、
各々時刻毎に定められ、時間軸方向に並んだ可視素子間の遷移、当該時間軸方向に並んだ隠れ素子間の遷移、および、互いに隣り合う時刻の可視素子と隠れ素子との間の遷移を実現する順方向および逆方向の再帰素子であって、各時刻における順方向の再帰素子の各々は、当該再帰素子に対応する時刻の可視素子と当該時刻よりも過去の時刻の順方向の再帰素子とから一意に定まる一方、前記各時刻の逆方向の再帰素子の各々は当該再帰素子に対応する時刻の可視素子と当該時刻よりも未来の時刻の逆方向の再帰素子とから一意に定まる、順方向および逆方向の再帰素子と、
前記順方向および逆方向の再帰素子の各々による遷移および時間軸方向に並んだ再帰素子間の結合の強さを規定するモデルパラメータと、
を含むモデルを用い、
前記モデルパラメータとして、
雑音を含まない波形を各時刻の可視素子に対応させた場合に、各時刻において可視素子に対応する波形の生起確率が最も高くなるように予め学習済のモデルパラメータを用い、
入力された時系列データを構成する各時刻のデータの表す波形を各時刻の可視素子に対応付けて各時刻の順方向および逆方向の再帰素子を算出する第１のステップと、
前記第１のステップにて算出した順方向および逆方向の再帰素子と前記モデルパラメータとにしたがって各時刻の可視素子および隠れ素子を更新し、更新後の各時刻の可視素子に対応するデータを雑音除去済の時系列データとして出力する第２のステップと、
を有することを特徴とする雑音除去方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音または動画像を表す時系列データなど波形を表す時系列データから雑音を除去して元の波形を復元する技術に関する。
【背景技術】
【０００２】
この種の技術の一例として、ＴＲＢＭ（Temporal
Restricted Boltzmann Machine）やＴＲＢＭの改良型（ＲＴＲＢＭ（Recurrent Temporal Restricted Boltzmann Machine）やＲＮＮ−ＲＢＭ（Recurrent Neural
Network - Restricted Boltzmann Machine））などの確率モデルを利用して雑音を除去する技術が挙げられる（例えば、非特許文献１参照）。雑音とは、確率モデルを規定するモデルパラメータの学習過程において生起確率が低い（またはゼロである）波形成分のことを言い、単純なホワイトノイズのようなものには限られない。これらの技術は、何れも順方向モデルを利用した技術である。順方向モデルとは、例えば雑音の除去対象の時系列データが時刻ｔａから時刻ｔｂ（ｔａ＜ｔｂ）までの各時刻の波形を表すデータである場合、時刻ｔｃ（ｔａ＜ｔｃ＜ｔｂ）における雑音を含まない波形を当該時刻ｔｃよりも過去の波形を表すデータから推定するモデルのことを言う。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Sutskever,Ilya,andGeoffrey E. Hinton.”Learning multilevel distributed representations forhigh-dimensional sequence.” International Conference on Artificial Intelligenceand Statistics.2007.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１に開示の技術のように順方向モデルを利用した技術には、雑音の除去精度（換言すれば、雑音を含まない波形の推定精度）が低い、という問題があった。
この発明は、波形を表す時系列データから確率モデルを用いて雑音を除去する際の精度を従来よりも向上させることを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は、各時刻の波形を表すデータよりなる時系列データが入力される入力手段と、前記入力手段に入力された時系列データを用いて確率モデルにしたがって各時刻の波形を推定した場合の生起確率が低い波形成分を雑音として前記時系列データから除去する雑音除去手段と、を備え、前記確率モデルは、各時刻の波形に対応付けられる可視素子と、前記可視素子と対になる隠れ素子と、各々時刻毎に定められ、時間軸方向に並んだ可視素子間の遷移、当該時間軸方向に並んだ隠れ素子間の遷移、および、互いに隣り合う時刻の可視素子と隠れ素子との間の遷移を実現する順方向および逆方向の再帰素子であって、各時刻における順方向の再帰素子の各々は、当該再帰素子に対応する時刻の可視素子と当該時刻よりも過去の時刻の順方向の再帰素子とから一意に定まる一方、前記各時刻の逆方向の再帰素子の各々は当該再帰素子に対応する時刻の可視素子と当該時刻よりも未来の時刻の逆方向の再帰素子とから一意に定まる、順方向および逆方向の再帰素子と、前記順方向および逆方向の再帰素子の各々による遷移および時間軸方向に並んだ再帰素子間の結合の強さを規定するモデルパラメータと、を含み、前記モデルパラメータは、雑音を含まない波形を各時刻の可視素子に対応させた場合に、各時刻において可視素子に対応する波形の生起確率が最も高くなるように予め学習済であり、前記雑音除去手段は、前記入力手段に入力された時系列データを構成する各時刻のデータの表す波形を各時刻の可視素子に対応付けて各時刻における順方向および逆方向の再帰素子を算出し、当該順方向および逆方向の再帰素子と前記モデルパラメータとにしたがって各時刻の可視素子および隠れ素子を更新し、更新後の各時刻の可視素子に対応するデータを雑音除去済の時系列データとして出力することを特徴とする雑音除去装置、を提供する。
【０００６】
本発明によれば、例えば時刻ｔａから時刻ｔｂまでの各時刻の波形を表すデータからなる時系列データが雑音の除去対象である場合に、時刻ｔｃ（ｔｃ：ｔａ〜ｔｂの任意のタイムステップの時刻）における雑音を含まない波形は、当該時刻ｔｃよりも過去の波形を表すデータと当該時刻ｔｃよりも未来の波形を表すデータとを用いて確率モデルにしたがって推定される。一般に、上記時系列データの表す波形は時刻ｔａから時刻ｔｂまで連続的に変化しているのであるから、本発明によれば、時刻ｔｃよりも未来の波形を参照する分だけ従来技術に比較して高い精度で雑音を含まない波形を推定することが可能となり、雑音の除去精度を従来技術よりも向上させることが可能になる。なお、本発明の発明者（以下、本願発明者）は、波形の推定対象の時刻ｔｃよりも過去の波形と当該時刻ｔｃよりも未来の波形とを用いて当該時刻ｔｃにおける雑音を含まない波形を推定するための確率モデルとして、「双方向再帰制限付きボルツマンマシン」と名付ける新たなモデルを案出した。双方向再帰制限付きボルツマンマシンの詳細については本発明の原理の説明において明らかにする。
【０００７】
より好ましい態様においては、上記雑音除去装置に、雑音を含まない波形を表す時系列データを教師データとして前記モデルパラメータを学習する学習手段を設け、前記雑音除去手段には、前記学習手段により記憶したモデルパラメータを用いて雑音の除去を行わせるようにしても良い。このような態様によれば、雑音の除去対象の時系列データに応じた教師データを用意することで、その時系列データに含まれる雑音を的確に除去することが可能になる。なお、学習済のモデルパラメータを予め雑音除去装置に記憶させておく態様であれば、上記学習手段を設ける必要がないことは言うまでもない。
【０００８】
また、本発明の別の態様としては、各時刻の波形を表すデータよりなる時系列データを用いて確率モデルにしたがって各時刻の波形を推定した場合における生起確率が低い波形成分を雑音として前記時系列データから除去する雑音除去方法であって、前記確率モデルとして、各時刻の波形に対応付けられる可視素子と、前記可視素子と対になる隠れ素子と、各々時刻毎に定められ、時間軸方向に並んだ可視素子間の遷移、当該時間軸方向に並んだ隠れ素子間の遷移、および、互いに隣り合う時刻の可視素子と隠れ素子との間の遷移を規定する順方向および逆方向の再帰素子であって、各時刻における順方向の再帰素子の各々は、当該再帰素子に対応する時刻の可視素子と当該時刻よりも過去の時刻の順方向の再帰素子とから一意に定まる一方、前記各時刻の逆方向の再帰素子の各々は当該再帰素子に対応する時刻の可視素子と当該時刻よりも未来の時刻の逆方向の再帰素子とから一意に定まる、順方向および逆方向の再帰素子と、前記順方向および逆方向の再帰素子の各々による遷移の生起頻度および時間軸方向に並んだ再帰素子間の結合の強さを規定するモデルパラメータと、を含むモデルを用い、前記モデルパラメータとして、雑音を含まない波形を各時刻の可視素子に対応させた場合に、各時刻において可視素子に対応する波形の生起確率が最も高くなるように予め学習済のモデルパラメータを用い、入力された時系列データを構成する各時刻のデータの表す波形を各時刻の可視素子に対応付けて各時刻の順方向および逆方向の再帰素子を算出する第１のステップと、前記第１のステップにて算出した順方向および逆方向の再帰素子の示す遷移にしたがって各時刻の可視素子と隠れ素子とを更新し、更新後の各時刻の可視素子に対応するデータを雑音を除去済の時系列データとして出力する第２のステップと、を有することを特徴とする雑音除去方法を提供する態様が考えられる。また、さらに別の態様としては、上記雑音除去方法をコンピュータに実行させるプログラムを提供する態様が考えられる。
【図面の簡単な説明】
【０００９】
【図１】双方向再帰制限付きボルツマンマシンの模式図である。
【図２】本発明の一実施形態の雑音除去装置の構成例を示す図である。
【図３】本実施形態の効果を説明するための図である。
【図４】本実施形態の効果を説明するための図である。
【発明を実施するための形態】
【００１０】
本発明では、時刻ｔａから時刻ｔｂまでの各時刻の波形を表すデータよりなる時系列データを用いて時刻ｔｃ（ｔａ＜ｔｃ＜ｔｂ）における雑音を含まない波形を推定する際に、当該時刻ｔｃよりも過去の波形を表すデータと当該時刻ｔｃよりも未来の波形を表すデータとを用いる点が非特許文献１に開示の技術と異なり、この点の本実施形態の特徴がある。本願発明者は、雑音を含まない波形の推定対象の時刻よりも過去および未来の波形を表すデータを用いて当該時刻における雑音を含まない波形を推定するための確率モデルとして「双方向再帰制限付きボルツマンマシン」と名付ける新たなモデルを案出した。以下、上記時系列データが動画像を表すデータ（より正確には、各フレームが２値静止画像（画素値が０または１の画素により構成される静止画像）で構成される動画像を表す時系列データ（但し、ｔａ＝１、ｔｂ＝Ｔ、ただし、Ｔ＞１））である場合を例に取って、双方向再帰制限付きボルツマンマシンおよびこれを用いた雑音の除去手順（換言すれば、本発明の原理）を説明する。
【００１１】
（Ａ：本発明の原理）
図１は、双方向再帰制限付きボルツマンマシンを示す模式図である。
双方向再帰制限付きボルツマンマシンは、時間軸方向に並んだ可視素子ｖ（ｔ）（ｔ＝１〜Ｔ）と、当該可視素子ｖ（ｔ）と対になる隠れ素子ｈ（ｔ）（ｔ＝１〜Ｔ）と、各時刻における順方向伝搬素子ｕf（ｔ）（ｔ＝０〜Ｔ）と逆方向伝搬素子ｕｂ（ｔ）（ｔ＝１〜Ｔ＋１）と、を含んでいる。可視素子ｖ（ｔ）（ｔ＝１〜Ｔ）の各々は、各フレームの画像に対応するベクトル（なお、以下では、単にベクトルといった場合、列ベクトルを意味する）である。例えば、各フレームの画像がＮ×Ｍ画素の画像である場合、可視素子ｖ（ｔ）は、各々０または１の何れかの値を取るＮ×Ｍ個の成分よりなるＮ×Ｍ次元ベクトルである。隠れ素子ｈ（ｔ）は可視素子ｖ（ｔ）と同じ成分数（或いは、より成分数の多い）のベクトルである。モデルの自由度を充分に確保するためには、隠れ素子ｈ（ｔ）の成分数は可視素子ｖ（ｔ）の成分数よりも多いことが好ましい。順方向伝搬素子ｕf（ｔ）および逆方向伝搬素子ｕｂ（ｔ）もベクトルである。順方向伝搬素子ｕf（ｔ）および逆方向伝搬素子ｕｂ（ｔ）の成分数については適宜実験等を行って好適な値に定めるようにすれば良い。
【００１２】
順方向伝搬素子ｕf（ｔ）および逆方向伝搬素子ｕｂ（ｔ）は、時間軸方向の状態遷移（互いに隣り合う時刻の可視素子間の遷移、互いに隣り合う時刻の隠れ素子間の遷移および互いに隣り合う時刻の可視素子と隠れ素子との間の遷移）を規定する再帰素子である。図１に示す再帰素子および可視素子間には、以下の式（Ａ１）〜（Ａ４）に示す関係がある。なお、数１に示す各式におけるｂｖ、ｂｈ、Ｗｕｖ，ｆ、Ｗｕｖ，ｂ、Ｗｕｈ，ｆ、Ｗｕｈ，ｂ、は、図１に示すように、上記時間軸方向の可視素子と再帰素子間の遷移、および、隠れ素子と再帰素子間の遷移を規定するパラメータである。ｂｖは、可視素子と同じ次元数のベクトルであり、ｂｈは隠れ素子と同じ次元数のベクトルである。Ｗｕｖ，ｆ、は可視素子の成分数と同じ行数を有しかつ順方向伝搬素子の成分数と同じ列数の行列である。Ｗｕｖ，ｂは可視素子の成分数と同じ行数を有しかつ逆方向伝搬素子の成分数と同じ列数の行列である。Ｗｕｈ，ｆは隠れ素子の成分数と同じ行数を有しかつ順方向伝搬素子の成分数と同じ列数の行列である。そして、Ｗｕｈ，ｂは隠れ素子の成分数と同じ行数を有しかつ逆方向伝搬素子の成分数と同じ列数の行列である。また、ｂｕ，ｆ、Ｗｕｕ，ｆ、Ｗｖｕ，ｆは順方向伝搬素子ｕf（ｔ）の各々を同じ時刻の可視素子と１つ過去の時刻の順方向伝搬素子とに結びつけるモデルパラメータである。ｂｕ，ｆは順方向伝搬素子と同じ次元数のベクトルである。Ｗｕｕ，ｆは行数および列数が順方向伝搬素子の次元数と同じ行列であり、Ｗｖｕ，ｆは順方向伝搬素子の次元数と同じ行数を有しかつ可視素子の成分数と同じ列数を有する行列である。ｂｕ，ｂ、Ｗｕｕ，ｂ、Ｗｖｕ，ｂは逆方向伝搬素子ｕｂ（ｔ）の各々を同じ時刻の可視素子と１つ未来の時刻の逆方向伝搬素子とに結びつけるモデルパラメータである。ｂｕ，ｂは逆方向伝搬素子と同じ次元数のベクトルである。Ｗｕｕ，ｂは行数および列数が逆方向伝搬素子の次元数と同じ行列であり、Ｗｖｕ，ｂは逆方向伝搬素子の次元数と同じ行数を有しかつ可視素子の成分数と同じ列数を有する行列である。式（Ａ３）は順方向伝搬素子ｕf（ｔ）のｉ番目の成分の計算式であり、式（Ａ４）は逆方向伝搬素子ｕｂ（ｔ）のｉ番目の成分の計算式である。式（Ａ３）および（Ａ４）の右辺は式（Ａ５）により表されるシグモイド関数である。
【００１３】
【数１】
2016071203.tif 000003
【００１４】
ここで注目すべき点は、式（Ａ１）〜式（Ａ４）の各式は、何れも決定論的な関係を表す、という点である。例えば、順方向伝搬素子ｕf（ｔ）の各々は、同じ時刻の可視素子と１つ過去の時刻の順方向伝搬素子とから式（Ａ３）に従って一意に定まり、逆方向伝搬素子ｕｂ（ｔ）の各々も、同じ時刻の可視素子と１つ未来の時刻の逆方向伝搬素子とから式（Ａ４）にしたがって一意に定まる、といった具合である。このように、双方向再帰制限付きボルツマンマシンは、各素子間の関係（特に時間軸方向の再帰素子間の関係）が決定論的である点が隠れマルコフモデルのような純粋な確率モデルと異なる。時間軸方向の遷移が決定論的な関係で記述されるため、双方向再帰制限付きボルツマンマシンは、古典物理学に従う物体の運動など決定論的な時系列のモデル化に好適であると考えられ、波形の時間変化のモデル化にも好適と考えられる。
【００１５】
雑音除去のためには、まず、雑音の除去対象の時系列データと同様に時刻ｔａからｔｂまでの各時刻の波形を表す波形データよりなる時系列データであって、各時刻の波形データのデータサイズが雑音の除去対象の時系列データにおけるものと同じで、かつ雑音を含まない時系列データを教師データとして、双方向再帰制限付きボルツマンマシンのモデルパラメータを学習する学習処理を実行しておく必要がある。双方向再帰制限付きボルツマンマシンのモデルパラメータには、前述した時間軸方向の遷移を規定するパラメータの他に、可視素子ｖ（ｔ）と当該可視素子ｖ（ｔ）と対になる隠れ素子ｈ（ｔ）との間の遷移を規定する行列（可視素子の成分数と同じ列数を有しかつ隠れ素子の成分数と同じ行数を有する行列）Ｗと、時刻ｔ＝０における順方向伝搬素子ｕf（０）と時刻Ｔ＋１における逆方向伝搬素子ｕｂ（Ｔ＋１）が含まれる。モデルパラメータの学習とは、教師データの尤度Ｌを最大化するように（すなわち、各時刻において教師データの示す波形の生起確率が最も高くなるように）モデルパラメータを最適化することであり、以下のステップＳ１およびＳ２の手順で進められる。
【００１６】
（ステップＳ１）
モデルパラメータの各々に初期値を設定するとともに可視素子ｖ（ｔ）の各々に時刻ｔに対応する教師データを入力し、式（Ａ３）および式（Ａ４）にしたがって順方向伝搬素子ｕf（ｔ）と逆方向伝搬素子ｕｂ（ｔ）を算出し、順方向伝搬素子ｕf（ｔ）と逆方向伝搬素子ｕｂ（ｔ）を用いて式（Ａ１）にしたがってｂｖ（ｔ）を算出するとともに、式（Ａ２）にしたがってｂh（ｔ）を算出する。
【００１７】
（ステップＳ２）
教師データの尤度Ｌが最大化するようにモデルパラメータを更新する。
教師データの尤度Ｌの最大化については勾配降下法により実現される。ただし、尤度Ｌを直接求める必要はない。各モデルパラメータに対する勾配が求まれば勾配降下法を実行することができるからである。前掲式（Ａ１）および前掲式（Ａ２）に示すように、ｂｖ（ｔ）およびｂｈ（ｔ）は他のモデルパラメータの関数であるため、合成関数の微分則により、全てのモデルパラメータに対する尤度Ｌの勾配は以下の式（Ｂ１）〜（Ｂ３）により計算できる。なお、以下の式（Ｂ１）〜（Ｂ３）においてｖｉは可視素子ｖ（ｔ）のｉ番目の成分を意味し、ｈｊは隠れ素子ｈ（ｔ）のｊ番目の成分を意味する。
【００１８】
モデルパラメータの更新は、現時点のモデルパラメータからそのモデルパラメータに対する尤度Ｌの勾配を減算することで実現される。例えば、可視素子と隠れ素子との間の遷移を表す行列Ｗのｉｊ成分については、式（Ｂ１）により算出される値に所定の定数を乗算した値をその時点のｉｊ成分から減算することで、その更新が実現される。このような更新を全ての成分について行うことで行列Ｗの更新が実現される。なお、上記定数については適宜実験を行って好適な値に定めるようにすれば良い。
【数２】
2016071203.tif 000004
【００１９】
式（Ｂ１）〜（Ｂ３）の各々の右辺における＜＞ｄａｔａは各変数のデータ平均を意味し、＜＞ｍｏｄｅｌはモデル平均を意味する。データ平均については、式（Ｃ２）により各時刻の隠れ素子ｈ（ｔ）を算出し、時刻毎にｖ（ｔ）（入力時系列データ）のｉ成分と当該ｈ（ｔ）のｊ成分の積を求め、これらの積の加算平均を求めることで算出すれば良い。式（Ｃ２）は、可視素子の値がｖである条件下で同時刻の隠れ素子のｊ番目の成分が１となる条件付き確率（すなわち、可視素子の値がｖである条件下で同時刻の隠れ素子のｊ番目の成分が１となる事象の生起確率）を表す式である。同様に式（Ｃ１）は、隠れ素子の値がｈである条件下で同時刻の可視素子のｉ番目の要素が１となる条件付き確率を表す式である。なお、式（Ｃ１）右辺のＷＴは行列Ｗの転置行列である。式（Ｃ２）に示す演算を行うことで、可視素子の値がｖである条件下で同時刻の隠れ素子のｊ番目の成分が採り得る値（本実施形態では、０または１）の確率分布を求めることができ、この確率分布にしたがって隠れ素子のｊ番目の成分の値を決めることができる。例えば、０〜１の範囲の一様疑似乱数を発生させ、式（Ｃ２）にしたがって算出された値が当該乱数値以上であれば当該成分の値を１とし、逆に当該乱数値未満であれば当該成分を０とするといった具合である。モデル平均については、以下の要領で算出すれば良い。まず、ｖおよびｈを式（Ｃ１）および式（Ｃ２）を用いてｖ→ｈ→ｖ→・・・と時刻ｔ毎に反復的に求める処理を前回のｖと今回算出されたｖの差分ベクトルの大きさが所定の閾値を下回るまで（すなわち、ｖの変化が小さくなり、収束するまで）繰り返す。そして、このようにして求まったｖ（ｔ）のｉ成分とｈ（ｔ）のｊ成分の積の加算平均を求めることでモデル平均を算出すれば良い。なお、ｖが収束するまでｖ→ｈ→ｖ→・・・と処理を繰り返すと演算時間が過剰に長くなる虞があるので、ｖの算出回数が予め定められた回数（例えば、１００回など）に達した時点で打ち切るようにしても良い。
【数３】
2016071203.tif 000005
以上が学習処理の処理内容である。
【００２０】
学習処理に後続する雑音除去処理では、可視素子ｖに雑音を含んだ時系列データを入力し、上記学習処理にて決定したモデルパラメータを用いて、学習処理のステップＳ１と同様に前掲式（Ａ３）および前掲式（Ａ４）にしたがって各時刻の再帰素子ｕｆ（ｔ）およびｕｂ（ｔ）の値を計算し、その値をもとに前掲式（Ａ１）および前掲式（Ａ２）にしたがってｂｖ（ｔ）およびｂｈ（ｔ）を計算する。次のステップでは、これらの値を用いて式（Ｃ１）および式（Ｃ２）に示す更新式により可視素子が収束するまで（或いは可視素子の演算回数が予め定めれた回数に達するまで）各時刻の可視素子および隠れ素子を反復更新し、その結果得られた各時刻の可視素子ｖが雑音の除去された時系列データとなる。
以上が本発明の原理である。
【００２１】
（Ｂ：実施形態）
次いで本発明の実施形態について説明する。
図２は、本発明の一実施形態の雑音除去装置１の構成例を示す図である。雑音除去装置１は、動画像を表す時系列データ（すなわち、動画像を構成する複数のフレームの各々の２値静止画像を表すデータの配列）から雑音を除去し、雑音を含まない動画像を表す時系列データを出力する装置である。図２に示すように、雑音除去装置１は、制御部１１０、入出力インタフェース部１２０および記憶部１３０を有している。
【００２２】
制御部１１０は例えばＣＰＵ（Central Processing Unit）である。制御部１１０は、記憶部１３０に記憶されている雑音除去プログラム１３２を実行することにより、双方向再帰制限付きボルツマンマシンを規定するモデルパラメータ１３４を生成する学習処理１３２ａおよび当該双方向再帰制限付きボルツマンマシンを利用した雑音除去処理１３２ｂを実行する。
【００２３】
入出力インタフェース部１２０は、例えばＵＳＢ（Universal Serial Bus）インタフェースやＮＩＣ（Network Interface Card）などの通信インタフェースである。図２に示すように、本実施形態では、上記学習処理１３２ａにて使用する教師データや雑音の除去対象の時系列データは入出力インタフェース部１２０を介して制御部１１０に与えられる。また、制御部１１０は雑音の除去済の時系列データを入出力インタフェース部１２０を介して外部へ出力する。つまり、入出力インタフェース部１２０は、雑音の除去対象の時系列データを雑音除去装置１へ入力するための入力手段の役割を果たすとともに、雑音を除去済の時系列データを雑音除去装置１の外部へ出力する出力手段の役割を果たすのである。なお、本実施形態では、雑音を除去済の時系列データを入出力インタフェース部１２０を介して雑音除去装置１の外部へ出力する場合について説明するが、当該時系列データを記憶部１３０に格納するようにしても良い。
【００２４】
記憶部１３０は、ＲＡＭ（Random Access Memory）などの揮発性メモリとフラッシュＲＯＭ（Read Only Memory）などの不揮発性メモリとを含んでいる（図２では何れも図示略）。上記不揮発性メモリには雑音除去プログラム１３２が記憶されており、上記揮発性メモリには、前述したモデルパラメータの初期値であるモデルパラメータ１３４が格納されている。また、上記揮発性メモリは、上記雑音除去プログラム１３２を実行する際のワークエリアとして制御部１１０によって利用される。制御部１１０は、雑音除去装置１の電源（図２では図示略）投入を契機として上記不揮発性メモリから揮発性メモリへ雑音除去プログラム１３２を読み出し、当該プログラムの実行を開始する。
【００２５】
雑音除去プログラム１３２にしたがって作動している制御部１１０は、入出力インタフェース部１２０を介して教師データを与えられたことを契機として、上記本発明の原理において説明した学習処理と同一の処理である学習処理１３２ａを実行する。この学習処理１３２ａの実行過程では、上記揮発性メモリには、前述した可視素子、隠れ素子および再帰素子の各々に対応するデータが格納され、学習処理１３２ａの遂行に伴ってモデルパラメータ１３４が制御部１１０によって更新される。そして、制御部１１０は、入出力インタフェース部１２０を介して雑音の除去対象の時系列データを与えられたことを契機として上記学習処理による更新済のモデルパラメータ１３４を用いて、上記本発明の原理において説明した雑音除去処理と同一の処理である雑音除去処理１３２ｂを実行する。雑音除去処理１３２ｂの実行過程でも、揮発性メモリには、前述した可視素子、隠れ素子および再帰素子の各々に対応するデータが格納される。そして、制御部１１０は、各可視素子に対応するデータを雑音除去済の時系列データとして出力する。
【００２６】
次いで、本実施形態の雑音除去装置１による雑音除去の結果と従来技術（ＲＮＮ−ＲＢＭ）による雑音除去結果とを比較しつつ、本実施形態の効果を説明する。本願発明者は、箱の中で３つのボールが動いている動画像（１フレーム＝１５×１５画素の２値画像、フレーム数＝１００の動画像）を表す時系列データを雑音の除去対象として本実施形態と従来技術の比較を行った。具体的には、本願発明者は雑音を含まない動画像の時系列データ（図３（ａ））を用意し、この時系列データに雑音を付加することで雑音の除去対象の時系列データ（図３（ｂ））を生成した。なお、図３（ａ）および図３（ｂ）では、各々の時系列データの表す各フレームの画像がその時間順に配列されている（後述する図３（ｃ）および図３（ｄ）においても同様）。
【００２７】
本願発明者は、まず、図３（ａ）に示す時系列データを教師データとして雑音除去装置１へ入力して学習処理１３２ａを実行させ、モデルパラメータ１３４の最適化を行わせた。そして、その後、図３（ｂ）に示す時系列データを雑音除去装置１へ入力して雑音除去処理１３２ｂを実行させた。なお、学習処理１３２ａおよび雑音除去処理１３２ｂでは、再帰素子の成分数を順方向および逆方向の夫々について５０とした場合と１００とした場合について各々別個に実験を行った。図３（ｃ）は従来技術を用いて雑音除去された時系列データの表す動画像であり、図３（ｄ）は雑音除去装置１により雑音除去された時系列データの表す動画像である。図３（ｃ）と図３（ｄ）との対比から明らかように、本実施形態の雑音除去装置１によれば従来技術に比較して高い精度で雑音を除去できていることが判る。
【００２８】
また、本願発明者は、本実施形態の雑音除去装置１と従来技術とについて、雑音を付加した３０００個の動画像（図３（ｂ）におけるものと同様の動画像）を用いて残留雑音の平均を比較する実験を行った。図４は、横軸をタイムステップ、縦軸を残留雑音の平均値として本実施形態の雑音除去装置１と従来技術の雑音除去結果をプロットした図である。図４では、タイムスッテプｔ＝０〜３０の残留雑音レベルが示されており、この範囲では、ｔ＝１５を中心として２０フレームに亙って雑音が付加されている。図４におけるＢＲ−ＲＢＭ５０は１つの再帰素子を構成する成分数を５０とした場合の本実施形態の実験結果を示すグラフであり、ＢＲ−ＲＢＭ１００は同成分数を１００とした場合の本実施形態の実験結果を示すグラフである。同様に、図４におけるＲＮＮ−ＲＢＭ５０は同成分数を５０とした場合の従来技術の実験結果を示すグラフであり、ＲＮＮ−ＲＢＭ１００は同成分数を１００とした場合の従来技術の実験結果を示すグラフであり、ＲＮＮ−ＲＢＭ２００は同成分数を２００とした場合の従来技術の実験結果を示すグラフである。図４に示すように、本実施形態の方が従来技術よりも残留雑音レベルが低く、高い精度で雑音を除去できていることを確認できる。
【００２９】
以上説明したように本実施形態によれば、動画像を表す時系列データに含まれている雑音を、確率モデルを用いて従来よりも高い精度で除去することが可能になる。
【００３０】
（Ｃ：変形）
以上本発明の実施形態について説明したが、この実施形態に以下の変形を加えても勿論良い。
（１）上記実施形態では、各フレームが２値画像である動画像の雑音除去への本発明の適用例を説明したが、各フレームが多値画像である動画像の雑音除去に本発明を適用しても良い。この場合、式（Ｃ１）および式（Ｃ２）の右辺においてシグモイド関数の代わりに当該シグモイド関数の引数を平均値とするガウス関数を用いてｖｉ（或いはｈｊ）に対応する画素の画素値の生起確率を算出するようにしても良い。なお、上記ガウス関数の分散ｓについては適宜好適な値を設定すれば良い。また、上記実施形態では、各時刻の順方向の再帰素子を、同じ時刻の可視素子と１つ過去の時刻の順方向の再帰素子とから算出したが、複数の過去の時刻の順方向の再帰素子から算出しても良く、各時刻の逆方向の再帰素子についても同様に、同じ時刻の可視素子と複数の未来の時刻の逆方向の再帰素子から算出しても良い。
【００３１】
（２）上記実施形態では、動画像を表す時系列データに含まれている雑音を除去する雑音除去装置への本発明の適用例を説明したが、歌声や楽器の演奏音など音波形の時間変化を表す時系列データに含まれている雑音の除去に本発明を適用しても良い。例えば、音信号に含まれる残響成分を雑音と見做して本発明の雑音除去装置による雑音除去を行えば、音信号から残響成分を精度良く除去することが可能になる。要は、何らかの波形の時間変化を表す時系列データから雑音を除去する雑音除去装置であれば、本発明を適用可能である。
【００３２】
（３）上記実施形態では、雑音除去処理に使用するモデルパラメータを教師データを用いた学習処理により生成し記憶部に書き込む場合について説明した。しかし、雑音除去装置の記憶部に学習済の予めモデルパラメータを記憶させておく態様であれば、上記学習処理を制御部に実行させる必要はなく、学習処理の実行を省略しても良い。なお、モデルパラメータを構成するベクトルや行列の次元数は可視素子の次元数（雑音の除去対象が動画データであれば一フレーム分の画素数）や隠れ素子の次元数、再帰素子の次元数に依存するため、モデルパラメータを構成するベクトルや行列の次元数が各々異なる複数種のモデルパラメータを予め記憶部に記憶させておき、雑音の除去対象の波形データに即した次元数のモデルパラメータを選択して雑音除去を行えるようにしても良い。また、複数のモデルパラメータのなかに、雑音の除去対象の波形データに即した次元数のベクトルや行列よりなるモデルパラメータが無い場合には、より大きな次元数のベクトルや行列よりなるモデルパラメータにベクトルや行列の成分を間引く処理を施して雑音の除去対象の波形データに即した次元数のベクトルや行列よりなるモデルパラメータを生成しても良く、より小さな次元数のベクトルや行列よりなるモデルパラメータに、ベクトルや行列の成分を補完する処理を施して雑音の除去対象の波形データに即した次元数のベクトルや行列よりなるモデルパラメータを生成しても良い。
【００３３】
（４）上記実施形態では、本発明の特徴を顕著に示す学習処理１３２ａおよび雑音除去処理１３２ｂを制御部１１０に実行させる雑音除去プログラム１３２が雑音除去装置１の記憶部１３０に予め記憶されていた。しかし、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に上記雑音除去プログラム１３２を書き込んで配布しても良く、また、インターネットなどの電気通信回線経由のダウンロードにより上記雑音除去プログラム１３２を配布しても良い。このようにして配布されるプログラムにしたがって一般的なコンピュータ（ＣＰＵ）を作動させることで当該コンピュータを本発明の雑音除去装置として機能させることが可能になるからである。
【００３４】
（５）上記実施形態では、本発明の特徴を顕著に示す学習処理１３２ａおよび雑音除去処理１３２ｂをソフトウェアモジュールにより実現したが、上記学習処理１３２ａを実行する学習手段および上記雑音除去処理１３２ｂを実行する雑音除去手段の各々を電子回路などのハードウェアモジュールで実現し、これら各手段を組み合わせて雑音除去装置を構成しても良い。なお、前述したように学習処理を省略する態様においては、雑音除去対象の時系列データが入力される入力手段と上記雑音除去手段のみで雑音除去装置を構成すれば良い。
【符号の説明】
【００３５】
１…雑音除去装置、１１０…制御部、１２０…入出力インタフェース部、１３０…記憶部、１３２…雑音除去プログラム、１３２ａ…学習処理、１３２ｂ…雑音除去処理、１３４…モデルパラメータ。
【図１】
2016071203.tif 000006
【図２】
2016071203.tif 000007
【図３】
2016071203.tif 000008
【図４】
2016071203.tif 000009