【手続補正書】
【提出日】平成28年2月29日(2016.2.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
観測可能な可視状態、及び、観測不能な隠れ状態を備える遷移モデルであって、入力に応じて現在の可視状態から次の可視状態へと遷移する前記遷移モデルについて、基準時点以降の累積期待利得の算出に用いる利得ベクトルの集合を可視状態毎に生成する、コンピュータにより実行される生成方法であって、
隠れ状態毎に累積期待利得の成分を含む利得ベクトルを少なくとも１つ含み前記累積期待利得の最大値を与える利得ベクトルが選択されるべき前記利得ベクトルの集合を、将来の時点から前記基準時点へと遡って再帰的に生成する生成段階を備える、
生成方法。
【請求項２】
前記将来の時点Ｎ（但し、Ｎは２以上の整数）における利得ベクトルの集合を初期化する初期化部を更に備える請求項１に記載の生成方法。
【請求項３】
前記生成段階は、
時点ｎにおける可視状態ｓ（ｓ∈Ｓ、Ｓは可視状態の集合）についての利得ベクトルαｓ，ｎの集合Λｎ（ｓ）を、次の時点ｎ＋１における１以上の各可視状態ｓ'（ｓ'∈Ｓ）についての利得ベクトルαｓ'，ｎ＋１の集合Λｎ＋１（ｓ'）に基づいて再帰的に生成する段階を含む、
請求項１又は２に記載の生成方法。
【請求項４】
前記生成段階は、入力に応じて時点ｎにおける一の可視状態ｓから時点ｎ＋１における可視状態ｓ'に遷移する状態遷移確率、及び、可視状態ｓ'において入力に応じて得られる期待利得に更に基づいて、利得ベクトルαｓ，ｎの集合Λｎ（ｓ）を生成する段階を含む、
請求項３に記載の生成方法。
【請求項５】
生成段階は、各時点ｎ及び各可視状態ｓにおいて、利得ベクトルの集合Λｎ（ｓ）に含まれる利得ベクトルαｓ，ｎの集合から、隠れ状態ｉの確率分布の少なくとも一部の範囲において最大値を構成する利得ベクトル以外を除去する段階を含む、
請求項３又は４に記載の生成方法。
【請求項６】
前記生成段階は、更に割引率γに基づいて、時点ｎの可視状態ｓに対応する利得ベクトルの集合Λｎ（ｓ）を生成する段階を含む、
請求項５に記載の生成方法。
【請求項７】
前記生成段階は、前記利得ベクトルの集合から、隠れ状態の確率分布に応じて基準時点以降の累積期待利得が最大となる利得ベクトルを選択する選択関数を生成する段階を含む、
請求項１から６のいずれか１項に記載の生成方法。
【請求項８】
前記生成段階は、各隠れ状態を取る確率に利得ベクトルの各成分を乗じた合計値に基づく累積期待利得が最大となる利得ベクトルを選択する選択関数を生成する段階を含む、
請求項７に記載の生成方法。
【請求項９】
前記生成段階は、
前記隠れ状態の確率分布における隠れ状態ｉを取る確率ｂ（ｉ）、及び、時点ｎの可視状態ｓに対応するｋ番目の利得ベクトルαｓ，ｎｋの隠れ状態ｉに対応する成分αｓ，ｎｋ（ｉ）に基づき、
数式（１）（但し、Ｎは前記基準時点の時点を表す２以上の整数）に示される前記選択関数Ｋｍａｘｎ（ｓ，ｂ）を生成する段階を含む、
【数１】
2015176328.tif 000001
…数式（１）
請求項８に記載の生成方法。
【請求項１０】
観測可能な可視状態、及び、観測不能な隠れ状態を備える遷移モデルであって、入力に応じて現在の可視状態から次の可視状態へと遷移する遷移モデルにおいて最適な入力を選択する、コンピュータにより実行される選択方法であって、
隠れ状態毎に累積期待利得の成分を含む利得ベクトルを少なくとも１つ含み基準時点以降の累積期待利得を算出するための利得ベクトルの集合を可視状態毎に取得する取得段階と、
現在の可視状態に応じた前記利得ベクトルの中から、現時点における隠れ状態の確率分布に対し累積期待利得を最大化する前記利得ベクトルを選択する利得選択段階と、
選択した前記利得ベクトルに対応する入力を、最適な入力として選択する入力選択段階と、
を備える請求項１から９のいずれか１項に記載の生成方法。
【請求項１１】
前記取得段階は、前記生成段階で生成された利得ベクトルの集合を取得する段階を含む、
請求項１０に記載の生成方法。
【請求項１２】
前記利得選択段階は、前記利得ベクトルの集合から、数式（１）で表される隠れ状態ｉを取る確率ｂ（ｉ）、及び、時点ｎの可視状態ｓに対応するｋ番目の利得ベクトルαｓ，ｎｋの隠れ状態ｉに対応するαｓ，ｎｋ（ｉ）に基づく選択関数Ｋｍａｘｎ（ｓ，ｂ）を生成する段階と、
前記選択関数Ｋｍａｘｎ（ｓ，ｂ）に基づき前記隠れ状態の確率分布ｂに対応して決定される利得ベクトルαｓ，ｎｋ（ｉ）を選択する段階を含む、
【数２】
2015176328.tif 000002
…数式（１）
請求項１１に記載の生成方法。
【請求項１３】
前記取得段階は、隠れ状態ｉにおいて一の入力ａをしたときに状態集合Ｓにおいて一の可視状態ｓから別の可視状態ｓ'に遷移する状態遷移確率Ｐａｓ，ｉ，ｓ'を取得する段階を含み、
前記入力選択段階で選択された入力ａを実行したことに応じて、前記選択された入力ａに対応する前記状態遷移確率Ｐａｓ，ｉ，ｓ'及び現在の隠れ状態の確率分布に基づき、可視状態ｓを遷移させる遷移段階を更に備える、
請求項１０から１２のいずれか１項に記載の生成方法。
【請求項１４】
前記遷移段階は、前記状態遷移確率Ｐａｓ，ｉ，ｓ'及び現在の隠れ状態の確率分布に基づき、隠れ状態の確率分布ｂを更新する段階を含む、
請求項１３に記載の生成方法。
【請求項１５】
前記遷移段階は、前記入力選択段階において選択された入力に応じて、隠れ状態ｉをとる確率ｂ（ｉ）に数式（２）の計算結果を代入することにより隠れ状態の確率分布ｂを更新する段階を含む、
【数３】
2015176328.tif 000003
…数式（２）
（但し、Ｐａｓ，ｉ；ｓ'は隠れ状態ｉ及び可視状態ｓにおいて入力ａにより可視状態ｓから可視状態ｓ'に遷移する状態遷移確率を示す。）
請求項１４に記載の生成方法。
【請求項１６】
前記遷移段階は、前記入力選択段階において選択された入力に応じて、隠れ状態ｉをとる確率ｂ（ｉ）に数式（３）の計算結果を代入することにより隠れ状態の確率分布ｂを更新する段階を含む、
【数４】
2015176328.tif 000004
…数式（３）
（但し、Ｐａｓ，ｉ；ｓ'，ｚは隠れ状態ｉ及び可視状態ｓにおいて入力ａにより可視状態ｓから可視状態ｓ'に遷移し、観測ｚが観測される状態遷移確率を示す。）
請求項１４に記載の生成方法。
【請求項１７】
観測可能な可視状態、及び、観測不能な隠れ状態を備える遷移モデルであって、入力に応じて現在の可視状態から次の可視状態へと遷移する遷移モデルについて、基準時点以降の累積期待利得の算出に用いる利得ベクトルの集合を可視状態毎に生成する生成装置であって、
隠れ状態毎に累積期待利得の成分を含む利得ベクトルを少なくとも１つ含み前記累積期待利得の最大値を与える利得ベクトルが選択されるべき前記利得ベクトルの集合を将来の時点から前記基準時点へと遡って再帰的に生成する生成部を備える、
生成装置。
【請求項１８】
コンピュータを、観測可能な可視状態、及び、観測不能な隠れ状態を備える遷移モデルであって、入力に応じて現在の可視状態から次の可視状態へと遷移する遷移モデルについて、基準時点以降の累積期待利得の算出に用いる利得ベクトルの集合を可視状態毎に生成する生成装置として機能させるプログラムであって、実行されると当該コンピュータを、
隠れ状態毎に累積期待利得の成分を含む利得ベクトルを少なくとも１つ含み前記累積期待利得の最大値を与える利得ベクトルが選択されるべき前記利得ベクトルの集合を将来の時点から前記基準時点へと遡って再帰的に生成する生成部として機能させる、
プログラム。
【請求項１９】
隠れ状態毎に累積期待利得の成分を含む利得ベクトルを少なくとも１つ含み基準時点以降の累積期待利得の算出に用いる利得ベクトルの集合を可視状態毎に取得する取得部と、
現在の可視状態に応じた利得ベクトルの中から、現時点における隠れ状態の確率分布に対し累積期待利得を最大化する利得ベクトルを選択する利得選択部と、
選択した利得ベクトルに対応する入力を、最適な入力として選択する入力選択部と、
を備える請求項１７に記載の生成装置。
【請求項２０】
実行させると前記コンピュータを、更に、
隠れ状態毎に累積期待利得の成分を含む利得ベクトルを少なくとも１つ含み基準時点以降の累積期待利得の算出に用いる利得ベクトルの集合を可視状態毎に取得する取得部と、
現在の可視状態に応じた利得ベクトルの中から、現時点における隠れ状態の確率分布に対し累積期待利得を最大化する利得ベクトルを選択する利得選択部と、
選択した利得ベクトルに対応する入力を、最適な入力として選択する入力選択部と、
として機能させる請求項１８に記載のプログラム。