(57)【特許請求の範囲】
【請求項１】
複数の値で構成されるデータであって、視覚的又は聴覚的に認識可能な前記データから抽出される特徴量を取得する特徴量取得部と、
取得した前記特徴量から、所定のラベルが付与されるべき要素が存在しうる前記データの範囲を推定する範囲推定部と、
複数の前記ラベルを有するラベル列のうち、それぞれの前記ラベルを複数の前記特徴量のうち少なくとも１つと対応付ける対応付け部と、
前記ラベルに対応付けられた１以上の前記特徴量それぞれから推定された１以上の前記データの範囲を、１の前記データの範囲に統合する統合処理を行う統合部と、
前記ラベルと、前記統合処理が行われた前記データの範囲との対応関係を出力する出力部と
を備える情報処理装置。
【請求項２】
前記範囲推定部は、取得した前記特徴量について前記ラベルが付与されるべき要素が存在しうる前記データの範囲を予測するように学習されたニューラルネットワークである
請求項１に記載の情報処理装置。
【請求項３】
前記対応付け部は、前記特徴量からクラスの尤度を推定し、前記ラベル列が有する前記ラベルを前記クラスの尤度が所定の条件を満たす前記特徴量と対応づける
請求項１又は請求項２に記載の情報処理装置。
【請求項４】
前記対応付け部は、前記データから抽出された長さＴの前記特徴量の系列から所定の前記ラベルとブランクを含む確率分布であって、Ｋ個のクラスの確率分布であるＫクラス確率分布を推定し、長さＴのブランクを含む冗長な前記ラベル列を長さＴよりも小さい長さＬのブランクを含まない前記ラベル列に変換するラベル変換手段を用いて、前記ラベル列に変換されうる長さＴの冗長な前記ラベル列のうち、前記確率分布の系列である確率分布系列からの生成確率が最も高い最尤ラベル列を求め、前記最尤ラベル列をもとに、前記ラベル列が有するそれぞれの前記ラベルと前記特徴量とを対応付ける
請求項１から請求項３のいずれか一項に記載の情報処理装置。
【請求項５】
前記統合部は、それぞれの前記ラベルについて、対応付けられた１以上の前記特徴量それぞれから推定された前記データの範囲を加重平均で統合し、
前記加重平均の重みは、前記データの範囲の部分境界に対してそれぞれの前記特徴量が抽出された前記データの領域に近いほど重みを大きくするように計算される
請求項１から請求項４のいずれか一項に記載の情報処理装置。
【請求項６】
前記特徴量取得部は、
一以上の値で構成される前記データから複数の前記特徴量を抽出する特徴抽出部と、
複数の前記特徴量から前記ラベル列を認識する認識部とを更に備える
請求項１から請求項５のいずれか一項に記載の情報処理装置。
【請求項７】
前記出力部が出力した結果が正しいか否かがユーザにより判定された結果を取得する操作受付部と、
前記操作受付部が取得した結果を記憶させる記憶制御部と
を更に備える請求項１から請求項６のいずれか一項に記載の情報処理装置。
【請求項８】
前記操作受付部が取得する情報は、前記範囲推定部により推定された前記データの範囲の修正を指示する修正情報を含み、
前記記憶制御部は、前記操作受付部が取得した前記修正情報を含む結果を記憶させる
請求項７に記載の情報処理装置。
【請求項９】
コンピュータに、
複数の値で構成されるデータであって、視覚的又は聴覚的に認識可能な前記データから抽出される特徴量を取得する特徴量取得ステップと、
取得した前記特徴量から、所定のラベルが付与されるべき要素が存在しうる前記データの範囲を推定する範囲推定ステップと、
複数の前記ラベルを有するラベル列のうち、それぞれの前記ラベルを複数の前記特徴量のうち少なくとも１つと対応付ける対応付けステップと、
前記ラベルに対応付けられた１以上の前記特徴量それぞれから推定された１以上の前記データの範囲を、１の前記データの範囲に統合する統合処理を行う統合ステップと、
前記ラベルと、前記統合処理が行われた前記データの範囲との対応関係を出力する出力ステップと
を実行させるためのプログラム。
【請求項１０】
複数の値で構成されるデータであって、視覚的又は聴覚的に認識可能な前記データから抽出される特徴量を取得する特徴量取得ステップと、
取得した前記特徴量から、所定のラベルが付与されるべき要素が存在しうる前記データの範囲を推定する範囲推定ステップと、
複数の前記ラベルを有するラベル列のうち、それぞれの前記ラベルを複数の前記特徴量のうち少なくとも１つと対応付ける対応付けステップと、
前記ラベルに対応付けられた１以上の前記特徴量それぞれから推定された１以上の前記データの範囲を、１の前記データの範囲に統合する統合処理を行う統合ステップと、
前記ラベルと、前記統合処理が行われた前記データの範囲との対応関係を出力する出力ステップと
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
音声認識や文字列認識といった系列ラベルの認識において、ディープニューラルネットワーク（ＤＮＮ）とConnectionist Temporal Classification（ＣＴＣ）等の系列ラベル認識技術とを組み合わせ、明示的にラベル間の境界を区切ることなく認識することで認識精度を向上させられることが知られている。一方、ＣＴＣ等の系列ラベル認識技術を用いた系列ラベル認識では、認識結果のラベル列のうち、ラベル間の境界を区切らないため、認識結果に対応するラベルの範囲が不明である。ＣＴＣ等の系列ラベル認識技術を用いた系列ラベル認識において、それぞれの認識結果に対応するラベルの範囲を知りたいという要求があった。従来、文字列画像から文字ごとの領域を推定する手法は存在するものの、ＣＴＣ等の系列ラベル認識技術とは全く異なる手法であり、ＣＴＣ等の系列ラベル認識技術の高精度な認識技術と整合性を取ることはできなかった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−２５１１９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、明示的にラベル間の境界を区切らない系列ラベルの認識処理において、認識結果のラベル列のうち、それぞれのラベルに対応する入力データの範囲を特定することができる情報処理装置、情報処理方法、およびプログラムを提供することである。
【課題を解決するための手段】
【０００５】
実施形態の情報処理装置は、特徴量取得部と、範囲推定部と、対応付け部と、統合部と、出力部とを持つ。特徴量取得部は、複数の値で構成されるデータであって、視覚的又は聴覚的に認識可能な前記データから抽出される特徴量を取得する。範囲推定部は、取得した前記特徴量から、所定のラベルが付与されるべき要素が存在しうる前記データの範囲を推定する。対応付け部は、複数の前記ラベルを有するラベル列のうち、ぞれぞれの前記ラベルを複数の前記特徴量のうち少なくとも１つと対応付ける。統合部は、前記ラベルに対応付けられた１以上の前記特徴量それぞれから推定された１以上の前記データの範囲を、１の前記データの範囲に統合する統合処理を行う。出力部は、前記ラベルと、前記統合処理が行われた前記データの範囲との対応関係を出力する。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態に係る情報処理システムの機能構成の一例を示す概略図。
【図２】第１の実施形態に係る情報処理装置の概略機能構成を示すブロック図。
【図３】第１の実施形態に係るラベルが複数の特徴量に対応づけられた場合の処理を示す図。
【図４】第１の実施形態に係るラベルが複数の特徴量に対応づけられた場合の重みづけを説明するための図。
【図５】第１の実施形態に係る情報処理装置の一連の動作を示すフローチャート。
【図６】第２の実施形態に係る情報処理装置の概略機能構成を示すブロック図。
【図７】第２の実施形態に係る情報処理装置の一連の動作を示すフローチャート。
【図８】第３の実施形態に係る情報処理システムの機能構成の一例を示す概略図。
【図９】第４の実施形態に係る教示システムを示すブロック図。
【図１０】第４の実施形態に係る情報処理装置の一連の動作を示すフローチャート。
【図１１】従来技術による系列認識問題の概略図。
【図１２】従来技術による系列ラベル認識技術の概略図。
【図１３】従来技術による系列ラベル認識技術の判定範囲を説明するための図。
【図１４】従来技術によるAttention方式を用いた系列ラベル認識技術の判定範囲を説明する図。
【発明を実施するための形態】
【０００７】
以下、実施形態の情報処理装置、情報処理方法、およびプログラムを、図面を参照して説明する。
【０００８】
［従来技術］
図１１から図１３を参照しながら、従来技術による系列ラベル認識技術について説明する。図１１は、従来技術による系列認識問題の概略図である。まず、入力データＤＩがニューラルネットワークＮＮに入力される。この一例においては、入力データＤＩが画像である場合の一例について説明する。ニューラルネットワークＮＮは、入力された入力データＤＩの、特徴量の系列ごとの確率分布を算出する。ニューラルネットワークＮＮにより算出された、特徴量の系列ごとの確率分布は、系列ラベル認識技術９０により統合される。系列ラベル認識技術９０とは、例えば、ＣＴＣ等の手法である。系列ラベル認識技術９０は、特徴量の系列ごとの確率分布を統合し、文字列の確率分布を算出する。算出された文字列の確率分布に基づき、出力データＤＯが出力される。入力データＤＩが画像である場合の一例においては、出力データＤＯは、入力データＤＩが文字認識された結果の文字列である。
【０００９】
図１２は、従来技術による系列ラベル認識技術の概略図である。認識モデル８５は、入力された入力データＤＩに対して、判定する判定範囲を少しずつ移動させながら、文字ごとの確率分布ＰＣを算出する。認識モデル８５は、例えば、ニューラルネットワークＮＮを用いて構成される。この一例において、入力データＤＩが、“１９５８”と左から右に横方向に手書きされた文字列画像である場合の一例について説明する。
【００１０】
図１３は、従来技術による系列ラベル認識技術の判定範囲を説明する図である。この一例において、入力データＤＩは左から右に横方向に手書きされた文字列画像であるため、認識モデル８５は、左方向から右方向に判定範囲８２を移動させながら、文字ごとの確率分布ＰＣを算出する。すなわち、文字ごとの確率分布ＰＣとは、判定範囲８２に応じた確率分布である。
【００１１】
判定範囲８２は、入力データＤＩの文字列方向に幅Ｗを有する範囲である。判定範囲８２は、入力データＤＩに書かれた文字列の各文字を認識可能な大きさを有する。認識モデル８５は、判定範囲８２の幅Ｗを一定に保ち、左方向から右方向に判定範囲８２を所定の距離ずつ移動させながら、文字ごとの確率分布ＰＣを算出する。
【００１２】
まず、認識モデル８５は、図１３（Ａ）において、判定範囲８２の範囲における確率分布ＰＣを算出する。次に、認識モデル８５は範囲８２を右に所定の距離だけずらした範囲を判定範囲８２として、判定範囲８２における確率分布ＰＣを算出する。以上の手順を範囲８２が画像の右端に到達するまで繰り返す。図１３（Ｂ）（Ｃ）（Ｄ）はそれぞれ（Ａ）の位置から距離Ｌ１、Ｌ１＋Ｌ２、Ｌ１＋Ｌ２＋Ｌ３ずらした範囲を範囲８２とした状態を示している。
【００１３】
判定範囲８２を移動させる距離は認識対象となる要素の幅（この一例に置いては文字の幅）などを考慮してあらかじめ設定される。
【００１４】
図１２に戻り、認識モデル８５により、判定範囲８２ごとに算出された確率分布ＰＣは、ＣＴＣ８０により統合され、文字列の確率分布ＰＳが算出される。文字列の確率分布ＰＳとは、入力データＤＩのラベル間の境界を区切ることなく認識される文字列の確率分布である。ここで、確率分布ＰＳにより認識される文字列は、ラベル間の境界が区切られていないため、認識結果に対応するラベルの範囲が不明である。本実施形態においては、認識結果のラベル列のうち、それぞれのラベルに対応する入力データの範囲を特定する。
【００１５】
［第１の実施形態］
本実施形態に係る情報処理装置は、上述したようなＣＴＣ等の系列ラベル認識技術を用いた系列認識問題の認識結果を求める処理に適用される。第１の実施形態においては、系列ラベル認識技術の一例としてＣＴＣを用いた場合の一例について説明する。
【００１６】
本実施形態に係る情報処理装置が適用される系列認識問題の具体例としては、文字列認識、音声認識、動画認識等の認識処理を広く含む。本実施形態ではラベル列認識タスクの一例として文字列認識を扱う。文字列認識とは、文字列を含む画像を入力として、画像中の文字列を認識するタスクである。本実施形態では左から右に読まれる横書きの文字列について説明する。なお、本実施形態においては、左から右に読まれる横書きの文字列に限定されず、縦書きの文字列についても同様である。なお、文字列を含む画像とは、手書きされた文字の画像や、写真撮影された看板、道路標識等を広く含む。
【００１７】
図１は、第１の実施形態に係る情報処理システム１の機能構成の一例を示す概略図である。同図を参照しながら、情報処理システム１の機能構成について説明する。まず、入力データＤＩがニューラルネットワークＮＮ１に入力される。この一例において、入力データＤＩが文字列の画像である場合の一例について説明する。具体的には、入力データＤＩが、“０１１”と左から右に横方向に手書きされた文字列画像である場合の一例について説明する。
【００１８】
ニューラルネットワークＮＮ１は、入力された文字列の特徴量Ｆの系列を算出する。入力データＤＩが左から右に横方向に手書きされた文字列画像である場合、ニューラルネットワークＮＮ１は、左方向から右方向に特徴量Ｆの系列を、判定範囲の幅分だけ認識していく。この一例において、ニューラルネットワークＮＮ１は、特徴量Ｆ１から特徴量Ｆ６までの特徴量を算出する。ここで、ニューラルネットワークＮＮ１は、入力データＤＩの行の長さに応じた数の特徴量Ｆを算出する。
【００１９】
ニューラルネットワークＮＮ２は、ニューラルネットワークＮＮ１により算出された特徴量Ｆごとに確率分布Ｐを算出する。この一例において、ニューラルネットワークＮＮ１は、特徴量Ｆ１から特徴量Ｆ６までの特徴量を算出するため、ニューラルネットワークＮＮ２は、特徴量Ｆ１に対応する確率分布Ｐ１から、特徴量Ｆ６に対応する確率分布Ｐ６までを算出する。
【００２０】
ＣＴＣ８０は、算出されたそれぞれの確率分布を統合し、入力データＤＩに対応する文字列の確率分布Ｐを算出し、算出された確率分布Ｐから認識される文字列を出力データＤＯとして出力する。
【００２１】
情報処理装置１０は、ニューラルネットワークＮＮ１により算出された特徴量Ｆを取得する。情報処理装置１０は、ニューラルネットワークＮＮ３により、取得した特徴量Ｆから、所定のラベルが付与されるべき要素が存在しうる範囲を推定する。
【００２２】
情報処理装置１０は、ＣＴＣ８０により認識された出力データＤＯのそれぞれのラベルと、それぞれの特徴量Ｆとを対応付ける。情報処理装置１０は、出力データＤＯのラベル列のうち一のラベルが複数の特徴量Ｆに対応づけられる場合、当該一のラベルに対応付けられた複数の特徴量Ｆから推定された範囲を統合し、出力する。情報処理装置１０により出力された出力結果は、入力データＤＩのうち、それぞれのラベルの範囲が特定されている。同図に示す一例では、範囲Ａ１は“０”の範囲を特定し、範囲Ａ２は“１”の範囲を特定し、範囲Ａ３は“１”の範囲を特定する。
【００２３】
図２は、第１の実施形態による情報処理装置１０の概略機能構成を示すブロック図である。図示するように、情報処理装置１０は、特徴量取得部２１と、範囲推定部２３と、対応付け部２５と、統合部２７と、出力部２９とを備える。これらの各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリーや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能を、コンピューターおよびソフトウェアによって実現するようにしてもよい。
【００２４】
特徴量取得部２１は、入力データＤＩから抽出される特徴量Ｆを取得する。例えば、特徴量Ｆは、入力データＤＩからニューラルネットワークにより抽出される。特徴量取得部２１が取得する特徴量Ｆは、入力データＤＩの次元に応じた特徴量Ｆである。すなわち、特徴量取得部２１は、複数の値で構成されるデータから抽出される特徴量Ｆであって、入力データＤＩの次元に応じた特徴量Ｆを取得する。
【００２５】
範囲推定部２３は、取得した特徴量Ｆから、所定のラベルが付与されるべき要素が存在しうる入力データＤＩの範囲を推定する。範囲推定部２３は、例えば、取得した特徴量Ｆについてラベルが付与されるべき要素が存在しうるデータの範囲を予測するように学習されたニューラルネットワークである。
【００２６】
具体的には、範囲推定部２３はブランクを除く（Ｋ−１）個のクラス、すなわち文字について、それぞれの文字が各特徴量Ｆの対応する入力画像の範囲に存在するとしたらどこに存在するかを予測する。本実施形態では、Ｄ次元特徴ベクトルから文字ごとの左端までの距離と右端までの距離を予測するように学習されたニューラルネットワークを用いる。ニューラルネットワークはＤ次元のベクトルを（Ｋ−１）×２次元のベクトルに変換するため、最終的にＴ個の特徴ベクトルからはＴ×（Ｋ−１）×２の値が得られる。左端までの距離と右端までの距離としたのは、文字列画像から文字の位置を推定する場合は、文字列方向でない軸（本実施形態では高さ方向）の範囲は重要でないことが多いためである。計算量は大きくなるが、高さ方向も予測できるよう構成してもよい。
【００２７】
なお、本実施形態においては、範囲を推定するためにニューラルネットワークに予測させる量は、範囲中央までのベクトルと範囲の幅又は範囲中央までのベクトルと最も近い境界までの距離等であってもよい。このような推定量を用いることにより、容易に文字範囲を求めることができる。また、音声認識や動画認識の場合は、Ｄ次元ベクトルからラベルごとの開始時刻と終了時刻を予測するように学習されたネットワークを用いてもよい。
【００２８】
対応付け部２５は、複数のラベルを有するラベル列のうち、ぞれぞれのラベルを複数の特徴量Ｆのうち少なくとも１つと対応付ける。具体的には、対応付け部２５は、特徴量Ｆからクラスの尤度を推定し、ラベル列が有するラベルをクラスの尤度が所定の条件を満たす特徴量Ｆと対応づける。
【００２９】
より具体的には、対応付け部２５は、入力データＤＩから抽出された長さＴの特徴量Ｆの系列から、所定のラベルとブランクとを含む確率分布であって、Ｋ個のクラスの確率分布であるＫクラス確率分布を推定する。また、対応付け部２５は、長さＴのブランクを含む冗長なラベル列をＴよりも小さい長さＬのブランクを含まないラベル列に変換するラベル変換手段Ｂを用いて、ラベル列に変換されうる長さＴの冗長なラベル列のうち、確率分布の系列である確率分布系列からの生成確率が最も高い最尤ラベル列を求める。対応付け部２５は、最尤ラベル列をもとに、ラベル列が有するそれぞれのラベルと特徴量Ｆとを対応付ける。
【００３０】
より具体的には、対応付け部２５は最尤文字列の各文字を一つ以上の特徴ベクトルに対応付ける。本実施形態においては、ラベル変換手段Ｂによって最尤文字列に変換されうる長さＴのラベル列のうち、最も確率の高いラベル列（以下最尤パスと呼ぶ）によって対応付ける。本実施形態においては、ラベル変換手段Ｂとしてブランクラベルを含む長さＴのラベル列からブランクラベルと連続するラベルを削除することで長さＴ以下のラベル列に変換する多対１変換を用いる。変換Ｂの特性上、最尤文字列の各文字は排他的かつ順序を保ったまま最尤パスの部分ラベル列に対応することが保証されている。排他的とは最尤文字列のどの文字も最尤パスの同じラベルに対応しないということである。例えば最尤文字列が「０１１」、最尤パスが「０−１１−１」（−はブランクラベル）だった場合、最尤文字列の１文字目は最尤パスの１文字目、最尤文字列の２文字目は最尤パスの３文字目と４文字目、最尤文字列の３文字目は最尤パスの６文字目に対応する。最尤パスはＴ個のＫクラス確率分布に１対１で対応するため、Ｔ個の特徴ベクトルとも１対１で対応する。
【００３１】
統合部２７は、ラベルに対応付けられた１以上の特徴量Ｆそれぞれから推定されたデータの範囲を統合する。統合部２７が行う処理を、統合処理とも記載する。統合部２７は、１のラベルに複数の特徴量Ｆが対応付けられている場合に、複数の特徴量Ｆそれぞれから推定された複数のデータの範囲を統合し、統合処理後のデータの範囲とする。また、統合部２７は、１のラベルに１の特徴量Ｆが対応づけられている場合、当該対応づけられている１のデータの範囲を統合処理後のデータの範囲とする。統合部２７は、それぞれのラベルについて、対応付けられた一以上の特徴量Ｆそれぞれから推定された範囲を加重平均で統合する。
【００３２】
なお、加重平均の重みは、範囲の部分境界に対してそれぞれの特徴量が抽出されたデータの領域に近いほど重みを大きくするように計算されてもよい。
【００３３】
統合部２７は、最尤文字列の文字ごとに対応付けられた特徴ベクトルから予測された範囲を統合する。統合部２７は、１文字に対して１つの特徴ベクトルが対応付けられている場合、その特徴ベクトルからクラスごとに予測された範囲のうち、その文字のクラスの範囲が最終的な文字の範囲とする。
【００３４】
統合部２７は、１文字に対して複数の特徴ベクトルが対応付けられている場合、その文字クラスに対して予測された複数の範囲を統合し、統合された範囲を、その文字のクラスの範囲が最終的な文字の範囲とする。統合部２７は、平均、中央値、最頻値のほか、特徴量Ｆの対応する入力画像の位置を考慮した重み付き平均などの手法により、複数の範囲の統合をしてもよい。
【００３５】
ここで、１文字に対して複数の特徴ベクトルが対応付けられている場合、統合部２７が重み付き平均により統合する場合の一例について、図３及び図４を参照しながら説明する。図３は、第１の実施形態に係るラベルＬが複数の特徴量Ｆに対応づけられた場合の処理を示す図である。同図に示すように、ラベル列ＬＳは、複数のラベルＬを有する。具体的には、ラベル列ＬＳは、ラベルｌ１と、ラベルｌ２と、ラベルｌ３とを有する。この一例において、ラベルｌ１は特徴量Ｆ１に対応づけられ、ラベルｌ２は特徴量Ｆ３と特徴量Ｆ４とに対応づけられ、ラベルｌ３は特徴量Ｆ６に対応づけられる。すなわち、ラベルｌ２には、複数の特徴量Ｆが対応づけられている。
【００３６】
入力データＤＩのうち、範囲Ａ３３は、特徴量Ｆ３により特定される範囲である。範囲Ａ３４は、特徴量Ｆ４により特定される範囲である。このような場合において、統合部２７が、入力画像の位置を考慮した重み付き平均により統合する場合の一例について、図４を参照しながら説明する。図４は、第１の実施形態に係るラベルＬが複数の特徴量に対応づけられた場合の重みづけを説明するための図である。
【００３７】
図４（Ａ）は、特徴量Ｆごとの重みを示した図である。同図には、特徴量Ｆごとの、各範囲における左端、右端、上端、下端の重みが示される。同図に示すように、特徴量Ｆ３の左端の重みは“１．０”であり、右端の重みは“０．０”であり、上端の重みは“０．５”であり、下端の重みは“０．５”である。また、特徴量Ｆ４の左端の重みは“０．０”であり、右端の重みは“１．０”であり、上端の重みは“０．５”であり、下端の重みは“０．５”である。
【００３８】
図４（Ｂ）は、範囲Ａ３３と、範囲Ａ３４における各辺について説明するための図である。以降の説明において、範囲Ａ３３の左端を辺Ａ３３Ｌと、右端を辺Ａ３３Ｒと、上端を辺Ａ３３Ｔと、下端を辺Ａ３３Ｂと記載する。また、範囲Ａ３４の左端を辺Ａ３４Ｌと、右端を辺Ａ３４Ｒと、上端を辺Ａ３４Ｔと、下端を辺Ａ３４Ｂと記載する。
【００３９】
図４（Ｃ）は、統合部２７が重み付き平均により統合した場合の範囲Ａ３０を示す図である。範囲Ａ３０の左端を辺Ａ３０Ｌと、右端を辺Ａ３０Ｒと、上端を辺Ａ３０Ｔと、下端を辺Ａ３０Ｂと記載する。この一例において、左端の重みは、特徴量Ｆ３の重みが“１．０”であり、特徴量Ｆ４の重みが“０．０”であるため、統合部２７は、特徴量Ｆ３の結果（すなわち、範囲Ａ３４の左端Ａ３３Ｌ）を優先し、辺Ａ３０Ｌとする。また、右端の重みは、特徴量Ｆ３の重みが“０．０”であり、特徴量Ｆ４の重みが“１．０”であるため、統合部２７は、特徴量Ｆ４の結果（すなわち、範囲Ａ３４の右端Ａ３４Ｒ）を優先し、辺Ａ３０Ｒとする。また、上端の重みは、特徴量Ｆ３の重みが“０．５”であり、特徴量Ｆ４の重みが“０．５”であるため、統合部２７は、特徴量Ｆ３と特徴量Ｆ４との単純平均（すなわち、範囲Ａ３３の上端Ａ３３Ｔと範囲Ａ３４の上端Ａ３４Ｔの中間）を辺Ａ３０Ｔとする。また、下端の重みは、特徴量Ｆ３の重みが“０．５”であり、特徴量Ｆ４の重みが“０．５”であるため、統合部２７は、特徴量Ｆ３と特徴量Ｆ４との単純平均（すなわち、範囲Ａ３３の下端Ａ３３Ｂと範囲Ａ３４の下端Ａ３４Ｂの中間）を辺Ａ３０Ｂとする。
【００４０】
図３及び図４を参照しながら説明したように、統合部２７は、重み付き平均により統合することにより、例えば文字の左端には入力画像の左に対応する特徴量（図３Ｆ１に近い特徴ベクトル）から推定された範囲を、右端には右に対応する特徴量（図３Ｆ６に近い特徴量）から推定された範囲をより強く反映することができる。
【００４１】
図２に戻り、出力部２９は、入力データＤＩのラベルと、当該ラベルの範囲との対応関係を出力する。当該ラベルの範囲は、上述したように統合部２７により統合されているため、当該ラベルと１対１で対応づけられる。出力部２９は、例えば、入力データＤＩのラベルと、当該ラベルの範囲との対応関係を、不図示の記憶部や、不図示の表示部等に出力する。
【００４２】
図５は、本実施形態による情報処理装置１０の処理の手順を示すフローチャートである。以下、このフローチャートに沿ってその手順を説明する。
【００４３】
ステップＳ１１において、特徴量取得部２１は、入力データＤＩから抽出される特徴量Ｆを取得する。ステップＳ１５において、範囲推定部２３は、特徴量Ｆについてクラスごとの範囲を推定する。ステップＳ１６において、対応付け部２５は、最尤文字列と特徴量Ｆとの対応付けを行う。ステップＳ１７において、統合部２７は、各文字に対応付けられた範囲を統合する。ステップＳ１８において、出力部２９は、最尤文字列と各文字の範囲とを出力する。
【００４４】
［第１の実施形態のまとめ］
上述した実施形態によれば、情報処理装置１０は、範囲推定部２３と対応付け部２５とを備えることにより、取得した特徴量Ｆから、所定のラベルが付与されるべき要素が存在しうるデータの範囲を推定し、ラベルを複数の特徴量Ｆのうち少なくとも１つと対応づける。また、情報処理装置１０は、統合部２７を備えることにより、一のラベルに対応づけられた、複数の範囲を統合する。すなわち、上述した実施形態によれば、情報処理装置１０は、認識結果のラベル列のうち、それぞれのラベルに対応する入力データの範囲を特定することができる。
【００４５】
また、上述した実施形態によれば、情報処理装置１０は、認識結果のラベル列のうち、それぞれのラベルに対応する入力データＤＩの範囲を特定することができるため、入力データＤＩにおける、認識結果のラベル列の範囲をユーザに提示することができる。例えば、情報処理装置１０は、ＧＵＩを通して出力結果をユーザに提示することで、認識結果の解釈を可能にすることができる。また、上述した実施形態によれば、認識結果の解釈を可能にすることができるため、情報処理装置１０は、誤認識の発見や訂正を容易にすることができる。すなわち、本実施形態によれば、情報処理装置１０は、認識結果の説明性を向上させることができる。また、本実施によれば、認識結果の説明性を向上させることができるため、情報処理装置１０は、位置情報を利用した誤読訂正を容易にすることができる。また、本実施形態は、ＣＴＣ方式によりラベル列を認定するため、ＣＴＣ方式と同様の精度のラベル列認識をすることができる。
【００４６】
また、上述した実施形態によれば、ＣＴＣ方式によりラベル列を認定に、ＣＴＣとは別のニューラルネットワークにより範囲を特定する。したがって、上述した実施形態によれば、ＣＴＣ方式の文字認識精度に影響を与えることなく、識結果のラベル列のうち、それぞれのラベルに対応する入力データの範囲を特定することができる。
【００４７】
また、本実施形態の変形例として、得られた文字ごとの範囲から、自動的に誤認識を削減するように認識結果を修正するよう構成してもよい。例えば、範囲推定部２３は、最尤文字列だけでなくＮ位文字列について文字ごとの範囲を推定し、文字ごとの範囲の重なりが過度に大きい候補や、文字があるべき位置に文字がないと推定されている候補にペナルティを与えたうえで、最終的な出力文字列を決定することで実現できる。その他、本実施形態を、ＣＴＣのデコードに広く用いられるビームサーチデコードに適用することもできる。この場合、各ループでビーム候補をスコア付けする際、文字同士の重なりが大きいビームや、文字のあるべき位置に文字が推定されていないビームにペナルティを与えればよい。以上のように範囲情報も考慮して認識結果を自動修正することで、認識精度の高い文字認識システムを実現することができる。
【００４８】
［第２の実施形態］
図６及び図７を参照しながら、第２の実施形態に係る情報処理装置１０Ａの一例について説明する。図６は、第２の実施形態に係る情報処理装置１０Ａの概略機能構成を示すブロック図である。情報処理装置１０Ａは、特徴量取得部２１に代えて特徴量取得部２１Ａを備える点において、情報処理装置１０とは異なる。図２において説明した構成については、同様の符号を付すことにより、説明を省略する場合がある。
【００４９】
特徴量取得部２１Ａは、特徴抽出部２１１と、認識部２１２とを備える。本実施形態において、特徴量取得部２１Ａは、特徴抽出部２１１と、認識部２１２とを備えることにより、入力データＤＩから特徴量を抽出し、ラベル列を認識する。
【００５０】
特徴抽出部２１１は、入力データＤＩから特徴量Ｆを抽出する。入力データＤＩとは、一以上の値で構成されるデータである。すなわち、特徴抽出部２１１は、一以上の値で構成されるデータから複数の特徴量Ｆを抽出する。
【００５１】
入力データＤＩが画像データである場合、特徴抽出部２１１は、文字列画像から特徴量Ｆの系列を算出する。例えば、畳み込みニューラルネットワーク（ＣＮＮ）によって、入力画像をＴ個のＤ次元特徴ベクトルｖ１、ｖ２、…、ｖＴに変換する場合の一例について説明する。なお、ＣＮＮの途中又は最後にリカレントニューラルネットワーク（ＲＮＮ）を挿入してもよい。
【００５２】
ここで、Ｔ個の特徴ベクトルはＣＮＮによってそれぞれ入力画像の異なる部分画像から計算されていることから、文字列画像とＴ個の特徴ベクトルには空間的な対応関係が生じる。この対応関係はＣＮＮの構造に依存するもので、例えば、高さ１２８ｐｘ幅１２８ｐｘの矩形を左から４ｐｘずつスライドさせたもの、のように決まる。本実施例ではｖ１からｖＴの順に画像の左端から右端に対応するものとする。
【００５３】
認識部２１２は、複数の特徴量Ｆからラベル列を認識する。認識部２１２は、各特徴量ｖｎからＫ個のクラスの確率分布ｐｎ（ｎ＝１、２、…、Ｔ）を算出し、それらＴ個のＫクラス確率分布ｐ１、ｐ２、…、ｐＴをＣＴＣデコードすることで最も確率の高い最尤文字列を算出する。Ｋ個のクラスとは、本来認識対象となるクラスにブランクを表すブランククラスを加えたものである。例えば、０〜９までの数字が出現する数字列を認識するタスクでは、本来認識対象である０〜９までの１０クラスにブランククラスを加え、Ｋ＝１１となる。
【００５４】
ＣＴＣデコードとはＣＴＣを用いたラベル列認識で一般に用いられるデコード方法である。ＣＴＣデコードには、ブランクラベルを含む長さＴのラベル列からブランクラベルと連続するラベルを削除することで長さＴ以下のラベル列に変換する多対１変換Ｂを用いる。ブランクを含まない長さＴ以下のラベル列ＬＳの尤度は、ＢによってＬに変換されうるブランクを含む長さＴのラベル列ＬＳ’（ｌ１，ｌ２，…，ｌＴ）の生成確率（ｐ１（ｌ１）＊ｐ２（ｌ２）＊…＊ｐＴ（ｌＴ））の総和として求められる。以上の規則に従って最も確率の高い最尤ラベル列を算出する。
【００５５】
一般に、文字列認識や音声認識では、あらかじめ用意した文法ルールやＮ−ｇｒａｍなどの言語モデル情報や単語リスト照合を用いて認識結果のスコア付けを補正する処理が行われる。本実施形態においても、そのような言語情報を考慮して最尤文字列を決定してもよい。
【００５６】
なお、認識部２１２は、ＣＴＣデコードではなく高速処理可能な近似手法である貪欲法によるデコードを行ってもよい。この場合、最尤文字列はＴ個のＫクラス確率分布から最も確率の高いラベルを特徴ベクトルの順に並べたラベル列をＢを用いて変換した文字列となる。
【００５７】
図７は、第２の実施形態に係る情報処理装置１０Ａの一連の動作を示すフローチャートである。以下、このフローチャートに沿ってその手順を説明する。図７に示すフローチャートは、ステップＳ１１に代えて、ステップＳ１２、ステップ１３及びステップＳ１４を有する点において、図５において説明した情報処理装置１０の一連の動作を示すフローチャートとは異なる。図５において説明した内容については、その説明を省略する。
【００５８】
ステップＳ１２において、特徴抽出部２１１は、入力データＤＩから特徴量Ｆの系列を算出する。ステップＳ１３において、認識部２１２は、特徴量ごとに確率分布を算出する。ステップＳ１４において、認識部２１２は、算出した確率分布から、最尤文字列を算出する。
【００５９】
［第２の実施形態のまとめ］
上述した実施形態によれば、情報処理装置１０Ａは、特徴抽出部２１１を備えることにより、入力データＤＩから特徴量Ｆの系列を算出する。すなわち、本実施形態によれば、特徴量取得部２１は、ニューラルネットワークＮＮ１により算出された特徴量Ｆを取得することに代えて、入力データＤＩから特徴量Ｆを算出することができる。
【００６０】
また、上述した実施形態によれば、情報処理装置１０Ａは、認識部２１２を備えることにより、複数の特徴量Ｆからラベル列を認識する。すなわち、本実施形態によれば、ニューラルネットワークＮＮ２及びＣＴＣ等の系列ラベル認識技術による系列ラベル認識を行うことができる。
【００６１】
［第３の実施形態］
上述した実施形態においては、系列ラベル認識技術の一例として、ＣＴＣ方式を用いた場合の一例について説明した。本実施形態においては、ＣＴＣ方式に代えて、Attention方式を用いて系列ラベル認識技術を行う場合の一例について説明する。例えば、ＣＴＣ方式とAttention方式とでは、用途により文字認識精度の優劣が異なる事が知られている。例えば。スキャンされた手書きの文字列を認識する場合は、ＣＴＣ方式が有利とされ、カメラにより撮像された文字列を認識する場合は、Attention方式が有利とされている。
【００６２】
まず、図１４を参照しながら、従来技術について説明する。図１４は、従来技術によるAttention方式を用いた系列ラベル認識技術の判定範囲を説明するための図である。同図に示すように、まず、入力データＤＩから特徴量Ｆが抽出される。特徴量Ｆは、例えば、不図示のニューラルネットワークにより抽出される。この一例においては、入力データＤＩが画像である場合の一例について説明する。
【００６３】
入力データＤＩのｎ文字目を推定する工程を工程Ｐｎ（ｎは自然数）とする。工程Ｐｊ（ｊは自然数）にて文字列終了を表すＥＯＳ（End Of String）が推定される場合において、Attention方式を用いた系列ラベル認識技術では、工程Ｐ１から工程Ｐｊまでの工程により、入力データＤＩに対応する文字列を推定する。
【００６４】
Attention方式を用いた系列ラベル認識技術では、工程Ｐ１において、特徴量Ｆをコピーする。コピーされた特徴量Ｆは、Attentionマップ（重みマップ）Ｍ１と掛け合わされ、重み付き和が算出される。算出された重み付き和を、特徴ベクトルＶ１と記載する。ここで、AttentionマップＭ１には、横軸に入力データＤＩの位置を、縦軸に重みが示される。AttentionマップＭ１は、入力データＤＩのうち左端の文字の範囲に対応するため、右端に比べ左端の重みが大きくなっている。
【００６５】
算出された特徴ベクトルＶ１は、ニューラルネットワークＮＮ２−２に入力される。ニューラルネットワークＮＮ２−２は、１文字目のラベルｙ０を予測する。具体的には、ニューラルネットワークＮＮ２−２は、１文字目が、どの文字である確率が高いかを推定する。このように、工程Ｐ１から工程Ｐｊまで繰り返すことにより、Attention方式を用いた系列ラベル認識技術では、入力データＤＩの全ての文字列を予測する。
【００６６】
なお、AttentionマップＭは、不図示のニューラルネットワークＮＮ２−１により作成されてもよい。その場合、ニューラルネットワークＮＮ２−１は、左側の文字（例えば工程Ｐ２においては、工程Ｐ１において推定された文字）やその文字を予測した際のニューラルネットワークＮＮ２−２の内部状態と、特徴量Ｆとによって、AttentionマップＭを作成する。
【００６７】
なお、ニューラルネットワークＮＮ２−２は、左側の文字（例えば工程Ｐ２においては、工程Ｐ１において推定された文字）やその文字を予測した際のニューラルネットワークＮＮ２−２の内部状態と、特徴ベクトルＶとによって、文字を予測してもよい。この場合、ニューラルネットワークＮＮ２−２は、リカレントニューラルネットワークである。このように、Attention方式を用いた系列ラベル認識技術では、ＥＯＳ（End Of String）が予測されるまで、文字の予測を繰り返す。
【００６８】
図８は、第３の実施形態に係る情報処理システム１Ｂの機能構成の一例を示す概略図である。同図を参照しながら、情報処理システム１の機能構成について説明する。まず、入力データＤＩがニューラルネットワークＮＮ１に入力される。この一例において、入力データＤＩが文字列の画像である場合の一例について説明する。具体的には、入力データＤＩが、“０１１”と左から右に横方向に手書きされた文字列画像である場合の一例について説明する。
【００６９】
本実施形態において、情報処理装置１０Ｂは、Attention方式により算出された出力データＤＯの各ラベルと、ニューラルネットワークＮＮ１により算出された特徴量Ｆとを対応付ける。情報処理装置１０Ｂは、Attention方式により算出された出力データＤＯの各ラベルが、複数の特徴量Ｆと対応づけられる場合には、ラベルに対応付けられた１以上の特徴量Ｆから推定された範囲を統合し、出力する。情報処理装置１０により出力された出力結果は、入力データＤＩのうち、それぞれのラベルの範囲が特定されている。同図に示す一例では、範囲Ａ１は“０”の範囲を特定し、範囲Ａ２は“１”の範囲を特定し、範囲Ａ３は“１”の範囲を特定する。
【００７０】
具体的には、本実施形態において、特徴抽出部２１１は上述した実施形態と同様にＴ個の特徴ベクトルｖ１、ｖ２、…、ｖＴを算出する。認識部２１２は、まずニューラルネットワーク２−１にＴ個の特徴ベクトルを入力し、１文字目の認識に有用な特徴ベクトルを重みづけする。ここで、重みとは０以上１以下で合計が１となるＴ個の値ｗ１、ｗ２、…、ｗＴである。この重みを用いたＴ個の特徴ベクトルの重み付き平均（ｗ１＊ｖ１＋…＋ｗＴ＊ｖＴ）から、さらに別のニューラルネットワーク２−２を用いて１文字目を認識する。
【００７１】
次に１文字目の認識結果や認識の過程で得られた特徴もニューラルネットワーク２−１の入力に加えて２文字目の認識に有用な特徴ベクトルを重みづけする。この重みを用いたＴ個の特徴ベクトルの重み付き平均からニューラルネットワーク２−２を用いて２文字目を認識する。以下、ニューラルネットワーク２−２が文字列終了を表すＥＯＳが出力されるまで繰り返す。１文字目からＥＯＳまでを順番に並べたものが最尤文字列である。
【００７２】
範囲推定部２３は、上述した実施形態と同様に、すべての特徴ベクトルについて、クラスごとの範囲を予測する。対応付け部２５は、最尤文字列とＴ個の特徴ベクトルを対応付ける。対応付けには認識部２１２のニューラルネットワーク２−１において文字ごとに算出した重みを用いる。対応付け部２５は、各文字について重みが所定値以上（例えば０．０１）の特徴量を対応付ける。統合部２７は、範囲を統合する際、この重みを用いた重み付き和を採用してもよい。
【００７３】
［第３の実施形態のまとめ］
従来、Attention方式による系列ラベル認識技術では、重み情報でしか認識結果のラベル列のうち、それぞれのラベルに対応する入力データの範囲を特定することができなかった。すなわち、従来技術によれば、漠然とした範囲しか推定することができなかった。しかしながら、上述した実施形態によれば、情報処理装置１０Ｂは、ＣＴＣ方式に代えてAttention方式においても認識結果のラベル列のうち、それぞれのラベルに対応する入力データの範囲を特定することができる。
【００７４】
本実施形態においては、Attention方式により特定された漠然とした位置を用いて、所定の閾値に基づいて、ニューラルネットワークＮＮ３により推定された範囲と、出力データＤＯのそれぞれのラベルとを対応付けすることができる。１つのラベルが複数の特徴量Ｆと対応付けられる場合には、第１の実施形態と同様に、範囲を統合することにより、ラベルの範囲を特定することができる。
【００７５】
［第４の実施形態］
本実施例では人間による範囲の教示を省力化する手法を説明する。範囲の教示は例えば機械学習のためのデータセットを作成するために用いられる。処理の上では、範囲を推定すべき文字列が認識結果でなく、ユーザから入力される点が上述した実施形態と異なる。図９及び図１０を参照しながら、第４の実施形態について説明する。
【００７６】
図９は、第４の実施形態に係る教示システム２を示すブロック図である。本実施形態において、教示システム２は、上述した情報処理装置１０に代えて情報処理装置１０Ｃを備える。また、教示システム２は、表示装置４１と、入力装置４３と、記憶装置４５とを備える。
【００７７】
入力装置４３は、ユーザＵから入力される情報を取得し、情報処理装置１０Ｃに出力する。入力装置４３は、例えば、キーボード等の文字入力デバイスや、マウス等のポインティングデバイスであってもよい。
【００７８】
表示装置４１は、情報処理装置１０Ｃから出力される情報を表示する。表示装置４１は、例えば、液晶ディスプレイ等の表示デバイスであってもよい。
【００７９】
記憶装置４５は、情報処理装置１０によって制御される記憶装置である。情報処理装置１０は、情報処理装置１０Ｃの内部に備えられていてもよいし、情報処理装置１０Ｃの外部に備えられていてもよい。
【００８０】
情報処理装置１０Ｃは、情報処理装置１０の変形例である。情報処理装置１０Ｃは、操作受付部３１と、記憶制御部３３とを備える点において、情報処理装置１０とは異なる。情報処理装置１０と同様の構成については、同様の符号を付すことにより、説明を省略する場合がある。
【００８１】
操作受付部３１は、入力装置４３を介して、ユーザＵからの操作を受け付ける。本実施形態において、ユーザＵは、情報処理装置１０Ｃが出力した結果が正しいか否かを判定する。ユーザＵは、判定した結果を、入力装置４３を介して情報処理装置１０Ｃに入力する。すなわち、操作受付部３１は、出力部２９が出力した結果が正しいか否かがユーザＵにより判定された結果を取得する。なお、操作受付部３１が取得する情報は、範囲推定部２３により推定された範囲の修正を指示する修正情報を含んでいてもよい。
【００８２】
記憶制御部３３は、操作受付部３１が取得した結果を、記憶装置４５に記憶させる。記憶制御部３３は、操作受付部３１が取得する情報が修正情報を含む場合、操作受付部３１が取得した修正情報を含む結果を、記憶装置４５に記憶させる。
【００８３】
図１０は、第４の実施形態に係る情報処理装置１０Ｃの一連の動作を示すフローチャートである。同図を参照しながら、第４の実施形態に係る情報処理装置１０Ｃの一連の動作について説明する。
【００８４】
ステップＳ２１において、まず、ユーザＵは文字列画像と対応する文字列を入力する。すなわち、特徴量取得部２１は、入力装置４３を介して、ユーザＵから文字列画像と対応する文字列とを取得する。なお、特徴量取得部２１は、は、不図示の記憶装置に複数の文字列画像と対応する文字列のペアを保存しておき、記憶装置から、文字列画像と対応する文字列とを取得するよう構成してもよい。
【００８５】
ステップＳ２２において、情報処理装置１０Ｃは、入力文字列の範囲を特定する。まず、情報処理装置１０Ｃは、上述した実施形態と同様に入力文字列画像に対して特徴量の系列を算出する。また、情報処理装置１０Ｃは、上述した実施形態と同様に各特徴量からクラスごとの範囲を推定する。
【００８６】
対応付け部２５は、入力文字列の各文字と特徴量とを対応付ける。対応付け部２５は、例えば、各特徴量から算出したＫクラスの確率分布から、Ｂによって入力文字列に変換されうる長さＴのラベル列のうち最も確率の高いラベル列を求め、上述した実施形態と同様に対応付ける。なお、対応付け部２５は、第３の実施形態において説明したように、入力文字列とその直後に終了文字列が出力するまで特徴量の重みを算出し、その重みを用いて対応付けてもよい。
【００８７】
また、対応付け部２５は、入力画像の濃度や輝度から入力文字列の各文字と画像領域を大まかに対応付け、入力画像と特徴量の位置の対応関係から文字と特徴量を対応付けてもよい。この場合、入力画像と文字の大まかな対応付けは、例えば、文字列方向の輝度ヒストグラムから、文字が存在しない空白の領域を推定し、それらを除外した上で文字数で均等に領域を分割し文字と対応付けてもよい。画像領域と特徴量の対応付けは、対象画像領域と特徴量に対応する画像領域との重なり率が一定以上の特徴量を選ぶよう構成してもよい。
【００８８】
統合部２７は、上述した実施形態と同様に各文字に対応付けられた範囲を統合する。出力部２９は、推定された各文字の範囲を表示装置４１に表示させる。例えば、画像と重畳するように各文字の範囲を矩形で描画し、各矩形に対応する文字を表示する。
【００８９】
ステップＳ２３において、ユーザＵは表示装置４１に表示された文字ごとの範囲が正しいか否かを確認する。ユーザＵは、入力装置４３を介して、推定された範囲が正しい場合は確定の旨を入力する。ユーザＵは、推定された範囲が正しくない場合、入力装置４３を介して、正しくなるよう範囲を修正する。範囲教示は、修正のためのインターフェースを提供する。修正するためのインターフェースとして、例えば、矩形の頂点や辺をマウスポインタでドラックアンドドロップする方法などであってもよい。修正完了後、確定の旨を入力しユーザは操作を終了する。
【００９０】
ステップＳ２５において、情報処理装置１０Ｃは、各文字の範囲が正しい場合、処理をステップＳ２７に進める。情報処理装置１０Ｃは、各文字の範囲が正しくない場合、処理をステップＳ２９に進める。
【００９１】
ステップＳ２７において、各文字の範囲が正しい場合、記憶制御部３３は、記憶装置４５に、各文字の範囲を記憶させる。具体的には、記憶制御部３３は、記憶装置４５に、確定された文字範囲を、文字列画像および文字列と紐づけて記憶させる。
【００９２】
ステップＳ２９において、各文字の範囲が正しくない場合、記憶制御部３３は、記憶装置４５に、修正された各文字の範囲を記憶させる。
【００９３】
なお、入力文字列は必ずしも文字列画像に対する正解文字列である必要はない。誤りを含む自動認識結果の文字列の場合、範囲確認時に文字列の正誤も確認し、修正するインターフェースを加えてもよい。この場合、ユーザの文字列修正に応じて再度範囲を推定することでユーザＵによる範囲教示負荷を軽減できる。
【００９４】
［第４の実施形態のまとめ］
上述した実施形態によれば、情報処理装置１０Ｃは、操作受付部３１と、記憶制御部３３とを備えることにより、ユーザＵから、各文字の範囲が正しいか否かの情報を取得し、記憶装置４５に記憶させる。情報処理装置１０Ｃは、各文字の範囲が正しいか否かの情報を記憶装置４５に記憶することにより、人間による範囲の教示を省力化することができる。
【００９５】
以上説明してきたように、実施形態では、複数の変形例を記載した。ここで、組み合わせることが可能な限りにおいて、複数の実施形態及び複数の変形例を組み合わせて実施するようにしてもよい。
【００９６】
なお、上述した実施形態における情報処理装置の機能をコンピューターで実現するようにしても良い。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００９７】
以上説明した少なくともひとつの実施形態によれば、特徴量取得部と、範囲推定部と、対応付け部と、統合部と、出力部とを持つことにより、明示的にラベル間の境界を区切らない系列ラベルの認識処理において、認識結果のラベル列のうち、それぞれのラベルに対応する入力データの範囲を特定することができる。
【００９８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００９９】
１…情報処理システム、２…教示システム、１０…情報処理装置、２１…特徴量取得部、２１１…特徴抽出部、２１２…認識部、２３…範囲推定部、２５…対応付け部、２７…統合部、２９…出力部、３１…操作受付部、３３…記憶制御部、４１…表示装置、４３…入力装置、４５…記憶装置、８０…ＣＴＣ、８１…全範囲、８２…判定範囲、８５…認識モデル、９０…系列ラベル認識技術、ＤＩ…入力データ、ＤＯ…出力データ、ＮＮ…ニューラルネットワーク、Ｆ…特徴量、Ｐ…確率分布、ＬＳ…ラベル列、Ｌ…ラベル
【要約】
【課題】明示的にラベル間の境界を区切らない系列ラベルの認識処理において、認識結果のラベル列のうち、それぞれのラベルに対応する入力データの範囲を特定することができる情報処理装置、情報処理方法、およびプログラムを提供することである。
【解決手段】実施形態の情報処理装置は、特徴量取得部と、範囲推定部と、対応付け部と、統合部と出力部とを備える。特徴量取得部は、複数の値で構成されるデータから抽出される特徴量を取得する。範囲推定部は、取得した特徴量から所定のラベルが付与されるべき要素が存在しうるデータの範囲を推定する。対応付け部はぞれぞれのラベルを複数の特徴量のうち少なくとも１つと対応付ける。統合部はラベルに対応付けられた１以上の特徴量それぞれから推定された１以上のデータの範囲を、１の前記データの範囲に統合する統合処理を行う。出力部はラベルと、統合処理が行われたデータの範囲との対応関係を出力する。
【選択図】図２【図１】
0006813704.tif 000002
【図２】
0006813704.tif 000003
【図３】
0006813704.tif 000004
【図４】
0006813704.tif 000005
【図５】
0006813704.tif 000006
【図６】
0006813704.tif 000007
【図７】
0006813704.tif 000008
【図８】
0006813704.tif 000009
【図９】
0006813704.tif 000010
【図１０】
0006813704.tif 000011
【図１１】
0006813704.tif 000012
【図１２】
0006813704.tif 000013
【図１３】
0006813704.tif 000014
【図１４】
0006813704.tif 000015