(57)【特許請求の範囲】
【請求項１】
記事に含まれる記事本文および画像のキャプションを形態素に分割する形態素解析部と、
前記形態素解析部の形態素解析結果をもとに、前記記事本文を文節に分割する文節取得部と、
前記キャプションを要約してキャプション要約を生成するキャプション要約部と、
前記形態素解析部の形態素解析結果をもとに、前記キャプション要約と前記記事本文の各文節との相関を計算し、前記記事本文の各文節と前記画像との対応関係を決定する対応関係決定部とを備える情報処理装置。
【請求項２】
記事に含まれる記事本文および画像のキャプションを形態素に分割する形態素解析部と、
前記形態素解析部の形態素解析結果をもとに、前記記事本文を文節に分割する文節取得部と、
前記記事本文の文節間の係り受け関係を求めて、前記記事本文を意味のまとまりに分割する係り受け解析部と、
前記形態素解析部の形態素解析結果をもとに、前記キャプションと前記記事本文の各意味のまとまりとの相関を計算し、前記記事本文の各意味のまとまりと前記画像との対応関係を決定する対応関係決定部とを備える情報処理装置。
【請求項３】
前記キャプションを要約してキャプション要約を生成するキャプション要約部を備え、
前記対応関係決定部は、前記キャプション要約と前記記事本文の各意味のまとまりとの相関を計算し、前記記事本文の各意味のまとまりと前記画像との対応関係を決定することを特徴とする請求項２記載の情報処理装置。
【請求項４】
記事に含まれる記事本文および画像のキャプションを形態素に分割する形態素解析部と、
前記形態素解析部の形態素解析結果をもとに、前記記事本文を文節に分割する文節取得部と、
前記記事本文を要約して記事本文要約を生成する本文要約部と、
前記キャプションを要約してキャプション要約を生成するキャプション要約部と、
前記形態素解析部の形態素解析結果をもとに、前記キャプション要約と前記記事本文要約に含まれる各文節との相関を計算し、前記記事本文要約の各文節と前記画像との対応関係を決定する対応関係決定部とを備える情報処理装置。
【請求項５】
前記キャプション要約部は、前記記事本文要約を含むように前記キャプション要約を生成することを特徴とする請求項４記載の情報処理装置。
【請求項６】
記事に含まれる記事本文および画像のキャプションを形態素に分割する形態素解析部と、
前記形態素解析部の形態素解析結果をもとに、前記記事本文を文節に分割する文節取得部と、
前記形態素解析部の形態素解析結果をもとに、前記キャプションと前記記事本文の各文節との相関を計算し、前記記事本文の各文節と前記画像との対応関係を決定する対応関係決定部と、
前記記事本文のうちの一文以上の文のまとまりと対応関係にある画像が複数ある場合、単語ごとの重要度を表す単語重要度情報をもとに前記記事本文の文節または意味のまとまりの重要度を求め、前記文のまとまりにおいて最も高い重要度を持つ文節または意味のまとまりに対応する画像を、前記文のまとまりと対応関係にある画像と決定する第２の対応関係決定部とを備える情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、情報を処理する情報処理装置および情報処理方法に関するものである。
【背景技術】
【０００２】
ニュースまたはブログ等の文章または記事を画面に表示するアプリケーションが、多く実用化されている。例えば、カーナビゲーションシステム、エレベータ内ディスプレイ、またはスマートフォンの画面にニュースを表示するニュースアプリが挙げられる。【０００３】
上記アプリケーションが表示する記事には、補足情報として画像が付いていることが多い。また、画像には、その画像の内容を説明するキャプションが添えられていることがある。【０００４】
記事に画像が付いていると、ユーザは記事の内容を理解しやすくなる。その一方で、画面に表示されている文、または音声で読み上げられている文に対応しない画像が表示されていると、ユーザが混乱し、内容が伝わりにくいという問題がある。【０００５】
例えば、記事に複数の画像が付いている場合、すべての画像が同じように表示されていると、いま画面に表示中の、または音声で読み上げ中の文が、どの画像について説明しているものか分かりにくい。また、スマートフォンのように画面の表示領域が狭く、複数の画像のうちの一枚しか表示できないという場合には、画面に表示中の、または音声で読み上げ中の文に対応した画像を表示する必要がある。【０００６】
文書に合った画像を選択する技術の一例として、特許文献１に記載された技術がある。特許文献１の文書装飾支援システムは、文書を解析し、特徴語を抽出し、テンプレート画像に対する評価値を算出し、評価値の高い順でテンプレート画像を表示する。【０００７】
また、音声で読み上げ中の文を強調する技術の一例として、特許文献２に記載された技術がある。特許文献２の表示制御装置は、表示データからテキストを含むテキスト領域を抽出し、各テキスト領域内と読み上げ原稿データに含まれる各原稿要素との間の相関を計算してテキスト領域と原稿要素との対応関係を決定し、音声データが出力される原稿要素に対応するテキスト領域を強調して表示する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−１１３２８９号公報
【特許文献２】特開２０１２−１８５５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記特許文献１，２においては、文書または文等、入力単位で画像との対応関係を求めている。そのため、アプリケーションが特許文献１に記載された技術を用いて画面に記事本文と画像とを表示したとしても、一つの記事に複数の画像がある場合、画面に表示中の記事本文と画像とが対応しないという課題があった。同様に、アプリケーションが特許文献２に記載された技術を用いて音声で記事本文を読み上げながら画像を表示したとしても、一つの記事に複数の画像がある場合、音声で読み上げ中の記事本文と画面に表示する画像とが対応しないという課題があった。【００１０】
この発明は、上記のような課題を解決するためになされたもので、画面に表示する、または音声で読み上げる記事本文と画面に表示する画像との対応関係を正確に決定することを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係る情報処理装置は、記事に含まれる記事本文および画像のキャプションを形態素に分割する形態素解析部と、形態素解析部の形態素解析結果をもとに、記事本文を文節に分割する文節取得部と、キャプションを要約してキャプション要約を生成するキャプション要約部と、形態素解析部の形態素解析結果をもとに、キャプション要約と記事本文の各文節との相関を計算し、記事本文の各文節と画像との対応関係を決定する対応関係決定部とを備えるものである。
【発明の効果】
【００１２】
この発明によれば、キャプションと記事本文の各文節との相関を計算し、記事本文の各文節と画像との対応関係を決定するようにしたので、画面に表示する、または音声で読み上げる記事本文と画面に表示する画像との対応関係を正確に決定することができる。
【図面の簡単な説明】
【００１３】
【図１】この発明の実施の形態１に係る情報処理装置を用いた音声案内装置の構成例を示すブロック図である。
【図２】この発明の実施の形態１に係る情報処理装置を用いた音声案内装置のハードウェア構成の一例を示す図である。
【図３】この発明の実施の形態１に係る情報処理装置を用いた音声案内装置のハードウェア構成の別の例を示す図である。
【図４】この発明の実施の形態１に係る情報処理装置が処理する記事の一例を示す図である。
【図５】この発明の実施の形態１に係る情報処理装置の動作を示すフローチャートである。
【図６】図５のステップＳＴ４の詳細を示すフローチャートである。
【図７】この発明の実施の形態１における文節とキャプションとの間の自立語一致数を示す図である。
【図８】この発明の実施の形態２に係る情報処理装置を用いた音声案内装置の構成例を示すブロック図である。
【図９】この発明の実施の形態２に係る情報処理装置の動作を示すフローチャートである。
【図１０】この発明の実施の形態２に係る情報処理装置が処理する記事の一例を示す図である。
【図１１】図１０の記事を、この発明の実施の形態１に係る情報処理装置が処理した場合の文節とキャプションとの間の自立語一致数を示す図である。
【図１２】図１０の記事を、この発明の実施の形態２に係る情報処理装置が処理した場合の文節とキャプションとの間の自立語一致数を示す図である。
【図１３】この発明の実施の形態３に係る情報処理装置を用いた音声案内装置の構成例を示すブロック図である。
【図１４】この発明の実施の形態３に係る情報処理装置の動作を示すフローチャートである。
【図１５】図４の記事を、この発明の実施の形態３に係る情報処理装置の係り受け解析部が係り受け解析した結果を示す図である。
【図１６】この発明の実施の形態４に係る情報処理装置を用いた音声案内装置の構成例を示すブロック図である。
【図１７】この発明の実施の形態４に係る情報処理装置の動作を示すフローチャートである。
【図１８】この発明の実施の形態４に係る情報処理装置が処理する記事、および本文要約部が生成した記事本文要約の一例を示す図である。
【図１９】この発明の実施の形態５に係る情報処理装置を用いた音声案内装置の構成例を示すブロック図である。
【図２０】この発明の実施の形態５に係る情報処理装置の動作を示すフローチャートである。
【図２１】この発明の実施の形態６に係る情報処理装置を用いた音声案内装置の構成例を示すブロック図である。
【図２２】この発明の実施の形態６に係る情報処理装置の動作を示すフローチャートである。
【図２３】この発明の実施の形態６に係る情報処理装置における単語重要度情報の一例を示す図である。
【図２４】この発明の実施の形態７に係る情報処理装置を用いた音声案内装置の構成例を示すブロック図である。
【図２５】この発明の実施の形態７に係る情報処理装置を用いた音声案内装置のハードウェア構成の一例を示す図である。
【図２６】この発明の実施の形態７に係る情報処理装置を用いた音声案内装置のハードウェア構成の別の例を示す図である。
【発明を実施するための形態】
【００１４】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る情報処理装置１０を用いた音声案内装置２０の構成例を示すブロック図である。情報処理装置１０は、形態素解析部１１ａと、形態素解析部１１ｂと、文節取得部１２と、対応関係決定部１３とを備える。図１の例では、情報処理装置１０は音声案内装置２０と一体に構成されている。音声案内装置２０は、情報処理装置１０と、制御部２１と、音声出力部２２と、表示部２３とを備えている。
【００１５】
図２および図３は、この発明の実施の形態１に係る情報処理装置１０を用いた音声案内装置２０のハードウェア構成例を示す図である。音声案内装置２０における形態素解析部１１ａ、形態素解析部１１ｂ、文節取得部１２、対応関係決定部１３、および制御部２１の各機能は、処理回路により実現される。即ち、音声案内装置２０は、上記各機能を実現するための処理回路を備える。処理回路は、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよいし、専用のハードウェアとしての処理回路１０７であってもよい。
【００１６】
図２に示すように、処理回路がプロセッサ１０１である場合、形態素解析部１１ａ、形態素解析部１１ｂ、文節取得部１２、対応関係決定部１３、および制御部２１の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１０２に格納される。または、ハードディスクドライブ１０３に格納されてもよい。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、音声案内装置２０は、プロセッサ１０１により実行されるときに、後述する図５等のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、形態素解析部１１ａ、形態素解析部１１ｂ、文節取得部１２、対応関係決定部１３、および制御部２１の手順または方法をコンピュータに実行させるものであるとも言える。
【００１７】
ここで、プロセッサ１０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、処理装置、演算装置、マイクロプロセッサ、またはマイクロコンピュータ等のことである。
メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、またはフラッシュメモリ等の不揮発性または揮発性の半導体メモリであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）またはＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等の光ディスクであってもよい。
【００１８】
図３に示すように、処理回路が専用のハードウェアである場合、処理回路１０７は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。形態素解析部１１ａ、形態素解析部１１ｂ、文節取得部１２、対応関係決定部１３、および制御部２１の機能を複数の処理回路１０７で実現してもよいし、各部の機能をまとめて一つの処理回路１０７で実現してもよい。
【００１９】
なお、形態素解析部１１ａ、形態素解析部１１ｂ、文節取得部１２、対応関係決定部１３、および制御部２１の各機能について、一部をソフトウェアまたはファームウェアで実現し、一部を専用のハードウェアで実現するようにしてもよい。このように、音声案内装置２０における処理回路は、ソフトウェア、ファームウェア、ハードウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【００２０】
音声案内装置２０における音声出力部２２は、スピーカ１０４である。音声案内装置２０における表示部２３は、ディスプレイ１０５である。プロセッサ１０１または処理回路１０７と、ハードディスクドライブ１０３と、スピーカ１０４と、ディスプレイ１０５とは、バス１０６等により情報の授受が可能なように接続されている。
【００２１】
次に、情報処理装置１０を用いた音声案内装置２０の動作について説明する。
図４は、この発明の実施の形態１に係る情報処理装置１０が処理する記事の一例を示す図である。記事には、記事本文、画像、およびキャプションの情報が含まれている。キャプションは、対になっている画像の内容を説明する文である。
【００２２】
図５は、この発明の実施の形態１に係る情報処理装置１０の動作を示すフローチャートである。ここでは、図４に示す記事の情報が情報処理装置１０に入力された場合を想定する。
【００２３】
ステップＳＴ１において、形態素解析部１１ａは、キャプションを形態素解析して形態素に分割し、各形態素に振られた読みおよび品詞を取得する。
ステップＳＴ２において、形態素解析部１１ｂは、記事本文を形態素解析して形態素に分割し、各形態素に振られた読みおよび品詞を取得する。
【００２４】
ステップＳＴ３において、文節取得部１２は、形態素解析部１１ｂで得られる記事本文の形態素解析結果をもとに、記事本文を文節に分割する。より具体的には、文節取得部１２は、記事本文の各形態素について品詞および活用を考慮して自立語か付属語かを判断し、それらの組み合わせである文節を取得する。文節は、非常に単純化した定義では、１個以上の自立語の連続に０個以上の付属語が連続した形式をしている。文節取得部１２による処理は、例えば、「入門自然言語処理」（スティーブン・バードら、第４刷、オライリー・ジャパン、２０１２年１月１７日、ｐ．４９８〜４９９）に記載された技術を利用することで実現可能である。
【００２５】
ステップＳＴ４において、対応関係決定部１３は、形態素解析部１１ａで得られるキャプションの形態素解析結果と文節取得部１２で得られる記事本文の文節とから、キャプションと記事本文の各文節との相関を計算し、記事本文の各文節と画像との対応関係を決定する。より具体的には、対応関係決定部１３は、記事本文の各文節とキャプションとの相関を計算し、ある文節に対して最も相関が高いキャプションに対応した画像を、その文節に対応した画像と決定する。
【００２６】
次に、ステップＳＴ４の詳細を説明する。
図６は、図５のステップＳＴ４の詳細を示すフローチャートである。ここでは、記事に含まれる複数の画像のうちの１つの画像に付けられているキャプションをキャプションｃと呼ぶ。また、記事本文に含まれる複数の文節のうちの一つを文節ｐと呼ぶ。
【００２７】
ステップＳＴ４１において、対応関係決定部１３は、形態素解析部１１ａで得られるキャプションｃの品詞からキャプションｃの自立語を取得し、自立語リストを生成する。なお、自立語の取得方法としては様々な方法がある。対応関係決定部１３は、例えば、ストップワード（助詞および助動詞）を除くすべての形態素を自立語として取得してもよいし、名詞のみを自立語として取得してもよい。
【００２８】
ステップＳＴ４２において、対応関係決定部１３は、記事本文の文節ｐとキャプションｃとの相関を計算する。相関の計算方法としては様々な方法がある。例えば、対応関係決定部１３は、文節ｐが、キャプションｃの自立語リストにある単語をいくつ含んでいるかをもとに、文節ｐとキャプションｃとの相関を求める。
【００２９】
ステップＳＴ４３において、対応関係決定部１３は、文節ｐに対して最も相関の高いキャプションｃを対応する画像と決定する。そして、対応関係決定部１３は、文節と画像との対応関係を出力する。
【００３０】
図７は、この発明の実施の形態１における文節とキャプションとの間の自立語一致数を示す図である。キャプションおよび文節の「／」は、形態素の分割位置を示す。図７によれば、キャプション「山田／太郎／氏」は、文節「山田／太郎／氏／の」との相関が「３」であり、ほかのキャプション「佐藤／花子／元／防衛相」および「鈴木／一郎／元／総務相」との相関「０」に比べて高い。よって、文節「山田／太郎／氏／の」に対応する画像として、キャプション「山田／太郎／氏」が付いた画像がふさわしい。
【００３１】
相関の計算方法は、これ以外にも、例えば文節とキャプションとの間でレーベンシュタイン距離もしくは編集距離と呼ばれる値を求める方法、または、ｗｏｒｄ２ｖｅｃ手法により文節とキャプションをベクトルとして表現し両ベクトルの類似性を求める方法などがある。
【００３２】
制御部２１は、対応関係決定部１３で得られる画像と文節の対応関係をもとに、記事本文の文節が音声で読み上げられているときに、その文節に対応する画像を表示するように、音声出力部２２および表示部２３を制御する。音声出力部２２は、制御部２１の制御下で、記事本文を音声で読み上げる。表示部２３は、制御部２１の制御下で、画像を表示する。
【００３３】
例えば、音声出力部２２が図７の最初の文節「山田／太郎／氏／の」を読み上げている間、表示部２３はキャプション「山田／太郎／氏」が付いた画像を表示する。続いて、音声出力部２２が２番目の文節「辞職／に」から１０番目の文節「同党／衆院／議員／の」を読み上げている間、表示部２３はどの画像も表示しない。続いて、音声出力部２２が１１番目の文節「佐藤／花子／元／防衛相／に／対し／、」を読み上げている間、表示部２３はキャプション「佐藤／花子／元／防衛相」が付いた画像を表示する。
【００３４】
あるいは、音声出力部２２が２番目の文節「辞職／に」から１０番目の文節「同党／衆院／議員／の」を読み上げている間、表示部２３は、最初の文節「山田／太郎／氏／の」に対応するキャプション「山田／太郎／氏」が付いた画像を表示し続けてもよい。
【００３５】
なお、実施の形態１では、音声案内装置２０は記事本文を音声で読み上げる構成にしたが、音声読み上げは必須の構成ではない。例えば、音声読み上げの代わりに、文節をハイライト表示し、その文節に対応した画像を表示する構成であってもよい。また、画面内に記事本文の一部が表示されているときに、表示されている記事本文の一部に対応する画像を表示したり強調したりする構成であってもよい。
【００３６】
以上のように、実施の形態１に係る情報処理装置１０は、記事に含まれる記事本文および画像のキャプションを形態素に分割する形態素解析部１１ａ，１１ｂと、形態素解析部１１ｂの形態素解析結果をもとに記事本文を文節に分割する文節取得部１２と、形態素解析部１１ａの形態素解析結果をもとにキャプションと記事本文の各文節との相関を計算し記事本文の各文節と画像との対応関係を決定する対応関係決定部１３とを備える構成である。これにより、画面に表示する、または音声で読み上げる記事本文と画面に表示する画像との対応関係を正確に決定することができる。
【００３７】
実施の形態２．
図８は、この発明の実施の形態２に係る情報処理装置１０を用いた音声案内装置２０の構成例を示すブロック図である。実施の形態２に係る情報処理装置１０は、図１に示した実施の形態１の情報処理装置１０に対してキャプション要約部１４が追加された構成である。図８において図１と同一または相当する部分は、同一の符号を付し説明を省略する。
キャプション要約部１４は、図２に示したプロセッサ１０１がメモリ１０２に格納されているプログラムを実行することにより実現される。あるいは、キャプション要約部１４は、図３に示した処理回路１０７により実現される。
【００３８】
図９は、この発明の実施の形態２に係る情報処理装置１０の動作を示すフローチャートである。図９のステップＳＴ１〜ＳＴ３は、図５のステップＳＴ１〜ＳＴ３と同じ処理であるため、説明を省略する。
【００３９】
ステップＳＴ１の次のステップＳＴ５において、キャプション要約部１４は、形態素解析部１１ａで得られるキャプションの形態素解析結果のうちの品詞等の情報を用いてキャプションを要約し、キャプション要約を生成する。キャプションの要約方法としては、係り受け構造を用いる方法、およびＴＦ−ＩＤＦ（Ｔｅｒｍ  Ｆｒｅｑｕｅｎｃｙ−Ｉｎｖｅｒｓｅ  Ｄｏｃｕｍｅｎｔ  Ｆｒｅｑｕｅｎｃｙ）を用いる方法など、様々な方法がある。ＩＤＦは、あらかじめ単語ごとに決められた値であり、単語の出現頻度を表す値である。ＴＦは、読み上げ対象の一記事内での単語の出現頻度を表す値である。ＴＦの値とＩＤＦの値とを掛け合わせることによりＴＦ−ＩＤＦが計算される。
ここでは、キャプション要約部１４は、キャプションの形態素解析結果をもとに、キャプションの最後に来る名詞の塊をキャプション要約として抽出する方法を用いる。特に、ニュース記事などの画像のキャプションは体言止めであることが多く、この特徴を使うことは効果的である。
【００４０】
ステップＳＴ４Ａにおいて、対応関係決定部１３は、キャプション要約部１４で得られるキャプション要約と文節取得部１２で得られる記事本文の文節とから、キャプション要約と記事本文の各文節との相関を計算し、記事本文の各文節と画像との対応関係を決定する。
【００４１】
図１０は、この発明の実施の形態２に係る情報処理装置１０が処理する記事の一例を示す図である。図１１は、図１０の記事を、この発明の実施の形態１に係る情報処理装置１０が処理した場合の文節とキャプションとの間の自立語一致数を示す図である。図１２は、図１０の記事を、この発明の実施の形態２に係る情報処理装置１０が処理した場合の文節とキャプションとの間の自立語一致数を示す図である。
【００４２】
実施の形態１では、対応関係決定部１３は、キャプション全体を形態素解析した結果を用いて相関を計算していた。しかし、図１０に示すような記事の場合においては、長文のキャプションをそのまま使うと正確な相関を計算できない。図１１のように、「斉藤次郎弁護士」の画像であるにもかかわらず、直接的に関係のない「大船興産」との相関が高くなってしまい、文節「大船／興産／の」に対する画像として、キャプション「大船／興産／経営／陣／と／の／協議／後／、／記者／団／の／取材／に／応じ／る／創業家／側／代理人／の／斉藤／次郎／弁護士」が付いた画像が選択されてしまっている。
【００４３】
一方、実施の形態２においては、図１２のように、キャプションを要約したキャプション要約を用いて相関を計算する。図１２では、キャプション要約部１４により、キャプションの最後に来る名詞の塊「斉藤／次郎／弁護士」と「三菱／太郎／社長」がキャプション要約として抽出されている。これによって、キャプションに含まれる雑音の部分と記事本文の文節との相関を計算することが無くなり、対応関係の決定がより適切に行われる。
【００４４】
以上のように、実施の形態２に係る情報処理装置１０は、キャプションを要約してキャプション要約を生成するキャプション要約部１４を備え、対応関係決定部１３は、キャプション要約と記事本文の各文節との相関を計算し、記事本文の各文節と画像との対応関係を決定する構成である。これにより、キャプションを要約した場合でも、画面に表示する、または音声で読み上げる記事本文と画面に表示する画像との対応関係を正確に決定することができる。
【００４５】
実施の形態３．
図１３は、この発明の実施の形態３に係る情報処理装置１０を用いた音声案内装置２０の構成例を示すブロック図である。実施の形態３に係る情報処理装置１０は、図８に示した実施の形態２の情報処理装置１０に対して係り受け解析部１５が追加された構成である。図１３において図８と同一または相当する部分は、同一の符号を付し説明を省略する。
係り受け解析部１５は、図２に示したプロセッサ１０１がメモリ１０２に格納されているプログラムを実行することにより実現される。あるいは、係り受け解析部１５は、図３に示した処理回路１０７により実現される。
【００４６】
図１４は、この発明の実施の形態３に係る情報処理装置１０の動作を示すフローチャートである。図１４のステップＳＴ１〜ＳＴ３，ＳＴ５は、図９のステップＳＴ１〜ＳＴ３，ＳＴ５と同じ処理であるため、説明を省略する。
【００４７】
ステップＳＴ３の次のステップＳＴ６において、係り受け解析部１５は、文節取得部１２で得られる記事本文の文節をもとに文節間の係り受け関係を求め、記事本文を意味のまとまりに分割する。
【００４８】
ステップＳＴ４Ｂにおいて、対応関係決定部１３は、キャプション要約部１４で得られるキャプション要約と係り受け解析部１５で得られる記事本文の意味のまとまりとから、キャプション要約と記事本文の各意味のまとまりとの相関を計算し、記事本文の各意味のまとまりと画像との対応関係を決定する。
【００４９】
図１５は、図４の記事を、この発明の実施の形態３に係る情報処理装置１０の係り受け解析部１５が係り受け解析した結果を示す図である。ここでは、不図示のキャプションが要約されて、キャプション要約「佐藤花子元防衛相」および「鈴木一郎元総務相」になっているものとする。
係り受け解析結果は、末尾の文節「見通し／。」をルートとする木構造となっており、これを係り受け解析木と呼ぶ。対応関係決定部１３がこの係り受け解析木とキャプション要約との相関を計算すると、太字で表した部分を含む三つの文節「佐藤／花子／元／防衛相／に／対し／、」、「総務相／も」、および「鈴木／一郎／氏／が」で相関が高い。対応関係決定部１３は、係り受け解析木において相関が高い文節より上、つまりルートから遠ざかる方向に伸びている枝をひとまとめにした意味のまとまりを取得し、意味のまとまりと画像との対応関係を決定することができる。図１５においては、キャプション要約「佐藤花子元防衛相」が付いた画像は、意味のまとまり「民衆党県連を批判しながら出馬表明した同党衆院議員の佐藤花子元防衛相に対し、」と対応付けられる。また、キャプション要約「鈴木一郎元総務相」が付いた画像は、意味のまとまり「前県知事で総務相も務めた鈴木一郎氏が」に対応付けられる。
【００５０】
なお、意味のまとまりを取得する方法は、それ以外にもあり、句点（。）または読点（、）で区切る方法などがある。また、意味のまとまりに対して対応付けられる画像が一つも無い場合、その意味のまとまりより前の意味のまとまり中の文節に対応付けられた画像を、次に画像との相関が高い文節が来るまで引き続き対応付けておく、という方法も可能である。
【００５１】
実施の形態２では、記事本文の文節ごとにキャプション要約との相関を計算し、文節ごとに対応する画像を決定していた。しかし、文節ごとに画像を対応付けると、画像を表示する時間が極端に短くなる場合があった。
一方、実施の形態３のように係り受け解析を行うことで、係る文節と係られる文節の関係性がわかり、複数の文節から成る「意味のまとまり」を求めることができる。そのため、より長い文節列に対して、かつ意味的に間違いの少ない文節列に対して、画像との対応関係を決定することが可能となる。
【００５２】
以上のように、実施の形態３に係る情報処理装置１０は、キャプションを要約してキャプション要約を生成するキャプション要約部１４と、記事本文の文節間の係り受け関係を求めて記事本文を意味のまとまりに分割する係り受け解析部１５とを備え、対応関係決定部１３は、キャプション要約と記事本文の各意味のまとまりとの相関を計算し記事本文の各意味のまとまりと画像との対応関係を決定する構成である。これにより、画面に表示する、または音声で読み上げる記事本文と画面に表示する画像との対応関係をより正確に決定することができる。また、画像を表示する時間が極端に短くなることを抑制でき、画像を見やすくすることができる。
【００５３】
なお、実施の形態３では、情報処理装置１０がキャプション要約部１４を備える構成を示したが、キャプション要約部１４を備えていなくてもよい。その場合、対応関係決定部１３は、キャプションと記事本文の各意味のまとまりとの相関を計算し、記事本文の各意味のまとまりと画像との対応関係を決定する。
【００５４】
実施の形態４．
図１６は、この発明の実施の形態４に係る情報処理装置１０を用いた音声案内装置２０の構成例を示すブロック図である。実施の形態４に係る情報処理装置１０は、図１３に示した実施の形態３の情報処理装置１０に対して本文要約部１６が追加された構成である。図１６において図１３と同一または相当する部分は、同一の符号を付し説明を省略する。
本文要約部１６は、図２に示したプロセッサ１０１がメモリ１０２に格納されているプログラムを実行することにより実現される。あるいは、本文要約部１６は、図３に示した処理回路１０７により実現される。
【００５５】
実施の形態１〜３では、記事本文が要約された場合、画像キャプションとの対応を考慮していないため、記事本文の要約文の中に画像に対応した部分が含まれない可能性があった。しかし、記事の中で画像が付くような部分は重要であると考えられることから、記事本文の要約文の中に画像表示に対応した部分を含めることが好ましい。
【００５６】
図１７は、この発明の実施の形態４に係る情報処理装置１０の動作を示すフローチャートである。図１７のステップＳＴ１〜ＳＴ３，ＳＴ５，ＳＴ６は、図１４のステップＳＴ１〜ＳＴ３，ＳＴ５，ＳＴ６と同じ処理であるため、説明を省略する。
【００５７】
ステップＳＴ６の次のステップＳＴ７において、本文要約部１６は、係り受け解析部１５で得られる係り受け解析結果を用いて記事本文を要約し、記事本文要約を生成する。
【００５８】
図１８は、この発明の実施の形態４に係る情報処理装置１０が処理する記事、および本文要約部１６が生成した記事本文要約の一例を示す図である。記事本文のうちの太字部分が、記事本文要約である。
【００５９】
記事本文の要約方法としては、様々な方法がある。本文要約部１６は、例えば、文が含んでいる単語の重要度を算出し、文が含んでいる単語の重要度の和をその文の重要度とし、重要度が高い文から指定文字数以内の文字列を抽出する。単語の重要度としては、例えばＴＦ−ＩＤＦの値が用いられる。そのとき、本文要約部１６は、キャプション要約部１４で得られるキャプション要約に含まれている単語の重要度を高くすることで、キャプション要約との相関が高い文が記事本文要約に含まれやすくなるようにしてもよい。こうすることで、画像の内容を表すような記事本文要約を生成しやすくすることができる。
【００６０】
ステップＳＴ４Ｃにおいて、対応関係決定部１３は、キャプション要約部１４で得られるキャプション要約と本文要約部１６で得られる記事本文要約とから、キャプション要約と記事本文要約に含まれる各文節との相関を計算し、記事本文要約の各文節と画像との対応関係を決定する。
【００６１】
本文要約部１６を備えた音声案内装置２０において、音声出力部２２が音声で読み上げる、または表示部２３が画面に表示する文は、記事本文でもよいし記事本文要約でもよい。
【００６２】
以上のように、実施の形態４に係る情報処理装置１０は、キャプションを要約してキャプション要約を生成するキャプション要約部１４と、記事本文を要約して記事本文要約を生成する本文要約部１６とを備え、対応関係決定部１３は、キャプション要約と記事本文要約に含まれる各文節との相関を計算し記事本文要約の各文節と画像との対応関係を決定する構成である。これにより、キャプションおよび記事本文を要約した場合でも、画面に表示する、または音声で読み上げる記事本文と画面に表示する画像との対応関係を正確に決定することができる。
【００６３】
なお、実施の形態４では、情報処理装置１０がキャプション要約部１４を備える構成を示したが、キャプション要約部１４を備えていなくてもよい。その場合、対応関係決定部１３は、キャプションと記事本文要約に含まれる各文節との相関を計算し、記事本文要約の各文節と画像との対応関係を決定する。
また、対応関係決定部１３は、キャプションまたはキャプション要約と、記事本文要約に含まれる各意味のまとまりとの相関を計算し、記事本文要約の各意味のまとまりと画像との対応関係を決定してもよい。
【００６４】
実施の形態５．
図１９は、この発明の実施の形態５に係る情報処理装置１０を用いた音声案内装置２０の構成例を示すブロック図である。実施の形態５に係る情報処理装置１０は、図１６に示した実施の形態４の情報処理装置１０と同様の構成であるが、本文要約部１６からキャプション要約部１４へ矢印が伸びている点が異なる。
【００６５】
図２０は、この発明の実施の形態５に係る情報処理装置１０の動作を示すフローチャートである。図２０のステップＳＴ１〜ＳＴ３，ＳＴ４Ｃ，ＳＴ６，ＳＴ７は、図１７のステップＳＴ１〜ＳＴ３，ＳＴ４Ｃ，ＳＴ６，ＳＴ７と同じ処理であるため、説明を省略する。
【００６６】
ステップＳＴ７の次のステップＳＴ８において、キャプション要約部１４は、形態素解析部１１ａで得られるキャプションの形態素解析結果と本文要約部１６で得られる記事本文要約とを用いてキャプションを要約し、キャプション要約を生成する。このとき、キャプション要約部１４は、例えば実施の形態４のようにＴＦ−ＩＤＦ等をもとに、記事本文要約を含むようにキャプション要約を生成する。
【００６７】
これによって、キャプションを表示する領域が限られている場合などに、記事本文要約に含まれる単語または文節の重要度を高くしてキャプション要約に含まれやすくすることで、音声で読み上げ中の記事本文要約と画像との対応がより正確になり、わかりやすくなる。
【００６８】
また、キャプション要約部１４は、キャプション要約を制御部２１へ出力する。制御部２１は、記事本文要約の文節が音声で読み上げられているときに、その文節に対応する画像とキャプション要約部１４で得られるキャプション要約とを一緒に画面に表示するように、表示部２３を制御する。表示部２３は、制御部２１の制御下で、画像とキャプション要約とを表示する。
【００６９】
以上のように、実施の形態５におけるキャプション要約部１４は、記事本文要約を含むようにキャプション要約を生成する構成である。これにより、キャプションおよび記事本文を要約した場合でも、画面に表示する、または音声で読み上げる記事本文と画面に表示する画像との対応関係を正確に決定することができる。
【００７０】
なお、実施の形態５では、対応関係決定部１３がキャプション要約と記事本文要約に含まれる各文節との相関を計算し、記事本文要約の各文節と画像との対応関係を決定する構成を示したが、キャプション要約と記事本文要約に含まれる各意味のまとまりとの相関を計算し、記事本文要約の各意味のまとまりと画像との対応関係を決定する構成にしてもよい。
【００７１】
また、実施の形態５では、キャプション要約部１４が生成したキャプション要約を表示部２３が画面に表示する構成を示したが、キャプション要約を画面に表示しなくてもよい。
また、実施の形態２〜４において、実施の形態５のように表示部２３がキャプション要約を画面に表示する構成にしてもよい。
【００７２】
実施の形態６．
図２１は、この発明の実施の形態６に係る情報処理装置１０を用いた音声案内装置２０の構成例を示すブロック図である。実施の形態６に係る情報処理装置１０は、図１９に示した実施の形態５の情報処理装置１０に対して第２の対応関係決定部１７が追加された構成である。図２１において図１９と同一または相当する部分は、同一の符号を付し説明を省略する。なお、本文要約部１６は、実施の形態４のように、キャプション要約を含むように記事本文要約を生成してもよい。あるいは、キャプション要約部１４は、実施の形態５のように、記事本文要約を含むようにキャプション要約を生成してもよい。
第２の対応関係決定部１７は、図２に示したプロセッサ１０１がメモリ１０２に格納されているプログラムを実行することにより実現される。あるいは、第２の対応関係決定部１７は、図３に示した処理回路１０７により実現される。
【００７３】
実施の形態５は、文節または意味のまとまりと画像との対応関係を決定する構成だったので、画像の表示切り替え頻度が高くなる場合があった。
実施の形態６では、第２の対応関係決定部１７は、一文の中に複数の文節があり、一文に対して複数の画像が対応している場合、各文節の重要度を求め、重要度が高い文節に対応する画像を、その文に対応する画像として決定する。なお、画像を対応付ける単位は、一文に限定されるものではなく、段落など、一文以上の文のまとまりであってもよいし、記事本文を要約した記事本文要約であってもよい。
【００７４】
図２２は、この発明の実施の形態６に係る情報処理装置１０の動作を示すフローチャートである。図２２のステップＳＴ１〜ＳＴ８は、図２０のステップＳＴ１〜ＳＴ８と同じ処理であるため、説明を省略する。
【００７５】
ステップＳＴ４Ｃの次のステップＳＴ９において、第２の対応関係決定部１７は対応関係決定部１３で得られる記事本文の各文節と画像との対応関係をもとに、記事本文のうちの一文以上の文のまとまりと対応関係にある画像が複数あるか否かを確認する。第２の対応関係決定部１７は、上記文のまとまりと対応関係にある画像が複数ある場合、単語ごとの重要度を表す単語重要度情報をもとに、記事本文の各文節の重要度を求め、上記文のまとまりにおいて最も高い重要度を持つ文節に対応する一枚の画像を、上記文のまとまりと対応関係にある画像と決定して、上記文のまとまりと一枚の画像との対応関係を出力する。一方、第２の対応関係決定部１７は、上記文のまとまりと対応関係にある画像が一枚である場合、上記文のまとまりとその画像との対応関係を出力する。
【００７６】
なお、第２の対応関係決定部１７は、文節ごとに重要度を求めるのではなく、意味のまとまりごとに重要度を求めてもよい。
単語重要度情報とは、例えばＴＦ−ＩＤＦの値である。この場合、第２の対応関係決定部１７は、文節または意味のまとまりが含んでいる単語の重要度を算出し、文節または意味のまとまりが含んでいる単語の重要度の和をその文節または意味のまとまりの重要度とする。
【００７７】
また、履歴情報を用いて、過去に処理した記事に含まれる単語の重要度を高く、もしくは低く設定したもの、または、ユーザが発話した音声データを取得してユーザが嗜好するキーワードをリスト化した情報を用いて、キーワードに含まれる単語の重要度を高く設定したもの等を、単語重要度情報にしてもよい。過去に処理した記事に含まれる単語、つまり過去にユーザがよく見ている記事に含まれる単語は、ユーザが興味を持った内容であると考えられるため、そのような単語の重要度を高くすれば、ユーザが興味を持つ部分が選ばれやすくなる。一方で、ユーザは同じ内容の記事ばかり見るのではなく、まだ見ていない新しい内容の記事が読みたくなることもあり得る。そのような場合には、過去によく見ている記事に含まれる単語の重要度を低くすることで、ユーザがすでに知っている単語が選ばれにくくなり、まだ知らない内容が選ばれやすくなる。上記のような考えから、目的に応じて、過去に処理した記事に含まれる単語の重要度を高くしてもよいし、低くしてもよい。
これにより、ユーザに適した画像を優先して表示することができる。
【００７８】
図２３は、この発明の実施の形態６に係る情報処理装置１０における単語重要度情報の一例を示す図である。この単語重要度情報では、「佐藤花子」の単語重要度が「６」、「鈴木一郎」の単語重要度が「２」と定められている。
例えば、図１５に示す記事本文のうちの一文に対して一枚の画像を決定する場合を仮定する。対応関係決定部１３により、キャプション要約「佐藤花子元防衛相」が付いた画像は、意味のまとまり「民衆党県連を批判しながら出馬表明した同党衆院議員の佐藤花子元防衛相に対し、」と対応付けられている。また、キャプション要約「鈴木一郎元総務相」が付いた画像は、意味のまとまり「前県知事で総務相も務めた鈴木一郎氏が」に対応付けられている。つまり、図１５に示す一文には、二枚の画像が対応付けられている。このとき、図２３に示す単語重要度を用いると、「鈴木一郎」を含む意味のまとまりの重要度に比べて、「佐藤花子」を含む意味のまとまりの重要度の方が高いため、この一文に対応した画像としてキャプション「佐藤花子元防衛相」が付いた画像が選ばれる。
【００７９】
以上のように、実施の形態６に係る情報処理装置１０は、記事本文のうちの一文以上の文のまとまりと対応関係にある画像が複数ある場合、単語ごとの重要度を表す単語重要度情報をもとに記事本文の文節または意味のまとまりの重要度を求め、文のまとまりにおいて最も高い重要度を持つ文節または意味のまとまりに対応する画像を、文のまとまりと対応関係にある画像と決定する第２の対応関係決定部１７を備える構成である。これにより、文または文章に最も適した画像を一枚決定することができる。また、画像を表示する時間が極端に短くなることを抑制でき、画像を見やすくすることができる。
【００８０】
実施の形態７．
図２４は、この発明の実施の形態７に係る情報処理装置１０を用いた音声案内装置２０の構成例を示すブロック図である。実施の形態７に係る情報処理装置１０は、図１に示した実施の形態１の情報処理装置１０に対して音声取得部２４と音声認識部２５が追加された構成である。図２４において図１と同一または相当する部分は、同一の符号を付し説明を省略する。
実施の形態７では、情報処理装置１０に対して記事本文が入力される代わりに、音声データを音声認識して得られた文字列が入力される。
【００８１】
図２５および図２６は、この発明の実施の形態７に係る情報処理装置１０を用いた音声案内装置２０のハードウェア構成の一例を示す図である。図２５および図２６において図２と同一または相当する部分は、同一の符号を付し説明を省略する。
図２５に示すハードウェア構成例では、情報処理装置１０における音声取得部２４は、マイクロフォンなどの音声を取得するセンサ１０８である。情報処理装置１０における音声認識部２５は、プロセッサ１０１がメモリ１０２に格納されているプログラムを実行することにより実現される。
あるいは、図２６に示すハードウェア構成例のように、音声認識部２５は、専用のハードウェアである処理回路１０７により実現されてもよい。
【００８２】
音声案内装置２０は、ユーザが発話した音声を音声データとして取得する音声取得部２４と、音声取得部２４が取得した音声データを音声認識して文字列を生成する音声認識部２５とを備える。音声認識部２５が生成した文字列は、情報処理装置１０の形態素解析部１１ｂへ入力される。情報処理装置１０は、音声データを音声認識して得られた文字列に対して、記事本文と同様の処理を行う。
【００８３】
これにより、音声案内装置２０は、ユーザが発話した内容に対応する画像を表示したり、強調したりすることができる。この音声案内装置２０は、プレゼンテーション等に使用できるほか、情報機器を音声認識結果により制御する場合に、音声でボタンを選択する際に該当するボタン画像を強調表示する用途などに使用できる。
【００８４】
なお、実施の形態１〜６でも、情報処理装置１０に対して記事本文が入力される代わりに、音声データを音声認識して得られた文字列が入力される構成とすることが可能である。
【００８５】
また、実施の形態１〜７では、形態素解析部１１ａがキャプションを形態素解析し、形態素解析部１１ｂが記事本文を形態素解析する構成であったが、一つの形態素解析部がキャプションおよび記事本文を形態素解析する構成であってもよい。
また、実施の形態１〜７では、日本語を対象とした情報処理装置１０および音声案内装置２０を説明したが、情報処理装置１０および音声案内装置２０が対象とする言語は日本語に限定されるものではない。
また、実施の形態１〜７では、記事本文を音声で読み上げる音声案内装置２０に対して情報処理装置１０を用いる構成であったが、記事本文を画面表示する情報提示装置に対して情報処理装置１０を用いる構成であってもよい。
また、実施の形態１〜７では、音声案内装置２０が情報処理装置１０を内蔵した構成であったが、情報処理装置１０が音声案内装置２０とは別に構成され、情報の授受が可能なように接続されていてもよい。
【００８６】
上記以外にも、この発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００８７】
この発明に係る情報処理装置は、画面に表示する、または音声で読み上げる記事本文と画面に表示する画像との対応関係を正確に決定するようにしたので、カーナビゲーションシステム、エレベータ内ディスプレイ、サイネージ、スマートフォン、およびテレビの番組表読み上げ等、情報を画面表示する情報提示装置および情報を音声で読み上げる音声案内装置などに用いるのに適している。
【符号の説明】
【００８８】
１０  情報処理装置、１１ａ  形態素解析部、１１ｂ  形態素解析部、１２  文節取得部、１３  対応関係決定部、１４  キャプション要約部、１５  係り受け解析部、１６  本文要約部、１７  第２の対応関係決定部、２０  音声案内装置、２１  制御部、２２  音声出力部、２３  表示部、２４  音声取得部、２５  音声認識部、１０１  プロセッサ、１０２  メモリ、１０３  ハードディスクドライブ、１０４  スピーカ、１０５  ディスプレイ、１０６  バス、１０７  処理回路、１０８  センサ。
【図１】
0006526349.tif 000002
【図２】
0006526349.tif 000003
【図３】
0006526349.tif 000004
【図４】
0006526349.tif 000005
【図５】
0006526349.tif 000006
【図６】
0006526349.tif 000007
【図７】
0006526349.tif 000008
【図８】
0006526349.tif 000009
【図９】
0006526349.tif 000010
【図１０】
0006526349.tif 000011
【図１１】
0006526349.tif 000012
【図１２】
0006526349.tif 000013
【図１３】
0006526349.tif 000014
【図１４】
0006526349.tif 000015
【図１５】
0006526349.tif 000016
【図１６】
0006526349.tif 000017
【図１７】
0006526349.tif 000018
【図１８】
0006526349.tif 000019
【図１９】
0006526349.tif 000020
【図２０】
0006526349.tif 000021
【図２１】
0006526349.tif 000022
【図２２】
0006526349.tif 000023
【図２３】
0006526349.tif 000024
【図２４】
0006526349.tif 000025
【図２５】
0006526349.tif 000026
【図２６】
0006526349.tif 000027