(57)【要約】【課題】通信端末装置等の表示装置に表示させる、文書画像を含むストーリー性のあるコンテンツの表示データの内容にマッチした情報を、表示装置を介してユーザに提供できるサーバ装置等を提供する。【解決手段】上記コンテンツに含まれる文字列のテキストデータをストーリー順に記録し、テキストデータに基づいてコンテンツを場面毎に分割したセグメントに属する全てのテキストデータに同一の識別子情報を設定する。コンテンツの表示データを特定する情報を表示装置から受信すると、表示データに含まれるテキストデータを特定し、それに設定された識別子情報に基づいてセグメントを決定し、セグメントに属する全てのテキストデータの文字列の中から所定の条件を満たす単語を重要語として決定する。そして、重要語に関連するネットワーク上の参照可能な情報を表示データの内容に関連する情報として取得する。取得した情報は表示装置を介してユーザに提供される。【選択図】図１
2015069387.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して接続され、かつ文書画像を含みストーリー性のあるコンテンツを表示させる表示装置を介して所定の情報をユーザに提供するサーバ装置であって、
前記コンテンツに含まれる文字列のテキストデータをストーリー順にデータベースに記録する記録手段と、
前記データベースに記録したテキストデータの中から、所定の場面転換表現を示す文字列からなるテキストデータを抽出する抽出手段と、
抽出した場面転換表現のテキストデータに基づいて前記コンテンツを場面毎に分割した部分コンテンツをセグメントとし、セグメントに属する全てのテキストデータに同一の識別子情報を設定する設定手段と、
前記表示装置に表示させる前記コンテンツの表示データを特定する特定情報を前記表示装置から受信すると、受信した特定情報に基づいて当該表示データに含まれるテキストデータを特定する特定手段と、
特定した前記テキストデータに設定された前記識別子情報に基づいて当該テキストデータが属するセグメントを決定する決定手段と、
決定した前記セグメントに属する全てのテキストデータの文字列の中から所定の条件を満たす単語を重要語として決定し、決定した前記重要語に関連するネットワーク上の参照可能な参照コンテンツ情報を、前記表示データに含まれる特定又は全てのテキストデータの内容に関連する参照コンテンツ情報として、データベース又はネットワークを介して外部から取得する取得手段と、
取得した前記参照コンテンツ情報又は該参照コンテンツを特定する特定情報をユーザに提供する提供手段と、
を備え、
前記設定手段は、
抽出した場面転換表現のテキストデータと、該テキストデータの前に配列されて記録されたテキストデータとの間を境界として、前記コンテンツを分割することを特徴とするサーバ装置。
【請求項２】
請求項１に記載のサーバ装置において、
前記コンテンツが画像データである場合には、
前記画像データにおける文字列を抽出してテキストデータに変換するＯＣＲ手段を備える、サーバ装置。
【請求項３】
請求項２に記載のサーバ装置において、
前記画像データにおける吹き出し領域を検出する検出手段を備え、
前記ＯＣＲ手段は、前記検出手段が検出した前記吹き出し領域の文字列を抽出してテキストデータに変換する、サーバ装置。
【請求項４】
請求項１に記載のサーバ装置において、
前記文字列が、吹き出し領域の文字列である、サーバ装置。
【請求項５】
請求項１〜４のいずれか１項に記載のサーバ装置において、
前記取得手段は、
決定した前記セグメントに属する全てのテキストデータの文字列を単語に分割して品詞を特定し、
名詞に該当する前記単語を、当該セグメントの重要語として決定し、
前記参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における文字列を単語に分割して品詞を特定し、
名詞に該当する前記単語を、当該参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における重要語として決定し、
前記セグメントの重要語と、前記参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における重要語との類似度を算出して該類似度が所定の条件を満たす参照コンテンツを取得することを特徴とするサーバ装置。
【請求項６】
請求項５に記載のサーバ装置において、
前記取得手段は、
前記セグメントの重要語の出現頻度を算出し、
前記表示データに含まれる特定又は全てのテキストデータの文字列における重要語に対して設定される重み付け値に基づいて、前記セグメントの重要語に対して重み付けを行い、
重み付けを行った前記セグメントの重要語と、前記参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における重要語との類似度を算出する、サーバ装置。
【請求項７】
ネットワークを介して接続され、かつ文書画像を含みストーリー性のあるコンテンツを表示させる表示装置を介して所定の情報をユーザに提供するサーバ装置を、
前記コンテンツに含まれる文字列のテキストデータをストーリー順にデータベースに記録する記録手段、
前記データベースに記録したテキストデータの中から、所定の場面転換表現を示す文字列からなるテキストデータを抽出する抽出手段、
抽出した場面転換表現のテキストデータに基づいて前記コンテンツを場面毎に分割した部分コンテンツをセグメントとし、セグメントに属する全てのテキストデータに同一の識別子情報を設定する設定手段、
前記表示装置に表示させる前記コンテンツの表示データを特定する特定情報を前記表示装置から受信すると、受信した特定情報に基づいて当該表示データに含まれるテキストデータを特定する特定手段、
特定した前記テキストデータに設定された前記識別子情報に基づいて当該テキストデータが属するセグメントを決定する決定手段、
決定した前記セグメントに属する全てのテキストデータの文字列の中から所定の条件を満たす単語を重要語として決定し、決定した前記重要語に関連するネットワーク上の参照可能な参照コンテンツ情報を、前記表示データに含まれる特定又は全てのテキストデータの内容に関連する参照コンテンツ情報として、データベース又はネットワークを介して外部から取得する取得手段、
取得した前記参照コンテンツ情報又は該参照コンテンツを特定する特定情報をユーザに提供する提供手段、
として機能させ、
前記設定手段は、
抽出した場面転換表現のテキストデータと、該テキストデータの前に配列されて記録されたテキストデータとの間を境界として、前記コンテンツを分割するように前記サーバ装置を機能させることを特徴とするプログラム。
【請求項８】
ネットワークを介して接続され、かつ文書画像を含みストーリー性のあるコンテンツを表示させる表示装置を介して所定の情報をユーザに提供する通信方法であって、
前記コンテンツに含まれる文字列のテキストデータをストーリー順にデータベースに記録する記録工程と、
前記データベースに記録したテキストデータの中から、所定の場面転換表現を示す文字列からなるテキストデータを抽出する抽出工程と、
抽出した場面転換表現のテキストデータに基づいて前記コンテンツを場面毎に分割した部分コンテンツをセグメントとし、セグメントに属する全てのテキストデータに同一の識別子情報を設定する設定工程と、
前記表示装置に表示させる前記コンテンツの表示データを特定する特定情報を前記表示装置から受信すると、受信した特定情報に基づいて当該表示データに含まれるテキストデータを特定する特定工程と、
特定した前記テキストデータに設定された前記識別子情報に基づいて当該テキストデータが属するセグメントを決定する決定工程と、
決定した前記セグメントに属する全てのテキストデータの文字列の中から所定の条件を満たす単語を重要語として決定し、決定した前記重要語に関連するネットワーク上の参照可能な参照コンテンツ情報を、前記表示データに含まれる特定又は全てのテキストデータの内容に関連する参照コンテンツ情報として、データベース又はネットワークを介して外部から取得する取得工程と、
取得した前記参照コンテンツ情報又は該参照コンテンツを特定する特定情報をユーザに提供する提供工程と、
を含み、
前記設定工程は、
抽出した場面転換表現のテキストデータと、該テキストデータの前に配列されて記録されたテキストデータとの間を境界として、前記コンテンツを分割することを特徴とする通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信端末装置等の表示装置を介して所定の情報をユーザに提供するサーバ装置及びそのプログラム、並びに通信方法に関する。
【背景技術】
【０００２】
近年、インターネットなどのネットワーク及びパーソナルコンピュータなどの通信端末装置の発達に伴って、漫画コミック等の書籍、ニュース等の記事、映画、画像、及び、商品またはサービス等の広告（以下、まとめて「コンテンツ」という。）を、ネットワークまたは記録媒体を介して電子的に閲覧することが一般化している。最近では、通信機能を有する携帯ゲーム機器、タブレット型携帯端末装置、携帯用電話機などの携帯可能な携帯用通信端末装置を介してコンテンツを閲覧させることも多く行われている。
【０００３】
このような状況下において、ユーザが通信端末装置等の表示装置を用いて閲覧するコンテンツの閲覧データの内容に関連し、かつ、ユーザにとって有用であると想定される各種情報を推薦してユーザに提供するシステムが知られている（例えば、特許文献１）。特許文献１には、閲覧可能に表示されたコンテンツに登場する人物を示す情報アイテムがユーザにより指定された場合に、当該情報アイテムに関連付けられた付随的なデータ（すなわち、メタデータ）を解析し、当該人物に関連する映画を紹介する情報、当該人物が出演する番組に関する情報などの関連情報を当該情報アイテムの周囲に表示するシステムが提案されている。
【０００４】
また、一方で、漫画等の画像データに含まれる文字列を吹き出し領域ごとに分離して抽出するために、吹き出し領域を検出する技術が知られている（例えば、非特許文献１）。非特許文献１には、ＡｄａＢｏｏｓｔにより検出した文字領域を基にｏｐｅｎｉｎｇ処理を用いて吹き出し領域の候補を検出し、その吹き出し領域の候補に対しＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）を用いて吹き出し領域の選択及び分離を行う手法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２６２４４１号公報
【非特許文献】
【０００６】
【非特許文献１】田中孝昌，外山史，宮道壽一，東海林健二：マンガ画像の吹き出し検出と分類，映像情報メディア学会誌，Ｖｏｌ．６４，Ｎｏ．１２，ｐｐ．１９３３−１９３９（２０１０）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記非特許文献１に開示された手法で、画像データにおける吹き出し領域を検出して吹き出し領域ごとに文字列を分離して抽出しても、漫画、コミック等の文書画像を含むストーリー性のあるコンテンツは、情景描写を画像で示されていることが多く、通信端末装置等の表示装置に表示される当該コンテンツの各コマや各ページの表示データから得られる文字情報量が少ないため、特許文献１に開示されたシステムを用いた場合には、表示装置に表示される当該コンテンツの各コマや各ページの表示データの内容に関連する情報が多量に得られ、表示データの内容にマッチした情報をユーザに提供できない可能性がある。
【０００８】
本発明は、上記課題を解決するためになされたものであり、その目的は、通信端末装置等の表示装置に表示させる、文書画像を含むストーリー性のあるコンテンツの表示データの内容にマッチした情報を、表示装置を介してユーザに提供することができるサーバ装置等を提供することにある。
【課題を解決するための手段】
【０００９】
（１）上述した課題を解決するため、本発明のサーバ装置は、ネットワークを介して接続され、かつ文書画像を含みストーリー性のあるコンテンツを表示させる表示装置を介して所定の情報をユーザに提供するサーバ装置であって、前記コンテンツに含まれる文字列のテキストデータをストーリー順にデータベースに記録する記録手段と、前記データベースに記録したテキストデータの中から、所定の場面転換表現を示す文字列からなるテキストデータを抽出する抽出手段と、抽出した場面転換表現のテキストデータに基づいて前記コンテンツを場面毎に分割した部分コンテンツをセグメントとし、セグメントに属する全てのテキストデータに同一の識別子情報を設定する設定手段と、前記表示装置に表示させる前記コンテンツの表示データを特定する特定情報を前記表示装置から受信すると、受信した特定情報に基づいて当該表示データに含まれるテキストデータを特定する特定手段と、特定した前記テキストデータに設定された前記識別子情報に基づいて当該テキストデータが属するセグメントを決定する決定手段と、決定した前記セグメントに属する全てのテキストデータの文字列の中から所定の条件を満たす単語を重要語として決定し、決定した前記重要語に関連するネットワーク上の参照可能な参照コンテンツ情報を、前記表示データに含まれる特定又は全てのテキストデータの内容に関連する参照コンテンツ情報として、データベース又はネットワークを介して外部から取得する取得手段と、取得した前記参照コンテンツ情報又は該参照コンテンツを特定する特定情報をユーザに提供する提供手段と、を備え、前記設定手段は、抽出した場面転換表現のテキストデータと、該テキストデータの前に配列されて記録されたテキストデータとの間を境界として、前記コンテンツを分割する構成を有している。
【００１０】
この構成により、本発明のサーバ装置は、文書画像を含みストーリー性のあるコンテンツを場面転換表現の文字列に基づいてセグメント単位に分割し、表示装置から、該表示装置に表示させるコンテンツの表示データを特定する特定情報を受信すると、表示データの内容に関連する情報として、表示データの文字列が属するセグメントに含まれる全ての文字列の重要語に関連する様々な情報を取得し、取得した情報をユーザに提供することができる。
【００１１】
したがって、本発明のサーバ装置は、例えば、漫画、コミック、バンド・デシネなどの、情景描写を画像で示し、文字情報量が少ない上記コンテンツに対して、該コンテンツの各コマ又は各ページ等の単語に関連する多量の情報から、該コンテンツの各場面に含まれる単語に関連する情報に絞り込んで、表示データに含まれる特定又は全ての文字列に関連の深い情報を取得することができる。その結果、上記コンテンツの表示データの内容にマッチした情報をユーザに提供することができる。また、本発明のサーバ装置は、表示装置にコンテンツの表示データを表示させるタイミングで取得した情報をユーザに自動的に提供できるので、ユーザの利便性を向上させることができる。
【００１２】
（２）また、本発明のサーバ装置は、前記コンテンツが画像データである場合には、前記画像データにおける文字列を抽出してテキストデータに変換するＯＣＲ手段を備える構成を有している。
【００１３】
この構成により、本発明のサーバ装置は、コンテンツに含まれる文字列が画像データの一部として含まれている場合であっても、画像データにおける文字列を抽出してテキストデータに変換できる。したがって、例えば、漫画、コミック、バンド・デシネなどの文字列を画像データとして含むコンテンツに対しても表示データの内容にマッチした情報をユーザに提供することができる。
【００１４】
（３）また、本発明のサーバ装置は、前記画像データにおける吹き出し領域を検出する検出手段を備え、前記ＯＣＲ手段は、前記検出手段が検出した前記吹き出し領域の文字列を抽出してテキストデータに変換する構成を有している。
【００１５】
この構成により、本発明のサーバ装置は、画像データに含まれる全ての文字列から、擬態語、擬音語、擬情語などの吹き出し領域以外の文字列を除いて、吹き出し領域の文字列のみを抽出し、テキストデータに変換することができる。したがって、例えば、漫画、コミック、バンド・デシネなどの文字列を画像データとして含むコンテンツに対して表示データの内容にマッチした情報を効率よく取得することができるとともに、ユーザの満足度を向上させることができる。
【００１６】
（４）また、本発明のサーバ装置は、前記文字列が、吹き出し領域の文字列である構成を有している。
【００１７】
この構成により、本発明のサーバ装置は、各場面に含まれる全ての文字列から、擬態語、擬音語、擬情語などの吹き出し領域以外の文字列を除いた、各場面に含まれる全ての吹き出し領域の文字列の重要語を対象として、関連の深い情報を取得することができる。したがって、コンテンツの表示データの内容にマッチした情報を効率よく取得できるとともに、ユーザの満足度を向上させることができる。
【００１８】
（５）また、本発明のサーバ装置は、前記取得手段は、決定した前記セグメントに属する全てのテキストデータの文字列を単語に分割して品詞を特定し、名詞に該当する前記単語を、当該セグメントの重要語として決定し、前記参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における文字列を単語に分割して品詞を特定し、名詞に該当する前記単語を、当該参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における重要語として決定し、前記セグメントの重要語と、前記参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における重要語との類似度を算出して該類似度が所定の条件を満たす参照コンテンツを取得する構成を有している。
【００１９】
この構成により、本発明のサーバ装置は、コンテンツの各場面に含まれる文字列の中から名詞に該当する単語をセグメントの重要語として決定しつつ、参照コンテンツの候補情報に含まれる一部又は全部における文字列の中から名詞に該当する単語を参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における重要語として決定することができる。したがって、セグメントの重要語と、参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における重要語との類似度を算出することにより、ユーザに提供する参照コンテンツ情報を選択して取得することができるので、コンテンツの表示データの内容によりマッチした情報を効率よく取得できるとともに、ユーザの満足度を向上させることができる。
【００２０】
（６）また、本発明のサーバ装置は、前記取得手段は、前記セグメントの重要語の出現頻度を算出し、前記表示データに含まれる特定又は全てのテキストデータの文字列における重要語に対して設定される重み付け値に基づいて、前記セグメントの重要語に対して重み付けを行い、重み付けを行った前記セグメントの重要語と、前記参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における重要語との類似度を算出する構成を有している。
【００２１】
この構成により、本発明のサーバ装置は、各場面に含まれる全ての文字列の重要語に関連する情報のうち、表示装置に表示させるコンテンツの表示データに含まれる特定又は全ての文字列の重要語に関連の深い情報を取得することができるので、コンテンツの表示データの内容によりマッチした情報をユーザに提供することができる。
【００２２】
（７）また、上述した課題を解決するため、本発明のプログラムは、ネットワークを介して接続され、かつ文書画像を含みストーリー性のあるコンテンツを表示させる表示装置を介して所定の情報をユーザに提供するサーバ装置を、前記コンテンツに含まれる文字列のテキストデータをストーリー順にデータベースに記録する記録手段、前記データベースに記録したテキストデータの中から、所定の場面転換表現を示す文字列からなるテキストデータを抽出する抽出手段、抽出した場面転換表現のテキストデータに基づいて前記コンテンツを場面毎に分割した部分コンテンツをセグメントとし、セグメントに属する全てのテキストデータに同一の識別子情報を設定する設定手段、前記表示装置に表示させる前記コンテンツの表示データを特定する特定情報を前記表示装置から受信すると、受信した特定情報に基づいて当該表示データに含まれるテキストデータを特定する特定手段、特定した前記テキストデータに設定された前記識別子情報に基づいて当該テキストデータが属するセグメントを決定する決定手段、決定した前記セグメントに属する全てのテキストデータの文字列の中から所定の条件を満たす単語を重要語として決定し、決定した前記重要語に関連するネットワーク上の参照可能な参照コンテンツ情報を、前記表示データに含まれる特定又は全てのテキストデータの内容に関連する参照コンテンツ情報として、データベース又はネットワークを介して外部から取得する取得手段、取得した前記参照コンテンツ情報又は該参照コンテンツを特定する特定情報をユーザに提供する提供手段、として機能させ、前記設定手段は、抽出した場面転換表現のテキストデータと、該テキストデータの前に配列されて記録されたテキストデータとの間を境界として、前記コンテンツを分割するように前記サーバ装置を機能させる構成を有している。
【００２３】
この構成により、本発明のプログラムは、サーバ装置によって、文書画像を含みストーリー性のあるコンテンツを場面転換表現の文字列に基づいてセグメント単位に分割し、表示装置から、該表示装置に表示させるコンテンツの表示データを特定する特定情報を受信すると、表示データの内容に関連する情報として、表示データの文字列が属するセグメントに含まれる全ての文字列の重要語に関連する様々な情報を取得し、取得した情報をユーザに提供することができる。
【００２４】
したがって、本発明のプログラムは、サーバ装置によって、例えば、漫画、コミック、バンド・デシネなどの、情景描写を画像で示し、文字情報量が少ない上記コンテンツに対して、該コンテンツの各コマ又は各ページ等の単語に関連する多量の情報から、該コンテンツの各場面に含まれる単語に関連する情報に絞り込んで、表示データに含まれる特定又は全ての文字列に関連の深い情報を取得することができる。その結果、上記コンテンツの表示データの内容にマッチした情報をユーザに提供することができる。また、本発明のサーバ装置は、表示装置にコンテンツの表示データを表示させるタイミングで取得した情報をユーザに自動的に提供できるので、ユーザの利便性を向上させることができる。
【００２５】
（８）また、上述した課題を解決するため、本発明の通信方法は、ネットワークを介して接続され、かつ文書画像を含みストーリー性のあるコンテンツを表示させる表示装置を介して所定の情報をユーザに提供する通信方法であって、前記コンテンツに含まれる文字列のテキストデータをストーリー順にデータベースに記録する記録工程と、前記データベースに記録したテキストデータの中から、所定の場面転換表現を示す文字列からなるテキストデータを抽出する抽出工程と、抽出した場面転換表現のテキストデータに基づいて前記コンテンツを場面毎に分割した部分コンテンツをセグメントとし、セグメントに属する全てのテキストデータに同一の識別子情報を設定する設定工程と、前記表示装置に表示させる前記コンテンツの表示データを特定する特定情報を前記表示装置から受信すると、受信した特定情報に基づいて当該表示データに含まれるテキストデータを特定する特定工程と、特定した前記テキストデータに設定された前記識別子情報に基づいて当該テキストデータが属するセグメントを決定する決定工程と、決定した前記セグメントに属する全てのテキストデータの文字列の中から所定の条件を満たす単語を重要語として決定し、決定した前記重要語に関連するネットワーク上の参照可能な参照コンテンツ情報を、前記表示データに含まれる特定又は全てのテキストデータの内容に関連する参照コンテンツ情報として、データベース又はネットワークを介して外部から取得する取得工程と、取得した前記参照コンテンツ情報又は該参照コンテンツを特定する特定情報をユーザに提供する提供工程と、を含み、前記設定工程は、抽出した場面転換表現のテキストデータと、該テキストデータの前に配列されて記録されたテキストデータとの間を境界として、前記コンテンツを分割する構成を有している。
【００２６】
この構成により、本発明の通信方法は、文書画像を含みストーリー性のあるコンテンツを場面転換表現の文字列に基づいてセグメント単位に分割し、表示装置から、該表示装置に表示させるコンテンツの表示データを特定する特定情報を受信すると、表示データの内容に関連する情報として、表示データの文字列が属するセグメントに含まれる全ての文字列の重要語に関連する様々な情報を取得し、取得した情報をユーザに提供することができる。
【００２７】
したがって、本発明の通信方法は、例えば、漫画、コミック、バンド・デシネなどの、情景描写を画像で示し、文字情報量が少ない上記コンテンツに対して、該コンテンツの各コマ又は各ページ等の単語に関連する多量の情報から、該コンテンツの各場面に含まれる単語に関連する情報に絞り込んで、表示データに含まれる特定又は全ての文字列に関連の深い情報を取得することができる。その結果、上記コンテンツの表示データの内容にマッチした情報をユーザに提供することができる。また、本発明のサーバ装置は、表示装置にコンテンツの表示データを表示させるタイミングで取得した情報をユーザに自動的に提供できるので、ユーザの利便性を向上させることができる。
【発明の効果】
【００２８】
本発明に係るサーバ装置、プログラム及び通信方法は、通信端末装置等の表示装置に表示させる、文書画像を含むストーリー性のあるコンテンツの表示データの内容にマッチした情報を、表示装置を介してユーザに提供することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態における通信システムの構成を示すシステム構成図である。
【図２】一実施形態における通信端末装置の構成を示すブロック図である。
【図３】一実施形態におけるサーバ装置の構成を示すブロック図である。
【図４】一実施形態におけるサーバ装置内の文書画像コンテンツデータベースに記録される、文書画像を含みストーリー性のあるコンテンツの、通信端末装置に表示させる表示データの一例を示す図である。
【図５】一実施形態におけるサーバ装置内のテキストデータベースに記録されるテキストデータと該テキストデータに対応づけて記録される各種情報の一例を示す図である。
【図６】一実施形態において、文書画像を含みストーリー性のあるコンテンツの表示データに含まれるテキストデータの文字列における重要語の出現頻度、該コンテンツのセグメントにおける重要語の出現頻度、及び表示データに含まれるテキストデータの文字列における重要語に対して設定される重み付け値に基づいてセグメントにおける重要語の出現頻度に重み付けを行った結果、並びに参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における重要語の出現頻度を示す図である。
【図７】一実施形態の通信システムにおいて実行される各処理を示すフローチャートである。
【発明を実施するための形態】
【００３０】
以下、図面を参照しつつ、本発明の実施形態について説明する。なお、以下の実施形態は、通信端末装置と、当該通信端末装置とネットワークを介して接続されるサーバ装置と、を有する通信システムに対し、本発明に係る、サーバ装置、プログラム及び通信方法を適用した場合の実施形態である。
【００３１】
［１］通信システムの構成及び概要
まず、図１を用いて本実施形態における通信システム１の構成及び概要について説明する。なお、図１は、本実施形態における通信システム１の構成を示すシステム構成図である。また、図が煩雑になることを防止するために、図１においては、一部のユーザのみを示している。すなわち、実際の通信システム１においては、表示するよりも多数のユーザ及び通信端末装置１０が存在している。
【００３２】
本実施形態の通信システム１は、漫画、コミックス、バンド・デシネ、ゲーム、動画などの文書画像を含みストーリー性のあるコンテンツ（以下、「起点コンテンツ」という。）を場面転換表現の文字列に基づいてセグメント単位に分割し、通信端末装置１０から、該通信端末装置１０に表示させるコンテンツの表示データを特定する特定情報を受信すると、表示データの内容に関連する情報として、表示データの文字列が属するセグメントに含まれる全ての文字列の重要語に関連する様々な情報を取得し、取得した情報をユーザに提供することができるシステムである。
【００３３】
特に、通信システム１は、例えば、漫画、コミック、バンド・デシネ、ゲーム、動画などの、情景描写を画像で示し、文字情報量が少ない上記コンテンツに対して、該コンテンツの各コマ又は各ページ等の単語に関連する多量の情報から、該コンテンツの各場面に含まれる単語に関連する情報に絞り込んで、表示データに含まれる特定又は全ての文字列に関連の深い情報を取得することができるシステムであり、上記コンテンツの表示データの内容にマッチした情報をユーザに提供することが可能なシステムである。
【００３４】
また、本実施形態の通信システム１は、ＳＮＳその他のネットワークサービスによって起点コンテンツを会員であるユーザに閲覧可能に提供するシステムである。ただし、通信システム１は、非会員のユーザに対して起点コンテンツを閲覧させるようにしてもよい。
【００３５】
具体的には、本実施形態の通信システム１は、図１に示すように、各ユーザによってそれぞれ所持される、複数の通信端末装置１０と、ネットワーク２０と、サーバ装置３０と、ネットワーク２０に接続された基地局ＢＳと、を有している。
【００３６】
なお、ネットワーク２０は、例えば、携帯電話網を含む公衆電話網と、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワークが相互接続されて構成される。ただし、当該ネットワーク２０の構成は、これに限られない。
【００３７】
通信端末装置１０は、通信機能を有し、デジタルコンテンツの表示データを表示することができる装置、例えば、パーソナルコンピュータ（ＰＣ）、スマートフォン、携帯用電話機、タブレット型情報端末装置、携帯型ゲーム機などである。なお、例えば通信端末装置１０は、本発明の表示装置を構成する。
【００３８】
また、通信端末装置１０は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）等のマークアップ言語によって記述されているＷＷＷシステム用のリソースデータと、当該リソースデータのネットワークアドレスを示す固有のＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）とを用いつつ、サーバ装置３０とのデータ通信を行うブラウジング機能を有している。
【００３９】
そして、通信端末装置１０は、ＳＮＳの種々の機能を利用するために、または、サーバ装置３０との間で通信を行うために、予め定められた通信端末装置１０毎に固有の識別情報（以下、単に「端末ＩＤ」という。）を用いる。また、通信端末装置１０は、ブラウジング機能を用いて、サーバ装置３０から受信したＸＭＬデータに基づいて各種情報を表示するとともに、基地局ＢＳ及びネットワーク２０を介してサーバ装置３０と通信接続しつつ、サーバ装置３０からＳＮＳなどの各種サービスの提供を受けるようになっている。
【００４０】
特に、通信端末装置１０は、起点コンテンツの表示操作、起点コンテンツのコマやページを変更する操作などのユーザの操作に基づいて、通信端末装置１０に表示させる起点コンテンツの表示データ（コマ又はページ）を特定する特定情報（以下、「表示データ特定情報」という。）をサーバ装置３０に送信する処理を実行する。そして、通信端末装置１０は、表示データ特定情報の送信に応じてサーバ装置３０が送信した表示データの内容に関連するネットワーク２０上の参照可能な参照コンテンツ情報又は該参照コンテンツを特定する特定情報（以下、「参照コンテンツ特定情報」という。）を受信し、参照コンテンツ情報又は参照コンテンツ特定情報を表示データに関連付けてデータベースに記録する。
【００４１】
なお、通信端末装置１０は、表示データ特定情報の送信処理によって参照コンテンツ情報又は参照コンテンツ特定情報（以下、「参照コンテンツ情報等」という。）を受信しつつ（すなわち、ダウンロードしつつ）、表示データとともに参照コンテンツ情報等をユーザに閲覧可能に表示する処理を実行してもよいし、所定のタイミング、例えば、表示データを閲覧しているユーザからの参照コンテンツ情報等の表示要求に応じて、データベースに記録した参照コンテンツ情報等を読み出し、参照コンテンツ情報等をユーザに閲覧可能に表示する処理を実行してもよい。
【００４２】
なお、表示データ特定情報には、通信端末装置１０の表示領域に表示させる起点コンテンツを特定するための識別情報（以下、「起点コンテンツＩＤ」という。）及び閲覧箇所を特定するための識別情報、すなわち、通信端末装置１０に表示させるコマ、ページ等の表示データの識別情報（以下、「表示データＩＤ」という。）、あるいは、表示データそのものなどが含まれる。また、参照コンテンツ特定情報は、例えば、サムネイルやＵＲＬなどの情報である。
【００４３】
サーバ装置３０は、ＳＮＳ等の各種ネットワークサービスを提供しつつ、通信端末装置１０を介したユーザの指示に基づき、通信端末装置１０と連携しつつ、各種処理を実行する。
【００４４】
特に、サーバ装置３０は、通信端末装置１０から表示データ特定情報を受信すると、表示データ特定情報に基づいてデータベースから表示データを読み出し、表示データに含まれるテキストデータを特定する。
【００４５】
そして、サーバ装置３０は、起点コンテンツを場面毎に分割した部分コンテンツをセグメントとして、各セグメントに属する全てのテキストデータに予め設定された同一の識別子情報（例えば、セグメントＩＤなど）を参照して、特定したテキストデータに設定された識別子情報を特定し、該識別子情報に基づいて、特定したテキストデータが属するセグメントを決定する。
【００４６】
また、サーバ装置３０は、決定したセグメントに属する全てのテキストデータの文字列の中から所定の条件を満たす単語を重要語として決定し、決定した重要語に関連する参照コンテンツ情報をデータベースから抽出し、表示データに含まれる特定又は全てのテキストデータの内容に関連する参照コンテンツ情報として取得する。そして、サーバ装置３０は、取得した参照コンテンツ情報又は参照コンテンツ特定情報と、表示データ特定情報に含まれる起点コンテンツＩＤ及び表示データＩＤを、通信端末装置１０に送信する。
【００４７】
参照コンテンツ情報には、例えば、通信端末装置１０に表示させる表示データの内容に関連するものであって、かつ、起点コンテンツ以外の、書籍、新聞、Ｗｅｂ記事、画像、映像、音楽等のメディア情報、商品の情報、場所やツアーに関する情報、イベント情報など、テキストデータ（各種情報の解説部分を含む）を含む情報が含まれている。また、参照コンテンツ情報には、著者名、書名、書籍紹介文、目次情報、発行所、発行年月日、ＩＳＢＮ、ＤＯＩ、全国書誌番号、起点コンテンツに関するイベント情報などの公式情報を有する、起点コンテンツに関連する情報が含まれていてもよい。
【００４８】
なお、起点コンテンツを場面毎に分割した部分コンテンツ、すなわちセグメントは、サーバ装置３０が、
（１）起点コンテンツになり得るデジタルコンテンツに含まれる文字列のテキストデータを抽出してストーリー順にデータベースに記録し、
（２）データベースに記録したテキストデータの中から、所定の場面転換表現を示す文字列からなるテキストデータを抽出し、
（３）抽出した場面転換表現のテキストデータと、該テキストデータの前に配列されて記録されたテキストデータとの間を境界として、前記コンテンツを分割する
処理を実行することにより作成することができる。
【００４９】
このような構成を有することによって、本実施形態の通信システム１は、サーバ装置３０が、予め、起点コンテンツに含まれる文字列のテキストデータから場面転換表現のテキストデータを抽出して、起点コンテンツを場面毎、すなわちセグメント単位に分割しておき、通信端末装置１０から表示データ特定情報を受信すると、表示データ特定情報に基づいて通信端末装置１０に表示させる表示データに含まれるテキストデータを特定し、該テキストデータが属するセグメントに含まれ、所定の条件を満たす単語に関連する参照コンテンツ情報をデータベースから抽出し、表示データに含まれる特定又は全てのテキストデータの内容に関連する参照コンテンツ情報として取得し、通信端末装置１０に提供することができる。
【００５０】
すなわち、本実施形態の通信システム１は、文書画像を含みストーリー性のあるコンテンツを場面転換表現の文字列に基づいてセグメント単位に予め分割し、通信端末装置１０から表示データ特定情報を受信すると、表示データの内容に関連する情報として、表示データの文字列が属するセグメントに含まれる全ての文字列の重要語に関連する様々な情報を取得し、取得した情報をユーザに提供することができる。
【００５１】
したがって、本実施形態の通信システム１は、例えば、漫画、コミック、バンド・デシネ、ゲーム、動画などの、情景描写を画像で示し、文字情報量が少ない起点コンテンツに対して、該コンテンツの各コマ又は各ページ等の単語に関連する多量の情報から、該コンテンツの各場面に含まれる単語に関連する情報に絞り込んで、表示データに含まれる特定又は全ての文字列に関連の深い情報を取得することができる。すなわち、起点コンテンツの各コマ又は各ページの表示データに含まれる特定又は全ての文字列の限られた重要語に関連する多量の情報から、該コンテンツの各場面に含まれる全ての文字列の重要語に関連する情報に絞り込んで、表示データに含まれる特定又は全ての文字列に関連の深い情報を取得することができる。その結果、上記起点コンテンツの表示データの内容にマッチした情報をユーザに提供することができる。また、本実施形態の通信システム１は、通信端末装置１０にコンテンツの表示データを表示させるタイミングで取得した情報をユーザに自動的に提供できるので、ユーザの利便性を向上させることができる。
【００５２】
なお、起点コンテンツが吹き出しを有するデジタルコンテンツである場合には、通信システム１は、サーバ装置３０が起点コンテンツに含まれる吹き出し領域の文字列のテキストデータを抽出してストーリー順にデータベースに予め記録することとしてもよい。このような構成により、本実施形態の通信システム１は、各場面に含まれる全ての文字列から、擬態語、擬音語、擬情語などの吹き出し領域以外の文字列を除いた、各場面に含まれる全ての吹き出し領域の文字列の重要語を対象として、関連の深い情報を取得することができる。したがって、コンテンツの表示データの内容にマッチした情報を効率よく取得できるとともに、ユーザの満足度を向上させることができる。
【００５３】
また、起点コンテンツが画像データである場合には、通信システム１は、画像データにおける文字列を抽出してテキストデータに変換するＯＣＲ処理を実施することとしてもよい。このような構成により、本実施形態の通信システム１は、コンテンツに含まれる文字列が画像データの一部として含まれている場合であっても、画像データにおける文字列を抽出してテキストデータに変換できる。したがって、例えば、漫画、コミック、バンド・デシネなどの文字列を画像データとして含むコンテンツに対しても表示データの内容にマッチした情報をユーザに提供することができる。
【００５４】
さらに、通信システム１は、画像データにおける吹き出し領域を検出し、検出した吹き出し領域の文字列を抽出してテキストデータに変換するＯＣＲ処理を実施することとしてもよい。このような構成により、本実施形態の通信システム１は、画像データに含まれる全ての文字列から、擬態語、擬音語、擬情語などの吹き出し領域以外の文字列を除いて、吹き出し領域の文字列のみを抽出し、テキストデータに変換することができる。したがって、例えば、漫画、コミック、バンド・デシネなどの文字列を画像データとして含むコンテンツに対して表示データの内容にマッチした情報を効率よく取得することができるとともに、ユーザの満足度を向上させることができる。
【００５５】
［２］通信端末装置
次に、図２を用いて本実施形態の各通信端末装置１０の構成について説明する。なお、図２は、本実施形態の通信端末装置１０の構成を示す構成図である。
【００５６】
本実施形態の通信端末装置１０は、図２に示すように、記録部１００と、ネットワーク通信部１１０と、データ処理部１２０と、表示部１３０と、表示制御部１４０と、操作部１５０と、管理制御部１６０と、を有している。なお、上記の各部は、バスＢによって相互に接続され、各構成要素間におけるデータの転送が実行される。
【００５７】
なお、ネットワーク通信部１１０は、本発明に係る通信端末装置１０の送信手段及び受信手段を構成し、表示制御部１４０及び管理制御部１６０は、本発明に係る通信端末装置１０の表示制御手段を構成する。
【００５８】
記録部１００は、例えば、ハードディスクドライブ（以下、「ＨＤＤ」と略す。）、又は、ＮＡＮＤ型、ＮＯＲ型等の不揮発性フラッシュメモリによって構成される。また、記録部１００は、ネットワーク通信部１１０、及び、管理制御部１６０のワークエリアとしてＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）も含まれる。
【００５９】
また、記録部１００は、アプリケーション記録部１０１と、コンテンツ記録部１０２と、を少なくとも含む。
【００６０】
アプリケーション記録部１０１には、データ処理部１２０、及び、管理制御部１６０によって実行される様々なアプリケーションプログラム（以下、「アプリケーション」という。）が記録されている他に、上記ブラウジング機能を実現するためのブラウザ用のプログラムも記録されている。また、アプリケーション記録部１０１には、ユーザ名、サーバ装置３０が提供する各種のネットワークサービス（例えばＳＮＳなど）を享受するためのユーザＩＤ、当該通信端末装置１０を一意に識別するための端末ＩＤ、当該ユーザに関するユーザ登録情報が記録されている。
【００６１】
コンテンツ記録部１０２には、サーバ装置３０への表示データ特定情報の送信に応じてサーバ装置３０から送信されてくる、表示データの内容に関連する参照コンテンツ情報等が記録される。また、コンテンツ記録部１０２には、表示データを識別するためのテキストコンテンツＩＤや表示データＩＤも記録される。
【００６２】
ネットワーク通信部１１０は、基地局ＢＳの準拠する通信規格により、基地局ＢＳと無線通信チャネルを構築し、ネットワーク２０を経由して、サーバ装置３０と、各種データの授受を行う。特に、ネットワーク通信部１１０は、表示データ特定情報などをサーバ装置３０に送信する。ネットワーク通信部１１０は、表示データ特定情報のサーバ装置３０への送信に応じて、表示データの内容に関連する参照コンテンツ情報、表示データを識別するための識別情報（テキストコンテンツＩＤや表示データＩＤ）などをサーバ装置３０から受信する。
【００６３】
なお、基地局ＢＳの準拠する通信規格はネットワーク２０の構成により変化する。例えば、ネットワーク２０が携帯電話網を含む場合に、３ＧＰＰ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ  Ｐｅｒｔｎｅｒｓｈｉｐ  Ｐｒｏｊｅｃｔ）又は３ＧＰＰ２、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）などの通信規格に準拠することになる。
【００６４】
データ処理部１２０は、アプリケーション記録部１０１に記録されているアプリケーションに応じて各種データ処理を実行する。例えば、データ処理部１２０は、ユーザが操作部１５０を操作することによって、起点コンテンツの表示入力、起点コンテンツのコマ又はページ変更入力（表示データの変更）などを受け付けた場合には、表示データ特定情報をネットワーク通信部１１０を介してサーバ装置３０に送信する処理を実行する。そして、データ処理部１２０は、表示データ特定情報のサーバ装置３０への送信に応じて、ネットワーク通信部１１０がサーバ装置３０から表示データの内容に関連する参照コンテンツ情報、表示データを識別するための識別情報（テキストコンテンツＩＤや表示データＩＤ）などを受信すると、表示データを識別するための識別情報を参照して、起点コンテンツの表示データに対応づけて参照コンテンツ情報等を記録する。さらに、データ処理部１２０は、ユーザが操作部１５０を操作することによって、参照コンテンツ情報等の表示指示を受け付けた場合には、コンテンツ記録部１０２に記録した参照コンテンツ情報等を読み出して表示制御部１４０に参照コンテンツ情報等の参照画面データを生成させ、表示部１３０に参照画面データを表示させる。
【００６５】
表示部１３０は、例えば、液晶素子又は有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルによって構成され、表示制御部１４０において生成された表示データに基づいて所定の画像を表示する。
【００６６】
表示制御部１４０は、表示部１３０に表示させるために必要な表示データを生成するようになっており、生成された表示データを当該表示部１３０に出力する。特に、表示制御部１４０は、起点コンテンツの表示指示画面データ、参照コンテンツの表示指示画面データ、起点コンテンツの表示データ、参照コンテンツ情報等の参照画面データなどを生成する。
【００６７】
操作部１５０は、各種の確認ボタン、各操作指令を入力する操作ボタン、テンキーなどの多数のキー及びタッチパネルにより構成され、各操作を行う際に用いられるようになっている。
【００６８】
管理制御部１６０は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、記録部１００に記録された各種のアプリケーションを実行することにより、通信端末装置１０の全般的な機能を総括的に制御する。特に、管理制御部１６０は、アプリケーション記録部１０１に記憶された各種アプリケーションに基づいて、全体の制御及び各処理の実行を監視する。
【００６９】
［３］サーバ装置
次に、図３〜図６の各図を用いて本実施形態のサーバ装置３０の構成について説明する。なお、図３は、本実施形態のサーバ装置３０の構成を示すブロック図であり、図４は、本実施形態のサーバ装置３０内の文書画像コンテンツＤＢ３３２に記録される起点コンテンツの表示データの一例を示す図であり、図５は、本実施形態のサーバ装置３０内のテキストＤＢ３３３に記録されるテキストデータと該テキストデータに対応づけて記録される各種情報の一例を示す図であり、図６は、本実施形態のサーバ装置３０において、起点コンテンツのセグメントにおける重要語のベクトルと、参照コンテンツの候補情報に含まれるテキストデータの重要語のベクトルとの類似度の算出を説明するための図である。
【００７０】
本実施形態のサーバ装置３０は、図３に示すように、通信制御部３１０と、ＲＯＭ／ＲＡＭ３２０と、記録装置３３０と、サーバデータ処理部３４０と、サーバ管理制御部３５０と、を有する。なお、上記の各部は、バスＢによって相互に接続され、各構成要素間におけるデータの転送が実行される。
【００７１】
なお、例えば、通信制御部３１０は、本発明に係るサーバ装置３０の受信手段及び送信（提供）手段を構成し、記録装置３３０は、本発明に係るサーバ装置３０のデータベースを構成する。また、例えば、サーバデータ処理部３４０は、本発明に係るサーバ装置３０の検出手段、ＯＣＲ手段、記録手段、抽出手段、設定手段、特定手段、決定手段及び取得手段を構成する。
【００７２】
通信制御部３１０は、所定のネットワークインターフェースであり、通信端末装置１０と通信チャネルを構築し、各種のデータの授受を行う。特に、通信制御部３１０は、表示データ特定情報などを通信端末装置１０から受信する。また、通信制御部３１０は、参照コンテンツ情報又は参照コンテンツ特定情報、表示データ特定情報に含まれる起点コンテンツＩＤ及び表示データＩＤなどを通信端末装置１０に送信する。
【００７３】
ＲＯＭ／ＲＡＭ３２０には、サーバ装置３０の駆動に必要な各種のプログラムが記録されている。また、ＲＯＭ／ＲＡＭ３２０には、サーバデータ処理部３４０、及び、サーバ管理制御部３５０によって実行される様々なアプリケーションが記録されている。そして、ＲＯＭ／ＲＡＭ３２０は、各種の処理が実行される際のワークエリアとして用いられる。
【００７４】
サーバ管理制御部３５０は、主に中央演算処理装置（ＣＰＵ）によって構成され、プログラムを実行することによって、サーバ装置３０の各部を統合制御する。例えば、サーバ管理制御部３５０は、記録装置３３０と連動し、ユーザの操作による通信端末装置１０からのログイン要求に基づいて各ユーザの各種のネットワークサービス（例えばＳＮＳなど）へのログイン処理を行う。
【００７５】
記録装置３３０は、ＨＤＤまたはＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）により構成され、その記録領域内に、記録装置３３０は、少なくとも会員ＤＢ３３１と、文書画像コンテンツＤＢ３３２と、テキストＤＢ３３３と、辞書ＤＢ３３４と、場面転換表現ＤＢ３３５と、参照コンテンツ候補情報ＤＢ３３６とを有している。
【００７６】
会員ＤＢ３３１は、サーバ装置３０が提供するＳＮＳなどの各種のネットワークサービスの各ユーザの情報を管理するための各種情報が格納されるデータベースである。例えば、会員ＤＢ３３１には、各ユーザに対応するユーザＩＤと、当該ユーザの名前を示すユーザ名情報と、が対応付けて登録（記録）される。
【００７７】
文書画像コンテンツＤＢ３３２は、通信端末装置１０に表示させる種々の起点コンテンツの情報と、それらを管理するための各種情報が格納されるデータベースである。例えば、文書画像コンテンツＤＢ３３２には、
（１）種々の起点コンテンツ情報と、
（２）図４に示すような、通信端末装置１０に表示させる起点コンテンツの表示データと、
（３）各起点コンテンツに対応し、他の起点コンテンツと識別するための起点コンテンツＩＤと、
（４）通信端末装置１０に表示させる起点コンテンツの各表示データを識別するための表示データＩＤと、
が対応付けて登録（記録）される。なお、図４に示すように、文書画像コンテンツＤＢ３３２には、起点コンテンツの表示データの各吹き出し領域部分に対してストーリー順に番号が設けられて記録されている。
【００７８】
テキストＤＢ３３３は、通信端末装置１０に表示させる種々の起点コンテンツに含まれる各文字列のテキストデータをストーリー順に記録するとともに、それらのテキストデータを管理するための各種情報が記録されるデータベースである。例えば、テキストＤＢ３３３には、図５に示すように、
（１）各種起点コンテンツに含まれる各テキストデータと、
（２）各起点コンテンツに対応し、他の起点コンテンツと識別するための起点コンテンツＩＤと、
（３）通信端末装置１０に表示させる起点コンテンツの各表示データを識別するための表示データＩＤ（例えば、コマＩＤやページＩＤなど）と、
（４）起点コンテンツの表示データの各吹き出し領域部分に対してストーリー順に設定された番号（吹き出しＮｏ．）と、
（５）起点コンテンツを場面毎に分割した部分コンテンツに対してストーリー順に設定されたセグメントＩＤと、
（６）各表示データに含まれる特定の又は全てのテキストデータにおける重要語（例えば、名詞、固有名詞、普通名詞等に該当する単語）と、
（７）各セグメントに属する全てのテキストデータにおける重要語（例えば、名詞、固有名詞、普通名詞等に該当する単語）と、
が対応付けて登録（記録）される。なお、本実施形態においては、起点コンテンツＩＤとしてＩＳＢＮ番号が設定されている。
【００７９】
辞書ＤＢ３３４は、名詞（固有名詞や普通名詞など）、助詞、助動詞、擬態語及び擬音語を含む擬声語、活用語尾等の一般的な語彙が登録された辞書データが記録され、単語の分類処理に用いられるデータベースである。
【００８０】
場面転換表現ＤＢ３３５は、場面転換表現を示す文字列を記録し、起点コンテンツを場面毎に分割する処理に用いられるデータベースである。場面転換表現は、例えば、時間を表す表現からなる文字列、場所を表す表現からなる文字列、又はそれらの組み合わせからなる文字列などである。
【００８１】
参照コンテンツ候補情報ＤＢ３３６は、参照コンテンツ情報の候補となりうる、テキストデータを含む情報が格納されるデータベースである。例えば、参照コンテンツ候補情報ＤＢ３３６には、
（１）参照コンテンツ候補情報と、
（２）参照コンテンツ候補情報に含まれるテキストデータの一部又は全部と、
（３）各参照コンテンツ候補情報に対応し、他の参照コンテンツ候補情報と識別するための参照コンテンツ候補情報ＩＤと、
（４）各参照コンテンツ候補情報を特定する特定情報と、
（５）参照コンテンツ候補情報に含まれるテキストデータの一部又は全部における重要語（例えば、名詞、固有名詞、普通名詞等に該当する単語）と、
が対応付けて登録（記録）される。なお、参照コンテンツ候補情報ＤＢ３３６には、参照コンテンツの候補情報に含まれるテキストデータの一部又は全部の文字列を単語に分割し、名詞に該当する単語を、テキストデータの一部又は全部の重要語として決定し、テキストデータに対応付けて予め記録しておいてもよい。
【００８２】
なお、記録装置３３０の各ＤＢに格納される上述の情報の項目は一例であり、ネットワークサービス等の状況にあわせて、上述の項目と別の項目がＤＢに追加されたり、上述の項目のうちのいくつかの項目が削除されたりしてもよい。
【００８３】
サーバデータ処理部３４０は、ＲＯＭ／ＲＡＭ３２０に記録されているアプリケーションに応じて各種データ処理を実行する。特に、サーバデータ処理部３４０は、該当する通信端末装置１０等と連動して以下の処理を実行する。なお、以下の（１）〜（５）までの処理については、通信端末装置１０から表示データ特定情報が送信されてくる前に予め実行されていてもよい。
（１）起点コンテンツが画像データである場合に、画像データにおける文字列を検出する検出処理
（２）検出した文字列を抽出してテキストデータに変換するＯＣＲ処理
（３）起点コンテンツに含まれる文字列のテキストデータをストーリー順にテキストＤＢ３３３に記録する記録処理
（４）テキストＤＢ３３３に記録したテキストデータの中から、所定の場面転換表現を示す文字列からなるテキストデータを抽出する抽出処理
（５）抽出した場面転換表現のテキストデータに基づいて起点コンテンツを場面毎に分割し、分割した部分コンテンツをセグメントとして、セグメントに属する全てのテキストデータに同一の識別子情報（例えば、セグメントＩＤ）を設定する設定処理
（６）通信端末装置１０から送信されてくる表示データ特定情報に基づいて、起点コンテンツの表示データに含まれるテキストデータをテキストＤＢ３３３から特定する特定処理
（７）テキストＤＢ３３３を参照して、（６）で特定したテキストデータに設定された識別子情報に基づいて、テキストデータが属するセグメントを決定する決定処理
（８）決定したセグメントに属する全てのテキストデータの文字列の中から所定の条件を満たす単語（例えば、名詞、固有名詞、普通名詞に該当する単語）を重要語として決定し、決定した重要語に関連するネットワーク２０上の参照可能な参照コンテンツ情報を、表示データに含まれる特定又は全てのテキストデータの内容に関連する参照コンテンツ情報として、参照コンテンツ候補情報ＤＢ３３６から取得する取得処理
【００８４】
具体的には、サーバデータ処理部３４０は、上記各種の処理を実行するために、検出部３４１、ＯＣＲ部３４２、記録部３４３、抽出部３４４、設定部３４５、特定部３４６、決定部３４７、取得部３４８などを含む。なお、例えば、本実施形態の、検出部３４１、ＯＣＲ部３４２、記録部３４３、抽出部３４４、設定部３４５、特定部３４６、決定部３４７、及び取得部３４８はそれぞれ、本発明の手段、検出手段、ＯＣＲ手段、記録手段、抽出手段、設定手段、特定手段、決定手段、及び取得手段を構成する。
【００８５】
検出部３４１は、起点コンテンツが漫画、コミック、バンド・デシネ等の画像データである場合に、画像データにおける文字列を検出する。検出対象の文字列としては、吹き出し領域の文字列や吹き出し領域以外の文字列であってもよいが、吹き出し領域以外の文字列は、擬態語、擬音語、擬情語などによって構成されていることが多いため、吹き出し領域の文字列に限定して検出することが好ましい。
【００８６】
ＯＣＲ部３４２は、検出部３４１が検出した文字列を抽出してテキストデータに変換する。記録部３４３は、ＯＣＲ部３４２が作成したテキストデータをストーリー順にテキストＤＢ３３３に記録する。
【００８７】
記録部３４３は、起点コンテンツに含まれる文字列がテキストデータで構成されている場合には、該テキストデータをストーリー順にテキストＤＢ３３３に記録する。なお、テキストデータのストーリー順の配列は、文書画像コンテンツＤＢ３３２に記録されている各表示データの各吹き出し領域部分に設けられた番号を参照することにより行ってもよいし、各コマの座標軸に基づいて右上から左下に配置されている文字列の順番に従って行ってもよい。また、記録部３４３は、テキストデータをテキストＤＢ３３３に記録するとともに、起点コンテンツＩＤ、表示データＩＤ（ページＩＤやコマＩＤなど）、吹き出しの番号を対応付けて記録する。
【００８８】
抽出部３４４は、場面転換表現ＤＢ３３５を参照して、テキストＤＢ３３３に記録したテキストデータの中から、場面転転換表現を示す文字列からなるテキストデータを抽出する。
【００８９】
設定部３４５は、テキストＤＢ３３３を参照して、抽出部３４４が抽出した場面転換表現を示す文字列からなるテキストデータと、該テキストデータの前に配列されて記録されたテキストデータとの間を境界として、起点コンテンツを場面毎に分割する。また、設定部３４５は、分割した部分コンテンツをセグメントとして、該セグメントに属するテキストデータの全てに同一の識別子情報を設定し、テキストＤＢ３３３に記録したテキストデータに対応付けて、設定した識別子情報、例えば、セグメントＩＤをテキストＤＢ３３３に記録する。
【００９０】
特定部３４６は、通信端末装置１０での起点コンテンツの表示操作、起点コンテンツのコマやページを変更する操作などのユーザの操作によって通信端末装置１０から送信されてくる表示データ特定情報に基づいて、起点コンテンツの表示データに含まれるテキストデータを、テキストＤＢ３３３に記録されている、テキストデータと該テキストデータに対応づけて記録されている各種情報から特定する。
【００９１】
決定部３４７は、テキストＤＢ３３３に記録されている、テキストデータと該テキストデータに対応づけて記録されている各種情報を参照して、特定部３４６で決定されたテキストデータに設定された識別子情報を特定し、該識別子情報に基づいてテキストデータが属するセグメントを決定する。
【００９２】
取得部３４８は、参照コンテンツ候補情報ＤＢ３３６に記録される参照コンテンツの候補情報から、決定部３４７が決定したセグメントに属する全てのテキストデータの文字列の中から所定の条件を満たす単語を重要語として決定する。また、決定した重要語に関連するネットワーク２０上の参照可能な参照コンテンツ情報を、表示データに含まれる特定又は全てのテキストデータの内容に関連する参照コンテンツ情報として取得する。例えば、取得部３４８は、
（１）辞書ＤＢ３３４に格納された辞書を用いて形態素解析を実行して、決定部３４７が決定したセグメントに属する全てのテキストデータの文字列を単語に分割して品詞を特定し、
（２）品詞を特定した単語の中から、例えば、名詞に該当する単語を決定部３４７が決定したセグメントの重要語として決定し、決定した重要語をテキストＤＢ３３３に記録し、
（３）参照コンテンツ候補情報ＤＢ３３６に記録されている参照コンテンツの候補情報に含まれるテキストデータの一部（例えば、１つのセグメント、特定のページ、１つの章、１つの段落など）又は全部の文字列に対して、辞書ＤＢ３３４に格納された辞書を用いて形態素解析を実行し、テキストデータの一部又は全部における文字列を単語に分割して品詞を特定し、
（４）（２）で品詞を特定した単語の中から、（２）と同様に、名詞に該当する単語を参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における重要語として決定し、決定した重要語を参照コンテンツ候補情報ＤＢ３３６に記録し、
（５）テキストＤＢ３３３に記録したセグメントの重要語と、参照コンテンツ候補情報ＤＢ３３６に記録した参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における重要語との類似度を算出し、
（６）（５）で算出した類似度が所定の条件を満たす（例えば、所定値以上である）テキストデータを含む参照コンテンツの候補情報を参照コンテンツ情報として取得する。また、取得部３４８は、起点コンテンツの各表示データＩＤ（コマＩＤやページＩＤなど）が設定された特定の又は全てのテキストデータの文字列を単語に分解して品詞を特定し、品詞を特定した単語の中から、（２）と同様に、名詞に該当する単語を重要語として決定し、決定した重要語をテキストＤＢ３３３に記録する。
【００９３】
このように、取得部３４８は、起点コンテンツの各場面（各セグメント）に含まれる文字列の中から名詞に該当する単語をセグメントの重要語として決定しつつ、参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における文字列の中から名詞に該当する単語を参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における重要語として決定することができる。したがって、セグメントの重要語と、参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における重要語との類似度を算出することにより、ユーザに提供する参照コンテンツ情報を選択して取得することができるので、コンテンツの表示データの内容によりマッチした情報を効率よく取得できるとともに、ユーザの満足度を向上させることができる。なお、上記（１）〜（４）までの処理については、通信端末装置１０から表示データ特定情報が送信されてくる前に予め実行されていてもよい。
【００９４】
また、上記（５）の類似度は、例えば、セグメントに含まれる重要語と、参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における重要語との一致率を求めることにより算出してもよいし、セグメントに含まれる重要語のベクトルと、参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における重要語のベクトルのコサイン類似度を求めることにより算出してもよい。
【００９５】
具体的には、取得部３４８は、セグメントに含まれる各重要語の出現回数（出現頻度）と、参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における各重要語の出現回数（出現頻度）を算出し、算出した各重要語の出現回数（出現頻度）を各重要語のベクトルとして、セグメントのベクトルＱ（式１）と、参照コンテンツの候補情報に含まれるテキストデータの一部又は全部に対するベクトルＳ（式２）を重要語のベクトルで定義し、（式３）に示すように、セグメントのベクトルＱと、参照コンテンツの候補情報に含まれるテキストデータの一部又は全部に対するベクトルＳとのなす角を類似度（ｓｉｍ）として算出する。なお、（式１）及び（式２）中の「ｍ」は、各単語の番号を示す。（式１）中の「ｔ１」〜「ｔｍ」は、各単語の表示データにおける出現回数（出現頻度）を示し、（式２）中の「ｊ」は、各参照コンテンツの候補情報に含まれるテキストデータの一部又は全部のＩＤを示し、（式２）中の「ｓｊ１」〜「ｓｊｍ」は、各単語の、参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における出現回数（出現頻度）を示す。
【００９６】
【数１】
2015069387.tif 000003
【００９７】
【数２】
2015069387.tif 000004
【００９８】
【数３】
2015069387.tif 000005
【００９９】
なお、コサイン類似度による類似度の算出において、起点コンテンツの表示データに含まれる特定又は全てのテキストデータの文字列における重要語に対して設定される重み付け値に基づいて、セグメントの重要語の出現回数（出現頻度）に重み付けを行ってもよい。このように、取得部３４８が、セグメントの重要語のうち、表示データに含まれる特定又は全てのテキストデータの文字列における重要語に対して重み付けを行うことにより、各場面（各セグメント）に含まれる全ての文字列の重要語に関連する情報のうち、起点コンテンツの表示データに含まれる特定又は全ての文字列の重要語に関連の深い情報を取得することができるので、起点コンテンツの表示データの内容によりマッチした情報をユーザに提供することができるようになる。
【０１００】
図６に、取得部３４８が、図５に示す起点コンテンツのＰａｇｅ  ＩＤ１５の吹き出しＮｏ．１のテキストデータの内容に関連する参照コンテンツ情報として、該テキストデータが属するセグメントＩＤ１に含まれるテキストデータの中から決定した重要語（名詞に該当する単語）に関連する参照コンテンツ情報を取得する際に、算出したセグメントＩＤ１や参照コンテンツの候補情報のテキストデータの一部又は全部に含まれる重要語の出現頻度等を示す。なお、図６においては、表示データに含まれる吹き出しＮｏ．１のテキストデータの文字列における重要語（Ａ）に対して重み付け値「２」が設定されている。また、表示データに含まれる吹き出しＮｏ．１のテキストデータの文字列には存在しないが、セグメントＩＤ１には存在する重要語（Ｃ）に対して重み付け値「１」が設定されている。これらの重み付け値に基づいて、セグメントＩＤ１における重要語の出現頻度に重み付けを行った結果が、図６中の「起点コンテンツ」の「セグメントＩＤ１における重要語の重み付け」の行の欄に示されている。図６の表によれば、セグメントＩＤ１の重要語と、参照コンテンツの候補情報であるＡ『高校野球△△県予選』に含まれるテキストデータの文字列における重要語との類似度が高く、セグメントＩＤ１の重要語に関連する情報であると認定される。
【０１０１】
ＤＢ更新部３４９は、定期的に、参照コンテンツ候補情報ＤＢ３３６の追加更新を実行する処理を行う。このように、ＤＢ更新部３４９が、参照コンテンツ候補情報ＤＢ３３６の追加更新を実行することにより、ユーザに対して新しい参照コンテンツ情報を提供することができる。
【０１０２】
［４］通信システムの動作
次に、図７を用いて本実施形態の通信システムにおいて実行される具体的な処理について説明する。図７は、通信システム１において実行される各処理を示すフローチャートである。
【０１０３】
本動作において、通信端末装置１０のデータ処理部１２０は、起点コンテンツの表示操作、起点コンテンツのコマやページを変更する操作などのユーザによる起点コンテンツ表示指示の入力が操作部１５０に対してなされるのを待機しているものとする。
【０１０４】
この状態において、データ処理部１２０は、操作部１５０に対するユーザ操作に基づいて、起点コンテンツの表示指示を検知すると（ステップＳ１００）、起点コンテンツの表示指示された表示データを特定する表示データ特定情報を、ネットワーク通信部１１０を介してサーバ装置３０に送信する（ステップＳ１０１）。そして、管理制御部１６０は、サーバ装置３０からのデータ受信を待機する状態に移行する。
【０１０５】
次いで、サーバ装置３０においては、特定部３４６は、通信端末装置１０から表示データ特定情報を受信すると（ステップＳ２００）、表示データ特定情報に基づいて、テキストＤＢ３３３に記録されている、テキストデータと該テキストデータに対応づけて記録されている各種情報から、起点コンテンツの表示データに含まれるテキストデータを特定する（ステップＳ２０１）。そして、決定部３４７は、テキストＤＢ３３３に記録されている、テキストＤＢ３３３に記録されている、テキストデータと該テキストデータに対応づけて記録されている各種情報を参照して、特定部３４６で決定されたテキストデータに設定された識別子情報を特定し、該識別子情報に基づいてテキストデータが属するセグメントを決定する（ステップＳ２０２）。
【０１０６】
次いで、取得部３４８は、決定したセグメントに属する全てのテキストデータにおける重要語をテキストＤＢ３３３から読み出す（ステップＳ２０３）。そして、取得部３４８は、読み出したセグメントの重要語と、参照コンテンツ候補情報ＤＢ３３６に記録されている各参照コンテンツの候補情報に含まれるテキストデータの一部又は全部における重要語との類似度を算出する（ステップＳ２０４）。
【０１０７】
次いで、取得部３４８は、算出した類似度が所定の条件を満たすテキストデータの一部又は全部を含む参照コンテンツの候補情報を参照コンテンツ情報として取得し、取得した参照コンテンツ情報又は参照コンテンツ特定情報をＲＯＭ／ＲＡＭ３２０に一時的に記録する（ステップＳ２０５）。そして、通信制御部３１０は、ＲＯＭ／ＲＡＭ３２０に一時的に記録した参照コンテンツ情報又は参照コンテンツ特定情報と、表示データ特性情報に含まれる起点コンテンツＩＤ及び表示データＩＤを通信端末装置１０に送信し（ステップＳ２０６）、サーバ管理制御部３５０は、本動作を終了させる。
【０１０８】
次いで、通信端末装置１０において、ネットワーク制御部１１０がサーバ装置３０から送信された参照コンテンツ情報又は参照コンテンツ特定情報と、サーバ装置３０に送信した表示データ特定情報に含まれていた起点コンテンツＩＤ及び表示データＩＤと、を受信すると（ステップＳ１０２）、データ処理部１２０は、起点コンテンツＩＤ及び表示データＩＤによって特定される表示データに紐づけて参照コンテンツ情報又は参照コンテンツ特定情報を、コンテンツ記録部１０２に記録する（ステップＳ１０３）。そして、通信端末装置１０は、表示制御部１４０に、起点コンテンツの表示データと、参照コンテンツ情報又は参照コンテンツ特定情報を供給し、表示部１３０に表示させて（ステップＳ１０４）、ユーザに表示データとともに、参照コンテンツ情報又は参照コンテンツ特定情報を提供し、管理制御部１６０は、本動作を終了させる。
【０１０９】
以上、本実施形態において、通信システム１及びサーバ装置３０は、文書画像を含みストーリー性のあるコンテンツを場面転換表現の文字列に基づいてセグメント単位に分割し、表示装置から、該表示装置に表示させるコンテンツの表示データを特定する特定情報を受信すると、表示データの内容に関連する情報として、表示データの文字列が属するセグメントに含まれる全ての文字列の重要語に関連する様々な情報を取得し、取得した情報をユーザに提供することができる。したがって、通信システム１及びサーバ装置３０は、例えば、漫画、コミック、バンド・デシネなどの、情景描写を画像で示し、文字情報量が少ない上記コンテンツに対して、該コンテンツの各コマ又は各ページの表示データに含まれる特定又は全ての文字列の限られた重要語に関連する多量の情報から、該コンテンツの各場面に含まれる全ての文字列の重要語に関連する情報に絞り込んで、表示データに含まれる特定又は全ての文字列に関連の深い情報を取得することができるので、上記コンテンツの表示データの内容にマッチした情報をユーザに提供することができる。また、本発明のサーバ装置３０は、表示装置にコンテンツの表示データを表示させるタイミングで取得した情報をユーザに自動的に提供できるので、ユーザの利便性を向上させることができる。
【０１１０】
［５］変形例
［５．１］変形例１
上記実施形態においては、サーバ装置３０内に各ＤＢを設け、管理及び制御する構成としたが、各ＤＢの管理、制御主体となるコンピュータシステムは、各々、別個なコンピュータシステムによって稼働するようにしてもよい。また、各ＤＢの管理、制御主体となるコンピュータシステムは、ネットワーク２０を介して外部に設置されていてもよい。
【０１１１】
［５．２］変形例２
上記実施形態において、抽出部３４４は、場面転換表現ＤＢ３３５を参照して、テキストＤＢ３３３に記録したテキストデータの中から、場面転転換表現を示す文字列からなるテキストデータを抽出しているが、辞書ＤＢ３３４に記録されている辞書データを用いて、テキストＤＢ３３３に記録したテキストデータの中から、場面転転換表現を示す文字列からなるテキストデータを抽出してもよい。
【符号の説明】
【０１１２】
１  …  通信システム
１０  …  通信端末装置
２０  …  ネットワーク
３０  …  サーバ装置
１００  …  記録部
１０１  …  アプリケーション記録部
１０２  …  コンテンツ記録部
１１０  …  ネットワーク通信部
１２０  …  データ処理部
１３０  …  表示部
１４０  …  表示制御部
１５０  …  操作部
１６０  …  管理制御部
３１０  …  通信制御部
３２０  …  ＲＯＭ／ＲＡＭ
３３０  …  記録装置
３３１  …  会員ＤＢ
３３２  …  文書画像コンテンツＤＢ
３３３  …  テキストＤＢ
３３４  …  辞書ＤＢ
３３５  …  場面転換表現ＤＢ
３３６  …  参照コンテンツ候補情報ＤＢ
３４０  …  サーバデータ処理部
３４１  …  検出部
３４２  …  ＯＣＲ部
３４３  …  記録部
３４４  …  抽出部
３４５  …  設定部
３４６  …  特定部
３４７  …  決定部
３４８  …  取得部
３４９  …  ＤＢ更新部
３５０  …  サーバ管理制御部
【図１】
2015069387.tif 000006
【図２】
2015069387.tif 000007
【図３】
2015069387.tif 000008
【図４】
2015069387.tif 000009
【図５】
2015069387.tif 000010
【図６】
2015069387.tif 000011
【図７】
2015069387.tif 000012