(57)【特許請求の範囲】
【請求項１】
コンテンツ加工装置で行うコンテンツ加工方法において、
前記コンテンツ加工装置は、
コンテンツを記憶手段から取得し、前記コンテンツを構成するスライドの文字情報と、前記スライドを説明する音声情報とを入力する入力ステップと、
前記文字情報と、前記音声情報を文字に変換した音声文字情報とを比較し、前記文字情報と前記音声文字情報との両方に含まれる情報と、前記音声文字情報にのみ含まれる情報とを識別する比較ステップと、
前記文字情報と前記音声文字情報との両方に含まれる情報に対応する前記スライドの文字情報が強調されるように前記スライドを加工する第１の加工ステップと、
前記音声文字情報にのみ含まれる情報を用いて前記スライドを加工する第２の加工ステップと、
加工後のスライドを出力する出力ステップと、を有し、
前記第２の加工ステップでは、
前記音声文字情報にのみ含まれる情報を前記スライドに追加することを特徴とするコンテンツ加工方法。
【請求項２】
前記第１の加工ステップでは、
前記文字情報と前記音声文字情報との両方に含まれる情報に対応する前記スライドの文字情報を枠線で囲むことを特徴とする請求項１に記載のコンテンツ加工方法。
【請求項３】
前記第２の加工ステップでは、
前記音声文字情報に対応しない前記スライドの文字情報の文字サイズを小さくする又は文字色を薄くすることを特徴とする請求項１又は２に記載のコンテンツ加工方法。
【請求項４】
前記音声情報から韻律情報を抽出する抽出ステップと、
前記韻律情報と前記音声文字情報とを用いて、強調して説明された強調単語を決定する決定ステップと、
前記強調単語に対応する前記スライドの文字情報を強調する加工ステップと、
を更に有することを特徴とする請求項１乃至３のいずれかに記載のコンテンツ加工方法。
【請求項５】
コンテンツを記憶手段から取得し、前記コンテンツを構成するスライドの文字情報と、前記スライドを説明する音声情報とを入力する入力手段と、
前記文字情報と、前記音声情報を文字に変換した音声文字情報とを比較し、前記文字情報と前記音声文字情報との両方に含まれる情報と、前記音声文字情報にのみ含まれる情報とを識別する比較手段と、
前記文字情報と前記音声文字情報との両方に含まれる情報に対応する前記スライドの文字情報が強調されるように前記スライドを加工し、前記音声文字情報にのみ含まれる情報を用いて前記スライドを加工する加工手段と、
加工後のスライドを出力する出力手段と、を有し、
前記加工手段は、
前記音声文字情報にのみ含まれる情報を前記スライドに追加することを特徴とするコンテンツ加工装置。
【請求項６】
請求項５に記載のコンテンツ加工装置としてコンピュータを機能させることを特徴とするコンテンツ加工プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツを加工する技術に関する。
【背景技術】
【０００２】
近年、教育とＩＣＴ（Information and Communications Technology）の融合が進み、オンライン教育サービスの市場が拡大している。オンライン教育用の教材コンテンツについては、非特許文献１で述べられているように、デュアル・チャンネル・モデルに基づいて作成することが望ましいとされている。
【０００３】
デュアル・チャンネル・モデルとは、“人間の聴覚と視覚にはそれぞれ独立して情報処理を行うチャンネルがあり、それら２つのチャンネルが処理できる情報量はそれぞれ決まっている”と仮定するモデルである。一方のチャンネルを情報処理のために使用していなくとも他方のチャンネルの作業容量が増加するわけではなく、２つのチャンネルを同時に使用することにより聴覚情報と視覚情報が相互作用し、情報伝達効率を高めることができる。
【０００４】
従来、オンライン教育用の教材コンテンツは人手によって作成されている。例えば、非特許文献２のような既存のサービスを用いることにより、既に作成されているオンライン教育用ではない教材を短時間でオンライン教育用の教材コンテンツに作り替えることはできるが、教材コンテンツ自体は人手で作成されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】安藤、外１名、“デュアル・チャンネル・モデルに基づくｅラーニング・マルチメディア教材におけるポインタ提示の効果分析”、日本教育工学会論文誌、Vol.32、No.1、2008年、p.43-p.56
【非特許文献２】“クラウド型教育専用プラットフォーム，かんたんシリーズ”、株式会社ネットラーニング、［online］、［平成26年12月9日検索］、＜URL: http://www.netlearning.co.jp/platform/kantan.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、人手で作成されたオンライン教育用の教材コンテンツを用いて講義する際、講師が該教材コンテンツに記述されていないことを説明することや、該教材コンテンツに記述されているにも関わらず講師が説明しないことがある。前者のように視覚情報が不足している場合、受講者は学習効果を高めるために聴覚情報を記憶又は記録しなければならず、該記録中に再生される聴覚情報への注意が低下する可能性があり、受講者による講義への理解を妨げてしまう。また、後者のように聴覚情報が不足している場合、受講者は講義中に講師が説明しない箇所にも目を通すことになり、視覚情報へ注意が向くことによって聴覚情報への注意が低下する可能性がある。
【０００７】
本発明は、上記事情を鑑みてなされたものであり、コンテンツに対する受講者の理解度を改善することを目的とする。
【課題を解決するための手段】
【０００８】
以上の課題を解決するため、請求項１に記載のコンテンツ加工方法は、コンテンツ加工装置で行うコンテンツ加工方法において、前記コンテンツ加工装置は、コンテンツを記憶手段から取得し、前記コンテンツを構成するスライドの文字情報と、前記スライドを説明する音声情報とを入力する入力ステップと、前記文字情報と、前記音声情報を文字に変換した音声文字情報とを比較し、前記文字情報と前記音声文字情報との両方に含まれる情報と、前記音声文字情報にのみ含まれる情報とを識別する比較ステップと、前記文字情報と前記音声文字情報との両方に含まれる情報に対応する前記スライドの文字情報が強調されるように前記スライドを加工する第１の加工ステップと、前記音声文字情報にのみ含まれる情報を用いて前記スライドを加工する第２の加工ステップと、加工後のスライドを出力する出力ステップと、を有することを要旨とする。
【０００９】
請求項２に記載のコンテンツ加工方法は、請求項１に記載のコンテンツ加工方法において、前記第１の加工ステップでは、前記文字情報と前記音声文字情報との両方に含まれる情報に対応する前記スライドの文字情報を枠線で囲むことを要旨とする。
【００１０】
請求項３に記載のコンテンツ加工方法は、請求項１又は２に記載のコンテンツ加工方法において、前記第２の加工ステップでは、前記音声文字情報にのみ含まれる情報を前記スライドに追加する、又は、前記音声文字情報に対応しない前記スライドの文字情報の文字サイズを小さくする若しくは文字色を薄くすることを要旨とする。
【００１１】
請求項４に記載のコンテンツ加工方法は、請求項１乃至３のいずれかに記載のコンテンツ加工方法において、前記音声情報から韻律情報を抽出する抽出ステップと、前記韻律情報と前記音声文字情報とを用いて、強調して説明された強調単語を決定する決定ステップと、前記強調単語に対応する前記スライドの文字情報を強調する加工ステップと、を更に有することを要旨とする。
【００１２】
請求項５に記載のコンテンツ加工装置は、コンテンツを記憶手段から取得し、前記コンテンツを構成するスライドの文字情報と、前記スライドを説明する音声情報とを入力する入力手段と、前記文字情報と、前記音声情報を文字に変換した音声文字情報とを比較し、前記文字情報と前記音声文字情報との両方に含まれる情報と、前記音声文字情報にのみ含まれる情報とを識別する比較手段と、前記文字情報と前記音声文字情報との両方に含まれる情報に対応する前記スライドの文字情報が強調されるように前記スライドを加工し、前記音声文字情報にのみ含まれる情報を用いて前記スライドを加工する加工手段と、加工後のスライドを出力する出力手段と、を有することを要旨とする。
【００１３】
請求項６に記載のコンテンツ加工プログラムは、請求項５に記載のコンテンツ加工装置としてコンピュータを機能させることを要旨とする。
【発明の効果】
【００１４】
本発明によれば、コンテンツに対する受講者の理解度を向上できる。
【図面の簡単な説明】
【００１５】
【図１】コンテンツ加工システムの構成を示す図である。
【図２】コンテンツ加工方法の処理シーケンスを示す図である。
【図３】コンテンツＤＢのデータ例を示す図である。
【図４】情報Ｉbothと情報Ｉaudioと情報Ｉtextの抽出例を示す図である。
【図５】教材コンテンツの加工例を示す図である。
【図６】コンテンツ加工システムの構成を示す図である。
【図７】コンテンツ加工方法の処理シーケンスを示す図である。
【図８】強調区間ＤＢのデータ例を示す図である。
【図９】教材コンテンツの加工例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明を実施する一実施の形態について図面を用いて説明する。
【００１７】
〔第１の実施の形態〕
図１は、第１の実施の形態に係るコンテンツ加工システムの構成を示す図である。コンテンツ加工システム１は、教材コンテンツを加工するコンテンツ加工装置１０と、該教材コンテンツの提供者，使用者等が使用するクライアント端末３０と、を備えて構成される。該コンテンツ加工装置１０と該クライアント端末３０は、相互に通信可能に接続されている。
【００１８】
続いて、コンテンツ加工装置１０の機能を説明する。コンテンツ加工装置１０は、コンテンツ要求受信機能部１０１と、音声情報処理機能部１０２と、スライド情報処理機能部１０３と、情報抽出機能部１０４と、音声情報追加機能部１０５と、スライド情報変更機能部１０６と、コンテンツ送信機能部１０７と、コンテンツＤＢ１０８と、を備えて構成される。
【００１９】
コンテンツ要求受信機能部１０１は、クライアント端末３０から送信された教材コンテンツＣの取得要求を受信し、該教材コンテンツＣを構成するスライドの聴覚情報Ｃaudioと視覚情報ＣtextをコンテンツＤＢ１０８から取得するように構成されている。
【００２０】
音声情報処理機能部１０２は、聴覚情報Ｃaudioを文字情報Ｔaudioに変換するように構成されている。スライド情報処理機能部１０３は、視覚情報Ｃtextから文字情報Ｔtextを取得するように構成されている。
【００２１】
情報抽出機能部１０４は、文字情報Ｔaudioと文字情報Ｔtextとを比較し、文字情報Ｔaudioと文字情報Ｔtextのどちらにも含まれている情報Ｉbothと、文字情報Ｔaudioにのみ含まれている情報Ｉaudioと、文字情報Ｔtextにのみ含まれている情報Ｉtextと、をそれぞれ抽出するように構成されている。
【００２２】
音声情報追加機能部１０５は、情報Ｉaudio（＝聴覚情報Ｃaudioに含まれるが視覚情報Ｃtextに含まれていない情報）を教材コンテンツＣの視覚情報Ｃtextに追加し、該情報Ｉaudioが追加された教材コンテンツＣ’を生成するように構成されている。
【００２３】
スライド情報変更機能部１０６は、該教材コンテンツＣ’に含まれる情報Ｉtextについては視覚情報Ｃtextの中で目立たないように加工し、情報Ｉbothについては目立つように加工するように構成されている。
【００２４】
コンテンツ送信機能部１０７は、該加工された教材コンテンツＣ’を要求元のクライアント端末３０に送信するように構成されている。
【００２５】
コンテンツＤＢ１０８は、オンライン教育用の教材コンテンツを記憶しておくように構成されている。例えば、デュアル・チャンネル・モデルに基づいて構成されていない教材コンテンツ等、視覚情報と聴覚情報とに差異のあるコンテンツが記憶されている。
【００２６】
次に、クライアント端末３０の機能を説明する。クライアント端末３０は、コンテンツ要求送信機能部３０１と、コンテンツ受信機能部３０２と、を備えて構成される。
【００２７】
コンテンツ要求送信機能部３０１は、教材コンテンツＣを要求するための取得要求をコンテンツ加工装置１０に送信するように構成されている。
【００２８】
コンテンツ受信機能部３０２は、上記取得要求に基づきコンテンツ加工装置１０から送信された加工後の教材コンテンツＣ’を受信し、再生するように構成されている。
【００２９】
かかるコンテンツ加工装置１０およびクライアント端末３０は、ＣＰＵ等の演算機能やメモリ等の記憶機能を備えたコンピュータ（例えば、サーバ、パソコン）で実現できる。また、コンテンツ加工装置１０としてコンピュータを機能させるためのコンテンツ加工プログラムや該コンテンツ加工プログラムの記憶媒体を作成することも可能である。
【００３０】
次に、コンテンツ加工システム１で行うコンテンツ加工方法を説明する。図２は、コンテンツ加工方法の処理シーケンスを示す図である。
【００３１】
まず、ステップＳ１０１において、コンテンツ要求送信機能部３０１は、クライアント端末３０の使用者による指定に基づき、教材コンテンツＣを要求するための取得要求をコンテンツ加工装置１０に送信する。
【００３２】
次に、ステップＳ１０２において、コンテンツ要求受信機能部１０１は、クライアント端末３０から教材コンテンツＣの取得要求を受信すると、コンテンツＤＢ１０８から該教材コンテンツＣに関する聴覚情報Ｃaudioと視覚情報Ｃtextを取得（入力）する。そして、該聴覚情報Ｃaudioを音声情報処理機能部１０２に送信し、該視覚情報Ｃtextをスライド情報処理機能部１０３に送信する。
【００３３】
図３は、コンテンツＤＢ１０８のデータ例を示す図である。コンテンツＤＢ１０８には、複数の教材コンテンツが格納されている。１つのレコードには１つの教材コンテンツに関する情報が格納されており、コンテンツＩＤカラムと視覚情報カラムと聴覚情報カラムとから構成される。コンテンツＩＤカラムには、教材コンテンツを一意に識別可能なＩＤが格納される。視覚情報カラムには、教材コンテンツの視覚情報、例えば、スライド形式の教材データが格納される。教材データのファイル形式は問わず、例えばpdf，word，html等のファイル形式が考えられる。聴覚情報カラムには、教材コンテンツの聴覚情報、例えば、教材コンテンツに含まれる講師の音声データが格納される。音声データのファイル形式についても問わず、例えばmp3等のファイル形式が考えられる。
【００３４】
次に、ステップＳ１０３において、音声情報処理機能部１０２は、コンテンツ要求受信機能部１０１から送信された聴覚情報Ｃaudioに対して音声認識処理を行い文字情報Ｔaudioに変換し、該文字情報Ｔaudioを情報抽出機能部１０４に送信する。かかる音声認識処理については、例えばVoiceRex等の既存の音声認識エンジンを用いて変換する。文字情報Ｔaudioが複数の文から構成されている場合には、文単位で区切り、文単位の配列データとして保持するようにしてもよい。なお、VoiceRexについては「http://www.ntt.co.jp/svlab/activity/category_2/product2_12.html」を参照されたい。
【００３５】
また、ステップＳ１０４において、スライド情報処理機能部１０３は、コンテンツ要求受信機能部１０１から送信された視覚情報Ｃtextから文字情報Ｔtextを取得し、該文字情報Ｔtextを情報抽出機能部１０４に送信する。例えば、視覚情報Ｃtextがhtml形式のファイルデータであれば、所定の要素内に記述されている文字列ｓを取得し、該文字列ｓの集合を文字情報Ｔtextとする。このとき、文字列ｓの文字数に閾値を設定し、該閾値以上の文字数からなる文字列ｓの集合を文字情報Ｔtextとしてもよい。
【００３６】
次に、ステップＳ１０５において、情報抽出機能部１０４は、音声情報処理機能部１０２から文字情報Ｔaudioを受け取り、更にスライド情報処理機能部１０３から文字情報Ｔtextを受け取って、該文字情報Ｔaudioと該文字情報Ｔtextとを比較し、文字情報Ｔaudioと文字情報Ｔtextのどちらにも含まれている情報Ｉbothと、文字情報Ｔaudioには含まれているが文字情報Ｔtextには含まれていない情報Ｉaudioと、文字情報Ｔtextには含まれているが文字情報Ｔaudioには含まれていない情報Ｉtextと、をそれぞれ抽出する。以下、図４を参照しながら詳述する。
【００３７】
まず、文字情報Ｔaudioに対して形態素解析を行い、品詞が名詞である形態素を文毎に配列Ｄaudioに格納する（ステップＳ１０５−１）。該形態素解析については、例えばMeCab等の既存の形態素解析エンジンを用いる。MeCabについては「https://code.google.com/p/mecab/」を参照されたい。
【００３８】
例えば、文字情報Ｔaudio＝「形態素解析とは、文章を形態素といわれる意味のある単語に区切り、辞書を利用して品詞や内容を判別することをいいます。日本語用の形態素解析エンジンはChaSenとMeCabが有名で、どちらもフリーソフトウェアで提供されています。」を形態素解析すると、「形態素/解析/と/は/、/文章/を/形態素/と/いわ/れる/意味/の/ある/単語/に/区切り/、/辞書/を/利用/し/て/品詞/や/内容/を/判別/する/こと/を/いい/ます/。/日本語/用/の/形態素/解析/エンジン/は/ChaSen/と/MeCab/が/有名/で/、/どちら/も/フリー/ソフトウェア/で/提供/さ/れ/て/い/ます/。/」（“/”は形態素の区切り）となる。それゆえ、配列Ｄaudio＝｛［形態素，解析，文章，形態素，意味，単語，辞書，利用，品詞，内容，判断，こと］，［日本語，用，形態素，解析，エンジン，ChaSen，MeCab，有名，どちら，フリー，ソフトウェア，提供］｝となる。
【００３９】
次に、文字情報Ｔtextに対しても形態素解析を行い、同様に品詞が名詞である形態素を配列Ｄtextに格納する（ステップＳ１０５−２）。
【００４０】
例えば、文字情報Ｔtext＝｛［形態素解析とは］，［文章を形態素といわれる意味のある単語に区切り、辞書を利用して品詞や内容を判別すること］，［かな漢字変換や、機械翻訳などに用いられる］，［コンピュータによる自然言語処理技術の一つ］｝を形態素解析すると、｛［形態素/解析/と/は］，［文章/を/形態素/と/いわ/れる/意味/の/ある/単語/に/区切り/、/辞書/を/利用/し/て/品詞/や/内容/を/判別/する/こと］，［かな漢字/変換/や/、/機械/翻訳/など/に/用い/られる］，［コンピュータ/による/自然/言語/処理/技術/の/一つ］｝となる。それゆえ、配列Ｄtext＝｛［形態素，解析］，［文章，形態素，意味，単語，辞書，利用，品詞，内容，判別，こと］，［かな漢字，変換，機械，翻訳］，［コンピュータ，自然，言語，処理，技術、一つ］｝となる。なお、形態素の品詞は、形態素解析エンジンMeCabが判定した品詞を用いればよい。
【００４１】
次に、配列Ｄaudioのｉ番目の配列に含まれる品詞が配列Ｄtextのｊ番目の配列にも含まれている割合ｒ１（ｉ，ｊ）を算出する（ステップＳ１０５−３）。
【００４２】
具体的には、配列Ｄaudioのｉ番目の配列の個数をｎ（Ｄaudio（ｉ）），配列Ｄaudioのｉ番目の配列と配列Ｄtextのｊ番目の配列のどちらにも存在する名詞の個数をｎ（ｉ，ｊ）として、式（１）を用いて割合ｒ１（ｉ，ｊ）を算出する（０≦ｒ１（ｉ，ｊ）≦１）。
【００４３】
【数１】
0006280025.tif 000002
上述例の場合、割合ｒ１（０，０）＝２／１２＝１／６，割合ｒ１（０，１）＝１０／１２＝５／６，割合ｒ１（１，０）＝２／１２＝１／６，割合ｒ１（１，１）＝１／１２となる。
【００４４】
次に、算出した割合ｒ１（ｉ，ｊ）を用いて、文字情報Ｔaudioを情報Ｉbothと情報Ｉaudioのいずれかに分類する（ステップＳ１０５−４）。
【００４５】
具体的には、割合ｒ１（ｉ，ｊ）が所定の閾値Ｍ（０≦Ｍ≦１）以上であれば文字情報Ｔaudio［ｉ］を情報Ｉbothに格納し、割合ｒ１（ｉ，ｊ）が該閾値Ｍ（０≦Ｍ≦１）未満であれば文字情報Ｔaudio［ｉ］を情報Ｉaudioに格納する。上述例において、閾値Ｍ＝０．５の場合、文字情報Ｔaudio［０］の割合ｒ１（０，１）については５／６であるから、該文字情報Ｔaudio［０］を情報Ｉbothに格納する。また、文字情報Ｔaudio［１］の割合ｒ１（１，０）については１／６であるから、該文字情報Ｔaudio［１］を情報Ｉaudioに格納する。
【００４６】
次に、配列Ｄtextのｋ番目の配列に含まれる品詞が配列Ｄaudioのｌ番目の配列にも含まれている割合ｒ２（ｋ，ｌ）を算出する（ステップＳ１０５−５）。
【００４７】
具体的には、配列Ｄtextのｋ番目の配列の個数をｎ（Ｄtext（ｋ）），配列Ｄtextのｋ番目の配列と配列Ｄaudioのｌ番目の配列のどちらにも存在する名詞の個数をｍ（ｋ，ｌ）として、式（２）を用いて割合ｒ２（ｋ，ｌ）を算出する（０≦ｒ２（ｋ，ｌ）≦１）。
【００４８】
【数２】
0006280025.tif 000003
上述例の場合、割合ｒ２（０，０）＝２／２＝１，割合ｒ２（０，１）＝１／２，割合ｒ２（１，０）＝１０／１０＝１，割合ｒ２（１，１）＝１／１０となる。
【００４９】
次に、算出した割合ｒ２（ｋ，ｌ）を用いて、文字情報Ｔtextを情報Ｉtextに分類するかどうかを判定する（ステップＳ１０５−６）。具体的には、割合ｒ２（ｋ，ｌ）が所定の閾値Ｒ（０≦Ｒ≦１）未満であれば文字情報Ｔtextを情報Ｉtextに格納する。
【００５０】
最後に、これまでに格納した情報Ｉbothと情報Ｉaudioと情報Ｉtextを音声情報追加機能部１０５に送信する（ステップＳ１０５−７）。
【００５１】
図２に戻り、ステップＳ１０５の後、ステップＳ１０６において、音声情報追加機能部１０５は、情報抽出機能部１０４から受け取った情報Ｉaudioを教材コンテンツＣに追加して教材コンテンツＣ１を生成し、該教材コンテンツＣ１と、情報抽出機能部１０４から受け取った情報Ｉbothおよび情報Ｉtextとをスライド情報変更機能部１０６に送信する。
【００５２】
例えば、情報Ｉaudioを文字化して視覚情報Ｃtextの余白部分に表示するように追加する。このとき、情報Ｉaudioを視覚情報Ｃtextに文字化して表示させるか、情報Ｉaudioを視覚情報Ｃtextに追加して記憶させるかを使用者に選択させる機能を付加してもよい。また、情報Ｉaudioを文字化するときに、話し言葉である情報Ｉaudioを書き言葉に変換して視覚情報Ｃtextとしてもよい。話し言葉の表現を書き言葉の表現に変換するには、例えば、“講演の書き起こしに対する統計的手法を用いた文体の整形”（下岡，外２名，京都大学 情報学研究科 知能情報学専攻，情報処理学会 音声言語情報処理研究会，2002年，No.041-003）のような周知の技術を用いてもよいし、予め人手で文字情報Ｔaudioを書き言葉に変換しておいてもよい。さらに、情報Ｉaudioの文字数が多い場合には周知の技術を用いて要約して文字化してもよい。
【００５３】
次に、ステップＳ１０７において、スライド情報変更機能部１０６は、情報Ｉbothと情報Ｉtextに関する情報を用いて、音声情報追加機能部１０５から受け取った教材コンテンツＣ１を加工して教材コンテンツＣ’を生成し、コンテンツ送信機能部１０７に送信する。
【００５４】
例えば、情報Ｉtextのフォントサイズを小さくしたりテキストの文字色を黒色から灰色に変更したりすることにより、該情報Ｉtextを視覚情報Ｃtextの中で目立たないようにする。また、情報Ｉbothのフォントサイズを大きくしたりテキストの文字色を黒色から赤色に変更したりすることにより、該情報Ｉbothを視覚情報Ｃtextの中で目立つようにする。情報Ｉbothに対応する視覚情報Ｃtextが再生されているときに、該視覚情報Ｃtextの範囲を枠線で囲うようにしたり点滅させたりするようにしてもよい。更に、視覚的に目立たせるだけでなく、例えば、情報Ｉbothに対応する文字情報Ｔaudioを講師が発話するときの音量を上げたり、再生速度を変更したりするなど、クライアント端末３０の使用者が聴覚情報Ｃaudioの変化を感知できるように該聴覚情報Ｃaudioを加工するようにしてもよい。
【００５５】
加工後の教材コンテンツＣ’の例を図５に示す。情報Ｉaudioは視覚情報Ｃtext内に可視化表示され、情報Ｉbothは目立つように強調表示又は高音声で再生される。その反面、情報Ｉtextの視覚情報量は削減されることになる。このとき、該情報Ｉaudioと該情報Ｉbothは、該教材コンテンツＣ’の再生時刻に関係なく表示されていてもよいし、該情報Ｉaudioと該情報Ｉbothに対応する文字情報Ｔaudioを講師が発話する時刻に表示されるようにしてもよい。後者のように視覚情報Ｃtextを情報Ｉaudioが言及されている時間に表示させる場合、デュアル・チャンネル・モデルの効果、すなわち、聴覚情報と視覚情報との相互作用による情報伝達効率を更に高めることができる。さらに、上記後者のように文字情報Ｔaudioを講師が発話する時刻に表示する場合、該情報Ｉaudioと該情報Ｉbothは一定時間表示させて非表示にするようにしてもよい。このとき、表示時間は予め人手で設定しておいてもよいし、文字数などの情報量や重要度に応じて算出してもよい。該情報Ｉaudioと該情報Ｉbothの重要度の算出には、周知の技術を用いればよく、例えば、“文章に対する重要度付与処理における視点情報の有効性の分析”（永松，外１名，東京大学 工学部，情報処理学会 第５１回全国大会，1995年，p.119-p.120）を利用する。該情報Ｉaudioと該情報Ｉbothの表示サイズについても同様に、文字数などの情報量や重要度に応じて算出して、表示サイズを変えてもよい。
【００５６】
その後、ステップＳ１０８において、コンテンツ送信機能部１０７は、スライド情報変更機能部１０６から受け取った加工後の教材コンテンツＣ’をクライアント端末３０に送信する。
【００５７】
最後に、ステップＳ１０９において、コンテンツ受信機能部３０２は、コンテンツ加工装置１０から送信された教材コンテンツＣ’を受信し、モニタやマイクを用いて再生する。
【００５８】
〔第２の実施の形態〕
図６は、第２の実施の形態に係るコンテンツ加工システムの構成を示す図である。本実施の形態に係るコンテンツ加工装置１０は、韻律情報処理機能部１１０と、強調区間ＤＢ１１１と、を更に備えて構成される。なお、かかる機能の追加に伴い、本実施の形態では、コンテンツ要求受信機能部１０１をコンテンツ要求伝達機能部１０９、音声情報追加機能部１０５を音声情報加工機能部１１２、スライド情報変更機能部１０６をスライド情報加工機能部１１３、にそれぞれ機能名称を改める。
【００５９】
次に、図７を参照しながら、本実施の形態で行うコンテンツ加工方法を説明する。
【００６０】
まず、ステップＳ２０１において、コンテンツ要求送信機能部３０１は、クライアント端末３０の使用者による指定に基づき、教材コンテンツＣを要求するための取得要求をコンテンツ加工装置１０に送信する。
【００６１】
次に、ステップＳ２０２において、コンテンツ要求伝達機能部１０９は、クライアント端末３０から教材コンテンツＣの取得要求を受信すると、コンテンツＤＢ１０８から該教材コンテンツＣに関する聴覚情報Ｃaudioと視覚情報Ｃtextを取得する。そして、該聴覚情報Ｃaudioを音声情報処理機能部１０２と韻律情報処理機能部１１０に送信し、該視覚情報Ｃtextをスライド情報処理機能部１０３に送信する。
【００６２】
次に、ステップＳ２０３において、音声情報処理機能部１０２は、コンテンツ要求受信機能部１０１から送信された聴覚情報Ｃaudioに対して音声認識処理を行う文字情報Ｔaudioに変換し、該文字情報Ｔaudioを情報抽出機能部１０４に送信する。
【００６３】
また、ステップＳ２０４において、スライド情報処理機能部１０３は、コンテンツ要求受信機能部１０１から送信された視覚情報Ｃtextから文字情報Ｔtextを取得し、該文字情報Ｔtextを情報抽出機能部１０４に送信する。
【００６４】
さらに、ステップＳ２０５において、韻律情報処理機能部１１０は、コンテンツ要求受信機能部１０１から送信された聴覚情報Ｃaudioのパワー（強さ），基本周波数（ピッチ），スペクトル変化量（速さ）等を算出し、該算出結果を用いて聴覚情報Ｃaudioから強調区間Ｃemphasisを抽出して強調区間ＤＢ１１１に格納する。なお、強調区間Ｃemphasisは公知の技術を用いて抽出できる。例えば、“音声の感性情報に着目したマルチメディアコンテンツ要約技術”（日高，外４名，ＮＴＴサイバーソリューション研究所，インタラクション2003論文集，2003年，p.17-p.24）を利用する。
【００６５】
図８は、強調区間ＤＢ１１１のデータ例を示す図である。強調区間ＤＢ１１１には、１つのレコードに聴覚情報Ｃaudioの強調区間Ｃemphasisに関する情報が保持されており、コンテンツＩＤカラムと時間カラムと文字情報カラムとから構成される。コンテンツＩＤカラムには、教材コンテンツを一意に識別可能なＩＤが格納される。時間カラムには、聴覚情報Ｃaudioの中で話者が強調して発話している区間を表す時間情報が格納される。文字情報カラムには、該区間の音声を文字情報に変換した文字列が格納される。
【００６６】
次に、ステップＳ２０６において、情報抽出機能部１０４は、音声情報処理機能部１０２から文字情報Ｔaudioを受け取り、更にスライド情報処理機能部１０３から文字情報Ｔtextを受け取って、該文字情報Ｔaudioと該文字情報Ｔtextとを比較し、ステップＳ１０５と同様の手法を用いて情報Ｉbothと情報Ｉaudioと情報Ｉtextとをそれぞれ抽出する。
【００６７】
その後、ステップＳ２０７において、音声情報加工機能部１１２は、情報抽出機能部１０４から受け取った情報Ｉaudioを教材コンテンツＣに追加して教材コンテンツＣ１を生成し、該教材コンテンツＣ１と、情報抽出機能部１０４から受け取った情報Ｉbothおよび情報Ｉtextと、強調区間Ｃemphasisと、をスライド情報変更機能部１０６に送信する。
【００６８】
例えば、ステップＳ１０６と同様に、情報Ｉaudioを文字化して視覚情報Ｃtextの余白部分に表示するように追加する。更に、該情報Ｉaudioを文字化する際、該情報Ｉaudioが強調区間Ｃemphasisに該当する場合には、該情報Ｉaudioを目立つように加工する。具体的には、情報Ｉaudioを文字化する際に該情報Ｉaudioが強調区間ＤＢ１１１に含まれているかを判定し、含まれている場合には該情報Ｉaudioの該当部分を特定（決定）し、該部分の情報Ｉaudioのフォントサイズを大きくしたりテキストの文字色を変更したりすることにより、講師が口頭のみで強調説明した情報Ｉaudioの強調区間Ｃemphasisを目立つように加工する。
【００６９】
次に、ステップＳ２０８において、スライド情報加工機能部１１３は、情報Ｉbothと情報Ｉtextに関する情報と強調区間ＤＢ１１１とを用いて、音声情報追加機能部１０５から受け取った教材コンテンツＣ１を加工して教材コンテンツＣ’を生成する。そして、該教材コンテンツＣ’をコンテンツ送信機能部１０７に送信する。
【００７０】
例えば、ステップＳ１０７と同様に、情報Ｉtextを視覚情報Ｃtextの中で目立たないように加工し、その一方で情報Ｉbothを目立つようにする。更に、該情報Ｉbothが強調区間ＤＢ１１１に含まれているかを判定し、含まれている場合には該情報Ｉbothの該当部分を特定（決定）し、該部分の情報Ｉbothを更に目立つように加工する。加工後の教材コンテンツＣ’の例を図９に示す。図５に示した表示形態以外に、強調区間Ｃemphasisに該当する情報Ｉaudioと情報Ｉbothの各部分がそれぞれ強調表示される。
【００７１】
その後、ステップＳ２０９において、コンテンツ送信機能部１０７は、スライド情報変更機能部１０６から受け取った教材コンテンツＣ’をクライアント端末３０に送信する。
【００７２】
最後に、ステップＳ２１０において、コンテンツ受信機能部３０２は、コンテンツ加工装置１０から送信された教材コンテンツＣ’を受信し、モニタやマイクを用いて再生する。
【００７３】
なお、第１および第２の実施の形態では、クライアント端末３０から教材コンテンツＣの取得要求を受けた契機に教材コンテンツを加工する例を説明したが、コンテンツＤＢ１０８に含まれる全ての教材コンテンツＣに対して予め加工処理を行い、該加工処理を行った教材コンテンツＣ’をコンテンツ加工装置１０や他のＤＢが保持しておくようにしてもよい。
【００７４】
また、第１の実施の形態で具体的に説明した教材コンテンツの加工方法や表示方法を第２の実施の形態に適用してもよい。これまでに説明した加工方法や表示方法は一例にすぎず、その他、吹き出しの追加，文字スタイル（書体，太字，斜体等）の変更，マーキングや網掛けの追加等、対象の情報を強調・非強調できる方法であれば任意の方法を単独又は組み合わせて適用してもよい。
【００７５】
以上より、第１および第２の実施の形態によれば、聴覚情報Ｃaudioと視覚情報Ｃtextとを比較し、聴覚情報Ｃaudioにのみ含まれている情報Ｉaudioを視覚情報Ｃtextに追加し、聴覚情報Ｃaudioと視覚情報Ｃtextのどちらにも含まれている情報Ｉbothを該視覚情報Ｃtextの中で目立つように加工し、視覚情報Ｃtextにのみ含まれている情報Ｉtextを該視覚情報Ｃtextの中で目立たないように加工するので、デュアル・チャンネル・モデルに基づいて構成されていないオンライン教育用の教材コンテンツに対して、不足している情報量を増やしたり、講義中には過剰であると考えられる情報量を削除したりすることが可能となる。それにより、受講者が講義を集中して受講しやすいような環境をつくり、講義中の受講者の講義への理解度を向上させることができる。特に、聴覚情報Ｃaudioと視覚情報Ｃtextのどちらにも含まれている情報Ｉboth、つまり講義において重要であると考えられる情報を受講者に明示的に提示するので、受講者が講義の要点をつかむのを容易にすることができる。
【符号の説明】
【００７６】
１…コンテンツ加工システム
１０…コンテンツ加工装置
１０１…コンテンツ要求受信機能部
１０２…音声情報処理機能部
１０３…スライド情報処理機能部
１０４…情報抽出機能部
１０５…音声情報追加機能部
１０６…スライド情報変更機能部
１０７…コンテンツ送信機能部
１０８…コンテンツＤＢ
１０９…コンテンツ要求伝達機能部
１１０…韻律情報処理機能部
１１１…強調区間ＤＢ
１１２…音声情報加工機能部
１１３…スライド情報加工機能部
３０…クライアント端末
３０１…コンテンツ要求送信機能部
３０２…コンテンツ受信機能部
Ｓ１０１〜Ｓ１０９，Ｓ２０１〜Ｓ２１０…ステップ
【図１】
0006280025.tif 000004
【図２】
0006280025.tif 000005
【図３】
0006280025.tif 000006
【図４】
0006280025.tif 000007
【図５】
0006280025.tif 000008
【図６】
0006280025.tif 000009
【図７】
0006280025.tif 000010
【図８】
0006280025.tif 000011
【図９】
0006280025.tif 000012