(57)【特許請求の範囲】
【請求項１】
対象とするコンテンツデータを取得する取得部と、
取得した前記コンテンツデータに、画像データ及び音声データの少なくとも何れか一方が含まれている場合に当該データを解析する解析部と、
前記解析部で解析したデータを単位時間あたりで分析して感情値を測定する測定部と、
前記解析部による解析結果及び前記測定部の測定結果に基づいて、前記コンテンツデータのデータ量の全体に対する前記画像データのデータ量と、前記コンテンツデータのデータ量の全体に対する前記音声データのデータ量と、前記感情値と、を３軸として立体マトリックス化したデータベースを生成する生成部と、
を備えるネオメディア生成装置。
【請求項２】
前記測定部は、
前記解析部で解析した前記データが画像データであった場合には前記画像データの１フレームごとの感情値（笑顔等）を測定し、前記解析部で解析した前記データが音声データであった場合には前記音声データの単位時間ごとの感情値（抑揚等）を測定し、
前記生成部は、
前記３軸中の感情値に関して、前記コンテンツデータに前記画像データと前記音声データの双方が含まれる場合には、前記測定部で測定した各感情値を結合した総合感情値に基づいて立体マトリックス化したデータベースを生成する、
ことを特徴とする請求項１に記載のネオメディア生成装置。
【請求項３】
前記ネオメディア生成装置は、
前記生成部で生成したデータベースに基づいて前記コンテンツデータとは異なる新たなコンテンツデータを生成する再生成部を備える、
ことを特徴とする請求項１又は請求項２に記載のネオメディア生成装置。
【請求項４】
前記再生成部は、
前記生成部で立体マトリックス化したデータベースから、前記３軸に関してコンテンツデータの時間軸に応じて算出した前記画像データの前記コンテンツデータ全体に対するデータ量の変化率および前記音声データの前記コンテンツデータ全体に対するデータ量の変化率の少なくともいずれか一方の前記変化率と、前記変化率の平均値とに基づいて、前記新たなコンテンツデータを生成する、
ことを特徴とする請求項３に記載のネオメディア生成装置。
【請求項５】
前記再生成部は、
前記変化率が前記平均値以下である部分を時間軸に応じて削除又は短縮して前記新たなコンテンツデータを生成する、
ことを特徴とする請求項４に記載のネオメディア生成装置。
【請求項６】
前記再生成部は、
入力部から入力された時間又は前記コンテンツデータの時間軸の全長に対する割合に応じて、前記変化率が低い部分から削除又は短縮して前記コンテンツデータとは異なる新たなコンテンツデータを生成する、
ことを特徴とする請求項４に記載のネオメディア生成装置。
【請求項７】
前記再生成部は、
広告用の画像データ及び音声データの少なくともいずれか一方をメタデータとならないように一つのコンテンツデータとして含ませて前記新たなコンテンツデータを生成する、
ことを特徴とする請求項３乃至請求項６のいずれか１の請求項に記載のネオメディア生成装置。
【請求項８】
前記再生成部は、
前記広告用の画像データ及び音声データの少なくともいずれか一方を前記一つのコンテンツデータに時間軸をずらした複数箇所に所定時間ごとに挿入して前記新たなコンテンツデータを生成する、
ことを特徴とする請求項７に記載のネオメディア生成装置。
【請求項９】
前記再生成部は、
前記新たなコンテンツデータの内容に応じて含ませたくないネガティブ情報に関するネガティブデータを削除又は短縮するように前記画像データ又は前記音声データを合成して前記コンテンツデータとは異なる新たなコンテンツデータを生成する、
ことを特徴とする請求項３乃至請求項８のいずれか１の請求項に記載のネオメディア生成装置。
【請求項１０】
前記測定部は、
測定した感情値が適切か否かを示す可否情報を受け付けて記憶部に蓄積するとともに、蓄積した前記可否情報に基づいて測定した感情値を修正する、
ことを特徴とする請求項１乃至請求項９のいずれか１の請求項に記載のネオメディア生成装置。
【請求項１１】
コンピュータが、
対象とするコンテンツデータを取得する取得ステップと、
取得したコンテンツデータに、画像データ及び音声データの少なくとも何れか一方が含まれている場合に当該データを解析する解析ステップと、
解析したデータを単位時間あたりで分析して感情値を測定する測定ステップと、
前記解析ステップによる解析結果及び前記測定ステップの測定結果に基づいて、前記コンテンツデータのデータ量の全体に対する前記画像データのデータ量と、前記コンテンツデータのデータ量の全体に対する前記音声データのデータ量と、前記感情値と、を３軸として立体マトリックス化したデータベースを生成する生成ステップと、
を処理するネオメディア生成方法。
【請求項１２】
コンピュータに、
対象とするコンテンツデータを取得する取得機能と、
取得したコンテンツデータに、画像データ及び音声データの少なくとも何れか一方が含まれている場合に当該データを解析する解析機能と、
解析したデータを単位時間あたりで分析して感情値を測定する測定機能と、
前記解析機能による解析結果及び前記測定機能の測定結果に基づいて、前記コンテンツデータのデータ量の全体に対する前記画像データのデータ量と、前記コンテンツデータのデータ量の全体に対する前記音声データのデータ量と、前記感情値と、を３軸として立体マトリックス化したデータベースを生成する生成機能と、
を実現させるためのネオメディア生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネオメディア生成装置、ネオメディア生成方法、及びネオメディア生成プログラム、特に、各種コンテンツデータに含まれる画像データや音声データを解析することによって異なる新たなコンテンツデータを再生成するネオメディア生成装置、ネオメディア生成方法、及びネオメディア生成プログラムに関する。
【背景技術】
【０００２】
従来から、コンテンツデータの種類を、例えば、ファイル拡張子等によって識別し、書類データ、音楽データ、画像データ、動画データ、等の種類別にデータベース化する技術は周知である。
【０００３】
また、デジタル化された動画像データのデータ量は膨大となる。このため、例えば、ＭＰＥＧ１，ＭＰＥＧ２よりも高圧縮化が望める符号化方式として、Ｈ．２６４／ＭＰＥＧ−４  ｐａｒｔ１０という新たな符号化方式も標準化され、これらを応用したファイル識別技術も検討されつつある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１６１７４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述したファイル圧縮技術は、単に一つのコンテンツデータを、例えば、例えば、ＭＰＥＧ３からＭＰＥＧ４に変換するなど、コンテンツデータ全体を形式的に変換して圧縮するものである。したがって、コンテンツデータの内容を解析し、その解析結果に応じた後処理を行うものではなかった。
【０００６】
そこで、本発明は、コンテンツデータの内容を解析することによって、その解析結果に応じた後処理を行うことができ、コンテンツデータの有効利用を図ることができるネオメディア生成装置、ネオメディア生成方法、及びネオメディア生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明のネオメディア生成装置は、対象とするコンテンツデータを取得する取得部と、取得したコンテンツデータに、画像データ及び音声データの少なくとも何れか一方が含まれている場合にデータを解析する解析部と、解析部で解析したデータを単位時間あたりで分析して感情値を測定する測定部と、解析部による解析結果及び測定部の測定結果に基づいて、コンテンツデータに含まれる画像データのデータ量と音声データのデータ量と感情値とを３軸として立体マトリックス化したデータベースを生成する生成部と、を備えるものである。
【０００８】
測定部は、解析部で解析したデータが画像データであった場合には画像データの１フレームごとの感情値を測定し、解析部で解析したデータが音声データであった場合には音声データの単位時間ごとの感情値を測定し、生成部は、３軸中の感情値に関して、コンテンツデータに画像データと音声データの双方が含まれる場合には、測定部で測定した各感情値を結合した総合感情値に基づいて立体マトリックス化したデータベースを生成する、ものである。
【０００９】
ネオメディア生成装置は、さらに、生成部で生成したデータベースに基づいてコンテンツデータとは異なる新たなコンテンツデータを生成する再生成部を備える、ものである。
【００１０】
再生成部は、生成部で立体マトリックス化したデータベースから、３軸に関してコンテンツデータの時間軸に応じて算出した変化率と平均値とに基づいて、新たなコンテンツデータを生成する、ものである。
【００１１】
再生成部は、変化率が平均値以下である部分を時間軸に応じて削除又は短縮して新たなコンテンツデータを生成する、ものである。
【００１２】
再生成部は、入力部から入力された時間又はコンテンツデータの時間軸の全長に対する割合に応じて、変化率が低い部分から削除又は短縮してコンテンツデータとは異なる新たなコンテンツデータを生成する、ものである。
【００１３】
再生成部は、広告用の画像データ及び音声データの少なくともいずれか一方をメタデータとならないように一つのコンテンツデータとして含ませて新たなコンテンツデータを生成する、ものである。
【００１４】
再生成部は、広告用の画像データ及び音声データの少なくともいずれか一方を一つのコンテンツデータに時間軸をずらした複数箇所に所定時間ごとに挿入して新たなコンテンツデータを生成する、ものである。
【００１５】
再生成部は、新たなコンテンツデータの内容に応じて含ませたくないネガティブ情報に関するネガティブデータを削除又は短縮するように画像データ又は音声データを合成してコンテンツデータとは異なる新たなコンテンツデータを生成する、ものである。
【００１６】
測定部は、測定した感情値が適切か否かを示す可否情報を受け付けて記憶部に蓄積するとともに、蓄積した可否情報に基づいて測定した感情値を修正する、ものである。
【００１７】
本発明のネオメディア生成方法は、コンピュータが、対象とするコンテンツデータを取得する取得ステップと、取得したコンテンツデータに、画像データ及び音声データの少なくとも何れか一方が含まれている場合に当該データを解析する解析ステップと、解析したデータを単位時間あたりで分析して感情値を測定する測定ステップと、解析ステップによる解析結果及び測定ステップの測定結果に基づいて、コンテンツデータに含まれる画像データのデータ量と音声データのデータ量と感情値とを３軸として立体マトリックス化したデータベースを生成する生成ステップと、生成したデータベースに基づいてコンテンツデータとは異なる新たなコンテンツデータを生成する再生成ステップと、を処理するものである。
【００１８】
さらに、本発明のネオメディア生成プログラムは、コンピュータに、対象とするコンテンツデータを取得する取得機能と、取得したコンテンツデータに、画像データ及び音声データの少なくとも何れか一方が含まれている場合に当該データを解析する解析機能と、解析したデータを単位時間あたりで分析して感情値を測定する測定機能と、解析機能による解析結果及び測定機能の測定結果に基づいて、コンテンツデータに含まれる画像データのデータ量と音声データのデータ量と感情値とを３軸として立体マトリックス化したデータベースを生成する生成機能と、生成したデータベースに基づいてコンテンツデータとは異なる新たなコンテンツデータを生成する再生成機能と、を実現させるものである。
【発明の効果】
【００１９】
本発明のネオメディア生成装置は、コンテンツデータの内容を解析することによって、その解析結果に応じた後処理を行うことができ、コンテンツデータの有効利用を図ることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施の形態に係るネオメディア生成装置を示す模式図である。
【図２】本発明の一実施の形態に係るネオメディア生成装置によるコンテンツデータに含まれる画像データのデータ量と音声データのデータ量と感情値とを３軸とする立体マトリックス生成例の説明図である。
【図３】本発明の一実施の形態に係るネオメディア生成装置による新たなコンテンツデータ作成例を示す説明図である。
【図４】本発明の一実施の形態に係るネオメディア生成装置によるネオメディア生成ルーチンのフロー図である。
【図５】本発明の一実施の形態に係るネオメディア生成装置の変形例のブロック図である。
【発明を実施するための形態】
【００２１】
次に、本発明の一実施形態に係るネオメディア生成装置について、図面を参照して説明する。なお、以下に示す実施形態は本発明のネオメディア生成装置における好適な具体例であり、技術的に好ましい種々の限定を付している場合もあるが、本発明の技術範囲は、特に本発明を限定する記載がない限り、これらの態様に限定されるものではない。また、以下に示す実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、かつ、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下に示す実施の形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００２２】
また、「コンテンツ」とは、映画、音楽、演劇、文芸、写真、漫画、アニメーション、コンピュータゲーム、その他の文字、図形、色彩、音声、動作若しくは映像若しくはこれらを組み合わせたもの又はこれらに係る情報を電子計算機（コンピュータ）を介して提供するためのプログラムであって、人間の創造的活動により生み出されるもののうち、教養又は娯楽の範囲に属するものをいう（「コンテンツの創造、保護及び活用の促進に関する法律」）、としているが、本実施の形態においては、教養又は娯楽の範囲に限定されるものではなく、単なるテキストデータ等を含むものとする。したがって、以下の説明においては、これらを総称してコンテンツデータと称する。
【００２３】
図１において、ネオメディア生成装置１は、外部サーバＳＶやクラウドＣに格納したコンテンツデータをネットワークＮＴを介して送受信する送受信部２と、図示しないマウスやキーボード等の入力装置を介してユーザ操作により外部サーバＳＶやクラウドＣに格納したコンテンツデータ或はメモリ３に格納したコンテンツデータを取得するデータ取得部４と、を備える。なお、メモリ３には、本実施の形態に係るネオメディア生成に係るアプリケーションがインストールされている。
【００２４】
データ取得部４で取得したコンテンツデータは、解析処理及び再生成処理に供するための対象となるコンテンツデータとして、制御部５によりサブメモリ６に一時的に格納する。この際、メモリ３にコンテンツデータを格納していた場合、対象となるコンテンツデータはサブメモリ６にコピーされるため、元のコンテンツデータはメモリ３から削除されない。
【００２５】
制御部５は、サブメモリ６に一時的に格納した対象となるコンテンツデータに音声データや画像データが含まれている場合に、音声データは音声解析部７に、画像データは画像解析部８に、それぞれ解析させる。従って、制御部５は、メモリ３に格納した本実施の形態に係るアプリケーションによってネオメディア（新たなコンテンツデータ）を生成するためのコンピュータを構成している。
【００２６】
音声解析部７は、コンテンツデータのデータ量の全体に対する音声データの多少を比率等で解析し、コンテンツデータのデータ量の全体に対する音声データのデータ量の多少に関する解析結果を制御部５に出力する。
【００２７】
また、音声解析部７は、例えば、コンテンツデータの時間軸に応じて変化する抑揚レベル（ボリュームレベル）等を割り当てることにより、コンテンツデータが静かな音声データを含むものであるのか、賑やかな音声データを含むものであるのか等を解析することができる。この際、例えば、抑揚レベルに予め閾値（例えば、通常の会話レベル等）を設け、閾値未満の抑揚の割合と閾値以上の割合との比率によって静かであるか賑やかであるか等を判定することができる。また、抑揚レベルの平均値を割り出し、平均値以下の抑揚レベルの負のピークと平均値以上の抑揚レベルの正のピークとの差や、ピークの回数などによって静かな音声データであるのか賑やかな音声データであるのかを解析することができる。したがって、音声解析部７は、例えば、全体の時間軸に沿って変化する抑揚から、音楽であるのか人の声であるのか周囲の雑音であるのかや、音楽のテンポ等を解析することも可能である。これにより、音声解析部７は、その解析結果として音声データの種類（話し声・雑音）や音楽ジャンル等を特定することもできる。
【００２８】
このように、音声解析部７は、コンテンツデータに対する音声データの割合（多少）、単位時間あたりの抑揚並びに抑揚の変化、音声データの種類、等を解析することができる。また、音声解析部７は、コンテンツデータに対する音声データの割合（多少）を１軸とするように解析結果を制御部５に出力することができる。同様に、音声解析部７は、単位時間あたりの抑揚レベルを感情値として時間軸に応じた変化として示した１軸とするように解析結果を制御部５に出力することもできる。なお、コンテンツデータに対する音声データの割合（多少）を１軸とした場合には、コンテンツデータのセグメント化に供することができる。コンテンツデータに対する音声データの感情値を１軸とした場合には、コンテンツデータのセマンティック化に供することができる。
【００２９】
画像解析部８は、コンテンツデータに含まれる画像データが静止画データであるのか動画データであるのかを解析する。画像解析部８は、画像データが静止画データである場合、コンテンツデータのデータ量の全体に対する画像データのデータ量の多少に関する解析結果を制御部５に出力する。画像解析部８は、コンテンツデータに動画データと音声データ以外のデータが含まれている場合、コンテンツデータのデータ量の全体に対する動画データのデータ量の多少に関する解析結果を制御部５に出力する。画像解析部８は、コンテンツデータが動画データと音声データとからなる場合、コンテンツデータがビデオデータ等の専用データであるとする。これにより、画像解析部８は、コンテンツデータがどのような画像データを含むデータであるのかを解析することができる。
【００３０】
また、画像解析部８は、画像データが静止画データである場合、コンテンツデータのデータ量に対する画像データのデータ量として、静止画データの解像度等に起因するデータ量そのものから多少を解析することができる。また、画像解析部８は、例えば、インターネットのホームページ（ＨＰ）であれば、１画面中にスクロール表示する表示内容全体に対する静止画の面積比率等を多少として解析するものであってもよい。したがって、静止画データは、１枚であるとは限らない。これにより、１画面中における静止画の占有率を解析することも可能であり、文字等が多いＨＰであるのか、写真等が多いＨＰであるのか等を解析することも可能である。
【００３１】
さらに、画像解析部８は、画像データが動画データである場合、感情値測定部９によって人の表情から感情値を測定するために、フレーム単位の静止画データとして画像解析が可能となるように、制御部５を介してフレームメモリ１０に１フレーム分の画像データを格納させる。したがって、画像解析部８は、フレームメモリ１０に格納すべき１フレーム分の画像データに人の顔が含まれているか否かを解析し、少なくとも一人の顔画像が含まれている場合に、そのフレームの画像データをフレームメモリ１０に格納させる。これにより、動画データに人が含まれているか否かを解析することもできる。また、人が含まれていても、フレーム中に所定数以上（例えば、５人以上）の人が含まれている場合、感情値を測定しないようにすることもできる。さらに、画像解析部８は、１フレーム中の画像データの色彩や明度等を解析することができる。
【００３２】
なお、フレームメモリ１０は、１フレーム分の画像データを格納するため、例えば、動画データを構成する各フレームを複数のフレームメモリに時系列で格納してもよい。この際、例えば、１秒間の動画は６０フレームから構成されていることから、１０フレーム単位など所定間隔ごとのフレームをフレームメモリ１０に格納して感情値測定部９によって感情値を測定してもよい。
【００３３】
このように、画像解析部８は、コンテンツデータに対する画像データの割合（多少）、画像データの種類、等を解析することができる。また、画像解析部８は、コンテンツデータに対する画像データの割合（多少）を１軸とするように解析結果を制御部５に出力することができる。同様に、画像解析部８は、１フレームあたりの人の顔の大きさや位置の変化を時間軸に沿って解析することにより、時間軸に応じた変化率として示した１軸とするように解析結果を制御部５に出力することもできる。なお、コンテンツデータに対する画像データの割合（多少）を１軸とした場合には、コンテンツデータのセグメント化に供することができる。コンテンツデータに対する画像データの変化率を１軸とした場合には、コンテンツデータのセマンティック化に供することができる。
【００３４】
感情値測定部９は、例えば、メモリ３に格納した人の顔画像の表情を特定するための情報に感情値を対応付けた表情感情情報に基づいて、単位時間あたりに相当する１フレーム中の人の感情値を測定する。感情値測定部９は、測定した感情値を、例えば、フレーム番号等に対応付けて制御部５に出力する。そして、動画データに含まれる人の感情値を時系列で測定し、その測定値（感情値）を制御部５に出力する。この際、制御部５は、測定した画像データに時間軸で対応する音声データが含まれていた場合、その音声データと対応付けるとともに、音声データの抑揚を音声データの感情値として、画像データの感情値と併用若しくは置き換えることも可能である。
【００３５】
このように、感情値測定部９は、コンテンツデータに対する画像データの１フレーム当たりの感情値を測定することができる。また、感情値測定部９は、コンテンツデータに対する画像データの時間軸に沿った感情値を１軸とするように測定結果を制御部５に出力することができる。なお、コンテンツデータに対する画像データの感情値を時間軸に沿って１軸に展開することにより、コンテンツデータのセマンティック化に供することができる。
【００３６】
感情値測定部（並びに音声解析部７）で測定した感情値は、制御部５を介して生成部１１に出力される。生成部１１は、音声解析部７で解析した音声データの多少と、画像データで解析した画像データの多少と、感情値測定部９で想定した測定結果である感情値と、に基づいて、例えば、図２に示すように、これらを３軸として立体マトリックス化したデータベースを生成する。
【００３７】
これにより、制御部５は、コンテンツデータのファイル種類を特定してセグメント化することができる。例えば、３軸中、音声データが多く、画像データが多い場合、動画ファイルと特定することができる。３軸中、音声データが多く、画像データが少ない場合、音声ファイルであると特定することができる。３軸中、音声データが少なく、画像データが多い場合、静止画ファイルであると特定することができる。３軸中、音声データが少なく、画像データが少ない場合、テキストファイルであると特定することができる。
【００３８】
したがって、制御部５が、これらコンテンツデータのファイル種類を特定するとともに、その多少によって、例えば、全てがテキストファイルであるのか、写真付きのテキストファイルであるのか等のように、ファイルの種類を細分化し、メモリ３に格納したコンテンツデータをデータベース化することも可能である。
【００３９】
一方、生成部１１は、コンテンツデータに動画データが含まれていた場合、時間軸での画像データごとの感情値、若しくは、時間軸で対応する対応する音声データの感情値と併用して、動画データがどのような種類のものであるのかを特定（セマンティック化）することができる。
【００４０】
具体的には、動画データが子供の運動会である場合、１フレームごとの子供の顔の大きさや位置が大きく変化するとともに、表情に笑顔が含まれない（食いしばって歯が見えない等）等であって、音声データにテンポの速い音楽や、顔が近づくにつれて周りの応援としての抑揚が高くなる（音声データの感情値が高くなる）等の変化を３軸から特定することにより、徒競走の動画であると判定することが可能となる。
【００４１】
また、動画データが同じ運動会であっても、１フレームごとの子供の顔の大きさにはあまり変化がないものの、上下方向に顔が移動する変化が大きく、どの表情にも笑顔が多い等であって、音声データにテンポの速い音楽や、平均して抑揚の高い声援がある等の変化を３軸から特定することにより、玉入れの動画であると判定することが可能となる。
【００４２】
さらに、動画データの録画時間が長く、１フレーム中に人が多いものが多く含まれている、１フレーム中の中心を除く全体が暗い、人のＵＰの顔が全体的に白い、口元が赤い、ところどころに笑顔や泣き顔が含まれている等の変化を３軸から特定することにより、結婚式の動画データであると判定することが可能である。
【００４３】
これにより、上述したように、運動会の動画は家族関係の楽しい動画のフォルダー等に格納し、結婚式の動画は冠婚葬祭のフォルダー等に格納するといったように、その解析結果に応じた後処理として、感情値等を考慮したうえでのコンテンツデータの内容に応じたファイリング（セマンティック化）を行うことができ、コンテンツデータの有効利用を図ることができる。
【００４４】
このように、本実施の形態に係るネオメディア生成装置１は、対象とするコンテンツデータをデータ取得部４で取得し、取得したコンテンツデータに音声データが含まれている場合には音声解析部７により音声データを解析し、取得したコンテンツデータに画像データが含まれている場合には画像解析部８によりデータ解析し、解析した画像データ及び音声データを単位時間あたりで感情値測定部９により分析して感情値を測定し、これら音声解析部７及び画像解析部８による解析結果並びに感情値測定部９の測定結果に基づいて生成部１１により３軸の立体マトリックス化したデータベースが生成される。この際、３軸中の感情値に関して、コンテンツデータに画像データと音声データの双方が含まれている場合には、感情値測定部９で測定した画像データの感情値に音声解析部７で解析した感情値を結合して総合感情値として立体マトリックス化し、生成部１１でデータベースを生成することも可能である。
【００４５】
さらに、本実施の形態に係るネオメディア生成装置１は、生成したデータベースに基づいて、再生成部１２によりコンテンツデータとは異なる新たなコンテンツデータを生成することができる。これにより、解析結果に応じた後処理として、感情値等を考慮したうえでの新たなコンテンツデータを生成（セマンティック化）することができ、コンテンツデータの有効利用を図ることができる。
【００４６】
例えば、再生成部１２は、生成部１１で立体マトリックス化したデータベースから、３軸に関してコンテンツデータの時間軸に応じて算出した変化率と平均値とに基づいて、新たなコンテンツデータを生成することができる。
【００４７】
具体的には、再生成部１２は、変化率が平均値以下である部分を時間軸に応じて削除又は短縮して新たなコンテンツデータを生成することができる。この際、再生成部１２は、マウスやキーボード等の入力部から入力された時間又はコンテンツデータの時間軸の全長に対する割合に応じて、変化率が低い部分から削除又は短縮してコンテンツデータとは異なる新たなコンテンツデータを生成してもよい。
【００４８】
また、再生成部１２は、広告用の画像データ及び音声データの少なくともいずれか一方をメタデータとならないように一つのコンテンツデータとして含ませて新たなコンテンツデータを生成することも可能である。この際、再生成部１２は、広告用の画像データ及び音声データの少なくともいずれか一方を一つのコンテンツデータに時間軸をずらした複数箇所に所定時間ごとに挿入して新たなコンテンツデータを生成することも可能である。
【００４９】
図３は、再生成部１２による新たなコンテンツデータの生成例を示す。例えば、制御部５は、生成部１１で生成したデータベースとして結婚式の動画を時間軸に応じたアルゴリズムの変化に基づいて、結婚式に関する動画であると判定する。
【００５０】
これにより、再生成部１２は、例えば、新郎・新婦入場前に結婚式場のＣＭデータを挿入したり、あらかじめ設定した閾値未満の歓談、すなわち、新郎・新婦が着替えているために主役がいない時間帯を特定し、その部分を削除（必要に応じてＣＭデータをを入れてもよい）する。また、ユーザにより、動画時間を半分にする等の指定があった場合、乾杯の挨拶部分を２倍速に速めたり、式終り付近の父親の挨拶部分を３倍速とする等により、時間を短縮した新たなコンテンツデータを生成することができる。
【００５１】
また、このような結婚式の動画データである旨は、例えば、過去の結婚式の内容に応じたアルゴリズムの変化に関するサンプルデータを用いて、上下のピーク等が一致するなどを制御部５で参照することにより、コンテンツデータの特定に寄与することも可能である。なお、サンプルデータはアルゴリズムでなく、図２に示した３軸のデータベースでもよい。
【００５２】
この際、感情値判定部９は、測定した感情値が適切か否かを示す可否情報をユーザによる判定によって設定することにより、その可否情報を受け付けてメモリ３に蓄積するとともに、蓄積した可否情報に基づいて測定した感情値を修正することも可能である。同様に、アルゴリズムに関しても、修正することが可能である。これにより、ネオメディア生成装置１に学習機能を付与することが可能となる。
【００５３】
図４は、制御部５による一つのコンテンツデータを解析して新たなコンテンツデータを生成するまでのルーチンの一例を示す。
【００５４】
（ステップＳ１）
ステップＳ１において、制御部５は、データ取得部４によってネットワークＮＴに接続した外部サーバＳＶやクラウドＣ，或は、メモリ３から対象となるコンテンツデータを取得し、ステップＳ２へと移行する。
【００５５】
（ステップＳ２）
ステップＳ２において、制御部５は、取得したコンテンツデータをサブメモリ６に記憶し、ステップＳ３へと移行する。
【００５６】
（ステップＳ３）
ステップＳ３において、制御部５は、取得したコンテンツデータに音声データが含まれているか否かを判定する。制御部５は、コンテンツデータに音声データが含まれていると判定した場合（Ｙｅｓ）、ステップＳ４へと移行する。制御部５は、コンテンツデータに音声データが含まれていると判定しなかった場合（Ｎｏ）、ステップＳ５へとスキップする。
【００５７】
（ステップＳ４）
ステップＳ４において、制御部５は、取得したコンテンツデータに含まれる音声データを、音声解析部７により解析させるとともに、その解析結果を生成部１１に出力してステップＳ５へと移行する。
【００５８】
（ステップＳ５）
ステップＳ５において、制御部５は、取得したコンテンツデータに画像データが含まれているか否かを判定する。制御部５は、コンテンツデータに画像データが含まれていると判定した場合（Ｙｅｓ）、ステップＳ６へと移行する。制御部５は、コンテンツデータに画像データが含まれていると判定しなかった場合（Ｎｏ）、ステップＳ９へとスキップする。
【００５９】
（ステップＳ６）
ステップ６において、制御部５は、取得したコンテンツデータに含まれる画像データを、画像解析部８により解析させるとともに、その解析結果を生成部１１に出力してステップＳ７へと移行する。
【００６０】
（ステップＳ７）
ステップＳ７において、制御部５は、画像解析部８により、画像データに人の画像、より具体的には、人の顔の画像が含まれているか否かを判定する。制御部５は、画像データに人の顔の画像データが含まれていると判定した場合（Ｙｅｓ）、ステップＳ８へと移行する。制御部５は、画像データに人の顔の画像が含まれていると判定しなかった場合（Ｎｏ）、ステップＳ９へとスキップする。
【００６１】
（ステップＳ８）
ステップ８において、制御部５は、感情値測定部９により、フレームメモリ１０に記憶した人の顔の画像を含む画像データに対して感情値を判定し、その判定した感情値を生成部１１へと出力してステップＳ９へと移行する。
【００６２】
（ステップＳ９）
ステップＳ９において、制御部５は、生成部１１により、３軸の（データによって３軸すべてのデータが存在するとは限らない）マトリックス化によるデータベースを生成し、ステップＳ１０へと移行する。
【００６３】
（ステップＳ１０）
ステップＳ１０において、制御部５は、再生成部１２により、新たなコンテンツデータを再生成し、その新たなコンテンツデータをメモリ３に記憶してこのルーチンを終了する。
【００６４】
なお、以上において、図４に示したフローチャートは、本発明の手順を限定するものではなく、発明の趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。例えば、ステップＳ３の音声データ判定ステップ及びステップＳ４の音声解析ステップは、ステップＳ５の画像データ判定ステップ及びステップＳ６の画像解析ステップと逆でもよい。
【００６５】
ところで、ネオメディア生成装置１は、例えば、デスクトップ型やノート型等のパーソナルコンピュータのほか、コンテンツデータのデータ量が小さい動画等である場合には、スマートフォン等に専用のアプリケーションをインストールすることによっても可能である。また、コンテンツデータのデータ量が大きい動画等である場合には、オンデマンドプロセッシングにより行うことも可能である。
【００６６】
また、以上既に述べた以外にも、上記実施の形態による手法を適宜組み合わせて利用しても良い。上記の実施の形態では、動画データの尺を縮める場合を新たなコンテンツデータの生成として説明したがこれに限定されるものではない。例えば、データベース化した動画の内容に応じて、通常の木に目や口を追加した擬人化、画素を粗くモノクロ変換したデジタル魚拓化、人物の縦横比を変更したスレンダー化、顔色を白くした美白化、目の拡大等の整形化、等のように一部を変更したうえで時系列に合わせてデータを入れ替えてもよい。また、現実の動画をセル動画等の非現実の動画にするなど、適宜の新たなコンテンツデータを自動若しくはユーザ指定により生成することも可能である。
【００６７】
さらに、コンテンツデータとしての動画がドラマ等であった場合、例えば、画像解析部８で文字解析を行った結果、背景にスポンサーと競合する他社に関する画像が含まれていた場合に、ネガティブ情報として背景を塗りつぶす等の加工も可能となる。また、葬儀等の動画であるにもかかわらず、笑っている人が写り込んでいた場合に、ネガティブ情報としてその人の塗り潰しや笑う前の顔を重ねるといった加工も可能となる。
【００６８】
このように、再生成部１２は、新たなコンテンツデータの内容に応じて含ませたくないネガティブ情報に関するネガティブデータを削除又は短縮或は変更するように画像データ又は音声データを合成してコンテンツデータとは異なる新たなコンテンツデータを生成することも可能である。
【００６９】
なお、再生成部１２は、上述した画像データの編集機能だけでなく、上述した画像データに付随した音声データの編集以外に、音声データのみの編集も可能である。例えば、生成部１１によって、結婚式のスピーチ画像において、スピーチをしている人の口元の動きと周波数変化とで声を特定することができる。これによって、例えば、聞き取り難いから音声ボリュームを上げて聞き取り易くする、声が裏返ったからトーンを変える、といった新たなコンテンツデータを生成することも可能である。
【００７０】
その他、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。図５は、図１に示したコンピュータ２の変形例を示すブロック図である。
【００７１】
例えば、上記実施の形態では、メモリ３、サブメモリ６、フレームメモリ１０を別々のものとして開示したが、例えば、一つの外付けのハードディスクドライブ（ＨＤＤ）を用いて格納手段として用いてもよい。なお、格納手段とは、上述したＨＤＤ等のような公知の記憶媒体であるほか、広義の意味において記憶素子、すなわち、電子計算機（コンピュータ）の記憶装置の中で情報を直接保持する部品であって、回路の状態を利用したフィリップフロップや静的揮発性メモリー（ＲＡＭ）等の記憶処理回路としてのメモリ回路３、サブメモリ回路６、フレームメモリ回路１０であってもよい。
【００７２】
また、メモリ回路３にインストールしたアプリケーションは、制御部５によって処理に供されるものである。制御部５は、コンピュータであるネオメディア生成装置１において中心的な処理装置として働く電子回路（ＣＰＵ）である。したがって、制御部５は、コンピュータによるデジタル処理、すなわち、アプリケーションによる機能的処理を実行するための制御回路５としての意味合いを含んでいる。
【００７３】
同様に、インターフェースである送受信部２は、制御回路５に直接又は間接的に受信した情報又は送信する情報を処理させるものであり、ネットワーク回線ＮＴの種類に応じた各種の送受信回路２として機能するものであれば、特に限定されるものではない。
【００７４】
また、データ処理部４は、ユーザ操作によるキーボードやマウス等によって対象となるコンテンツデータを取得する機能を有するデータ取得回路であれば、例えば、タッチパネル方式の液晶表示装置を用いた場合のタッチ画面、或は、ネットワーク回線ＮＴを通じて遠隔入力される各種入力装置を含むものとする。したがって、データ処理部４は、これら各種の入力を直接又は間接的に受け付けて制御回５に入力情報を出力するデータ取得回路４として機能するものであれば、特に限定されるものではない。
【００７５】
音声解析部７は、例えば、音声データを周波数レベルの変化として時系列で検出することができればよい。したがって、音声解析部７は、音声データを解析する音声解析回路７として機能するものであれば、特に限定されるものではない。
【００７６】
画像解析部８は、例えば、画像データをピクセル単位又はライン単位で階調レベルの変化として検出し、その集合体をメモリ回路３に格納した目や口のパターン等と照合することによって人物、特に、人の顔を特定することができればよい。したがって、画像解析部８は、画像データを解析する画像解析回路８として機能するものであれば、特に限定されるものではない。
【００７７】
感情値測定部９は、画像解析部８で人の顔を特定した際に、その1フレーム分の画像データに含まれる人の表情に関するパターン等と照合することによって感情値を測定することができればよい。したがって、感情値測定部９は、画像データを解析する感情値測定回路９として機能するものであれば、特に限定されるものではない。
【００７８】
生成部１１は、コンテンツデータに含まれる画像データのデータ量と音声データのデータ量と感情値とを３軸として立体マトリックス化したデータベースを生成することができればよい。したがって、生成部１１は、与えられた数値に基づいて３軸に展開する生成回路１１として機能するものであれば、特に限定されるものではない。
【００７９】
再生成部１２は、生成部１１で生成したデータベースに基づいて画像データ及び音声データの編集が可能であればよい。したがって、再生成部１２は、データの削除等の単なる編集に限定されず、上述した各種の編集が可能な再生成回路１２として機能するものであれば、特に限定されるものではない。
【００８０】
以上説明したように、本発明に係るネオメディア生成装置は、コンテンツデータの内容を解析することによって、その解析結果に応じた後処理を行うことができ、コンテンツデータの有効利用を図ることができるという効果を有し、各種コンテンツデータに含まれる画像データや音声データを解析することによって異なる新たなコンテンツデータを再生成するネオメディア生成装置全般に有用である。
【符号の説明】
【００８１】
１  ネオメディア生成装置（コンピュータ）
４  データ取得部（取得部）
７  音声解析部
８  画像解析部
９  感情値測定部（測定部）
１１  生成部
１２  再生成部
【図１】
0006742731.tif 000002
【図２】
0006742731.tif 000003
【図３】
0006742731.tif 000004
【図４】
0006742731.tif 000005
【図５】
0006742731.tif 000006