(57)【要約】【目的】能動的な利用形態が可能で、レスポンスが早く、オーディオビジュアルなアプリケーションが実行可能なオーディオビジュアルコンテンツ再生装置を提供すること。【構成】素材コンテンツ入力部と、前記素材コンテンツに含まれる映像情報に画像処理又は表示時間変更操作を施す映像効果部と、前記素材コンテンツに含まれる音声情報に音声処理又は音声加算を施す音声効果部と、前記映像効果部又は音声効果部の機能選択に投票する投票部と、前記投票部による投票結果に基づいて前記映像効果部又は前記音声効果部の機能を決定する効果決定部と、素材コンテンツの再生管理情報と前記効果決定部より投票イベント情報を受けて映像又は音声の再生管理をする再生管理部を含んでオーディオビジュアルコンテンツ再生装置を構成する。【選択図】      図１
2004229052.tif 000002
【特許請求の範囲】
【請求項１】
素材コンテンツ入力部と、前記素材コンテンツに含まれる映像情報に画像処理又は表示時間変更操作を施す映像効果部と、前記素材コンテンツに含まれる音声情報に音声処理又は音声加算を施す音声効果部と、前記映像効果部又は音声効果部の機能選択に投票する投票部と、前記投票部による投票結果に基づいて前記映像効果部又は前記音声効果部の機能を決定する効果決定部と、素材コンテンツの再生管理情報と前記効果決定部より投票イベント情報を受けて映像又は音声の再生管理をする再生管理部を有することを特徴とするオーディオビジュアルコンテンツ再生装置。
【請求項２】
前記素材コンテンツ入力部は、テレビ放送、インターネット、外部メモリ、リムーバブルディスク、ＤＶＤ又はＣＤから素材コンテンツを取り込めることを特徴とする請求項１記載のオーディオビジュアルコンテンツ再生装置。
【請求項３】
前記効果決定部の決定基準は着順、多数決又は投票繰り返し回数であることを特徴とする請求項１記載のオーディオビジュアルコンテンツ再生装置。
【請求項４】
素材コンテンツ入力部と、前記素材コンテンツに含まれる映像情報に画像処理又は表示時間変更操作を施す映像効果部と、前記素材コンテンツに含まれる音声情報に音声処理又は音声加算を施す音声効果部と、前記映像効果部又は音声効果部の機能選択に投票する投票部と、視聴者が発する音声を取り込む視聴者音声入力部と、前記投票部による投票結果及び前記音声入力部から受け取る音声情報に基づいて前記映像効果部又は前記音声効果部の機能を決定する効果決定部、素材コンテンツの再生管理情報と前記効果決定部より投票イベント情報を受けて映像又は音声の再生管理をする再生管理部を有することを特徴とするオーディオビジュアルコンテンツ再生装置。
【請求項５】
前記効果決定部の決定基準は着順、多数決、投票繰り返し回数、音声周波数又は音声振幅であることを特徴とする請求項４記載のオーディオビジュアルコンテンツ再生装置。
【請求項６】
素材コンテンツ入力部と、前記素材コンテンツに含まれる映像情報に画像処理又は表示時間変更操作を施す映像効果部と、前記素材コンテンツに含まれる音声情報に音声処理又は音声加算を施す音声効果部と、前記映像効果部又は音声効果部の機能選択に投票する投票部と、前記投票部による投票結果に基づいて前記映像効果部又は前記音声効果部の機能を決定する効果決定部と、素材コンテンツの再生管理情報と前記効果決定部より投票イベント情報を受けて映像又は音声の再生管理をする再生管理部と、視聴者が発する音声を取り込む視聴者音声入力部と、前記効果決定部の決定結果と前記視聴者音声入力部から得た音声情報を外部又は内部蓄積装置に出力する鑑賞情報出力部とを有することを特徴とするオーディオビジュアルコンテンツ再生装置。
【請求項７】
素材コンテンツを入力する工程と、前記素材コンテンツに含まれる映像情報に画像処理又は表示時間変更操作等の映像効果を施す工程と、前記素材コンテンツに含まれる音声情報に音声処理又は音声加算等の音声効果を施す工程と、前記映像効果工程又は音声効果工程の機能選択に投票する工程と、前記投票結果に基づいて前記映像効果工程又は前記音声効果工程の機能を決定する工程と、素材コンテンツの再生管理情報と前記効果決定部より投票イベント情報を受けて映像又は音声の再生管理する工程を有することを特徴とするコンテンツ再生方法。
【請求項８】
素材コンテンツを入力するステップと、前記素材コンテンツに含まれる映像情報に画像処理又は表示時間変更操作等の映像効果を施すステップと、前記素材コンテンツに含まれる音声情報に音声処理又は音声加算等の音声効果を施すステップと、前記映像効果ステップ又は音声効果ステップの機能選択に投票するステップと、前記投票結果に基づいて前記映像効果ステップ又は前記音声効果ステップの機能を決定するステップと、素材コンテンツの再生管理情報と前記効果決定ステップより投票イベント情報を受けて映像又は音声の再生管理するステップから成るコンピュータプログラムを記録した媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラやデジタルテレビ放送等のデジタルメディアのオーディオビジュアルコンテンツを再生する装置と方法に関する。
【０００２】
【従来の技術】
静止衛星を用いたデジタル放送方式によるテレビ放送が行われるようになってきている。このようなデジタル放送方式に適合したテレビ受信機は、ＭＰＥＧ−２を始めとして各種デジタル符号化方式の映像や音声を再生する機能を有しているので、従来型の放送番組を受信表示する以外にも応用範囲が広がりつつある。例えば、デジタルカメラで撮影されたＪＰＥＧ圧縮画像やＷＡＶ方式ＰＣＭ音声をデコードして再生することも実現されている。
【０００３】
又、デジタル放送方式自体も蓄積型放送方式が提案されている。これによると放送ストリームを用いてオーディオビジュアルコンテンツやアプリケーションプログラムのダウンロードを行い、視聴者の好みやニーズに合った番組視聴や情報獲得を可能にしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、放送方式とテレビ放送受信機がデジタル化されても、相変わらず受動的に番組やデジタル写真やビデオを視聴する視聴スタイルに変化はない。一方でオーディオビジュアルなアプリケーションの豊富なテレビゲーム機はテレビの利用形態を能動的スタイルに変革したにも拘らず、広い年齢層に多くのファンを獲得している。この視点でＢＭＬ文書技術を応用したデータ放送は、テレビの利用形態を能動的にしようとするものである。
【０００５】
しかし、内容がテキスト中心の静的な番組が多いことや、レスポンスが遅いので、テレビの利用形態をテレビゲームほど革新できていないし、視聴者の支持も得ていない。
【０００６】
本発明は上記問題に鑑みてなされたもので、その目的とする処は、能動的な利用形態が可能で、レスポンスが早く、オーディオビジュアルなアプリケーションが実行可能なオーディオビジュアルコンテンツ再生装置と再生方法及び媒体を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項１に記載の発明のオーディオビジュアルコンテンツ再生装置は、素材コンテンツ入力部と、前記素材コンテンツに含まれる映像情報に画像処理又は表示時間変更操作を施す映像効果部と、前記素材コンテンツに含まれる音声情報に音声処理又は音声加算を施す音声効果部と、前記映像効果部又は音声効果部の機能選択に投票する投票部と、前記投票部による投票結果に基づいて前記映像効果部又は前記音声効果部の機能を決定する効果決定部と、素材コンテンツの再生管理情報と前記効果決定部より投票イベント情報を受けて映像又は音声の再生管理をする再生管理部を備えることを特徴とする。
【０００８】
請求項４に記載の発明のオーディオビジュアルコンテンツ再生装置は、素材コンテンツ入力部と、前記素材コンテンツに含まれる映像情報に画像処理又は表示時間変更操作を施す映像効果部と、前記素材コンテンツに含まれる音声情報に音声処理又は音声加算を施す音声効果部と、前記映像効果部又は音声効果部の機能選択に投票する投票部と、視聴者が発する音声を取り込む視聴者音声入力部と、前記投票部による投票結果及び前記音声入力部から受け取る音声情報に基づいて前記映像効果部又は前記音声効果部の機能を決定する効果決定部、素材コンテンツの再生管理情報と前記効果決定部より投票イベント情報を受けて映像又は音声の再生管理をする再生管理部を備えることを特徴とする。
【０００９】
請求項６に記載の発明のオーディオビジュアルコンテンツ再生装置は、素材コンテンツ入力部と、前記素材コンテンツに含まれる映像情報に画像処理又は表示時間変更操作を施す映像効果部と、前記素材コンテンツに含まれる音声情報に音声処理又は音声加算を施す音声効果部と、前記映像効果部又は音声効果部の機能選択に投票する投票部と、前記投票部による投票結果に基づいて前記映像効果部又は前記音声効果部の機能を決定する効果決定部と、素材コンテンツの再生管理情報と前記効果決定部より投票イベント情報を受けて映像又は音声の再生管理をする再生管理部と、視聴者が発する音声を取り込む視聴者音声入力部と、前記効果決定部の決定結果と前記視聴者音声入力部から得た音声情報を外部又は内部蓄積装置に出力する鑑賞情報出力部とを備えることを特徴とする。
【００１０】
【発明の実施の形態】
以下本発明の実施の形態１〜３について説明する。
【００１１】
＜実施の形態１＞
図１は本発明の実施の形態１のオーディオビジュアル再生装置の構成図である。
【００１２】
図１において、入力Ｉ／Ｆ１０１は、テレビ放送、インターネット、外部メモリ、リムーバブルディスク、ＤＶＤ又はＣＤから素材コンテンツを本発明の装置内に取り込むための入力である。パーザー部１０２は、入力Ｉ／Ｆ１０１より素材コンテンツを受け取り、後に図６で説明する素材コンテンツのデータ構造解析及び分解を行い後段の処理の準備する。映像復号部１０３は、パーザー部１０２よりＭＰＥＧ−２ビデオフォーマット等で圧縮された映像データを受け取り、圧縮前の映像データに伸張する。
【００１３】
音声復号部１０４は、パーザー部１０２よりＭＰ３フォーマット等で圧縮された音声データを受け取り、圧縮前の音声データに伸張する。再生管理部１０５は、映像データ及び音声データの再生順序と再生時間管理を行う。映像効果部１０６は、復号された映像データに対して、モザイク、色反転、拡大、縮小、回転や変形、重ね合わせ等の各種画像処理を施す。映像効果の種類はこれらに限られるものではない。
【００１４】
音声効果部１０７は、復号された音声データに対して、周波数シフト、各種フィルタ、振幅調整、効果音加算等の各種音声処理を施す。音声効果の種類はこれらに限られるものではない。表示装置１０８はＣＲＴ、液晶、ＰＤＰ、ＦＥＤ、ＥＬ等各種表示デバイスとその制御回路から構成されるもので、映像効果部１０６の出力を受ける。音声再生装置１０９は、スピーカー等の電気−音響変換デバイスとその制御回路から構成されるもので、音声効果部１０７の出力を受ける。効果投票部１１０，１１１，１１２は、映像効果部１０６や音声効果部１０７の機能を機能を支持するために投票が行えるリモコンである。
【００１５】
赤外線通信、無線通信、有線通信等の各種方式のリモコンが使える。効果決定部１１３は、効果投票部１１０，１１１，１１２からの投票状況を集計基準に基づいて集計を行い、映像効果及び音声効果の種類を決定する。例えば、投票効果部１１０，１１１，１１２はＴＶリモコンに投票機能ボタンを付加することで実現される。本発明の実施の形態１のオーディオビジュアル再生装置は以上の要素より構成される。
【００１６】
次に、図１を用いて、本発明の実施の形態１のオーディオビジュアル再生装置の作用を説明する。
【００１７】
映像又は音声或は両方を含む素材コンテンツを本発明の実施の形態１のオーディオビジュアル装置で鑑賞するために、入力Ｉ／Ｆ１０１より素材コンテンツを装置内に取り込む。入力Ｉ／Ｆ１０１は、素材コンテンツの供給源によって様々な構成が考えられる。供給源がテレビ放送であれば入力Ｉ／Ｆ１０１は、テレビ放送受信アンテナ及びチューナーに接続されるし、インターネットであればＬＡＮやＩＳＤＮやＡＤＳＬや電話網及びそれぞれに適合したモデム等に接続される。
【００１８】
或は素材コンテンツの供給源が記憶装置の場合、例えば外部メモリ、リムーバブルディスク、ＤＶＤ、ＣＤ等の場合は、それぞれに適合したドライブやインターフェースに入力Ｉ／Ｆ１０１は接続される。より具体例を挙げれば、最近各社から商品化事例が多数あるデジタルスチルカメラ（ＤＳＣ）は、撮影映像や音声を脱着可能メモリカードに蓄積するのが一般的である。このような事例では脱着可能メモリカードが入力Ｉ／Ｆ１０１に接続される。
【００１９】
パーザー部１０２では、取り込まれた素材コンテンツのデータ構造を解析し、映像データと音声データと再生管理データに分解される。そして、映像データは映像復号部１０３へ送出され、音声データは音声復号部１０４へ送出され、再生管理データは再生管理部１０５へ送出される。映像復号部１０３は、圧縮された映像データを伸張し元の映像データに変換する。
【００２０】
圧縮方式はＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＪＰＥＧ、ＪＰＥＧ２０００等の各種方式を応用できる。音声復号部１０４は、圧縮された音声データを伸張し元の音声データに変換する。ＰＣＭ音声データのように非圧縮符号化方式を採用した音声データの場合には、デジタル音声データを抽出する。前述のように映像復号部１０３及び音声復号部１０４では圧縮データの復号処理を行うのが第１の機能であるが、ＤＣＴ領域やＷａｖｅｌｅｔ  領域等での画像処理のように、復号処理過程で画像処理又は音声処理を行う方が処理時間が短く有利な場合は、映像復号部１０３及び音声復号部１０４で映像処理や音声処理を行うこともある。
【００２１】
以上のように復号された映像データ及び音声データは、それぞれ映像効果部１０６及び音声効果部１０７へ送出され、効果決定部１１３の決定に対応した映像効果処理及び音声効果処理が行われる。効果処理が終わった映像データは、表示装置１０８に送られ、効果処理が終わった音声データは、音声再生装置１０９に送られて視聴者が効果付きコンテンツを鑑賞する。
【００２２】
一方、効果決定に至る作用は、効果投票部１１０，１１１，１１２と効果決定部１１３が関わっている。例えば、３人の視聴者が本オーディオビジュアル装置でコンテンツを鑑賞している時、各視聴者は、それぞれ効果投票部１１０，１１１，１１２を操作する。投票効果部１１０，１１１，１１２のボタン操作情報が効果決定部１１３に入力され、予めモード入力１１４で指定されたアルゴリズムに沿って効果が決定される。決定効果は、効果決定部１１３から、映像効果復号部１０３、音声効果復号部１０４、映像効果部１０６、音声効果部１０７に通知される。
【００２３】
次に、図５を用いて、前述の図１の効果決定部３１４を詳しく説明する。
【００２４】
図５において、矢印５０１，５０２，５０３はそれぞれ効果投票部３１１，３１２，３１３からの投票情報である。着順判定部５０４は、各投票情報入力のうち、最も早い時刻に投票された投票情報を抽出し次段に通知する。多数決判定部５０５は、各投票情報入力のうち、多数派の投票情報を抽出し次段に通知する。決定部５０６は、多数決判定部５０５か、着順判定部５０４か、何れかの結果を採用する。例えば、モード入力５０７が着順判定モードになっている場合は、決定部５０６は、着順判定部５０４から送出される投票情報を元にして効果を決定する。決定部５０６は、投票順位１位の効果を矢印５０８へ出力すると同時に、効果を施す映像又は音声を指し示すタイミングを矢印５０９へ出力する。
【００２５】
次に、図８を用いて、前述の図１の再生管理部１０５の内部構成例を説明する。
【００２６】
図８において、再生管理部１０５は、映像音声の再生順序計画を保有している再生スケジューラ８０１、再生すべき映像音声データを指し示す再生データポインタ８０２、再生時刻を知らせる再生タイミング発生器８０３から構成される。
【００２７】
図８において、素材コンテンツから抽出された再生管理情報８０４は、再生スケジューラ８０１に入力され、再生順序計画のベース計画となる。前記ベース計画に沿って、再生すべき映像音声データが再生データポインタ８０２によって指示出力される。そして、前述の再生データポインタ８０２によって指示される映像音声データを再生すべき時刻が再生タイミング発生器８０３によって出力される。このとき、復号完了信号８０６が復号完了状態にあることが条件になる。再生コンテンツを鑑賞している視聴者がリモコンによって、映像音声効果を付加するための投票操作を行うと、投票イベント信号８０５が再生スケジューラ８０１に入力される。このとき、再生スケジューラ８０１は再生データポインタ８０２にセットされている情報を再度出力する。そして、復号完了信号８０６及び効果処理完了信号８０７が共に完了状態にあることを確認してから、再生タイミング発生器８０３より再生時刻を出力する。
【００２８】
次に、図９を用いて、前述の図１の映像効果部１０６の内部構成例を説明する。
【００２９】
図９において、映像効果部１０６は、映像効果アルゴリズムの切替をするところのスイッチ部９０１、映像データをスルーパスさせる効果なし部９０２、映像データの色を反転する処理を行う色反転効果部９０３、映像を拡大する処理を行う拡大処理効果部９０４から構成される。
【００３０】
図９において、視聴者の投票操作によって決定された効果は選択信号９０６としてスイッチ部９０１に入力される。例えば選択信号が色反転処理をしているときは、色反転処理部９０３に、復号済み映像データ９０５が入力されるように接続される。図９は映像効果部１０６の内部構成例であるが、音声効果部１０７についても類似の構成を採ることができる。
【００３１】
＜実施の形態２＞
図２は本発明の実施の形態２のオーディオビジュアル再生装置の構成図である。
【００３２】
図２において、入力Ｉ／Ｆ２０１は、テレビ放送、インターネット、外部メモリ、リムーバブルディスク、ＤＶＤ又はＣＤから素材コンテンツを本発明の装置内に取り込むための入力である。パーザー部２０２は、入力Ｉ／Ｆ２０１より素材コンテンツを受け取り、後に図６で説明する素材コンテンツのデータ構造解析及び分解を行い後段の処理の準備する。
【００３３】
蓄積装置２０３は、素材コンテンツを蓄積する。映像復号部２０４は、パーザー部２０２よりＭＰＥＧ−２ビデオフォーマット等で圧縮された映像データを受け取り、圧縮前の映像データに伸張する。音声復号部２０５は、パーザー部２０２よりＭＰ３フォーマット等で圧縮された音声データを受け取り、圧縮前の音声データに伸張する。再生管理部２０６は、映像データ及び音声データの再生順序と再生時間管理を行う。
【００３４】
映像効果部２０７は、復号された映像データに対して、モザイク、色反転、拡大、縮小、回転や変形、重ね合わせ等の各種画像処理を施す。映像効果の種類はこれらに限られるものではない。音声効果部２０８は、復号された音声データに対して、周波数シフト、各種フィルタ、振幅調整、効果音加算等の各種音声処理を施す。音声効果の種類はこれらに限られるものではない。
【００３５】
表示装置２０９はＣＲＴ、液晶、ＰＤＰ、ＦＥＤ、ＥＬ等各種表示デバイスとその制御回路から構成されるもので、映像効果部２０７の出力を受ける。音声再生装置２１０は、スピーカー等の電気−音響変換デバイスとその制御回路から構成されるもので、音声効果部２０８の出力を受ける。効果投票部２１３，２１４，２１５は映像効果部２０７や音声効果部２０８の機能を機能を支持するために投票が行えるリモコンである。
【００３６】
赤外線通信、無線通信、有線通信等の各種方式のリモコンが使える。音声入力装置２１１は、視聴者の話し声や拍手の音声等の環境音を集音する。音声入力部２１２は、音声入力装置２１１で集音された音声の振幅情報や周波数情報を抽出、デジタル化する。効果決定部２１６は、効果投票部２１３，２１４，２１５からの投票状況に、音声入力部２１２からの音声抽出情報を加味して、集計基準に基づいて集計を行い、映像効果及び音声効果の種類を決定する。例えば、投票効果部２１３，２１４，２１５はＴＶリモコンに投票機能ボタンを付加することで実現される。本発明の実施の形態２のオーディオビジュアル再生装置は以上の要素より構成される。
【００３７】
次に図２を用いて、本発明の実施の形態２のオーディオビジュアル再生装置の作用を説明する。
【００３８】
映像又は音声或は両方を含む素材コンテンツを本発明の実施の形態２のオーディオビジュアル装置で鑑賞するために、入力Ｉ／Ｆ２０１より素材コンテンツを装置内に取り込む。入力Ｉ／Ｆ２０１は、素材コンテンツの供給源によって様々な構成が考えられる。供給源がテレビ放送であれば入力Ｉ／Ｆ２０１はテレビ放送受信アンテナ及びチューナーに接続されるし、インターネットであればＬＡＮやＩＳＤＮやＡＤＳＬや電話網及びそれぞれに適合したモデム等に接続される。或は素材コンテンツの供給源がデジタルテレビ放送の場合は放送番組ストリームが入力Ｉ／Ｆ２０１から入力される。このようなストリーム形式で素材コンテンツを受信する場合は、蓄積装置２０３に素材コンテンツが一時蓄積される。
【００３９】
パーザー部２０２では、取り込まれた素材コンテンツのデータ構造を解析し、映像データと音声データと再生管理データに分解される。そして、映像データは映像復号部２０４へ送出され、音声データは音声復号部２０５へ送出され、再生管理データは再生管理部２０６へ送出される。映像復号部２０４は、圧縮された映像データを伸張し元の映像データに変換する。圧縮方式はＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＪＰＥＧ、ＪＰＥＧ２０００等各種方式を応用できる。音声復号部２０５は、圧縮された音声データを伸張し元の音声データに変換する。ＰＣＭ音声データのように非圧縮符号化方式を採用した音声データの場合には、デジタル音声データを抽出する。
【００４０】
前述のように映像復号部２０４及び音声復号部２０５では圧縮データの復号処理を行うのが第１の機能であるが、ＤＣＴ領域やＷａｖｅｌｅｔ  領域等での画像処理のように、復号処理過程で画像処理または音声処理を行う方が処理時間が短く有利な場合は、映像復号部２０４及び音声復号部２０５で映像処理や音声処理を行うこともある。
【００４１】
以上のように復号された映像データ及び音声データは、それぞれ映像効果部２０７及び音声効果部２０８へ送出され、効果決定部２１６の決定に対応した映像効果処理及び音声効果処理が行われる。効果処理が終わった映像データは表示装置２０９に送られ、効果処理が終わった音声データは音声再生装置２１０に送られて、視聴者が効果付きコンテンツを鑑賞する。
【００４２】
一方、効果決定に至る作用は、効果投票部２１３，２１４，２１５と効果決定部２１６が関わっている。例えば、３人の視聴者が本オーディオビジュアル装置でコンテンツを鑑賞している時、各視聴者はそれぞれ、効果投票部２１３，２１４，２１５を操作する。投票効果部２１３，２１４，２１５のボタン操作情報が効果決定部２１６に入力され、予めモード入力２１７で指定されたアルゴリズムに沿って効果が決定される。例えば、音声振幅閾値モードの場合、音声入力部２１２より一定の振幅値を超えた場合のみ、効果投票２１３，２１４，２１５からの入力を有効にすることもできる。決定効果は効果決定部２１７から、映像効果復号部２０４、音声効果復号部２０５、映像効果部２０７、音声効果部２０８に通知される。
【００４３】
＜実施の形態３＞
図３は本発明の実施の形態３のオーディオビジュアル再生装置の構成図である。
【００４４】
図３において、脱着可能蓄積装置３０２は素材コンテンツが記憶されているメディアで、例えば、メモリーカード、リムーバブルハードディスク、光ディスク、ＤＶＤ、ＣＤ等がある。入力Ｉ／Ｆ３０１は、脱着可能蓄積装置３０２から素材コンテンツを本発明の装置内に取り込むための入力である。パーザー部３０３は、入力Ｉ／Ｆ３０１より素材コンテンツを受け取り、後に図６で説明する素材コンテンツのデータ構造解析及び分解を行い後段の処理の準備する。
【００４５】
映像復号部３０４は、パーザー部３０３よりＭＰＥＧ−２ビデオフォーマット等で圧縮された映像データを受け取り、圧縮前の映像データに伸張する。音声復号部３０５は、パーザー部３０３よりＭＰ３フォーマット等で圧縮された音声データを受け取り、圧縮前の音声データに伸張する。再生管理部３０６は、映像データ及び音声データの再生順序と再生時間管理を行う。映像効果部３０７は、復号された映像データに対して、モザイク、色反転、拡大、縮小、回転や変形、重ね合わせ等の各種画像処理を施す。映像効果の種類はこれらに限られるものではない。
【００４６】
音声効果部３０８は、復号された音声データに対して、周波数シフト、各種フィルタ、振幅調整、効果音加算等の各種音声処理を施す。音声効果の種類はこれらに限られるものではない。表示装置３０９はＣＲＴ、液晶、ＰＤＰ、ＦＥＤ、ＥＬ等各種表示デバイスとその制御回路から構成されるもので、映像効果部３０７の出力を受ける。音声再生装置３１０は、スピーカー等の電気−音響変換デバイスとその制御回路から構成されるもので、音声効果部３０８の出力を受ける。効果投票部３１１，３１２，３１３は映像効果部３０７や音声効果部３０８の機能を機能を支持するために投票が行えるリモコンである。
【００４７】
赤外線通信、無線通信、有線通信等の各種方式のリモコンが使える。音声入力装置３１７は、視聴者の話し声や拍手の音声等の環境音を集音する。音声入力部３１８は、音声入力装置３１７で集音された音声の振幅情報や周波数情報を抽出、デジタル化する。又、音声入力部３１８は、音声をＰＣＭ符号等のデジタルデータに変換する。鑑賞情報出力部３１９は、デジタル音声情報と決定済み効果とを次段に送出する。出力Ｉ／Ｆ３２０は、前記デジタル音声情報と決定済み効果を脱着可能蓄積装置３０２に送出する。効果決定部３１４は、効果投票部３１１，３１２，３１３からの投票状況に、音声入力部３１７からの音声抽出情報を加味して、集計基準に基づいて集計を行い、映像効果及び音声効果の種類を決定する。例えば、投票効果部３１１，３１２，３１３はＴＶリモコンに投票機能ボタンを付加することで実現される。本発明の実施の形態３のオーディオビジュアル再生装置は以上の要素より構成される。
【００４８】
次に図３を用いて本発明の実施の形態３のオーディオビジュアル再生装置の作用を説明する。
【００４９】
映像又は音声或は両方を含む素材コンテンツを本発明の実施の形態３のオーディオビジュアル装置で鑑賞するために、入力Ｉ／Ｆ３０１より素材コンテンツを装置内に取り込む。入力Ｉ／Ｆ３０１は、脱着可能蓄積装置３０２より素材コンテンツを読み込む。パーザー部３０３では、取り込まれた素材コンテンツのデータ構造を解析し、映像データと音声データと再生管理データに分解される。そして、映像データは映像復号部３０４へ送出され、音声データは音声復号部３０５へ送出され、再生管理データは再生管理部３０６へ送出される。
【００５０】
映像復号部３０４は、圧縮された映像データを伸張して元の映像データに変換する。圧縮方式はＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＪＰＥＧ、ＪＰＥＧ２０００等各種方式を応用できる。音声復号部３０５は圧縮された音声データを伸張し元の音声データに変換する。ＰＣＭ音声データのように非圧縮符号化方式を採用した音声データの場合には、デジタル音声データを抽出する。
【００５１】
前述のように、映像復号部３０４及び音声復号部３０５では圧縮データの復号処理を行うのが第１の機能であるが、ＤＣＴ領域やＷａｖｅｌｅｔ  領域等での画像処理のように、復号処理過程で画像処理又は音声処理を行う方が処理時間が短く有利な場合は、映像復号部３０４及び音声復号部３０５で映像処理や音声処理を行うこともある。
【００５２】
以上のように復号された映像データ及び音声データは、それぞれ映像効果部３０７及び音声効果部３０８へ送出され、効果決定部３１４の決定に対応した映像効果処理及び音声効果処理が行われる。効果処理が終わった映像データは表示装置３０９に送られ、効果処理が終わった音声データは音声再生装置３１０に送られて、視聴者が効果付きコンテンツを鑑賞する。
【００５３】
一方、効果決定に至る作用は、効果投票部３１１，３１２，３１３と効果決定部３１４が関わっている。例えば、３人の視聴者が本オーディオビジュアル装置でコンテンツを鑑賞している時、各視聴者はそれぞれ、効果投票部３１１，３１２，３１３を操作する。投票効果部３１１，３１２，３１３のボタン操作情報が効果決定部３１４に入力され、予めモード入力３１５で指定されたアルゴリズムに沿って効果が決定される。例えば音声振幅閾値モードの場合、音声入力部２１２より一定の振幅値を超えた場合のみ、効果投票３１１，３１２，３１３からの入力を有効にすることもできる。決定効果は効果決定部３１４から、映像効果復号部３０４、音声効果復号部３０５、映像効果部３０７、音声効果部３０８に通知される。視聴者が鑑賞した効果付きコンテンツを再び鑑賞できるように、本実施の形態では、鑑賞情報出力部３１９にて、決定済み効果と視聴者の音声が出力Ｉ／Ｆ３２０経由で脱着可能蓄積装置３０２に記憶される。
【００５４】
次に、図６及び図７を用いて、素材コンテンツと、本発明の実施の形態３のオーディオビジュアル再生装置によって効果と視聴者の音声を付加された鑑賞コンテンツを説明する。
【００５５】
図６において、素材コンテンツ６０１は素材１００（６０２）と素材１０１（６０３）と再生管理情報６０８から構成されている。素材１００（６０２）は、ＪＰＥＧ１００とＷＡＶ１００から構成され、同様に素材１０１（６０３）はＪＰＥＧ１０１とＷＡＶ１０１から構成されている。ＪＰＥＧ１００（６０４）はＪＰＥＧ方式で圧縮された映像ファイルであり、ＷＡＶ１００（６０５）はＰＣＭ符号化されたデジタル音声ファイルである。再生管理情報６０８は必須ではないが、素材の再生順序や再生時間を規定することができる。
【００５６】
図７において、鑑賞コンテンツ７０１は、素材１００（７０２）と素材１０１（７０３）と再生管理情報７１２から構成されている。素材１００（７０２）はＪＰＥＧ１００とＷＡＶ１００とＶＥＦ１００とＡＥＦ１００から構成され、同様に素材１０１（７０３）はＪＰＥＧ１０１とＷＡＶ１０１とＶＥＦ１０１とＡＥＦ１０１から構成されている。ＶＥＦ１００（７０６）は映像効果ファイルであり、ＡＥＦ１００（７０７）は音声効果ファイルである。再生管理情報６０８は必須ではないが、素材の再生順序や再生時間を規定することができる。
【００５７】
＜実施の形態４＞
次に、図４を用いて、本発明の実施の形態４に係るオーディオビジュアルコンテンツ再生方法について説明する。
【００５８】
図４において、ステップ４０２で素材コンテンツが入力可能にあるか否かの検収ループを構成して、検出されるまで待機する。素材コンテンツが検出されればステップ４０３に進み、素材コンテンツを検出したことをメッセージをして視聴者に知らせる。次に視聴者が鑑賞をするために、素材コンテンツの再生を指示するまでステップ４０４で待機する。視聴者から再生指示があると、ステップ４０５に進み、再生アプリケーションを起動する。
【００５９】
次に、ステップ４０６、ステップ４０７で、それぞれ映像音声データを読み込み、その再生を行う。次にステップ４０８で、一定の時間、視聴者からの投票操作を待つ。その後、ステップ４０９で投票結果を集計し、その結果に基づいてステップ４１０で映像効果を決定し、ステップ４１１で音声効果を決定する。
【００６０】
次に、ステップ４１３で効果を付加する対象データに対して、映像音声処理を施す。そして、ステップ４１４で効果付き映像音声データを再生する。再生時間が満了するまで、ステップ４１５で待機する。再生時間が満了すれば、ステップ４１６に移り、再びステップ４０６から処理を開始する。このループを繰り返して、再生するコンテンツが無くなれば、ステップ４１７で再生終了メッセージを視聴者に知らせて、全ての処理を終える。以上が本発明のオーディオビジュアルコンテンツ再生方法のフローである。
【００６１】
【発明の効果】
以上の説明で明らかなように、本発明によれば、能動的な利用形態が可能で、レスポンスが早く、オーディオビジュアルなアプリケーションが実行可能なオーディオビジュアルコンテンツ再生装置と再生方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１を示すブロック図である。
【図２】本発明の実施形態２を示すブロック図である。
【図３】本発明の実施の形態３を示すブロック図である。
【図４】本発明のオーディオビジュアル再生方法を示すフローチャートである。
【図５】効果決定部の構成例を示す図である。
【図６】素材コンテンツの構造を示す図である。
【図７】鑑賞コンテンツの構造を示す図である。
【図８】再生管理部の構成例を示す図である。
【図９】映像効果部の構成例を示す図である。
【符号の説明】
１０１      入力Ｉ／Ｆ
１０２      パーザー部
１０３      映像復号部
１０４      音声復号部
１０５      再生管理部
１０６      映像効果部
１０７      音声効果部
１０８      表示装置
１０９      音声再生装置
１１０      効果投票部Ａ
１１１      効果投票部Ｂ
１１２      効果投票部Ｂ
２０３      蓄積装置
２１１      音声入力装置
２１２      音声入力部
３１９      鑑賞出力部
３２０      出力Ｉ／Ｆ
【図１】
2004229052.tif 000003
【図２】
2004229052.tif 000004
【図３】
2004229052.tif 000005
【図４】
2004229052.tif 000006
【図５】
2004229052.tif 000007
【図６】
2004229052.tif 000008
【図７】
2004229052.tif 000009
【図８】
2004229052.tif 000010
【図９】
2004229052.tif 000011