(57)【要約】  再生装置は、画像データと音声データとを同期させる同期モードにて画像データと音声データとを出力し、画像データと音声データとを同期させない非同期モードにて少なくとも画像データを出力する。この再生装置は、画像データと音声データを出力する際の遅延によるユーザへの違和感を低減させる。
2015107909.tif 000002
【特許請求の範囲】
【請求項１】
符号化された画像データと符号化された音声データとを復号してコンテンツを出力する再生装置であって、
前記符号化された画像データを復号し前記符号化された音声データを復号する復号化ユニットと、
前記復号化ユニットにて復号された画像データおよび復号された音声データの少なくともいずれか一方を出力タイミングを制御して出力する出力ユニットとを備え、
前記出力ユニットは、前記復号された画像データおよび復号された音声データを同期させて出力する同期モードと前記復号された画像データおよび復号された音声データを同期させず出力する低遅延モードとを切り替えて前記復号された画像データおよび復号された音声データを出力する再生装置。
【請求項２】
前記復号化ユニットにて復号された音声データの音量レベルを検出する音量検出部をさらに備え、
前記音量検出部が検出した音量レベルが無音である場合、前記出力ユニットは前記復号された画像データおよび復号された音声データを低遅延モードにて出力する請求項１記載の再生装置。
【請求項３】
自装置に対してユーザが操作したか否かを検出する操作検出部をさらに備え、
前記操作検出部がユーザからの操作があったことを検出した場合、前記出力ユニットは前記復号された画像データおよび復号された音声データを低遅延モードにて出力する請求項１記載の再生装置。
【請求項４】
符号化された画像データと符号化された音声データとを復号してコンテンツを出力する再生装置であって、
前記再生装置に接続される携帯端末装置から前記符号化された画像データおよび前記符号化された音声データを受信する受信部と、
前記符号化された画像データおよび前記符号化された音声データを復号する復号化ユニットと、
前記復号化ユニットにて復号された画像データおよび復号された音声データの少なくともいずれか一方の出力タイミングを制御して出力する出力ユニットと、前記復号化ユニットにて復号された音声データの音量を検出する音量検出部を備え、
前記音量検出部で検出した音量が無音である場合、前記出力ユニットは前記復号された画像データおよび復号された音声データを同期させず出力する低遅延モードにて出力し、前記音量検出部で検出した音量が有音である場合、前記出力ユニットは前記復号された画像データおよび復号された音声データを同期させて出力する同期モードにて出力する再生装置。
【請求項５】
符号化された画像データと符号化された音声データとを復号化してコンテンツを出力する再生装置であって、
前記符号化された画像データおよび前記符号化された音声データを復号化する復号化ユニットと、
前記復号化ユニットにて復号された画像データおよび復号された音声データの少なくともいずれか一方を出力タイミングを制御して出力する出力ユニットと、
前記出力ユニットから出力された画像データに対するユーザからの操作の有無を検出する操作検出部と、
を備え、
前記操作検出部でユーザからの操作があったことを検出した場合、前記出力ユニットは前記復号された画像データおよび復号された音声データを同期させず出力する低遅延モードにて出力し、
前記操作検出部でユーザからの操作が無いことを検出した場合、前記出力ユニットは前記復号された画像データおよび復号された音声データを同期させて出力する同期モードにて出力する再生装置。
【請求項６】
符号化された画像データと符号化された音声データを復号するステップと、
前記復号するステップにて復号された音声データの音量レベルを検出するステップと、
前記音量レベルを検出するステップにて検出された音量レベルが無音である場合、前記復号された画像データと前記復号された音声データとを同期させず出力するステップと、
を含む、データ再生方法。
【請求項７】
符号化された画像データと符号化された音声データとを復号するステップと、
ユーザからの操作があったか否かを検出するステップと、
前記ユーザからの操作があったか否かを検出するステップにおいて操作があったことを検出した場合、前記復号された画像データと前記復号された音声データとを同期させず出力するステップと、
を含む、データ再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化された画像データおよび音声データを含んだマルチメディアデータを再生する再生装置に関する。
【背景技術】
【０００２】
従来、マルチメディアデータを再生する技術として、無音レベルのオーディオ符号化データの検出を行うとともに、無音レベルのオーディオ符号化データを無音レベルデータ保存部に保存し、オーディオ信号の遅延時、オーディオデコーダへの無音レベルのオーディオ符号化データの供給を止め、一方、オーディオ信号の先行時、無音レベルデータ保存部の無音レベルのオーディオ符号化データを挿入し、オーディオ・ビデオ同期処理を行うものが知られている（例えば特許文献１参照）。【０００３】
上記従来の技術においては、画像（あるいは映像）のデータとオーディオ（音声）のデータとを表示装置などへ出力する際に遅延が生じ、ユーザに違和感を与える場合がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−１６４５５６号公報
【発明の概要】
【０００５】
再生装置は、画像データと音声データとを同期させる同期モードにて画像データと音声データとを出力し、画像データと音声データとを同期させない非同期モードにて少なくとも画像データを出力する。
【０００６】
この再生装置は、画像データと音声データを出力する際の遅延によるユーザへの違和感を低減させる。
【図面の簡単な説明】
【０００７】
【図１】図１は実施の形態１における再生装置を含む再生システムのブロック図である。
【図２】図２は実施の形態１における再生装置の動作のフロー図である。
【図３】図３は実施の形態２における再生装置を含む再生システムのブロック図である。
【図４】図４は実施の形態２における再生装置の動作のフロー図である。
【図５】図５は実施の形態３における再生装置を含む再生システムのブロック図である。
【図６】図６は実施の形態３における再生装置の動作のフロー図である。
【発明を実施するための形態】
【０００８】
（実施の形態１）
図１は実施の形態１における再生システム１００１のブロック図である。再生システム１００１は、車載装置１０と携帯装置２０１とから構成されている。
【０００９】
本実施の形態の再生システム１００１は、一例として、近年その利用が拡大しているＭｉｒａｃａｓｔ（登録商標）の技術が適用される。Ｍｉｒａｃａｓｔ（登録商標）（ミラキャスト）とはＷｉ−Ｆｉ  Ａｌｌｉａｎｃｅによって策定された、１つの電子機器が任意の他の電子機器へ行う無線通信によるディスプレイ伝送技術である。Ｍｉｒａｃａｓｔ（登録商標）により、たとえば、任意の携帯電話から任意のテレビ受像機の上にディスプレイをミラーリングしたり、リアルタイムで会議室のプロジェクタとパソコンの画面を共有したり、などを行うことができる。
【００１０】
以下の説明において、実施の形態の車載装置１０としては、自動車などの車両の室内において利用される電子機器にＭｉｒａｃａｓｔ（登録商標）の技術を適用した例が示される。携帯装置２０１と車載装置１０とがＭｉｒａｃａｓｔ（登録商標）の技術を利用することで、携帯装置２０１から送られた画像（映像）が車載装置１０の表示部２０３に表示される。
【００１１】
携帯装置２０１は画像（映像）を送る、信号源を有する装置であるソース装置である。また、車載装置１０は画像を再生して表示する再生装置であり、シンク装置と呼ぶことがある。
【００１２】
車載装置１０と携帯装置２０１とは互いに無線通信あるいは有線通信を利用してデータの送受を行うよう、接続可能な構成となっている。
【００１３】
また、車載装置１０には、ユーザに向けて音声を出力するスピーカ２０２と画像（映像）を出力する表示部２０３とが接続される。
【００１４】
携帯装置２０１から先に説明する。実施の形態１における携帯装置２０１は、所謂スマートフォンであるが、ＭＰＥＧ２−ＴＳ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）の規格に準じて規格化された画像データと音声データとを車載装置１０へ送信するものであればスマートフォン以外のソース装置であっても良い。
【００１５】
携帯装置２０１から送信されてくるデータには、再生時刻の情報が含まれるので、この情報を用いて車載装置１０は画像（映像）と音声を同期させて再生することができる。
【００１６】
車載装置１０は、携帯装置２０１から送られてきたデータを受信する受信部１１０を備える。受信部１１０は、一般的なＷｉＦｉレシーバなどで構成され、暗号化されたパケットの解読や物理層のパケットヘッダの除去などの処理を行う。
【００１７】
受信部１１０で受信して処理されたデータはパケット結合部１１１に入力される。受信したデータは適度な大きさに分割してパケット化されているため、パケット結合部１１１では、これらの分割されたパケットを結合する。
【００１８】
パケット結合部１１１にて結合されたデータは、次段の多重復号化部１１２に送られる。多重復号化部１１２は、パケット結合部１１１から送られてきたデータに基づいて、符号化された画像データである画像エレメンタリストリーム（ＥＳ）および符号化された音声データである音声エレメンタリストリーム（ＥＳ）を生成する。
【００１９】
多重復号化部１１２にて生成された画像ＥＳは次段の画像復号化部１１３へ出力され、音声ＥＳは音声復号化部１１４へ出力される。
【００２０】
画像復号化部１１３は多重復号化部１１２において生成された画像ＥＳである画像データを蓄積し、蓄積された画像データをデコードする。同様に、音声復号化部１１４では、生成された音声ＥＳである音声データを蓄積し、蓄積された音声データをデコードする。
【００２１】
画像復号化部１１３にてデコードされた画像データは、画像出力制御部１１５に入力される。画像出力制御部１１５では、主に、入力された画像データに付与されているタイムスタンプ（時刻情報）および／または後述する音量検出部１１６からの情報に基づいて、表示部２０３に画像を表示するタイミングすなわち表示部２０３へ画像データを出力するタイミングを制御する。
【００２２】
画像出力制御部１１５は、例えば、画像復号化部１１３から受信したデータに対して何らかの画像処理を行うように構成されていてもよく、あるいは、出力先の表示部２０３の機能や性能、表示形態に適合させる処理を行うよう構成されていても良い。
【００２３】
音声復号化部１１４にてデコードされた音声データは、音声出力制御部１１７に入力される。音声出力制御部１１７では、主に、入力された音声データに付与されているタイムスタンプ（時刻情報）に基づいて、スピーカ２０２に音声を出力するタイミングを制御する。
【００２４】
また、音量検出部１１６は、音声復号化部１１４にて復号化された音声データが示す状態を逐次検出する。音声データが示す状態は、例えば音声のデータの音量レベルである。
【００２５】
この場合、音量検出部１１６は、復号化された音声データの音量レベルを検出する。例えば音量検出部１１６は、検出した音量レベルが所定の閾値よりも低い、あるいは閾値以下か否かを検出する。音量レベルがその閾値よりも低い、あるいは閾値以下の場合には、音量レベルが低い旨を示す無音検出信号を画像出力制御部１１５へ出力する。その際、その信号のジッタを生じないように、音量検出部１１６は、所定の時間以上継続して音量レベルがその閾値より低い場合に無音検出信号を画像出力制御部１１５へ出力することが望ましい。
【００２６】
画像出力制御部１１５および音声出力制御部１１７は主制御部１１８が備える計時部１１９から時刻情報を受信可能な構成となっている。
【００２７】
ここで、時刻情報とは、現在時刻を示す情報であっても良いし、特定時刻から経過した経過時間を示す情報であってもよい。
【００２８】
特定時刻は、画像出力制御部１１５または音声出力制御部１１７と双方向で情報通信を行うことが可能な場合に、計時部１１９（主制御部１１８）が各制御部から信号を受けた時刻であってもよい。本実施の形態においては、各制御部が経過時間を計時部１１９（主制御部１１８）へリクエストすることも可能な構成としている。
【００２９】
実施の形態１における車載装置１０は、ユーザの操作を受付ける部材としてタッチパネル２０３Ａを備える。タッチパネル２０３Ａは、表示部２０３上に設けられ、なおかつユーザに対向する面に設けられる。図１に示す操作検出部１２０はタッチパネル２０３Ａ上においてユーザがタッチ操作した位置を検出する。
【００３０】
操作検出部１２０にて検出された、位置を示す情報（操作情報）は、送信部１２１を介して携帯装置２０１へ送信される。送信部１２１には、一般的なＷｉＦｉトランシーバなどが用いられ、パケットの暗号化や物理層ヘッダの付加などの処理が行われる。操作情報を受信した携帯装置２０１は、その情報を携帯装置２０１が直接操作された際の情報とみなす。
【００３１】
例えば、表示部２０３がボタンの画像を表示している位置にユーザがタッチしたことを操作検出部１２０が検出した場合、その情報を受信した携帯装置２０１は、該当するボタンがタッチされたとして処理を行い、画面を更新し、新しい画面をＭＰＥＧ２−ＴＳ動画形式に変換し、無線通信を介して車載装置１０へ送信する。
【００３２】
車載装置１０には、前述したとおり、ユーザへ音声を出力（放音）するスピーカ２０２が接続され、ユーザへ画像（映像）を出力する表示部２０３が接続される。
【００３３】
以上の構成において、パケット結合部１１１、多重復号化部１１２、画像復号化部１１３、音声復号化部１１４、音量検出部１１６、画像出力制御部１１５、音声出力制御部１１７、主制御部１１８、計時部１１９、操作検出部１２０のそれぞれは、一般的なマイコンおよびソフトウェアプログラムを用いて実現される。
【００３４】
この場合、例えばＣＰＵ、ＲＯＭ及びＲＡＭを含む基本構成において、ＣＰＵは、ＲＯＭに格納されたソフトウェアプログラムを、ＲＡＭを作業領域として使いながら実行することで上記各部が実現される。
【００３５】
また、上記各部は、それぞれ１つのマイコンによって実現することも可能であるが、単一のマイコンによって複数の機能（上記各部の機能）を実現させることも可能である。あるいは、適宜ＣＰＵやＲＯＭ，ＲＡＭの組み合わせを変えて上記各部の機能を実現させることも可能である。
【００３６】
したがって、図１を用いた説明では便宜上、主制御部１１８を統括的な制御手段として記載しているが、計時部１１９が主制御部１１８に内包されているか否かの形態は製品に適したものが選択されてよく、限定されるものではない。
【００３７】
また、以上の構成において、パケット結合部１１１、多重復号化部１１２、音声復号化部１１４、画像復号化部１１３は復号化ユニット１０Ａを構成し、音声出力制御部１１７、画像出力制御部１１５、計時部１１９は出力ユニット１０Ｂを構成する。また、受信部１１０は受信ユニット１０Ｃを構成する。
【００３８】
再生システム１００１について、その動作を以下に説明する。
【００３９】
実施の形態１の車載装置１０（再生装置）を含む再生システム１００１は、Ｍｉｒａｃａｓｔ（登録商標）の技術を利用するものである。Ｍｉｒａｃａｓｔ（登録商標）は、携帯装置２０１（ソース装置）の画面を無線（ＷｉＦｉ）経由で車載装置１０に接続された表示部２０３に映す。さらに、携帯装置２０１（ソース装置）からの音声も無線伝送され、車載装置１０に接続されたスピーカ２０２から出力される。
【００４０】
この際、「画質、音質の維持（途切れない）」と、「画像と音声の同期（リップシンク）」と、「低遅延（データ処理によるデータ出力までの遅延の低減）」の３つの条件を同時に成立させるのが好ましいが、一般的には、以下の理由により、３つ条件のうちの２つ条件を実現すると残りの１つの条件が悪化してしまう。
【００４１】
一般的に、音声データはその特性上連続的なデータとみなせる。すなわち、ネットワークから受信するデータが遅延し、一瞬でも音声データがなくなると音途切れとしてユーザに認知され、即ユーザの不満につながる。そのため、音途切れをなくすために、音声データがバッファリングされる。
【００４２】
一方、画像データは、音声データと比べれば非連続的なデータとして扱うことができる。すなわち、画像データのネットワークからの受信が遅延しても、画像更新が多少遅延するだけであり、遅延の程度が小さければユーザはそのことを認識することはできない。
【００４３】
このような性質を持つ音声データと画像データとを同期させると、音声データのバッファリングによる遅延に合わせて画像の出力を遅延させる必要が生じる。
【００４４】
音声データはバッファリングし、画像データをバッファリングしなければ、画質と音質の維持、低遅延を実現できるが、画像と音声の同期は悪化する。音声データと画像データとをバッファリングしなければ、画像と音声の同期、低遅延を実現できるが、画質、音質が悪化する。
【００４５】
ただし、使用状況によっては、遅延が気になる場合と気にならない場合とがある。たとえば、ユーザが意図的に装置を操作しないような、動画の再生時においては、リップシンクは気になるが遅延が気にならないのに対し、表示されたメニューの操作時は遅延が気になるが、リップシンクは気にならない。
【００４６】
この状況を鑑みて、本実施の形態では、特に車載装置１０が復号化した音声データに無音状態（あるいは無音であることを示すデータ）が検出された場合に、画像と音声との同期処理を行わない、すなわち、同期処理を行う場合よりも画像を早く出力する。
【００４７】
上述の従来の技術においては、画像（あるいは映像）のデータとオーディオ（音声）のデータとを同期させることが前提であったため、表示装置などへ出力する際に遅延が生じる。
【００４８】
以下、車載装置１０の動作を説明する。図２は、実施の形態１における車載装置１０の動作のフローチャートである。
【００４９】
車載装置１０が携帯装置２０１から符号化された画像データと符号化された音声データを受信する。画像復号化部１１３（図１参照）は、符号化された画像データをデコードする。主制御部１１８は、画像出力制御部１１５から画像データを表示するタイミングを制御する。音声復号化部１１４は蓄積された音声データ（音声ＥＳ）をデコードし、音量検出部１１６が、デコードされた音声データの音量レベルを音声データのフレームごとに検出する。
【００５０】
検出された音量レベルが所定の閾値よりも高いあるいは所定の閾値以上であれば、検出された音量レベルが無音ではなく有音であるとして、音量検出部１１６は主制御部１１８へ有音検出信号を出力する（ステップＳ２０１）。
【００５１】
主制御部１１８は、音量検出部１１６から有音検出信号を受信すると、自装置の処理動作を、音声データと画像データとを同期させる、同期モードに設定（切替え）する（ステップＳ２０２）。
【００５２】
同期モードに設定されると、主制御部１１８は、音声出力制御部１１７および画像出力制御部１１５から音声データと画像データとを同期させて出力する（ステップＳ２０３）。
【００５３】
車載装置１０が同期モードで動作する場合は、リップシンクを保つ動作が行われる。具体的には、主制御部１１８が音声出力制御部１１７に音声データをバッファリングさせ、音声データをバッファリングさせている間は、画像出力制御部１１５に画像データの出力を一時的に待機させる。主制御部１１８は、音声データおよび画像データに付与されているタイムスタンプを利用してこの動作を行う。
【００５４】
音量検出部１１６が検出した音量レベルが所定の閾値よりも低いあるいは所定の閾値以下である場合は、検出された音量が無音であり、音量検出部１１６が主制御部１１８へ無音検出信号を出力する（ステップＳ２０４）。
【００５５】
主制御部１１８は、音量検出部１１６から無音検出信号を受信すると、自装置の処理動作を低遅延モードに設定（切替え）する（ステップＳ２０５）。
【００５６】
ただし、低遅延モードとは、音声データと画像データとを同期させずにそれぞれのデータを出力するモードである。
【００５７】
低遅延モードに設定されると、主制御部１１８が音声出力制御部１１７および画像出力制御部１１５を制御して音声データと画像データとを非同期で出力する（ステップＳ２０６）。ステップＳ２０６においては、主制御部１１８が音声出力制御部１１７および画像出力制御部１１５を制御して音声データと画像データとを非同期にして画像データを出力し、音声データを出力しなくてもよい。すなわち、ステップＳ２０６においては、主制御部１１８が音声出力制御部１１７および画像出力制御部１１５を制御して音声データと画像データとを非同期にして少なくとも画像データを出力する。
【００５８】
低遅延モードでは、主制御部１１８や音声出力制御部１１７、画像出力制御部１１５が画像データと音声データとを積極的に同期させない制御を行うのではなく、上述の同期モードのような同期処理のための音声データのバッファリングや、画像データを一時待機させる画像遅延処理を行わない。したがって、結果として、低遅延モードでも画像データと音声データとが同期している場合もある。
【００５９】
すなわち、低遅延モードでは、主制御部１１８が音声出力制御部１１７に音声データをバッファリングさせてもさせなくてもよく、さらに、画像出力制御部１１５は、音声データのバッファリングやタイムスタンプが示す時刻情報とは無関係に、画像データが表示部２０３に描画できる状態になった時点で順次画像データを出力する。
【００６０】
同期モード時、音声データのバッファリングに合わせて画像出力制御部１１５は画像データをバッファリングする。
【００６１】
同期モードから低遅延モードに移行した時、主制御部１１８はこのバッファリングされた画像データは最新のものを除いて一度にクリアしてもよい。また、主制御部１１８は画像を更新する間隔を早めることにより、バッファリングされた画像データを徐々になくしてもよい。前者の方法だと、動画再生が一瞬前方にスキップしたようになり、後者の場合だと一定時間早送りされたような表示になる。違和感のない程度に画像を更新する間隔を短く設定することが好ましい。
【００６２】
音量検出部１１６は、音声復号化部１１４がデコードした音声データの音量レベルを逐次検出するよう動作しており、上記低遅延モードでの動作中に検出された音声データの音量レベルが有音であることを検出すると（ステップＳ２０７）、ステップＳ２０１と同様に有音検出信号を主制御部１１８へ出力し、車載装置１０の動作は同期モードに切替わる（ステップＳ２０８）。
【００６３】
ステップＳ２０８にて同期モードに切替わった後はステップＳ２０３同様に、主制御部１１８は音声出力制御部１１７および画像出力制御部１１５から音声と画像とを同期させて出力する（ステップＳ２０９）。
【００６４】
同期モードの主な動作として、映画やミュージックビデオなどの動画の視聴時の動作がある。これらの動作においては、画像と音声とが同期をとって特定の意味を成す性質のものであるため、携帯装置２０１が生成した画像を車載装置１０が表示するまでの遅延が生じたとしても、画像と音声との同期がとれていることがユーザにとって違和感が少ない。
【００６５】
この場合、一般的にユーザは自身が車載装置１０を操作しないので、操作に対する反応速度よりもリップシンクが気になる。したがって、音声と画像とを同期させる同期モードで車載装置１０を動作させる方が低遅延モードでの動作よりも有用である。
【００６６】
音量検出部１１６は、復号された音声データの音量レベルを検出する。検出された音量レベルが無音である場合、出力ユニット１０Ｂは少なくとも復号された画像データを非同期モードにて出力してもよい。検出された音量レベルが無音でない場合、出力ユニット１０Ｂは復号された画像データと復号された音声データとを同期モードにて出力してもよい。
【００６７】
以上説明した通り、本実施の形態によれば、デコードされた音声データの音量レベルが有音であるか無音であるかに応じて、画像データと音声データとを同期させる同期モードか非同期とする低遅延モードかを切り替える。音声データが出力される際にはモードを切り替えて、画像と音声とを同期させて出力させることができるため、違和感なく動画をユーザが視聴する車載装置（再生装置）１０を実現することができる。
【００６８】
同期モード中、音声データおよび画像データはバッファリングして再生されるため、音声データの受信および処理遅延に起因する音途切れを防ぐことができ、ユーザに質の高い動画再生を提供することができる。
【００６９】
なお、上述の説明において、画像データと音声データとを同期させるために、主制御部１１８が音声出力制御部１１７および画像出力制御部１１５を制御して同期させるが、以下の構成によってその動作を行ってもよい。
【００７０】
すなわち、計時部１１９と音声復号化部１１４との間と、計時部１１９と画像出力制御部１１５との間とは、それぞれ時刻情報が送受される。さらに、音量検出部１１６が出力する有音検出信号および無音検出信号は画像出力制御部１１５へ入力される。
【００７１】
この構成において、音声復号化部１１４にて得られたタイムスタンプ等の時刻情報は計時部１１９へ逐次送られる。音声データに付随する時刻情報のうち最新の時刻情報とその一つ前の時刻情報との差を画像出力制御部１１５が確認する。これにより、画像出力制御部１１５は音声データのデコードされている部分を検知できる。
【００７２】
これにより、画像出力制御部１１５が音声データのデコードの状況に応じて、すなわち音声データに同期させて画像データを出力させることができる。
【００７３】
（実施の形態２）
図３は、実施の形態２に係る再生システム１００２のすブロック図である。図３において、図１に示す実施の形態１に係る再生システム１００１と同じ構成については同一の符号を付す。再生システム１００２は、車載装置３０と携帯装置２０１とから構成されている。
【００７４】
実施の形態の再生システム１００２は、実施の形態１の再生システム１００１と同様に、Ｍｉｒａｃａｓｔ（登録商標）の技術を利用している。Ｍｉｒａｃａｓｔ（登録商標）の技術を利用することで、携帯装置２０１の画像（映像）が再生装置である車載装置１０の表示部に表示される。
【００７５】
Ｍｉｒａｃａｓｔ（登録商標）ではさらに、再生装置である車載装置３０をユーザが操作する手段としてタッチパネル２０３Ａが用いられる。具体的には、ユーザは、再生装置（３０）の表示部上に設けられたタッチパネル２０３Ａにタッチすることにより、携帯装置２０１を操作できる（ＵＩＢＣ：Ｕｓｅｒ  Ｉｎｐｕｔ  Ｂａｃｋ  Ｃｈａｎｎｅｌ機能）。
【００７６】
この場合、車載装置３０が携帯装置２０１を操作している感覚が要求され、特に画像の出力の低遅延が求められる。
【００７７】
再生装置である車載装置３０は携帯装置２０１と無線通信あるいは有線通信を利用してデータの送受を行うよう、接続可能な構成となっている。
【００７８】
また、車載装置３０には、ユーザに向けて音声を出力するスピーカ２０２、画像（映像）を出力する表示部２０３が接続される。
【００７９】
車載装置３０は、携帯装置２０１から送られてきたデータを受信する受信部３１０を備える。受信部３１０には、一般的なＷｉＦｉレシーバなどで構成され、暗号化されたパケットの解読や物理層ヘッダの除去などの処理を行う。
【００８０】
受信部３１０で受信して処理されたデータはパケット結合部３１１に入力される。受信したデータは適度な大きさに分割してパケット化されているため、パケット結合部３１１では、これらの分割されたパケットを結合する。
【００８１】
パケット結合部３１１にて結合されたデータは、次段の多重復号化部３１２に送られる。多重復号化部３１２は、パケット結合部３１１から送られてきたデータに基づいて、符号化された画像データである画像エレメンタリストリーム（ＥＳ）および符号化された音声データである音声エレメンタリストリーム（ＥＳ）を生成する。
【００８２】
多重復号化部３１２にて生成された画像ＥＳは次段の画像復号化部３１３へ出力され、音声ＥＳは音声復号化部３１４へ出力される。
【００８３】
画像復号化部３１３は多重復号化部３１２において生成された画像ＥＳである画像データを蓄積し、蓄積された画像データをデコードする。同様に、音声復号化部３１４は、生成された音声ＥＳの音声データを蓄積し、蓄積された音声データをデコードする。
【００８４】
画像復号化部３１３にてデコードされた画像データは、画像出力制御部３１５に入力される。画像出力制御部３１５では、主に、入力された画像データに付与されているタイムスタンプ（時刻情報）に基づいて、後述する表示部（表示部２０３）に画像を表示するタイミングすなわち、表示部２０３に画像データを出力するタイミングを制御する。
【００８５】
画像出力制御部３１５は、例えば、画像復号化部３１３から受信したデータに対して何らかの画像処理を行うように構成されていてもよく、あるいは、出力先の表示部２０３の機能や性能、表示形態に適合させる処理を行うよう構成されていても良い。
【００８６】
音声復号化部３１４にてデコードされた音声データは、音声出力制御部３１７に入力される。音声出力制御部３１７では、主に、入力された音声データに付与されているタイムスタンプ（時刻情報）に基づいて、後述するスピーカ２０２に音声を出力するタイミングを制御する。
【００８７】
画像出力制御部３１５および音声出力制御部３１７は主制御部３１８が備える計時部３１９から時刻情報を受信可能な構成となっている。
【００８８】
ここで、時刻情報とは、現在時刻を示す情報であっても良いし、特定時刻から経過した経過時間を示す情報であってもよい。
【００８９】
特定時刻は、画像出力制御部３１５または音声出力制御部３１７と双方向で情報通信を行うことが可能な場合に、計時部３１９（主制御部３１８）が各制御部から信号を受けた時刻であってもよい。本実施の形態においては、各制御部が経過時間を計時部３１９（主制御部３１８）へリクエストすることも可能な構成としている。
【００９０】
車載装置３０は、ユーザの操作手段としてタッチパネル２０３Ａを備える。タッチパネル２０３Ａは、表示部２０３上に設けられ、なおかつユーザに対向する面上に設けられる。図３に示す操作検出部３２０はタッチパネル２０３Ａ上においてユーザがタッチ操作した位置を検出するものである。
【００９１】
操作検出部３２０にて検出された位置を示す情報（操作情報）は、送信部３２１を介して携帯装置２０１へ送信される。送信部３２１には、一般的なＷｉＦｉトランシーバなどが用いられ、パケットの暗号化や物理層ヘッダの付与などの処理が行われる。
【００９２】
図３に示すように、本実施の形態においては、操作検出部３２０がユーザからの操作の有無を随時検出し、その情報（検出結果）が主制御部３１８へ送られるよう構成される。操作検出部３２０が主制御部３１８へ送信する検出結果は、たとえば、ユーザからの操作がない場合にその旨を示す情報（無操作検出信号）を送信し、ユーザからの操作があった（タッチパネル２０３Ａがタッチされた、あるいはタッチパネル２０３Ａがタッチされたことを検出した）場合にユーザからの操作があった旨を示す情報（有操作検出信号）を送信する。
【００９３】
あるいは、主制御部３１８が操作検出部３２０からの信号が所定時間検出されない場合に、ユーザからの操作がないと主制御部３１８が判断するようにしても良く、この場合は、無操作検出信号を操作検出部３２０が出力しなくてもよくなる。
【００９４】
また、車載装置３０は、前述したとおり、ユーザへ音声を出力（放音）する手段としてスピーカ２０２が接続され、ユーザへ画像（映像）を出力手段として表示部２０３が接続される。
【００９５】
以上の構成において、パケット結合部３１１、多重復号化部３１２、画像復号化部３１３、音声復号化部３１４、画像出力制御部３１５、音声出力制御部３１７、主制御部３１８、計時部３１９、操作検出部３２０の各部は、一般的なマイコンおよびソフトウェアプログラムを用いて実現する。
【００９６】
この場合、例えばＣＰＵ、ＲＯＭ及びＲＡＭを含む基本構成において、ＣＰＵは、ＲＯＭに格納されたソフトウェアプログラムを、ＲＡＭを作業領域として使いながら実行することで上記各部が実現される。
【００９７】
上記各部は、それぞれ１つのマイコンを利用して実現することも可能であるが、単一のマイコンに複数の機能（上記各部の機能）を持たせることも可能であり、あるいは、適宜ＣＰＵやＲＯＭ，ＲＡＭの組み合わせを変えてそれぞれの機能を実現させることも可能である。
【００９８】
したがって、図３を用いた説明では、主制御部３１８を統括的な制御を行う部分として記載しているが、計時部３１９が主制御部３１８に内包されているか否かの形態は製品に適したものが選択されてよく、限定されるものではない。
【００９９】
パケット結合部３１１、多重復号化部３１２、音声復号化部３１４、画像復号化部３１３は復号化ユニット３０Ａを構成する。音声出力制御部３１７、画像出力制御部３１５、計時部３１９は出力ユニット３０Ｂを構成する。受信部３１０は受信ユニット３０Ｃを構成する。
【０１００】
再生システム１００２の動作を以下に説明する。本実施の形態の再生装置である車載装置３０は、Ｍｉｒａｃａｓｔ（登録商標）の技術を利用するものであるが、本実施の形態においては、特に、ユーザによるシンク側（車載装置３０）での操作内容をソース側（携帯装置２０１）に送る場合がある。
【０１０１】
この場合ユーザは、リップシンクは気にならないが、タッチパネル２０３Ａを用いた操作において発生する次の現象が特に気になる。すなわち、ユーザが表示部２０３に表示されたメニューあるいはアイコンなどに対して操作した時、およびスクロールを操作した時において画面の更新が遅延する現象である。
【０１０２】
本実施の形態の車載装置３０では、ユーザからの操作が検出された場合に、画像と音声との同期処理を行わないことにより、同期処理を行う場合よりも画像を早く出力する。
【０１０３】
したがって、操作時における画面の反応（スクロール操作時の追随性など）を遅延なく実行できるため、ユーザにとっては違和感のないスムーズな動作を実現することができる。
【０１０４】
以下、車載装置３０の動作の詳細を示す。図４は、実施の形態２における車載装置３０の動作を示すフローチャートである。
【０１０５】
図４において、ユーザが動画の視聴中の場合など、ユーザからの操作が検出されない場合は、ユーザからの操作がない旨を示す無操作検出信号が操作検出部３２０から主制御部３１８へ送信される（ステップＳ４０１）。
【０１０６】
主制御部３１８は、操作検出部３２０から無操作検出信号を受信すると、自装置の処理動作を、音声データと画像データとを同期させる処理を行う同期モードに設定（切替え）する（ステップＳ４０２）。
【０１０７】
同期モードに設定されると、主制御部３１８は音声出力制御部３１７および画像出力制御部３１５から音声と画像とを同期させて出力させる（ステップＳ４０３）。
【０１０８】
車載装置３０が同期モードで動作する場合、車載装置３０は、実施の形態１に係る車載装置１０の同期モードと同様に動作する。
【０１０９】
動画などの再生時か否かにかかわらず、ユーザが車載装置３０に対して（この場合タッチパネル２０３Ａを用いて）何らかの操作を行った場合は、ユーザから操作された旨を示す有操作検出信号が操作検出部３２０から主制御部３１８へ出力される（ステップＳ４０４）。
【０１１０】
主制御部３１８は、操作検出部３２０から有操作検出信号を受信すると、自装置の処理動作を、音声データと画像データとの同期処理を行わない低遅延モードに設定（切替え）する（ステップＳ４０５）。
【０１１１】
低遅延モードに設定されると、主制御部３１８が音声出力制御部３１７および画像出力制御部３１５を制御して音声データと画像データとを非同期で出力する（ステップＳ４０６）。
【０１１２】
低遅延モードでは、主制御部３１８や音声出力制御部３１７、画像出力制御部３１５が画像データと音声データとを積極的に同期させない制御を行うのではなく、上述の同期モードのような同期処理のための音声データのバッファリングや、画像データを一時待機させる処理などの画像を遅延させる処理を行わない。したがって、結果として、非同期モードでも画像データと音声データとが同期している場合もある。
【０１１３】
すなわち、低遅延モードでは、主制御部３１８が音声出力制御部３１７に音声データをバッファリングさせてもさせなくてもよく、さらに、画像出力制御部３１５は、音声データのバッファリングやタイムスタンプが示す時刻情報とは無関係に、画像データの画像が表示部２０３に表示できる状態になった時点で画像データを順次出力する。
【０１１４】
ただし、音声データは、一度所定時間バッファリングされると、通常はバッファをクリアしない限りバッファリングは継続する。なぜなら、ストリーム再生の場合、音声データを通常消費するペースと同じペースで新しい音声データを受信するからである。
【０１１５】
画像データもバッファリングしているが、このバッファリングされた画像データは最新のものを除いてクリアしてもよい。もしくは、画像を更新する間隔を短くすることにより、バッファリングを徐々に解消させることもできる。前者の方法だと、動画再生が一瞬前方にスキップしたようになり、後者の場合だと一定時間早送りされたような表示になる。違和感のない程度に画像を更新する間隔を短くすることが好ましい。
【０１１６】
低遅延モードの主な動作として、ユーザが車載装置３０を操作した場合などがあげられる。例えば、車載装置３０をタッチパネル２０３Ａで操作した場合、表示部２０３にはアイコンなどの画像が表示される。Ｍｉｒａｃａｓｔ（登録商標）の技術を用いた場合は、このアイコンの画像データも携帯装置２０１から送信されてくる。
【０１１７】
この場合、一般的にユーザは自身が操作しているときは、リップシンクよりも操作に対する反応速度が気になるため、遅延を生じさせない低遅延モードで車載装置３０を動作させる方が同期モードより有用である。
【０１１８】
また、操作検出部３２０は逐次、ユーザからの操作が有ったか否かを検出するよう動作しており、上記低遅延モードでの動作中に無操作を検出すると（ステップＳ４０７）、ステップＳ４０１と同様に無操作検出信号を主制御部３１８へ出力し、車載装置３０の動作は同期モードに切替わる（ステップＳ４０８）。
【０１１９】
ステップＳ４０８にて同期モードに切替わった後はステップＳ４０３同様に、主制御部３１８は音声出力制御部３１７および画像出力制御部３１５から音声データと画像データとを同期させて出力する（ステップＳ４０９）。
【０１２０】
以上説明した通り、本実施の形態によれば、ユーザからの操作があったか否かに応じて、画像データと音声データとを同期させるか非同期とするかを切り替える構成としたことにより、画像データの表示が遅延することによるユーザへの違和感を低減させることができる。
【０１２１】
音声データは常時バッファリングされて再生されるため、音声データの受信および処理遅延に起因する音途切れを防ぐことができ、ユーザに質の高い動画再生を提供することができる。
【０１２２】
上述のように、操作検出部３２０は、再生装置３０に対するユーザからの操作があったか否かを検出する。操作検出部３２０がユーザからの操作があったことを検出した場合、出力ユニット３０Ｂは復号された画像データと復号された音声データとを非同期モードにて出力する。さらに、操作検出部３２０がユーザからの操作があったことを検出しない場合、出力ユニット３０Ｂは復号された画像データと復号された音声データとを同期モードで出力してもよい。
【０１２３】
なお、上述の説明において、主制御部３１８が音声出力制御部３１７および画像出力制御部３１５を制御して画像データと音声データとを同期させるが、以下のように構成し制御を実行させるようにしても良い。
【０１２４】
すなわち、計時部３１９と音声復号化部３１４との間と、計時部３１９と画像出力制御部３１５と間とのそれぞれで時刻情報を送受できる。
【０１２５】
この構成において、音声復号化部３１４にて得られたタイムスタンプ等の時刻情報は計時部３１９へ逐次送られる。音声データに付随する時刻情報のうち最新の時刻情報とその一つ前の時刻情報との差を画像出力制御部３１５が確認する。これにより、画像出力制御部３１５は音声データのデコードされている部分を検知できる。これにより、画像出力制御部３１５が音声データのデコード状況に応じて、音声に同期させて画像データを出力させることができる。
【０１２６】
（実施の形態３）
図５は実施の形態３における再生システム１００３のブロック図である。図５において、図１と図３に示す実施の形態１、２における再生システム１００１、１００２と同じ部分には同じ参照番号を付す。再生システム１００３は、図１と図３に示す実施の形態１、２における再生システム１００１、１００２の再生装置である車載装置１０、３０の代わりに再生装置である車載装置５０を備える。
【０１２７】
実施の形態３における車載装置５０では、実施の形態１に係る車載装置１０での音声データの音量レベルによる同期モードと低遅延モードとの設定（切り替え）と、実施の形態２に係る車載装置１０でのユーザによる操作の有無による同期モードと低遅延モードとの設定（切り替え）を組み合わされている。その場合、画像データと音声データとが低遅延モードで出力される場合は、音声データの音量レベルが無音であることとユーザが操作を行っていることとの少なくとも一方である。
【０１２８】
画像データと音声データとが同期モードで出力される場合は、音声データの音量レベルが無音でないことかつユーザが操作を行っていないことである。
【０１２９】
また、以上の構成において、パケット結合部１１１、多重復号化部１１２、音声復号化部１１４、画像復号化部１１３は復号化ユニット５０Ａを構成し、音声出力制御部１１７、画像出力制御部１１５、計時部１１９は出力ユニット５０Ｂを構成する。また、受信部１１０は受信ユニット５０Ｃを構成する。
【０１３０】
以下に車載装置５０の動作を説明する。図６は車載装置５０の動作のフロー図である。音量検出部１１６は復号された音声データの音量レベルを検出する。操作検出部３２０は、車載装置５０に対するユーザからの操作があったか否かを検出する。
【０１３１】
検出された音量レベルが無音である場合には（ステップＳ６０１）、操作検出部３２０の検出結果に関わらず、出力ユニット５０Ｂは低遅延モードに設定して（ステップＳ６０２）、少なくとも復号された画像データを出力する、実施の形態３では復号された音声データと復号された画像データを出力する（ステップＳ６０３）。
【０１３２】
操作検出部３２０がユーザからの操作があったことを検出した場合（ステップＳ６０４）、音量レベル検出部１１６が検出した音量レベルに関わらず、出力ユニット５０Ｂは低遅延モードに設定し（切り替え）て（ステップＳ６０５）復号された画像データと復号された音声データとを低遅延モードにて出力する（ステップＳ６０６）。
【０１３３】
音量検出部１１６が検出した音量レベルが無音でなく有音であり（ステップＳ６０８）かつ操作検出部がユーザからの操作があったことを検出しない、すなわち操作がないことを検出した場合（ステップＳ６０７）、出力ユニット５０Ｂは同期モードに設定し（切り替え）て（ステップＳ６０９）復号された画像データと復号された音声データとを出力する（ステップＳ６１０）。
【０１３４】
実施の形態における再生装置である車載装置１０、３０、５０ではユーザが操作する入力デバイスとしてタッチパネル２０３Ａを備えるが、これはボタン、キーボート、ボリューム、その他任意の入力デバイスを適用することができる。
【０１３５】
以上説明した通り、実施の形態１から３における再生装置である車載装置１０、３０、５０は、画像（映像）データと音声データとを同期させるか非同期（低遅延）とさせるかを切り替えるように構成したことにより、画像および音声に関するユーザにとっての違和感を低減することができる。
【０１３６】
なお、実施の形態１〜３における再生装置は、Ｍｉｒａｃａｓｔ（登録商標）の技術ではなく、Ｖｉｒｔｕａｌ  Ｎｅｔｗｏｒｋ  Ｃｌｉｅｎｔや、ＲＴＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）を使った動画ストリーミングに用いられても良く、また、車載機器への適用に限定されない。実施の形態１〜３における再生システムではソース装置と再生装置との間の通信手段としてＷｉ−Ｆｉを仮定しているが、これに限定されず、さらに、画像（映像）データと音声データが異なる通信手段を使って受信する場合にも適用することができる。また、動画ストリーミングのフォーマットとしてＭＰＥＧ２−ＴＳを挙げているが、他の任意のフォーマットを適用可能である。
【０１３７】
ただし、車載装置（再生装置）であるシンク側に表示しているアイコンをユーザが操作することでソース側の携帯装置２０１の動作制御を行う際に遅延なく動作させることができるため、特にＭｉｒａｃａｓｔ（登録商標）のような技術に適用することは有用である。
【産業上の利用可能性】
【０１３８】
本発明にかかる再生装置は、本発明によれば、ユーザにとって画像（映像）および音声の同期および遅延に関する違和感を低減することができるという効果を有し、符号化された画像データおよび音声データを含んだマルチメディアデータを再生する再生装置として有用である。
【符号の説明】
【０１３９】
１０，３０    車載装置（再生装置）
１０Ａ，３０Ａ    復号化ユニット
１０Ｂ，３０Ｂ    出力ユニット
１１２，３１２    多重復号化部
１１３，３１３    画像復号化部
１１４，３１４    音声復号化部
１１５，３１５    画像出力制御部
１１６    音量検出部
１１７，３１７    音声出力制御部
１１８，３１８    主制御部
１１９，３１９    計時部
１２０，３２０    操作検出部
１２１，３２１    送信部
２０１    携帯装置
２０２    スピーカ
２０３    表示部
【図１】
2015107909.tif 000003
【図２】
2015107909.tif 000004
【図３】
2015107909.tif 000005
【図４】
2015107909.tif 000006
【図５】
2015107909.tif 000007
【図６】
2015107909.tif 000008
【手続補正書】
【提出日】平成27年7月29日(2015.7.29)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2015107909.tif 000009
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2015107909.tif 000010
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2015107909.tif 000011
【国際調査報告】
2015107909.tif 000012
2015107909.tif 000013
2015107909.tif 000014
2015107909.tif 000015