(57)【要約】【課題】音声と映像の一方については、逐次に符号化でき且つ高品質にでき、他方については、低いビットレートにもかかわらず高品質にする。【解決手段】符号化装置１は、音声信号Ａ１を継続的に受信する音声受信部１１と、音声信号Ａ１に内在する音声情報を逐次に（リアルタイムに）符号化する符号化部１２と、符号化済みの映像情報Ｖを受信する映像受信部１３と、映像情報Ｖが記憶されるメモリ１４と、符号化装置１を全体的に制御する制御部１５と、メモリ１４から映像情報Ｖを読み出し、映像情報Ｖと符号化部１２で逐次に（リアルタイムに）符号化される符号化後の情報とを多重化し、多重化後のストリームＳ１を符号化装置１から出力する多重化部１６とを備える。【選択図】図１
2011087077.tif 000002
【特許請求の範囲】
【請求項１】
音声情報と映像情報の一方である符号化前の情報を逐次に符号化する符号化部と、
音声情報と映像情報の他方である符号化済みの情報が予め記憶されるメモリと、
前記メモリから符号化済みの情報を読み出し、該情報と前記符号化部で逐次に符号化される符号化後の情報とを多重化する多重化部と
を備えることを特徴とする符号化装置。
【請求項２】
音声情報と映像情報の一方を逐次に符号化する第１の符号化部と、
前記音声情報と映像情報の他方を逐次に符号化する第２の符号化部と、
前記第２の符号化部により符号化される情報と同じ種類の符号化済みの情報が予め記憶されるメモリと、
前記メモリまたは前記第２の符号化部に接続される切り替えスイッチと、
前記切り替えスイッチを介して入力される情報と前記第１の符号化部から入力される情報とを多重化する多重化部と
を備えることを特徴とする符号化装置。
【請求項３】
音声情報と映像情報の一方を逐次に符号化する第１の符号化部と、
前記音声情報と映像情報の他方を逐次に符号化する第２の符号化部と、
前記第１の符号化部により符号化される情報と同じ種類の符号化済みの情報が予め記憶される第１のメモリと、
前記第２の符号化部により符号化される情報と同じ種類の符号化済みの情報が予め記憶される第２のメモリと、
前記第１のメモリまたは前記第１の符号化部に接続される切り替えスイッチと、
前記第２のメモリまたは前記第２の符号化部に接続される切り替えスイッチと、
前記各切り替えスイッチを介して入力される情報を多重化する多重化部と
を備えることを特徴とする符号化装置。
【請求項４】
前記符号化済みの情報のビットレートに基づいて当該符号化済みの情報とともに多重化される符号化後の情報のビットレートを最大化する制御部
を備えることを特徴とする請求項１ないし３のいずれかに記載の符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声と映像の一方については、逐次に符号化でき且つ高品質にでき、他方については、低いビットレートにもかかわらず高品質にすることができる符号化装置に関するものである。
【背景技術】
【０００２】
従来にあっては、テレビジョン放送などの分野で、符号化装置が使用される。
【０００３】
図４は、従来における符号化装置４の構成を示すブロック図である。
【０００４】
符号化部４１２は、音声受信部４１１で受信された音声信号Ａ１を逐次に（リアルタイムに）符号化する。符号化部４２２は、映像受信部４２１で受信された映像信号Ｖ１を逐次に（リアルタイムに）符号化する。多重化部４３は、各符号化部４１２、４２２で符号化される符号化後の音声情報Ａ、映像情報Ｖを多重化し、多重化後のストリームＳ４を符号化装置４から出力する。符号化装置４によれば、音声と映像をリアルタイムに伝送することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】"ＮＴＴエレクトロニクス｜LibraENC｜フルHD対応MPEG-2シングルチップA/V エンコーダLSI"、［ｏｎｌｉｎｅ］、［平成２１年９月２９日検索］、インターネット＜ＵＲＬ：http://www.nel.co.jp/digital_video/products/libraenc/index.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、符号化装置４で行われるようなリアルタイムの符号化においては、オフラインでの符号化と比較すると、音声信号や映像信号の複雑さを正確に予測できないので、最適な符号化が難しく、音声や映像の品質は低くなる。したがって、符号化装置４のような符号化装置は、品質は低くても音声と映像の両方をリアルタイムに符号化して伝送することを重視した放送などに適している。
【０００７】
一方、音楽専門チャンネルなどの放送においては、音声をリアルタイムに符号化して伝送することは重視されるが、映像については静止画でもよいというように、リアルタイムに符号化して伝送することは重視されない。
【０００８】
また、広報宣伝放送においては、映像をリアルタイムに符号化して伝送することは重視されるが、音声についてはバックグラウンドミュージックのような音楽が繰り返し流されてもよいというように、リアルタイムに符号化して伝送することは重視されない。
【０００９】
このような分野では、音声と映像の内で重視される方のものについては、高いビットレートを割り当てて符号化し、高品質にする。
【００１０】
しかし、ストリームを伝達する回線の容量には限りがあるので、音声と映像の内で重視されない方のものについては、低いビットレートで符号化され、比較的に低い品質になってしまう。
【００１１】
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、音声と映像の一方については、逐次に符号化でき且つ高品質にでき、他方については、低いビットレートにもかかわらず高品質にすることができる符号化装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、第１の本発明に係る符号化装置は、音声情報と映像情報の一方である符号化前の情報を逐次に符号化する符号化部と、音声情報と映像情報の他方である符号化済みの情報が予め記憶されるメモリと、前記メモリから符号化済みの情報を読み出し、該情報と前記符号化部で逐次に符号化される符号化後の情報とを多重化する多重化部とを備えることを特徴とする。
【００１３】
第２の本発明に係る符号化装置は、音声情報と映像情報の一方を逐次に符号化する第１の符号化部と、前記音声情報と映像情報の他方を逐次に符号化する第２の符号化部と、前記第２の符号化部により符号化される情報と同じ種類の符号化済みの情報が予め記憶されるメモリと、前記メモリまたは前記第２の符号化部に接続される切り替えスイッチと、前記切り替えスイッチを制御する制御部と、前記切り替えスイッチを介して入力される情報と前記第１の符号化部から入力される情報とを多重化する多重化部とを備えることを特徴とする。
【００１４】
第３の本発明に係る符号化装置は、音声情報と映像情報の一方を逐次に符号化する第１の符号化部と、前記音声情報と映像情報の他方を逐次に符号化する第２の符号化部と、前記第１の符号化部により符号化される情報と同じ種類の符号化済みの情報が予め記憶される第１のメモリと、前記第２の符号化部により符号化される情報と同じ種類の符号化済みの情報が予め記憶される第２のメモリと、前記第１のメモリまたは前記第１の符号化部に接続される切り替えスイッチと、前記第２のメモリまたは前記第２の符号化部に接続される切り替えスイッチと、前記各切り替えスイッチを制御する制御部と、前記各切り替えスイッチを介して入力される情報を多重化する多重化部とを備えることを特徴とする。
【００１５】
第４の本発明に係る符号化装置は、第１ないし第３のいずれかの符号化装置において、前記符号化済みの情報のビットレートに基づいて当該符号化済みの情報とともに多重化される符号化後の情報のビットレートを最大化する制御部を備えることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、音声情報と映像情報の一方である符号化前の情報を逐次に符号化する符号化部と、音声情報と映像情報の他方である符号化済みの情報が予め記憶されるメモリと、メモリから符号化済みの情報を読み出し、該情報と符号化部で逐次に符号化される符号化後の情報とを多重化する多重化部とを備えるので、多重化後のストリームを構成する音声と映像の内の一方の種類のものについては、高いビットレートにできるので逐次に符号化するにもかかわらず高品質にすることができ、メモリに記憶される種類のものについては、予め複数回の符号化などを行えるので低いビットレートにもかかわらず高品質にすることができる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施の形態に係る符号化装置の構成を示すブロック図である。
【図２】第２の実施の形態に係る符号化装置の構成を示すブロック図である。
【図３】第３の実施の形態に係る符号化装置の構成を示すブロック図である。
【図４】従来における符号化装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態を図面を参照して説明する。
【００１９】
［第１の実施の形態］
図１は、第１の実施の形態に係る符号化装置の構成を示すブロック図である。
【００２０】
符号化装置１は、例えば、テレビジョン放送における音楽専門チャンネルを放送する局に配置される。この放送は、例えば、映像については静止画または一定の長さをもつ動画が繰り返され、音声については次々と色々な曲が流れるような音声主体の放送である。このような放送の場合、当然ながら高音質の要望があるので音声のビットレートはできる限り高くしたい。符号化装置１から出力される音声と映像を多重化したストリームのビットレートは、回線の容量などに鑑みて予め設定されているので、映像のビットレートは低くならざるをえない。しかしながら、映像についても品質は高い方がよいので、第１の実施の形態では、低いビットレートで高い品質の映像が得られるように、予め用意された符号化後の映像情報が使用される。
【００２１】
符号化装置１は、音声信号Ａ１を継続的に受信する音声受信部１１と、音声信号Ａ１に内在する音声情報を逐次に（リアルタイムに）符号化する符号化部１２と、符号化済みの映像情報Ｖを受信する映像受信部１３と、映像情報Ｖが記憶されるメモリ１４と、符号化装置１を全体的に制御する制御部１５と、メモリ１４から映像情報Ｖを読み出し、映像情報Ｖと符号化部１２で逐次に（リアルタイムに）符号化される符号化後の情報（以下、音声情報Ａという）とを多重化し、多重化後のストリームＳ１を符号化装置１から出力する多重化部１６とを備える。
【００２２】
映像受信部１３は、予め映像情報Ｖを受信し、映像情報Ｖをメモリ１４に記憶させる。
【００２３】
図示しないが、映像情報Ｖは、映像信号を予め符号化して得られたものである。符号化とは、通常は、圧縮を行うことである。このような符号化済みの情報は、パケダイズドエレメンタリーストリーム（ＰＥＳ）、エレメンタリーストリーム（ＥＳ）などと称され、多重化後の情報（ストリーム）は、トランスポートストリーム（ＴＳ）などと称される。後述の符号化、符号化済みの情報および多重化後の情報についても同様である。
【００２４】
映像情報Ｖは、例えば、低いビットレートで高い品質が得られるようなオフラインの符号化により予め得られる。このような符号化は長時間を要し、リアルタイムの符号化には適さないが、映像信号の符号化はリアルタイムに行うものでないので、不都合はない。
【００２５】
このように低いビットレートで高い品質の映像情報Ｖは、例えば、複数回の符号化により得られる。
【００２６】
複数回の符号化では、例えば、１回目の符号化で、どの時刻や位置の情報が複雑かが分析され、その分析結果に基づいて、再度符号化が行われ、必要ならば、これが繰り返される。
【００２７】
または、複数回の符号化では、例えば、人間の感性に合わせて重視すべき時刻や位置が認識された上で、符号化が行われ、必要ならば、これが繰り返される。
【００２８】
制御部１５は、メモリ１４にアクセスし、映像情報Ｖのビットレートを確認し、そのビットレートと音声情報Ａのビットレートの合計が、ストリームＳ１のビットレートとして予め設定されたビットレートを超えない範囲で、音声情報Ａのビットレートが最大または最大に可能な限り近くになるように、音声情報Ａのビットレートを計算し、このビットレートで符号化するように、符号化部１２に指示を与える。
【００２９】
符号化部１２は、音声信号Ａ１に内在する音声情報を制御部１５から指示されたビットレートでリアルタイムに符号化する。
【００３０】
多重化部１６は、メモリ１４から映像情報Ｖを読み出し、映像情報Ｖと符号化部１２で符号化される符号化後の音声情報Ａとを多重化し、多重化後のストリームＳ１を符号化装置１から出力する。従来の符号化装置４では、符号化部４１２、４２２が同一の時計を使用して時刻情報（再生時刻）を設定するが、この符号化装置１において音声の符号化で使用する時計は、映像の符号化で使用した時計とは別のものとなるので、多重化部１６は時刻情報の変更を行う。時刻情報とは、例えば、再生時刻（プレゼンテーションタイムスタンプ（ＰＴＳ）などである。これにより、ストリームＳ１の映像情報Ｖと音声情報Ａが所望の時刻に同期再生できるようにする。
【００３１】
したがって、第１の実施の形態に係る符号化装置によれば、音声情報と映像情報の一方である符号化前の情報を逐次に符号化する符号化部１２と、音声情報と映像情報の他方である符号化済みの情報が予め記憶されるメモリ１４と、メモリから符号化済みの情報を読み出し、該情報と符号化部１２で逐次に符号化される符号化後の情報とを多重化する多重化部１６とを備えるので、多重化後のストリームを構成する音声と映像の内の一方の種類のもの（音声）については、高いビットレートにできるので逐次に符号化するにもかかわらず高品質にすることができ、メモリに記憶される種類のもの（映像）については、予め複数回の符号化などを行えるので低いビットレートにもかかわらず高品質にすることができる。
【００３２】
［第２の実施の形態］
図２は、第２の実施の形態に係る符号化装置の構成を示すブロック図である。
【００３３】
符号化装置２は、例えば、広報宣伝放送を行うためのものである。この放送は、例えば、音声についてはバックグラウンドミュージックのような音楽が繰り返し流され、映像についてはカメラで撮影したリアルタイムの風景映像などをリアルタイムに流すような映像主体の放送である。このような放送の場合、当然ながら高画質の要望があるので映像のビットレートは高い。符号化装置２から出力される音声と映像を多重化したストリームのビットレートは、回線の容量などに鑑みて予め設定されているので、音声のビットレートは低くならざるをえない。しかしながら、音声についても品質は高い方がよいので、第２の実施の形態では、低いビットレートで高い品質の音声が得られるように、予め用意された符号化後の音声情報が使用される。
【００３４】
符号化装置２は、映像信号Ｖ１を継続的に受信する映像受信部２１と、映像信号Ｖ１に内在する映像情報を逐次に（リアルタイムに）符号化する符号化部２２と、符号化済みの音声情報Ａを受信する音声受信部２３と、音声情報Ａが記憶されるメモリ２４と、符号化装置２を全体的に制御する制御部２５と、メモリ２４から音声情報Ａを読み出し、音声情報Ａと符号化部２２で逐次に（リアルタイムに）符号化される符号化後の情報（以下、映像情報Ｖという）とを多重化し、多重化後のストリームＳ２を符号化装置２から出力する多重化部２６とを備える。
【００３５】
音声受信部２３は、予め音声情報Ａを受信し、音声情報Ａをメモリ２４に記憶させる。
【００３６】
図示しないが、音声情報Ａは、音声信号を符号化することで予め得られたものである。
【００３７】
音声情報Ａは、例えば、低いビットレートで高い品質が得られるような符号化により得られる。このような符号化は長時間を要し、リアルタイムの符号化には適さないが、音声信号の符号化はリアルタイムに行うものでないので、不都合はない。
【００３８】
このように低いビットレートで高い品質の音声情報Ａは、例えば、第１の実施の形態における映像情報Ｖと同様に、複数回の符号化により得られる。
【００３９】
制御部２５は、メモリ２４にアクセスし、音声情報Ａのビットレートを確認し、そのビットレートと映像情報Ｖのビットレートの合計が、ストリームＳ２のビットレートとして予め設定されたビットレートを超えない範囲で、映像情報Ｖのビットレートが最大または最大に可能な限り近くになるように、映像情報Ｖのビットレートを計算し、このビットレートで符号化するように、符号化部２２に指示を与える。
【００４０】
符号化部２２は、映像信号Ｖ１に内在する映像情報を制御部２５から指示されたビットレートでリアルタイムに符号化する。
【００４１】
多重化部２６は、メモリ２４から音声情報Ａを読み出し、音声情報Ａと符号化部２２で符号化される符号化後の映像情報Ｖとを多重化し、多重化後のストリームＳ２を符号化装置２から出力する。多重化部２６は、このとき、ストリームＳ２に対して時刻情報（再生時刻）の変更を行い、映像情報Ｖと音声情報Ａが所望の時刻に同期再生できるようにする。
【００４２】
したがって、第２の実施の形態に係る符号化装置によれば、音声情報と映像情報の一方である符号化前の情報を逐次に符号化する符号化部２２と、音声情報と映像情報の他方である符号化済みの情報が予め記憶されるメモリ２４と、メモリから符号化済みの情報を読み出し、該情報と符号化部２２で逐次に符号化される符号化後の情報とを多重化する多重化部２６とを備えるので、多重化後のストリームを構成する音声と映像の内の一方の種類のもの（映像）については、高いビットレートにできるので逐次に符号化するにもかかわらず高品質にすることができ、メモリに記憶される種類のもの（音声）については、予め複数回の符号化などを行えるので低いビットレートにもかかわらず高品質にすることができる。
【００４３】
［第３の実施の形態］
図３は、第３の実施の形態に係る符号化装置の構成を示すブロック図である。
【００４４】
符号化装置３は、符号化装置１のように音声主体の放送に適した構成と、符号化装置２のように映像主体の放送に適した構成とを兼ね備え、且つ、音声と映像を共にリアルタイムに符号化できる構成を有するものである。
【００４５】
符号化装置３は、音声信号Ａ１を継続的に受信する音声受信部３１１と、音声信号Ａ１に内在する音声情報を逐次に（リアルタイムに）符号化する符号化部３１２と、符号化済みの映像情報Ｖを受信する映像受信部３１３と、映像情報Ｖが記憶されるメモリ３１４と、映像信号Ｖ１を継続的に受信する映像受信部３２１と、映像信号Ｖ１に内在する映像情報を逐次に（リアルタイムに）符号化する符号化部３２２と、符号化済みの音声情報Ａを受信する音声受信部３２３と、音声情報Ａが記憶されるメモリ３２４と、符号化装置２を全体的に制御する制御部３００と、メモリ３２４または符号化部３１２に接続される切り替えスイッチ３０１と、メモリ３１４または符号化部３２２に接続される切り替えスイッチ３０２と、各切り替えスイッチ３０１、３０２を介して入力される情報を多重化し、多重化後のストリームＳ３を符号化装置３から出力するする多重化部３０３とを備える。
【００４６】
映像受信部３１３は、予め映像情報Ｖを受信し、映像情報Ｖをメモリ３１４に記憶させる。映像情報Ｖについては、第１の実施の形態のものと同様である。
【００４７】
音声受信部３２３は、予め音声情報Ａを受信し、音声情報Ａをメモリ３２４に記憶させる。音声情報Ａについては、第２の実施の形態のものと同様である。
【００４８】
制御部３００は、予め入力される切替制御情報３００Ａに基づいて、各切り替えスイッチ３０１、３０２における接続を固定的に定める。
【００４９】
例えば、切り替えスイッチ３０１が符号化部３１２に接続され、切り替えスイッチ３０２がメモリ３１４に接続され、これにより、符号化部３１２、メモリ３１４が多重化部３０３に接続される。その結果、符号化装置３は、符号化装置１と同様な構成を有することとなり、符号化装置１と同様に動作する。ここでは、その説明は重複となるので省略する。
【００５０】
または、例えば、切り替えスイッチ３０１がメモリ３２４に接続され、切り替えスイッチ３０２が符号化部３２２に接続され、これにより、符号化部３２２、メモリ３２４が多重化部３０３に接続される。その結果、符号化装置３は、符号化装置２と同様な構成を有することとなり、符号化装置２と同様に動作する。ここでは、その説明は重複となるので省略する。
【００５１】
または、例えば、切り替えスイッチ３０１が符号化部３１２に接続され、切り替えスイッチ３０２が符号化部３２２に接続され、これにより、符号化部３１２、符号化部３２２が多重化部３０３に接続される。その結果、符号化装置３は、符号化装置４と同様な構成を有することとなり、符号化装置４と同様に動作する。ここでは、その説明は重複となるので省略する。
【００５２】
したがって、第３の実施の形態に係る符号化装置３によれば、音声情報と映像情報の一方を逐次に符号化する第１の符号化部（例えば、符号化部３１２）と、音声情報と映像情報の他方を逐次に符号化する第２の符号化部（例えば、符号化部３２２）と、第１の符号化部により符号化される情報と同じ種類の符号化済みの情報が予め記憶される第１のメモリ（例えば、メモリ３１４）と、第２の符号化部により符号化される情報と同じ種類の符号化済みの情報が予め記憶される第２のメモリ（例えば、メモリ３２４）と、第１のメモリ（３１４）または第１の符号化部（３１２）に接続される切り替えスイッチ（例えば、切り替えスイッチ３０１）と、第２のメモリ（３２４）または第２の符号化部（３２２）に接続される切り替えスイッチ（例えば、切り替えスイッチ３０２）と、各切り替えスイッチを制御する制御部３００と、各切り替えスイッチを介して入力される情報を多重化する多重化部３０３とを備えるので、符号化装置１が行うような音声主体の放送と、符号化装置２が行うような映像主体の放送と、符号化装置４が行うような音声と映像を共にリアルタイムに符号化するような放送とを切り替えて行うことができ、すなわち、汎用性を高めることができる。
【００５３】
なお、符号化装置３では、切り替えスイッチ３０１だけで切り替えを行うようにしてもよい。その場合、切り替えスイッチ３０２は常に符号化部３２２に接続しておいてもよいし、切り替えスイッチ３０２、映像受信部３１３およびメモリ３１４を使用せず、多重化部３０３が符号化部３２２による符号化後の映像情報を常に多重化に使用するようにしてもよい。
【００５４】
また、符号化装置３では、切り替えスイッチ３０２だけで切り替えを行うようにしてもよい。その場合、切り替えスイッチ３０１は常に符号化部３１２に接続しておいてもよいし、切り替えスイッチ３０１、音声受信部３２３およびメモリ３２４を使用せず、多重化部３０３が符号化部３１２による符号化後の音声情報を常に多重化に使用するようにしてもよい。
【００５５】
また、符号化装置３は、各メモリ３１４、３２４に記憶した音声情報、映像情報を多重化するようにしてもよい。
【符号の説明】
【００５６】
１、２、３…符号化装置
１１、２３、３１１、３２３…音声受信部
１２、２２、３１２、３２２…符号化部
１３、２１、３１３、３２１…映像受信部
１４、２４、３１４、３２４…メモリ
１５、２５、３００…制御部
１６、２６、３０３…多重化部
３００Ａ…切替制御情報
３０１、３０２…切り替えスイッチ
Ａ…音声情報
Ａ１…音声信号
Ｓ１、Ｓ２、Ｓ３…多重化後のストリーム
Ｖ…映像情報
Ｖ１…映像信号
【図１】
2011087077.tif 000003
【図２】
2011087077.tif 000004
【図３】
2011087077.tif 000005
【図４】
2011087077.tif 000006