(57)【要約】【課題】映像音声機器の開発で得られた設計資産が他の種類の映像音声機器にも流用することが可能な映像処理用集積回路および音声処理用集積回路を提供する。【解決手段】ＣＰＵを含むマイコンブロック２と、外部装置と映像及び音声ストリームの入出力を行うストリームＩ／Ｏブロック４と、ストリームＩ／Ｏブロック４に入力された映像及び音声ストリーム等の圧縮及び伸張の少なくとも１つを含むメディア処理を実行するメディア処理ブロック３と、メディア処理ブロック３でメディア処理された映像及び音声ストリームを映像及び音声信号に変換して外部機器に出力等するＡＶＩＯブロック５と、マイコンブロック２、ストリームＩ／Ｏブロック４、メディア処理ブロック３及びＡＶＩＯブロック５と外部メモリ９との間のデータ転送を制御するメモリＩＦブロック６とを備える。【選択図】図３
2010182321.tif 000002
【特許請求の範囲】
【請求項１】
映像を処理する映像処理用集積回路であって、
外部装置と映像ストリームの入出力を行うストリーム入出力ブロックと、
メディア処理された映像ストリームを映像信号に変換して外部機器に出力、あるいは、外部機器から映像信号を取得し、前記メディア処理される映像ストリームに変換するＡＶ入出力ブロックと、
前記ストリーム入出力ブロック及び前記ＡＶ入出力ブロックとメモリとの間のデータ転送を制御するメモリインターフェースブロックと
を備え、
前記ストリーム入出力ブロック及び前記ＡＶ入出力ブロックの各々は、専用のデータバスで前記メモリインターフェースブロックと接続される
ことを特徴とする映像処理用集積回路。
【請求項２】
請求項１に記載の映像処理用集積回路であって、
ＣＰＵを含むマイコンブロックをさらに備え、
前記メモリインターフェースブロックは、前記マイコンブロック、前記ストリーム入出力ブロック、及び前記ＡＶ入出力ブロックと前記メモリとの間のデータ転送を制御し、
前記マイコンブロック、前記ストリーム入出力ブロック、及び前記ＡＶ入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続される
ことを特徴とする映像処理用集積回路。
【請求項３】
請求項２に記載の映像処理用集積回路であって、
前記ＣＰＵがアイドル状態のとき、前記ＣＰＵへのクロック供給を制御するクロック制御部をさらに備える
ことを特徴とする映像処理用集積回路。
【請求項４】
請求項２に記載の映像処理用集積回路であって、
前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロックおよび前記マイコンブロックのうち少なくとも１つがアイドル状態のとき、前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロックおよび前記マイコンブロックのうちアイドル状態となっているブロックへの電源供給を制御する電源制御部をさらに備える
ことを特徴とする映像処理用集積回路。
【請求項５】
請求項２に記載の映像処理用集積回路であって、さらに、
前記ＣＰＵがアイドル状態のとき、前記ＣＰＵへのクロック供給を制御するクロック制御部と、
前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロックおよび前記マイコンブロックのうち少なくとも１つがアイドル状態のとき、前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロックおよび前記マイコンブロックのうちアイドル状態となっているブロックへの電源供給を制御する電源制御部と
を備えることを特徴とする映像処理用集積回路。
【請求項６】
請求項１に記載の映像処理用集積回路であって、
前記ストリーム入出力ブロックに入力された、あるいは、前記ストリーム入出力ブロックから出力される映像ストリームの圧縮及び伸張の少なくとも１つを含むメディア処理を実行するメディア処理ブロックをさらに備え、
前記メモリインターフェースブロックは、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックと前記メモリとの間のデータ転送を制御し、
前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続される
ことを特徴とする映像処理用集積回路。
【請求項７】
請求項６に記載の映像処理用集積回路であって、
１つの命令で複数のデータに対する演算を実行するデータ並列プロセッサをさらに備える
ことを特徴とする映像処理用集積回路。
【請求項８】
請求項６または７に記載の映像処理用集積回路であって、
ＣＰＵを含むマイコンブロックをさらに備え、
前記マイコンブロックは、前記ストリーム入出力ブロック、前記メディア処理ブロック、前記ＡＶ入出力ブロック及び前記メモリインターフェースブロックを制御し、
前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続され、
前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックは、前記メモリを介して前記映像ストリームの授受が行われる
ことを特徴とする映像処理用集積回路。
【請求項９】
請求項８に記載の映像処理用集積回路であって、
前記ＣＰＵがアイドル状態のとき、前記ＣＰＵへのクロック供給を制御するクロック制御部をさらに備える
ことを特徴とする映像処理用集積回路。
【請求項１０】
請求項８に記載の映像処理用集積回路であって、
前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロック、前記メディア処理ブロックおよび前記マイコンブロックのうち少なくとも１つがアイドル状態のとき、前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロック、前記メディア処理ブロックおよび前記マイコンブロックのうちアイドル状態となっているブロックへの電源供給を制御する電源制御部をさらに備える
ことを特徴とする映像処理用集積回路。
【請求項１１】
請求項８に記載の映像処理用集積回路であって、さらに、
前記ＣＰＵがアイドル状態のとき、前記ＣＰＵへのクロック供給を制御するクロック制御部と、
前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロック、前記メディア処理ブロックおよび前記マイコンブロックのうち少なくとも１つがアイドル状態のとき、前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロック、前記メディア処理ブロックおよび前記マイコンブロックのうちアイドル状態となっているブロックへの電源供給を制御する電源制御部と
を備えることを特徴とする映像処理用集積回路。
【請求項１２】
映像を処理する映像処理用集積回路であって、
ＣＰＵを含むマイコンブロックと、
前記マイコンブロックによる制御の下で、メディア処理された映像ストリームを映像信号に変換して外部機器に出力、あるいは、外部機器から映像信号を取得し、前記メディア処理される映像ストリームに変換するＡＶ入出力ブロックと、
前記マイコンブロック及び前記ＡＶ入出力ブロックとメモリとの間のデータ転送を制御するメモリインターフェースブロックと
を備え、
前記マイコンブロック及び前記ＡＶ入出力ブロックの各々は、専用のデータバスで前記メモリインターフェースブロックと接続される
ことを特徴とする映像処理用集積回路。
【請求項１３】
請求項１２に記載の映像処理用集積回路であって、
前記ＣＰＵがアイドル状態のとき、前記ＣＰＵへのクロック供給を制御するクロック制御部をさらに備える
ことを特徴とする映像処理用集積回路。
【請求項１４】
請求項１２に記載の映像処理用集積回路であって、
前記マイコンブロック、前記ＡＶ入出力ブロックおよび前記メモリインターフェースブロックのうち少なくとも１つがアイドル状態のとき、前記マイコンブロック、前記ＡＶ入出力ブロックおよび前記メモリインターフェースブロックのうちアイドル状態となっているブロックへの電源供給を制御する電源制御部をさらに備える
ことを特徴とする映像処理用集積回路。
【請求項１５】
請求項１２に記載の映像処理用集積回路であって、さらに、
前記ＣＰＵがアイドル状態のとき、前記ＣＰＵのクロック供給を制御するクロック制御部と、
前記マイコンブロック、前記ＡＶ入出力ブロックおよび前記メモリインターフェースブロックのうち少なくとも１つがアイドル状態のとき、前記マイコンブロック、前記ＡＶ入出力ブロックおよび前記メモリインターフェースブロックのうちアイドル状態となっているブロックへの電源供給を制御する電源制御部と
を備えることを特徴とする映像処理用集積回路。
【請求項１６】
請求項１２〜１５のいずれか１項に記載の映像処理用集積回路であって、
映像ストリームの圧縮及び伸張の少なくとも１つを含むメディア処理を実行するメディア処理ブロックをさらに備え、
前記メモリインターフェースブロックは、前記マイコンブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックと前記メモリとの間のデータ転送を制御し、
前記マイコンブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続される
ことを特徴とする映像処理用集積回路。
【請求項１７】
請求項１６に記載の映像処理用集積回路であって、
１つの命令で複数のデータに対する演算を実行するデータ並列プロセッサをさらに備える
ことを特徴とする映像処理用集積回路。
【請求項１８】
映像を処理する映像処理用集積回路であって、
映像ストリームの圧縮及び伸張の少なくとも１つを含むメディア処理を実行するメディア処理ブロックと、
前記メディア処理ブロックにおいてメディア処理された映像ストリームを映像信号に変換して外部機器に出力、あるいは、外部機器から映像信号を取得し、前記メディア処理される映像ストリームに変換するＡＶ入出力ブロックと、
前記メディア処理ブロック及び前記ＡＶ入出力ブロックとメモリとの間のデータ転送を制御するメモリインターフェースブロックと
を備え、
前記メディア処理ブロック及び前記ＡＶ入出力ブロックの各々は、専用のデータバスで前記メモリインターフェースブロックと接続される
ことを特徴とする映像処理用集積回路。
【請求項１９】
請求項１８に記載の映像処理用集積回路であって、
１つの命令で複数のデータに対する演算を実行するデータ並列プロセッサをさらに備える
ことを特徴とする映像処理用集積回路。
【請求項２０】
音声を処理する音声処理用集積回路であって、
外部装置と音声ストリームの入出力を行うストリーム入出力ブロックと、
メディア処理された音声ストリームを音声信号に変換して外部機器に出力、あるいは、外部機器から音声信号を取得し、前記メディア処理される音声ストリームに変換するＡＶ入出力ブロックと、
前記ストリーム入出力ブロック及び前記ＡＶ入出力ブロックとメモリとの間のデータ転送を制御するメモリインターフェースブロックと
を備え、
前記ストリーム入出力ブロック及び前記ＡＶ入出力ブロックの各々は、専用のデータバスで前記メモリインターフェースブロックと接続される
ことを特徴とする音声処理用集積回路。
【請求項２１】
請求項２０に記載の音声処理用集積回路であって、
ＣＰＵを含むマイコンブロックをさらに備え、
前記メモリインターフェースブロックは、前記マイコンブロック、前記ストリーム入出力ブロック、及び前記ＡＶ入出力ブロックと前記メモリとの間のデータ転送を制御し、
前記マイコンブロック、前記ストリーム入出力ブロック、及び前記ＡＶ入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続される
ことを特徴とする音声処理用集積回路。
【請求項２２】
請求項２１に記載の音声処理用集積回路であって、
前記ＣＰＵがアイドル状態のとき、前記ＣＰＵへのクロック供給を制御するクロック制御部をさらに備える
ことを特徴とする音声処理用集積回路。
【請求項２３】
請求項２１に記載の音声処理用集積回路であって、
前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロックおよび前記マイコンブロックのうち少なくとも１つがアイドル状態のとき、前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロックおよび前記マイコンブロックのうちアイドル状態となっているブロックへの電源供給を制御する電源制御部をさらに備える
ことを特徴とする音声処理用集積回路。
【請求項２４】
請求項２１に記載の音声処理用集積回路であって、さらに、
前記ＣＰＵがアイドル状態のとき、前記ＣＰＵへのクロック供給を制御するクロック制御部と、
前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロックおよび前記マイコンブロックのうち少なくとも１つがアイドル状態のとき、前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロックおよび前記マイコンブロックのうちアイドル状態となっているブロックへの電源供給を制御する電源制御部と
を備えることを特徴とする音声処理用集積回路。
【請求項２５】
請求項２０に記載の音声処理用集積回路であって、
前記ストリーム入出力ブロックに入力された、あるいは、前記ストリーム入出力ブロックから出力される音声ストリームの圧縮及び伸張の少なくとも１つを含むメディア処理を実行するメディア処理ブロックをさらに備え、
前記メモリインターフェースブロックは、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックと前記メモリとの間のデータ転送を制御し、
前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続される
ことを特徴とする音声処理用集積回路。
【請求項２６】
請求項２５に記載の音声処理用集積回路であって、
１つの命令で複数のデータに対する演算を実行するデータ並列プロセッサをさらに備える
ことを特徴とする音声処理用集積回路。
【請求項２７】
請求項２５または２６に記載の音声処理用集積回路であって、
ＣＰＵを含むマイコンブロックをさらに備え、
前記マイコンブロックは、前記ストリーム入出力ブロック、前記メディア処理ブロック、前記ＡＶ入出力ブロック及び前記メモリインターフェースブロックを制御し、
前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続され、
前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックは、前記メモリを介して前記音声ストリームの授受が行われる
ことを特徴とする音声処理用集積回路。
【請求項２８】
請求項２７に記載の音声処理用集積回路であって、
前記ＣＰＵがアイドル状態のとき、前記ＣＰＵへのクロック供給を制御するクロック制御部をさらに備える
ことを特徴とする音声処理用集積回路。
【請求項２９】
請求項２７に記載の音声処理用集積回路であって、
前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロック、前記メディア処理ブロックおよび前記マイコンブロックのうち少なくとも１つがアイドル状態のとき、前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロック、前記メディア処理ブロックおよび前記マイコンブロックのうちアイドル状態となっているブロックへの電源供給を制御する電源制御部をさらに備える
ことを特徴とする音声処理用集積回路。
【請求項３０】
請求項２７に記載の音声処理用集積回路であって、さらに、
前記ＣＰＵがアイドル状態のとき、前記ＣＰＵへのクロック供給を制御するクロック制御部と、
前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロック、前記メディア処理ブロックおよび前記マイコンブロックのうち少なくとも１つがアイドル状態のとき、前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロック、前記メディア処理ブロックおよび前記マイコンブロックのうちアイドル状態となっているブロックへの電源供給を制御する電源制御部と
を備えることを特徴とする音声処理用集積回路。
【請求項３１】
音声を処理する音声処理用集積回路であって、
ＣＰＵを含むマイコンブロックと、
前記マイコンブロックによる制御の下で、メディア処理された音声ストリームを音声信号に変換して外部機器に出力、あるいは、外部機器から音声信号を取得し、前記メディア処理される音声ストリームに変換するＡＶ入出力ブロックと、
前記マイコンブロック及び前記ＡＶ入出力ブロックとメモリとの間のデータ転送を制御するメモリインターフェースブロックと
を備え、
前記マイコンブロック及び前記ＡＶ入出力ブロックの各々は、専用のデータバスで前記メモリインターフェースブロックと接続される
ことを特徴とする音声処理用集積回路。
【請求項３２】
請求項３１に記載の音声処理用集積回路であって、
前記ＣＰＵがアイドル状態のとき、前記ＣＰＵへのクロック供給を制御するクロック制御部をさらに備える
ことを特徴とする音声処理用集積回路。
【請求項３３】
請求項３１に記載の音声処理用集積回路であって、
前記マイコンブロック、前記ＡＶ入出力ブロックおよび前記メモリインターフェースブロックのうち少なくとも１つがアイドル状態のとき、前記マイコンブロック、前記ＡＶ入出力ブロックおよび前記メモリインターフェースブロックのうちアイドル状態となっているブロックへの電源供給を制御する電源制御部をさらに備える
ことを特徴とする音声処理用集積回路。
【請求項３４】
請求項３１に記載の音声処理用集積回路であって、さらに、
前記ＣＰＵがアイドル状態のとき、前記ＣＰＵのクロック供給を制御するクロック制御部と、
前記マイコンブロック、前記ＡＶ入出力ブロックおよび前記メモリインターフェースブロックのうち少なくとも１つがアイドル状態のとき、前記マイコンブロック、前記ＡＶ入出力ブロックおよび前記メモリインターフェースブロックのうちアイドル状態となっているブロックへの電源供給を制御する電源制御部と
を備えることを特徴とする音声処理用集積回路。
【請求項３５】
請求項３１〜３４のいずれか１項に記載の音声処理用集積回路であって、
音声ストリームの圧縮及び伸張の少なくとも１つを含むメディア処理を実行するメディア処理ブロックをさらに備え、
前記メモリインターフェースブロックは、前記マイコンブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックと前記メモリとの間のデータ転送を制御し、
前記マイコンブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続される
ことを特徴とする音声処理用集積回路。
【請求項３６】
請求項３５に記載の音声処理用集積回路であって、
１つの命令で複数のデータに対する演算を実行するデータ並列プロセッサをさらに備える
ことを特徴とする音声処理用集積回路。
【請求項３７】
音声を処理する音声処理用集積回路であって、
音声ストリームの圧縮及び伸張の少なくとも１つを含むメディア処理を実行するメディア処理ブロックと、
前記メディア処理ブロックにおいてメディア処理された音声ストリームを音声信号に変換して外部機器に出力、あるいは、外部機器から音声信号を取得し、前記メディア処理される音声ストリームに変換するＡＶ入出力ブロックと、
前記メディア処理ブロック及び前記ＡＶ入出力ブロックとメモリとの間のデータ転送を制御するメモリインターフェースブロックと
を備え、
前記メディア処理ブロック及び前記ＡＶ入出力ブロックの各々は、専用のデータバスで前記メモリインターフェースブロックと接続される
ことを特徴とする音声処理用集積回路。
【請求項３８】
請求項３７に記載の音声処理用集積回路であって、
１つの命令で複数のデータに対する演算を実行するデータ並列プロセッサをさらに備える
ことを特徴とする音声処理用集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理用集積回路および音声処理用集積回路に関し、特に、各種アプリケーションに使用されるシステムＬＳＩとして実現される映像処理用集積回路および音声処理用集積回路に関する。
【背景技術】
【０００２】
近年のデジタル技術、動画像及び音声の圧縮伸張技術の急速な進展に伴い、デジタルテレビ（ＤＴＶ）、ＤＶＤレコーダ等のデジタルビデオレコーダ（ＤＶＲ）、携帯電話、ビデオカメラ等の映像音声機器は、ますます高機能化、小型化が求められている。そのために、このような映像音声機器の開発現場においても、開発期間の短縮化が大きな課題となっている。
【０００３】
従来、映像音声機器の開発を支援するために、映像音声機能に関わる処理に必要な複数の機能ブロックを１つのＬＳＩとして実現した技術がある（たとえば、非特許文献１参照）。
【０００４】
この従来のＬＳＩは、メディア処理に必要なＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）コアや、各種ビデオＩ／Ｏ、ＲＧＢ  Ｉ／Ｏ、ＭＰＥＧ−２トランスポートストリームＩ／Ｆ、ＬＡＮ  Ｉ／Ｆ等を備える。機器の開発者は、このようなＬＳＩを使用することで、映像音声処理に必要な各機能ブロックにおけるハードウェア回路を個別に開発する必要がなくなる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】「ＴＭＳ３２０ＤＭ６４２  Ｔｅｃｈｎｉｃａｌ  Ｏｖｅｒｖｉｅｗ」テキサスインスツルメンツ社、ｐ．４等
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来のＬＳＩは、音声等による電話とのＩ／Ｆや、電力制御等の低消費電力のための機能等が備わっていないために、携帯電話やビデオカメラ等のモバイル系用途には向かないという問題がある。そのために、例えば、ＤＴＶ等のサーバ系機器を上記従来のＬＳＩを用いて実現したとしても、そこで得られたソフトウェア等の設計資産を携帯電話等のモバイル系機器に流用することができない。
【０００７】
さらに、上記従来ＬＳＩを用いて映像音声機器を開発する場合には、映像や音声データを一時的に保存するためのメモリと各処理ブロックとのインターフェースについては、開発者が独自に設計しなければならない。たとえば、各処理ブロックで共有できる共有メモリを設ける場合には、各処理ブロックとメモリとの転送帯域を確保するとともにレイテンシ保証を考慮しなければならない。そのために、高機能な映像音声機器の開発工数が削減されないのが実情である。
【０００８】
そこで、本発明は、このような従来の問題点に鑑みてなされたものであり、ＤＴＶやＤＶＲ等のサーバ系映像音声機器だけでなく、携帯電話やビデオカメラ等のモバイル系映像音声機器のシステムＬＳＩとして適用できるとともに、これらの映像音声機器の開発で得られた設計資産が他の種類の映像音声機器にも流用することが可能な映像処理用集積回路および音声処理用集積回路を提供することを目的とする。
【０００９】
さらに、本発明は、映像や音声データを保存するメモリと各処理ブロックとのインターフェースにおける転送帯域やレイテンシ保証を容易に確保することができる映像処理用集積回路および音声処理用集積回路を提供することをも目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る、映像を処理する映像処理用集積回路は、外部装置と映像ストリームの入出力を行うストリーム入出力ブロックと、メディア処理された映像ストリームを映像信号に変換して外部機器に出力、あるいは、外部機器から映像信号を取得し、前記メディア処理される映像ストリームに変換するＡＶ入出力ブロックと、前記ストリーム入出力ブロック及び前記ＡＶ入出力ブロックとメモリとの間のデータ転送を制御するメモリインターフェースブロックとを備え、前記ストリーム入出力ブロック及び前記ＡＶ入出力ブロックの各々は、専用のデータバスで前記メモリインターフェースブロックと接続される。
【００１１】
また、前記映像処理用集積回路は、ＣＰＵを含むマイコンブロックをさらに備え、前記メモリインターフェースブロックは、前記マイコンブロック、前記ストリーム入出力ブロック、及び前記ＡＶ入出力ブロックと前記メモリとの間のデータ転送を制御し、前記マイコンブロック、前記ストリーム入出力ブロック、及び前記ＡＶ入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続されてもよい。
【００１２】
また、前記映像処理用集積回路は、前記ストリーム入出力ブロックに入力された、あるいは、前記ストリーム入出力ブロックから出力される映像ストリームの圧縮及び伸張の少なくとも１つを含むメディア処理を実行するメディア処理ブロックをさらに備え、前記メモリインターフェースブロックは、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックと前記メモリとの間のデータ転送を制御し、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続されてもよい。
【００１３】
また、本発明に係る、映像を処理する映像処理用集積回路は、ＣＰＵを含むマイコンブロックと、前記マイコンブロックによる制御の下で、メディア処理された映像ストリームを映像信号に変換して外部機器に出力、あるいは、外部機器から映像信号を取得し、前記メディア処理される映像ストリームに変換するＡＶ入出力ブロックと、前記マイコンブロック及び前記ＡＶ入出力ブロックとメモリとの間のデータ転送を制御するメモリインターフェースブロックとを備え、前記マイコンブロック及び前記ＡＶ入出力ブロックの各々は、専用のデータバスで前記メモリインターフェースブロックと接続される。
【００１４】
また、前記映像処理用集積回路は、映像ストリームの圧縮及び伸張の少なくとも１つを含むメディア処理を実行するメディア処理ブロックをさらに備え、前記メモリインターフェースブロックは、前記マイコンブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックと前記メモリとの間のデータ転送を制御し、前記マイコンブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックの各々は、前記専用のデータバスで前記メモリインターフェースブロックと接続されてもよい。
【００１５】
また、本発明に係る、映像を処理する映像処理用集積回路は、映像ストリームの圧縮及び伸張の少なくとも１つを含むメディア処理を実行するメディア処理ブロックと、前記メディア処理ブロックにおいてメディア処理された映像ストリームを映像信号に変換して外部機器に出力、あるいは、外部機器から映像信号を取得し、前記メディア処理される映像ストリームに変換するＡＶ入出力ブロックと、前記メディア処理ブロック及び前記ＡＶ入出力ブロックとメモリとの間のデータ転送を制御するメモリインターフェースブロックとを備え、前記メディア処理ブロック及び前記ＡＶ入出力ブロックの各々は、専用のデータバスで前記メモリインターフェースブロックと接続される。
【００１６】
また、本発明は、このような映像処理用集積回路として実現できるだけでなく、上述した構成と同様の構成にて音声を処理する音声処理用集積回路として実現することもできる。
【００１７】
これによって、例えば、前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックは、専用のデータバスで前記メモリインターフェースブロックと接続され、前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックの間では、前記メモリを介して、前記映像及び音声ストリームの授受が行われるようにすることで、４種類の処理ブロックは、それぞれ、相互に接続されるのではなく、共通のメモリを介して接続される。したがって、各処理ブロックに対する制御プログラミングは、いずれも、メモリとの間でデータを入出力するように設計すればよく、他の処理ブロックでの処理と分離される。よって、各処理ブロックに対するアプリケーションプログラムの独立性が高まり、設計資産の流用が可能となる。
【００１８】
ここで、前記メモリインターフェースブロックは、前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックと前記メモリとの間のデータ転送が並列に行われるようにデータ転送を中継してもよいし、前記マイコンブロック、前記ストリーム入出力ブロック、前記メディア処理ブロック及び前記ＡＶ入出力ブロックは、前記映像及び音声ストリームを前記メモリに格納した後に、格納した旨を他のブロックに通知してもよい。これによって、メモリは、メモリインターフェースブロックを介して、各処理ブロックに共有されることとなり、メモリインターフェースブロックにデータ転送やアービトレーションの制御や管理処理を集中させることで、メモリと各処理ブロックとのインターフェースにおける転送帯域の確保やレイテンシ保証が容易となる。
【００１９】
また、前記映像処理用集積回路は、前記ＣＰＵがアイドル状態のとき、前記ＣＰＵへのクロック供給を制御するクロック制御部をさらに備えてもよい。
【００２０】
また、前記映像処理用集積回路は、前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロックおよび前記マイコンブロックのうち少なくとも１つがアイドル状態のとき、前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロックおよび前記マイコンブロックのうちアイドル状態となっているブロックへの電源供給を制御する電源制御部をさらに備えてもよい。
【００２１】
また、前記映像処理用集積回路は、さらに、前記ＣＰＵがアイドル状態のとき、前記ＣＰＵへのクロック供給を制御するクロック制御部と、前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロックおよび前記マイコンブロックのうち少なくとも１つがアイドル状態のとき、前記ストリーム入出力ブロック、前記ＡＶ入出力ブロック、前記メモリインターフェースブロックおよび前記マイコンブロックのうちアイドル状態となっているブロックへの電源供給を制御する電源制御部とを備えてもよい。
【００２２】
これによって、前記集積回路の消費電力化を図ることができる。
【００２３】
また、前記映像処理用集積回路は、１つの命令で複数のデータに対する演算を実行するデータ並列プロセッサをさらに備えてもよい。
【００２４】
これによって、前記データ並列プロセッサは、データ処理量が大きく、処理できる演算の種類が豊富であることから、多種多用なメディア処理が可能となる。
【発明の効果】
【００２５】
本発明により、ＤＴＶやＤＶＲ等のサーバ系映像音声機器だけでなく、携帯電話やビデオカメラ等のモバイル系映像音声機器についても、共通のシステムＬＳＩを用いて実現することができる。そして、これらの映像音声機器間で、設計資産の流用が可能となる。
【００２６】
また、映像や音声データを保存するメモリと各処理ブロックとのインターフェースにおける転送帯域の確保やレイテンシ保証が容易となり、短い期間で高機能な映像音声機器を開発することが可能となる。
【００２７】
このように、本発明により、映像音声機器の開発期間が短縮化され、映像音声機器に対してますます高機能な映像音声処理が求められる今日における実用的価値は極めて高い。
【図面の簡単な説明】
【００２８】
【図１】図１は、本発明に係る映像音声処理用集積回路の基本構成を示す機能ブロック図である。
【図２】図２は、映像音声処理用集積回路の構造図である。
【図３】図３は、モバイル系アプリケーションに適した映像音声処理用集積回路の詳細な構成を示す機能ブロック図である。
【図４】図４は、映像音声処理用集積回路の動作手順を示すフローチャートである。
【図５】図５は、図４に示された動作におけるデータの流れを示す図である。
【図６】図６（ａ）〜図６（ｄ）は、図４に示された動作における各処理ブロックでの処理の様子を示す図である。
【図７】図７は、サーバ系アプリケーションに適した映像音声処理用集積回路の詳細な構成を示す機能ブロック図である。
【図８】図８は、映像音声処理用集積回路の特徴を示す説明図である。
【図９】図９は、映像処理の性能を高めた映像音声処理用集積回路の詳細な構成を示す機能ブロック図である。
【図１０】図１０は、映像音声処理用集積回路の動作手順を示すフローチャートである。
【図１１】図１１は、図１０に示された動作におけるデータの流れを示す図である。
【図１２】図１２（ａ）、図１２（ｂ）は、図１０に示された動作における各処理ブロックでの処理内容を表す図である。
【図１３】図１３は、ストリーム処理に適した映像音声処理用集積回路の詳細な構成を示す機能ブロック図である。
【図１４】図１４は、ストリーム処理に係る仮想マルチプロセッサの動作手順を示すフローチャートである。
【図１５】図１５（ａ）、図１５（ｂ）は、図１４に示された動作における仮想プロセッサの割当てタイミングを示す図である。
【図１６】図１６（ａ）〜図１６（ｃ）は、２つのストリームを処理する場合の仮想プロセッサの割当てタイミングを示す図である。
【発明を実施するための形態】
【００２９】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００３０】
図１は、本発明に係る映像音声処理用集積回路１の基本構成を示す機能ブロック図である。本発明に係る映像音声処理用集積回路１は、後述するように、若干の回路構成を変更することで、携帯電話やビデオカメラ等のモバイル系の映像音声機器に適した回路構成、あるいは、ＤＴＶやＤＶＲ等のサーバ系映像音声機器に適した回路構成として実現することができるが、いずれのアプリケーションにも共通するアーキテクチャをもっており、本図には、その共通アーキテクチャが示されている。
【００３１】
この映像音声処理用集積回路１は、映像音声ストリームに関する様々な信号処理を行うシステムＬＳＩであり、マイコンブロック２、メディア処理ブロック３、ストリームＩ／Ｏブロック４、ＡＶＩＯ（Ａｕｄｉｏ  Ｖｉｓｕａｌ  Ｉｎｐｕｔ  Ｏｕｔｐｕｔ）ブロック５及びメモリＩＦブロック６から構成される。
【００３２】
マイコンブロック２は、映像音声処理用集積回路１全体を制御するプロセッサであり、制御バス７を介して各処理ブロック３〜６を制御したり、データバス８ｂ及びメモリＩＦブロック６を介して外部メモリ９にアクセスしたりする回路ブロックである。ここでの処理は、映像音声の出力サイクル（フレームレート等）に依存しない非リアルタイムな汎用（制御関連の）処理である。
【００３３】
ストリームＩ／Ｏブロック４は、マイコンブロック２による制御の下で、蓄積メディアやネットワーク等の周辺デバイスから圧縮画像音声ストリーム等のストリームデータを読み込み、データバス８ａ及びメモリＩＦブロック６を介して外部メモリ９に格納したり、その逆方向のストリーム転送をしたりする回路ブロックである。ここでの処理は、映像音声の出力サイクル（フレームレート等）に依存しない非リアルタイムなＩＯ処理である。
【００３４】
メディア処理ブロック３は、マイコンブロック２による制御の下で、データバス８ｃ及びメモリＩＦブロック６を介して外部メモリ９から圧縮画像音声ストリーム等の画像音声データを読み出し、圧縮又は伸張等のメディア処理を行った後に、再び、データバス８ｃ及びメモリＩＦブロック６を介して、処理後の画像データや音声データを外部メモリ９に格納する回路ブロックである。ここでの処理は、映像音声の出力サイクル（フレームレート等）に依存するリアルタイムな汎用（メディア関連の）処理である。
【００３５】
ＡＶＩＯブロック５は、マイコンブロック２による制御の下で、データバス８ｄ及びメモリＩＦブロック６を介して外部メモリ９から画像データ及び音声データ等を読み出し、各種グラフィック処理等を施した後に、画像信号及び音声信号として外部の表示装置やスピーカ等に出力したり、その逆方向のデータ転送をしたりする回路ブロックである。ここでの処理は、映像音声の出力サイクル（フレームレート等）に依存するリアルタイムなＩＯ処理である。
【００３６】
メモリＩＦブロック６は、マイコンブロック２による制御の下で、各処理ブロック２〜５と外部メモリ９との間で並列にデータ要求が行われるように制御する回路ブロックである。このとき、マイコンブロック２からの要求に応じて、各処理ブロック２〜５と外部メモリ９との間の転送帯域を確保するとともに、レイテンシ保証を行う。
【００３７】
これによって、メディア処理ブロック３を始めとする各ブロックは、提供する機能に必要なバンド幅が確保されるとともに、要求したアクセスレイテンシが保証されることにより、ブロック単独または複数のブロックの合同動作で提供されるアプリケーションの性能保証およびリアルタイム性の保証を達成することができる。
【００３８】
なお、バンド幅を確保しレイテンシを保証するための技術は、その代表的な一例が特開２００４−２４６８６２号公報に詳しく開示されているので、ここでは詳細な説明を省略する。
【００３９】
このように、本発明に係る映像音声処理用集積回路１は、リアルタイム性と処理の種類（ＩＯ処理／非ＩＯ（汎用的な）処理）との組み合わせで定められる４つの特徴的な処理ブロック２〜５、つまり、非リアルタイムな汎用的な処理を実行するマイコンブロック２、リアルタイムな汎用的な処理を実行するメディア処理ブロック３、非リアルタイムなＩ／Ｏ処理を実行するストリームＩ／Ｏブロック４、及び、リアルタイムなＩ／Ｏ処理を実行するＡＶＩＯブロック５に加えて、それら４つの処理ブロック２〜５と専用のデータバス８ａ〜８ｄで接続されたメモリＩＦブロック６とから構成され、モバイル系のアプリケーションとサーバ系のアプリケーションの両方に共通のアーキテクチャを備える。
【００４０】
つまり、４種類の処理ブロックは、それぞれ、相互に接続されるのではなく、共通の外部メモリ９を介して接続される。したがって、各処理ブロックに対する制御プログラミングは、いずれも、外部メモリ９との間でデータを入出力するように設計すればよく、他の処理ブロックでの処理と分離される。これによって、各処理ブロックに対するアプリケーションプログラムの独立性が高まり、各処理ブロックは、他の処理ブロックからの影響を受けることなく、各処理ブロックとメモリＩＦとの間の仕様のみを考慮するだけで設計することが可能になるため、設計効率を高めることができるとともに、他のアプリケーションに展開した場合であっても、必要なブロックの構成のみを変更することで、その他のアプリケーションの処理を行うことが可能になるため、設計資産の流用が可能となる。
【００４１】
たとえば、携帯電話等のモバイル系の映像音声機器に組み込むために開発した映像音声処理用集積回路のアプリケーションプログラム（例えば、携帯電話が受信した圧縮音声ストリームをメディア処理ブロックで伸張するアプリケーションプログラム）をＤＴＶ等のサーバ系映像音声機器に組み込む映像音声処理用集積回路のアプリケーションプログラム（例えば、ＤＴＶが受信したトランスポートストリームに含まれていた音声ストリームをメディア処理ブロックで伸張するアプリケーションプログラム）として流用することができる。
【００４２】
つまり、ＤＴＶ、ＤＶＲ、ビデオカメラ、携帯電話等の機器のうちの１つを第１機器、他の１つを第２機器とした場合に、第１機器用の映像音声処理用集積回路と第２機器用の映像音声処理用集積回路とで共通に行われる処理が、第１機器用の映像音声処理用集積回路のマイコンブロックで行われる場合は、その処理を第２機器用の映像音声処理用集積回路のマイコンブロックで行い、第１機器用の映像音声処理用集積回路のストリームＩ／Ｏブロックで行われる場合は、その処理を第２機器用の映像音声処理用集積回路のストリームＩ／Ｏブロックで行い、第１機器用の映像音声処理用集積回路のメディア処理ブロックで行われる場合は、その処理を第２機器用の映像音声処理用集積回路のメディア処理ブロックで行い、第１機器用の映像音声処理用集積回路のＡＶＩＯブロックで行われる場合は、その処理を第２機器用の映像音声処理用集積回路のＡＶＩＯブロックで行うように設計開発することができる。このように、第１機器用の映像音声処理用集積回路の各ブロックの処理の分担を第２機器用の映像音声処理用集積回路の各ブロックの処理の分担と共通化することにより、各ブロックのハードウェア及びソフトウェアの設計資産を流用することができる。
【００４３】
なお、この映像音声処理用集積回路１は、１つの半導体基板上に形成された１チップＬＳＩであるが、製造工程上の構成として、図２に示されるように、半導体基板１ａ、回路層１ｂ、下位配線層１ｃ及び上位配線層１ｄからなる。回路層１ｂは、各処理ブロック２〜５の回路要素に相当し、下位配線層１ｃは、各処理ブロック２〜５の回路要素を接続する各処理ブロック２〜５内での配線に相当し、上位配線層１ｄは、各処理ブロック２〜５間を接続するバス（制御バス７及びデータバス８ａ〜８ｄ）に相当する。このように、配線層を各処理ブロック内での配線と各処理ブロック間を接続する配線とに分離し、異なるマスクレイアウトとすることで、各処理ブロックの内部と外部での配線設計が分離され、設計が容易となる。
【００４４】
次に、本発明に係る映像音声処理用集積回路のうち、携帯電話やビデオカメラ等のモバイル系アプリケーションに適したタイプの映像音声処理用集積回路について、より詳細に説明する。
【００４５】
図３は、モバイル系アプリケーションに適した映像音声処理用集積回路１００の詳細な構成を示す機能ブロック図である。
【００４６】
映像音声処理用集積回路１００は、無線通信や低消費電力化の機能が必要とされるモバイル系の映像音声機器に適したシステムＬＳＩであり、マイコンブロック１０、メディア処理ブロック２０、ストリームＩ／Ｏブロック３０、ＡＶＩＯブロック４０及びメモリＩＦブロック５０から構成される。
【００４７】
マイコンブロック１０は、制御バス６０を介して各処理ブロック２０〜４０を制御したり、データバス７１を介してＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ）１０６にアクセスしたりする回路ブロックであり、ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）部１１、ＣＰＵ部１２、マイコン周辺部１３、クロック制御部１４及び電源制御部１５等を備える。
【００４８】
ＤＭＡ部１１は、ダイレクトメモリアクセス用のコントローラであり、例えば、外部バスを介して接続されたフラッシュメモリ１０１に格納されたユーザプログラム等をＣＰＵ部１２内のプログラムメモリ等に直接転送することによってダウンロードする。
【００４９】
ＣＰＵ部１２は、タイマ機能や割り込み機能を有するプロセッサコアであり、内部のプログラムメモリ等に格納されたプログラムに従って、この映像音声処理用集積回路１００全体の制御を行う。なお、内部のプログラムメモリ等には、予めＯＳ等の基本ソフトが格納されている。
【００５０】
マイコン周辺部１３は、割り込み制御回路や周辺Ｉ／Ｏポート等である。
【００５１】
クロック制御部１４は、クロックを各回路に供給するとともに、ＣＰＵ部１２等がアイドル状態等のときにＣＰＵ部１２等へのクロック供給を停止する等により、低消費電力化を図る回路である。
【００５２】
電源制御部１５は、電源を各回路に供給するとともに、各処理ブロックがアイドル状態等のときに各処理ブロックへの電源供給を停止する等により、低消費電力化を図る回路である。
【００５３】
メディア処理ブロック２０は、マイコンブロック１０による制御の下で、ＳＤＲＡＭ１０６からデータバス７２ａ及びデータバス７２ｂを介して読み出した画像・オーディオ・音声データをＭＰＥＧ規格等に沿って圧縮・伸張する高速なＤＳＰ等であり、命令並列プロセッサ２１、シーケンサ部２２、第１〜第４アクセラレータ（ＡＣＣ；ａｃｃｅｌｅｒａｔｏｒ）部２３〜２６及びＤＭＡＣ部２７等を備える。なお、このメディア処理ブロック２０は、ＳＤＲＡＭ１０６を介さずに、ストリームＩ／Ｏブロック３０からデータバス７４を介してストリームデータを直接受け取ることもできる。ストリームＩ／Ｏブロック３０から送られてくるストリームデータが低ビットレートである場合には、高速動作するメディア処理ブロック２０が直接ストリームデータを受信してメディア処理を実行するほうが、ＳＤＲＡＭ１０６を経由しない分だけ、セキュリティ向上、消費電力削減と合わせて、処理効率が高くなり得るからである。
【００５４】
命令並列プロセッサ２１は、複数の命令（信号処理命令）を並列に実行するプロセッサであり、各構成要素２２〜２７の全体制御を行う。
【００５５】
シーケンサ部２２は、命令並列プロセッサ２１による制御の下で、第１〜第４アクセラレータ部２３〜２６による処理シーケンスを制御する。
【００５６】
第１〜第４アクセラレータ部２３〜２６は、それぞれ並列に動作し、画像・オーディオ・音声データに対してＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、逆ＤＣＴ、量子化、逆量子化、動き検出、動き補償等の圧縮・伸張等のメディア処理を行う演算処理エンジンである。
【００５７】
ＤＭＡＣ部２７は、ダイレクトメモリアクセス用のコントローラであり、例えば、データバス７２ａ及びデータバス７２ｂ等を介してＳＤＲＡＭ１０６との間でのデータの直接転送を制御する。
【００５８】
なお、このメディア処理ブロック２０は、モバイル系アプリケーションのための低電力化対応回路となっている。具体的には、消費電力の高い汎用的なデータ処理プロセッサではなく、第１〜第４アクセラレータ部２３〜２６のような低消費電力の専用ハードエンジンによって実現されていること、処理データが存在しない等のアイドル状態を自動検知して停止したり（自動停止制御）、クロック供給を遮断したりする（ゲーテッドクロック）機能を備える。
【００５９】
ストリームＩ／Ｏブロック３０は、外部デバイス１０２〜１０４からストリームデータを受信し、データバス７０を介してＳＤＲＡＭ１０６に格納したり、その逆のデータ転送をする回路ブロックであり、暗号エンジン部３２、セキュア管理部３３、ＤＭＡＣ部３４、ストリーム処理部３５及びデバイスＩＦ部３６等を備える。
【００６０】
暗号エンジン部３２は、入力された暗号化ストリームデータや鍵データ等を復号したり、外部デバイス１０２〜１０４に渡す鍵データを暗号化したりする暗号器及び復号器である。
【００６１】
セキュア管理部３３は、外部デバイス１０２〜１０４との間で必要となる機器認証プロトコル等の実行制御をしたり、秘密鍵を保持したりする耐タンパな回路である。
【００６２】
ＤＭＡＣ部３４は、ダイレクトメモリアクセス用のコントローラであり、例えば、デバイスＩＦ部３６を介して入力されるストリームデータをデータバス７０を介してＳＤＲＡＭ１０６に直接転送する。
【００６３】
ストリーム処理部３５は、デバイスＩＦ部３６を介して外部デバイス１０２〜１０４から入力されたストリームデータを多重分離する。
【００６４】
デバイスＩＦ部３６は、携帯電話等に使用される通信用プロセッサ等の別ＣＰＵ１０２との間で送受信するためのＩＯポート、ＳＤ（商標）カード等のメモリカード１０３との間で読み書きをするためのＩＯポート、ＰＤＡ１０４等との間で赤外線通信等をするためのＩＯポート等の集まりである。
【００６５】
ＡＶＩＯブロック４０は、ＳＤＲＡＭ１０６に格納された映像及び音声ストリームを、データバス７３ａ及びデータバス７３ｂを介して読み出し、ＬＣＤ１０７等に出力したり、デジタルカメラ１０８から送られてくる撮像データを、データバス７３ａ及びデータバス７３ｂを介してＳＤＲＡＭ１０６に格納したりする回路ブロックであり、グラフィックスエンジン部４１、ビデオ入力フォーマット変換部４２、撮像処理エンジン部４３、オーディオＩＦ部４４及びビデオ出力フォーマット変換部４５等を備える。
【００６６】
グラフィックスエンジン部４１は、フィルタ処理、画面合成、曲線描画、３Ｄ表示等のグラフィックス処理を行う高性能グラフィックスエンジンである。
【００６７】
ビデオ入力フォーマット変換部４２は、この映像音声処理用集積回路１００に入力された映像データの色空間等に起因にする信号フォーマットを内部処理に適したフォーマットに変換する。
【００６８】
撮像処理エンジン部４３は、デジタルカメラ１０８等から入力される静止画や動画に対する高画質撮像処理を行う。
【００６９】
オーディオＩＦ部４４は、マイク・スピーカ等との間で音声信号を入出力するＡ／Ｄ変換器、Ｄ／Ａ変換器等である。
【００７０】
ビデオ出力フォーマット変換部４５は、出力する映像信号の色空間等に起因する信号フォーマットをＬＣＤ１０７等に適合するフォーマットに変換する。
【００７１】
メモリＩＦブロック５０は、この映像音声処理用集積回路１００とＳＤＲＡＭ１０６等の外部メモリや高速ＩＦ１０５との間でのデータ転送を制御するインターフェース回路であり、メモリスケジューラ５１、バッファ部５２及び内蔵ＲＡＭ５３等を備える。
【００７２】
メモリスケジューラ５１は、各処理ブロック１０〜４０や高速ＩＦ１０５との間で並列にデータを入出力するポート（サブシステムＩＦ５１ａ〜５１ｃ）を有するスケジューラであり、マイコンブロック１０からの指示に従って、各サブシステムＩＦ５１ａ〜５１ｃごとに、一定の転送帯域を確保するとともに、レイテンシを保証している。
【００７３】
バッファ部５２は、ＳＤＲＡＭ１０６とメモリスケジューラ５１とのデータ転送を中継する高速なバッファメモリである。
【００７４】
内蔵ＲＡＭ５３は、メモリスケジューラ５１が各サブシステムＩＦ５１ａ〜５１ｃごとに一定帯域のデータ転送を保証するためのデータ退避用バッファメモリである。
【００７５】
次に、以上のように構成された映像音声処理用集積回路１００の動作について図４〜図６を用いて説明する。
【００７６】
図４は、メモリカード１０３から圧縮画像音声ストリームを読み出し、伸張した後に、画像信号及び音声信号として出力する場合の映像音声処理用集積回路１００の動作手順を示すフローチャートである。図５は、そのときのデータの流れを示す図である。図６は、各処理ブロック２０〜４０での処理の様子を示す図である。
【００７７】
まず、マイコンブロック１０は、内蔵しているプログラムに従って、各処理ブロック２０〜４０の初期設定等をする（図４のＳ１０）。たとえば、メディア処理ブロック２０に対してＭＰＥＧ４に基づく伸張処理を指示し、ストリームＩ／Ｏブロック３０に対してメモリカード１０３に格納された圧縮画像音声ストリームを読み出すように指示し、ＡＶＩＯブロック４０に対して音声出力とＬＣＤ１０７への映像出力を指示する。
【００７８】
次に、ストリームＩ／Ｏブロック３０は、メモリカード１０３に格納されている圧縮画像音声ストリームを読み出し、メモリＩＦブロック５０を介してＳＤＲＡＭ１０６に格納する（図４のＳ１１、図５のＳ２０）。この圧縮画像音声ストリームは、例えば、図６（ａ）に示されるように、画像と音声のビット列が多重化された構造となっている。
【００７９】
続いて、メディア処理ブロック２０は、ＳＤＲＡＭ１０６に格納された圧縮画像音声ストリームを読み出し、そのヘッダ情報等に基づいてパーサ処理等を行うことで、図６（ｂ）に示されるような画像ストリームと音声ストリームとに多重分離し、分離した各ストリームデータをメモリＩＦブロック５０を介してＳＤＲＡＭ１０６に書き戻す（図４のＳ１２、図５のＳ２１）。
【００８０】
そして、再び、メディア処理ブロック２０は、ＳＤＲＡＭ１０６から画像ストリームと音声ストリームを読み出し、伸張処理を施した後に、図６（ｃ）に示される画像データ（例えば、画素ごとに８ビットで表現される画像データ）及び音声データ（１６ビット／サンプルで表現される音声データ）としてＳＤＲＡＭ１０６に書き戻す（図４のＳ１３、図５のＳ２２）。
【００８１】
最後に、ＡＶＩＯブロック４０は、ＳＤＲＡＭ１０６から画像ストリームと音声ストリームを読み出し、画像ストリームについてはＲＥＣ６５６フォーマット等へのフォーマット変換を施し、音声ストリームについてはＤ／Ａ変換等を施した後に、それぞれ、画像信号及び音声信号として、図６（ｄ）に示されるように、ＬＣＤ１０７やスピーカ等に出力する（図４のＳ１４、図５のＳ２３、Ｓ２４）。
【００８２】
なお、上記各処理ブロックによる処理（図４のＳ１１〜Ｓ１４）は、画像ストリームについてはパケット、マクロブロック、スライス、ピクチャ等の単位で、音声ストリームについてはパケット、フレーム等の単位でパイプライン処理される。そのとき、マイコンブロック１０、メディア処理ブロック２０、ストリームＩ／Ｏブロック３０及びＡＶＩＯブロック４０は、画像及び音声ストリームのパケット等をＳＤＲＡＭ１０６に格納した場合に、格納した旨を他のブロックに通知する。これによって各パイプライン工程が流れる。
【００８３】
このように、本発明に係る映像音声処理用集積回路１００によれば、メモリカード１０３等の外部デバイスから与えられた圧縮画像音声ストリームは、画像ストリームと音声ストリームとに多重分離され、伸張された後に、フォーマット変換され、画像信号及び音声信号として出力される。つまり、１つのＬＳＩと外部メモリ（ＳＤＲＡＭ１０６）だけで、外部デバイスに格納された圧縮画像音声ストリームの再生が可能となる。
【００８４】
そして、この映像音声処理用集積回路１００によれば、各処理ブロックごとに画像データや音声データを一時格納するバッファメモリを備えるのではなく、全ての処理ブロックに共通の共有メモリ（ＳＤＲＡＭ１０６）を備える。したがって、各処理ブロックに割り当てるメモリサイズを自由に決定することができ、各処理ブロックでのデータ発生量や処理負荷が異なる様々なアプリケーションに対して、この映像音声処理用集積回路１００を適用することができる。また、各ブロックは、独立してバッファメモリを備える必要がないため、この映像音声処理用集積回路１００は、全体としてチップサイズを縮小化することができる。
【００８５】
次に、本発明に係る映像音声処理用集積回路のうち、ＤＴＶやＤＶＲ等のサーバ系アプリケーションに適したタイプの映像音声処理用集積回路について、より詳細に説明する。
【００８６】
図７は、サーバ系アプリケーションに適した映像音声処理用集積回路２００の詳細な構成を示す機能ブロック図である。
【００８７】
この映像音声処理用集積回路２００は、各種周辺デバイスとの接続や多種多様なメディア処理が必要とされるサーバ系の映像音声機器に適したシステムＬＳＩであり、マイコンブロック２１０、メディア処理ブロック２２０、ストリームＩ／Ｏブロック２３０、ＡＶＩＯブロック２４０及びメモリＩＦブロック２５０から構成される。各処理ブロック２１０〜２５０は、基本的には、上記映像音声処理用集積回路１００の処理ブロック１０〜５０と同様の構成を備える。以下、上記映像音声処理用集積回路１００と同様の構成要素には同一の符号を付し、説明を省略する。
【００８８】
マイコンブロック２１０は、上記映像音声処理用集積回路１００のマイコンブロック１０からクロック制御部１４と電源制御部１５とを除いた構成を備える。サーバ系のアプリケーションでは、これらの低消費電力用回路が不要となるからである。なお、このマイコンブロック２１０は、外部バスを介して、映像音声機器のメインプロセッサとなる外部マスタ２０１と接続され、外部マスタ２０１による制御の下で動作することもできる。
【００８９】
メディア処理ブロック２２０は、上記映像音声処理用集積回路１００のメディア処理ブロック２０における１つのアクセラレータをデータ並列プロセッサ２２１に代えた構成を備える。データ並列プロセッサ２２１は、１つの命令で複数のデータに対する演算を実行するＳＩＭＤ（Ｓｉｎｇｌｅ  Ｉｎｓｔｒｕｃｔｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ｄａｔａ）型プロセッサであり、並列実行可能な８又は１６個（低並列度又は高並列度）のＰＥ（プロセッサエレメント）を備え、アクセラレータに比べて消費電力が大きいが、データ処理量が大きく、処理できる演算の種類が豊富であり、多種多用なメディア処理が可能である。具体的には、ＭＰＥＧ２＆４に対応した同時符号・復号化、ＨＤＴＶの２ｃｈ分の映像信号の復号、ＰＳ（Ｐｒｏｇｒａｍ  Ｓｔｒｅａｍ）とＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）との統合処理、ＭＰＥＧ４−ＡＶＣによる符号・復号化等のマルチフォーマットに対応した符号・復号化処理が可能になる。また、ＭＰＥＧ２からＭＰＥＧ４への変換、ＨＤ（高解像度ビデオ信号）からＳＤ（標準画質ビデオ信号）への変換、低ビットレート化等の各種変換も可能となる。さらに、画像を表示するディスプレイデバイスに応じた高画質化制御等も可能となり、サーバ系アプリケーションに必要とされる各種メディア処理に対応することができる。
【００９０】
ストリームＩ／Ｏブロック２３０は、上記映像音声処理用集積回路１００のストリームＩ／Ｏブロック３０におけるストリーム処理部３５及びデバイスＩＦ部３６を、より豊富な周辺デバイスと接続可能なストリーム処理部２３１及びデバイスＩＦ部２３２に代えた構成を備える。ストリーム処理部２３１は、映像音声処理用集積回路１００のストリーム処理部３５の機能に加えて、放送やネットワーク等にも対応するために、外部に接続されるＴＶチューナ２０２やイーサコントローラ２０３からのストリームを処理する機能も備える。デバイスＩＦ部２３２は、ＵＳＢ２０５、メモリカード１０３用のインターフェース、ハードディスク２０６や光ディスク２０７用のディスクドライブインターフェース、差動ＩＦ２０８等の集まりである。
【００９１】
ＡＶＩＯブロック２４０は、上記映像音声処理用集積回路１００のＡＶＩＯブロック４０から撮像処理エンジン部４３を除いた構成を備え、小型のＬＣＤ１０７に代えて、ＳＤ／ＨＤ対応の大型ＬＣＤ２１２に画像を出力する機能を有する。
【００９２】
メモリＩＦブロック２５０は、上記映像音声処理用集積回路１００のメモリＩＦブロック５０と同様の機能を有するが、外部メモリ２１０及び２１１として、通常のＳＤＲＡＭだけでなく、ＤＤＲ（Ｄｏｕｂｌｅ  Ｄａｔａ  Ｒａｔｅ）型のＳＤＲＡＭと接続する高速バスを備える。
【００９３】
このように、本発明に係る映像音声処理用集積回路２００は、多くの種類の周辺デバイス用のインターフェース回路を備えるとともに、大容量で、かつ、多様なデータ処理にも対応できるメディア処理用プロセッサも備えるので、サーバ系の映像音声機器に適したシステムＬＳＩである。このような映像音声処理用集積回路２００を用いることで、高機能なＤＴＶやＤＶＲ等のサーバ系の映像音声機器を短い期間で開発することができる。
【００９４】
以上のように、本発明に係る映像音声処理用集積回路は、特徴的な５つの処理ブロック、つまり、あらゆる映像音声機器に共通の基本アーキテクチャを備えるとともに、各処理ブロックでの構成を変更することでモバイル系アプリケーションやサーバ系アプリケーションに適したタイプにカスタマイズすることができるという設計の自由度を有する。これによって、特定の機器の開発における設計資産を他の機器に流用することが可能となる。
【００９５】
さらに、複数のブロックが合同で動作することにより、ＴＶチューナなどから入力されたストリームを処理した後に、指定されたコーデック方式で、ビデオ信号やオーディオ信号を生成し、外部ＬＣＤなどに画像出力したり、外部スピーカに音を出力する機能を提供するが、メモリＩＦブロック２５０は、各ブロックとの間で、提供する機能に必要なバンド幅をそれぞれ確保するとともに、要求したアクセスレイテンシを保証する。これらにより、上記のストリーム処理、信号生成処理、出力処理などは、必要な性能を不足することなく、すなわち、ＴＶ機能の実現においても、映像がコマ落ちしたり、音声が途切れたりすることなく、容易に達成できる。
【００９６】
図８は、本発明に係る映像音声処理用集積回路の特徴を示す説明図である。
【００９７】
ここでは、本発明に係る映像音声処理用集積回路は２種類のアーキテクチャ（モバイル用及びサーバ用）をもつシステムＬＳＩとして実現することができ、それら２種類の映像音声処理用集積回路は、共通設計思想をもち、かつ、ＡＰＩ（アプリケーションプログラムインターフェース）による整合が可能であることが示されている。さらに、モバイル用の映像音声処理用集積回路は携帯電話等のモバイルコミュニケーション及びビデオカメラ等のＡＶＣモバイルのシステムＬＳＩとして、一方、サーバ用の映像音声処理用集積回路は、ＢＤレコーダ等のＡＶＣサーバ及びＨＤＴＶ等のＤＴＶのシステムＬＳＩとして使用できることが示されている。
【００９８】
以上のように、本発明に係る映像音声処理用集積回路は、大きく分けると、２つの用途（モバイル系及びサーバ系）、より詳細に分けると、４つの用途（ＤＴＶ、ＡＶＣサーバ、ＡＶＣモバイル、モバイルコミュニケーション）における映像音声機器のシステムＬＳＩとして適用することができ、かつ、それらの機器での設計資産の流用を可能にする。
【００９９】
次に、本発明に係る映像音声処理用集積回路のうち、映像処理（特に再生と並行して行われる録画処理）の性能を高めた映像音声処理用集積回路について、より詳細に説明する。
【０１００】
図９は、映像処理の性能を高めた映像音声処理用集積回路２００ａの詳細な構成を示す機能ブロック図である。
【０１０１】
この映像音声処理用集積回路２００ａは、例えばハイビジョン放送番組（ＨＤ）を視聴しながらＳＤで録画したり、さらにはそのＳＤ映像を追っかけ再生するといった応用において映像処理性能の向上を果たすべく構成されたシステムＬＳＩであり、マイコンブロック２１０、メディア処理ブロック２２０ａ、ストリームＩ／Ｏブロック２３０、ＡＶＩＯブロック２４０ａ及びメモリＩＦブロック２５０から構成される。
【０１０２】
各処理ブロック２１０、２２０ａ、２３０、２４０ａ、２５０は、基本的には、上記映像音声処理用集積回路２００の処理ブロック２１０〜２５０と同様の構成を備える。この映像音声処理用集積回路２００ａは、画像ストリームとは別にそれから抽出される比較的少量のフィールド特徴情報を伝送するデータバス７５が、メディア処理ブロック２２０ａとＡＶＩＯブロック２４０ａとを接続して設けられる点で特徴付けられる。以下、上記映像音声処理用集積回路２００と同様の構成要素には同一の符号を付し、説明を省略する。
【０１０３】
メディア処理ブロック２２０ａは、前述したメディア処理ブロック２０及び２２０の特徴を継承する高速なＤＳＰ等であり、ＳＤＲＡＭ２１０及び２１１からデータバス７２ａ及びデータバス７２ｂを介して読み出した画像・オーディオ・音声データをＭＰＥＧ規格等に沿って圧縮・伸張する。例えばハイビジョン放送番組（ＨＤ）を視聴しながらＳＤに解像度変換して録画するといった応用においては、命令並列プロセッサ２１又はデータ並列プロセッサ２２１、若しくはその両方が、視聴する圧縮ＨＤ画像音声多重ストリームの多重分離及び伸張処理と、記録される圧縮ＳＤ画像音声多重ストリームを得るための圧縮及び多重化処理とをコンカレントに実行し、それぞれの処理結果をＳＤＲＡＭ２１０及び２１１へ書き戻す。
【０１０４】
ＡＶＩＯブロック２４０ａは、メディア処理ブロック２２０ａによる多重分離及び伸張処理の結果ＳＤＲＡＭ２１０、２１１に書き戻されたＨＤ画像データを、バス７３ａ、７３ｂを介して取得して大型ＬＣＤ２１２へ出力すると同時に、そのＨＤ画像データを解像度変換処理して得たＳＤ画像データをＳＤＲＡＭ２１０、２１１へ書き戻す。そして、その処理の際に知られたフィールド特徴情報（例えば、フィールド内総和情報、フィールド間差分情報）を、データバス７５を介してメディア処理ブロック２２０ａへとフィードバックする。
【０１０５】
この解像度変換処理は、例えば、ＡＶＩＯブロック２４０ａのビデオ出力フォーマット変換部４５によって行われる。ビデオ出力フォーマット変換部４５は、前述したように、出力する映像信号の色空間等に起因する信号フォーマットを映像出力デバイスに適合するフォーマットに変換する機能を有しており、その具体機能であるダウンサンプリング及びデシメーションフィルタ機能をこの解像度変換処理に用いることができる。
【０１０６】
再び、メディア処理ブロック２２０ａは、このフィールド特徴情報を参照して、シーンチェンジが生じたフィールドやシーンチェンジの頻度を判断する。そして、その判断に基づいて、例えばシーンチェンジ後のフレームをＩピクチャと決定し、またシーンチェンジが多発する期間にはそうでない期間に比べて圧縮率を上げて圧縮後のデータ量の均一化を図りながら、ＳＤ画像データをＳＤ画像ストリームに圧縮し、さらに多重化処理によって圧縮ＳＤ画像音声多重ストリームを生成し、生成された圧縮ＳＤ画像音声多重ストリームをＳＤＲＡＭ２１０及び２１１へ書き戻す。
【０１０７】
次に、以上のように構成された映像音声処理用集積回路２００ａの動作について図１０〜図１２を用いて説明する。
【０１０８】
図１０は、ＴＶチューナ２０２からハイビジョン放送信号である圧縮ＨＤ画像音声多重ストリームを読み出し、画像信号及び音声信号として出力しながら、ＳＤ画像へと解像度変換して記録する場合の映像音声処理用集積回路２００ａの動作手順を示すフローチャートである。
【０１０９】
図１１は、そのときの主要なデータの流れを示す図である。
【０１１０】
図１２は、処理ブロック２２０ａ、２４０ａでの処理内容を表す図である。
【０１１１】
まず、マイコンブロック１０は、内蔵しているプログラムに従って、各処理ブロック２２０ａ、２３０、２４０ａの初期設定等をする（図１０のＳ３０）。たとえば、メディア処理ブロック２２０ａに対してＭＰＥＧ４に基づく伸張処理（ＨＤ）及びＭＰＥＧ２に基づく圧縮処理（ＳＤ）を指示し、ストリームＩ／Ｏブロック２３０に対してＴＶチューナ２０２から圧縮ＨＤ画像音声多重ストリームを取得すると共に圧縮ＳＤ画像音声多重ストリームをＨＤＤ２０６に記録するように指示し、ＡＶＩＯブロック２４０ａに対して音声出力と大型ＬＣＤ２１２への映像出力と共に、ＨＤ画像からＳＤ画像への解像度変換を指示する。
【０１１２】
次に、ストリームＩ／Ｏブロック２３０は、ＴＶチューナ２０２から圧縮ＨＤ画像音声多重ストリームを読み出し、メディア処理ブロック２２０ａは、その圧縮ＨＤ画像音声多重ストリームからヘッダ情報等に基づいてパーサ処理等を行うことによって画像ストリームと音声ストリームとを多重分離し、さらにその画像ストリームと音声ストリームとに伸張処理を施した後、画像データ及び音声データとしてＳＤＲＡＭ２１０、２１１に書き戻す。
【０１１３】
ここまでの動作は、基本的には前述した映像音声処理用集積回路１００の動作（図４及び図５を参照）と同じであり、画像の解像度、及び圧縮画像音声多重ストリームがメモリカードから得られるかＴＶチューナから得られるかが異なる。ここまでの動作に係るデータの流れの図１１への図示は、省略する。
【０１１４】
続いて、ＡＶＩＯブロック２４０は、ＳＤＲＡＭ２１０、２１１からＨＤ画像データと音声データを読み出し、図１２（ｂ）に示されるように、大型ＬＣＤ２１２やスピーカ等に出力する（図１０のＳ３１、図１１のＳ４０ａ、Ｓ４０ｂ）。
【０１１５】
このＨＤ画像の出力と並行して、ＡＶＩＯブロック２４０は、そのＨＤ画像に図１２（ａ）に示されるような解像度変換処理を施して得られたＳＤ画像データをＳＤＲＡＭ２１０、２１１へと書き戻すと共に、その処理の際に知られたフィールド内総和情報（フィールドの全体的な明るさを表す）、フィールド間差分情報（直前のフィールドとの明るさの差を表す）等といったフィールド特徴情報を生成する。このフィールド特徴情報は、例えばＡＶＩＯブロック２４０ａ内の図示しない小規模なバッファメモリにＳＤ画像データのフィールドと対応付けて格納され、データバス７５を介してメディア処理ブロック２２０ａからの参照に供される（図１０のＳ３２、図１１のＳ４１ａ、Ｓ４１ｂ）。
【０１１６】
その後、メディア処理ブロック２２０ａは、ＳＤＲＡＭ２１０、２１１からＳＤ画像データと音声データとを読み出すと共に、データバス７５を介してフィールド特徴情報を参照して、Ｉピクチャを決定し、また圧縮率を動的に変更しながら、そのＳＤ画像データと音声データとを圧縮処理することによってＳＤ画像ストリーム及び音声ストリームを生成してＳＤＲＡＭ２１０、２１１へ書き戻す（図１０のＳ３３、図１１のＳ４２）。
【０１１７】
そして、再び、メディア処理ブロック２２０ａは、ＳＤＲＡＭ２１０、２１１からＳＤ画像ストリームと音声ストリームとを読み出し、それらを多重化処理することによって生成した圧縮ＳＤ画像音声多重ストリームをＳＤＲＡＭ２１０、２１１へと書き戻す（図１０のＳ３４、図１１のＳ４３）。
【０１１８】
最後に、ストリームＩ／Ｏブロック２３０は、ＳＤＲＡＭ２１０、２１１から圧縮ＳＤ画像音声多重ストリームを読み出し、それをＨＤＤ２０６へと記録する（図１０のＳ３５、図１１のＳ４４）。
【０１１９】
この圧縮ＳＤ画像音声多重ストリームは、ハイビジョン放送の録画としてＨＤＤ２０６へ記録されてもよく、さらには所定の時間経過後に読み出され、図１２（ｂ）に示されるように、ハイビジョン放送と共にピクチャインピクチャ表示で追っかけ再生されるとしてもよい。後者の場合には、図１０に示される動作にさらにＨＤＤ２０６に記録された圧縮ＳＤ画像音声多重ストリームを再生する手順が追加される。
【０１２０】
上記各処理ブロックによる一連の処理（図１０のＳ３１〜Ｓ３５）においては、視聴する放送番組のストリーム、記録されるストリーム、さらに追っかけ再生を行う場合には追っかけ再生用のストリームの、２つ乃至３つのストリームが、パケット、マクロブロック、スライス、ピクチャ、フレームといった周知の処理単位でパイプライン処理されることによって、コンカレントに処理される。
【０１２１】
このように、本発明に係る映像音声処理用集積回路２００ａによれば、メディア処理ブロック２２０ａは、ＡＶＩＯブロック２４０ａにおいて知られたフィールド特徴情報を、データバス７５を介して参照して、記録画像の圧縮におけるＩピクチャを決定し、また圧縮率を動的に調整する。これによって、映像音声処理用集積回路２００ａは、フィールド特徴情報を得るための重複コストを避けて高い速度性能を得ると同時に、画質とデータ量との良好なトレードオフを達成することができる。
【０１２２】
なお、データバス７５は、前述したように、比較的少量のフィールド特徴情報をメディア処理ブロック２２０ａとＡＶＩＯブロック２４０ａとの間に限定して伝送するため、各処理ブロックに対するアプリケーションプログラムの独立性への影響はごく僅かであり、また、映像音声処理用集積回路上に占める実装面積も小さい。
【０１２３】
ここまでに、ＡＶＩＯブロック２４０ａからメディア処理ブロック２２０ａへフィールド特徴情報を供給することによって得られる優れた効果を、ハイビジョン放送の録画という顕著な例を用いて説明した。この例の他にも、例えば、前記映像音声処理用集積回路１００（図３を参照）において、ＡＶＩＯブロック４０からメディア処理ブロック２０へ同様のフィールド特徴情報を供給すれば、放送の録画のみならず、デジタルカメラ等の外部機器から取得される映像の録画において同様の効果を得ることができる。
【０１２４】
次に、本発明に係る映像音声処理用集積回路のうち、放送系及び蓄積系それぞれの映像処理の共通化に適した映像音声処理用集積回路について、より詳細に説明する。ここで、放送系とはＴＶチューナ、及びインターネット等から得られる放送番組に係る処理を言い、蓄積系とはＨＤＤ、ＤＶＤ、及びメモリカード等の記録媒体に蓄積されている番組に係る処理を言う。
【０１２５】
図１３は、放送系及び蓄積系それぞれの映像処理の共通化に適した映像音声処理用集積回路１００ａの詳細な構成を示す機能ブロック図である。
【０１２６】
この映像音声処理用集積回路１００ａは、放送系の処理（例えばＴＶチューナから得られる放送番組の再生）機能、及び蓄積系の処理（例えばＨＤＤに蓄積されている番組の再生）機能を持つシステムＬＳＩであり、マイコンブロック１０、メディア処理ブロック２０ａ、ストリームＩ／Ｏブロック３０、ＡＶＩＯブロック４０、及びメモリＩＦブロック５０から構成される。
【０１２７】
この映像音声処理用集積回路１００ａは、メディア処理ブロック２０ａに、ストリーム処理抑制タイマ２８を持つ仮想マルチプロセッサ２１ａを備える点で特徴付けられる。その他の構成は、基本的には、上記映像音声処理用集積回路１００と同様である。
【０１２８】
仮想マルチプロセッサ（ＶＭＰ:Ｖｉｒｔｕａｌ  Ｍｕｌｔｉ  Ｐｒｏｃｅｓｓｏｒ）
とは、一般的に、複数の論理プロセッサ（ＬＰ:Ｌｏｇｉｃａｌ  Ｐｒｏｃｅｓｓｏｒ）
の機能を時分割に演じる命令並列プロセッサの一種を言う（一つのＬＰは、実体的には、物理プロセッサ（ＰＰ:Ｐｈｙｓｉｃａｌ  Ｐｒｏｃｅｓｓｏｒ）のレジスタ群に設定さ
れる一つのコンテキストである）。各ＬＰに割り当てる時間単位（ＴＳ:Ｔｉｍｅ  Ｓｌ
ｏｔ）の頻度を管理することによって、各ＬＰによって実行されるアプリケーション間の負荷バランスを保つことができる。ＶＭＰの構成及び動作については、その代表的な一例が特開２００３−２７１３９９号公報に詳しく開示されているので、ここでは詳細な説明を省略する。
【０１２９】
以下、上記映像音声処理用集積回路１００と同様の構成要素には同一の符号を付し、説明を省略する。
【０１３０】
メディア処理ブロック２０ａは、上記映像音声処理用集積回路１００のメディア処理ブロック２０と同様、圧縮画像音声多重ストリームに係る多重化・多重分離処理、及び画像・音声データの圧縮・伸張処理を行う回路ブロックであるが、命令並列プロセッサ２１上で実現されている仮想マルチプロセッサ２１ａを備えている。
【０１３１】
仮想マルチプロセッサ２１ａは、録画又は再生する圧縮画像音声多重ストリームごとに例えば３つのＬＰ（ストリームＬＰ、画像ＬＰ、及び音声ＬＰ）を用いて、ストリームの多重化又は多重分離、画像の圧縮又は伸張、及び音声の圧縮又は伸張をそれぞれ行う。
【０１３２】
これら各ＬＰには、ストリーム、画像、及び音声それぞれの特性に応じてＴＳを割り当てる。例えば、演算量を勘案して画像ＬＰには音声ＬＰよりも多くのＴＳを割り当てたり、また放送信号の取りこぼし（いわゆるストリーム落ち）を防ぐためにストリームＬＰを１パケット受信ごとにＴＳを割り当てられるイベントドリブンＬＰとするか、又はストリーム処理抑制タイマ２８の制御下で所定時間内のＴＳ割り当てが禁止されるタイマ抑制付きイベントドリブンＬＰとする。
【０１３３】
各ＬＰへのこのようなＴＳの割り当てが、各処理間の負荷バランスを良好に保つと同時に、ストリーム落ちの防止に役立つことは明らかである。以下、ストリームＬＰをタイマ抑制付きイベントドリブンＬＰとすることが、放送系及び蓄積系それぞれの映像処理（特に再生処理）の共通化に役立つことを図１４及び図１５を用いて説明する。
【０１３４】
図１４は、放送系及び蓄積系両方のストリーム処理を共通に実行するタイマ抑制付きイベントドリブンＬＰの動作手順を示すフローチャートである。
【０１３５】
図１５は、そのときの各イベントの発生タイミング、及びストリーム、画像、音声の各ＬＰが動作するＴＳを、放送系のストリームを処理する場合及び蓄積系ストリームを処理する場合それぞれについて示す図である。図面の右方向が時間の経過に対応し、帯はＴＳの並び、その中の文字はＴＳで動作するＬＰを表している（Ｓｔｒｅａｍ、Ｖｉｄｅｏ、及びＡｕｄｉｏは、それぞれストリームＬＰ、画像ＬＰ、及び音声ＬＰを表し、空白は動作するＬＰがないことを表す）。
【０１３６】
まず放送系の場合について、時間ＩｎＦｒｅｑごとにＴＶチューナからパケットが取得され入力イベントが発生するものとして、図１４及び図１５（ａ）を用いて説明する。
【０１３７】
最初、入力イベント待ちでスリープしているストリームＬＰは（Ｓ５０）、第Ｎパケットの入力イベントで起床して第１ＴＳで動作を開始する。そして、そのパケットを時間ＳｔＴｉｍｅ(Ｎ)で処理し終わると（Ｓ５１）、時間（Ｉｎｆｒｅｑ−ＳｔＴｉｍｅ（Ｎ））よりも短い時間のタイマを起動し（Ｓ５２）タイマイベント待ちのスリープに入る（Ｓ５３）。第２及び第３ＴＳはそれぞれ画像及び音声ＬＰに割り当てられる。
【０１３８】
ストリームＬＰは、第４ＴＳ中に発生するタイマイベントで起床する。そして、第５ＴＳで動作を開始すると、入力イベントを確認し（Ｓ５４）、Ｎ＋１番パケットの入力イベントがあることを知って（Ｓ５５：ＹＥＳ）、そのパケットを処理する（Ｓ５１）。以降、同様の動作が繰り返される。
【０１３９】
ここで、一つの具体例として、仮想マルチプロセッサの動作クロック周波数が２４３[
ＭＨｚ]、ストリームが７０[Ｍｂｐｓ]で入力される場合を考えると、１秒あたりのパケ
ット数は、７０［Ｍｂｐｓ］／(８[ｂｉｔ]ｘ１８８［ｂｙｔｅ／Ｐａｃｋｅｔ］）≒４
６５４３[Ｐａｃｋｅｔ／ｓｅｃ]、パケットの処理周期ＩｎＦｒｅｑは、２４３[Ｍｃｌ
ｏｃｋ／ｓｅｃ]／４６５４３[Ｐａｃｋｅｔ／ｓｅｃ]≒５２２１[ｃｌｏｃｋ／ｐａｃｋｅｔ]である。
【０１４０】
このように、放送系の場合には、入力イベントそのものが比較的長い間隔で発生することによってストリームＬＰの処理が制限され、その結果、ストリーム、映像、音声の各ＬＰの負荷バランスが良好に保たれる。
【０１４１】
次に蓄積系の場合について、１パケットの処理中にＨＤＤから後続パケットが取得され次の入力イベントが発生するが、その後続パケットの処理は放送系と同じ時間ＩｎＦｒｅｑ後に行いたいという要請があるものとして、図１４及び図１５（ｂ）を用いて説明する。
【０１４２】
最初、入力イベント待ちでスリープしているストリームＬＰは（Ｓ５０）、第Ｎパケットの入力イベントで起床して第１ＴＳで動作を開始する。そして、そのパケットを時間ＳｔＴｉｍｅ(Ｎ)で処理し終わると（Ｓ５１）、時間(ＩｎＦｒｅｑ−ＳｔＴｉｍｅ(Ｎ))のタイマを起動し（Ｓ５２）タイマイベント待ちのスリープに入る（Ｓ５３）。ストリームＬＰは、第１ＴＳ中に発生する第Ｎ＋１パケットの入力イベントでは起床せずスリープし続ける（図１５（ｂ）の第Ｎ＋１入力イベントから始まる太い点線）。
【０１４３】
ストリームＬＰが第Ｎ＋１パケットを処理しない限り、ストリーム用のバッファを持たないストリームＩ／Ｏブロック３０は後続パケットを読み込むことができず、第Ｎ＋２パケットの読み出し処理は延期される。第２及び第３ＴＳはそれぞれ画像及び音声ＬＰに割り当てられる。
【０１４４】
ストリームＬＰは、第４ＴＳ中に発生するタイマイベントで起床する。そして、第５ＴＳで動作を開始すると、入力イベントを確認し（Ｓ５４）、Ｎ＋１番パケットの入力イベントがあることを知って（Ｓ５５：ＹＥＳ）、そのパケットを処理し（Ｓ５１）、その後タイマイベント待ちのスリープに入る（Ｓ５２、Ｓ５３）。ストリームＬＰは、第５ＴＳ中に発生する第Ｎ＋２パケットの入力イベントでは起床せずスリープし続ける（図１５（ｂ）の第Ｎ＋２入力イベントから始まる太い点線）。以降、同様の動作が繰り返される。
【０１４５】
このように、蓄積系の場合には、入力イベントそのものは比較的短い間隔で発生し得るのだが、そうなった場合でもタイマイベント待ちのスリープによってストリームＬＰの処理が制限され、その結果、ストリーム、映像、音声の各ＬＰの負荷バランスが良好に保たれる。
【０１４６】
もし、蓄積系で、ストリームＬＰがタイマイベント待ちでスリープしなかったとすれば、ストリームを処理すればするだけ入力イベントが発生して結果的にストリームＬＰに過剰なＴＳを割り当てられ、画像ＬＰや音声ＬＰには必要量のＴＳが割り当てられず、画像・音声処理が破綻してしまう。
【０１４７】
以上のように、本発明に係る映像音声処理用集積回路１００ａは、メディア処理ブロック２０ａにおける仮想マルチプロセッサ２１ａのタイマ抑制付きイベントドリブンＬＰによって、ストリーム処理を実行する。この処理は、放送系にも、またストリームが過剰に入力され得る蓄積系にも共通に用いられ、ストリーム処理の過剰実行を自律的に抑制して画像・音声処理の破綻を未然に防ぐだけでなく、ストリームＩ／Ｏブロック３０においてメディア処理ブロック２０ａへ送るストリーム量を上限管理することも不要とする。これらの総体として、各処理ブロックに対するアプリケーションプログラムの独立性、簡明性が向上し、ひいては設計資産の流用促進に貢献する。
【０１４８】
なお、タイマ抑制付きイベントドリブンＬＰによるストリーム処理は、２つのチャンネルをコンカレントに処理する場合にも適用できる。
【０１４９】
図１６は、そのときの各イベントの発生タイミング、及びストリーム、画像、音声の各ＬＰが動作するＴＳを、（ａ）２つの放送系のストリームを処理する場合、（ｂ）放送系と蓄積系それぞれのストリームを処理する場合、（ｃ）２つの蓄積系のストリームを処理する場合それぞれについて示す図である。図面の右方向が時間の経過に対応し、帯はＴＳの列、その中の文字はＴＳで動作するＬＰを表している（文字Ｓ、Ｖ、及びＡは、それぞれストリームＬＰ、画像ＬＰ、及び音声ＬＰを表し、空白は動作するＬＰがないことを表す。また、数字０、１はチャンネルを区別する）。
【０１５０】
図に示されるように、それぞれのストリームの放送系、蓄積系の区別に応じて、前記説明したタイミング（図１５（ａ）及び（ｂ）を参照）でのイベントが発生する。蓄積系で、入力イベントによる起床がタイマイベント待ちのスリープによって延期され、その結果ストリーム処理の過剰実行が防止されることは、前記と同様である。このように、タイマ抑制付きイベントドリブンＬＰによるストリーム処理は、２つのチャンネルをコンカレントに処理する場合にも、ストリーム、画像、及び音声処理の負荷バランスを良好に保つ効果を発揮する。
【０１５１】
以上、本発明に係る映像音声処理用集積回路について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限られるものではない。
【０１５２】
たとえば、本発明に係る映像音声処理用集積回路はモバイル系とサーバ系の２つに分類されたが、これらの分類だけに限られない。たとえば、ＡＶ機能付きノートパソコン等のように、低消費電力と高解像度表示が求められる映像音声機器に適用する場合には、クロック制御部１４、電源制御部１５及びデータ並列プロセッサ２２１を併せ持つ映像音声処理用集積回路を採用すればよい。
【０１５３】
また、上記４つの用途に適した映像音声処理用集積回路は、基本的に、図１に示された共通アーキテクチャを備えていればよく、各ブロックが完全に同一の回路で構成されている必要はない。例えば、上記４つの用途に属する機器のうちの１つを第１機器、他の１つを第２機器とした場合に、第１機器用の映像音声処理用集積回路と第２機器用の映像音声処理用集積回路との間において、（１）ＣＰＵの命令セットの少なくとも一部で互換性がある、（２）命令並列プロセッサの命令セットの少なくとも一部で互換性がある、（３）ＣＰＵのコアが同じ論理的接続（ソフトマクロ）を有している、（４）命令並列プロセッサのコアが同じ論理的接続を有している、（５）ＣＰＵのコアが同じマスクレイアウト（ハードマクロ）を有している、（６）ＣＰＵのメモリマップ上での各ブロックの制御レジスタ（各ブロックを制御するためのレジスタ）のアドレスが同じである、あるいは、各処理で使う外部メモリ９の領域が同じである等のいずれかの共通性があればよい。このような共通性によって、処理ブロックの単位で、アプリケーションプログラムの流用、あるいは、システムＬＳＩとしての製造工程上の流用等が可能となり、全体としての開発効率が向上する。
【０１５４】
また、本実施の形態では、各処理ブロックに共有されるメモリは、システムＬＳＩに外付けされたが、システムＬＳＩに内蔵されてもよい。
【産業上の利用可能性】
【０１５５】
本発明は、映像音声を扱う機器用のシステムＬＳＩとして、特に、ＤＴＶ、ＤＶＤレコーダ等のＡＶＣサーバ、デジタルカメラ等のＡＶＣモバイル、携帯電話等のモバイルコミュニケーション等の映像音声機器のシステムＬＳＩとして利用することができる。
【符号の説明】
【０１５６】
１、１００、１００ａ、２００、２００ａ  映像音声処理用集積回路
１ａ  半導体基板
１ｂ  回路層
１ｃ  下位配線層
１ｄ  上位配線層
２、１０、２１０    マイコンブロック
３、２０、２２０    メディア処理ブロック
４、３０、２３０    ストリームＩ／Ｏブロック
５、４０、２４０    ＡＶＩＯブロック
６、５０、２５０    メモリＩＦブロック
７、６０    制御バス
８ａ〜８ｄ、７１〜７５  データバス
９    外部メモリ
１１    ＤＭＡ部
１２    ＣＰＵ部
１３    マイコン周辺部
１４    クロック制御部
１５    電源制御部
２１    命令並列プロセッサ
２１ａ    仮想マルチプロセッサ
２２    シーケンサ部
２３〜２６  アクセラレータ部
２７    ＤＭＡＣ部
２８    ストリーム処理抑制タイマ
３２    暗号エンジン部
３３    セキュア管理部
３４    ＤＭＡＣ部
３５    ストリーム処理部
３６    デバイスＩＦ部
４１    グラフィックスエンジン部
４２    ビデオ入力フォーマット変換部
４３    撮像処理エンジン部
４４    オーディオＩＦ部
４５    ビデオ出力フォーマット変換部
５１    メモリスケジューラ
５１ａ〜５１ｃ  サブシステムＩＦ
５２    バッファ部
５３    内蔵ＲＡＭ
１０１    フラッシュメモリ
１０２    別ＣＰＵ
１０２〜１０４  外部デバイス
１０３    メモリカード
１０４    ＰＤＡ
１０５    高速ＩＦ
１０６    ＳＤＲＡＭ
１０７    ＬＣＤ
１０８    デジタルカメラ
２０１    外部マスタ
２０２    ＴＶチューナ
２０３    イーサコントローラ
２０５    ＵＳＢ
２０６    ハードディスク
２０７    光ディスク
２０８    差動ＩＦ
２１０、２１１    外部メモリ
２１２    大型ＬＣＤ
２２１    データ並列プロセッサ
２３１    ストリーム処理部
２３２    デバイスＩＦ部
【図１】
2010182321.tif 000003
【図２】
2010182321.tif 000004
【図３】
2010182321.tif 000005
【図４】
2010182321.tif 000006
【図５】
2010182321.tif 000007
【図６】
2010182321.tif 000008
【図７】
2010182321.tif 000009
【図８】
2010182321.tif 000010
【図９】
2010182321.tif 000011
【図１０】
2010182321.tif 000012
【図１１】
2010182321.tif 000013
【図１２】
2010182321.tif 000014
【図１３】
2010182321.tif 000015
【図１４】
2010182321.tif 000016
【図１５】
2010182321.tif 000017
【図１６】
2010182321.tif 000018