(57)【要約】【課題】小型化と低消費電力化とを具現するとともに、並列配置するＤＲＡＭ数を低減し、低コストで遅滞なく処理を遂行可能な映像特殊効果装置等を提供することを目的とする。【解決手段】ダイナミックメモリに入力映像を書き込んだ後、所望の映像効果を奏する読み出し順序に生成されたアドレスに従って、ダイナミックメモリから入力映像を読み出して、映像効果を反映した順序で画像信号を順次出力する映像特殊効果装置において、ダイナミックメモリは、複数のマクロブロックを記憶するメモリ素子と、メモリ素子から読み出した一つのマクロブロックを一時記憶するバッファメモリとを備え、バッファメモリがメモリ素子から読み出すマクロブロックが所定の期間内で重複しないように、バッファメモリから所定の期間内に読み出すデータを、各マクロブロックごとに一括して読み出す映像特殊効果装置とする。【選択図】図１
2013009090.tif 000002
【特許請求の範囲】
【請求項１】
ダイナミックメモリに入力映像を書き込んだ後、所望の映像効果を奏する読み出し順序に生成されたアドレスに従って、前記ダイナミックメモリから前記入力映像を読み出して、前記映像効果を反映した順序で画像信号を順次出力する映像特殊効果装置において、
前記ダイナミックメモリは、複数のマクロブロックを記憶するメモリ素子と、前記メモリ素子から読み出した一つのマクロブロックを一時記憶するバッファメモリとを備え、
前記バッファメモリが前記メモリ素子から読み出すマクロブロックが所定の期間内で重複しないように、
前記バッファメモリから前記所定の期間内に読み出すデータを、各マクロブロックごとに一括して読み出す
ことを特徴とする映像特殊効果装置。
【請求項２】
請求項１に記載の映像特殊効果装置において、
前記ダイナミックメモリはＤＲＡＭであり、
前記バッファメモリが前記メモリ素子から読み出す各マクロブロックの読み出し回数を前記所定の期間内に各々一回以下とするように、前記所定の期間内における同一マクロブロックへの読み出しを指示する重複アドレスを削除する
ことを特徴とする映像特殊効果装置。
【請求項３】
請求項１または請求項２に記載の映像特殊効果装置において、
前記所定の期間内に前記バッファメモリから各マクロブロックごとに一括読み出しした読み出しデータを、前記所望の映像効果を奏する順序に再整列して出力する
ことを特徴とする映像特殊効果装置。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の映像特殊効果装置において、
前記メモリ素子は、メモリアレイである
ことを特徴とする映像特殊効果装置。
【請求項５】
請求項１乃至請求項４のいずれか一項に記載の映像特殊効果装置において、
前記所定の期間は、走査線１本相当以上に対応する時間である
ことを特徴とする映像特殊効果装置。
【請求項６】
請求項５に記載の映像特殊効果装置において、
前記所定の期間は、走査線９本相当以上に対応する時間である
ことを特徴とする映像特殊効果装置。
【請求項７】
請求項１乃至請求項６のいずれか一項に記載の映像特殊効果装置において、
前記マクロブロックは、前記バッファメモリの容量に対応するピクセル数である
ことを特徴とする映像特殊効果装置。
【請求項８】
請求項７に記載の映像特殊効果装置において、
前記マクロブロックは１６×１６ピクセルであり、前記バッファメモリの容量は２５６ワードである
ことを特徴とする映像特殊効果装置。
【請求項９】
請求項１乃至請求項８のいずれか一項に記載の映像特殊効果装置において、
前記所望の映像効果は、オペレータにより指示入力される
ことを特徴とする映像特殊効果装置。
【請求項１０】
請求項１乃至請求項９のいずれか一項に記載の映像特殊効果装置における映像信号処理方法において、
前記所定の期間内における、前記メモリ素子の同一マクロブロックに対する重複した読み出しアドレスを削除する工程と、
削除しなかった前記同一マクロブロックの読み出しアクセス時に、前記削除した読み出しアドレスで読み出すべきであったデータを一括して読み出す工程と、
前記一括して読み出された前記同一マクロブロック内のデータを、前記映像効果を反映する画像信号となるように配列調整して順次出力する工程と、を有する
ことを特徴とする映像特殊効果装置の映像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像特殊効果装置と映像特殊効果装置の映像信号処理方法に関する。
【背景技術】
【０００２】
従来、取得された画像信号に対して所望の画像処理を施し、特殊な視覚効果を得るようにした映像特殊効果装置（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｅｆｆｅｃｔｓ：ＤＶＥ）が知られている。このような映像特殊効果装置は、入力された画像信号をディジタル変換して画像データとして扱い、回転や視角度の変更等より多彩な表現が可能である。
【０００３】
映像特殊効果装置で得られる特殊効果は、例えば画像の回転、縮小、バースト（爆発）などがある。これらのうち、バーストは、映像がランダムに砕け散る効果である。
【０００４】
映像特殊効果は、１フィールドあるいは１フレームの画像データを、マッピング用のメモリに書き込み、書き込んだ画像データを読み出す際に、目的に応じて生成したメモリアドレスに基づいて、マッピング用のメモリから画像データを読み出すことによって、表示される画像が所望の状態に変換され、映像特殊効果が実現される。
【０００５】
上述した映像特殊処理の際には、ランダムアクセスによってメモリに書き込まれた画像データが読み出される。すなわち、このとき用いられるメモリには、書き込みはシーケンシャルに行われる一方、読み出しがランダムに行われる。また、メモリへの書き込み／読み出し動作は、遅滞なくほぼリアルタイムで処理される必要があるので、高速応答処理も要求される。
【０００６】
このため、高速なランダムアクセスへの対応が可能なＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）がマッピング用のメモリとして従来使用されていた。図８（ａ）は、ＳＲＡＭを用いた従来の画像変換回路の構成の一例を説明する図である。映像特殊効果の画像変換、例えば任意の比率での画像の拡大／縮小は、例えば変換されるサンプリング点Ｐを取り囲む４サンプリング点Ａ，Ｂ，Ｃ，Ｄのデータを用いて、バイリニア内挿と称される方法で行われる。
【０００７】
映像特殊効果装置は、サンプリング点Ｐと各サンプリング点Ａ，Ｂ，Ｃ，Ｄまでの距離の比に基づいて、各サンプリング点Ａ，Ｂ，Ｃ，Ｄの重み付けを行う。すなわち、変換に際して４サンプリング点のデータが同時に必要となり、サンプリング点Ａ〜Ｄに各々対応する４組のＳＲＡＭを映像特殊効果装置が備える必要がある。
【０００８】
また、入力されるデータは、各々１０ビットのデータ幅を有する輝度信号Ｙ，色信号Ｃ，およびキー信号Ｋからなるコンポーネント信号であってもよく、３０ビット乃至は３２ビットのデータ幅を有する。
【０００９】
一方、ＳＲＡＭは、通常１ワードが１６ビットまたは８ビットで構成される。仮に、データ幅が１６ビットのＳＲＡＭを使用すると、データ幅が３２ビットである１サンプリング点分のデータをアクセスするために、２個のＳＲＡＭをパラレルに構成する必要がある。
【００１０】
また、ＳＲＡＭは容量が現在のところ１８Ｍビット程度と比較的小さいため、変換データのアドレスのために同数のＳＲＡＭが必要となる。さらに、書き込み／読み出しを並行して行うため、切り替えて使用する２組のＳＲＡＭが必要となる。
【００１１】
すなわち、書き込みに２個で１組とされたＳＲＡＭがＳＲＡＭ９１２３Ａ〜９１２３Ｈの、計１６個必要とされ、同様に、読み出しに２個で１組とされたＳＲＡＭがＳＲＡＭ９１２４Ａ〜９１２４Ｈの、計１６個必要とされ、全体で３２個のＳＲＡＭが必要とされていた。
【００１２】
書き込み用のＳＲＡＭ９１２３Ａ〜９１２３Ｈと、読み出し用のＳＲＡＭ９１２４Ａ〜９１２４Ｈとは、読み出し／書き込み切り替え回路９１２１で交互に切り替えられ、読み出しと書き込みとを並行して行えるようにされている。
【００１３】
また、読み出された点Ａ〜点Ｄの４点の画像データは、補間回路９１２２で所定の補間処理を行われ、端子９１２５に導出される。
【００１４】
図８（ｂ）は、ＤＲＡＭを用いた従来のスキャンコンバータの構成の一例を説明する図である。このスキャンコンバータは、２相のパラレルで構成される。端子９１００から入力された画像データのうち第１フィールドのデータは、それぞれデータ幅が１６ビットである２つのＤＲＡＭ９１０２Ａ，９１０２Ｂに書き込まれる。
【００１５】
同様に、第２フィールドのデータは、それぞれデータ幅が１６ビットである２つのＤＲＡＭ９１０２Ｃ，９１０２Ｄに書き込まれる。また、図８（ｂ）に説明するスキャンコンバータにおいても、画像データの書き込みと読み出しとが並行して行われる。
【００１６】
このため、ＤＲＡＭ９１０２Ａ〜９１０２Ｄと、ＤＲＡＭ９１０３Ａ〜９１０３Ｄとの、２組のメモリが必要とされる。これら２組のメモリは、読み出し／書き込み切り替え回路９１０１で交互に切り替えられて用いられ、読み出しの際には、これら２相の構成とされたメモリが交互にアクセスされ、垂直方向に連続的に画像データが読み出され端子９１０４から出力される。
【００１７】
すなわち図８（ｂ）に説明するスキャンコンバータは、８個のＤＲＡＭが必要とされる。上述のように、ＤＲＡＭで構成したスキャンコンバータにおいても、多数のメモリを用いる必要があるという問題点がある。
【００１８】
また、ＳＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ  ＲＡＭ）に比べ、同一の容量では価格が高い、また、消費電力が大きいという問題点があったため、上述したようなマッピング用のメモリに、ＤＲＡＭを使うことがコスト面からは要求されていた。しかし、ＤＲＡＭは、データ読み出しの際に、ＲＡＳおよびＣＡＳという２つのアドレスを指定する必要があること、またＤＲＡＭは、プリチャージ時間が必要であること、等、単体では高速ランダムアクセスに対応するのが難しいという問題点があった。
【００１９】
このため、ＤＲＡＭを用いる場合には、複数のＤＲＡＭを並列接続し、複数のＤＲＡＭのそれぞれに対してデータを同時並列振り分けて書き込むことで、見かけ上の速度を高速化させる対応がとられている。
【００２０】
一方、多数のＤＲＡＭを並列化するとコスト面、小型化、省電力化の観点から不利になるだけではなく、ＤＲＡＭ単体の容量がどんどん大きくなる昨今においては、メモリの使用効率が悪くなるという問題点があった。
【００２１】
上述した問題点に対応するため、比較的低速なメモリを効率的に活用し、より高速なランダムアクセスを可能とした画像処理装置ならびに特殊効果装置等を提供することを目的とし、データ幅が３２ビットでパラレルに供給されるビデオデータを、マルチプレクサにより、各成分毎にシリアルに並べ替えることにより、データ幅を、ＳＤＲＡＭのデータ幅に適合させて小さくすることができると共に、ＳＤＲＡＭのバーストライト／バーストリードを利用して効率良くデータをアクセスすることができることが、例えば下記特許文献１に提案されている。
【００２２】
特許文献１によれば、ランダム的に高速なアクセスが必要な場合でも、ＳＤＲＡＭのメモリ空間を有効に利用することができるので、多数のＳＲＡＭを利用すること無く、少ないデバイス数で同様の処理を行うことができるという効果があることが示されている。
【先行技術文献】
【特許文献】
【００２３】
【特許文献１】特開平１１−３３９００５号公報
【発明の概要】
【発明が解決しようとする課題】
【００２４】
スタティックメモリは比較的高価であるとともに比較的消費電力が大きいため、ＳＲＡＭを用いた映像特殊効果装置のコスト低廉化と低消費電力化には限界が生じていた。また、ＳＲＡＭを用いた映像特殊効果装置は、複数のＳＲＡＭによる並列動作が必須となるので、メモリ関連部品数が増大し、各部品による消費電力も要することから、周辺回路も含めた小型化や低価格化、消費電力のさらなる低減は困難であった。
【００２５】
本発明はこのような問題点に鑑みなされたものであり、小型化と低消費電力化とを具現するとともに、並列配置するメモリ数を低減し、低コストで遅滞なく処理を遂行可能な映像特殊効果装置等を提供することを目的とする。
【課題を解決するための手段】
【００２６】
本発明の映像特殊効果装置は、ダイナミックメモリに入力映像を書き込んだ後、所望の映像効果を奏する読み出し順序に生成されたアドレスに従って、ダイナミックメモリから入力映像を読み出して、映像効果を反映した順序で画像信号を順次出力する映像特殊効果装置において、ダイナミックメモリは、複数のマクロブロックを記憶するメモリ素子と、メモリ素子から読み出した一つのマクロブロックを一時記憶するバッファメモリとを備え、バッファメモリがメモリ素子から読み出すマクロブロックが所定の期間内で重複しないように、バッファメモリから所定の期間内に読み出すデータを、各マクロブロックごとに一括して読み出すことを特徴とする。
【００２７】
また、本発明の映像特殊効果装置は、好ましくはダイナミックメモリがＤＲＡＭであり、バッファメモリがメモリ素子から読み出す各マクロブロックの読み出し回数を所定の期間内に各々一回以下とするように、所定の期間内における同一マクロブロックへの読み出しを指示する重複アドレスを削除することを特徴とする。
【００２８】
また、本発明の映像特殊効果装置は、さらに好ましくは所定の期間内にバッファメモリから各マクロブロックごとに一括読み出しした読み出しデータを、所望の映像効果を奏する順序に再整列して出力することを特徴とする。
【００２９】
また、本発明の映像特殊効果装置は、さらに好ましくはメモリ素子が、メモリアレイであることを特徴とする。
【００３０】
また、本発明の映像特殊効果装置は、さらに好ましくは所定の期間が、走査線１本相当以上に対応する時間であることを特徴とする。
【００３１】
また、本発明の映像特殊効果装置は、さらに好ましくは所定の期間が、走査線９本相当以上に対応する時間であることを特徴とする。
【００３２】
また、本発明の映像特殊効果装置は、さらに好ましくはマクロブロックが、バッファメモリの容量に対応するピクセル数であることを特徴とする。
【００３３】
また、本発明の映像特殊効果装置は、さらに好ましくはマクロブロックが１６×１６ピクセルであり、バッファメモリの容量は２５６ワードであることを特徴とする。
【００３４】
また、本発明の映像特殊効果装置は、さらに好ましくは所望の映像効果が、オペレータにより指示入力されることを特徴とする。
【００３５】
また、本発明の映像特殊効果装置の映像信号処理方法は、上述のいずれかに記載の映像特殊効果装置における映像信号処理方法において、所定の期間内における、メモリ素子の同一マクロブロックに対する重複した読み出しアドレスを削除する工程と、削除しなかった同一マクロブロックの読み出しアクセス時に、削除した読み出しアドレスで読み出すべきであったデータを一括して読み出す工程と、一括して読み出された同一マクロブロック内のデータを、映像効果を反映する画像信号となるように配列調整して順次出力する工程と、を有することを特徴とする。
【発明の効果】
【００３６】
小型化と低消費電力化とを具現するとともに、並列配置するメモリ数を低減し、低コストで遅滞なく処理を遂行可能な映像特殊効果装置等を提供できる。
【図面の簡単な説明】
【００３７】
【図１】（ａ）は実施形態の映像特殊効果装置についてその構成概要を説明するブロック図であり、（ｂ）は映像メモリ（読出側の構成概要を説明するブロック図である。
【図２】（ａ）はメモリ素子のアドレスマッピングについて説明する概念図であり、（ｂ）はＤＲＡＭのメモリ素子とバッファメモリとのアドレスマッピングの対応を説明する概念図である。
【図３】（ａ）は、映像効果アドレス生成部及びメモリ素子アドレスマッピング部によるメモリ読み出しアドレスの例を説明する図であり、（ｂ）は重複アドレス削除部によるメモリ素子の重複アドレスの削除処理を説明する図であり、（ｃ）はピクセル整列走査線メモリによる映像効果を具現する再整列の処理を説明する図である。
【図４】映像特殊効果装置を用いてメモリアドレスの並び替え、すなわち重複したマクロブロックの読み出し回数を低減した場合に要する一走査線内メモリ読み出し時間と、メモリアドレスの並び替えがない場合に要する一走査線内メモリ読み出し時間と、を比較して説明する図である。
【図５】（ａ）は、映像メモリに書き込まれた入力映像を、映像効果アドレス生成部が生成した読み出しアドレスに従って読み出す場合の、読み出し順序とその結果得られる映像効果との対応関係を説明する図であり、（ｂ）はデータ読み出しアドレスに基づいてＤＲＡＭから映像データを読みだす従来の読み出し方法を説明する図であり、（ｃ）は映像特殊効果装置を用いてメモリアドレスの並び替え及び再整列を行う読み出し方法を説明する図である。
【図６】バースト効果を奏するように映像の特殊効果を与える処理において、所定の並び替え期間（Ｈ）として走査線の行数を１行〜１８行まで替えた場合に、映像メモリＲＥＡＤ時間がどのように低減されるかを説明する図である。
【図７】映像特殊効果装置のメモリアドレスの並び替えに関する処理概要を順次説明するフロー図である。
【図８】（ａ）はＳＲＡＭを用いた従来の画像変換回路の構成の一例を説明する図であり、（ｂ）はＤＲＡＭを用いた従来のスキャンコンバータの構成の一例を説明する図である。
【発明を実施するための形態】
【００３８】
実施形態で説明する映像特殊効果装置は、ダイナミックメモリのビデオ信号変形効果用ランダムアクセスコントロール手法を採用する。一般に、ＳＲＡＭは高価であるとともに発熱量が比較的多いため、コストを削減するにはコンピュータ部品として量産されているＤＲＡＭを用いることが好ましい。
【００３９】
一方、ランダムアクセスを許容しないＤＲＡＭを用いて高速な処理を実現するためには、一般には多数のＤＲＡＭを並列に接続し、並列動作とされる。しかし、多数のＤＲＡＭを並列接続として並列動作をさせると、これら多数のＤＲＡＭの搭載基板は面積が増大し、また発熱量も増大しさらにはコスト的にも好ましくない。
【００４０】
実施形態で説明する映像特殊効果装置は、ＤＲＡＭの内部で、比較的低速度なメモリ素子（またはメモリアレイ）へのアクセスを低減させ、比較的高速度なバッファメモリへのアクセスを活用することにより、ＤＲＡＭ個々の速度の向上を図る。これにより、多数の並列処理を遂行しなくても、ビデオ映像の特殊効果処理を可能とする映像特殊効果装置を実現する。
【００４１】
また、実施形態で説明する映像特殊効果装置は、メモリ素子へのアクセス回数を低減するために、例えば一走査線相当期間内において、同一マクロブロックへの重複アドレスのアクセスが存在すれば、これを消去する。そして、当該消去された重複アドレスによるアクセス時にメモリ素子から読み出す予定であったデータについては、削除されなかったアドレスによる当該マクロブロックへのアクセス時に、一括して読み出す。そして、出力する映像データは、所望の映像効果が反映されるように、適宜並べ替え処理をしてから出力する。
【００４２】
図１（ａ）は、実施形態の映像特殊効果装置１０００について、その構成概要を説明するブロック図である。図１（ａ）に示すように、映像特殊効果装置１０００は、オペレータ等から所望の映像効果が入力される制御卓２００と、制御卓２００からの指示入力に基づいて所望の映像効果を奏する映像信号とするように、入力映像を変形する制御部１００とを備える。
【００４３】
制御卓２００から入力されたオペレータの映像変形指示は、制御部１００のＣＰＵ１２０に入力される。ＣＰＵ１２０は、映像効果アドレス生成部１３０に対し、オペレータから指示入力された映像変形が遂行されるような読み出しアドレスを生成させる。
【００４４】
また、映像効果アドレス生成部１３０で生成された読み出しアドレスに従って、次フィールドまたは次フレームで映像メモリ（読出側）１１０（ｂ）から入力映像が読み出され、映像効果を奏する画像信号として映像特殊効果装置１０００から出力される。
【００４５】
ここで、映像特殊効果装置１０００の制御部１００は、不図示の映像メモリ切り替え部を備えてもよい。映像メモリ（書込側）１１０（ａ）と映像メモリ（読出側）１１０（ｂ）とで、交互に読み出しと書き込みとを切り替えて遂行することで、リアルタイムで迅速な映像処理が可能となる。
【００４６】
ここで、図５（ａ）は、映像メモリ１１０に書き込まれた入力映像を、映像効果アドレス生成部１３０が生成した読み出しアドレスに従って読み出す場合の、読み出し順序とその結果得られる映像効果との対応関係を説明する図である。
【００４７】
また、図１（ｂ）は、映像メモリ（読出側）１１０（ｂ）の構成概要を説明するブロック図である。図１（ｂ）において、映像メモリ（読出側）１１０（ｂ）は、入力映像を記憶するＤＲＡＭ１１１と、ＤＲＡＭ１１１への書き込み／読み出しを制御するメモリコントローラ１１６と、映像効果アドレス生成部１３０から読み出しアドレスが入力されるメモリ素子アドレスマッピング部１１４と、所定期間内（例えば一走査線相当期間）における同一マクロブロックの重複読み出しアドレスを消去する重複アドレス削除部１１５と、映像データを所望の映像効果を奏する順序へ再整列するピクセル整列走査線メモリ１１７とを備える。
【００４８】
図１（ｂ）から理解できるように、ＤＲＡＭ１１１は、比較的メモリ容量が大きいメモリ素子１１２と、比較的メモリ容量が小さいバッファメモリ１１３とを備える。メモリ素子１１２に書き込まれた映像データは、マクロブロック単位でバッファメモリ１１３へと読み出され、バッファメモリ１１３からマクロブロック内の対応映像データがメモリコントローラ１１６を介して順次読み出される。
【００４９】
また、メモリ素子１１２からのマクロブロック単位の読み出し速度は比較的遅く、バッファメモリ１１３からの映像データ読み出し速度は比較的速い。このため、映像特殊効果装置１０００は、メモリ素子１１２からのマクロブロック単位の読み出し回数を最小化することで、全体としての処理速度を向上させ、これによりＤＲＡＭ１１１の並列数を低減させることができる。
【００５０】
また、図２（ａ）はメモリ素子１１２のアドレスマッピングについて説明する概念図であり、図２（ｂ）はＤＲＡＭ１１１のメモリ素子１１２とバッファメモリ１１３とのアドレスマッピングの対応を説明する概念図である。
【００５１】
図２（ａ）に説明するように、メモリアレイ等のメモリ素子１１２は、バッファメモリ１１３の記憶容量に対応して例えば１６×１６ピクセルを一つのマクロブロック２１０とする複数のマクロブロック２１０，２１１，２１２・・・にアドレスマッピングされる。
【００５２】
また、図２（ｂ）に示すようにバッファメモリ１１３は、マクロブロック単位でメモリ素子１１２から映像データを読み込む。例えば、メモリ素子アドレス＝”０”をメモリコントローラ１１６から指示されると、バッファメモリ１１３は、マクロブロック２１０をメモリ素子１１２から読み出して一時記憶する。また、例えばメモリ素子アドレス＝”１”をメモリコントローラ１１６から指示されると、バッファメモリ１１３は、マクロブロック２１１をメモリ素子１１２から読み出して一時記憶する。
【００５３】
また、図３（ａ）は、映像効果アドレス生成部１３０及びメモリ素子アドレスマッピング部１１４によるメモリ読み出しアドレスの例を説明する図であり、図３（ｂ）は重複アドレス削除部１１５によるメモリ素子の重複アドレスの削除処理を説明する図であり、図３（ｃ）はピクセル整列走査線メモリ１１７による映像効果を具現する再整列の処理を説明する図である。
【００５４】
図２と図３とに示すように、オペレータにより指示入力された映像効果を奏するように、映像効果アドレス生成部１３０が映像メモリ（読出側）１１０（ｂ）からのデータ読み出しアドレスを生成する。メモリ素子アドレスマッピング部１１４が、データ読み出しアドレスを、映像メモリ（読出側）１１０（ｂ）の物理アドレスとメモリ素子１１２の物理アドレスとの割り当て処理を遂行する。例えばバッファメモリ１１３の容量が２５６ワードである場合には、１６×１６ピクセルをメモリ素子１１２の物理アドレスとして扱う。
【００５５】
一走査線相当期間に対応するメモリ読み出しアドレスが図３（ａ）に説明するように指示された場合に、従来、メモリ素子１１２内のメモリ素子アドレス＝”１２１”が離間して二回アクセスされることとなる。すなわち、仮に、一走査線相当期間内において、メモリ素子１１２内のメモリ素子アドレス＝”１２１”に対応するマクロブロック２１１２１が、２度にわたり、メモリ素子１１２からバッファメモリ１１３へと読み出されることとなると、メモリ素子１１２からバッファメモリ１１３へと読み出し速度は比較的遅いことから、処理の遅延が懸念される。
【００５６】
このため、実施形態の映像特殊効果装置１０００は、マクロブロック２１１２１への一走査線相当期間内における重複したアクセスを図３（ｂ）に示すようにまとめ、一度だけのアクセスで済ませることにより、処理時間を短縮する。
【００５７】
より具体的には、重複アドレス削除部１１５が、一走査線相当期間内において重複するマクロブロック２１１２１への重複したメモリ素子アドレス”１２１”を削除する。また、削除されたメモリ素子アドレス”１２１”において読み出される予定であった、メモリ素子アドレス”１２１”のピクセル１９３，２４０については、削除されなかったメモリ素子アドレス”１２１”によるマクロブロック２１１２１の読み込み時に、一括して順次バッファメモリ１１３からメモリコントローラ１１６へと読み出される。
【００５８】
また、ピクセル整列走査線メモリ１１７は、上述した一括読み出し処理により変更されたメモリ素子アドレス順のデータを、図３（ｃ）に説明するように所望の映像効果を奏するオリジナルのピクセル順序へと再整列処理して出力する。
【００５９】
映像特殊効果装置１０００においては、オペレータ等により要求される映像効果の程度や種類によって、読み出しアドレスが種々変わり得るものであるので、予め読み出しアドレスを予測することは困難である。
【００６０】
このため、映像特殊効果装置１０００は、指示された映像効果に対応する読み出しアドレスに基づいて例えば一走査線相当期間ごとに、メモリ素子１１２からバッファメモリ１１３へと読み出すマクロブロックの重複読み出しをまとめて一度とする。また、映像特殊効果装置１０００は、当該一度の読み出し時にバッファメモリ１１３から読み出すべきデータをまとめて一括して順次に読み出すこととする。
【００６１】
上述した説明においては、映像特殊効果装置１０００が、マクロブロックを１６×１６ピクセルと設定する場合について示したが、これに限定されるものではなく、任意の大きさや形状にマクロブロックを設定してもよい。映像特殊効果装置１０００は、例えば図２（ｂ）に示す読み出しピクセル（図中に三角印で示す該当データ）が全て包含されるような形状に、一つのマクロブロックを設定してもよい。
【００６２】
また、上述の説明において、所定の期間として一走査線相当期間を例に説明したが、これに限定されるものではなく、例えば７〜１０走査線相当期間を所定の期間としてもよい。数走査線相当期間を所定の期間として、この間の同一マクロブロックの重複読み出しを排除することにより、メモリ素子１１２からバッファメモリ１１３へのマクロブロック読み出し回数を顕著に低減することが可能である。
【００６３】
また、所定の期間が短すぎれば同一マクロブロックへの重複アクセスがそもそも少ないため、処理時間の低減効果は小さくなる傾向になる一方、所定の期間が長すぎればほぼ全てのマクロブロックへ一回ずつ読み出しアクセスすることになる等により、処理時間の低減効果が頭打ちとなる。
【００６４】
図４は、映像特殊効果装置１０００を用いてメモリアドレスの並び替え、すなわち重複したマクロブロックの読み出し回数を低減した場合に要する一走査線内メモリ読み出し時間と、メモリアドレスの並び替えがない場合に要する一走査線内メモリ読み出し時間と、を比較して説明する図である。
【００６５】
また、図４に示すように、映像変形Ｈ／Ｖサイズ、ＸＹＺ回転の組み合わせでシミュレーションを遂行したところ、図４（ｅ）における映像効果を行わせた場合に最もメモリ読み出し時間を要する結果となった。しかし、この場合においても、メモリアドレスの並び替えを行うことで、一走査線内で処理を完了できることが理解される。
【００６６】
また、図４において、メモリアドレスの並び替えをしなければ走査線一本分に相当する２２００ピクセル相当時間を超える処理時間が必要となって処理が破綻するような場合でも、映像特殊効果装置１０００を用いてメモリアドレスの並び替えを行うことで、一走査線内での処理とすることができることが理解できる。
【００６７】
また、図５（ｂ）はデータ読み出しアドレスに基づいてＤＲＡＭから映像データを読みだす従来の読み出し方法を説明する図であり、図５（ｃ）は映像特殊効果装置１０００を用いてメモリアドレスの並び替え及び再整列を行う読み出し方法を説明する図である。
【００６８】
図５（ｂ）に示す従来のデータ読み出し方法では読み出し時間が走査線内での処理時間を超過して読み出し処理が破綻するような場合でも、図５（ｃ）に示すようにメモリアレイへのアクセス回数を低減する映像特殊効果装置１０００の処理によれば走査線内で迅速に処理できる。換言すれば、映像特殊効果装置１０００は、ＤＲＡＭの並列度が比較的小さい場合でも、迅速な映像効果処理を遂行することが可能である。このため、省電力かつ省スペースな装置とすることができる。
【００６９】
映像特殊効果装置１０００は、例えば従来ＳＲＡＭを９個使用して構築された映像メモリと同等速度の処理をさせる場合に、ＤＤＲ２ＳＤＲＡＭを１８個使用して実現することができる。また、映像特殊効果装置１０００は、例えば従来ＳＲＡＭを１９個使用して構築された映像メモリと同等速度の処理をさせる場合に、ＤＤＲ２ＳＤＲＡＭを３８個使用して実現することができる。すなわち、映像メモリコストを１／９程度に低減することが可能である。
【００７０】
図６は、バースト効果を奏するように映像の特殊効果を与える処理において、所定の並び替え期間（Ｈ）として走査線の行数を１行〜１８行まで替えた場合に、映像メモリＲＥＡＤ時間がどのように低減されるかを説明する図である。
【００７１】
図６から理解できるように、所定の期間が走査線９行相当時間までは顕著に処理時間が低減されるが、それ以上に所定の期間を増大させても処理時間の低減はサーチュレートする。映像特殊効果装置１０００は、所定の期間内における同一マクロブロック読み出し重複を一回で済ませる対応により処理時間を低減するものであるので、同一マクロブロック読み出し重複が無ければそれ以上の時間低減効果はない。
【００７２】
また、図７は、映像特殊効果装置１０００のメモリアドレスの並び替えに関する処理概要を順次説明するフロー図である。
【００７３】
（ステップＳ７１０）
映像特殊効果装置１０００は、オペレータ等により指示された映像特殊効果を施す対象となる入力映像を取り込む。
【００７４】
（ステップＳ７２０）
映像特殊効果装置１０００のメモリ素子アドレスマッピング部１１４は、一走査線相当期間についてアドレスマッピングを遂行する。
【００７５】
（ステップＳ７３０）
映像メモリ（読出側）１１０（ｂ）が、メモリ素子１１２内の同一マクロブロックにアクセスする重複したアドレスがあるか否かを判断する。メモリ素子１１２内の同一マクロブロックにアクセスする重複したアドレスが一走査線相当期間内にある場合には、ステップＳ７４０へと進む。また、メモリ素子１１２内の同一マクロブロックにアクセスする重複したアドレスが一走査線相当期間内にない場合には、ステップＳ７８０へと進む。
【００７６】
なお、この判断は、映像特殊効果装置１０００のＣＰＵ１２０が遂行してもよい。
【００７７】
（ステップＳ７４０）
映像特殊効果装置１０００の重複アドレス削除部１１５は、一走査線相当期間内において同一のマクロブロックへのアクセスを指示する重複したアドレスを一つのみ存置して他の重複アドレスを削除する。
【００７８】
（ステップＳ７５０）
メモリコントローラ１１６は、存置した一つの読み出しアドレスによるアクセスで該当マクロブロックをバッファメモリ１１３に読み出した際に、削除されたアドレスで読みだす予定であったデータを、まとめて順次読みだす。バッファメモリ１１３に一時記憶されたマクロブロック内の各データを読み出す場合には、読み出しデータ個々にシリアルに順次読み出すものとする。
【００７９】
（ステップＳ７６０）
ピクセル整列走査線メモリ１１７は、メモリコントローラ１１６がまとめて読みだした該当マクロブロック内の読み出し各データを、映像特殊効果を奏する当初の読み出しアドレス順、すなわちピクセル順となるように並び替えを行う。
【００８０】
（ステップＳ７７０）
映像特殊効果装置１０００は、映像特殊効果を奏するように並べ替えられた読み出しデータを出力する。
【００８１】
（ステップＳ７８０）
メモリコントローラ１１６は、メモリ素子アドレスマッピング部１１４で生成された読み出し順に従って映像データを順次読み出す。
【００８２】
デジタルビデオカメラの価格低減に伴い、映像切替装置（ビデオスイッチャ）などの業務用映像機器にも従来の機能や性能を維持しつつ、価格低減化の市場要求が強くなっている。映像切替装置は、入力された映像に対して縮小、拡大、回転、ページめくり等の形状変形を伴う特殊効果を付与する機能を有する。
【００８３】
このような映像の形状変形効果は、映像メモリヘ入力映像を書込み後、変形形状に応じた読出しアドレス制御で実現している。例えば、映像の回転効果は、読み出しアドレスを斜め方向に変化させる事により実現できる。
【００８４】
読み出しアドレスは映像変形に伴い不連続に変化する場合があるので、映像メモリはランダムアクセス読み出しに対応できなければならない。しかし、映像変形処理に必須のランダムアクセス対応のメモリが高価であるため、さらなる価格低減化要求に応えることが困難である。
【００８５】
本願発明は、ランダムアクセス性能は低いが、ＰＣ（パソコン）に多用され価格低下の著しいダイナミックメモリを、形状変形を伴う特殊効果処理において使用可能とし、映像切替装置（ビデオスイッチャ）などの価格低減化を図るものである。
【００８６】
映像メモリのランダムアドレス読出し手法として、スタティックメモリを使用する場合にはランダムアクセス動作が基本のため特別な工夫は不要である一方、多数のダイナミックメモリ又はダイナミックメモリの複数バンクに同一映像を書き込み、並列動作させる場合には、読み出しピクセル毎にメモリ又はバンクを切替え、見かけ上のランダムアクセス読出しを行う必要があった。
【００８７】
また、ダイナミックメモリに比べてスタティックメモリはメモリ容量が少なく、価格が極めて高価で、消費電力は高い。このため、機器のさらなる低価格化を図る場合にはスタティックメモリ価格がネックとなる。
【００８８】
一方、ダイナミックメモリは、並列動作が必須条件となる為、メモリ部品点数増や消費電力増となりがちであって、機器の小型化が困難となるとともに部品点数増に伴い低価格化が困難となる。
【００８９】
ここで、ダイナミックメモリの内部メモリ動作は、メモリ素子（ＤＲＡＭ  ＡＲＲＡＹ）とバッファメモリとの２段構造になっている。また、メモリ素子は、動作速度が遅い（５０〜７０ｎＳ）一方で、バッファメモリは、動作速度が速い（２〜７ｎＳ）。また、バッファメモリはメモリ容量が、例えば２５６ワード前後と比較的小容量のため、映像変形処理に必要な１３ｎＳ以下の映像のランダムアクセス読み出しを直接実現することは不可能で、並列動作などの処置が必要であった。
【００９０】
本発明の映像切替装置は、走査線内で映像変形用メモリアドレスの順序を並び替え、メモリ素子からのマクロブロック読み出し回数を最小化させ、高速処理が可能なバッファメモリのランダムアクセスを多用するような工夫を行うことで、ダイナミックメモリの並列度を低く抑えつつ、映像変形処理を実現できる。
【００９１】
映像変形用メモリとして、極めて安価なダイナミックメモリを小さい並列度（すなわちより少ない個数）で使用することが可能であり、機器の低価格化、小型化、消費電力の低減が容易となり、低価格の映像切替装置（ビデオスイッチャ）としつつ、映像の縮小、拡大、回転、ページめくり等の形状変形を伴う特殊効果機能を迅速に付与することができる。
【００９２】
１０８０／５９.９４ｉに本手段を適用し、ＤＤＲ２ダイナミックメモリを使用した２.５Ｄ回転、ポジション移動、拡大縮小変形処理を行った場合のメモリ読み出し処理時間は、最大でも２０５０ピクセル相当時間となり、走査線１本あたり２２００ピクセル相当時間内で完結する。なお、メモリアドレスの順序を並び替え未実施の場合には、３０００ピクセル相当時間程度以上が必要となり、走査線内では処理が間に合わず、処理が破たんする（例えば図４を参照）。このような、メモリ処理時間は、ソフトウェアシミュレーションにより評価した。
【００９３】
本願は、例えば走査線内でメモリ素子読み出し回数を最小化させるため、映像変形アドレスのピクセル順並び替え処理を追加して、メモリ素子読み出し回数を減らし、その後、ピクセル順並び替えで乱れたピクセル並びを元に戻すピクセル整列処理を遂行してもよい。
【００９４】
また、映像変形アドレスをメモリ素子アドレスとバッファメモリアドレスとに変換するアドレスマッピング回路を備えることとし、これによる処理の後にメモリ読み出しアドレスのピクセル並び変えを行い、さらにメモリ素子アドレスの重複アドレスを削除する回路で処理した後、ピクセル順並び替えで乱れたピクセル並びを元に戻すピクセル整列処理を遂行してもよい。
【００９５】
また、映像変形アドレスをメモリ素子アドレスとバッファメモリアドレスに変換する、アドレスマッピング回路において、メモリ素子の読み出し回数を走査線内で最小化できるようなアドレスマッピング（例えば、読み出しデータを多数包含する任意形状のマクロブロックを設定する等）を行ってもよい。そして、メモリ読み出しアドレスのピクセル並び変えを行い、メモリ素子アドレスの重複アドレスを削除して、メモリ素子読み出し回数を減らし、ピクセル順並び替えで乱れたピクセル並びを元に戻すピクセル整列処理を遂行してもよい。
【００９６】
また、図６に示すようなバースト効果（映像がランダムに砕け散る効果）に対しては、映像変形アドレスをメモリ素子アドレスとバッファメモリアドレスとに変換し、アドレスマッピング手法をさらに工夫するように処理してもよい。
【００９７】
例えば、映像の縮小、拡大、回転、ページめくりなどの映像変形は、映像を１６×１６ピクセルの矩形領域に分割して、メモリ素子とバッファメモリとヘのマッピングで対応してもよく、他の映像変形効果には別のマッピング形状を用いた改良処理を遂行してもよい。
【００９８】
実施形態で説明した映像特殊効果装置や映像切替装置は、実施形態での説明に限定されることはなく、自明な範囲でその構成を変更し、処理を変更することができる。
【産業上の利用可能性】
【００９９】
本発明は、３Ｄ映像編集やライブ映像切替え用途における放送業界やマルチメディア業界やアーカイブマーケット等において広く応用展開し利用でき、映像や画像の各種効果付与処理に展開できる。
【符号の説明】
【０１００】
１００・・制御部、１１０（ａ）・・映像メモリ（書込側）、１１０（ｂ）・・映像メモリ（読出側）、１２０・・ＣＰＵ、１３０・・映像効果アドレス生成部、２００・・制御卓、１０００・・映像特殊効果装置。
【図１】
2013009090.tif 000003
【図２】
2013009090.tif 000004
【図３】
2013009090.tif 000005
【図４】
2013009090.tif 000006
【図５】
2013009090.tif 000007
【図６】
2013009090.tif 000008
【図７】
2013009090.tif 000009
【図８】
2013009090.tif 000010