(57)【要約】【課題】  圧縮されたOSD画像を復号して主画像に合成する場合において、OSD画像の表示部分と非表示部分を容易にかつ適切に判別することができるようにする。【解決手段】  圧縮OSD画像データメモリ２には、例えば、Y/C4:2:2構造のOSD画像データがJPEG方式で圧縮された圧縮OSD画像データが記憶されている。圧縮OSD画像データメモリ２に記憶される圧縮OSD画像データは、Ｙ成分またはＣ成分のいずれか一方のMSBに判定フラグが設定され、表示部分にオフセット値が加算され、非表示部分は所定の大きさにされ、そして制御パラメータが組み込まれたOSD画像データがJPEG方式で圧縮されたものである。本発明は、例えば、カムコーダ、デジタルスチルカメラ、ビデオレコーダ、またはテレビジョン受像機に適用することができる。【選択図】図２
2005107393.tif 000002
【特許請求の範囲】
【請求項１】
主として表示される表示部分と、主として表示されない非表示部分からなるOSD画像を主画像に合成する画像処理装置において、
MSBに、前記表示部分または非表示部分であることを示す判別フラグが設定されているOSD画像データが、非可逆な圧縮方式で圧縮された圧縮OSD画像データを記憶する第１の圧縮OSD画像データ記憶手段と、
前記第１の圧縮OSD画像データ記憶手段に記憶された前記圧縮OSD画像データを復号して、OSD画像データを復元する復元手段と、
前記復元手段により復号されたデータのMSBの値に基づいて前記表示部分または非表示部分の判別を行い、復元された復元OSD画像データの前記表示部分および非表示部分に、所定の処理を施して、OSD画像を主画像に合成する合成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記非可逆な圧縮方式は、JPEG圧縮方式である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の圧縮OSD画像データ記憶手段は、MSBに前記判別フラグが設定されているとともに、前記表示部分に、前記表示部分と非表示部分の画素値の差を小さくするためのオフセット値が加算され、前記非表示部分が、前記表示部分と非表示部分の画素値の差を小さくなるように所定の大きさになされているOSD画像データが前記圧縮方式で圧縮された圧縮OSD画像データを記憶し、
前記復元手段は、前記圧縮OSD画像データを復号するとともに、そのMSBの値に基づいて前記表示部分または非表示部分の判別を行い、前記表示部分から前記オフセット値を減算して、前記復元OSD画像データを生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の圧縮OSD画像データ記憶手段は、MSBに前記判別フラグが設定され、前記表示部分に、前記表示部分と非表示部分の画素値の差を小さくするための所定のオフセット値が加算され、前記非表示部分が、前記表示部分と非表示部分の画素値の差が小さくなるように所定の大きさになされているとともに、OSD画像の表示条件が組み込まれたOSD画像データが前記圧縮方式で圧縮された圧縮OSD画像データを記憶し、
前記復元手段は、前記圧縮OSD画像データを復号するとともに、そのMSBの値に基づいて前記表示部分または非表示部分の判別を行い、前記表示部分から前記オフセット値を減算して、前記復元OSD画像データを生成し、
前記合成手段は、前記復元手段により復号されたデータのMSBの値に基づいて前記表示部分または非表示部分の判別を行い、前記復元OSD画像データの前記表示部分および非表示部分に、前記OSD画像の表示条件に基づく所定の処理を施し、OSD画像を主画像に合成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記復元手段は、前記第１の圧縮OSD画像データ記憶手段に記憶されている前記圧縮OSD画像データを、前記合成手段での合成処理の単位に応じた単位毎に読み出して、第２の圧縮OSD画像データ記憶手段に記憶させ、前記第２の圧縮OSD画像データ記憶手段に記憶された前記圧縮OSD画像データからOSD画像データを復元する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
主として表示される表示部分と、主として表示されない非表示部分からなるOSD画像を主画像に合成する画像処理方法において、
第１の圧縮OSD画像データ記憶部に記憶されている、MSBに前記表示部分または非表示部分であることを示す判別フラグが設定されているOSD画像データが非可逆な圧縮方式で圧縮された圧縮OSD画像データを復号して、OSD画像データを復元する復元ステップと、
前記復元ステップの処理で復号されたデータのMSBの値に基づいて前記表示部分または非表示部分の判別を行い、復元された復元OSD画像データの前記表示部分および非表示部分に、所定の処理を施して、OSD画像を主画像に合成する合成ステップと
を含むことを特徴とする画像処理方法。
【請求項７】
主として表示される表示部分と、主として表示されない非表示部分からなるOSD画像を主画像に合成する画像処理のプログラムであって、
圧縮OSD画像データ記憶部に記憶されている、MSBに前記表示部分または非表示部分であることを示す判別フラグが設定されているOSD画像データが非可逆な圧縮方式で圧縮された圧縮OSD画像データを復号してのOSD画像データの復元を制御する復元制御ステップと、
前記復元制御ステップの処理で復号されたデータのMSBを参照の値に基づいて前記表示部分または非表示部分の判別を行い、復元された復元OSD画像データの前記表示部分および非表示部分に、所定の処理を施しての、OSD画像の主画像への合成を制御する合成制御ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、圧縮されたOSD画像を復号して、主画像に合成する場合に、容易にかつ正確にOSD画像を合成することができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
カムコーダ、デジタルスチルカメラ、ビデオレコーダ、テレビジョン受像機等の画像機器は、一般的に、画像データソースから出力された画像（主画像）に、ユーザインタフェースとしての画像（例えば、バッテリー残量、記録時間、残りの記録時間などの機器情報をユーザに視覚的に提供する画像）を合成して表示することができる（オンスクリーンディディスプレイ（ＯＳＤ）機能を有している）。
【０００３】
主画像にオンスクリーンディスプレイされる画像（OSD画像）は、図１に示すOSD画像ＶOSDのように、絵柄の画像など、主画像Ｖmに上書き表示される部分（主として表示される部分）（以下、表示部分と称する）ＶOSD-Dと、それ以外の、実際には表示されず、主画像Ｖmが透けてみえるように表示される部分（主として表示されない部分）（以下、非表示部分と称する）ＶOSD-Hからなる、小フレームの画像であり、通常、画像機器に記憶されている。画像機器は、OSD画像ＶOSDを主画像Ｖmに合成する際、OSD画像ＶOSDの表示部分ＶOSD-Dと非表示部分ＶOSD-Hを判別し、表示部分ＶOSD-Dが主画像Ｖmに上書き表示され、非表示部分ＶOSD-Hが表示されず、その部分の主画像Ｖmが透けてみえるように所定の処理を行う。
【０００４】
ところで、画像機器の多機能、高機能化に対応するユーザインタフェースの重要性に伴って、OSD画像として、豊富な表現が可能な画像（より多彩な色でまた複雑な絵柄の画像）が要求されるようになってきている。
【０００５】
こういった複雑なOSD画像を、Y/Cの画像データで画像機器が保持すると、そのデータ量は、例えば、Y/C８ビット4:2:2形式の320×240の画像データの場合、1.2Mbitとなり、膨大な量となる。その結果画像機器は、大容量のメモリが必要となる。また外部メモリに、OSD画像データを保有させておくこともできるが、この場合、その外部メモリへのアクセスが必要となり、結果として、処理の迅速化の妨げになる。
【０００６】
そこで、特開平2002-108325号公報には、JPEG（Joint Photographic Experts Group）規格に準拠してOSD画像データを圧縮して保持し、OSD画像を合成する際に、それを復号して合成する方法が示されている。JPEG圧縮方式では、量子化係数の制御によって圧縮率を変更することができるが、圧縮率を最小なものにしても、元データを1/4程度に圧縮することができ、また劣化が目立たない程度に圧縮率を上げれば、元データの内容によっては、1/10〜1/20以上に圧縮することができる。
【０００７】
この場合、OSD画像の表示部分と非表示部分とを判別するために、非表示部分の輝度データを、００ｈまたはＦＦｈとし、OSD画像を合成する際、００ｈまたはＦＦｈを基準として一定の幅を持って非表示部分が判別される。００ｈまたはＦＦｈそのものではなく、それを基準に一定の幅をもって判別を行うのは、JPEG方式に準拠した圧縮、伸張における、DCT（discrete cosine transform）やIDCTといった非可逆工程および量子化によるデータ削減等により、００ｈまたはＦＦｈが完全に元に復元されないことがあることから（JPEG方式の非可逆性）、完全に元に復元されない場合でも、ある程度の正確さで表示／非表示部分の判別を行うことができるようにするためである。
【０００８】
【特許文献１】特開２００３−１０８３２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、このようにして表示／非表示部分の判別を行う場合、参照するビット数（８ビット）が多く、また一定の幅を持って判定する必要があるため、その処理が複雑になり、表示／非表示部分の判別を迅速に行うことができない課題があった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、圧縮されたOSD画像を復号してOSD画像を合成する場合において、表示／非表示部分を容易に、かつ正確に判別することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置は、MSBに、表示部分または非表示部分であることを示す判別フラグが設定されているOSD画像データが非可逆な圧縮方式で圧縮された圧縮OSD画像データを記憶する第１の圧縮OSD画像データ記憶手段と、第１の圧縮OSD画像データ記憶手段に記憶された圧縮OSD画像データを復号して、OSD画像データを復元する復元手段と、復元手段により復号されたデータのMSBを参照して、その値に基づいて表示部分または非表示部分の判別を行い、復元された復元OSD画像データの表示部分および非表示部分に、所定の処理を施して、OSD画像を主画像に合成する合成手段とことを特徴とする。
【００１２】
非可逆な圧縮方式は、JPEG圧縮方式であるようにすることができる。
【００１３】
第１の圧縮OSD画像データ記憶手段は、MSBに判別フラグが設定されているとともに、表示部分に、表示部分と非表示部分の画素値の差を小さくするためのオフセット値が加算され、非表示部分が、表示部分と非表示部分の画素値の差が小さくなるように所定の大きさになされているOSD画像データが圧縮方式で圧縮された圧縮OSD画像データを記憶し、復元手段は、圧縮OSD画像データを復号するとともに、そのMSBの値に基づいて表示部分または非表示部分の判別を行い、表示部分からオフセット値を減算して、復元OSD画像データを生成することができる。
【００１４】
第１の圧縮OSD画像データ記憶手段は、MSBに判別フラグが設定され、表示部分に、表示部分と非表示部分の画素値の差を小さくするための所定のオフセット値が加算され、非表示部分が、表示部分と非表示部分の画素値の差が小さくなるように所定の大きさになされているとともに、OSD画像の表示条件が組み込まれたOSD画像データが圧縮方式で圧縮された圧縮OSD画像データを記憶し、復元手段は、圧縮OSD画像データを復号するとともに、そのMSBの値に基づいて表示部分または非表示部分の判別を行い、表示部分からオフセット値を減算して、復元OSD画像データを生成し、合成手段は、復元手段により復号されたデータのMSBの値に基づいて表示部分または非表示部分の判別を行い、復元OSD画像データの表示部分および非表示部分に、OSD画像の表示条件に合うように所定の処理を施し、OSD画像を主画像に合成することができる。
【００１５】
復元手段は、第１の圧縮OSD画像データ記憶手段に記憶されている圧縮OSD画像データを、合成手段での合成処理の単位に応じた単位毎に読み出して、第２の圧縮OSD画像データ記憶手段に記憶させ、第２の圧縮OSD画像データ記憶手段に記憶された圧縮OSD画像データからOSD画像データを復元することができる。
【００１６】
本発明の画像処理方法は、第１の圧縮OSD画像データ記憶部に記憶されている、MSBに、表示部分または非表示部分であることを示す判別フラグが設定されているOSD画像データが非可逆な圧縮方式で圧縮された圧縮OSD画像データを復号して、OSD画像データを復元する復元ステップと、復元ステップの処理で復号されたデータのMSBの値に基づいて表示部分または非表示部分の判別を行い、復元された復元OSD画像データの表示部分および非表示部分に、所定の処理を施して、OSD画像を主画像に合成する合成ステップとを含むことを特徴とする。
【００１７】
本発明のプログラムは、圧縮OSD画像データ記憶部に記憶されている、MSBに、表示部分または非表示部分であることを示す判別フラグが設定されているOSD画像データが非可逆な圧縮方式で圧縮された圧縮OSD画像データを復号しての、OSD画像データの復元を制御する復元制御ステップと、復元制御ステップの処理で復号されたデータのMSBの値に基づいて表示部分または非表示部分の判別を行い、復元された復元OSD画像データの表示部分および非表示部分に、所定の処理を施しての、OSD画像の主画像への合成を制御する合成制御ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００１８】
本発明の画像処理装置および方法、並びにプログラムにおいては、第１の圧縮OSD画像データ記憶部に記憶されている、MSBに、表示部分または非表示部分であることを示す判別フラグが設定されているOSD画像データが非可逆な圧縮方式で圧縮された圧縮OSD画像データが復号されて、OSD画像データが復元され、復号されたデータのMSBの値に基づいて表示部分または非表示部分の判別が行われ、復元された復元OSD画像データの表示部分および非表示部分に、所定の処理が施されて、OSD画像が主画像に合成される。
【発明の効果】
【００１９】
本発明によれば、圧縮されたOSD画像を復号してOSD画像を合成する場合において、表示／非表示部分を容易に、かつ正確に判別することができる。
【発明を実施するための最良の形態】
【００２０】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００２１】
本発明によれば、画像処理装置が提供される。この画像処理装置は、MSBに、表示部分または非表示部分であることを示す判別フラグが設定されているOSD画像データが非可逆な圧縮方式で圧縮された圧縮OSD画像データを記憶する第１の圧縮OSD画像データ記憶手段（例えば、図２の圧縮OSD画像データメモリ２）と、第１の圧縮OSD画像データ記憶手段に記憶された圧縮OSD画像データを復号して、OSD画像データを復元する復元手段（例えば、図２の復号部１３）と、復元手段により復号されたデータのMSBの値に基づいて表示部分または非表示部分の判別を行い、復元された復元OSD画像データの表示部分および非表示部分に、所定の処理を施して、OSD画像を主画像に合成する合成手段（例えば、図２のOSD画像合成処理部１６）とことを特徴とする。
【００２２】
非可逆な圧縮方式は、JPEG圧縮方式であるようにすることができる。
【００２３】
第１の圧縮OSD画像データ記憶手段は、MSBに判別フラグが設定されているとともに、表示部分に、表示部分と非表示部分の画素値の差を小さくするためのオフセット値が加算され（例えば、図５ＡのOSD画像データの表示部分）、非表示部分が、表示部分と非表示部分の画素値の差が小さくなるように所定の大きさになされている（例えば、図６Ａの非表示部分）OSD画像データが圧縮方式で圧縮された圧縮OSD画像データを記憶し、復元手段は、圧縮OSD画像データを復号するとともに、そのMSBの値に基づいて表示部分または非表示部分の判別を行い、表示部分からオフセット値を減算して、復元OSD画像データ（例えば、図５Ｃ，６Ｃの画像データ）を生成することができる。
【００２４】
第１の圧縮OSD画像データ記憶手段は、MSBに判別フラグが設定され、表示部分に、表示部分と非表示部分の画素値の差を小さくするための所定のオフセット値が加算され、非表示部分が、表示部分と非表示部分の画素値の差が小さくなるように所定の大きさになされているとともに、OSD画像の表示条件（例えば、明細書中のＤ乃至Ｉのパラメータ）が組み込まれたOSD画像データが圧縮方式で圧縮された圧縮OSD画像データを記憶し（例えば、図２の制御パラメータレジスタ１４に記憶し）、復元手段は、圧縮OSD画像データを復号するとともに、そのMSBの値に基づいて表示部分または非表示部分の判別を行い、表示部分からオフセット値を減算して、復元OSD画像データを生成し、合成手段は、復元手段により復号されたデータのMSBの値に基づいて表示部分または非表示部分の判別を行い、復元OSD画像データの表示部分および非表示部分に、OSD画像の表示条件に合うように所定の処理を施し、OSD画像を主画像に合成することができる。
【００２５】
復元手段は、第１の圧縮OSD画像データ記憶手段に記憶されている圧縮OSD画像データを、合成手段での合成処理の単位（マクロブロック単位またはラインスキャン順）に応じた単位毎（例えば、マクロブロック単位毎または８ライン単位毎）に読み出して、第２の圧縮OSD画像データ記憶手段（例えば、図２の圧縮OSD画像データメモリ１２）に記憶させ、第２の圧縮OSD画像データ記憶手段に記憶された圧縮OSD画像データからOSD画像データを復元することができる。
【００２６】
本発明によれば画像処理方法が提供される。この画像処理方法は、第１の圧縮OSD画像データ記憶部に記憶されている、MSBに、表示部分または非表示部分であることを示す判別フラグが設定されているOSD画像データが非可逆な圧縮方式で圧縮された圧縮OSD画像データを復号して、OSD画像データを復元する復元ステップ（例えば、図７のステップＳ６）と、復元ステップの処理で復元されたデータのMSBの値に基づいて表示部分または非表示部分の判別を行い、復元された復元OSD画像データの表示部分および非表示部分に、所定の処理を施して、OSD画像を主画像に合成する合成ステップ（例えば、図７のステップＳ７）とを含むことを特徴とする。
【００２７】
図２は、本発明を適用した画像機器（カムコーダ、デジタルスチルカメラ、ビデオレコーダ、テレビジョン受像機等）の画像処理部の構成例を示している。この画像処理部は、JPEG方式で圧縮されたOSD画像データを適宜復号して、主画像に合成する。
【００２８】
圧縮OSD画像データメモリ２には、例えば、Y/C4:2:2構造のOSD画像データがJPEG方式で圧縮された圧縮OSD画像データ（図３中、陰が付されているOSD画像ＶOSD）が記憶されている。
【００２９】
なお、元のOSD画像データの各画素のＹ成分またはＣ成分データのMSB（most significant bit）には、表示部分ＶOSD-Dであるか非表示部分ＶOSD-Hであるかを表す判別フラグ（表示部分ＶOSD-Dには１、非表示部分ＶOSD-Hには０）が設定されている。
【００３０】
図４Ａには、１マクロブロック分のOSD画像データが示されているが、OSD画像ＶOSDの画素データの語長は８ビットで、非表示部分ＶOSD-Hが、００ｈ乃至７Ｆｈの範囲、表示部分ＶOSD-Dが、８０ｈ乃至ＦＦｈの範囲の128階調のデータとなるので、図中陰が付されている００ｈは非表示部分ＶOSD-Hであり、陰が付されていない９Ｆｈは表示部分ＶOSD-Dである。なお、MSBは判別フラグであるので、表示部分の、Ｙ成分またはＣ成分として有効なデータは、図４Ａの場合１Ｆｈであり、実際に表示されるデータは、その２倍の３Ｅｈ（１Ｆｈを１ビットシフトしたもの）となる。
【００３１】
ところで、OSD画像データのMSBに判別フラグが設定されていることから、OSD画像を主画像に合成する際、OSD画像データのMSBが参照されて、その値によって表示／非表示部分の判別がされるが、JPEG方式の非可逆性により誤差が発生し、OSD画像データが完全に元に戻らない場合がある。したがって誤差の大きさによっては画素データのMSBが反転しまう場合がありこのとき、表示／非表示部分の判別が間違ってなされてしまう（例えば、表示部分の８０ｈが、誤差により7ＦｈとなりMSBが反転すると、非表示部分と判別されてしまう）。
【００３２】
図４の例では、図４Ｂ中の×印が付された画素データのMSBが反転し、それらは本来表示部分だった部分が非表示部分に、また非表示部分であった部分が表示部分に誤判別される。
【００３３】
非可逆性による誤差は、JPEG圧縮方式の特性から、画像データが急激に変化する周辺で発生しやすいことが知られている。表示部分と非表示部分は、MSBが異なるので、データの大きさという観点からみれば、その境は大きなデータ変化があり、誤差が発生しやすい。
【００３４】
したがって、例えば、図４Ａの表示部分（９Ｆｈ）（陰が付されてない部分）に、図５Ａに示すように、１０ｈのオフセット値を加算し、非表示部分との差を減少させると、非可逆性による誤差を減少させることができ、その結果、図５Ｂに示すように、MSBの反転を、図４Ｂに比べ減少させることができる（×印が付されているデータの数が、１９個から１０個に減少している）。
【００３５】
また、図５Ａの非表示部分（図中、陰が付されている部分）を、図６Ａに示すように、７８ｈという大きな値にすることで、表示部分と非表示部分の差を、ＡＦｈから３７ｈにさらに減少させると、図６Ｂに示すように、MSBの反転をさらに減少させることができる（図６Ｂの例では、MSBの反転は起こっていない）。
【００３６】
そこで本発明では、元のOSD画像データの表示部分にオフセット値（１０ｈ）を加算したり、または非表示部分を大きな値（７８ｈ）とし、MSBの反転を防止し、表示／非表示部分の判別が正確になされるようにしている。非表示部分の値は、大きければ大きいほど、表示部分との差が小さくなるので、誤差発生防止の効果は大きいが、あまり大きいと小さな誤差でもMSBが反転してしまうので、適当な値を選択する必要がある。
【００３７】
またJPEG規格のフォーマットでは、フレームヘッダの前段に、所定のテーブル等が格納される領域が設けられているが、本発明ではその領域に、ユーザアプリケーションデータで利用するデータを表す所定のマーカーコード（この例の場合、FFE0乃至FFEFのうちのEEF0）を付して、判別フラグがＹ成分またはＣ成分のいずれに設定されているかを示す情報（以下、判別フラグ情報と称する）（1ビット）、および表示部分に加算されたオフセット値を示す情報（以下、誤判別防止用オフセット値情報と称する）（5ビット）の他、後述するOSD画像の表示条件等の制御パラメータを格納するようにしている。
【００３８】
すなわち圧縮OSD画像データメモリ２に記憶される圧縮OSD画像データは、Ｙ成分またはＣ成分のいずれか一方のMSBに判定フラグが設定され、表示部分にオフセット値が加算され、非表示部分は所定の大きさにされ、そして制御パラメータが組み込まれたOSD画像データがJPEG方式で圧縮されたものである。
【００３９】
図２に戻り、主画像データ出力部３は、画像機器が、テレビジョン受像機、ビデオデッキ、ビデオカメラ等を構成している場合、チューナにより受信された放送の画像、ビデオテープに記録されている画像、または撮像部により撮像された画像（例えば、図３に示す主画像Ｖｍ）を出力し、OSD回路４に出力する。
【００４０】
OSD回路４は、システムコントローラ１からの指令に従って、主画像データ出力部３から出力された主画像をそのまま出力したり、圧縮OSD画像データメモリ２に記憶されている圧縮OSD画像データからOSD画像データを復元し、それに対応するOSD画像（図３中、陰が付されていないOSD画像ＶOSD）を主画像（主画像Ｖm）に合成する。OSD画像が合成された画像は、図示せぬ表示部に出力されて表示される。
【００４１】
詳細は後述するが、OSD回路４は、圧縮OSD画像データからOSD画像データを復元する際、圧縮OSD画像データメモリ２から圧縮OSD画像データを読み込んで復号するとともに、OSD画像データに組み込まれている制御パラメータを抽出する。OSD回路４は、抽出した制御パラメータの中の、判別フラグ情報を参照し、その情報に示されるＹ成分またはＣ成分のMSBの値に基づいて、OSD画像の表示／非表示部分の判別を行う。そしてOSD回路４は、制御パラメータの中の、誤判別防止用オフセット値情報を参照し、その情報が示すオフセット値を、表示部分から減算してOSD画像データを生成する（復元する）。
【００４２】
OSD回路４は、制御パラメータの中の、OSD画像の表示条件を参照し、その条件に合うようにOSD画像を主画像に合成する（OSD画像の表示部分が主画像に上書き表示され、非表示部分が表示されず、その部分に対応する主画像が透けてみるようにOSD画像を主画像に合成する）。
【００４３】
システムコントローラ１は、各部を制御する。
【００４４】
次に、OSD回路４の構成について説明する。
【００４５】
メモリコントローラ１１は、圧縮OSD画像データメモリ２に記憶されている圧縮OSD画像データを、メモリバス１７を介して圧縮OSD画像データメモリ１２に転送する。圧縮OSD画像データメモリ１２は、例えばRAM（Random Access Memory）であり、メモリコントローラ１１から転送された圧縮OSD画像データを記憶する。
【００４６】
なお、圧縮OSD画像データメモリ２から圧縮OSD画像データメモリ１２への圧縮OSD画像データの転送は、後述するOSD画像合成処理部１６でのOSD画像を主画像に合成する処理が連続してなされるように行われる。後述する復号部１３の処理がOSD画像合成処理部１６のOSD画像合成処理と同等以上の速度で行われる場合、例えば、OSD画像合成処理が、マクロブロック毎に行われるとき、圧縮OSD画像データは、マクロブロック毎に圧縮OSD画像データメモリ１２に転送される。またOSD画像合成処理が、ラインスキャン順で行われるとき、８ライン分のOSD画像データが準備されていればよいので、８ライン単位で転送される。これにより、OSD画像合成処理が連続して行うことができる分のOSD画像データが復号部１３により適宜復元され、OSD画像合成処理部１６に供給することができる。
【００４７】
一方、圧縮OSD画像データメモリ２へのアクセスする回数を制限したい場合、１枚のOSD画像の圧縮画像データを１度に圧縮OSD画像データメモリ１２に転送することもできる。この場合、上述したように所定の単位毎の転送に比べ圧縮OSD画像データメモリ１２に記憶されるデータ量は大きくなるが、そこに記憶されるのは圧縮データであるので、圧縮OSD画像データメモリ１２の記憶容量を比較的小さく抑えることができる。
【００４８】
システムコントローラ１乃至OSD回路４が、１つのLSIシステムの一部として構築され、そのLSIがOSD機能の他、多様な機能を有し、圧縮OSD画像データメモリ２へのアクセスが頻繁に行われると、LSI全体の処理速度が低下してしまう場合、圧縮OSD画像データメモリ２へのアクセスを低減させる必要がある。このような場合、１枚分の圧縮ＯＳＤ画像データを１度に圧縮OSD画像データメモリ１２に転送し、圧縮OSD画像データメモリ２へのアクセスがされる。
【００４９】
復号部１３は、圧縮OSD画像データメモリ１２に記憶されている圧縮OSD画像データを読み出し、それをJPEG規格に準拠して復号するとともに、OSD画像データに組み込まれている制御パラメータを抽出し、制御パラメータレジスタ１４に記憶させる。
【００５０】
制御パラメータは、以下のようものである。
Ａ．制御パラメータの長さ（この例の場合、FFE0のマーカーコードに続く制御パラメータ全体の長さ）
Ｂ．判別フラグ情報（１ビット）
Ｃ．誤判別防止用オフセット値情報（５ビット）
Ｄ．OSD画像合成が開始される主画像の位置（Ｈ方向、２画素単位）（１１ビット）
Ｅ．OSD画像合成が開始される主画像の位置（Ｖ方向）（１１ビット）
Ｆ．OSD画像のゲイン（Ｙ／Ｃ各８ビット）
Ｇ．OSD画像の表示部分の表示比率情報（例えば、OSD画像が100%主画像に上書きされるか（主画像が全く見えない状態に表示部分が表示されるか）、またはOSD画像が70%主画像に上書きされ主画像が30%表示される等の情報。OSD画像が複数ある場合、それらの表示比率の情報）（８ビット）
Ｈ．非表示部分に対応する主画像の表示比率（非表示部分に対応する主画像が100%で表示されるか、または70%表示されるか等の情報）（８ビット）
Ｉ．OSD画像が複数存在する場合において、その表示が重なるとき、前面に表示されるOSD画像のプライオリティ（４ビット）
【００５１】
復号部１３は、抽出したこれらの制御パラメータの中の、判別フラグ情報を参照し、その情報が示すＹ成分またはＣ成分のMSBの値に基づいて、OSD画像の表示／非表示部分の判別を行う。
【００５２】
そして復号部１３は、制御パラメータの中の、誤判別防止用オフセット値情報を参照し、その情報が示すオフセット値を、判別した表示部分から減算し（MSBを除いたビット計算で減算し）、OSD画像データを復元する。復号部１３は、復元したOSD画像データをOSD画像データメモリ１５に供給する。
【００５３】
OSD画像データメモリ１５は、FIFO形式のRAMで構成されており、復号部１３から供給されたOSD画像データを記憶する。
【００５４】
OSD画像データメモリ１５に記憶されるOSD画像データの量は、上述したように、圧縮OSD画像データが、マクロブロック単位で圧縮OSD画像データメモリ１２に転送される場合は、その分の復号データが記憶され、８ライン単位で転送される場合、その分の復号データが記憶される。
【００５５】
なおJPEG規格に準拠した復号でライン方向のデータを揃えるには、ライン方向にわたるすべてのマクロブロックが復号されていなければならないので、OSD画像合成処理がラインスキャン順に行われる場合、マクロブロック単位で行われる場合に比べ、多くの復号データが必要となる。その結果この場合、OSD画像データメモリ１５には多くのOSD画像データが記憶されるので、その記憶容量を大きくしておく必要がある。
【００５６】
OSD画像合成処理部１６は、制御パラメータレジスタ１４に記憶されている制御パラメータの中の、判別フラグ情報およびOSD画像の表示条件（上述した制御パラメータの例では、Ｄ乃至Ｉのパラメータ）を参照し、表示条件に合うようにOSD画像を主画像に合成する（OSD画像の表示部分が主画像の上書き表示され、非表示部分が表示されず、その部分の主画像が透けてみるようにOSD画像を主画像に合成する）。
【００５７】
次に、OSD回路４の動作を、図７のフローチャートを参照して説明する。
【００５８】
ステップＳ１において、OSD回路４のメモリコントローラ１１は、システムコントローラ１から、OSD画像合成の指令が入力されるまで待機し、その指令が入力されたとき、ステップＳ２に進み、圧縮OSD画像データメモリ２に記憶されている圧縮OSD画像データの、圧縮OSD画像データメモリ１２への転送を開始する。圧縮OSD画像データメモリ１２は、転送されてきた圧縮OSD画像データを記憶する。
【００５９】
圧縮OSD画像データの転送は、OSD画像処理部１６のOSD画像処理の処理単位に応じた単位（マクロブロック単位または８ライン単位）毎に行われる。
【００６０】
次に、ステップＳ３において、復号部１３は、圧縮OSD画像データメモリ１２に記憶された圧縮OSD画像データのフレームヘッダ部分を含む先頭部分を復号し、ステップＳ４において、フレームヘッダの前段に格納されている制御パラメータ（上述した例では、Ａ乃至Ｉのパラメータ）を抽出し、それを制御パラメータレジスタ１４に記憶させる。なお制御パラメータの検出は、FFE0のマーカーコードを検出し、それに続く所定量のデータを制御パラメータとして認識することで行われる。
【００６１】
復号部１３またこのとき、制御パラメータを抽出した旨をOSD画像合成処理部１６に通知する。これにより、ステップＳ５において、OSD画像合成処理部１６は、制御パラメータの中の、OSD画像合成が開始される主画像の位置を示す情報に示される主画像が入力されたか否かの判定を開始する。
【００６２】
なお、主画像データ出力部３から出力される主画像データには同期信号が含まれているので、OSD画像合成処理部１６は、その同期信号をカウントすることにより主画像の位置を検出することができる。
【００６３】
ステップＳ５で、OSD画像合成が開始される主画像が入力されたと判定されたとき、ＯＳＤ画像合成処理部１６は、その旨を、復号部１３に通知する。これにより、ステップＳ６において、復号部１３は、圧縮OSD画像データメモリ１２に記憶されている圧縮OSD画像データ（ステップＳ３で復号されていない残りの部分）の復号を開始する。復号部１３はこのときまた、制御パラメータレジスタ１４に記憶されている制御パラメータの中の、判別フラグ情報を参照し、その情報に示されるＹ成分またはＣ成分のMSBの値に従って、表示／非表示部分の判別を行う。
【００６４】
そして復号部１３は、制御パラメータの中の、誤判別防止用オフセット値を表す情報を参照し、その情報が示すオフセット値を、判別した表示部分から減算し、OSD画像データを生成する。なお、オフセット値を減算する際には、桁上がり／桁下がりを抑制するためのオーバーフロー／アンダーフローリミッタをかけることができる。
【００６５】
図５Ｂの例の場合、図５Ｃに示すようなOSD画像データが生成され、図６Ｂの例の場合、図６Ｃに示すようなOSD画像データが生成される。
【００６６】
復号部１３は、このように生成したOSD画像データを、OSD画像データメモリ１５に供給して記憶させる。
【００６７】
次に、ステップＳ７において、OSD画像合成処理部１６は、OSD画像データメモリ１５に記憶されているOSD画像データに対応する画像の主画像に対する合成を開始する。
【００６８】
このときOSD画像合成処理部１５は、制御パラメータレジスタ１４に記憶されている制御パラメータの中の、判別フラグ情報を参照し、復号部１３により復号されたデータの情報が示すＹ成分またはＣ成分のMSBの値に従って、表示／非表示部分の判別を行う。
【００６９】
そしてOSD画像合成処理部１６は、制御パラメータの中のOSD画像の表示条件（上述した例では、Ｆ乃至Ｉのパラメータ）を参照し、その条件に合ったOSD画像が表示されるように、OSD画像データメモリ１５に記憶されているOSD画像データの表示部分および非表示部分に対して所定の画像処理を施す。
【００７０】
例えば、OSD画像のゲイン（Y/C各8bit）（Ｆのパラメータ）の係数を、整数部と小数部からなる係数αとし、 OSD画像の表示部分の表示比率(8bit)（Ｇのパラメータ）を、整数部（1bit）と小数部（7bit）からなり、0≦β≦1 の係数βとし、非表示部分に対応する主画像の表示比率（8bit）（Ｈのパラメータ）を、整数部と小数部からなる係数γとすると、合成されるOSD画像の表示部分ＶOSD-Dと非表示部分ＶOSD-Hの画素値は、以下のようになる。
表示部分ＶOSD-Dの画素値＝（1−β）Ｖmの画素値＋αβＶOSDの画素値
非表示部分ＶOSD-Hの画素値＝γＶmの画素値
【００７１】
すなわちOSD画像の表示部分の表示比率と非表示部分に対応する主画像の表示比率は、この例の場合、127段階で設定でき、これらの比率を、そのままブレンディングの係数として適用することができる。
【００７２】
なおOSD画像自体の大きさは、JPEG規格で定められているフレームヘッダに続くデータ内に格納されているので、その情報が参照されて、OSD画像の大きさは決定される。
【００７３】
以上のようにしてOSD画像合成処理が行われる。
【００７４】
なお、メモリコントローラ１１は、圧縮OSD画像データメモリ２に記憶されている圧縮OSD画像データの全てを圧縮OSD画像データメモリ１２に転送したとき、またはシステムコントローラ１からOSD画像合成の終了指令が入力されたとき、ステップＳ２で開始したデータ転送処理を終了する。復号部１３は、メモリコントローラ１１によるデータ転送が終了し、圧縮OSD画像データメモリ１２の記憶されたデータの全てを復号したとき、ステップＳ６で開始したOSD画像データ復元処理を終了する。OSD画像合成処理部１６は、復号部１３のOSD画像データ復元処理が終了し、OSD画像データメモリ１５に記憶されたOSD画像データのすべてを合成したとき、ステップＳ７で開始したOSD画像合成処理を終了する。
【００７５】
以上のように、Ｙ成分またはＣ成分のMSBに判別フラグを設定し、そのフラグ（１ビット）に基づいて、OSD画像の表示／非表示部分の判別を行うようにしたので、表示／非表示部分の判別を容易に行うことができる。
【００７６】
また、誤判別防止用オフセット値を、OSD画像の表示部分に加算し、または非表示部分の値を大きくして、表示部分と非表示部分の差を小さくし、JPEG圧縮方式の非可逆性による誤差発生を減少させ、MSBの反転が抑制されるようにしたので、表示／非表示部分の判別を適切に行うことができる。
【００７７】
また、判別フラグ情報、誤判別防止用オフセット値情報、およびOSD画像の表示条件等を画像データに組み込むようにしたので、外部から、それらの情報を取得する必要がなく、その結果、OSD画像合成処理を迅速に行うことができる。
【００７８】
また、圧縮OSD画像データメモリ１２への圧縮OSD画像データの転送は、OSD画像合成処理の処理単位に応じた単位毎に行われるので、１枚分の圧縮OSD画像データの転送を１度に行う場合に比べ、圧縮OSD画像データメモリ１２のメモリ容量を小さくすることができる。またOSD画像データメモリ１５には、圧縮OSD画像データメモリ１２に転送されて記憶された圧縮OSD画像データから復元されたOSD画像データが記憶されるので、同様に、１枚分のOSD画像データを記憶する場合に比べ、メモリ容量を小さくすることができる。
【００７９】
また、制御パラメータレジスタ１４は、システムコントローラ１と図示せぬ制御バスを介して接続され、システムコントローラ１１によるリードライトが可能となっている。すなわちOSD画像データから抽出された制御パラメータに代えて、システムコントローラ１が設定したパラメータでOSD画像合成処理を行わせることもできる。
【００８０】
また、圧縮OSD画像データメモリ１２乃至OSD画像データメモリ１５を、それぞれ複数組み設けて、それらを並列に動作させることにより、複数のOSD画像の合成を行うことができる。例えば、図８に示すように、２組みの圧縮OSD画像データメモリ１２−１乃至OSD画像データメモリ１５−１および圧縮OSD画像データメモリ１２−２乃至OSD画像データメモリ１５−２を設ければ、図９に示すように、２個のOSD画像ＶOSD１（図３に示すOSD画像ＶOSDと同じ）、OSD画像ＶOSD２の合成を行うことができる。
【００８１】
なお、図８の例では、圧縮OSD画像データメモリ１２乃至OSD画像データメモリ１５がそれぞれ２組み設けられているが、圧縮OSD画像データメモリ１２とOSD画像データメモリ１５はそれぞれ別個に設けるが、復号部１３と制御パラメータレジスタ１４は１個で共有する構成とすることもできる。
【００８２】
図１０は、上述のようなOSD回路４として機能するコンピュータ１０１の一実施の形態の構成を示すブロック図である。CPU（Central Processing Unit）１１１にはバス１１５を介して入出力インタフェース１１６が接続されており、CPU１１１は、入出力インタフェース１１６を介して、ユーザから、キーボード、マウスなどよりなる入力部１１８から指令が入力されると、例えば、ROM（Read Only Memory）１１２、ハードディスク１１４、またはドライブ１２０に装着される磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、若しくは半導体メモリ１３４などの記録媒体に格納されているプログラムを、RAM（Random Access Memory）１１３にロードして実行する。これにより、上述した各種の処理（例えば、図７のフローチャートで示した処理）が行われる。さらに、CPU１１１は、その処理結果を、例えば、入出力インタフェース１１６を介して、LCD（Liquid Crystal Display）などよりなる表示部１１７に必要に応じて出力する。なお、プログラムは、ハードディスク１１４やROM１１２に予め記憶しておき、コンピュータ１０１と一体的にユーザに提供したり、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３，半導体メモリ１３４等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部１１９を介してハードディスク１１４に提供することができる。
【００８３】
このように、OSD回路４の機能をコンピュータ１０１で実行することができるようにすることにより、圧縮OSD画像データメモリ２に記憶する圧縮OSD画像データにおけるOSD画像表示を簡単にシミュレーションすることができるので、OSD画像の表示条件等を効率よく決定することができる。なお、OSD回路４を構成するハードウエアを利用してシミュレーションすることもできる。
【００８４】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【００８５】
【図１】OSD画像合成について説明する図である。
【図２】本発明を適用した画像処理部の構成例を示すブロック図である。
【図３】図２の画像処理部のOSD画像合成処理を説明する図である。
【図４】図２の圧縮OSD画像データメモリに記憶される圧縮データを説明する図である。
【図５】図２の圧縮OSD画像データメモリに記憶される圧縮データを説明する他の図である。
【図６】図２の圧縮OSD画像データメモリに記憶される圧縮データを説明する他の図である。
【図７】図２のOSD回路の動作を説明するフローチャートである。
【図８】本発明を適用した画像処理部の他の構成例を示すブロック図である。
【図９】図８の画像処理部のOSD画像合成処理を説明する図である。
【図１０】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【００８６】
１  システムコントローラ，  ２  圧縮OSD画像データメモリ，  ３  主画像データ出力部，  ４  OSD回路，  １１  メモリコントローラ，  １２  圧縮OSD画像データメモリ，  １３  復号部，  １４  制御パラメータレジスタ，  １５  ＯＳＤ画像データメモリ，  １６  ＯＳＤ画像合成処理部，  １０１  パーソナルコンピュータ
【図１】
2005107393.tif 000003
【図２】
2005107393.tif 000004
【図３】
2005107393.tif 000005
【図４】
2005107393.tif 000006
【図５】
2005107393.tif 000007
【図６】
2005107393.tif 000008
【図７】
2005107393.tif 000009
【図８】
2005107393.tif 000010
【図９】
2005107393.tif 000011
【図１０】
2005107393.tif 000012