(57)【特許請求の範囲】
【請求項１】
水平ｎ画素×垂直ｍ画素（ｎ、ｍはそれぞれ自然数）からなる、画素配列がデルタ配列である表示装置に画像信号を出力する画像信号処理装置であって、
輝度信号と色差信号とを含む画像信号を入力する入力手段と、
メモリと、
前記入力手段により入力された画像信号の水平方向の画素数を２ｎ画素に変換し、前記画素数が変換された画像信号を前記メモリに記憶する第１の変換手段と、
前記第１の変換手段により前記メモリに記憶された画像信号を読み出し、前記読み出した画像信号の画素を前記表示装置の画素配列に応じてサンプリングすることにより前記読み出した画像信号の水平方向の画素数をｎ画素に変換すると共に、前記読み出した画像信号の垂直方向の画素数をｍ画素に変換する第２の変換手段と、
前記第２の変換手段から出力された画像信号を、前記表示装置の画素に対応したレッド、グリーン、ブルーの色成分信号に変換する色変換手段と、
前記色変換手段から出力された色成分信号を前記表示装置の画素配列に応じて重心補正し、前記重心補正された色成分信号を前記表示装置に出力する補正手段とを備え、
前記第２の変換手段は、前記色変換手段から出力された色成分信号におけるグリーンの画素位置が前記表示装置における偶数ラインと奇数ラインそれぞれのグリーンの画素位置に対応するように、サンプリングする画素の位置を隣接するライン間で異ならせ、
前記補正手段は、前記色変換手段から出力された色成分信号における、レッド及びブルーの色成分信号の重心を、前記表示装置におけるそれぞれの色成分信号の画素位置に応じて補正することを特徴とする画像信号処理装置。
【請求項２】
前記入力された画像信号に多重して表示するためのオンスクリーンディスプレイ信号を出力する出力手段と、
前記出力手段から出力されたオンスクリーンディスプレイ信号と前記第２の変換手段から出力された画像信号とを多重する多重手段とを備え、
前記出力手段から出力されるオンスクリーンディスプレイ信号は輝度信号と色差信号からなり、前記出力手段から出力されるオンスクリーンディスプレイ信号の水平方向および垂直方向の画素数と画素位置は、前記第２の変換手段から出力される画像信号の水平方向および垂直方向の画素数及び画素位置とそれぞれ同じであることを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
前記出力手段は、オンスクリーンディスプレイ信号を入力する手段と、入力されたオンスクリーンディスプレイ信号の水平方向の画素数を２ｎ画素に変換し、前記画素数が変換されたオンスクリーンディスプレイ信号を前記メモリに記憶する第３の変換手段と、前記第３の変換手段により前記メモリに記憶されたオンスクリーンディスプレイ信号を読み出し、前記読み出したオンスクリーンディスプレイ信号の画素を前記表示装置の画素配列に対応してサンプリングすることにより、前記読み出したオンスクリーンディスプレイ信号の水平方向の画素数をｎ画素に変換すると共に、前記読み出したオンスクリーンディスプレイ信号の垂直方向の画素数をｍ画素に変換する第４の変換手段とを有し、
前記第４の変換手段はオンスクリーンディスプレイ信号を前記多重手段に出力することを特徴とする請求項２に記載の画像信号処理装置。
【請求項４】
前記表示装置が反転表示の状態にあるときは、前記第２の変換手段は、前記メモリから読み出した画像信号を通常表示の状態においてサンプリングする画素の位置と異なる位置の画素をサンプリングすることを特徴とする請求項１から３のいずれか１項に記載の画像信号処理装置。
【請求項５】
撮像手段と、
前記撮像手段により得られた画像信号を記録媒体に記録し、前記記録媒体から画像信号を再生する記録再生手段とを備え、
前記入力手段は、前記撮像手段により得られた画像信号および前記記録再生手段により記録媒体から再生された画像信号のいずれかを入力することを特徴とする請求項１から４の何れか１項に記載の画像信号処理装置。
【請求項６】
水平ｎ画素×垂直ｍ画素（ｎ、ｍはそれぞれ自然数）からなる、画素配列がデルタ配列である表示装置に画像信号を出力する画像信号処理方法であって、
輝度信号と色差信号とを含む画像信号を入力する入力ステップと、
前記入力ステップで入力した画像信号の水平方向の画素数を２ｎ画素に変換し、前記画素数が変換された画像信号をメモリに記憶する第１の変換ステップと、
前記第１の変換ステップで前記メモリに記憶した画像信号を読み出し、前記読み出した画像信号の画素を前記表示装置の所定の画素配列に応じてサンプリングすることにより前記読み出した画像信号の水平方向の画素数をｎ画素に変換すると共に、前記読み出した画像信号の垂直方向の画素数をｍ画素に変換する第２の変換ステップと、
前記第２の変換ステップで得られた画像信号を、前記表示装置の画素に対応したレッド、グリーン、ブルーの色成分信号に変換する色変換ステップと、
前記色変換ステップで得られた色成分信号を前記表示装置の画素配列に応じて重心補正し、前記重心補正された色成分信号を前記表示装置に出力する補正ステップとを備え、
前記第２の変換ステップは、前記色変換手段から出力された色成分信号におけるグリーンの画素位置が前記表示装置における偶数ラインと奇数ラインそれぞれのグリーンの画素位置に対応するように、サンプリングする画素の位置を隣接するライン間で異ならせ、
前記補正ステップは、前記色変換ステップで出力された色成分信号における、レッド及びブルーの色成分信号の重心を、前記表示装置におけるそれぞれの色成分信号の画素位置に応じて補正することを特徴とする画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像信号処理装置、画像信号処理方法、およびプログラムに関し、特に、画像信号の表示の処理に係わる装置、方法およびプログラムに関する。
【背景技術】
【０００２】
従来、動画を撮影し、記録媒体に対して記録再生するビデオカメラが知られている。ビデオカメラは液晶ディスプレイなどの表示装置を備え、撮影した被写体の画像や、記録媒体から再生した画像を表示装置に表示する構成をとるのが一般的である。また近年では、フルハイビジョンと呼ばれる、１フレームあたり横１９２０画素×縦１０８０画素の高精細な動画を撮影し、記録するビデオカメラも登場している。
【０００３】
液晶ディスプレイは、ＲＧＢのカラーフィルタ（画素）を規則的に並べた構造となっている。液晶ディスプレイの画素配列として、例えば、画面垂直方向にＲＧＢ各画素を列ごとにそろえて並べたストライプ配列や、１行おきに、ＲＧＢ各画素を水平方向に１．５画素ずらして並べたデルタ配列が知られている。デルタ配列の液晶パネルを用いたビデオカメラも知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2007-096472号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ビデオカメラやデジタルカメラなどの民生用機器では、小型化やコストなどの制約により、ＱＶＧＡ（水平３２０画素×垂直２４０画素）程度の液晶ディスプレイが用いられることが多い。そのため、撮影した画像の画素数を削減して表示している。
【０００６】
しかしながら、表示する画像がフルハイビジョンなどの多画素の画像である場合、表示される画像の画素数とディスプレイの画素数との比率が大きくなる。そのため、単に画素間引きにより画素数を削減してしまうと、折り返しノイズなどにより画質が劣化してしまう。
これを防ぐためには、高精度な補間フィルタなどの処理回路が必要となり、回路規模やコストの増加につながるという問題があった。
本発明はこの様な問題を解決することを目的とする。
【０００７】
また、本発明は、回路規模やコストの増加を抑えながら、高精細な画像を表示することができる画像信号処理装置の提供を目的とする。
【課題を解決するための手段】
【０００８】
上記本件発明の目的を達成するため、本件発明の画像信号処理装置は以下の構成を有する。すなわち、水平ｎ画素×垂直ｍ画素（ｎ、ｍはそれぞれ自然数）からなる、画素配列がデルタ配列である表示装置に画像信号を出力する画像信号処理装置であって、輝度信号と色差信号とを含む画像信号を入力する入力手段と、メモリと、入力された画像信号の水平方向の画素数を２ｎ画素に変換し、画素数が変換された画像信号をメモリに記憶する第１の変換手段と、第１の変換手段によりメモリに記憶された画像信号を読み出し、読み出した画像信号の画素を表示装置の所定の画素配列に応じてサンプリングすることにより読み出した画像信号の水平方向の画素数をｎ画素に変換すると共に、読み出した画像信号の垂直方向の画素数をｍ画素に変換する第２の変換手段と、第２の変換手段から出力された画像信号を、表示装置の画素に対応したレッド、グリーン、ブルーの色成分信号に変換する色変換手段と、色変換手段から出力された色成分信号を表示装置の画素配列に応じて重心補正し、重心補正された色成分信号を表示装置に出力する補正手段とを備え、第２の変換手段は、色変換手段から出力された色成分に信号におけるグリーンの画素位置が表示装置における偶数ラインと奇数ラインそれぞれのグリーンの画素位置に対応するように、サンプリングする画素の位置を隣接するライン間で異ならせ、補正手段は、色変換手段から出力された色成分信号における、レッド及びブルーの色成分信号の重心を、表示装置におけるそれぞれの色成分信号の画素位置に応じて補正することを特徴とする画像信号処理装置である。
【発明の効果】
【０００９】
本発明によれば、画素数の少ない表示装置に高画素数の画像を表示する場合に、回路規模やコストの増加を抑え、かつ画質の劣化も抑えながら、高精細な画像を表示することができる。特に、水平方向の隣接画素ライン間で画素配列がずれているデルタ配列の表示装置においても、回路規模やコストの増加を抑え、かつ画質の劣化も抑えながら、高精細な画像を画素数の少ない表示装置に表示することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態におけるビデオカメラの構成を示す図である。
【図２】図１のビデオカメラの表示制御部の構成を示す図である。
【図３】ディスプレイの画素配列を示す図である。
【図４】図２の表示制御部の水平方向変換部により変換された動画信号の画素位置を示す図である。
【図５】図２の表示制御部の垂直方向変換部によりサンプリングされた動画信号の画素位置を示す図である。
【図６】図２のＲＧＢ変換部により変換されたＲＧＢの色成分信号の画素位置と、画素重心を示す図である。
【図７】図２の重心補正部のオーバーサンプリングフィルタの構成及び周波数特性を示す図である。
【図８】反転表示の場合に図２の表示制御部の垂直方向変換部によりサンプリングされた動画信号の画素位置を示す図である。
【図９】反転表示の場合に図２のＲＧＢ変換部により変換されたＲＧＢの色成分信号の画素位置と、画素重心を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を説明する。図１は本発明の実施形態としてのビデオカメラ１００の構成を示す図である。なお、本件発明の適用は、撮像手段を有するカメラに限るものではなく、取得した高画素数の画像を画素数の少ない表示手段を有する他の装置、例えばＰＣや携帯機器にも適用できることは以下の説明から明らかである。
【００１２】
図１において、撮像部１０１は被写体を撮影して動画データを出力する。本実施形態では、撮像部１０１は、１フレームが水平１９２０画素×垂直１０８０画素で、毎秒６０フレームの動画信号を出力する。メモリ１０２は、撮像部１０１により得られた動画信号や符号化された動画信号、表示制御部１０３により処理される画像信号、或いは、動画像に多重して表示するためのオンスクリーンディスプレイ信号（ＯＳＤ信号）などを記憶する。表示制御部１０３は、撮影時には撮像部１０１により得られた動画信号に係る画像を表示部１０４に表示し、再生時には再生された動画信号に係る画像を表示する。また、表示制御部１０３は、メニュー画面等の各種のＯＳＤ情報を画像に多重して表示部１０４に表示する。
【００１３】
表示部１０４は、液晶ディスプレイやディスプレイドライバを有し、表示制御部１０３から出力された画像信号に応じて画像を表示する。本実施形態では、表示部１０４における液晶ディスプレイはデルタ配列の液晶ディスプレイで、その画素数は、水平３２０画素×垂直２４０画素である。また、表示部１０４のディスプレイは、ＲＧＢの三種類の色成分に対応した画素を有し、ＲＧＢの各画素についてそれぞれ水平方向に３２０画素を持つ。また、表示部１０４のディスプレイの各画素のアスペクトを、横１：縦１８０／２４０＝４：３としている。
【００１４】
図３に液晶ディスプレイの画素配列の様子を示す。３０１はストライプ配列を示している。また、３０２はデルタ配列を示している。３０２に示す様に、デルタ配列は、１ラインおきに、ＲＧＢの各画素が１．５画素ずれて配置される。本実施例は、画素配列がデルタ配列である表示装置に本件発明を適用した例であるが、画素配列がストライプ配列である表示装置であっても、後述のように適宜本件発明を適用することができる。
【００１５】
また、本実施形態では、表示部１０４が、ビデオカメラ１００の本体に対して回転できるように構成されている。そして、ユーザは、表示部１０４の向きを撮影者の方に向けるほか、表示部１０４を回転させて、被写体の方に向けることも可能である。被写体の方に向けた場合、表示部１０４の上限が逆になるので、画像はその上下の向きが反転されて表示される。
【００１６】
操作部１０５は、電源スイッチや撮影開始、停止の指示スイッチ、撮影モードと再生モードを切り替えるためのモードスイッチ、メニュー画面を操作するためのスイッチ等を備える。制御部１０６はマイクロコンピュータを有し、図示しないメモリに記憶されたプログラムに従ってビデオカメラ１００の各部を制御する。制御部１０６は操作部１０５からの指示に応じて各部を制御する。また、制御部１０６は、上記プログラムの制御に従ってＯＳＤ情報を生成し、メモリ１０２に記憶する。
【００１７】
記録信号処理部１０７は、記録時においては撮像部１０１により得られたフルハイビジョンの動画信号に対して決められた処理を施すと共に、Ｈ．２６４方式等の公知の符号化方式に従って符号化する。また、再生時においては、再生された動画信号を復号する。
【００１８】
記録再生部１０８は、記録媒体１０９に対して動画信号を記録し、また、記録媒体１０８から動画信号を再生する。記録媒体１０９は、フラッシュメモリカード等のランダムアクセス可能な記録媒体である。記録媒体１０９は、不図示の装着、排出機構により、ビデオカメラ１００に対して容易に交換可能である。また、記録再生部１０８は、ＦＡＴファイルシステム等の公知のファイルシステムに従い、記録媒体１０９に記録する各種のデータをファイルとして管理する。出力部１１０は、撮像部１０１により得られた動画信号や、再生された動画信号をビデオカメラ１００の外部の表示装置などに出力する。また、出力部１１０は、制御部１０６からの指示に従い、外部出力する動画信号に対し、ＯＳＤ信号を合成して出力する。データバス１１１は、各部の間でデータやコマンドを送受信する。
【００１９】
まず、撮影時の動作について説明する。操作部１０５により電源が投入されると、撮像部１０１により得られた動画信号はバス１１１を介してメモリ１０２に記憶される。表示制御部１０３は、後述の様にメモリ１０２に記憶された動画信号を表示部１０４の画素数にあわせて縮小し、撮影された被写体に係る動画像を表示部１０４に表示する。
【００２０】
この様な記録ポーズ状態で、操作部１０５により記録開始の指示があると、記録信号処理部１０７は、符号化処理に適した順序でメモリ１０２に記憶された動画信号を順次読み出す。そして、記録信号処理部１０７は、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣ方式に従ってメモリ１０２から読み出した動画信号を符号化し、再度メモリ１０２に記憶する。制御部１０６は各種の制御情報などをメモリ１０２に記憶し、符号化された動画信号に多重することにより、ストリームデータを生成する。そして、記録再生部１０８は、メモリ１０２に所定量のストリームデータが蓄積されたことに応じてメモリ１０２からデータを読み出し、記録媒体１０９に記録する。
【００２１】
これ以降、記録停止の指示があるまでの間、同様の処理を継続する。そして、記録停止の指示があると、記録媒体１０９に対するデータの記録を停止する。本実施形態では、記録開始の指示から記録停止の指示までの間に記録媒体１０９に記録された一連のシーンのデータ（クリップ）を一つの動画ファイルとして記録媒体上において管理する。また、記録再生部１０８は、制御部１０６の指示により、記録媒体１０９に記録された動画ファイル等のデータを管理するための管理情報を生成し、この管理情報を記録媒体の所定の領域に記録する。また、記録再生部１０８は、記録媒体１０９に記録された管理情報を、動画ファイルを生成、記録するごとに更新する。
【００２２】
次に、再生時の動作を説明する。本実施形態では、記録媒体１０９に記録された各クリップ（シーン）の代表画像の一覧を示すインデックス画面（後述する）を表示し、これら代表画面から所望のシーンを選択する。制御部１０６は、操作部１０５から再生モードへの切り替え指示があると、記録媒体１０９に記録された各動画ファイルのインデックス画面を表示部１０４に表示させる。記録再生部１０８は、インデックス表示の指示があると、記録媒体１０９に記録された各動画ファイルの先頭部分を読み出し、メモリ１０２に記憶する。記録信号処理部１０７はメモリ１０２に記憶された各動画信号の先頭部分を復号し、その先頭画面をメモリ１０２に記憶する。表示制御部１０３は、各動画ファイルの先頭画面を縮小し、メモリ１０２に記憶する。制御部１０６はメモリ１０２に記憶された縮小画面からなるインデックス画面を生成し、表示制御部１０３に出力する。表示制御部１０３は、インデックス画面を表示部１０４に表示する。ユーザは操作部１０５を操作して、表示部１０４に表示された代表画像のうち、所望のクリップの代表画像を選択する。
【００２３】
制御部１０６は、記録媒体１０９に記録された管理情報に基づいて記録再生１０８を制御し、ユーザが選択した代表画像に対応する動画ファイルを記録媒体１０９から再生する。再生された動画信号は一旦メモリ１０２に蓄積される。そして、記録信号処理部１０５はメモリ１０２から動画信号を読み出して復号し、メモリ１０２に送る。メモリ１０２に記憶された動画信号は、出力部１１０により外部のモニタなどの表示形態に適応した形態に変換されて出力される。また、表示制御部１０３は、インデックス画面に代えて、メモリ１０２に記憶された動画信号に係る動画像を表示部１０４に表示する。
【００２４】
次に、表示制御部１０３について説明する。表示制御部１０３は、撮影された動画信号、或いは、再生された動画信号の画素数を表示部１０４における液晶ディスプレイ装置の画素数（サイズ）にあわせて変換する。また、表示制御部１０３は、表示部１０４における液晶ディスプレイの画素配列である、デルタ配列に応じて、表示対象となる動画信号の各画素の重心を補正して表示部１０４に出力する。
【００２５】
図２（ａ）は表示制御部１０３の要部の構成を示す図である。図２（ａ）において、水平方向変換部２０１は、撮像部１０１から出力されて、または記録再生部１０８で記録媒体１０９から再生されてメモリ１０２に記憶された動画信号を読み出し、水平方向の画素数を減少してメモリ１０２に記憶する。撮像部１０１から出力された動画信号、或いは、再生された動画信号は、１フレームが水平１９２０画素×垂直１０８０画素である。また、撮像部１０１からの動画信号と再生動画信号は、輝度信号Ｙと二つの（複数）色差信号Ｃｒ，Ｃｂからなる。また、本実施形態では、撮像部１０１からの動画信号と再生動画信号は、輝度信号Ｙと色差信号Ｃｒ，Ｃｂとの画素の比率が２：１となっている。即ち、各水平ラインの輝度信号Ｙに対し、Ｃｒ，Ｃｂはそれぞれ１画素おきにサブサンプルされた状態で出力され、メモリ１０２に記憶される。従って、撮像部１０１からの動画信号或いは再生動画信号における輝度信号Ｙの水平画素数は１９２０画素で、色差信号Ｃｒ，Ｃｂの水平画素数はそれぞれ９６０画素となる。
【００２６】
具体的には、水平方向変換部２０１は帯域制限フィルタとサブサンプル回路を有し、メモリ１０２に記憶された動画信号を読み出してその周波数帯域を制限する。そして、輝度信号Ｙと色差信号Ｃｒ，Ｃｂそれぞれについて、水平方向の画素数を、表示部１０４の液晶ディスプレイの水平画素数３２０画素の２倍である６４０画素に変換する。
【００２７】
本実施形態では、液晶ディスプレイの画素数にあわせて、撮像部１０１からの元の動画信号の水平画素数１９２０画素を、その１／６の３２０画素に変換する。そして、本実施形態では、水平画素数１９２０画素から直接３２０画素に変換するのではなく、デルタ配列のディスプレイに適した動画を生成するため、一旦、ディスプレイの水平画素数３２０画素の２倍の６４０画素に変換する。このとき、画素間引きのための帯域制限フィルタとしてのＬＰＦのカットオフ周波数を、撮像部１０１からの動画信号の周波数の１／６から１／３の間に設定する。通常、画素数を１／６に減少する場合、周波数帯域も低域通過フィルタを用いて１／６に制限するが、本実施形態では１／６から１／３の間の帯域に設定する。１／６は入力動画信号の水平画素数に対するディスプレイの水平画素数の比率であり、１／３は入力動画信号の画素数に対するディスプレイの水平画素数の２倍の画素数の比率である。このように、入力画像の水平画素数と表示画素数との比を入力画像の周波数に掛けた周波数よりも高い周波数を帯域制限フィルタの制限周波数帯域として設定している。これにより、ディスプレイに表示される動画の解像感を高くしながら、折り返し雑音を低減することができる。なお、水平方向変換部２０１における帯域制限フィルタの制限周波数帯域は、制御部１０６が指示することにより変更することができる。
【００２８】
水平変換部２０１は、このように低域制限を施した後、動画信号の画素をサブサンプルすることにより、水平画素数を６４０画素に変換する（第１の変換）。ここで、輝度信号Ｙについては１９２０画素を３画素ごとに２画素を間引いて６４０画素に変換する。また、色差信号Ｃｒ，Ｃｂについては、入力動画信号の水平画素数９６０画素を一旦２倍の画素数１９２０画素に変換した後で帯域制限フィルタにより帯域制限し、その後、３画素ごとに２画素を間引いて６４０画素に変換する。そして、水平方向変換部２０１は、画素数を変換した動画信号をメモリ１０２に記憶する。このように、水平方向変換部２０１からの動画信号は、水平６４０画素×垂直１０８０画素となる。
【００２９】
図４に、水平方向変換部２０１からの動画信号の１フレームの様子を示す。図４（ａ）は輝度信号Ｙの様子を示し、図４（ｂ）、（ｃ）はそれぞれ色差信号Ｃｒ，Ｃｂの様子を示す。また、図４における各画素の数字は１フレームにおける各画素の位置を示す。図４に示す様に、水平方向変換部２０１からの動画信号では、互いに同じ位置に輝度信号Ｙと色差信号Ｃｒ，Ｃｂが存在する。
【００３０】
次に、垂直方向変換部２０２は、水平方向変換部２０１により水平画素数が６４０画素に変換された動画信号をメモリ１０２から読み出す。そして、垂直方向変換部２０２は、読み出した動画信号の水平方向の画素数を、帯域を維持したまま更に１／２に減少した後、垂直方向の画素数をディスプレイの画素数に合わせて２４０画素に減少して画質調整部２０３に出力する（第２の変換）。
【００３１】
本実施形態では、垂直方向変換部２０２がメモリ１０２から読み出した動画信号の水平画素を１／２に変換する際、ディスプレイの画素配列に対応じてサンプリングする画素の位置を決めている。即ち、図５に示す様に、図３のデルタ配列３０２に対応して、輝度信号Ｙと色差信号Ｃｒ，Ｃｂについて、１ラインごとに水平方向のサンプリング位置をずらしている。図５（ａ）は輝度信号Ｙのサンプリング位置を示している。図５（ａ）より明らかな様に、偶数ライン０、２・・・については２画素目、４画素目、６画素目・・というように１画素おきにサンプリングされる。一方、奇数ライン１、３・・・については１画素目、３画素目、５画素目・・・というように１画素おきにサンプリングされる。このように、サンプリングされる画素の位置が偶数ラインと奇数ラインとで異なっている。図５（ｂ）、（ｃ）も同様に、色差信号Ｃｒ，Ｃｂのサンプリング位置を示している。表示部１０４の画素配列がストライプ配列の場合は、すべてのラインについて同じサンプリング位置を設定すればよい。
【００３２】
垂直方向変換部２０２は、垂直方向の帯域制限フィルタ及び画素補間のための空間フィルタを備えている。そして、垂直方向変換部２０２は、このようにサンプリングされた動画信号に対して、帯域制限フィルタにより垂直方向に周波数帯域を制限する。１０８０画素を２４０画素に変換するため、帯域制限フィルタのカットオフ周波数は元の動画信号の２／９とする。更に、垂直方向変換部２０２は、空間フィルタにより垂直方向画素数１０８０画素を２４０画素に変換するための画素補間を行い、次いで垂直方向に画素を間引くことにより垂直方向画素数１０８０画素を２４０画素に変換する。このように変換された動画信号が画質調整部２０３に出力される。
【００３３】
画質調整部２０３は、制御部１０６からの指示により垂直方向変換部２０２からの動画信号に対し、所定の画像処理を施す。例えば、制御部１０６より画面の一部を明るくする指示があった場合には、指定された位置の画素を指示にあわせて変更する。画質調整部２０３で処理された動画信号は多重化部２０４に出力される。なお、実施例のビデオカメラのように、ＯＳＤ信号の生成、表示機能がない装置に本件発明を適用した場合は、多重化部を入力された画像信号がそのまま出力されるよう設定すればよい。また、ＯＳＤ信号処理に係わる構成および多重化部を適宜取り除いて本件発明の画像信号を構成しても本件発明の効果が損なわれるものではない。
【００３４】
次に、ＯＳＤ信号の処理について説明する。制御部１０６により生成されたＯＳＤ信号はメモリ１０２に記憶される。本実施形態では、ＯＳＤ信号の１フレームの画素数を、撮像部１０１からの動画信号の水平、垂直画素数のそれぞれ１／２である水平９６０画素×水平５４０画素とする。また、ＯＳＤ信号は輝度信号Ｙと色差信号Ｃｒ，Ｃｂとから構成される。ＯＳＤ信号の画素数は、輝度信号Ｙと色差信号Ｃｒ，Ｃｂ共に同じであるとする。なお、出力部１１０により動画信号のＯＳＤ信号を合成する場合には、メモリ１０２に記憶されたＯＳＤ信号の画素数を水平、垂直方向にそれぞれ２倍に増加した後に合成する。
【００３５】
水平方向変換部２０７は、制御部１０６からの指示に従ってメモリ１０２からＯＳＤ信号を読み出し、その水平方向の画素数を一旦１９２０画素に変換する。水平方向変換部２０７は帯域制限フィルタを有し、１９２０画素に変換されたＯＳＤ信号の周波数帯域を制限し、その後、水平方向の画素数を６４０画素に変換してメモリ１０２に記憶する（第３の変換）。
【００３６】
水平方向変換部２０７における帯域制限フィルタの制限周波数は、水平方向変換部２０１における帯域制限フィルタの制限周波数と同じとしている。なお、ＯＳＤ信号の解像感を動画と変えたい場合もあるので、制御部１０６により、動画信号の場合とは別にＯＳＤ信号の制限周波数を設定可能としている。水平方向変換部２０７により画素数が変換されたＯＳＤ信号は、水平６４０画素×垂直５４０画素であり、垂直画素数が５４０画素である以外は、図４の状態と同様である。
【００３７】
次に、垂直方向変換部２０８は、水平方向変換部２０７により水平画素数を６４０画素に変換されたＯＳＤ信号をメモリ１０２から読み出す。そして、垂直方向変換部２０８は、読み出したＯＳＤ信号の水平方向の画素数を更に１／２に減少した後、垂直方向の画素数をディスプレイの画素数に合わせて２４０画素に減少して多重化部２０４に出力する(第４の変換)。
【００３８】
垂直方向変換部２０８は、垂直方向変換部２０２と同様に、ＯＳＤ信号の水平画素を１／２に変換する際、ディスプレイの画素配列に応じてサンプリングする画素の位置を決定している。即ち、図５に示す様に、表示部１０４の画素配列がデルタ配列であることに対応して輝度信号Ｙと色差信号Ｃｒ，Ｃｂについて、１ラインごとに隣接するライン間で水平方向のサンプリング位置をずらしている。なお、表示部１０４の画素配列がストライプ配列の場合は、動画信号と同様に、すべてのラインについて同じサンプリング位置を適用すればよい。
【００３９】
また、垂直方向変換部２０８は、垂直方向の帯域制限フィルタ及び画素補間のための空間フィルタを備えている。そして、垂直方向変換部２０８は、上述のようにサンプリングされたＯＳＤ信号に対して、帯域制限フィルタにより垂直方向に周波数帯域を制限する。垂直画素数５４０画素を２４０画素に変換するため、帯域制限フィルタのカットオフ周波数は元の動画信号の４／９とする。更に、垂直方向変換部２０８は、空間フィルタにより垂直方向画素数５４０画素を２４０画素に変換するための画素補間を行い、垂直方向に画素を間引くことにより垂直方向画素数５４０画素を２４０画素に変換する。このように変換されたＯＳＤ信号が多重化部２０４に出力される。
【００４０】
多重化部２０４は、制御部１０６からの指示に従い、画質調整部２０３からの動画信号と垂直方向変換部２０８からのＯＳＤ信号を多重し、ＲＧＢ変換部２０５に出力する。多重化部２０４は、制御部１０６から指示された比率に従って、動画信号とＯＳＤ信号の各画素に対する合成比率（割合）を設定する。
【００４１】
ＲＧＢ変換部２０５は、制御部１０６からの指示に従い、多重化部２０４から出力された動画信号の輝度信号Ｙと色差信号Ｃｒ，Ｃｂを、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の三種類の色成分信号に変換する。ＲＧＢ変換部２０５は、制御部１０６から出力された変換マトリクスに従い、輝度信号と色差信号をＲＧＢ信号に変換する。ＲＧＢ変換部２０５は、フレーム内で同じ位置にある輝度信号Ｙと色差信号Ｃｒ，Ｃｂを１画素ずつ用いて、ＲＧＢ信号を１画素ずつ生成する。即ち、同じ画素位置にある一組の輝度信号Ｙと色差信号Ｃｒ，Ｃｂを、一組のＲＧＢ信号に変換する(色変換)。
【００４２】
ＲＧＢ変換部２０５から出力される動画信号を図６（ａ）に示す。垂直方向変換部２０２により水平方向のサンプリング位置がラインごとにずれた状態でサンプリングされているため、一組のＲＧＢ画素のサンプリング位置も図６（ａ）に示す様にライン間でずれている。
【００４３】
重心補正部２０６は、ＲＧＢ変換部２０５から出力された動画信号におけるＲＧＢ各画素の画素重心を表示部１０４のディスプレイの画素配列に対応した重心となるように補正する。重心補正部２０６はオーバーサンプリングフィルタを有し、入力された動画信号のＲＧＢ各画素に対してフィルタ処理を施すことにより画素重心を補正する。
【００４４】
図６（ａ）に示す様に、水平方向のサンプリング位置をライン間でずらした結果、ＲＧＢ変換部２０５から出力された動画信号におけるＧの画素位置が図３の３０２に示すデルタ配列におけるＧの位置に対応している。これは、輝度成分を主成分とする色がＧであるため、垂直方向変換部２０２におけるサンプリング処理でＧの位置を最も意識しているためである。このように、Ｇの重心は既にデルタ配列に合わせてあるため、重心補正部２０６によりＲとＢの重心をＧの重心を中心として補正する。具体的には、図６（ｂ）に示すとおり、偶数ラインでは、Ｇを中心とすると、両隣のＲとＢは３分の１画素重心がずれていることになる。また、奇数ラインでは、一組のＲＢＧ画素が、画面左からＧＢＲの順に配置されるので、Ｇに対し、Ｂの重心が１／３ずれ、Ｒの重心が２／３ずれている。
【００４５】
図７（ａ）は、重心補正部２０６におけるオーバーサンプリングフィルタを示している。また、図７（ｂ）は、図７（ａ）のオーバーサンプリングフィルタの周波数特性を示している。図７（ｂ）の各画素が図７（ａ）のフィルタにおける各タップから出力される画素位置に対応し、また、各画素の記号がタップ係数に対応している。図７（ｂ）のフィルタの特性はＧを中心として、ＲとＢの重心をデルタ配列に合わせてずらすための特性である。フィルタの総タップ数は２３タップ、Ｒは８個、Ｇは７個、Ｂは８個のフィルタ演算係数を有する。
【００４６】
ＲＧＢ変換部２０５からのＲＧＢ各画素の動画信号がラインごとに順次フィルタに入力される。遅延部７０１ａから７０１ｇはそれぞれ、入力されたＲＧＢ各画素の動画信号を３画素分順次遅延させて出力する。従って、フィルタに入力された画素がＧの画素の場合、各タップからはＧの画素が出力される。同様に、入力された画素がＢ，Ｒのときは、各タップからそれぞれＢ，Ｒの画素が出力される。乗算器７０２ａから７０２ｈは、制御部１０６からの指示に従って係数を選択し、選択した係数と各タップからの信号とを乗算する。本実施形態では、フィルタに入力された画素がＧの場合、各乗算器７０２ａから７０２ｇが係数Ｇ１からＧ７をそれぞれ選択するように制御する。また、フィルタに入力された画素がＢ，Ｒの場合、各乗算器７０２ａから７０２ｈがそれぞれ係数Ｂ１からＢ８、或いはＲ１からＲ８をそれぞれ選択するように制御する。
【００４７】
加算器７０３は各乗算器からの出力を加算し、重心が補正されたＲＧＢ信号の動画信号として出力する。このように重心補正部２０６からの重心補正されたＲＧＢの動画信号が表示部１０４に出力される。
【００４８】
なお、表示部１０４の画素配列がストライプ配列である場合は、垂直方向変換部と同様に、表示部の画素配列に対応して重心補正の設定を適宜変更すればよい（例えばフィルタ係数の設定変更）。
【００４９】
なお、本実施形態では、輝度信号と色差信号とからなるＯＳＤ信号を生成したが、ＲＧＢ信号からなるＯＳＤ信号を生成するようにしてもよい。ＲＧＢ信号からなるＯＳＤ信号を生成した場合の表示制御部１０３の構成を図２（ｂ）に示す。この場合、ＯＳＤ信号として、水平９６０画素×垂直５４０画素のＲＧＢ信号からなるＯＳＤ信号を生成する。また、ＯＳＤ信号は、ＲＧＢの各色成分について、それぞれ水平画素数が９６０画素であるとする。
【００５０】
図２（ｂ）の水平方向変換部２０７は、ＲＧＢ信号からなるＯＳＤ信号をメモリ２０７から読み出し、ＲＧＢの各色成分信号について、水平方向の画素数を６４０画素に変換する。この際、図２（ａ）での輝度信号と色差信号の場合と同様に、一旦１９２０画素に変換した後、帯域制限を施して６４０画素に変換する。そして、垂直方向変換部２０８は、メモリ１０２より水平画素数が６４０画素のＲＧＢ信号を読み出し、水平方向の画素数をディスプレイの水平画素数に合わせて３２０画素に変換する。このとき、輝度信号と色差信号の場合と同様に、ライン間でサンプリング位置をずらす。そして、サンプリングされたＲＧＢ信号に対し、垂直方向に帯域制限を施した後、垂直方向の画素数をディスプレイの画素数にあわせて２４０画素に変換して多重化部２０５に出力する。垂直方向変換部２０８から出力されるＲＧＢ信号の画素位置は、図６（ａ）に示す状態となっている。
【００５１】
これ以降は前述と同様に、多重化部２０４によりＯＳＤ信号と動画信号を多重し、重心補正部２０６により各画素の重心を補正して出力する。
【００５２】
次に、表示部１０４を回転させて、表示する画像を反転する場合の処理について説明する。表示部１０４を回転させて被写体の方に向けた場合、本実施形態では、表示部１０４に表示する画像の向きを上下方向に反転して表示する。反転表示の場合には、通常表示の状態において最も下のラインに動画の最も上のラインが表示されることになる。本実施形態では、ディスプレイの垂直画素数が２４０画素のため、通常表示の状態においてディスプレイの最も下のラインは図５の場合、水平方向の奇数ライン（２３９）となる。反転表示の状態では、このラインが最初(偶数ライン)に表示されるため、図５のサンプリング位置は図３のデルタ配列に対応しなくなる。そのため、垂直方向変換部２０２においてサンプリングする画素の位置を通常表示のときとは異なる設定にする。
【００５３】
図２（ａ）において、水平方向変換部２０１は前述の様にメモリ１０２より動画信号を読み出し、水平方向の画素数を６４０画素に変換してメモリ１０２に記憶する。垂直方向変換部２０２は、メモリ１０２から動画信号を読み出し、水平方向の画素数をディスプレイの画素数にあわせて３２０画素に変換する。このとき、垂直方向変換部２０２は、制御部１０６からの反転表示の指示に応じて、通常の表示の場合とは異なる画素位置をサンプリングする。反転表示の際にサンプリングされる画素位置を図８に示す。図８（ａ）から（ｃ）はそれぞれ、輝度信号Ｙと色差信号Ｃｒ，Ｃｂのサンプリング位置を示している。図８に示す様に、各ラインにおいて、図５に示した通常の表示の際のサンプリング位置とは異なる位置をサンプリングしている。
【００５４】
そして、垂直方向変換部２０２は、動画信号の垂直方向の画素数をディスプレイの画素数にあわせて２４０画素に変換し、画質調整部２０３に出力する。画質調整部２０３は前記の様に動画信号を処理して多重化部２０４に出力する。
【００５５】
一方、ＯＳＤ信号についても、通常の表示の場合と同様に水平方向変換部２０７により水平方向の画素数を６４０画素に変換する。そして、垂直方向変換部２０８により、図８に示す様に、各ラインについて、通常の表示の場合とは異なる位置をサンプリングして水平方向の画素数を３２０画素に変換した後、垂直方向の画素数を２４０画素に変換して多重化部２０４に出力する。
【００５６】
多重化部２０４は動画信号とＯＳＤ信号を多重し、ＲＧＢ変換部２０５に出力する。ＲＧＢ変換部２０５は、前述の様に、多重化部２０４から出力された動画信号の輝度信号Ｙと色差信号Ｃｒ，ＣｂをＲＧＢの色成分信号に変換する。ＲＧＢ変換部２０５から出力されるＲＧＢ信号を図９（ａ）に示す。
【００５７】
ＲＧＢ変換部２０５から出力された動画信号は重心補正部２０６に出力される。重心補正部２０６は、ＲＧＢ変換部２０５から出力された動画信号におけるＲＧＢ各画素の画素重心を表示部１０４のディスプレイの画素配列に対応した重心となるように補正する。また、重心補正部２０６は、制御部１０６より反転表示の指示があると、表示部１０４を回転した状態での画素配列に応じて重心を適宜補正する。
【００５８】
図９（ｂ）は、反転表示の際の各画素の重心を示している。重心補正部２０６は、反転表示の場合、図９（ｂ）に示した重心となるように、フィルタの係数を設定する。重心補正部２０６により画素重心が反転表示に応じて変更されたＲＧＢ信号からなる動画信号は表示部１０４に出力される。
【００５９】
表示部１０４は、制御部１０６より反転表示の指示があると、表示制御部１０３より出力された動画信号の各ラインを、通常表示の場合とは逆に、画像の最も下のラインから順次表示する。
【００６０】
このように本実施形態では、水平ｎ画素×垂直ｍ画素の（ｎ、ｍはそれぞれ所定の自然数）デルタ配列のディスプレイに対して画素数が多い動画信号を表示する構成を開示している。すなわち、輝度信号と色差信号からなる動画信号の水平画素数を、一旦ディスプレイの表示画素数ｎの２倍の２ｎ画素に変換する。そして、ライン間でサンプリング位置をずらしながら、水平方向の画素数をディスプレイの水平画素数に合わせてｎ画素に変換するとともに垂直方向をｍ画素に変換する。その後、輝度信号と色差信号とを、ＲＧＢの色成分信号に変換し、更に、画素重心をディスプレイの画素配列に対応じて補正している。
【００６１】
反転表示の場合においても、表示部１０４の画素配列のタイプに対応して、垂直方向変換部での水平画素のサンプリング位置および重心補正の構成を適宜設定すればよい。
【００６２】
上述したように、本件発明によれば、高精度な補間フィルタなどを用いずに、ディスプレイの画素配列に対応した高精細な画像を出力できる画像信号処理装置を提供できる。
【００６３】
なお、本実施形態では、動画を撮影するビデオカメラにおいて動画像を表示する場合について説明したが、静止画像などの画像信号を表示する場合にも本発明を同様に適用可能である。また、撮像手段を有しない装置において、記録媒体、通信等を介して提供（取得）される高精細画像を画素数の少ない表示部に表示する場合にも適用可能である。この場合は、提供された高精細画像(例えば動画ファイル)をメモリ１０２に記憶すればよい。
【００６４】
また、本発明の目的は次の構成によっても達成されることは言うまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に供給する構成である。この場合、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって本件発明が達成される。
【００６５】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６６】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００６７】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、次のような場合も本件発明に含まれることは言うまでもない。すなわち、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合である。
【００６８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた場合も本件発明に含まれる。すなわち、メモリに書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合である。
【００６９】
以上、本発明を好ましい実施例により説明したが、本発明は上述した実施例に限ることなくクレームに示した範囲で種々の変更が可能である。
【図１】
0005658548.tif 000002
【図２】
0005658548.tif 000003
【図３】
0005658548.tif 000004
【図４】
0005658548.tif 000005
【図５】
0005658548.tif 000006
【図６】
0005658548.tif 000007
【図７】
0005658548.tif 000008
【図８】
0005658548.tif 000009
【図９】
0005658548.tif 000010