(57)【要約】【課題】一部の画素において画素情報が削除された画像データであっても、高品位の画像を再現性よく表示する。【解決手段】画像データの形式を判定する判定部２５１と、判定部２５１により判定された画像データの形式が、画像データをＮ（Ｎは、２以上の自然数）画素単位で区切った単位領域４５内の一部の画素について、一部の画素情報が削除された形式である場合に、単位領域４５内の画素の画素情報に基づいて、一部の画素情報が削除された一部の画素を特定し、特定した画素の画素情報を、単位領域４５内の他の画素の画素情報を用いて補間する制御部３０とを備える。【選択図】図２
2016144170.tif 000002
【特許請求の範囲】
【請求項１】
画像データの形式を判定する判定部と、
前記判定部により判定された前記画像データの形式が、前記画像データをＮ（Ｎは、２以上の自然数）画素単位で区切った単位領域内の一部の画素について、一部の画素情報が削除された形式である場合に、前記単位領域内の画素の画素情報に基づいて、前記一部の画素情報が削除された前記一部の画素を特定し、特定した前記画素の画素情報を、前記単位領域内の他の画素の画素情報を用いて補間する処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記処理部は、前記単位領域内の各画素の前記一部の画素情報に基づいて、前記一部の画素情報が削除された画素を特定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記処理部は、前記単位領域内の各画素を、前記単位領域内での画素位置に応じて複数のグループに分類し、分類されたグループごとに、各グループに分類された画素の前記一部の画素情報に基づいてヒストグラムを作成し、作成した前記ヒストグラムに基づいて前記一部の画素を特定することを特徴とする請求項１記載の画像処理装置。
【請求項４】
画像データの形式を判定する判定部と、
前記判定部により判定された前記画像データの形式が、前記画像データをＮ（Ｎは、２以上の自然数）画素単位で区切った単位領域内の一部の画素について、一部の画素情報が削除された形式である場合に、前記単位領域内の画素の画素情報に基づいて、前記一部の画素情報が削除された前記一部の画素を特定し、特定した前記画素の画素情報を、前記単位領域内の他の画素の画素情報を用いて補間する処理部と、
前記処理部で画素情報が補間された画像データの形式を、表示部で表示可能な形式に変換する変換部と、
前記変換部で変換された画像データを表示させる表示部と、
を備えることを特徴とする表示装置。
【請求項５】
画像データの形式を判定し、
判定された前記画像データの形式が、前記画像データをＮ（Ｎは、２以上の自然数）画素単位で区切った単位領域内の一部の画素について、一部の画素情報が削除された形式である場合に、前記単位領域内の画素の画素情報に基づいて、前記一部の画素情報が削除された前記一部の画素を特定し、特定した前記画素の画素情報を、前記単位領域内の他の画素の画素情報を用いて補間することを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、表示装置、及び、画像処理装置の制御方法に関する。
【背景技術】
【０００２】
画像データの形式が、表示装置で表示可能な形式ではない場合、画像データの形式を変換する形式変換が行われる（例えば、特許文献１参照）。特許文献１は、４：２：０フォーマットの映像信号を、４：４：４フォーマットの映像信号に復元する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−３３３５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、画像データの形式が、一部の画素において画素情報が削除された形式の画像データを復元する場合、削除された情報を適切に補間する必要がある。このため、情報を再現性よく、かつ効率よく補間する技術が望まれていた。
本発明は、上述した事情に鑑みてなされたものであり、一部の画素において画素情報が削除された画像データであっても、高品位の画像を再現性よく表示することができる画像処理装置、表示装置、画像処理装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の画像処理装置は、画像データの形式を判定する判定部と、前記判定部により判定された前記画像データの形式が、前記画像データをＮ（Ｎは、２以上の自然数）画素単位で区切った単位領域内の一部の画素について、一部の画素情報が削除された形式である場合に、前記単位領域内の画素の画素情報に基づいて、前記一部の画素情報が削除された前記一部の画素を特定し、特定した前記画素の画素情報を、前記単位領域内の他の画素の画素情報を用いて補間する処理部と、を備えることを特徴とする。
本発明によれば、一部の画素において画素情報が削除された画像データであっても、画素情報が削除された画素の画素情報を補間して、高品位の画像を再現性よく表示することができる。
【０００６】
また、本発明は、上記画像処理装置において、前記処理部は、前記単位領域内の各画素の前記一部の画素情報に基づいて、前記一部の画素情報が削除された画素を特定することを特徴とする。
本発明によれば、画素情報が削除された画素の特定精度を高めることができる。
【０００７】
また、本発明は、上記画像処理装置において、前記処理部は、前記単位領域内の各画素を、前記単位領域内での画素位置に応じて複数のグループに分類し、分類されたグループごとに、各グループに分類された画素の前記一部の画素情報に基づいてヒストグラムを作成し、作成した前記ヒストグラムに基づいて前記一部の画素を特定することを特徴とする。
本発明によれば、画素情報が削除された画素の特定精度を高めることができる。
【０００８】
本発明の表示装置は、画像データの形式を判定する判定部と、前記判定部により判定された前記画像データの形式が、前記画像データをＮ（Ｎは、２以上の自然数）画素単位で区切った単位領域内の一部の画素について、一部の画素情報が削除された形式である場合に、前記単位領域内の画素の画素情報に基づいて、前記一部の画素情報が削除された前記一部の画素を特定し、特定した前記画素の画素情報を、前記単位領域内の他の画素の画素情報を用いて補間する処理部と、前記処理部で画素情報が補間された画像データの形式を、表示部で表示可能な形式に変換する変換部と、前記変換部で変換された画像データを表示させる表示部と、を備えることを特徴とする。
本発明によれば、一部の画素において画素情報が削除された画像データであっても、画素情報が削除された画素の画素情報を補間して、高品位の画像を再現性よく表示することができる。
【０００９】
本発明の画像処理装置の制御方法は、画像データの形式を判定し、判定された前記画像データの形式が、前記画像データをＮ（Ｎは、２以上の自然数）画素単位で区切った単位領域内の一部の画素について、一部の画素情報が削除された形式である場合に、前記単位領域内の画素の画素情報に基づいて、前記一部の画素情報が削除された前記一部の画素を特定し、特定した前記画素の画素情報を、前記単位領域内の他の画素の画素情報を用いて補間することを特徴とする。
本発明によれば、一部の画素において画素情報が削除された画像データであっても、画素情報が削除された画素の画素情報を補間して、高品位の画像を再現性よく表示することができる。
【図面の簡単な説明】
【００１０】
【図１】プロジェクターのブロック図。
【図２】第１の実施形態の画像処理装置の構成図。
【図３】補間制御部の補間処理の処理手順を示すフローチャート。
【図４】画像のフォーマットを示す図であり、（Ａ）はＹＵＶ４４４フォーマットの画像を示す図、（Ｂ）はＹＵＶ４２０フォーマットの画像を示す図。
【図５】画像を構成する画素をグループに分類する分類条件を登録したテーブルを示す図。
【図６】分類条件に従って画像の各画素をグループに分類した状態を示す図。
【図７】第２の実施形態の画像処理装置の構成図。
【発明を実施するための形態】
【００１１】
［第１の実施形態］
図１は、実施形態のプロジェクター１のブロック図である。
プロジェクター１（表示装置）は、パーソナルコンピューターや各種映像プレーヤー等の外部の画像供給装置３に接続され、この画像供給装置３から入力される画像データに基づく画像を対象物体に投射する装置である。画像供給装置３としては、ビデオ再生装置、ＤＶＤ（Digital Versatile Disk）再生装置、ブルーレイディスク（Blu-ray（登録商標） Disc）再生装置、ハードディスク・レコーダー等が挙げられる。また、画像供給装置３は、テレビチューナー装置、ＣＡＴＶ（Cable television）のセットトップボックス、ビデオゲーム装置等の映像出力装置、パーソナルコンピューターであってもよい。また、対象物体は、建物や物体など、一様に平らではない物体であってもよいし、スクリーンＳＣや、建物の壁面等の平らな投射面を有するものであってもよい。本実施形態では平面のスクリーンＳＣに投射する場合を例示する。
【００１２】
プロジェクター１は、画像供給装置３に接続するインターフェイスとして、Ｉ／Ｆ（インターフェイス）部２４を備える。Ｉ／Ｆ部２４には、例えば、デジタル映像信号が入力されるＤＶＩインターフェイス、ＵＳＢインターフェイス、ＬＡＮインターフェイス等を用いることができる。また、Ｉ／Ｆ部２４には、例えば、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子等を用いることができる。さらに、Ｉ／Ｆ部２４には、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクターや、ディスプレイポート（登録商標）に準拠したディスプレイポートコネクター等の汎用インターフェイスを用いることができる。また、Ｉ／Ｆ部２４は、アナログ映像信号をデジタル画像データに変換するＡ／Ｄ変換回路を有し、ＶＧＡ端子等のアナログ映像端子により画像供給装置３に接続される構成としてもよい。なお、Ｉ／Ｆ部２４は、有線通信によって画像信号の送受信を行ってもよく、無線通信によって画像信号の送受信を行ってもよい。
【００１３】
プロジェクター１は、大きく分けて光学的な画像の形成を行う表示部１０と、この表示部１０により表示する画像を電気的に処理する画像処理系とを備えている。まず、表示部１０について説明する。
【００１４】
表示部１０は、光源部１１、光変調装置１２及び投射光学系１３を備える。
光源部１１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）等からなる光源を備えている。また、光源部１１は、光源が発した光を光変調装置１２に導くリフレクター及び補助リフレクターを備えていてもよい。また、光源部１１は、投射光の光学特性を高めるためのレンズ群（不図示）、偏光板、或いは光源が発した光の光量を光変調装置１２に至る経路上で低減させる調光素子等を備えたものであってもよい。
【００１５】
光変調装置１２は、光源部１１から射出された光を画像データに基づいて変調する変調部に相当する。光変調装置１２は、液晶パネルを用いた構成とする。光変調装置１２は、複数の画素をマトリクス状に配置した透過型液晶パネルを備え、光源が発した光を変調する。光変調装置１２は、光変調装置駆動部２３によって駆動され、マトリクス状に配置された各画素における光の透過率を変化させることにより、画像を形成する。
【００１６】
投射光学系１３は、投射する画像の拡大・縮小及び焦点の調整を行うズームレンズ、フォーカスの調整を行うフォーカス調整機構等を備えている。投射光学系１３は、光変調装置１２で変調された画像光を対象物体に投射して結像させる。
【００１７】
表示部１０には、光源駆動部２２及び光変調装置駆動部２３が接続されている。
光源駆動部２２は、制御部３０の制御に従って光源部１１が備える光源を駆動する。光変調装置駆動部２３は、制御部３０の制御に従って、後述する画像処理部２５Ａから入力される画像信号に従って光変調装置１２を駆動し、液晶パネルに画像を描画する。
【００１８】
プロジェクター１の画像処理系は、プロジェクター１を制御する制御部３０を中心に構成される。プロジェクター１は、制御部３０が処理するデータや制御部３０が実行する制御プログラムを記憶した記憶部５４を備える。記憶部５４は、フラッシュメモリー、ＥＥＰＲＯＭ等の不揮発性のメモリーである。また、プロジェクター１は、リモコン５による操作を検出するリモコン受光部５２を備え、操作パネル５１及びリモコン受光部５２を介した操作を検出する入力処理部５３を備えている。
制御部３０、記憶部５４、画像処理部２５Ａ、フレームメモリー２７、光源駆動部２２、光変調装置駆動部２３、入力処理部５３、無線通信部５５は、バス２９により接続される。
【００１９】
制御部３０は、図示しないＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えて構成される。制御部３０は、ＣＰＵによって、ＲＯＭに記憶した基本制御プログラム、及び記憶部５４に記憶された制御プログラムを実行することにより、プロジェクター１を制御する。また、制御部３０は、記憶部５４が記憶する制御プログラムを実行することにより、投射制御部３１、補正制御部３２及び補間制御部３３の機能を実行する。
【００２０】
プロジェクター１の本体には、ユーザーが操作を行うための各種スイッチ及びインジケーターランプを備えた操作パネル５１が配置されている。操作パネル５１は、入力処理部５３に接続されている。入力処理部５３は、制御部３０の制御に従い、プロジェクター１の動作状態や設定状態に応じて操作パネル５１のインジケーターランプを適宜点灯或いは点滅させる。操作パネル５１のスイッチが操作されると、操作されたスイッチに対応する操作信号が入力処理部５３から制御部３０に出力される。
また、プロジェクター１は、ユーザーが使用するリモコン５を有する。リモコン５は各種のボタンを備えており、これらのボタンの操作に対応して赤外線信号を送信する。プロジェクター１の本体には、リモコン５が発する赤外線信号を受光するリモコン受光部５２が配置されている。リモコン受光部５２は、リモコン５から受光した赤外線信号をデコードして、リモコン５における操作内容を示す操作信号を生成し、制御部３０に出力する。
【００２１】
画像処理部２５Ａは、制御部３０の制御に従って画像データを取得し、取得した画像データについて、画像サイズや解像度、静止画像か動画像であるか、動画像である場合はフレームレート等の属性などを判定する。
画像処理部２５Ａは、フレームメモリー２７にフレーム毎に画像を展開し、展開した画像に対して画像処理を実行する。例えば、画像処理部２５Ａは、画像処理として、フレームメモリー２７に画像を展開した画像のフォーマット（形式）がＹＵＶ４２０である場合に、画像データのフォーマット変換を行う。この処理の詳細については後述する。また、画像処理部２５Ａは、画像処理として、例えば、解像度変換処理、デジタルズーム処理、色調補正処理、輝度補正処理、形状補正処理等の処理を実行する。また、画像処理部２５Ａは、Ｉ／Ｆ２４から入力される画像データに基づき画像をフレームメモリー２７に描画する描画処理、フレームメモリー２７から画像を読み出して画像信号を生成する生成処理等を行う。また、画像処理部２５Ａは、上記の複数の処理を組み合わせて実行することも勿論可能である。
画像処理部２５Ａは、処理後の画像をフレームメモリー２７から読み出して、この画像に対応するＲ、Ｇ、Ｂの画像信号を生成し、光変調装置駆動部２３に出力する。
【００２２】
また、プロジェクター１は、無線通信部５５を備える。無線通信部５５は、図示しないアンテナやＲＦ（Radio Frequency）回路等を備え、制御部３０の制御の下、外部の装置との間で無線通信を実行する。無線通信部５５の無線通信方式は、例えば無線ＬＡＮ（Local Area Network）、Bluetooth（登録商標）、ＵＷＢ（Ultra Wide Band)、赤外線通信等の近距離無線通信方式、或いは、携帯電話回線を利用した無線通信方式を採用できる。
【００２３】
投射制御部３１は、光源駆動部２２、光変調装置駆動部２３及び画像処理部２５Ａを制御して、画像データに基づく画像を対象物体に投射させる。
補正制御部３２は、例えば、入力処理部５３がリモコン５や操作パネル５１による形状補正処理の指示を検出し、形状補正処理の指示を示す操作データが入力された場合に、画像処理部２５Ａを制御して、形状補正処理を実行させる。
処理部として機能する補間制御部３３は、フレームメモリー２７に展開された画像のフォーマットがＹＵＶ４２０である場合に、画像処理部２５Ａを制御して、画像のフォーマットをＹＵＶ４４４に変換させる変換処理を実行させる。
【００２４】
図２は、第１実施形態の画像処理装置４０Ａの構成図である。画像処理装置４０Ａは、制御部３０と、画像処理部２５Ａとを備える。画像処理部２５Ａは、判定部２５１と、計測部２５２と、第１変換部２５３と、処理部２５４と、第２変換部２５５とを備える。
判定部２５１は、Ｉ／Ｆ２４を介して入力される画像データのフォーマットを判定する。計測部２５２は、フレームメモリー２７に展開された画像のフォーマットがＹＵＶ４２０である場合に、画像を構成する各画素を複数のグループに分類する。計測部２５２は、分類されたグループごとに、各グループに分類された画素の画素情報に基づいてヒストグラムを作成する。第１変換部２５３は、計測部２５２の作成したヒストグラムにより特定される情報に基づいて、画像のフォーマットを変換する。ヒストグラムにより特定される情報については後述する。第１変換部２５３は、フレームメモリー２７に展開されたＹＵＶ４２０フォーマットの画像を、ＹＵＶ４４４フォーマットの画像に変換する。処理部２５４は、フレームメモリー２７に展開されたＹＵＶ４４４のフォーマットの画像に対して、解像度変換処理、デジタルズーム処理、色調補正処理、輝度補正処理、形状補正処理のうちの少なくとも１つの処理を実行する。第２変換部２５５は、フレームメモリー２７に展開されたＹＵＶ４４４フォーマットの画像からＲ、Ｇ、Ｂの画像信号を生成する。
【００２５】
図３は、補間制御部３３の変換処理の手順を示すフローチャートである。
制御部３０は、Ｉ／Ｆ２４を介して画像データが入力されると（ステップＳ１／ＹＥＳ）、入力された画像データを画像処理部２５Ａによりフレームメモリー２７に展開させる（ステップＳ２）。判定部２５１は、画像データの供給元である画像供給装置３から取得した、画像供給装置３のデバイス情報に基づいて、入力された画像データのフォーマットを判定する。例えば、画像供給装置３とプロジェクター１とがＨＤＭＩインターフェイスにより接続されている場合、プロジェクター１は、デバイス情報として、画像供給装置３のＥＤＩＤ（Extended Display Identification Data）又はＥ−ＥＤＩＤ（Enhanced Extended Display Identification Data）を取得する。ＥＤＩＤ及びＥ−ＥＤＩＤは、画像供給装置３がサポートしている解像度、走査周波数、アスペクト比、画像データのフォーマットなどに関する情報を含む。なお、Ｅ−ＥＤＩＤは、ＥＤＩＤを拡張したものであり、ＥＤＩＤよりも多くのデバイス情報を含む。また、判定部２５１は、例えば、ファイル名に付加された拡張子によって画像データのフォーマット等を判定してもよいし、画像データの内容を解析することによってフォーマット等を判定するような方法を用いてもよい。判定部２５１は、判定した画像データのフォーマット情報を補間制御部３３に通知する。
【００２６】
補間制御部３３は、判定部２５１から通知されるフォーマット情報により、画像データのフォーマットがＹＵＶ４２０であるか否かを判定する（ステップＳ３）。補間制御部３３は、画像データのフォーマットがＹＵＶ４２０であると判定すると（ステップＳ３／ＹＥＳ）、計測部２５２に、ヒストグラムの作成を指示する（ステップＳ４）。また、補間制御部３３は、判定情報により、画像データのフォーマットがＹＵＶ４２０以外のフォーマット、例えば、ＹＵＶ４４４のフォーマットであると判定すると（ステップＳ３／ＮＯ）、ステップＳ７の処理に移行する。
【００２７】
図４（Ａ）に、ＹＵＶ４４４フォーマットの画像を示し、図４（Ｂ）にＹＵＶ４２０フォーマットの画像を示す。図４（Ａ）及び図４（Ｂ）に示す括弧内の数字は、水平方向及び垂直方向の画素番号を示している。画素番号とは、フレームメモリー２７に展開された画像を構成する各画素の識別番号であり、垂直方向の画素番号と、水平方向の画素番号とを有する。
【００２８】
ＹＵＶ４４４フォーマットの画像は、画像を構成する各画素が、画素情報として、Ｙ（輝度成分）データ、Ｕ（色差成分）データ、Ｖ（色差成分）データという３つの情報をそれぞれ有する。ＹＵＶ４２０フォーマットは、画像を構成する画素を４画素（水平・垂直２×２画素）単位で区切った単位領域内の画素のうち、一部の画素の一部の画素情報を削除して圧縮したフォーマットである。具体的には、ＹＵＶ４２０フォーマットの画像は、単位領域内の４画素で１画素分のＵデータ及びＶデータを有する。すなわち、単位領域内の４画素すべてがＹデータを有し、４画素のうちのいずれか１つの画素がＵデータ及びＶデータを有する。図４（Ｂ）に示す例では、画素番号（０，０）の画素は、画素情報としてＹデータ（Ｙ（０，０）、Ｕデータ（Ｕ（０，０））及びＶデータ（Ｖ（０，０））を有する。また、画素番号（０，０）と同一の単位領域内の他の画素（０，１）、（１，０）、（１，１）は、画素情報としてＹデータ（Ｙ（０，１）、Ｙ（１，０）、Ｙ（１，１））を有している。ＹＵＶ４２０フォーマットの画像は、Ｕデータ及びＶデータを単位領域内の１画素しか有していないため、補間処理を行わないと、色差成分が欠落し、色みがおかしくなってしまう。
【００２９】
また、図４（Ｂ）には、単位領域内の４画素のうち、左上の画素がＵデータ及びＶデータを有している場合を示しているが、Ｕデータ及びＶデータを有する画素の画素位置は、単位領域内の左上の画素に限定されない。すなわち、画像の規格に応じて、Ｕデータ及びＶデータを有する画素の画素位置は異なる。補間制御部３３は、判定部２５１がＥＤＩＤ又はＥ−ＥＤＩＤに基づいて判定するフォーマット情報により、画像データのフォーマットがＹＵＶ４２０であることを認識することができる。しかし、補間制御部３３は、画像データのフォーマットがＹＵＶ４２０であることを認識できても、単位領域内のどの画素がＵデータ及びＶデータを有しているかまでは判定できない。
【００３０】
図５は、画像を構成する画素をグループに分類する分類条件を登録したテーブルを示す図である。図６は、分類条件に従って画像の各画素をグループに分類した状態を示す図である。なお、図５に示すテーブルは、画像処理部２５Ａの具備するメモリー（不図示）に記憶されている。
計測部２５２は、補間制御部３３からヒストグラムの作成を指示されると、フレームメモリー２７に展開された画像を構成する各画素を、単位領域内での画素位置に応じてグループＡ、グループＢ、グループＣ及びグループＤの４つのグループに分類する。
グループＡに分類される画素は、画像の左上画素の垂直方向及び水平方向の画素番号を（０，０）とした場合に、垂直方向及び水平方向の画素番号がそれぞれ偶数の画素である。図６に示す例では、垂直方向及び水平方向の画素番号が（０，０）、（０，２）、（２，０）、（２，２）の画素がグループＡに分類される。すなわち、グループＡ分類される画素は、画像を、画像の左上画素を基準に２×２の単位領域４５に分割した場合に、図６に示すように、画素位置が単位領域４５の左上に位置する画素である。
グループＢに分類される画素は、垂直方向の画素番号が偶数、水平方向の画素番号が奇数の画素である。図６に示す例では、垂直方向及び水平方向の画素番号が（０，１）、（０，３）、（２，１）、（２，３）の画素がグループＢに分類される。すなわち、グループＢに分類される画素は、図６に示すように、画素位置が単位領域４５の右上に位置する画素である。
グループＣに分類される画素は、垂直方向の画素番号が奇数、水平方向の画素番号が偶数の画素である。図６に示す例では、垂直方向及び水平方向の画素番号が（１，０）、（１，２）、（３，０）、（３，２）の画素がグループＣに分類される。すなわち、グループＣに分類される画素は、図６に示すように、画素位置が単位領域４５の左下に位置する画素である。
グループＤに分類される画素は、垂直方向及び水平方向の画素番号がそれぞれ奇数の画素である。図６に示す例では、垂直方向及び水平方向の画素番号が（１，１）、（１，３）、（３，１）、（３，３）の画素がグループＤに分類される。すなわち、グループＤに分類される画素は、図６に示すように、画素位置が単位領域４５の右下に位置する画素である。
【００３１】
次に、計測部２５２は、分類されたグループごとにヒストグラム（頻度分布表）を作成する。計測部２５２は、グループＡに分類された各画素のＵデータが示すＵ成分の階調値のヒストグラム（以下、Ｕデータのヒストグラムという）、及びＶデータが示すＶ成分の階調値のヒストグラム（以下、Ｖデータのヒストグラムという）をそれぞれに作成する。Ｕデータのヒストグラムは、横軸にＵ成分の階調値、縦軸に度数（画素数）を取った分布表である。Ｖデータのヒストグラムは、横軸にＶ成分の階調値、縦軸に度数（画素数）を取ったヒストグラムである。また、計測部２５２は、グループＢ，Ｃ，Ｄに分類された各画素についても、Ｕデータのヒストグラム及びＶデータのヒストグラムをそれぞれに作成する。
【００３２】
次に、補間制御部３３は、計測部２５２によりグループごとに作成されたＵデータ及びＶデータのヒストグラムにより特定される情報により、一部の画素情報であるＵデータ及びＶデータが削除された、単位領域４５内の画素位置を判定する（ステップＳ５）。Ｕデータ及びＶデータが削除された単位領域４５内の画素位置が特定されることで、Ｕデータ及びＶデータを有する画素の画素位置も特定される。補間制御部３３は、例えば、各グループのＵデータのヒストグラムに基づいて、画素数が最も多い階調値の画素数と、画素数が最も少ない階調値の画素数との差を求める。画素情報としてＵデータを含まない画素の場合、階調値は一定の値（例えば、「０」）を示すため、画素数が最も多い階調値の画素数と、画素数が最も少ない階調値の画素数との差が小さい。これに対し、画素情報としてＵデータを含む画素の場合、階調値が一定にはならないため、画素数が最も多い階調値の画素数と、画素数が最も少ない階調値の画素数とに差が生じる。補間制御部３３は、画素数の差がしきい値以上の場合、すなわち画素数の変動率が高い場合に、補間制御部３３が処理しているヒストグラムに対応した画素位置にＵデータが含まれると判定する。補間制御部３３は、各グループのＶデータのヒストグラムについても、画素数が最も多い階調値の画素数と、画素数が最も少ない階調値の画素数との差を求めてしきい値と比較することで、Ｖデータが含まれる画素位置を特定する。補間制御部３３は、Ｕデータが含まれると判定した画素位置と、Ｖデータが含まれると判定した画素位置とが同一の場合、判定した画素位置の画素がＵデータ及びＶデータを有する画素であると判定する。
【００３３】
また、補間制御部３３は、Ｕデータの含まれる画素位置を判定することができ、Ｖデータの含まれる画素位置を判定することができなかった場合、Ｕデータが含まれると判定した画素位置を、Ｕデータ及びＶデータを含む画素位置と判定することができる。また、補間制御部３３は、Ｖデータの含まれる画素位置を判定することができ、Ｕデータの含まれる画素位置を判定することができなかった場合についても、Ｖデータが含まれると判定した画素位置を、Ｕデータ及びＶデータを含む画素位置と判定することができる。
また、補間制御部３３は、Ｕデータが含まれる画素位置及びＶデータが含まれる画素位置を判定することができなかった場合、次のフレームの画像に基づいて、Ｕデータ及びＶデータを有する画素の画素位置を判定する。例えば、画像が黒ベタである場合、Ｕデータ及びＶデータが含まれる画素の画素位置を判定することができない。このため、補間制御部３３は、複数フレームの画像について、Ｕデータのヒストグラム及びＶデータのヒストグラムを作成し、複数フレームの判定結果に基づいて、Ｕデータ及びＶデータを有する画素位置を判定する。なお、複数フレームの画像についてヒストグラムを作成する場合、メモリーとして、画像の１フレームを記憶するフレームメモリー２７よりも大きなサイズのメモリーを用意しておくことで、処理を効率的に行うことができる。
【００３４】
補間制御部３３は、Ｕデータ及びＶデータを有する画素の画素位置を特定すると、特定した画素位置を示す画素位置情報を第１変換部２５３に通知して、第１変換部２５３に、削除された画素情報の補間を指示する（ステップＳ６）。
【００３５】
第１変換部２５３は、補間制御部３３から画素位置情報の通知を受けると、通知された画素位置の画素のＵ成分及びＶ成分を用いて、単位領域４５内の他の画素のＵ成分及びＶ成分を補間し、画像データのフォーマットをＹＵＶ４２０からＹＵＶ４４４に変換する。
【００３６】
次に、補間制御部３３は、処理部２５４に、画像処理の実行を指示する（ステップＳ７）。処理部２５４は、補間制御部３３の指示により、ＹＵＶ４４４のフォーマットに変換された画像に対して、解像度変換処理、デジタルズーム処理、色調補正処理、輝度補正処理、形状補正処理のうちの少なくとも１つの処理を実行する。また、補間制御部３３は、処理部２５４による画像処理が終了すると、第２変換部２５５に、Ｒ、Ｇ、Ｂの画像信号の生成を指示する（ステップＳ８）。第２変換部２５５は、補間制御部３３の指示により、フレームメモリー２７に展開されたＹＵＶ４４４フォーマットの画像からＲ、Ｇ、Ｂの画像信号を生成する。
【００３７】
上述した実施形態では、計測部２５２がＵデータのヒストグラム及びＶデータのヒストグラムを作成していたが、ＵデータのヒストグラムとＶデータのヒストグラムとのいずれか一方のヒストグラムを作成するものであってもよい。補間制御部３３は、計測部２５２が作成したＵデータのヒストグラム又はＶデータのヒストグラムに基づいて、Ｕデータ及びＶデータが削除された画素の画素位置を特定してもよい。
【００３８】
［第２の実施形態］
図７は、第２の実施形態の画像処理装置４０Ｂの構成図である。
本実施形態の画像処理部２５Ｂは、差分演算部２６０を備える。差分演算部２６０は、単位領域４５内の各画素の画素情報の差分を演算する。
【００３９】
まず、差分演算部２６０は、画像を構成する画素のうち、処理対象となる画素を選択する。差分演算部２６０は、フレームメモリー２７に展開された画像を構成する画素のうち、画像の中央に位置する画素を処理対象の画素として選択する。これは、画像が上下に黒帯を有するレターボックスであった場合に、黒帯部分の画素の画素情報を比較しても、ＵデータやＶデータを有する画素を特定することができないためである。本実施形態の差分演算部２６０は、画像を構成する画素のうち、垂直方向の中央に位置する、水平方向の２ラインの画素を処理対象の画素として選択する。また、画像データの垂直方向のライン数が奇数である場合には、差分演算部２６０は、垂直方向の中央のラインと、この中央のラインの１つ上又は１つ下のラインの画素を処理対象の画素として選択する。
【００４０】
次に、差分演算部２６０は、処理対象の水平方向の２ラインの画素を、図５に示す分類条件に従って単位領域４５に分割し、分割した各単位領域４５内の画素をグループＡ、Ｂ，Ｃ，Ｄの４つのグループに分類する。次に、差分演算部２６０は、同一の単位領域４５に含まれる各画素のＵデータの差分の絶対値、及びＶデータの差分の絶対値をそれぞれに算出する。具体的には、差分算出部２６０は、同一の単位領域４５に含まれるグループＡの画素のＵデータと、グループＢの画素のＵデータとの差分の絶対値（以下、ｄＵ（Ａ，Ｂ）と表記する。）を算出する。同様にして、差分算出部２６０は、ｄＵ（Ａ，Ｃ），ｄＵ（Ａ，Ｄ），ｄＵ（Ｂ，Ｃ），ｄＵ（Ｂ，Ｄ），ｄＵ（Ｃ，Ｄ）をそれぞれ算出する。また、差分演算部２６０は、同一の単位領域４５に含まれる画素のＶデータについて、ｄＶ（Ａ，Ｂ），ｄＶ（Ａ，Ｃ），ｄＶ（Ａ，Ｄ），ｄＶ（Ｂ，Ｃ），ｄＶ（Ｂ，Ｄ），ｄＶ（Ｃ，Ｄ）をそれぞれに算出する。
差分演算部２６０は、処理対象の水平方向の２ラインの画素について、単位領域４５ごとに算出したＵデータの差分の絶対値、及びＶデータの差分の絶対値を補間制御部３３に出力する。
【００４１】
補間制御部３３は、差分演算部２６０により単位領域４５ごとに算出されたＵデータの差分の絶対値、及びＶデータの差分の絶対値に基づいて、Ｕデータ及びＶデータを有する画素の画素位置を特定する。
補間制御部３３は、処理対象の水平方向の２ラインの画素について、単位領域４５ごとに算出されたｄＵ（Ａ，Ｂ）の和を算出する。算出した和を、以下では、ＷｄＵ（Ａ，Ｂ）と表記する。補間制御部３３は、水平方向の２ラインの画素について、ｄＵ（Ａ，Ｃ）、ｄＵ（Ａ，Ｄ）、ｄＵ（Ｂ，Ｃ）、ｄＵ（Ｂ，Ｄ）及びｄＵ（Ｃ，Ｄ）の和をそれぞれに算出する。算出した和を、以下では、ＷｄＵ（Ａ，Ｃ）、ＷｄＵ（Ａ，Ｄ）、ＷｄＵ（Ｂ，Ｃ）、ＷｄＵ（Ｂ，Ｄ）及びＷｄＵ（Ｃ，Ｄ）と表記する。また、補間制御部３３は、ｄＶ（Ａ，Ｂ）、ｄＶ（Ａ，Ｃ）、ｄＶ（Ａ，Ｄ）、ｄＶ（Ｂ，Ｃ）、ｄＶ（Ｂ，Ｄ）及びｄＶ（Ｃ，Ｄ）についても、処理対象の水平方向の２ラインの画素について和をそれぞれに算出する。算出した和を、以下では、ＷｄＶ（Ａ，Ｂ）、ＷｄＶ（Ａ，Ｃ）、ＷｄＶ（Ａ，Ｄ）、ＷｄＶ（Ｂ，Ｃ）、ＷｄＶ（Ｂ，Ｄ）及びＷｄＶ（Ｃ，Ｄ）と表記する。
【００４２】
次に、補間制御部３３は、算出したＷｄＵ（Ａ，Ｂ）、ＷｄＵ（Ａ，Ｃ）、ＷｄＵ（Ａ，Ｄ）、ＷｄＵ（Ｂ，Ｃ）、ＷｄＵ（Ｂ，Ｄ）及びＷｄＵ（Ｃ，Ｄ）をそれぞれしきい値と比較して、値がしきい値よりも大きい組を選出する。組とは、Ｕデータの差分の絶対値を算出したグループの組である。例えば、ＷｄＵ（Ａ，Ｂ）がしきい値よりも大きい場合、補間制御部３３は、組として（Ａ，Ｂ）を選出する。
例えば、グループＡに分類される画素にＵデータ及びＶデータが含まれる場合、グループＡに分類された画素と、他のグループ（Ｂ〜Ｄ）に分類された画素とのＵデータの差分の絶対値は、値がしきい値よりも大きくなる。また、グループＡに分類される画素にＵデータ及びＶデータが含まれる場合、他のグループ（Ｂ〜Ｄ）に分類された画素同士のＵデータの差分の絶対値は、Ｕデータを含まない画素同士の差分であるため、値がしきい値よりも小さくなる。Ｖデータについても同様である。
【００４３】
次に、補間制御部３３は、選出した組に含まれるグループを判定して、Ｕデータが含まれる画素の画素位置を特定する。
例えば、グループＡに分類される画素にＵデータ及びＶデータが含まれる場合、ＷｄＵ（Ａ，Ｂ）、ＷｄＵ（Ａ，Ｃ）及びＷｄＵ（Ａ，Ｄ）は、値がしきい値よりも大きくなり、ＷｄＵ（Ｂ，Ｃ）、ＷｄＵ（Ｂ，Ｄ）及びＷｄＵ（Ｃ，Ｄ）は、値がしきい値以下となる。Ｖデータについても同様である。
補間制御部３３は、選出した組に、グループＡの画素が３つ含まれる場合には、グループＡの画素位置にＵデータが含まれると判定する。補間制御部３３は、グループＢ〜Ｄについても同様に判定する。また、補間制御部３３は、Ｕデータについても同様に判定する。
【００４４】
補間制御部３３は、Ｕデータが含まれると判定した画素位置と、Ｖデータが含まれると判定した画素位置とが同一の場合、判定した画素位置の画素に、Ｕデータ及びＶデータが含まれると判定する。
また、補間制御部３３は、Ｕデータの含まれる画素位置を判定することができ、Ｖデータの含まれる画素位置を判定することができなかった場合、Ｕデータが含まれると判定した画素位置を、Ｕデータ及びＶデータを含む画素位置と判定することができる。また、補間制御部３３は、Ｖデータの含まれる画素位置を判定することができ、Ｕデータの含まれる画素位置を判定することができなかった場合も、Ｖデータが含まれると判定した画素位置を、Ｕデータ及びＶデータを含む画素位置と判定することができる。
また、補間制御部３３は、Ｕデータが含まれる画素位置及びＶデータが含まれる画素位置を判定することができなかった場合には、次のフレームの画像データに基づいて、Ｕデータ及びＶデータを有する画素の画素位置を判定する。
【００４５】
上述した実施形態の変形例として、差分演算部２６０が、Ｕデータの差分とＶデータの差分とのいずれか一方を作成して、補間制御部３３に出力する構成であってもよい。補間制御部３３は、差分演算部２６０から入力される、Ｕデータの差分又はＶデータの差分に基づいて、Ｕデータ及びＶデータを有する画素の画素位置を判定する。
また、補間制御部３３は、グループＡとグループＤとに分類された画素について、各画素のＵデータの値の和、及びＶデータの値の和をそれぞれに求めてもよい。画像の規格では、単位領域４５内の左上又は右下の画素がＵデータ及びＶデータを有している場合が多い。このため、補間制御部３３は、グループＡとグループＤとに分類された画素について、Ｕデータの値の和、及びＶデータの値の和をそれぞれに求めて、値がしきい値以上となったグループの画素に、Ｕデータ及びＶデータが含まれると判定してもよい。
【００４６】
以上説明したように、本発明を適用した実施形態に係るプロジェクター１は、判定部２５１と、制御部３０とを備える。判定部２５１は、画像データの形式を判定する。制御部３０は、判定された画像データの形式が、画像データをＮ（Ｎは、２以上の自然数）画素単位で区切った単位領域４５内の一部の画素について、一部の画素情報が削除された形式である場合に、単位領域４５内の画素の画素情報に基づいて、一部の画素情報が削除された一部の画素を特定し、特定した画素の画素情報を、単位領域４５内の他の画素の画素情報を用いて補間する。従って、一部の画素において画素情報が削除された画像データであっても、画素情報が削除された画素の画素情報を補間して、高品位の画像を再現性よく表示することができる。
【００４７】
また、制御部３０は、単位領域４５内の各画素の一部の画素情報に基づいて、一部の画素情報が削除された画素を特定する。又は、制御部３０は、画像データの各画素を、単位領域内での画素位置に応じた複数のグループに分類し、各グループに分類された画素の一部の画素情報に基づくヒストグラムを計測部２５２に作成させる。制御部３０は、計測部２５２により作成されたヒストグラムに基づいて一部の画素情報が削除された画素を特定する。従って、画素情報が削除された画素の特定精度を高めることができる。
【００４８】
なお、上述した各実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である。例えば、上記実施形態では、一部の画素情報が削除された画像のフォーマットとして、ＹＵＶ４２０を例に説明したが、画像のフォーマットはＹＵＶ４２０に限られない。また、ＹＵＶ４２０のフォーマットは、画像を水平・垂直方向２×２の４（Ｎ＝４）画素の単位領域で区切っているが、画像を区切る単位領域の画素数も４つに限られない。画像データをＮ（Ｎは、２以上の自然数）画素単位で区切った単位領域内の一部の画素について、一部の画素情報が削除された形式であればよい。また、上記実施形態では、一部の画素情報が削除された画像のフォーマットとしてＹＵＶ４２０を例に説明したため、変換後の画像のフォーマットとしてＹＵＶ４４４を例に説明した。しかし、変換後の画像のフォーマットもＹＵＶ４４４に限られない。また、削除された一部の画素情報としてＵデータ及びＶデータを例に説明したが、Ｕデータ又はＶデータのいずれか一方が削除されたフォーマットの画像であってもよいし、Ｙデータが削除されたフォーマットの画像であってもよい。また、ＹデータとＵデータ、又はＹデータとＶデータが削除されたフォーマットの画像であってもよい。
【００４９】
上記実施形態では、光源が発した光を変調する光変調装置１２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。或いは、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。
【００５０】
また、上記実施形態では、画像処理装置を搭載した装置として、スクリーンＳＣの前方から投射するフロントプロジェクション型のプロジェクター１を示したが、本発明はこれに限定されない。例えば、スクリーンＳＣの背面側から投射するリアプロジェクション（背面投射）型のプロジェクターを表示装置として採用できる。また、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（陰極線管）ディスプレイ、ＳＥＤ（Surface-conduction Electron-emitter Display）等を表示装置として用いることができる。
また、図１、図２及び図７に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
【符号の説明】
【００５１】
１…プロジェクター（表示装置）、３…画像供給装置、１０…表示部、１１…光源部、１２…光変調装置、１３…投射光学系、２２…光源駆動部、２３…光変調装置駆動部、２５Ａ、２５Ｂ…画像処理部、２７…フレームメモリー、３０…制御部（処理部）、３１…投射制御部、３２…補正制御部、３３…補間制御部（処理部）、４０Ａ、４０Ｂ…画像処理装置、５４…記憶部、５５…無線通信部、２５１…判定部、２５２…計測部、２５３…第１変換部、２５４…処理部、２５５…第２変換部（変換部）、２６０…差分演算部、ＳＣ…スクリーン。
【図１】
2016144170.tif 000003
【図２】
2016144170.tif 000004
【図３】
2016144170.tif 000005
【図４】
2016144170.tif 000006
【図５】
2016144170.tif 000007
【図６】
2016144170.tif 000008
【図７】
2016144170.tif 000009