(57)【要約】【課題】印刷媒体に印刷された印刷画像に重畳するように投影する投影画像を、印刷画像の位置毎の反射率を考慮して補正する技術を提供する。【解決手段】印刷媒体に印刷された印刷画像に重畳するように投影手段により投影画像を投影するための投影用画像データと、前記投影用画像データの補正パラメータと、を取得する第１の取得手段と、前記印刷画像の複数の位置の反射率を取得する第２の取得手段と、前記印刷画像の前記複数の位置に対応する前記投影用画像データの複数の画素値それぞれを、前記補正パラメータ、及び前記印刷画像の対応する位置の反射率に基づき、補正する補正手段と、を備えることを特徴とする画像処理装置を提供する。【選択図】図７
2019008065.tif 000002
【特許請求の範囲】
【請求項１】
印刷媒体に印刷された印刷画像に重畳するように投影手段により投影画像を投影するための投影用画像データと、前記投影用画像データの補正パラメータと、を取得する第１の取得手段と、
前記印刷画像の複数の位置の反射率を取得する第２の取得手段と、
前記印刷画像の前記複数の位置に対応する前記投影用画像データの複数の画素値それぞれを、前記補正パラメータ、及び前記印刷画像の対応する位置の反射率に基づき、補正する補正手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記補正手段は、前記補正に起因する前記投影画像の変化の、前記投影画像の位置に応じたばらつきを抑制するように、前記投影用画像データの前記複数の画素値それぞれを補正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正手段は、前記投影用画像データの前記複数の画素値それぞれを、前記補正パラメータに基づく補正値に対して前記印刷画像の対応する位置の反射率の逆数を乗じた値を用いて補正する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記印刷画像を印刷するための印刷用画像データを取得する第３の取得手段を更に備え、
前記第２の取得手段は、前記印刷画像の前記複数の位置に対応する前記印刷用画像データの画素値に基づいて、前記印刷画像の前記複数の位置の反射率を取得する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記印刷用画像データの画素値と前記印刷画像の反射率とを関連付けたテーブルを記憶した記憶部を更に備え、
前記第２の取得手段は、前記テーブルを参照することにより、前記印刷画像の前記複数の位置に対応する前記印刷用画像データの画素値に基づいて、前記印刷画像の前記複数の位置の反射率を取得する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１の取得手段は、前記印刷画像の色材の種類、及び前記印刷媒体の種類のうちの少なくとも一方を更に取得し、
前記第２の取得手段は、前記印刷画像の色材の種類、及び前記印刷媒体の種類のうちの少なくとも一方に更に基づいて、前記印刷画像の前記複数の位置の反射率を取得する
ことを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
撮像部を更に備え、
前記第２の取得手段は、前記撮像部が前記印刷画像を撮像することにより得られた撮像画像データに基づいて、前記印刷画像の前記複数の位置の反射率を取得する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の画像処理装置と、
前記投影手段と、
を備えることを特徴とする投影装置。
【請求項９】
投影モードとして、第１の投影モード又は第２の投影モードを設定する設定手段を更に備え、
前記補正手段は、
前記第１の投影モードが設定された場合、前記補正パラメータ及び前記反射率に基づいて前記補正を行い、
前記第２の投影モードが設定された場合、前記反射率を用いず、前記補正パラメータに基づいて前記補正を行う
ことを特徴とする請求項８に記載の投影装置。
【請求項１０】
画像処理装置が実行する画像処理方法であって、
印刷媒体に印刷された印刷画像に重畳するように投影手段により投影画像を投影するための投影用画像データと、前記投影用画像データの補正パラメータと、を取得する第１の取得工程と、
前記印刷画像の複数の位置の反射率を取得する第２の取得工程と、
前記印刷画像の前記複数の位置に対応する前記投影用画像データの複数の画素値それぞれを、前記補正パラメータ、及び前記印刷画像の対応する位置の反射率に基づき、補正する補正工程と、
を備えることを特徴とする画像処理方法。
【請求項１１】
コンピュータを請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１２】
コンピュータを請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、投影装置、画像処理方法、プログラム、及び記憶媒体に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等で撮影した自然界の被写体を、高いダイナミックレンジを持ったハイダイナミックレンジ画像（ＨＤＲ画像）として取り扱う機会が増えてきている。ＨＤＲ画像を人間の視覚に対して忠実に再現することが求められており、忠実に再現することができれば、色、階調、質感等の表現力が増す。
【０００３】
しかしながら、液晶ディスプレイ、有機ＥＬ等の直視型デバイスによるダイナミックレンジの再現可能範囲は、一般的に１〜１０００ｃｄ／ｍ２程度である。従って、例えば１０００ｃｄ／ｍ２を超えるようなＨＤＲ画像をこれらのデバイスで表示するためには、トーンマッピングと呼ばれる階調圧縮処理を施す必要がある。このような場合には、ＨＤＲ画像が本来持っているダイナミックレンジを十分に表現できないことになる。
【０００４】
そこで、輝度のダイナミックレンジや色域の拡大を目的に、印刷物（印刷画像）に対してプロジェクタで画像を投影することで、コントラストを向上させる技術が提案されている（特許文献１）。特許文献１の技術は、スクリーンの色によって投影画像の見えが変わらないようにする技術（特許文献２）とは逆に、見えの変化を利用して輝度のダイナミックレンジや色域を拡大するものである。
【０００５】
また、プロジェクタの中には、ユーザの指示に応じて投影画像の明るさや色を変化させる画質調整機能が搭載されているものもある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３３４１７９号公報
【特許文献２】特開２００４−２７４２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
スクリーンとは異なり、印刷画像は、画像の内容に応じて位置毎に光の反射率が異なる。そのため、ユーザがプロジェクタの画質調整機能を用いて印刷画像に対する投影画像を変化させた場合、投影面（印刷画像）上の見えの変化は、位置に応じて（即ち、反射率に応じて）異なる。しかし、従来の技術においては、ユーザの指示に応じて投影画像を変化させる際に、印刷画像の位置に応じた反射率の相違は考慮されていなかった。そのため、投影画像の見えをユーザが意図する通りに変化させること（例えば、印刷画像全体に亘って投影画像の見えを一様に変化させたり、印刷画像における色の相違を強調するように投影画像の見えを変化させたりすること）が困難であった。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、印刷媒体に印刷された印刷画像に重畳するように投影する投影画像を、印刷画像の位置毎の反射率を考慮して補正する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、印刷媒体に印刷された印刷画像に重畳するように投影手段により投影画像を投影するための投影用画像データと、前記投影用画像データの補正パラメータと、を取得する第１の取得手段と、前記印刷画像の複数の位置の反射率を取得する第２の取得手段と、前記印刷画像の前記複数の位置に対応する前記投影用画像データの複数の画素値それぞれを、前記補正パラメータ、及び前記印刷画像の対応する位置の反射率に基づき、補正する補正手段と、を備えることを特徴とする画像処理装置を提供する。
【００１０】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【００１１】
本発明によれば、印刷媒体に印刷された印刷画像に重畳するように投影する投影画像を、印刷画像の位置毎の反射率を考慮して補正することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】画像処理システムの構成を示す図。
【図２】第１の実施形態に係るプロジェクタ１０１の構成を示すブロック図。
【図３】印刷物係数テーブルの例を示す図。
【図４】印刷物係数の測定方法を説明する図。
【図５】（Ａ）印刷用画像データＰＤの例を示す図、（Ｂ）投影用画像データＧＤの例を示す図。
【図６】図５の例に対応する、プロジェクタ１０１が内部で扱う各種のデータの値を示す図。
【図７】プロジェクタ１０１が実行する画像処理及び投影処理のフローチャート。
【図８】第２の実施形態に係るプロジェクタ１０１の構成を示すブロック図。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。
【００１４】
［第１の実施形態］
図１は、画像処理システムの構成を示す図である。図１において、プロジェクタ１０１は、投影用画像データＧＤに対して、印刷用画像データＰＤに基づいて画像処理（後述）を行い、処理済みの投影用画像データに基づいて投影画像１０４を投影する。以下の説明において、投影用画像データＧＤ及び印刷用画像データＰＤは、いずれも色毎に８ｂｉｔ（０〜２５５）の階調を持つものとする。
【００１５】
プリンタ１０２は、印刷用画像データＰＤに基づいて、紙などの印刷媒体１０３に画像を印刷する。印刷用画像データＰＤは、ＰＣ等の外部機器や、ＵＳＢメモリ等の記憶装置などからプリンタ１０２に入力される。プリンタ１０２は、例えば、インクジェット方式の写真を印刷するタイプのプリンタである。
【００１６】
印刷媒体１０３は、印刷画像の位置と投影画像１０４の位置とが一致するように、プロジェクタ１０１の投影面に配置される。従って、プロジェクタ１０１は、印刷媒体１０３に印刷された画像（印刷画像）に対して投影画像１０４を重畳して表示する。即ち、投影用画像データＧＤと印刷用画像データＰＤの同じ画素位置の画素が印刷媒体１０３上で重畳される。これにより、ユーザは、高コントラストの画像を鑑賞できる。
【００１７】
なお、プロジェクタ１０１は、画像の投影モードとして、「印刷画像投影モード」（第１の投影モード）と「ＰＣモード」（第２の投影モード）とを有する。印刷画像投影モードは、印刷画像に重畳するように画像を投影する場合に用いられる投影モードである。ＰＣモードは、通常のスクリーン等に対して画像を投影する場合に用いられる投影モードである。
【００１８】
次に、図２を参照して、プロジェクタ１０１の詳細な機能について説明する。図２において、制御部２００は、ＣＰＵ、ＣＰＵが実行する制御プログラムを格納したＲＯＭ、及びＣＰＵのワークエリアとして用いられるＲＡＭなどを含み、プロジェクタ１０１全体を制御する。プロジェクタ１０１の各部の機能は、ハードウェア、制御プログラム、又はその組み合わせにより実装可能である。
【００１９】
投影用画像データ入力部２０１は、ＰＣ等の外部機器から投影用画像データＧＤを受信する。投影用画像データＧＤの伝送方式としては、汎用的な映像信号伝送規格に準拠した伝送方式を用いてもよいし、独自で定義した伝送方式を用いてもよい。映像信号伝送規格としては、例えば、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＤＰ（Ｄｉｓｐｌａｙ Ｐｏｒｔ）、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）などがある。
【００２０】
画像処理部２０２は、後述する補正調整量に従って、投影用画像データＧＤの画素値を変更し、変更した結果を投影用画像データＤＭとして投影表示部２０３に入力する。画像処理部２０２の処理の詳細は後述する。
【００２１】
投影表示部２０３は、ランプやレーザーなどの光源と、プリズムやミラーなどの光学素子と、液晶パネルやＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｌｉｃｏｎ）パネルなどの表示パネルと、投影レンズとを有する。投影表示部２０３は、投影用画像データＤＭに基づき、投影画像１０４を印刷媒体１０３に投影する。
【００２２】
ユーザ設定部２０４は、ユーザが設定した画質調整に関する情報を取得する。例えば、プロジェクタ１０１は、ＯＳＤでメニューを投影し、ユーザは、プロジェクタ１０１に搭載されているボタンを用いてメニュー操作を行い、操作内容がユーザ設定部２０４に入力される。或いは、タブレットなどの外部機器がメニューを表示し、ユーザによるメニュー操作内容をユーザ設定部２０４が取得してもよい。
【００２３】
ユーザが設定可能な画質調整に関する情報には、投影モード、印刷物情報（印刷媒体の種類、色材の種類）、及び画質調整量（補正パラメータ）がある。本実施形態において、画質調整量は、赤（Ｒ）オフセット、緑（Ｇ）オフセット、及び青（Ｂ）オフセットの３種類のオフセットを含み、それぞれ−３２〜＋３２の範囲の値（補正値）が設定できるものとする。ユーザ設定部２０４は、印刷物情報を印刷物係数取得部２０５へ出力し、投影モード及び画質調整量を調整量補正部２０９へ出力する。
【００２４】
印刷物係数取得部２０５は、ユーザ設定部２０４から入力された印刷物情報に基づき、反射特性に関する印刷物係数テーブルを取得する。印刷物係数は、印刷画像の色に対応する、プロジェクタ１０１の赤（Ｒ）の光の反射率、緑（Ｇ）の光の反射率、及び青（Ｂ）の光の反射率を表す。
【００２５】
図３に、印刷物係数テーブルの例を示す。印刷物係数は印刷画像の色に応じて異なるため、印刷物係数テーブルは、印刷用画像データＰＤの複数の色について対応する印刷物係数を含んでいる。即ち、印刷物係数テーブルは、印刷用画像データＰＤの画素値と反射率とを関連付けるものである。また、印刷物係数は、印刷媒体（紙など）の種類、色材（インクやトナーなど）の種類に応じて異なるため、印刷物係数取得部２０５には、印刷媒体及び色材の様々な種類の組み合わせに対応する複数の印刷物係数テーブルが記憶される。各組み合わせに対応する印刷物係数としては、予め測定により得られた値が用いられる。印刷媒体の種類としては、例えば、普通紙、マット紙、光沢紙などがあり、色材の種類としては、例えば、顔料インク、染料インクなどがある。反射率に関してそれほど高い精度が要求されない場合には、印刷媒体の種類及び色材の種類のうちの一方のみを考慮してもよい。なお、印刷物係数は、プロジェクタ１０１の光源の種類に応じても異なるため、プロジェクタ１０１の光源を交換可能な場合、印刷物係数テーブルは、印刷媒体、色材、及び光源の様々な種類の組み合わせに対応するように用意される。
【００２６】
図４を参照して、印刷物係数の測定方法について説明する。測定時の環境光は、プロジェクタ１０１の使用時の環境光を考慮して決定される。特定の色の画像が印刷された印刷媒体４０１を設置し、光源４０２から光を投射し、輝度計４０３により反射光を測定する。光源４０２としては、プロジェクタ１０１が投射する赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光と同等の分光特性を持ち、ＲＧＢをそれぞれ独立して投射できるものが用いられる。
【００２７】
理論的には、印刷物係数は、標準白板（完全拡散板）に光を当てたときの輝度を１とし、同一条件下での印刷画像の輝度の比率を表す。印刷画像の色を変更しながら、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光をそれぞれ投射して輝度の測定を行い、得られた値（比率）を、図３で示したテーブルの形式で印刷物係数取得部２０５の記憶部に格納する。
【００２８】
印刷物係数取得部２０５は、印刷物情報に対応する１つの印刷物係数テーブルを選択し、補正データ生成部２０６に入力する。
【００２９】
補正データ生成部２０６は、印刷物係数テーブルに基づいて補正データテーブルを生成する。本実施形態では、印刷物係数テーブルの各値の逆数を取ったものを補正データテーブルとする。補正データ生成部２０６は、補正データテーブルを補正係数算出部２０８に入力する。
【００３０】
印刷用画像データ入力部２０７は、ＰＣ等の外部機器や、ＵＳＢメモリ等の記憶装置などから印刷用画像データＰＤを受信する。印刷用画像データ入力部２０７は、受信した印刷用画像データＰＤを補正係数算出部２０８に入力する。
【００３１】
補正係数算出部２０８は、補正データテーブルと印刷用画像データＰＤとを参照し、投影用画像データＧＤ上の各画素位置の補正係数を算出する。補正係数算出部２０８は、印刷画像において投影用画像データＧＤの各画素が重畳される位置の印刷用画像データＰＤの画素値を特定し、特定した画素値に対する補正データテーブルの値を補正係数とする。特定した画素値と同一の値が補正データテーブルに含まれない場合は、補正係数算出部２０８は、線形補間などの適当な補間処理により、特定した画素値に対する補正係数を算出する。補正係数算出部２０８は、投影用画像データＧＤ上の各画素位置の補正係数を、調整量補正部２０９に入力する。
【００３２】
なお、本実施形態では、印刷用画像データＰＤと投影用画像データＧＤの画素位置は１対１に対応しているので、補正係数算出部２０８は、投影用画像データＧＤと同じ画素位置の印刷用画像データＰＤの画素値を参照すればよい。画素位置が１対１に対応していない場合、補正係数算出部２０８は、バイリニア法やバイキュービック法によって印刷用画像データＰＤの解像度を変更し、印刷用画像データＰＤと投影用画像データＧＤの画素位置が１対１に対応するようにする。
【００３３】
調整量補正部２０９は、投影モードが印刷画像投影モードである場合、補正係数に基づいて画質調整量を補正し、画素位置毎に補正された画質調整量（補正調整量）を生成する。即ち、印刷画像投影モードが設定されている場合、ユーザが設定した画質調整量、及び印刷画像の反射率の両方に基づいて、投影用画像データＧＤの補正が行われる。調整量補正部２０９は、補正調整量を画像処理部２０２に入力する。
【００３４】
より具体的には、投影モードが印刷画像投影モードである場合、調整量補正部２０９は、画素位置毎に、画素位置に対応する補正係数を画質調整量に乗算する。補正調整量の算出式を下記の式１に示す。式１において、ＡＤＪは補正調整量、ＲｏｆｓはＲオフセット量、ＧｏｆｓはＧオフセットの値、ＢｏｆsはＢオフセットの値、ＩＲは補正係数を意味する。またＡＤＪ（ｘ，ｙ，ｒ／ｇ／ｂ）とＩＲ（ｘ，ｙ，ｒ／ｇ／ｂ）におけるｘ，ｙは画素位置を示し、ｒ／ｇ／ｂは投影用画像データＧＤの各ＲＧＢに対応する。
ＡＤＪ（ｘ，ｙ，ｒ）＝Ｒｏｆｓ×ＩＲ（ｘ，ｙ，ｒ）
ＡＤＪ（ｘ，ｙ，ｇ）＝Ｇｏｆｓ×ＩＲ（ｘ，ｙ，ｇ）  ・・・（１）
ＡＤＪ（ｘ，ｙ，ｂ）＝Ｂｏｆｓ×ＩＲ（ｘ，ｙ，ｂ）
【００３５】
投影モードがＰＣモードである場合、調整量補正部２０９は、画質調整量をそのまま補正調整量として出力する。即ち、この場合、画質調整量の補正は行われない。即ち、ＰＣモードが設定されている場合、印刷画像の反射率は用いずに、ユーザが設定した画質調整量に基づいて投影用画像データＧＤの補正が行われる。
【００３６】
次に、前述した画像処理部２０２の処理の詳細について述べる。画像処理部２０２は、投影用画像データＧＤに対して補正調整量ＡＤＪを加算して、投影用画像データＤＭを算出する。投影用画像データＤＭの算出式を下記の式２に示す。
ＤＭ（ｘ，ｙ，ｒ）＝ＧＤ（ｘ，ｙ，ｒ）＋ＡＤＪ（ｘ，ｙ，ｒ）
ＤＭ（ｘ，ｙ，ｇ）＝ＧＤ（ｘ，ｙ，ｇ）＋ＡＤＪ（ｘ，ｙ，ｇ）  ・・・（２）
ＤＭ（ｘ，ｙ，ｂ）＝ＧＤ（ｘ，ｙ，ｂ）＋ＡＤＪ（ｘ，ｙ，ｂ）
【００３７】
次に、図５乃至図７を参照して、プロジェクタ１０１の動作の具体例を説明する。図５（Ａ）は、印刷用画像データＰＤの例を示し、図５（Ｂ）は、投影用画像データＧＤの例を示す。図中、Ｐ１とＧ１、Ｐ２とＧ２、Ｐ３とＧ３は、印刷用画像データＰＤと投影用画像データＧＤの間の対応する画素位置を示す。また、木（Ｐ１、Ｇ１付近）と人（Ｐ２、Ｇ２付近）は、印刷用画像データＰＤと投影用画像データＧＤとで同じ絵柄である。太陽（Ｇ３付近）の絵柄は、投影用画像データＧＤにのみ存在する。このように、印刷用画像データＰＤと投影用画像データＧＤとは、必ずしも完全に同じ画像でなくてもよい。Ｇ３付近に太陽の代わりに月の絵柄を持つ投影用画像データＧＤを別途用意し、２つの投影用画像データＧＤを切り替えれば、ユーザが印刷媒体１０３上で観察する画像を動的に変化させることができる。
【００３８】
図６は、図５の例に対応する、プロジェクタ１０１が内部で扱う各種のデータの値を示す図である。プロジェクタ１０１には、図５（Ａ）の印刷用画像データＰＤ、及び図５（Ｂ）の投影用画像データＧＤが入力される。この時のＰ１〜Ｐ３の画素値は、図６の「印刷用画像データＰＤ」の行に示した値である。また、Ｇ１〜Ｇ３の画素値は、図６の「投影用画像データＧＤ」の行に示した値である。
【００３９】
図７は、プロジェクタ１０１が実行する画像処理及び投影処理のフローチャートである。Ｓ７０１で、投影用画像データ入力部２０１は、投影用画像データＧＤを取得する。Ｓ７０２で、ユーザ設定部２０４は、ユーザが設定した投影モード、画質調整量、及び印刷物情報を取得する。ここでは、投影モードは印刷画像投影モード、印刷媒体の種類は普通紙、色材の種類は染料インク、Ｒオフセットは０、Ｇオフセットは０、Ｂオフセットは＋２０にそれぞれ設定されたものとする。Ｓ７０３で、印刷用画像データ入力部２０７は、印刷用画像データＰＤを取得する。
【００４０】
Ｓ７０４で、印刷物係数取得部２０５は、予め格納されている複数の印刷物係数テーブルの中から、普通紙と染料インクの組み合わせに対応する印刷物係数テーブルを取得し、補正データ生成部２０６に入力する。取得した印刷物係数テーブルの値のうち、Ｐ１〜Ｐ３の画素値に対応した印刷物係数を、図６の「印刷物係数」の行に示す。
【００４１】
Ｓ７０５で、補正データ生成部２０６は、印刷物係数テーブルの各値の逆数を取ったものを補正データテーブルとする。Ｓ７０６で、補正係数算出部２０８は、補正データテーブルに基づいて、投影用画像データＧＤの各画素位置の補正係数を算出する。Ｇ１〜Ｇ３に対応した補正データテーブルの値（補正係数）を、図６の「補正係数」の行に示す。
【００４２】
Ｓ７０７で、調整量補正部２０９は、画質調整量であるＲオフセット（０）、Ｇオフセット（０）、Ｂオフセット（＋２０）に対し、各画素位置の補正係数を乗算して補正調整量を算出する。Ｇ１〜Ｇ３に対応した補正調整量を、図６の「補正調整量」の行に示す。
【００４３】
Ｓ７０８で、画像処理部２０２は、投影用画像データＧＤに補正調整量を加算して投影用画像データＤＭを求める。投影用画像データＤＭ上のＧ１〜Ｇ３の画素値を、図６の「投影用画像データＤＭ」の行に示す。Ｓ７０９で、投影表示部２０３は、投影用画像データＤＭに基づいて、印刷媒体１０３に対して投影画像１０４を投影する。
【００４４】
このように、上の例では＋２０であったＢオフセットが、印刷物の反射率の逆数によって画素毎に伸長された値となり、投影用画像データＧＤの各画素に加算される。そして、印刷媒体１０３に照射された光は、印刷物の反射率に従って反射されるので、投影面（印刷媒体）上の見えは、Ｂの値に対して一様に＋２０が加算されたように変化する。
【００４５】
以上説明したように、第１の実施形態によれば、プロジェクタ１０１は、印刷媒体に印刷された印刷画像の複数の位置の反射率を、印刷用画像データの対応する画素値に基づいて取得する。そして、プロジェクタ１０１は、印刷画像の複数の位置に対応する投影用画像データの複数の画素値それぞれを、ユーザが設定した画質調整量、及び印刷画像の対応する位置の反射率に基づいて、補正する。
【００４６】
このように、本実施形態によれば、印刷媒体に印刷された印刷画像に重畳するように投影する投影画像を、印刷画像の位置毎の反射率を考慮して補正することが可能となる。
【００４７】
また、反射率の考慮に関する具体例として、プロジェクタ１０１は、ユーザが設定した画質調整量に対して反射率の逆数を乗じることができる。このような構成により、ユーザが印刷画像全体に亘って投影画像の見えを一様に変化させることが容易になる。
【００４８】
なお、プロジェクタ１０１は、反射率の逆数の代わりに、反射率に対して概ね負の相関を持つ値を、画質調整量に対して乗じてもよい。この場合であっても、投影用画像データＧＤの補正に起因する投影画像の変化の、投影画像の位置に応じたばらつきが、ある程度は抑制される。
【００４９】
また、本実施形態では、画質調整としてＲＧＢオフセットを例に説明したが、本実施形態はこれに限定されない。例えば、マゼンダ、シアン、イエローなどの中間色の場合は、ユーザ設定部２０４は、画質調整量として、マゼンダオフセット、シアンオフセット、イエローオフセットを取得する。そして、ユーザ設定部２０４は、マゼンダ、シアン、イエローをそれぞれＲＧＢ成分に分離してＲオフセット、Ｇオフセット、Ｂオフセットに変換する。また、明るさ調整の場合は、ユーザ設定部２０４は、画質調整量として、明るさオフセットを取得する。そして、ユーザ設定部２０４は、明るさオフセットの値をそのまま、Ｒオフセット、Ｇオフセット、Ｂオフセットの値として用いる。
【００５０】
また、本実施形態では、プリンタで印刷した印刷物に画像を投影する場合について説明したが、これ以外の油絵や水彩画などの絵画や、彫刻や建築物などの立体物に画像を投影する場合にも、本実施形態の原理を利用可能である。この場合は、印刷用画像データ入力部２０７は、予め撮影した実物の画像を、印刷用画像データの代わりに取得する。そして、印刷物係数取得部２０５は、予め各素材の組み合わせの反射率を測定することにより得られた印刷物係数テーブルを記憶しておき、この印刷物係数テーブルに基づいて反射率を取得する。
【００５１】
［第２の実施形態］
第１の実施形態では、印刷用画像データＰＤに基づいて反射率及び補正係数などを算出する構成について説明した。第２の実施形態では、プロジェクタに内蔵されたデジタルカメラなどの撮像部で撮影した印刷物の画像に基づいて反射率及び補正係数などを算出する構成について説明する。
【００５２】
図８は、第２の実施形態に係るプロジェクタ１０１の構成を示すブロック図である。図８において、図２と同一又は同様の機能を持つブロックには図２と同一の符号を付す。以下、主に第１の実施形態と異なる点について説明する。
【００５３】
ユーザ設定部２０４は、ユーザが設定した投影モード、画質調整量、印刷物面積、及び印刷投影初期化指示を取得する。本実施形態では、印刷物面積は用紙サイズ（Ａ０〜Ａ４）とする。ユーザ設定部２０４は、印刷物面積を反射率算出部８０２に設定する。また、ユーザ設定部２０４は、印刷投影初期化指示が入力されると、投影表示部２０３及び撮像部８０１に初期化を指示する。
【００５４】
投影表示部２０３は、初期化指示を受けた場合、一定時間に亘り、投影用画像データＤＭに基づく投影画像の代わりに、全白画像を投影する。
【００５５】
撮像部８０１は、初期化指示を受けた場合、投影表示部２０３が全白画像を投影している期間に、印刷物を撮影する。撮像部８０１は、印刷画像の撮影により得られたＲＧＢデータ（撮像画像データ）を、反射率算出部８０２に入力する。
【００５６】
反射率算出部８０２は、撮像画像データ及び基準ＲＧＢデータを用いて、撮像画像データの各画素に対応する反射率を算出する。基準ＲＧＢデータは、プロジェクタ１０１からＡ０サイズの標準白板に全白画像を投影し、その状態を撮像部８０１で撮影して得られたＲＧＢデータであるものとする。基準ＲＧＢデータは、予め撮影しておき、反射率算出部８０２に格納しておく。また、投影面積に応じて表示面の輝度が変わるため、反射率算出部８０２は、反射率算出の際に印刷物面積を用いた補正も実施する。反射率算出の式を下記の式３に示す。
Ｒ反射率（ｘ，ｙ）＝入力Ｒ（ｘ，ｙ）／面積係数／基準Ｒ
Ｇ反射率（ｘ，ｙ）＝入力Ｇ（ｘ，ｙ）／面積係数／基準Ｇ  ・・・（３）
Ｂ反射率（ｘ，ｙ）＝入力Ｂ（ｘ，ｙ）／面積係数／基準Ｂ
ここで、Ｒ／Ｇ／Ｂ反射率（ｘ，ｙ）は、撮像画像データの画素位置（ｘ，ｙ）に対応するＲ／Ｇ／Ｂ成分の反射率を示す。入力Ｒ／Ｇ／Ｂ（ｘ，ｙ）は、撮像画像データの画素位置（ｘ，ｙ）に対応するＲ／Ｇ／Ｂ成分の値を示す。基準Ｒ／Ｇ／Ｂは、基準ＲＧＢデータのＲ／Ｇ／Ｂ成分の値を示す。また、本実施形態ではＡ０サイズを基準としているので、面積係数は、印刷物面積がＡ０の場合は１、Ａ１の場合は２、Ａ２の場合は４、Ａ３の場合は８、Ａ４の場合は１６となる。
【００５７】
補正係数算出部２０８は、印刷用画像データＰＤと、反射率算出部８０２により算出された撮像画像データの各画素に対応する反射率とを参照し、投影用画像データＧＤ上の各画素位置の補正係数を算出する。撮像画像データの各画素に対応する反射率は、撮像画像データの各画素に対応する印刷画像上の位置の反射率に相当する。従って、補正係数算出部２０８は、印刷画像において投影用画像データＧＤの各画素が重畳される位置に対応する撮像画像データの画素位置を特定し、特定した画素位置に対応する反射率の逆数を補正係数とする。補正係数算出部２０８は、投影用画像データＧＤ上の各画素位置の補正係数を、調整量補正部２０９に入力する。これ以降の処理は、第１の実施形態と同様である。
【００５８】
以上説明したように、第２の実施形態によれば、プロジェクタ１０１は、印刷媒体に印刷された印刷画像の複数の位置の反射率を、印刷画像の撮像画像データに基づいて取得する。これにより、プロジェクタ１０１が印刷用画像データＰＤを利用できない場合であっても、第１の実施形態と同様、印刷媒体に印刷された印刷画像に重畳するように投影する投影画像を、印刷画像の位置毎の反射率を考慮して補正することが可能となる。
【００５９】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６０】
１０１…プロジェクタ、１０２…プリンタ、１０３…印刷媒体、１０４…投影画像、２００…制御部、２０１…投影用画像データ入力部、２０２…画像処理部、２０８…補正係数算出部、２０９…調整量補正部
【図１】
2019008065.tif 000003
【図２】
2019008065.tif 000004
【図３】
2019008065.tif 000005
【図４】
2019008065.tif 000006
【図５】
2019008065.tif 000007
【図６】
2019008065.tif 000008
【図７】
2019008065.tif 000009
【図８】
2019008065.tif 000010