(57)【要約】【課題】コンテンツと、パターン画像とを適切に表示することができる表示制御装置等を提供すること。【解決手段】コンテンツを記憶するコンテンツ記憶部と、パターン画像を記憶するパターン画像記憶部と、前記コンテンツに対して、前記パターン画像に基づいて輝度値を加算した第１の重畳画像及び前記パターン画像に基づいて輝度値を減算した第２の重畳画像を生成する重畳画像生成部と、前記第１の重畳画像と前記第２の重畳画像とを交互に表示する制御を行う表示制御部と、を備える。【選択図】図６
2019158968.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを記憶するコンテンツ記憶部と、
パターン画像を記憶するパターン画像記憶部と、
前記コンテンツに対して、前記パターン画像に基づいて輝度値を加算した第１の重畳画像及び前記パターン画像に基づいて輝度値を減算した第２の重畳画像を生成する重畳画像生成部と、
前記第１の重畳画像と前記第２の重畳画像とを交互に表示する制御を行う表示制御部と、
を備えることを特徴とする表示制御装置。
【請求項２】
前記重畳画像生成部は、前記コンテンツについて、１又は複数のチャンネルの画素値に対して所定値を加算及び減算を行うことで、重畳画像を生成することを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記重畳画像生成部は、前記１又は複数のチャンネルの画素値に対して加算する値と、減算する値とが異なることを特徴とする請求項２に記載の表示制御装置。
【請求項４】
前記重畳画像生成部は、前記１又は複数のチャンネルの画素値に対して加算及び減算した結果が、当該チャンネルにおいて取りうる値の範囲に収まるチャンネルに対して加算及び減算を行うことを特徴とする請求項２又は３に記載の表示制御装置。
【請求項５】
前記重畳画像生成部は、前記１又は複数のチャンネルの画素値に対して加算及び減算した結果が、当該チャンネルにおいて取り得る値の範囲に収まる領域にパターン画像を重畳することを特徴とする請求項２から４の何れか一項に記載の表示制御装置。
【請求項６】
前記重畳画像生成部は、前記パターン画像を重畳する領域に対して平滑化処理を行った後に、当該パターン画像を重畳することを特徴とする請求項１から５の何れか一項に記載の表示制御装置。
【請求項７】
入力画素値と出力画素値とを対応付けたルックアップテーブルを記憶するルックアップテーブル記憶部を更に備え、
前記重畳画像生成部は、前記コンテンツの各画素値に対して、前記パターン画像に基づいて輝度値を加算及び減算して得られた画素値を、前記ルックアップテーブルによって算出することで重畳画像を生成することを特徴とする請求項１に記載の表示制御装置。
【請求項８】
輝度値が時系列的に変化する映像を連続的に撮像する撮像部と、
前記映像から、複数のフレーム画像間の差分を求めることで、輝度値が変化している箇所を抽出する抽出部と、
前記抽出された箇所に重畳されたパターン画像を認識する認識部と、
を備えることを特徴とする撮像装置。
【請求項９】
表示制御装置と、撮像装置とを含む表示システムであって、
前記表示制御装置は、
コンテンツを記憶するコンテンツ記憶部と、
パターン画像を記憶するパターン画像記憶部と、
前記コンテンツに対して、前記パターン画像に基づいて輝度値を加算した第１の重畳画像及び前記パターン画像に基づいて輝度値を減算した第２の重畳画像を生成する重畳画像生成部と、
前記第１の重畳画像と前記第２の重畳画像とを交互に表示する制御を行う表示制御部と、
を備え、
前記撮像装置は、
輝度値が時系列的に変化する映像を連続的に撮像する撮像部と、
前記映像から、複数のフレーム画像間の差分を求めることで、輝度値が変化している箇所を抽出する抽出部と、
前記抽出された箇所に重畳されたパターン画像を認識する認識部と、
を備えることを特徴とする表示システム。
【請求項１０】
コンテンツを記憶するコンテンツ記憶ステップと、
パターン画像を記憶するパターン画像記憶ステップと、
前記コンテンツに対して、前記パターン画像に基づいて輝度値を加算した第１の重畳画像及び前記パターン画像に基づいて輝度値を減算した第２の重畳画像を生成する重畳画像生成ステップと、
前記第１の重畳画像と前記第２の重畳画像とを交互に表示する制御を行う表示制御ステップと、
を含むことを特徴とする表示制御方法。
【請求項１１】
コンピュータに、
コンテンツを記憶するコンテンツ記憶機能と、
パターン画像を記憶するパターン画像記憶機能と、
前記コンテンツに対して、前記パターン画像に基づいて輝度値を加算した第１の重畳画像及び前記パターン画像に基づいて輝度値を減算した第２の重畳画像を生成する重畳画像生成機能と、
前記第１の重畳画像と前記第２の重畳画像とを交互に表示する制御を行う表示制御機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置等に関する。
【背景技術】
【０００２】
従来より、ディスプレイといった表示装置をカメラ機能付きの端末等で撮像することにより、人間が知覚した画像とは異なる情報を取得することができる技術が利用されている。
【０００３】
例えば、映像信号に応じた映像を形成するドットが重畳用データに応じて点滅するように、映像信号を補正して、映像に重畳用データが重畳された重畳映像を示す重畳映像信号を生成する映像表示装置が提案されている。この映像表示装置を撮影機で撮影することで、点滅パターンから２次元コード等のパターン画像を読み取ることが可能である（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２４９２５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した方法では、重畳用データとしてパターン画像が重畳されている領域を人間が見た場合は、点灯している表示ドットと消灯している表示ドットとの中間輝度で知覚されることとなる。例えば、全体が一様に白い画像を示すコンテンツ（例えば、映像信号）に対してパターン画像を重畳した場合は、重畳した領域のドットは点滅しているため、人間の視覚では中間色（例えば、灰色）に表示されていると知覚されてしまう。したがって、表示制御装置は、コンテンツに重畳用データであるパターン画像を重畳して表示すると、コンテンツを適切に知覚させることができなかった。
【０００６】
上述した課題に鑑み、本発明は、コンテンツと、パターン画像とを適切に表示することができる表示制御装置等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の表示制御装置は、
コンテンツを記憶するコンテンツ記憶部と、
パターン画像を記憶するパターン画像記憶部と、
前記コンテンツに対して、前記パターン画像に基づいて輝度値を加算した第１の重畳画像及び前記パターン画像に基づいて輝度値を減算した第２の重畳画像を生成する重畳画像生成部と、
前記第１の重畳画像と前記第２の重畳画像とを交互に表示する制御を行う表示制御部と、
を備えることを特徴とする。
【０００８】
本発明の撮像装置は、
輝度値が時系列的に変化する映像を撮像する撮像部と、
前記映像から、複数のフレーム画像間の差分を求めることで、輝度値が変化している箇所を抽出する抽出部と、
前記抽出された箇所に重畳されたパターン画像を認識する認識部と、
を備えることを特徴とする。
【０００９】
本発明の表示システムは、
表示制御装置と、撮像装置とを含む表示システムであって、
前記表示制御装置は、
コンテンツを記憶するコンテンツ記憶部と、
パターン画像を記憶するパターン画像記憶部と、
前記コンテンツに対して、前記パターン画像に基づいて輝度値を加算した第１の重畳画像及び前記パターン画像に基づいて輝度値を減算した第２の重畳画像を生成する重畳画像生成部と、
前記第１の重畳画像と前記第２の重畳画像とを交互に表示する制御を行う表示制御部と、
を備え、
前記撮像装置は、
輝度値が時系列的に変化する映像を連続的に撮像する撮像部と、
前記映像から、複数のフレーム画像間の差分を求めることで、輝度値が変化している箇所を抽出する抽出部と、
前記抽出された箇所に重畳されたパターン画像を認識する認識部と、
を備えることを特徴とする。
【００１０】
本発明の表示制御方法は、
コンテンツを記憶するコンテンツ記憶ステップと、
パターン画像を記憶するパターン画像記憶ステップと、
前記コンテンツに対して、前記パターン画像に基づいて輝度値を加算した第１の重畳画像及び前記パターン画像に基づいて輝度値を減算した第２の重畳画像を生成する重畳画像生成ステップと、
前記第１の重畳画像と前記第２の重畳画像とを交互に表示する制御を行う表示制御ステップと、
を含むことを特徴とする。
【００１１】
本発明のプログラムは、
コンピュータに、
コンテンツを記憶するコンテンツ記憶機能と、
パターン画像を記憶するパターン画像記憶機能と、
前記コンテンツに対して、前記パターン画像に基づいて輝度値を加算した第１の重畳画像及び前記パターン画像に基づいて輝度値を減算した第２の重畳画像を生成する重畳画像生成機能と、
前記第１の重畳画像と前記第２の重畳画像とを交互に表示する制御を行う表示制御機能と、
を実現させることを特徴とする。
【発明の効果】
【００１２】
本発明の表示制御装置によれば、コンテンツに対してパターン画像に基づいて輝度値を加算及び減算した重畳画像を交互に表示することが可能になる。このようにすることで、パターン画像に基づいて輝度値が加算及び減算された領域を表示しても、利用者には、中間の輝度値を知覚させることができ、コンテンツに基づく画像を知覚させることができる。一方で、撮像装置は複数のフレーム画像間における差分を求めることで、輝度値が変化している箇所を抽出し、パターン画像を認識することができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態における表示システムの全体構成を説明するための図である。
【図２】第１実施形態における表示制御装置と表示装置との機能構成を説明するための図である。
【図３】第１実施形態における撮像装置の機能構成を説明するための図である。
【図４】第１実施形態における処理の概要を説明するための図である。
【図５】第１実施形態における処理の概要を説明するための図である。
【図６】第１実施形態における処理の概要を説明するための図である。
【図７】第１実施形態における表示制御装置のメイン処理を説明するための動作フローである。
【図８】第１実施形態における表示制御装置の重畳画像表示処理を説明するための図である。
【図９】第１実施形態における撮像装置のメイン処理を説明するための動作フローである。
【図１０】第１実施形態における動作例を説明するための図である。
【図１１】第１実施形態における動作例を説明するための図である。
【図１２】第２実施形態における表示制御装置の重畳画像表示処理を説明するための動作フローである。
【図１３】第３実施形態における表示制御装置の重畳画像表示処理を説明するための動作フローである。
【図１４】第４実施形態における表示制御装置の重畳画像表示処理を説明するための動作フローである。
【図１５】第５実施形態における表示制御装置の機能構成を説明するための図である。
【図１６】第５実施形態における処理の概要を説明するための図である。
【図１７】第５実施形態における処理の概要を説明するための図である。
【図１８】第５実施形態における処理の概要を説明するための図である。
【図１９】第５実施形態における重畳係数決定処理を説明するための動作フローである。
【図２０】第８実施形態における表示制御装置の機能構成を説明するための図である。
【図２１】第８実施形態におけるＬＵＴのデータ構成の一例を示した図である。
【図２２】第８実施形態における処理の概要を説明するための図である。
【図２３】第８実施形態における処理の概要を説明するための図である。
【図２４】第８実施形態における表示制御装置の重畳画像表示処理を説明するための動作フローである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施形態では、一例として、本発明の表示制御装置を搭載した表示装置と、本発明を適用した撮像装置とを含む表示システムについて説明する。
【００１５】
［１．第１実施形態］
［１．１  全体構成］
図１を参照して、本発明の実施の形態に係る表示システム全体について説明する。図１には、表示制御装置１０と、表示装置２０と、撮像装置３０とを含む表示システム１が示されている。
【００１６】
表示制御装置１０は、コンピュータといった情報処理装置である。また、表示装置２０は、例えば、デジタルサイネージを表示することが可能な大型のディスプレイである。なお、表示装置２０は、テーブルディスプレイであってもよいし、スクリーン等に映像を投影する装置であってもよい。
【００１７】
本実施形態においては、表示制御装置１０は表示装置２０に接続しているものとして説明をするが、表示装置２０が表示制御装置１０を備えたものでもよく、表示装置２０は表示制御装置１０を備えた、例えばスマートフォンのような携帯端末でもよい。
【００１８】
撮像装置３０は、撮像素子が搭載されている端末装置であり、例えばスマートフォンである。なお、デジタルカメラであってもよいし、バーコードスキャナーのようなハンディターミナルであってもよい。
【００１９】
［１．２  機能構成］
［１．２．１  表示制御装置］
つづいて、表示制御装置１０の機能構成について、図２を用いて説明する。図２に示すように、表示制御装置１０は、制御部１００と、記憶部１１０と、重畳画像生成部１２０と、表示制御部１３０と、操作部１４０と、通信部１５０とを備えて構成されている。
【００２０】
制御部１００は、表示制御装置１０の全体を制御するための機能部である。制御部１００は、記憶部１１０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、１又は複数の演算装置（例えば、ＣＰＵ（Central Processing Unit）等）により構成されている。
【００２１】
記憶部１１０は、表示制御装置１０の動作に必要な各種プログラムや、各種データを記憶する。記憶部１１０は、例えば、半導体メモリであるＳＳＤ（Solid State Drive）や、ＨＤＤ（Hard Disk Drive）等により構成されている。
【００２２】
ここで、記憶部１１０には、コンテンツ格納領域１１２と、重畳画像格納領域１１６とが確保されており、さらに、パターン画像１１４が記憶されている。
【００２３】
コンテンツ格納領域１１２は、表示装置２０に表示するコンテンツを格納する領域である。コンテンツとは、静止画ファイル（例えば、ＪＥＰＧ、ＧＩＦ、ＰＮＧ等の静止画像データ）や、動画ファイル（例えば、ａｖｉ形式、ＭＰＧ形式等の動画像データ）等を含むデータである。また、ＨＴＭＬ（ＨＴＭＬ５）やＸＭＬファイル等のテキストのタグ情報により表されるデータであってもよい。
【００２４】
パターン画像１１４は、コンテンツに重畳させる画像データである。例えば、パターン画像１１４は、所定の情報をバーコードなどの１次元コードや、２次元コード（例えば、ＱＲコード（登録商標）、Ｓｅｍａｃｏｄｅ、ＣＰｃｏｄｅ等）によって表現した画像である。また、パターン画像１１４は、文字を画像化した画像（文字情報）であってもよい。また、パターン画像１１４は、画像データとして記憶されていてもよいし、文字情報からその都度１次元コード、２次元コードを生成してもよい。
【００２５】
重畳画像格納領域１１６は、コンテンツ格納領域１１２に記憶されたコンテンツにパターン画像１１４が重畳された画像（以下、「重畳画像」という）を格納する領域である。なお、コンテンツが動画像データである場合は、重畳画像格納領域１１６には、フレーム単位の画像（以下、「フレーム画像」という）にパターン画像１１４を重畳させた画像が記憶される。
【００２６】
重畳画像生成部１２０は、コンテンツ格納領域１１２に格納されたコンテンツと、パターン画像１１４とから重畳画像を生成し、生成した重畳画像を重畳画像格納領域１１６に出力する機能部である。
【００２７】
表示制御部１３０は、重畳画像格納領域１１６に格納された重畳画像を読み出して、映像信号として出力する機能部である。例えば、表示制御部１３０は、映像信号を出力するためのインターフェイスを備えており、ＤＶＩ（Digital Visual Interface）端子や、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）端子等を備えている。本実施形態では、表示装置２０の映像入力部２１０に映像信号を出力する。
【００２８】
操作部１４０は、利用者により入力操作され、利用者からの操作指示を受け付けて制御部１００に操作指示を出力するための機能部である。例えば、キーボードやマウスによって構成されている。
【００２９】
通信部１５０は、ネットワークに接続し、他の装置と通信を行う機能部である。例えば、有線／無線ＬＡＮを利用したり、３Ｇ／ＬＴＥ／５Ｇといった携帯電話網を利用したりして通信を行う。
【００３０】
［１．２．２  表示装置］
つづいて、表示装置２０の機能構成について、図２を用いて説明する。図２に示すように、表示装置２０は、制御部２００と、映像入力部２１０と、表示部２２０とを備えて構成されている。
【００３１】
制御部２００は、表示装置２０の全体を制御するための機能部である。制御部１００は、１又は複数の演算装置（例えば、ＣＰＵ（Central Processing Unit）等）により構成されている。
【００３２】
映像入力部２１０は、映像信号を入力信号として入力し、入力信号に基づく画像を表示部２２０に出力するための機能部である。例えば、映像入力部２１０は、外部の機器から送信された映像信号を入力信号として入力するためのインターフェイスを備えており、ＤＶＩ端子や、ＨＤＭＩ端子等を備えている。本実施形態では、表示制御装置１０の表示制御部１３０から出力された映像信号が入力される。
【００３３】
表示部２２０は、各種情報を表示するための機能部である。例えば、液晶ディスプレイ（ＬＣＤ）や、有機ＥＬディスプレイ等により構成されている。
【００３４】
［１．２．３  撮像装置］
つづいて、撮像装置３０の機能構成について、図３を用いて説明する。図３に示すように、撮像装置３０は、制御部３００と、撮像部３１０と、パターン画像抽出部３２０と、パターン画像認識部３３０と、表示部３４０と、通信部３５０と、記憶部３６０とを備えて構成されている。
【００３５】
制御部３００は、撮像装置３０全体を制御するための機能部である。制御部３００は、記憶部３６０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、１又は複数の演算装置（例えば、ＣＰＵ等）により構成されている。
【００３６】
撮像部３１０は、撮像対象となる対象物の画像を入力し、記憶部３６０に画像データ３６２として出力するための機能部である。例えば、ＣＣＤ（charge-coupled device）やＣＭＯＳ（Complementary metal-oxide-semiconductor）の撮像素子を搭載したカメラによって構成されている。
【００３７】
パターン画像抽出部３２０は、画像データ３６２に重畳されたパターン画像を抽出する機能部である。また、パターン画像認識部３３０は、抽出されたパターン画像をデコードし、パターン画像によって表現されている情報を復元するための機能部である。
【００３８】
表示部３４０は、各種情報を表示するための機能部である。ＬＣＤや、有機ＥＬディスプレイ等により構成されている。
【００３９】
通信部３５０は、ネットワークに接続し、他の装置と通信を行う。例えば、有線／無線ＬＡＮを利用したり、３Ｇ／ＬＴＥ／５Ｇといった携帯電話網を利用したりして通信を行う。
【００４０】
記憶部３６０は、撮像装置３０の動作に必要な各種プログラムや、各種データを記憶する。記憶部３６０は、例えば、半導体メモリであるＳＳＤ等により構成されている。また、記憶部３６０は、撮像部３１０から出力された画像データ３６２が記憶されている。
【００４１】
［１．３  処理の流れ］
［１．３．１  本実施形態の処理の概要］
本実施形態における処理の概要について、図４から図６を用いて説明する。以下では、説明を簡単にするため、表示制御装置１０が静止画のコンテンツ（以下、「コンテンツ画像」という）に、パターン画像１１４を重畳させる場合について説明する。
【００４２】
はじめに、図４を参照して、重畳画像について説明する。ここで、図４（ｂ）〜図４（ｅ）は、それぞれ同じ領域の座標を示している。例えば、図４（ｂ）〜図４（ｅ）の（１，１）で示されているドットは全て同じドットを示している。なお、ここで記載している「ドット」とはコンテンツに重畳させる画像データを構成する最小画素、またはコードの最小区画を指すものであって、表示装置２０の表示部２２０の画素を指すものではない。
【００４３】
図４（ａ）を参照して重畳画像について説明する。図４（ａ）はコンテンツ画像Ｅ１００の一例である。また、重畳画像生成部１２０は、コンテンツ画像Ｅ１００の重畳領域Ｅ１０２にパターン画像１１４を重畳して表示する。
【００４４】
図４（ｂ）は、コンテンツ画像における重畳領域Ｅ１０２の一部分を示したものである。重畳領域Ｅ１０２は、縦４ドット、横４ドットによって構成された１６ドットの領域である。重畳領域Ｅ１０２の各ドットには、コンテンツ画像に基づき、画素値が設定されている。
【００４５】
図４（ｃ）は、パターン画像１１４の一部分を示したものであり、縦４ドット、横４ドットによって構成された１６ドットの領域である。ここで、図４（ｃ）に示したパターン画像１１４は、各ドットが白又は黒で表現される二値画像である。
【００４６】
本実施形態では、重畳画像生成部１２０が、重畳領域にパターン画像１１４を合成する処理を実行して、重畳画像を生成する。本実施形態では、パターン画像１１４が重畳されたコンテンツ画像のドットの画素値から算出される輝度値が、元のコンテンツ画像のドットの画素値から算出される輝度値よりも高くなるように合成した画像を、加算による重畳画像（第１の重畳画像）という。また、パターン画像１１４が重畳されたコンテンツ画像のドットの画素値から算出される輝度値が、元のコンテンツ画像のドットの画素値から算出される輝度値よりも低くなるように合成した画像を、減算による重畳画像（第２の重畳画像）という。すなわち、加算による重畳画像は、重畳される前に比べて輝度が加算され、減算による重畳画像は、重畳される前に比べて輝度が減算される。
【００４７】
図４（ｄ）は、図４（ｂ）のコンテンツ画像と、図４（ｃ）のパターン画像とから加算による重畳画像を生成した場合における重畳領域Ｅ１０２の一部分を示したものである。ここで、図４（ｄ）の（１，１）に位置するドットは、図４（ｃ）の（１，１）に位置するドットが黒であるため、図４（ｂ）の（１，１）に位置するドットよりも輝度値が高い。一方で、図４（ｄ）の（２，１）に位置するドットは、図４（ｃ）の（２，１）に位置するドットが白であるため、図４（ｂ）の（２，１）に位置するドットと輝度値が等しい。
【００４８】
また、図４（ｅ）は、図４（ｂ）のコンテンツ画像と、図４（ｃ）のパターン画像とから減算による重畳画像を生成した場合における重畳領域Ｅ１０２の一部分を示したものである。ここで、図４（ｄ）の（１，１）に位置するドットは、図４（ｃ）の（１，１）に位置するドットが黒であるため、図４（ｂ）の（１，１）に位置するドットよりも輝度値が低い。一方で、図４（ｄ）の（２，１）に位置するドットは、図４（ｃ）の（２，１）に位置するドットが白であるため、図４（ｂ）の（１，１）に位置するドットと輝度値が等しい。
【００４９】
つづいて、図５を参照して、加算による重畳画像と、減算による重畳画像とが表示部２２０に交互に表示されたときに、人間が知覚する色について説明する。図５に示したグラフは、輝度値が加算されたドットと輝度値が減算されたドットとを人間が見た場合に、人間が知覚する色を示している。また、元の色として示した横線は、輝度値を加算及び減算しなかった場合に、人間が知覚する色を示している。ここで、グラフの横軸は時間であり、縦軸は輝度値である。
【００５０】
例えば、表示制御部１３０により、加算による重畳画像及び減算による重畳画像の映像信号を交互に表示装置２０の表示部２２０に出力し続ける制御が行われる。表示装置２０の映像入力部２１０は、表示制御部１３０から出力された映像信号を入力信号として受信する。表示部２２０は、入力信号に基づいて、加算による重畳画像及び減算による重畳画像を交互に表示し続ける。
【００５１】
このときのドットの状態を図５に示す。図５に示すように、表示部２２０には、輝度値の高いドット（淡色）と、輝度値の低いドット（濃色）と表示する。
【００５２】
表示制御部１３０が、加算による重畳画像と、減算による重畳画像とを、十分に速く交互に（例えば、１秒間に加算による重畳画像と、減算による重畳画像とを１０回ずつ）映像信号として出力する制御を行ったとする。この場合は、人間は、表示部２２０を見ても、残像現象により、輝度値の高いドット（淡色）と、輝度値の低いドット（濃色）とが交互に表示されているドットの色を中間的な色（以下、「経時表示色」という）として知覚する。したがって、人間は、表示部２２０を見ても、パターン画像１１４が重畳されているドットであっても元の色として知覚することができる。
【００５３】
図６を参照して、加算による重畳画像と、減算による重畳画像とを十分に速く交互に表示部２２０が表示しているときに、人間によって知覚される画像と、撮像装置３０によって撮像される画像との関係を説明する。ここで、図６（ａ）はコンテンツ画像であり、図６（ｂ）はパターン画像である。また、図６（ｃ）は表示部２２０に表示されている重畳画像である。
【００５４】
表示部２２０に、加算による重畳画像と、減算による重畳画像とが十分に速く交互に表示されている場合、人間は、淡色と濃色とを経時表示色として知覚する。したがって、人間は、コンテンツ画像が表示部２２０に表示されていると知覚する。
【００５５】
一方で、撮像装置３０が、十分に速く（例えば、１秒間に２０回以上）表示部２２０を連続的に撮像した場合、図６（ｅ）に示すように、加算による重畳画像と、減算による重畳画像とを取得することができる。ここで、撮像装置３０が取得できる撮影フレームの速度（シャッター速度）は、表示装置２０においてコンテンツが表示されるフレームレートより早いものとする。
【００５６】
そして、パターン画像抽出部３２０は、加算による重畳画像と減算による重畳画像との差分を求めて、加算による重畳画像と減算による重畳画像とで、変化のあった部分を特定する。ここで、表示部２２０が表示した加算による重畳画像と減算による重畳画像とでは、パターン画像に基づいて輝度値が変化したドット以外は差異がない。したがって、パターン画像抽出部３２０は、差分を求めることで、輝度値が変化したドットを特定することができる。さらに、パターン画像抽出部３２０は、輝度値が変化したドットに基づいて、パターン画像を抽出する。パターン画像認識部３３０は、パターン画像抽出部３２０によって抽出されたパターン画像をデコードして、コンテンツ画像に重畳された情報を取得する。
【００５７】
［１．３．２  表示制御装置の処理の流れ］
本実施形態における表示制御装置１０のメイン処理について、図７及び図８に基づいて説明する。なお、説明の都合上、コンテンツ画像にパターン画像を合成する場合について説明する。
【００５８】
はじめに、制御部１００は、コンテンツをコンテンツ格納領域１１２に記憶する（ステップＳ１０２）。コンテンツは、通信部１５０を介して外部装置から入力されてもよいし、操作部１４０から入力された情報に基づいて、制御部１００によって生成されてもよい。
【００５９】
つづいて、制御部１００は、パターン画像をパターン画像１１４として記憶する（ステップＳ１０４）。パターン画像は、通信部１５０を介して外部装置から入力されてもよいし、操作部１４０から入力された情報に基づいて制御部１００によって生成されてもよい。このとき、時刻、位置情報、特定の利用者に予め知らされた文字列（キーワード、パスワード）といったような、表示しようとする映像の内容（コンテンツ）とは異なる情報使って暗号化した情報をコード化した画像をパターン画像１１４として記憶してもよい。
【００６０】
つづいて、制御部１００はパターン画像１１４の傾きを調整する（ステップＳ１０６）。例えば、制御部１００は、パターン画像１１４を読み込み、パターン画像１１４の対角線２本いずれも、水平線を基準に、好ましくは１５度〜７５度又は１０５度〜１６５度の範囲に入るように傾きを調整してパターン画像１１４として記憶する。このようにすることで、１次元コードであれば、撮像装置３０が１ライン走査することで、１次元コードを読み取ることが可能になる。
【００６１】
なお、制御部１００は、パターン画像１１４に対して、傾き以外の変形を加えても構わない。例えば、１次元コードを同心円状に配置した形状に変形したり、１次元コードを扇状に配置した形状に変形したりしてもよいし、パターン画像１１４を引き伸ばしてもよい。
【００６２】
つづいて、制御部１００は、重畳画像表示処理を実行する（ステップＳ１０８）。重畳画像表示処理において、重畳画像生成部１２０は、コンテンツ格納領域１１２に格納されたコンテンツ画像とパターン画像１１４とから重畳画像を生成する。また、表示制御部１３０は、重畳画像を映像信号として出力する。
【００６３】
重畳画像表示処理について、図８を参照して説明する。はじめに、重畳画像生成部１２０は、重畳領域を決定する（ステップＳ１５２）。重畳領域は、利用者による指定や、コンテンツ事業者による指定に基づいて決定される。例えば、利用者は輝度値を変化させたい矩形領域の左上及び右下の座標を指定する。そして、重畳画像生成部１２０は、利用者によって指定された２点の座標を記憶部１１０に一時的な情報として記憶する。この場合は、コンテンツ画像によらず、重畳領域は常に同じ位置及び大きさとなる。
【００６４】
なお、重畳領域は、重畳画像生成部１２０が決定してもよい。例えば、コンテンツ画像に文字や人物が含まれている場合は、重畳画像生成部１２０は、文字や人物が含まれていない領域の一部を、重畳領域として決定する。利用者は、コンテンツ画像に文字や人物が含まれている場合は、文字や人物に注目しやすくなる。そこで、重畳画像生成部１２０は、利用者が注目しやすい領域を避けてパターン画像１１４を重畳させることができる。また、輝度値の変化が識別しにくい暗部やハイライト部分を避けて重畳領域を決定してもよい。
【００６５】
つづいて、重畳画像生成部１２０は、コンテンツ格納領域１１２に格納されているコンテンツ画像に、パターン画像１１４を合成して、加算による重畳画像及び減算による重畳画像を生成する（ステップＳ１５４）。また、重畳画像生成部１２０は、生成した重畳画像を、重畳画像格納領域１１６に記憶する。
【００６６】
つづいて、表示制御部１３０は、重畳画像格納領域１１６に記憶された重畳画像を読み出し、加算による重畳画像と、減算による重畳画像とを映像信号として交互に出力する制御を行う（ステップＳ１５６）。具体的には、表示制御部１３０は、１フレーム毎に加算による重畳画像と減算による重畳画像とを交互に映像信号として出力する。なお、表示部２２０のリフレッシュレートを考慮して、２フレーム毎又はそれ以上のフレーム毎の間隔で交互に表示してもよい。また、撮像装置３０のフレームレート（シャッター速度）を考慮して、数フレーム毎の間隔で交互に表示してもよい。
【００６７】
表示制御部１３０によって出力された映像信号は、映像入力部２１０によって入力信号として入力される。そして、映像入力部２１０は、入力信号に基づいた画像を表示部２２０に表示する。この処理によって、加算による重畳画像と減算による重畳画像とが、表示部２２０に交互に表示される。
【００６８】
上述した方法では、コンテンツ画像にパターン画像１１４を合成することとして説明したが、動画像のコンテンツにパターン画像１１４を合成してもよい。動画像のコンテンツにパターン画像１１４を合成する場合は、重畳画像生成部１２０は、ステップＳ１５４において、動画像のコンテンツからフレーム画像を読み出し、フレーム画像に対してパターン画像１１４を合成する。このとき、重畳画像生成部１２０は、フレーム毎に交互に、加算及び減算による合成を行う。また、重畳画像生成部１２０は、フレーム毎に生成した重畳画像を重畳画像格納領域１１６に記憶する。
【００６９】
さらに、表示制御部１３０は、重畳画像格納領域１１６に記憶された重畳画像をフレームの順に映像信号として出力する。この場合、表示制御部１３０は、フレーム画像にパターン画像を加算した重畳画像と、フレーム画像からパターン画像を減算した重畳画像とを、連続的に映像信号として出力することとなる。表示装置２０は、表示制御部１３０によって出力された映像信号に基づいた画像を表示部２２０に表示することで、所定の領域にパターン画像が重畳された動画像を表示する。
【００７０】
なお、重畳画像生成部１２０は、動画像のコンテンツのフレームレートを考慮して、２フレーム毎又はそれ以上のフレームの単位で、加算及び減算による合成を交互に行ってもよい。また、加算による重畳画像と減算による重畳画像とを連続して各１回以上表示する間は、重畳領域以外の領域の画素値を変化させないようにしてもよい。
【００７１】
［１．３．３  撮像装置の処理の流れ］
本実施形態における撮像装置３０のメイン処理について、図９に基づいて説明する。はじめに、撮像部３１０は、表示部２２０に表示された輝度値が時系列的に変化する映像を撮影して、複数のフレーム画像を取得する（ステップＳ１８２）。また、撮像部３１０は、取得したフレーム画像を、画像データ３６２として記憶する。
【００７２】
撮像部３１０は、通常時におけるフレームレートで撮像を行うが、一時的に撮像のフレームレートを高速化してもよい。フレームレートの高速化は、撮像部３１０の駆動周波数を上げて読み出し速度を早めることで実現してもよいし、間引き走査を行うことで実現してもよい。また、前後のフレーム画像を比較して、特定部分だけに変化があった場合に、変化のあった部位のみを読み出すことで高速化を実現してもよい。通常、撮像装置３０におけるフレームレートは、コンテンツのフレームレートと同じか高いものとする。
【００７３】
また、撮像部３１０は、フレームレートの調整以外にも、撮像を行う際に種々の処理を行ってよい。例えば、ピントをずらすことで撮像画像の高周波ノイズを抑制したり、入力した画像から得られる情報と、撮像装置３０に予め登録された情報とが一致する場合にのみ、撮像したりしてもよい。
【００７４】
つづいて、パターン画像抽出部３２０は、複数の画像データ３６２を読み出し、撮影したフレーム間の差分を算出する（ステップＳ１８４）。例えば、パターン画像抽出部３２０は、時系列的に連続して撮影した複数の画像データ３６２から、２枚のフレーム画像のあらゆる組み合わせのうち、輝度値が明確に変化していることが確認できる画像の組み合わせを選択して、フレーム間の画像の差分を算出する。
【００７５】
つづいて、パターン画像抽出部３２０は、フレーム間の画像の差分から、輝度値が変化しているドットを抽出して、パターン画像を抽出する（ステップＳ１８６）。
【００７６】
また、パターン画像認識部３３０は、抽出されたパターン画像を認識し、デコード等の処理により、パターン画像から情報を取得する（ステップＳ１８８）。なお、パターン画像認識部３３０は、パターン画像を認識しやすくするために、抽出されたパターン画像を回転させたり、拡大させたりしてもよい。また、パターン画像認識部３３０がパターン画像を認識できない場合は、パターン画像抽出部３２０は、ステップＳ１８４から処理をやり直す。なお、パターン画像認識部３３０は、表示部３４０に、パターン画像が認識できないことを表示してもよい。
【００７７】
制御部３００は、パターン画像から取得した情報を、様々な形態で利用者に提供する。単純な方法としては、制御部３００は、パターン画像から取得した情報を表示部３４０に表示する。より複雑な方法としては、制御部３００は、パターン画像から取得した情報に基づいて、撮像装置３０に封印されていた機能を解除したり、撮像装置３０に封印されていたデータを利用可能にしたりするなど、制限されていた機能・データを利用可能としてもよい。さらに、制御部３００は、記憶部３６０に記憶されているデータを呼び出して利用（表示、再生、送信）するといった、所定の操作を自動化するためのトリガーとして用いてもよい。また、制御部３００は、パターン画像に基づいて、他の端末又はネットワークサーバから、通信部３５０を介してパターン情報とは別の情報を取得してもよい。
【００７８】
また、制御部３００は、パターン情報から取得した情報を、時刻、位置情報、予め知らされた文字列（キーワード、パスワード）といった、表示部２２０に表示された内容とは異なる情報を使って解析してもよい。このようにすることで、制御部３００は、同一のパターン情報から取得した情報であっても、状況に応じて異なった情報を提供することができる。
【００７９】
本処理は、例えば、上述した処理を実行する機能が撮像装置３０に組み込まれ、利用者から指示があった場合に実行される。また、上述した処理を実行する機能を含んだＡＲアプリからの指示があったときに、実行されてもよい。
【００８０】
［１．４  動作例］
本実施形態における動作例について、図１０及び図１１を参照して説明する。はじめに、図１０を参照して、ステップＳ１０６で行われる、パターン画像１１４の変形について説明する。図１０（ａ）は変形前の１次元コードのパターン画像１１４の例である。図１０（ｂ）は、傾きが調整され、縦長になるように引き伸ばされたパターン画像１１４の例である。図１０（ｂ）に示したパターン画像１１４は、２本の対角線がいずれも１０５度〜１６５度の範囲に入っている。また、図１０（ｃ）は、パターン画像１１４を円状に変形した図であり、図１０（ｄ）は、パターン画像１１４を扇状に変形した図である。
【００８１】
このように変形されたパターン画像１１４は、重畳画像生成部１２０によって、コンテンツ画像や動画像に合成される。ここで、利用者が、撮像装置３０を横に持って表示部２２０を撮像する。このとき、撮像装置３０が表示装置２０に対する水平位置から僅かに（例えば、１０度）傾いていたとしても、パターン画像抽出部３２０は、図１１（ａ）のように、横の１ラインのパターンを抽出することで、パターン画像１１４を抽出することができる。
【００８２】
同様にして、利用者が、撮像装置３０を縦に持って表示部２２０を撮像する。このとき、撮像装置３０が表示装置２０に対する垂直位置から僅かに（例えば、１０度）傾いていたとしても、パターン画像抽出部３２０は、図１１（ｂ）のように縦の１ラインのパターンを抽出することで、パターン画像１１４を抽出することができる。
【００８３】
また、図１０（ｃ）、図１０（ｄ）に示したように変形させた１次元コードが重畳された場合は、パターン画像抽出部３２０は、円又は扇の略中心を貫く１ラインのパターンを抽出することでパターン画像１１４を抽出することができる。
【００８４】
上述したように、本実施形態によれば、利用者にはフレーム画像を知覚させながら、撮像装置３０にはフレーム画像に重畳したパターン画像１１４を認識させることが可能となる。
【００８５】
とくに、スマートフォン等に搭載されている撮像装置には、ＣＭＯＳが多く利用されている。ＣＭＯＳを利用している場合、画像を読み取る速度（画像を処理する速度）がＣＣＤと比較すると遅くなる。そのため、１ラインのパターンに基づいてパターン画像を認識できることにより、認識速度を向上させることが可能となり、従来に比較して優れた効果を有することとなる。
【００８６】
［２．第２実施形態］
第２実施形態について説明する。第２実施形態は、コンテンツ画像や動画像にパターン画像を重畳させるときに、予め飽和が生じない領域を特定し、特定した領域にパターン画像を重畳させる実施形態である。
【００８７】
飽和が生じるとは、コンテンツ画像や動画像に対してパターン画像を合成する場合、合成した後のドットの画素値が、表示部２２０が出力可能な画素値の範囲を超えてしまうことをいう。飽和が生じたドットの画素値は、出力可能な範囲を超えた分だけ丸められてしまう。この結果、淡色と濃色との釣り合いが取れなくなってしまい、飽和が生じたドットの経時表示色は、元の色とは異なってしまう。
【００８８】
そこで、表示制御装置１０は、飽和が生じない領域にパターン画像を重畳することで、飽和が生じてしまうことを回避し、経時表示色が元の色と同じ見え方となる重畳画像を生成して、映像信号を出力する。
【００８９】
本実施形態の機能構成は、第１実施形態と略同一であり、図８の処理フローを図１２の処理フローに置き換えたものである。
【００９０】
図１２に示した処理フローは、本実施形態における表示制御装置１０の重畳画像表示処理を説明するための図である。なお、説明のため、コンテンツ画像にパターン画像を重畳させることとして説明する。
【００９１】
はじめに、重畳画像生成部１２０は、コンテンツ画像から重畳領域を決定する（ステップＳ２０２）。重畳領域は、利用者やコンテンツ事業者によって指定されてもよいし、コンテンツ画像に基づいて重畳画像生成部１２０が決定してもよい。
【００９２】
つづいて、重畳画像生成部１２０は、重畳領域に含まれるドットから、合成によって輝度値が変化するドットを抽出する（ステップＳ２０４）。例えば、重畳画像生成部１２０は、ステップＳ１０６で傾きを調整したパターン画像１１４をステップＳ２０２で決定した重畳領域に重畳させた場合を仮定する。そして、重畳画像生成部１２０は、コンテンツ画像のドットから、パターン画像１１４で黒のドットの位置に対応するドットを抽出することで、合成によって輝度値が変化するドットを抽出することができる。
【００９３】
つづいて、重畳画像生成部１２０は、ステップＳ２０４で抽出したドットの画素値を取得し、抽出した全てのドットの画素値に対して、所定の値（以下、「加減算値」という）を加算及び減算して輝度値を変更した場合に、飽和が生じないか否かを判定する（ステップＳ２０６）。
【００９４】
具体的には、重畳画像生成部１２０は、抽出した全てのドットの画素値に対して、加算現地を加算及び減算する。ここで、飽和が生じるドットがなければ、ステップＳ２０６の判定結果を肯定結果とする（ステップＳ２０６；Ｙｅｓ）。飽和が生じるドットがあれば、ステップＳ２０６の判定結果を否定結果として、ステップＳ２０２へ戻る（ステップＳ２０６；Ｎｏ→ステップＳ２０２）。重畳画像生成部１２０は、再度ステップＳ２０２の処理を実行する場合は、それまでに決定した重畳領域とは異なる領域を、重畳領域として決定する。
【００９５】
ここで、輝度値の変更は、例えば、次の方法によって行う。
（１）画素値に含まれる輝度値を変更する
（２）画素値の色空間を変換して輝度を変更し元の色空間に変換し直す
（３）画素値の色空間を変換しないで画素値を変更する
【００９６】
（１）の方法は、コンテンツ画像のドットの画素値として、ＨＳＶ色空間といった輝度値を含む色空間の値として表現されている場合に、輝度値を加算及び減算する方法である。この場合は、画素値のうち、輝度値に加減算値を加算及び減算することで、画素値を変更する。例えば、輝度値が０から１の間の実数を取る場合において、加減算値を０．０５や０．１、０．２といった値とする。このとき、輝度値を変化させるドットの輝度値が０．５、加減算値が０．１であれば、そのドットの輝度値は、加算の場合は０．６となり、減算の場合は０．４となる。また、輝度値を変化させるドットの輝度値が０．９５、加減算値が０．１であれば、加算すると輝度値が１．０５となる。この場合、輝度値として取り得る値を超えてしまうため、飽和が生じてしまう。
【００９７】
（２）の方法は、コンテンツ画像のドットの画素値が、ＲＧＢ色空間といった輝度値を含まない色空間の値として表現されている場合において、輝度値を加算及び減算する方法である。この場合は、例えば、ＲＧＢ色空間の画素値をＸＹＺ色空間の画素値に変換して、輝度値を示すＹの値に対して加減算値を加算及び減算する。さらに、ＸＹＺ色空間の画素値を元のＲＧＢ色空間の画素値に変換し直す。この結果、輝度値を含まない色空間の画素値であっても、輝度値を加算及び減算することができる。
【００９８】
（３）の方法は、輝度値を含まない色空間の値として表現されている場合であっても、画素値に直接加減算値を加算及び減算をする方法である。例えば、画素値がＲＧＢ色空間の値として表現されていて、各チャンネルの画素値の範囲は０から２５５の値を取り、輝度値を変化させるドットに表示されている画素値が（Ｒ，Ｇ，Ｂ）＝（１２８，１２８，１２８）であって、加減算値が３２であるとする。このとき、そのドットの画素値は、加算の場合は各チャンネルの画素値に加減算値を加算した（Ｒ，Ｇ，Ｂ）＝（１６０，１６０，１６０）となる。同様に、減算の場合は各チャンネルの画素値に加減算値を減算した（Ｒ，Ｇ，Ｂ）＝（９６，９６，９６）となる。
【００９９】
画素値が（Ｒ，Ｇ，Ｂ）＝（１６０，１６０，１６０）であるドットは、画素値が（Ｒ，Ｇ，Ｂ）＝（１２８，１２８，１２８）であるドットと比べて、明るく輝度値が高い。一方で、画素値が（Ｒ，Ｇ，Ｂ）＝（９６，９６，９６）であるドットは、画素値が（Ｒ，Ｇ，Ｂ）＝（１２８，１２８，１２８）であるドットと比べて、暗く輝度値が低い。このように、画素値に輝度値を含まない場合であっても、画素値に直接加減算値を加算及び減算をすることで、輝度値を加算及び減算することが可能である。
【０１００】
ここで、輝度値を変化させるドットに表示されている画素値が（Ｒ，Ｇ，Ｂ）＝（１６，３２，３２）であって、加減算値が３２であるとする。この場合、Ｒチャンネルの画素値である１６から、加減算値である３２を減算すると、画素値として取り得る値を超えてしまうため、飽和が生じてしまう。
【０１０１】
なお、（３）の方法については、１又は複数のチャンネルの画素値に加減算値を加算及び減算してもよい。例えば、Ｒチャンネルの画素値に対してのみ加算及び減算する。輝度値を変化させるドットに表示されている色の画素値が（Ｒ，Ｇ，Ｂ）＝（１２８，１２８，１２８）であって、加減算値を３２とする。このとき、そのドットの画素値は、加算の場合は（Ｒ，Ｇ，Ｂ）＝（１６０，１２８，１２８）となり、減算の場合は（Ｒ，Ｇ，Ｂ）＝（９６，１２８，１２８）となる。
【０１０２】
なお、画素値がＲＧＢ色空間の値として表されている場合において、加減算値を３２として説明したが、加減算値は１６や、４８や、６４といった値であってもよい。
【０１０３】
また、加減算値は、一時的な情報として記憶部１１０に記憶されているものとする。加減算値は利用者によって指定されてもよいし、表示制御装置１０において予め設定されていてもよい。
【０１０４】
つづいて、ステップＳ２０６において肯定結果が得られた場合は、重畳画像生成部１２０は、ステップＳ２０４で抽出したドットの画素値に対して加減算値を加算及び減算することで、重畳画像を生成する（ステップＳ２０６；Ｙｅｓ→ステップＳ２０８）。このようにして重畳領域を決定することにより、重畳画像生成部１２０は、飽和を生じない重畳領域に対して、パターン画像を重畳することが可能となる。また、重畳画像生成部１２０は、生成した重畳画像を、重畳画像格納領域１１６に記憶する。
【０１０５】
つづいて、表示制御部１３０は、重畳画像格納領域１１６に記憶された重畳画像を読み出し、加算による重畳画像と、減算による重畳画像とを映像信号として交互に出力する制御を行う（ステップＳ２１０）。そして、映像入力部２１０は、表示制御部１３０によって出力された映像信号を入力信号として入力し、入力信号に基づく画像を表示部２２０に表示する。
【０１０６】
なお、動画像に対してパターン画像１１４を重畳させる場合は、重畳画像生成部１２０は、全てのフレーム画像に対してステップＳ２０２及びステップＳ２０４の処理を行い、重畳領域を決定すればよい。また、重畳画像生成部１２０は、決定した重畳領域に対して、フレーム画像にパターン画像１１４を重畳することで、重畳画像を生成すればよい。
【０１０７】
本実施形態によれば、飽和が生じない重畳領域にパターン画像を重畳することができるため、経時表示色の釣り合いを取ることができる。したがって、利用者によって表示部２２０が見られても、パターン画像１１４が重畳されていることを知覚させにくくすることができる。
【０１０８】
なお、本実施形態において、チャンネル信号の信号値の組み合わせにより多値コードを再現してもよいし、前後のフレーム間の差異に階調を持たせて、多値コードを再現してもよい。また、チャンネル信号の信号値の組み合わせと、フレーム間における階調の差異に基づいて、多値コードを再現してもよい。
【０１０９】
例えば、画素値が（Ｒ，Ｇ，Ｂ）＝（１２８，１２８，１２８）であるドットに対して、加減算値を３２と６４の２通り設定する。加減算値が３２の場合、そのドットの画素値は、加算の場合は（Ｒ，Ｇ，Ｂ）＝（１６０，１６０，１６０）となり、減算の場合は（Ｒ，Ｇ，Ｂ）＝（９６，９６，９６）となるのでフレーム間の差異は６４となる。加減算値が６４の場合、そのドットの画素値は、加算の場合は（Ｒ，Ｇ，Ｂ）＝（１９２，１９２，１９２）となり、減算の場合は（Ｒ，Ｇ，Ｂ）＝（６４，６４，６４）となるのでフレーム間の差異は１２８となる。これらを組み合わせるとフレーム間の差異が０となる領域と６４となる領域と１２８となる領域の３通りが設定でき、２値コードではなく３値のコードを重畳することが可能となる。
【０１１０】
上記の例では加減算値を２つ設定することで３値のコードが表示可能であることを示したが、加減算値を３つ以上設定してもよく、加減算値を３つ以上設定すれば、４値以上のコード画像を重畳できる。また、前述の例ではＲ、Ｇ、Ｂに等しい加減算値を設定したが、Ｒ、Ｇ、Ｂのチャンネル間でそれぞれ独立して加減算を行えば更に多くの情報をもった多値コードを重畳することが可能となる。
【０１１１】
また、撮像装置３０は、フレーム間の画像の差分を算出するときに、差分の大きさを考慮したり、チャンネル毎に差分を算出したりすることで、多値コードを抽出することができる。
【０１１２】
なお、重畳画像生成部１２０は、重畳画像を重畳画像格納領域に記憶することとして説明したが、例えば、外部装置から入力された映像信号に対して、画像を合成するようにしてもよい。具体的には、表示制御装置１０に、外部装置から映像信号を入力するための機能部を更に備えるように構成する。そして、重畳画像生成部１２０は、パターン画像１１４を重畳させるように、映像信号によって表現される値（入力信号値）に対して、加減算値を加算及び減算する。例えば、映像信号のうちの輝度信号に対して、入力信号値に加算及び減算する処理を行う。さらに、重畳画像生成部１２０は、パターン画像１１４が重畳された映像信号を表示制御部１３０に出力する。そして、表示制御部１３０は、映像信号を出力する。このようにすることで、外部から入力された映像信号に対して、パターン画像を重畳させることができる。
【０１１３】
［３．第３実施形態］
第３実施形態について説明する。第３実施形態は、画素値のうち、加算及び減算の操作によって飽和が生じないチャンネルを特定し、特定したチャンネルの画素値を加算及び減算して重畳画像を生成する実施形態である。本実施形態の機能構成は、第１実施形態と略同一であり、図８の処理フローを図１３の処理フローに置き換えたものである。
【０１１４】
図１３に示した処理フローは、本実施形態における表示制御装置１０の重畳画像表示処理を説明するための図である。なお、説明のため、コンテンツ画像にパターン画像を重畳させることとして説明する。
【０１１５】
はじめに、重畳画像生成部１２０は、コンテンツ画像から重畳領域を決定する（ステップＳ３０２）。重畳領域は、利用者やコンテンツ事業者によって指定されてもよいし、コンテンツ画像に基づいて重畳画像生成部１２０が決定してもよい。
【０１１６】
つづいて、重畳画像生成部１２０は、ステップＳ３０２で決定した重畳領域にパターン画像１１４を重畳させたと仮定した場合に、輝度値が変化するドットを抽出する（ステップＳ３０４）。例えば、重畳画像生成部１２０は、ステップＳ１０４で傾きを調整したパターン画像１１４をステップＳ３０２で決定した重畳領域に重畳させたと仮定する。そして、重畳画像生成部１２０は、パターン画像１１４の黒の位置に対応する位置におけるフレーム画像の画素値を、コンテンツ画像からドット毎に全て抽出する。
【０１１７】
つづいて、重畳画像生成部１２０は、ステップＳ３０４で抽出した全てのドットの画素値に対して、各チャンネルの値に加減算値を加算及び減算した場合に、飽和が生じないチャンネルを特定する（ステップＳ３０６）。例えば、画素値がＲＧＢ色空間の値として示されていて、ＲＧＢの各チャンネルの値が０から２５５を取る場合は、重畳画像生成部１２０は、ステップＳ３０４で抽出した全てのドットに対して、チャンネル毎に加減算値を加算及び減算する。重畳画像生成部１２０は、加算及び減算の結果、全てのドットが０又は２５５の範囲内の値が得られたチャンネルを、飽和を生じるチャンネルとして特定する。
【０１１８】
なお、全てのチャンネルで飽和が生じた場合は、ステップＳ３０２からやり直してもよい。このとき、重畳画像生成部１２０は、それまでに決定した重畳領域とは異なる領域を、重畳領域として決定する。
【０１１９】
つづいて、重畳画像生成部１２０は、ステップＳ３０４で抽出したドットの画素値に対して、ステップＳ３０６で特定したチャンネルの値に加減算値を加算及び減算することで、重畳画像を生成する（ステップＳ３０８）。また、重畳画像生成部１２０は、生成した重畳画像を、重畳画像格納領域１１６に記憶する。
【０１２０】
つづいて、表示制御部１３０は、重畳画像格納領域１１６に記憶された重畳画像を読み出し、加算による重畳画像と、減算による重畳画像とを映像信号として交互に出力する制御を行う（ステップＳ３１０）。そして、映像入力部２１０は、表示制御部１３０によって出力された映像信号を入力信号として入力し、入力信号に基づく画像を表示部２２０に表示する。
【０１２１】
なお、動画像に対してパターン画像１１４を重畳させる場合は、重畳画像生成部１２０は、全てのフレーム画像に対してステップＳ３０２〜ステップＳ３０６の処理を行い、重畳領域と加算及び減算を行うチャンネルを決定すればよい。また、重畳画像生成部１２０は、決定した重畳領域に対して、フレーム画像にパターン画像１１４を重畳することで、重畳画像を生成すればよい。
【０１２２】
本実施形態によれば、飽和する領域以外の場所に、パターン画像を重畳することで、経時表示色の釣り合いを取ることができる。したがって、利用者によって表示部２２０が見られても、パターン画像１１４が重畳されていることを知覚させにくくすることができる。
【０１２３】
本実施形態によれば、飽和が生じないチャンネルの値に対して加減算値を加算及び減算してパターン画像を重畳することができるため、経時表示色の釣り合いを取ることができる。
【０１２４】
［４．第４実施形態］
第４実施形態について説明する。第４実施形態は、重畳領域にパターン画像を重畳させる前に、平滑化処理を施す実施形態である。本実施形態の機能構成は、第１実施形態と略同一であり、図８の処理フローを図１４の処理フローに置き換えたものである。
【０１２５】
図１４に示した処理フローは、表示制御装置１０の処理を説明するための図である。なお、説明のため、コンテンツ画像にパターン画像を重畳させることとして説明する。
【０１２６】
はじめに、重畳画像生成部１２０は、コンテンツ画像から重畳領域を決定する（ステップＳ４０２）。重畳領域は、利用者によって指定されてもよいし、制御部１００が決定してもよい。
【０１２７】
つづいて、重畳画像生成部１２０は、ステップＳ４０２で決定した重畳領域に対して平滑化処理を行う（ステップＳ４０４）。平滑化処理として、フレーム画像に対するフィルタ処理を行う。フィルタ処理には、平均化フィルタを用いることが考えられるが、ノイズを持った孤立画素の影響が周辺画素に伝播するため、中央値フィルタを用いることが望ましい。
【０１２８】
つづいて、重畳画像生成部１２０は、重畳領域にパターン画像を重畳させて、重畳画像を生成する（ステップＳ４０６）。重畳画像の生成の方法は、第２実施形態のステップＳ２０４〜ステップＳ２０８や、第３実施形態のステップＳ３０４〜ステップＳ３０８の処理によって行う。なお、平滑化処理を行っても、飽和が生じてしまう場合には、ステップＳ４０２からやり直してもよい。このとき、重畳画像生成部１２０は、それまでに決定した重畳領域とは異なる領域を、重畳領域として決定する。
【０１２９】
また、動画像に対して平滑化処理を行った上でパターン画像１１４を重畳させる場合は、重畳画像生成部１２０は、全てのフレーム画像に対してステップＳ４０２〜ステップＳ４０６の処理を行えばよい。
【０１３０】
本実施形態によれば、フレーム画像に輝点や黒点、色飽和点といったノイズが含まれていても、平滑化処理を行うことでノイズを抑制することができ、パターン画像１１４を重畳できる領域や、シーンを増やすことができる。
【０１３１】
特に、実際の環境においては、コンテンツとして、ファイルの保存容量やネットワーク／放送の帯域制限の制約から、非可逆圧縮された映像の映像信号が入力される場合がある。また、そもそも写真や映像を撮影した時点で、センサーノイズを生じている場合がある。その結果、コンテンツは、画素単位で、孤立した輝点や黒点、色飽和点を含んでいる可能性が高い。これらの点は、表示部２２０に表示されても、人間には知覚されにくく、画像情報としての意味を持たない。それにもかかわらず、パターン画像１１４を重畳させる場合、加算及び減算をしたときに飽和が生じてしまうため、輝点や黒点、色飽和点を含む領域を重畳領域とすることができない。したがって、重畳領域として選択できる領域が制約されてしまう。
【０１３２】
また、森や砂を写した静止画や動画像にパターン画像１１４を重畳させる場合、コンテンツがノイズに近い静止画及び動画像となってしまう。この場合も、重畳領域として選択できる領域が制約されてしまう。
【０１３３】
このように、重畳領域として選択できる領域が制約されてしまう場合であっても、平滑化処理を行うことでノイズを抑制し、重畳領域として選択できる領域を増やすことができる。
【０１３４】
［５．第５実施形態］
第５実施形態について説明する。第５実施形態は、重畳領域にパターン画像を重畳させる場合に、輝度値に対して加算する値と減算する値とを異なる値とする実施形態である。本実施形態の機能構成は、図２を図１５に置き換えたものである。
【０１３５】
［５．１  表示制御装置の機能構成］
本実施形態における表示制御装置１２の機能構成について、図１５を用いて説明する。なお、第１実施形態と同一の機能部については、同一の符号を付しており、説明を省略する。
【０１３６】
本実施形態の表示制御装置１２は、第１実施形態の表示制御装置１０と異なり、記憶部１１０に、更に、重畳係数１１８が記憶されている。ここで、重畳係数１１８は、画素値に対して加減算値を加算又は減算した結果の値の何れか一方に掛ける実数値である。
【０１３７】
［５．２  処理の流れ］
［５．２．１  本実施形態の処理の概要］
本実施形態における処理の概要について、図１６から図１８を用いて説明する。なお、重畳係数は、画素値に対して加減算値を減算した結果に掛けることとして説明する。
【０１３８】
図１６（ａ）は、元の色が（Ｒ，Ｇ，Ｂ）＝（１２８，１２８，１２８）、加減算値が３２である場合において、加算の操作を行った場合に表示される色と、減算の操作を行った場合に表示される色との変化を示したグラフである。この場合、（Ｒ，Ｇ，Ｂ）＝（１６０，１６０，１６０）で表わされる色と、（Ｒ，Ｇ，Ｂ）＝（９６，９６，９６）で表わされる色とが交互に表示部２２０に表示される。
【０１３９】
人間が表示部２２０を見た場合は、画素値が（Ｒ，Ｇ，Ｂ）＝（１６０，１６０，１６０）であるドットを淡色として、画素値が（Ｒ，Ｇ，Ｂ）＝（９６，９６，９６）であるドットを濃色として知覚する。したがって、淡色と濃色とによる残像効果によって、元の色を知覚すると考えられる。
【０１４０】
しかし、表示部２２０の特性によっては、表示部２２０は、中間調の色を暗めに表示する場合がある。この場合、元の色から同じ加減算値を加算及び減算しても、人間は、淡色をより明るく知覚したり、濃色をより暗く知覚したりする。したがって、人間は、経時表示色を、元の色とは異なる色として知覚する。
【０１４１】
そこで、重畳画像生成部１２０は、画素値に対して加減算値を加算及び減算した結果の少なくとも何れか一方に重畳係数１１８を掛けて、画素値を調整する。この結果、人間によって知覚される淡色又は濃色が変化し、経時表示色も変化する。重畳画像生成部１２０は、適切な重畳係数１１８によって画素値を調整することで、人間に元の色と経時表示色とを同じ色として知覚させることが可能となる。
【０１４２】
以下、重畳係数を表す変数をｋとおく。図１６（ｂ）は、濃色に１．０より大きい重畳係数ｋを掛ける場合を示す。濃色に１．０よりも大きい重畳係数ｋを掛けた場合、濃色が淡色に近づくため、経時表示色は明るくなる。
【０１４３】
例えば、元の色が（Ｒ，Ｇ，Ｂ）＝（１２８，１２８，１２８）、加減算値が３２である場合には、減算の操作をした段階では、濃色は（Ｒ，Ｇ，Ｂ）＝（９６，９６，９６）となる。ここで、重畳係数ｋ＝１．３０８とし、濃色の各チャンネルの値に重畳係数を掛けると、濃色は（Ｒ，Ｇ，Ｂ）＝（１０４，１０４，１０４）となる。
【０１４４】
図１６（ｃ）は、濃色に１．０より小さい重畳係数ｋを掛ける場合を示す。濃色に１．０よりも小さい重畳係数ｋを掛けた場合、濃色が淡色からは離れるため、経時表示色は暗くなる。重畳係数ｋ＝０．９１７としたとき、元の色が（Ｒ，Ｇ，Ｂ）＝（１２８，１２８，１２８）、加減算値が３２である場合には、濃色は（Ｒ，Ｇ，Ｂ）＝（８８，８８，８８）となる。
【０１４５】
重畳係数ｋを決定する方法は、図１７に示すように、表示制御部１３０は、表示部２２０に、基準となる単一色を表示した領域Ｅ５００と、単一色に基づく経時表示色を表示した領域Ｅ５０２とを並べて表示する映像信号を出力する。経時表示色を表示した領域Ｅ５０２には、淡色Ｆ５００と、濃色Ｆ５０２とが交互に表示される。ここで、濃色Ｆ５０２は、単一色の画素値から加減算値を減算した結果に重畳係数ｋを掛けた画素値によって表現される色とする。
【０１４６】
そして、利用者に、どちら側が暗いかを利用者に判断させ、判断された結果を操作部１４０から受信する。制御部１００は、受信した結果に基づいてｋを更新して、濃色Ｆ５０２を修正する。
【０１４７】
ここで、利用者によって、経時表示色を表示した領域Ｅ５０２が暗いと知覚された場合は、制御部１００は、重畳係数ｋに所定の値（例えば、０．０５）を加算することで、濃色を淡色側に近づけて、経時表示色を明るくする。一方で、利用者によって、経時表示色を表示した領域Ｅ５０２が明るいと知覚された場合は、重畳画像生成部１２０は、重畳係数ｋに所定の値（例えば、０．０５）を減算することで、濃色を淡色側から遠ざけて、経時表示色を暗くする。
【０１４８】
上述した操作を繰り返すことで、制御部１００は、重畳係数ｋを更新する。ここで、人間によって単一色と経時変化色とが同じ色として知覚される場合がある。この場合、制御部１００は、重畳係数ｋを重畳係数１１８として記憶する。
【０１４９】
重畳係数ｋを更新する間は、表示制御部１３０は、図１８（ａ）に示したように、元の色Ｅ５１０と、経時表示色Ｅ５１２とを並べて表示するように制御する。なお、図１８（ｂ）のように格子状に表示するように制御してもよいし、図１８（ｃ）のように縞状に表示するように制御してもよい。
【０１５０】
［５．２．２  重畳係数決定処理の流れ］
本実施形態における重畳係数決定処理の流れを図１８に基づいて説明する。重畳係数決定処理は、表示制御装置１０のメイン処理を実行する前に実行する。はじめに、制御部１００は、重畳係数ｋに１を代入して初期化する（ステップＳ５０２）。
【０１５１】
つづいて、表示制御部１３０は、単一色と重畳係数ｋに基づく映像信号を出力し、表示部２２０に、単一色と単一色に基づく経時表示色とを並べて表示させる（ステップＳ５０４）。そして、制御部１００は、単一色と経時表示色との見え方が一致するか否かを判定する（ステップＳ５０６）。この判定は、利用者によって表示部２２０を見たときの結果（例えば、経時表示色が暗く見えたといった結果）を操作部１４０から入力させ、その結果に基づいて制御部１００が判定すればよい。
【０１５２】
見え方が一致した場合は、制御部１００は、そのときにおける重畳係数ｋの値を、重畳係数１１８として記憶して、重畳係数決定処理を終了する（ステップＳ５０６；Ｙｅｓ→ステップＳ５０８）。
【０１５３】
見え方が一致しない場合は、制御部１００は、つづいて、経時表示色が暗く見えたか否かを判定する（ステップＳ５１０）。この判定も、ステップＳ５０６において、利用者によって入力された結果に基づいて判定すればよい。経時表示色が暗く見えた場合は、制御部１００は、重畳係数ｋの値に所定の値（例えば、０．０５）を加算する（ステップＳ５１０；Ｙｅｓ→ステップＳ５１２）。経時表示色が明るく見えた場合は、制御部１００は、重畳係数ｋの値に所定の値を減算する（ステップＳ５１０；Ｎｏ→ステップＳ５１４）。制御部１００が重畳係数ｋの値が更新したら、ステップＳ５０４の処理へ戻る（ステップＳ５０４）。
【０１５４】
このようにして、表示制御装置１０に、重畳係数ｋが重畳係数１１８として記憶される。そして、表示制御装置１０のメイン処理においては、重畳画像生成部１２０は、画素値から加減算値を減算した結果に対して重畳係数１１８を掛けて、減算による重畳画像を生成する。
【０１５５】
なお、重畳係数を減算した結果の数値に掛けることとして説明したが、重畳係数を加算した結果の数値に掛けてもよい。また、重畳係数を加算した結果と、減算した結果との両方に掛けてもよい。
【０１５６】
本実施形態によれば、表示装置２０の特性を考慮して、経時表示色を元の色と同じ見え方にすることが可能となる。
【０１５７】
［６．第６実施形態］
第６実施形態について説明する。第６実施形態は第５実施形態と異なり、表示部２２０に表示されている色を、露光時間を調整することが可能な撮像装置（以下、本実施形態では「調整用撮像装置」という）によって撮像し、撮像された画像に基づいて重畳係数を決定する実施形態である。調整用撮像装置は撮像装置３０とは異なる装置である。なお、撮像装置３０が露光時間を調整できる場合は、調整用撮像装置として撮像装置３０を用いてもよい。
【０１５８】
表示制御部１３０は、表示部２２０に、単一色と経時表示色とを表示する制御を行う。また、調整用撮像装置は、表示部２２０が淡色と濃色とを交互に表示する頻度（リフレッシュレート）の２倍以上の露光時間で、表示部２２０を撮像する。この調整用撮像装置による撮像を、重畳係数ｋを変えながら複数回行う。
【０１５９】
調整用撮像装置は、撮像した画像データから、単一色と経時表示色との色差を求め、このとき、単一色と経時表示色との色差が最小である場合における重畳係数ｋを決定する。制御部１００は、調整用撮像装置によって決定された重畳係数ｋを重畳係数１１８として記憶する。
【０１６０】
本実施形態によれば、人手を用いること無く、調整用撮像装置によって重畳係数ｋを決定することができるため、重畳係数ｋの決定を自動的に行うことが可能となる。
【０１６１】
［７．第７実施形態］
第７実施形態について説明する。第７実施形態は第５実施形態と異なり、表示部２２０に表示されている色を色彩計で測定することで、重畳係数を決定する実施形態である。
【０１６２】
ここで、表示制御部１３０は、表示部２２０に、単一色と経時表示色とを表示する。そして、重畳係数ｋを変えながら、彩色計で表示部２２０に表示された単一色と、経時変化色とを測色する。そして、単一色と経時表示色との色彩値が一致するときの重畳係数ｋを決定する。制御部１００は、決定された重畳係数ｋを重畳係数１１８として記憶する。
【０１６３】
なお、本実施形態では、色彩計として、プリズムや回折格子が固定された機器を用いる。内部に回転構造を持つ色彩計は、時系列に変化する対象を正確に読み取ることができないため、本実施形態では用いることができない。
【０１６４】
［８．第８実施形態］
第８実施形態について説明する。第８実施形態は第１実施形態と異なり、重畳領域にパターン画像を重畳させる場合、経時表示色を表示させるための淡色と濃色との組み合わせを予め決めておく実施形態である。本実施形態の機能構成は、図２を図２０に置き換えたものであり、図８の処理フローを図２４の処理フローに置き換えたものである。
【０１６５】
［８．１  表示制御装置の機能構成］
本実施形態における表示制御装置１４の機能構成について、図２０を用いて説明する。なお、第１実施形態と同一の機能部については、同一の符号を付しており、説明を省略する。
【０１６６】
本実施形態は、第１実施形態と異なり、記憶部１１０に、ＬＵＴ１１９が更に記憶されている点が異なる。
【０１６７】
ＬＵＴ１１９は、画素値の色空間において、チャンネル毎に、取り得る数値範囲を２以上の数に分割して、分割した範囲の組み合わせ毎に代表点を決定し、その代表点についての淡色と濃色との組み合わせ記憶したルックアップテーブルである。本実施形態では、画素値はＲＧＢ色空間の画素値であり、各チャンネルを０−１２７と１２８−２５５の２つの数値（画素値）範囲に分割するものとして説明する。
【０１６８】
図２１にＬＵＴ１１９の例を示す。ＬＵＴ１１９は、Ｒチャンネルの画素値の範囲を示すＲ範囲（例えば、「０−１２７」）と、Ｇチャンネルの画素値の範囲を示すＧ範囲（例えば、「０−１２７」）と、Ｂチャンネルの画素値の範囲を示すＢ範囲（例えば、「０−１２７」）と、Ｒ範囲とＧ範囲とＢ範囲とが張る空間における代表点（例えば、「６４，６４，６４」）と、その代表点で示される色を経時表示色として表示する場合における、濃色の画素値（例えば、「３２，３２，３２」）と、淡色の画素値（例えば、「９６，９６，９６」）とが記憶される。
【０１６９】
代表点は適当な方法で決定すればよい。例えば、チャンネル毎の分割数を予め決めておき、各チャンネルを等間隔に分割して、各範囲が張る空間の中心点を代表点とする。また、画素値と出力とが大きく変わる範囲に代表点を多く設けるように分割してもよい。
【０１７０】
また、代表点における淡色の画素値と濃色の画素値との組み合わせは、第５実施形態、第６実施形態、第７実施形態に記載したように、知覚や、調整用撮像装置による結果や、色彩計の結果に基づいて決定すればよい。
【０１７１】
［８．２  処理の流れ］
［８．２．１  本実施形態の処理の概要］
本実施形態における処理の概要について、図２２及び図２３を用いて説明する。表示部２２０に表示される色は、入力信号に基づく画素値によって決定されるが、画素値に対する見え方（知覚される色）は、表示部２２０の表示特性によるため、常に一定であるとは限らない。例えば、図２２は、横軸を画素値、縦軸を出力（見え方）としたグラフであり、暗部とハイライト部分において、画素値の変化量に対して、見え方の変化が少なくなるような特性を示したものである。このグラフにおいて、Ｃ８００で示した部分と、Ｃ８０２で示した部分は、曲線の変化の様子が異なっている。
【０１７２】
図２３（ａ）は、Ｃ８００で示した部分を拡大した図である。ここで、画素値に所定量（例えば、１０）を加算した色（淡色）の見え方と元の画素値に対する差異をａとし、画素値に所定量を減算した色（濃色）の見え方と元の画素値に対する差異をｂとする。図２３（ａ）では、ｂに比べａが大きいため、淡色と濃色とによって経時表示色を表示した場合、元の画素値の見え方と比べて明るく見える。
【０１７３】
図２３（ｂ）は、Ｃ８０２で示した部分を拡大した図である。同様にａとｂとを比べると、ｂに比べａが小さいため、淡色と濃色とによって経時表示色を表示した場合、元の画素値の見え方と比べて暗く見える。
【０１７４】
このように、単一色と、経時表示色との色彩値が一致するときの係数は、色相や明度域によって異なるため、各入力チャンネルの全画素値に対して、重畳係数や、出力すべき淡色と濃色との組み合わせ定めることができる。しかし、データの作成の観点や、データの格納の観点からも現実的ではない。
【０１７５】
そこで、本実施形態では、映像信号に含まれる各チャンネルの画素値のうち、代表点と、代表点毎に淡色と濃色との組み合わせを予め決めておき、ＬＵＴ１１９として記憶する。このようにすることで、パターン画像を重畳させる前の画素値（以下、「入力画素値」という）から、淡色と濃色とに対応する画素値（以下、「出力画素値」という）を求めて交互に表示することで、代表点における色を経時表示色として表示することができる。代表点以外の色を経時表示色として表示する場合は、入力画素値の近傍に位置する代表点を複数（例えば、３つ）特定し、代表点間における補完処理により、出力画素値を算出する。
【０１７６】
［８．２．２  表示制御装置の処理の流れ］
本実施形態における表示制御装置１４の重畳画像表示処理について、図２４に基づいて説明する。はじめに、重畳画像生成部１２０は、フレーム画像から、輝度値を変更するドットの画素値（入力画素値）を抽出する（ステップＳ８０２）。
【０１７７】
つづいて、重畳画像生成部１２０は、ＬＵＴ１１９に記憶された代表点を読み出し、ステップＳ８０２で抽出したドット毎に、そのドットの入力画素値の近傍に存在する代表点を特定する（ステップＳ８０４）。ドットの画素値が代表点と一致する場合は、その代表点を近傍の代表点とする。ドットの画素値が代表点と一致しない場合は、画素値の近傍の代表点を複数（例えば、３つ）特定し、近傍の代表点とする。
【０１７８】
つづいて、重畳画像生成部１２０は、ステップＳ８０２で抽出したドット毎に、ステップＳ８０６で特定した代表点に基づき、淡色と濃色との画素値（出力画素値）を算出する。ここで、入力画素値が代表点と一致する場合は、その代表点に対応する淡色及び濃色の画素値をＬＵＴ１１９から読み出して、出力画素値とする。入力画素値が代表点と一致しない場合は、ステップＳ８０４で特定した複数の代表点に対応する淡色及び濃色に基づいて、補完処理によってそのドットで表示すべき出力画素値を算出する。
【０１７９】
つづいて、重畳画像生成部１２０は、ステップＳ８０２で抽出したドット毎に、入力画素値を淡色の出力画素値に置き換えた加算による重畳画像と、入力画素値を濃色の出力画素値に置き換えた減算による重畳画像とを生成する（ステップＳ８０８）。重畳画像生成部１２０は、生成した重畳画像を、重畳画像格納領域１１６に格納する。
【０１８０】
つづいて、表示制御部１３０は、重畳画像格納領域１１６に記憶された重畳画像を読み出し、加算による重畳画像と、減算による重畳画像とを映像信号として交互に出力する制御を行う（ステップＳ８１０）。そして、映像入力部２１０は、表示制御部１３０によって出力された映像信号を入力信号として入力し、入力信号に基づく画像を表示部２２０に表示する。
【０１８１】
本実施形態によれば、表示装置２０の特性に応じて、経時表示色を元の色と同じ見え方にすることが可能となる。
【０１８２】
［９．変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
【０１８３】
また、上述した実施形態は、説明の都合上、それぞれ別に説明している部分があるが、技術的に可能な範囲で組み合わせて実行してもよいことは勿論である。例えば、第２実施形態と第４実施形態とを組み合わせて実行することができる。この場合、平滑化処理により、重畳領域として選択することが可能な領域を増やすことが可能となる。
【０１８４】
また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、各種ＲＯＭやＨＤＤ、ＳＳＤの記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。
【０１８５】
また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。
【符号の説明】
【０１８６】
１  表示システム
１０、１２、１４  表示制御装置
１００  制御部
１１０  記憶部
１１２  コンテンツ格納領域
１１４  パターン画像
１１６  重畳画像格納領域
１１８  重畳係数
１１９  ＬＵＴ
１２０  重畳画像生成部
１３０  表示制御部
１４０  操作部
１５０  通信部
２０  表示装置
２００  制御部
２１０  映像入力部
２２０  表示部
３０  撮像装置
３００  制御部
３１０  撮像部
３２０  パターン画像抽出部
３３０  パターン画像認識部
３４０  表示部
３５０  通信部
３６０  記憶部
３６２  画像データ
【図１】
2019158968.tif 000003
【図２】
2019158968.tif 000004
【図３】
2019158968.tif 000005
【図４】
2019158968.tif 000006
【図５】
2019158968.tif 000007
【図６】
2019158968.tif 000008
【図７】
2019158968.tif 000009
【図８】
2019158968.tif 000010
【図９】
2019158968.tif 000011
【図１０】
2019158968.tif 000012
【図１１】
2019158968.tif 000013
【図１２】
2019158968.tif 000014
【図１３】
2019158968.tif 000015
【図１４】
2019158968.tif 000016
【図１５】
2019158968.tif 000017
【図１６】
2019158968.tif 000018
【図１７】
2019158968.tif 000019
【図１８】
2019158968.tif 000020
【図１９】
2019158968.tif 000021
【図２０】
2019158968.tif 000022
【図２１】
2019158968.tif 000023
【図２２】
2019158968.tif 000024
【図２３】
2019158968.tif 000025
【図２４】
2019158968.tif 000026