(57)【要約】【課題】従来、自然界の光の振舞いを考慮した映像信号処理が行われなかった。【解決手段】画像が取得される環境における光信号に関する光信号情報と電気信号に関する電気信号情報との対応を示す対応情報が格納される格納部と、入力画像を受け付ける入力画像受付部と、入力画像から取得される電気信号情報に対応する光信号情報を、対応情報を用いて取得する光信号情報取得部と、光信号情報取得部が取得した光信号情報を用いて、入力画像から出力画像を取得する変換処理を行う変換処理部と、出力画像を出力する出力部とを具備する映像信号処理装置により、自然界の光の振舞いを考慮した映像信号処理が可能となる。【選択図】図１
2018003937.tif 000002
【特許請求の範囲】
【請求項１】
画像が取得される環境における光信号に関する光信号情報と電気信号に関する電気信号情報との対応を示す対応情報が格納される格納部と、
入力画像を受け付ける入力画像受付部と、
前記入力画像受付部が受け付けた入力画像から取得される電気信号情報に対応する光信号情報を、前記対応情報を用いて取得する光信号情報取得部と、
前記光信号情報取得部が取得した光信号情報を用いて、前記入力画像から出力画像を取得する変換処理を行う変換処理部と、
前記変換処理部が取得した出力画像を出力する出力部とを具備する映像信号処理装置。
【請求項２】
前記対応情報は、
電気信号情報と光信号情報との対応を示す２以上の対応レコードを有するルックアップテーブルであり、
前記光信号情報取得部は、
前記入力画像受付部が受け付けた入力画像から取得される電気信号情報に一致するまたは最も近い電気信号情報に対応する対応レコードを選択し、当該選択した対応レコードに対応する光信号情報を取得する請求項１記載の映像信号処理装置。
【請求項３】
前記対応情報は、
電気信号情報に対応する演算式であり、時空間にタップが張られた演算式である電気信号情報を有し、
前記光信号情報取得部は、
前記入力画像受付部が受け付けた入力画像から取得される電気信号情報に対応する演算式を取得し、
前記変換処理部は、
前記光信号情報取得部が取得した演算式を用いて、前記入力画像を変換し、出力画像を取得する変換処理を行う請求項１記載の映像信号処理装置。
【請求項４】
前記対応情報は、
電気信号情報と処理を識別する処理識別子との対応を示す２以上の対応レコードを有するルックアップテーブルであり、
前記光信号情報取得部は、
前記入力画像受付部が受け付けた入力画像から取得される電気信号情報に一致するまたは最も近い電気信号情報に対応する対応レコードを選択し、当該選択した対応レコードに対応する処理識別子である光信号情報を取得し、
前記変換処理部は、
前記光信号情報取得部が取得した処理識別子により識別される処理を実行し、前記入力画像から出力画像を取得する変換処理を行う請求項１記載の映像信号処理装置。
【請求項５】
前記変換処理部は、
前記光信号情報取得部が取得した光信号情報を用いて、前記入力画像をより高画質な画像に変換する高画質化処理を行い、出力画像を取得する請求項１から請求項４いずれか一項に記載の映像信号処理装置。
【請求項６】
前記変換処理部は、
前記光信号情報取得部が取得した光信号情報を用いて、前記入力画像をより高解像度の画像に変換する高解像度化処理を行い、出力画像を取得する請求項１から請求項４いずれか一項に記載の映像信号処理装置。
【請求項７】
前記変換処理部は、
前記光信号情報取得部が取得した光信号情報を用いて、前記入力画像に対してノイズ除去処理を行い、出力画像を取得する請求項１から請求項４いずれか一項に記載の映像信号処理装置。
【請求項８】
前記光信号情報は、光信号および電気信号の信号レンジを示す範囲情報であり、
前記変換処理部は、
前記入力画像に対して、第一の変換処理を行い出力画像の候補を取得し、当該出力画像の候補の信号強度が前記範囲情報の示す範囲内に収まっているか否かを判断し、当該出力画像の候補の信号強度が前記範囲情報の示す範囲内に収まっていない、と判断した場合に、前記入力画像を再量子化して、前記範囲情報が示す範囲内に信号強度が収まるように、入力画像を変換し、出力画像を取得する請求項１から請求項４いずれか一項に記載の映像信号処理装置。
【請求項９】
前記光信号情報取得部は、
前記入力画像から取得される電気信号情報を用いて、当該入力画像の中の対象に当たっている光が直接光であるか拡散光であるかを判定し、
前記変換処理部は、
前記光信号情報取得部が直接光であると判定した場合、前記入力画像の全体の明暗の差または比を強調するように、前記入力画像の各画素の画素値を修正し、前記入力画像から出力画像を取得する変換処理を行う請求項１から請求項４いずれか一項に記載の映像信号処理装置。
【請求項１０】
前記光信号情報取得部は、
前記入力画像から取得される電気信号情報を用いて、当該入力画像の中の対象に当たっている光が直接光であるか拡散光であるかを判定し、
前記変換処理部は、
前記光信号情報取得部が拡散光であると判定した場合、前記入力画像の全体の明暗の差または比が減少するように、前記入力画像の各画素の画素値を修正し、前記入力画像から出力画像を取得する変換処理を行う請求項１から請求項４いずれか一項に記載の映像信号処理装置。
【請求項１１】
前記光信号情報取得部は、
前記入力画像を２以上のブロックに分割し、各ブロックの中の対象が反射する光が鏡面反射であるか拡散反射であるかを、各ブロックの電気信号情報を用いて判定し、
前記変換処理部は、
前記光信号情報取得部が鏡面反射であると判定したブロックに対して、当該ブロック全体の明暗の差または比を強調するように、当該ブロックの各画素の画素値を修正し、前記入力画像から出力画像を取得する変換処理を行う請求項１から請求項４いずれか一項に記載の映像信号処理装置。
【請求項１２】
前記光信号情報取得部は、
前記入力画像を２以上のブロックに分割し、各ブロックの中の対象が反射する光が鏡面反射であるか拡散反射であるかを、各ブロックの電気信号情報を用いて判定し、
前記変換処理部は、
前記光信号情報取得部が拡散反射であると判定したブロックに対して、当該ブロック全体の明暗の差または比が減少するように、当該ブロックの各画素の画素値を修正し、前記入力画像から出力画像を取得する変換処理を行う請求項１から請求項４いずれか一項に記載の映像信号処理装置。
【請求項１３】
光信号情報を変更する光信号情報変更指示を受け付けるユーザ指示受付部と、
前記光信号情報変更指示に従って、格納されている光信号情報を変更する光信号情報変更部とをさらに具備し、前記変換処理部は、
前記光信号情報変更指示により変更された光信号情報を用いて出力画像を取得する請求項１から請求項１２いずれか一項に記載の映像信号処理装置。
【請求項１４】
記録媒体は、
画像が取得される環境における光信号に関する光信号情報と電気信号に関する電気信号情報との対応を示す対応情報が格納される格納部を具備し、
入力画像受付部、光信号情報取得部、変換処理部、および出力部により実現される映像信号処理方法であって、
前記入力画像受付部が、入力画像を受け付ける入力画像受付ステップと、
前記光信号情報取得部が、前記入力画像受付ステップで受け付けられた入力画像から取得される電気信号情報に対応する光信号情報を取得する光信号情報取得ステップと、
前記変換処理部が、前記光信号情報取得ステップで取得された光信号情報を用いて、前記入力画像から出力画像を取得する変換処理を行う変換処理ステップと、
前記出力部が、前記変換処理ステップで取得された出力画像を出力する出力ステップとを具備する映像信号処理方法。
【請求項１５】
画像が取得される環境における光信号に関する光信号情報と電気信号に関する電気信号情報との対応を示す対応情報が格納される格納部を具備する記録媒体にアクセス可能なコンピュータを、
入力画像を受け付ける入力画像受付部と、
前記入力画像受付部が受け付けた入力画像から取得される電気信号情報に対応する光信号情報を、前記対応情報を用いて取得する光信号情報取得部と、
前記光信号情報取得部が取得した光信号情報を用いて、前記入力画像から出力画像を取得する変換処理を行う変換処理部と、
と、
前記変換処理部が取得した出力画像を出力する出力部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の信号処理を行う映像信号処理装置等に関するものである。
【背景技術】
【０００２】
従来、映像信号を記憶するメモリのサイズが大きくなることなく、メモリに記憶されている同じ画素データを複数の処理によって同時に読み出そうとする不具合を回避することができる映像信号処理装置があった（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１５０３０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術においては、自然界の光の振舞いを考慮した映像信号処理が行われなかった。このような処理の場合、映像信号処理を施した結果、自然界において被写体に光が当たった映像としては存在しえないような結果となってしまうことがある、という問題があった。なお、自然界の光の振舞いとは、例えば、物質に当たった場合の振る舞いである「吸収」「透過」「反射」「散乱」等である。また、自然界の光の振舞いとは、例えば、媒質中を伝わる際の光の振舞いである「屈折」「回折」等である。
【課題を解決するための手段】
【０００５】
本第一の発明の映像信号処理装置は、画像が取得される環境における光信号に関する光信号情報と電気信号に関する電気信号情報との対応を示す対応情報が格納される格納部と、入力画像を受け付ける入力画像受付部と、電気信号情報に対応する光信号情報を取得する光信号情報取得部と、光信号情報取得部が取得した光信号情報を用いて、入力画像から出力画像を取得する変換処理を行う変換処理部と、変換処理部が取得した出力画像を出力する出力部とを具備する映像信号処理装置である。【０００６】
かかる構成により、自然界の光の振舞いを考慮した映像信号処理が可能となる。【０００７】
また、本第二の発明の映像信号処理装置は、第一の発明に対して、対応情報は、光信号情報と電気信号情報との対応を示す２以上の対応レコードを有するルックアップテーブルであり、光信号情報取得部は、入力画像受付部が受け付けた入力画像から取得される電気信号情報に一致するまたは最も近い電気信号情報に対応する対応レコードを選択し、当該選択した対応レコードに対応する光信号情報を取得する映像信号処理装置である。【０００８】
かかる構成により、自然界の光の振舞いを考慮した映像信号処理が可能となる。【０００９】
また、本第三の発明の映像信号処理装置は、第一の発明に対して、対応情報は、電気信号情報に対応する演算式であり、時空間にタップが張られた演算式である電気信号情報を有し、光信号情報取得部は、入力画像受付部が受け付けた入力画像から取得される電気信号情報に対応する演算式を取得し、変換処理部は、光信号情報取得部が取得した演算式を用いて、入力画像を変換し、出力画像を取得する変換処理を行う映像信号処理装置である。【００１０】
かかる構成により、自然界の光の振舞いを考慮した映像信号処理が可能となる。【００１１】
また、本第四の発明の映像信号処理装置は、第一の発明に対して、対応情報は、電気信号情報と処理を識別する処理識別子との対応を示す２以上の対応レコードを有するルックアップテーブルであり、光信号情報取得部は、入力画像受付部が受け付けた入力画像から取得される電気信号情報に一致するまたは最も近い電気信号情報に対応する対応レコードを選択し、選択した対応レコードに対応する処理識別子である光信号情報を取得し、変換処理部は、光信号情報取得部が取得した処理識別子により識別される処理を実行し、入力画像から出力画像を取得する変換処理を行う映像信号処理装置である。【００１２】
かかる構成により、自然界の光の振舞いを考慮した映像信号処理が可能となる。【００１３】
また、本第五の発明の映像信号処理装置は、第一から第四いずれか１つの発明に対して、変換処理部は、光信号情報取得部が取得した光信号情報を用いて、入力画像をより高画質な画像に変換する高画質化処理を行い、出力画像を取得する映像信号処理装置である。【００１４】
かかる構成により、自然界の光の振舞いを考慮した映像信号の高画質化処理が可能となる。【００１５】
また、本第六の発明の映像信号処理装置は、第一から第四いずれか１つの発明に対して、変換処理部は、光信号情報取得部が取得した光信号情報を用いて、入力画像をより高解像度の画像に変換する高解像度化処理を行い、出力画像を取得する映像信号処理装置である。【００１６】
かかる構成により、自然界の光の振舞いを考慮した映像信号の高解像度化処理が可能となる。【００１７】
また、本第七の発明の映像信号処理装置は、第一から第四いずれか１つの発明に対して、変換処理部は、光信号情報取得部が取得した光信号情報を用いて、入力画像に対してノイズ除去処理を行い、出力画像を取得する映像信号処理装置である。【００１８】
かかる構成により、自然界の光の振舞いを考慮した映像信号のノイズ除去処理が可能となる。【００１９】
また、本第八の発明の映像信号処理装置は、第一から第四いずれか１つの発明に対して、電気信号情報は、電気信号の信号レンジを示す範囲情報であり、変換処理部は、入力画像に対して、第一の変換処理を行い出力画像の候補を取得し、出力画像の候補の信号強度が範囲情報の示す範囲内に収まっているか否かを判断し、出力画像の候補の信号強度が範囲情報の示す範囲内に収まっていない、と判断した場合に、入力画像を再量子化して、範囲情報が示す範囲内に信号強度が収まるように、入力画像を変換し、出力画像を取得する映像信号処理装置である。【００２０】
かかる構成により、自然界の光の振舞いを考慮した信号強度の出力画像を得ることができる。【００２１】
また、本第九の発明の映像信号処理装置は、第一から第八いずれか１つの発明に対して、光信号情報を変更する光信号情報変更指示を受け付けるユーザ指示受付部と、光信号情報変更指示に従って、格納されている光信号情報を変更する光信号情報変更部とをさらに具備し、変換処理部は、光信号情報変更指示により変更された光信号情報を用いて出力画像を取得する映像信号処理装置である。【００２２】
かかる構成により、ユーザの意思が反映された出力画像を得ることができる。
【発明の効果】
【００２３】
本発明による映像信号処理装置によれば、自然界の光の振舞いを考慮した映像信号処理が可能となる。
【図面の簡単な説明】
【００２４】
【図１】実施の形態１における映像信号処理装置１のブロック図
【図２】同映像信号処理装置１の動作について説明するフローチャート
【図３】同入力画像の信号レベルの度数分布を示す図
【図４】同出力画像の候補の信号レベルの度数分布を示す図
【図５】同出力画像の信号レベルの度数分布を示す図
【図６】同コンピュータシステムの概観図
【図７】同コンピュータシステムのブロック図
【発明を実施するための形態】
【００２５】
以下、映像信号処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００２６】
（実施の形態１）
本実施の形態において、自然界の光の振舞いを考慮して、入力映像信号を出力映像信号に変換する映像信号処理を行う映像信号処理装置について説明する。
【００２７】
さらに具体的には、本実施の形態において、後述する光信号情報と後述する電気信号情報との対応を示す対応情報に対して、受け付けた入力画像を適用し、そこで得られた光信号出力を利用して入力画像を変換処理して、出力画像を取得する映像信号処理装置について説明する。
【００２８】
図１は、本実施の形態における映像信号処理装置１のブロック図である。
【００２９】
映像信号処理装置１は、格納部１１、受付部１２、処理部１３、および出力部１４を備える。
【００３０】
受付部１２は、入力画像受付部１２１、およびユーザ指示受付部１２２を備える。
【００３１】
処理部１３は、光信号情報取得部１３１、変換処理部１３２、および光信号情報変更部１３３を備える。
【００３２】
映像信号処理装置１は、例えば、テレビジョン受信機、ブルーレイ（登録商標）レコーダーやＤＶＤ（登録商標）レコーダー等の映像出力装置、カメラ、写真出力装置などであり、映像信号を処理する装置であれば何でも良い。なお、映像とは、通常、２以上の静止画像の集合である動画であるが、１つの静止画像でも良い。
【００３３】
格納部１１は、各種の情報を格納し得る。各種の情報とは、例えば、対応情報である。各種の情報とは、例えば、１または２以上の光信号情報を有する光信号データベース、１または２以上の電気信号情報を有する電気信号データベースである。また、各種の情報とは、例えば、後述する処理識別子と対応付けられた処理を実行するプログラムである。
【００３４】
また、対応情報とは、光信号情報と電気信号情報との対応を示す情報である。対応情報は、出力画像が発する光が、自然界の光としてあり得ないような挙動にならないように拘束しながら画像を変換するために利用される情報である。対応情報は、例えば、光の変化量に応じた適切な電気信号の変化量を取得するための情報である。光信号情報と電気信号情報との対応を示す対応情報は、電気信号情報でも良い。
【００３５】
光信号情報とは、画像が取得される環境（通常、自然界の環境）における光信号に関する情報である。光信号情報は、例えば、光信号の特性を示す情報（光信号特性と言っても良い。）である。光信号情報は、例えば、無限の分解能を有することを示す情報、信号強度の幅である信号レンジに上限または下限が無いことを示す情報などである。光信号情報は、例えば、光の強さそのもの（ルクスの値等）である。光信号情報は、通常、自然界の光を観測して得られた情報である。光信号情報は、例えば、信号レンジを示す範囲情報である。光信号情報は、例えば、単位時間または一定時間における光量の変化を示す光量変化情報である。光信号情報は、例えば、単位時間または一定時間における光源の拡散度合の変化を示す拡散度合変化情報である。拡散度合情報は、例えば、拡散する角度である。光信号情報は、例えば、単位時間または一定時間における光源の位置の連続的な変更を示す光源位置変化情報である。光源位置変化情報は、例えば、始点の座標位置、終点の座標位置、および移動速度である。また、光信号情報は、例えば、画像の中の対象に当たっている光が直接光であるか、拡散光であるかを示す情報である。また、光信号情報は、例えば、画像の一部（例えば、画像の中の一ブロック）の対象が反射する光が鏡面反射であるか、拡散反射であるかを示す情報である。
【００３６】
また、電気信号情報とは、電気信号に関する情報である。電気信号情報は、例えば、電気信号の特性を示す情報（電気信号特性と言っても良い。）である。電気信号情報は、例えば、特定のビット数（例えば、１０ｂｉｔ）で量子化したことを示す情報、信号レンジを示す情報（例えば、６４〜９４０）である。電気信号情報は、例えば、適切な電気信号の変化量である。電気信号情報は、例えば、電気信号の強度そのもの（画素値）である。電気信号情報は、例えば、後述する処理識別子である。電気信号情報は、例えば、画像の変化を特定する画像変化特定情報である。画像変化特定情報は、例えば、画素値の変化量を示す情報、輝度の変化量を示す情報である。
【００３７】
光信号情報が光量変化情報であり、電気信号情報が画像変化特定情報である場合、対応情報は、光量を変化させた時の画像の変化を特定する情報である。また、光信号情報が拡散度合変化情報であり、電気信号情報が画像変化特定情報である場合、対応情報は、光源の拡散度合を変化させた時の画像の変化を特定する情報である。また、光信号情報が光源位置変化情報であり、電気信号情報が画像変化特定情報である場合、対応情報は、光源の位置を変化させた時の画像の変化を特定する情報である。光源の位置の変化とは、例えば、被写体に対して「真上から真横」や、「順光から逆光」等である。
【００３８】
また、対応情報は、例えば、光信号情報と電気信号情報との対応を示す２以上の対応レコードを有するルックアップテーブルであっても良い。
【００３９】
ここで、ルックアップテーブルは、例えば、光信号と電気信号の振舞いの対応関係を示す情報である。例えば、対応関係を示す情報とは、例えば、量子化された電気信号の信号レンジと、当該電気信号の信号レンジに対応した、無限階調である光信号の信号レンジである。また、対応関係を示す情報とは、例えば、電気信号が変化した際の、光信号の変化の存在許容範囲である。つまり、ルックアップテーブルや対応情報は、光信号情報のみでも良い。
【００４０】
また、ルックアップテーブルは、１または２以上の対応レコードを有する。対応レコードは、１または２以上の入力画像の全部または一部分と、１または２以上の出力画像の全部または一部分との対応を取るための情報である。ルックアップテーブルが有する対応レコードが一つの場合、かかる対応レコードは、例えば、画像を変換する演算式や、画像を変換する演算式に与える１以上のパラメータ群である。なお、パラメータには、例えば、積和演算の係数、明暗の差または比を変更する度合い、判定パラメータ等がある。判定パラメータは、判定に利用する閾値であり、例えば、鏡面反射か拡散反射かを判定する画素値等の閾値、直接光であるか拡散光であるかを判定する画素値等の閾値などである。
【００４１】
また、対応情報は、入力画像に対応する演算式であり、時空間にタップが張られた演算式である光信号情報または電気信号情報を有しても良い。演算式は、例えば、入力画像の複数のタップに、所定の係数を乗じて積和する式である。また、演算式は例えば、入力画像の複数のタップに、光信号情報から求まる係数を乗じて積和する式である。なお、タップとは、入力画像の着目画素およびその近傍の画素の画素値である。つまり、時空間にタップが張られた演算式とは、入力画像の着目画素およびその近傍の画素の画素値に、予め決められた係数を乗算し、乗算したすべての結果の和を算出する積和演算の演算式である。また、入力画像の着目画素およびその近傍の画素は、２以上の画素であり、その数は問わない。
【００４２】
対応情報は、光信号情報と処理を識別する処理識別子との対応を示す２以上の対応レコードを有するルックアップテーブルであっても良い。処理識別子は、処理を実現するプログラムに対応する情報であり、例えば、プログラム名、実行モジュール名、プログラムＩＤ等である。
【００４３】
受付部１２は、各種の情報を受け付ける。各種の情報とは、例えば、入力画像、光信号情報である。ここで、受け付けとは、通常、有線もしくは無線の通信回線を介して送信された情報の受信であるが、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けや、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付けなどを含む概念である。
【００４４】
入力画像受付部１２１は、入力画像を受け付ける。入力画像は、例えば、図示しない放送装置から送信された画像である。また、入力画像は、例えば、記録媒体に格納されている画像である。入力画像受付部１２１が受け付ける入力画像は、通常、２以上の入力画像（フレームやフィールドと言っても良い）であるが、一つの入力画像（フレームやフィールドと言っても良い）でも良い。また、受け付けられる複数のフレームやフィールドを、単に入力画像と言うこともある。
【００４５】
ユーザ指示受付部１２２は、ユーザ指示を受け付ける。ユーザ指示は、例えば、光信号情報を変更する指示である光信号情報変更指示である。ここで、受け付けとは、キーボード、マウス、またはタッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。ユーザ指示の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。
【００４６】
処理部１３は、各種の処理を行う。各種の処理とは、例えば、光信号情報取得部１３１、変換処理部１３２が行う処理である。
【００４７】
光信号情報取得部１３１は、入力画像受付部１２１が受け付けた入力画像から取得される電気信号情報に対応する光信号情報を取得する。光信号情報取得部１３１は、通常、入力画像受付部１２１が受け付けた入力画像から取得される電気信号情報に対応する光信号情報を、格納部１１の対応情報を用いて取得する。
【００４８】
まず、光信号情報取得部１３１は、入力画像受付部１２１が受け付けた入力画像から１以上の電気信号情報を取得する。次に、光信号情報取得部１３１は、１以上の各電気信号情報に対応する光信号情報を取得する。光信号情報取得部１３１は、通常、１以上の各電気信号情報に対応する光信号情報を、格納部１１の対応情報を用いて取得する。
【００４９】
光信号情報取得部１３１は、例えば、入力画像受付部１２１が受け付けた入力画像から取得される電気信号情報に一致するまたは最も近い電気信号情報に対応する対応レコードを選択し、選択した対応レコードに対応する光信号情報を取得する。
【００５０】
光信号情報取得部１３１は、例えば、入力画像受付部１２１が受け付けた入力画像から取得される電気信号情報に対応する演算式を取得しても良い。
【００５１】
光信号情報取得部１３１は、入力画像受付部１２１が受け付けた入力画像から取得される電気信号情報に一致するまたは最も近い電気信号情報に対応する対応レコードを選択し、選択した対応レコードに対応する処理識別子である光信号情報を取得しても良い。
【００５２】
光信号情報取得部１３１は、電気信号情報に対応して取得した光信号情報に対して、さらにユーザ指示受付部１２２が受け付けた光信号情報変更指示に応じて変更を加えた光信号情報を取得しても良い。ユーザ指示とは、例えば光量を２倍にする、光源の拡散度合を変更する、光源の位置を変更する等である。
例えば、ユーザ指示が「光量を２倍にする」旨の指示であり、対応情報に格納されている光信号情報が光の強さそのものであった場合、まず、光信号情報取得部１３１は、入力画像受付部１２１が受け付けた入力画像から取得される電気信号情報に一致するまたは最も近い電気信号情報に対応する対応レコードを選択し、選択した対応レコードに対応する光信号情報（光の強さ）を取得する。次に、光信号情報取得部１３１は、取得した光信号情報を２倍した光信号情報を取得する。
【００５３】
変換処理部１３２は、光信号情報取得部１３１が取得した光信号情報を用いて、入力画像から出力画像を取得する変換処理を行う。変換処理部１３２は、通常、入力画像受付部１２１が受け付けた入力画像、および光信号情報取得部１３１が取得した光信号情報を用いて、入力画像から出力画像を取得する変換処理を行う。
【００５４】
変換処理は、例えば、後述する高画質化処理、後述する高解像度化処理、後述するノイズ除去処理等であるが、処理の内容は問わない。変換処理は、例えば、入力画像を従来技術による画像変換処理（例えば、特開２０１２−２５２６８５、特開２０１２−２５２６８６、再表２０１３／０６１８１０等に記載された従来の変換処理）を行った後、変換結果の画像が電気信号として許容される範囲を逸脱する信号が存在するか否かを判断し、許容範囲を逸脱する信号が存在する場合に、信号の切り捨てが生じないように再量子化を行う処理である。
【００５５】
例えば、光信号情報が光量変化情報である場合、変換処理部１３２は、当該光量変化情報を用いて、入力画像から出力画像を取得する。例えば、光信号情報が「光量を２倍にする」という光量変化情報である場合、変換処理部１３２は、全ての画素の輝度値を単純に２倍にするのではなく、光源の特性や被写体の反射特性を考慮して、各画素または各ブロックに対して、実際に光量が２倍になった時に観測されるのと同等の画素またはブロックを得て、出力画像を構成する。
【００５６】
例えば、光信号情報が拡散度合情報である場合、当該拡散度合情報を用いて、入力画像から出力画像を取得する。例えば、光信号情報が「光源が直接光であることを示す情報」である場合は、変換処理部１３２は、入力画像の陰影を強くするように入力画像を変更し、出力画像を取得する。一方、例えば、光信号情報が「光源が間接光であることを示す情報」である場合は、変換処理部１３２は、入力画像の陰影を弱くするような処理を行い、出力画像を取得する。なお、変換処理部１３２は、例えば、入力画像を構成する各ブロック内のコントラストを調整する処理を行い、陰影の強弱を調整する。
【００５７】
例えば、光信号情報が光源位置変化情報である場合、当該光源位置変化情報を用いて、入力画像から出力画像を取得する。変換処理部１３２は、例えば、光源位置変化情報に従って、入力画像の中の影の向きや長さを変更する。また、変換処理部１３２は、例えば、入力画像の中の被写体の向きを検知し、当該向きに応じて、光反射の強さを調整する。
【００５８】
変換処理部１３２は、光信号情報取得部１３１が取得した演算式を用いて、入力画像を変換し、出力画像を取得する変換処理を行っても良い。なお、演算式は、光信号情報の一例である。
【００５９】
変換処理部１３２は、光信号情報取得部１３１が取得した処理識別子により識別される処理を実行し、入力画像から出力画像を取得する変換処理を行っても良い。かかる場合、変換処理部１３２は、例えば、光信号情報取得部１３１が取得した処理識別子に対応する処理を呼び出し、当該関数に入力画像を与え、出力画像を取得する。なお、処理は、関数でも良いし、モジュールでも良いし、オブジェクト指向プログラムにおけるメッセージ等でも良い。
【００６０】
変換処理部１３２は、例えば、光信号情報取得部１３１が取得した光信号情報を用いて、入力画像をより高画質の画像に変換する高画質化処理を行い、出力画像を取得しても良い。高画質化とは、より質感、遠近感などがある画像に変換することである。高画質化処理については、公知技術であるので、詳細な説明は省略する。
【００６１】
変換処理部１３２は、例えば、光信号情報取得部１３１が取得した光信号情報を用いて、入力画像をより高解像度の画像に変換する高解像度化処理を行い、出力画像を取得しても良い。高解像度化処理については、公知技術を含め、種々、あり得、その内容は問わない。
【００６２】
変換処理部１３２は、例えば、光信号情報取得部１３１が取得した光信号情報を用いて、入力画像に対してノイズ除去処理を行い、出力画像を取得しても良い。ノイズ除去処理については、公知技術を含め、種々、あり得、その内容は問わない。
【００６３】
変換処理部１３２は、例えば、以下のように、入力画像の中の対象への光の当たり方や、オブジェクトの反射特性によって、処理を変えても良い。なお、対象とは、入力画像の中のものであれば何でも良く、例えば、入力画像の中の山や川などの自然、人や動物などの生物、コップや家などの静物等である。
【００６４】
つまり、光信号情報取得部１３１が、入力画像を解析し、入力画像の電気信号情報を用いて、入力画像の中の対象に当たっている光が直接光であるか拡散光であるかを判定する。そして、直接光である場合、変換処理部１３２は、例えば、入力画像の全体の明暗の差または比を強調するように、入力画像の各画素の画素値を修正する。一方、拡散光である場合、変換処理部１３２は、例えば、入力画像の全体の明暗の差または比は変えない、または入力画像の全体の明暗の差または比が減少するように、入力画像の各画素の画素値を修正する。なお、光信号情報取得部１３１は、直接光であるか拡散光であるかを、例えば、入力画像の各画素の画素値、入力画像の各画素の輝度、入力画像の各画素の画素値の分布、入力画像の各画素の輝度の分布等を用いて判定する。
【００６５】
また、光信号情報取得部１３１が、入力画像を２以上のブロックに分割し、各ブロックの中の対象が反射する光が鏡面反射であるか拡散反射であるかを、各ブロックの電気信号情報を用いて判定する。そして、鏡面反射であるブロックに対して、変換処理部１３２は、例えば、ブロック全体の明暗の差または比を強調するように、当該ブロックの各画素の画素値を修正する。一方、拡散反射であるブロックに対して、変換処理部１３２は、例えば、ブロック全体の明暗の差または比は変えない、またはブロック全体の明暗の差または比が減少するように、ブロックの各画素の画素値を修正する。なお、光信号情報取得部１３１は、鏡面反射であるか拡散反射であるかを、例えば、ブロックの各画素の画素値、ブロックの各画素の輝度、ブロックの各画素の画素値の分布、ブロックの各画素の輝度の分布等を用いて判定する。
【００６６】
また、入力画像またはブロックの全体の明暗の差または比を強調する処理、入力画像またはブロックの全体の明暗の差または比を減少させる処理は、公知技術を含め、種々、あり得、その内容は問わない。
【００６７】
さらに、光信号情報取得部１３１が入力画像を２以上のブロックに分割する場合、分割の仕方は問わない。光信号情報取得部１３１は、例えば、入力画像を同一サイズの矩形のブロックに分割する。
【００６８】
変換処理部１３２は、例えば、入力画像に対して、第一の変換処理を行い出力画像の候補を取得し、当該出力画像の候補の信号強度が範囲情報の示す範囲内に収まっているか否かを判断し、当該出力画像の候補の信号強度が範囲情報の示す範囲内に収まっていない、と判断した場合に、入力画像を再量子化して、範囲情報が示す範囲内に信号強度が収まるように、入力画像を変換し、出力画像を取得しても良い。なお、第一の変換処理とは、通常、従来の画像変換処理である。第一の変換処理は、例えば、上述した従来の変換処理である。なお、変換処理部１３２は、例えば、入力画像に対して、第一の変換処理を行い出力画像の候補を取得し、当該出力画像の候補の信号強度が範囲情報の示す範囲内に収まっていると判断した場合、当該出力画像の候補が出力画像となる。
【００６９】
変換処理部１３２は、例えば、出力画像の信号強度が範囲情報の示す範囲内に収まるまで、信号強度が範囲情報の示す範囲内に収束するような変換処理を２回以上繰り返し、出力画像を取得しても良い。
【００７０】
光信号情報変更部１３３は、ユーザ指示入力部１２２が受け付けた光信号情報変更指示に従って、格納されている光信号情報を変更する。なお、格納されている光信号情報は、例えば、光信号情報取得部１３１が、電気信号情報に対応して取得した光信号情報、または格納部１１の対応情報が有する光信号情報である。
【００７１】
出力部１４は、変換処理部１３２が取得した出力画像を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【００７２】
格納部１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００７３】
格納部１１に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部１１で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部１１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部１１で記憶されるようになってもよい。
【００７４】
ユーザ指示受付部１２２は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【００７５】
処理部１３、光信号情報取得部１３１、変換処理部１３２、および光信号情報変更部１３３は、通常、ＭＰＵやメモリ等から実現され得る。処理部１３等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００７６】
出力部１４は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１４は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００７７】
次に、映像信号処理装置１の動作について、図２のフローチャートを用いて説明する。
【００７８】
（ステップＳ２０１）入力画像受付部１２１は、入力画像を受け付けたか否かを判断する。入力画像を受け付けた場合はステップＳ２０２に行き、入力画像を受け付けない場合はステップＳ２０１に戻る。
【００７９】
（ステップＳ２０２）光信号情報取得部１３１は、ステップＳ２０１で受け付けられた入力画像から１以上の電気信号情報を取得する。
【００８０】
（ステップＳ２０３）光信号情報取得部１３１は、ステップＳ２０２で取得された電気信号情報に対応する光信号情報を、格納部１１の対応情報を用いて取得する。
【００８１】
（ステップＳ２０４）変換処理部１３２は、光信号情報取得部１３１が取得した光信号情報を用いて、ステップＳ２０１で受け付けられた入力画像から出力画像を取得する変換処理を行う。
【００８２】
（ステップＳ２０５）出力部１４は、ステップＳ２０４で取得された出力画像を出力する。処理を終了する。
【００８３】
なお、図２のフローチャートにおいて、ステップＳ２０２は存在しなくても良い。かかる場合、光信号情報取得部１３１が取得する電気信号情報は、自然界の光の振舞いの範囲の中で出力画像を構成するために利用される情報である。電気信号情報は、例えば、後述する信号レンジを示す情報（６４〜９４０）である。
【００８４】
（具体例）
以下、本実施の形態における映像信号処理装置１の具体的な動作について説明する。
【００８５】
今、格納部１１は、光信号特性と電気信号特性との対応を示す対応情報を有する。光信号特性は、無限の分解能を有することを示す情報、信号レンジの上限または下限が無いことを示す情報である。また、電気信号特性は、１０ビットで量子化したことを示す情報、信号レンジを示す情報（６４〜９４０）である。対応情報は、例えば、電気信号の強度の範囲と、光信号信号の強度の範囲との対応を示す情報である。対応情報は、例えば、電気信号の強度と、光信号信号の強度との対応を示す情報である。
【００８６】
また、本具体例における変換処理は、入力画像を従来技術による画像変換処理（第一の変換処理であり、例えば、上述した従来の変換処理）を行った後、変換結果の画像が電気信号として許容される範囲を逸脱する信号が存在するか否かを判断し、許容範囲を逸脱する信号が存在する場合に、信号の切り捨てが生じないように再量子化を行う処理である、とする。
【００８７】
今、入力画像受付部１２１は、入力画像を受信した、とする。そして、受信された入力画像の信号レベルの度数分布は、図３に示すような度数分布であった、とする。なお、図３の横軸は信号強度であり、縦軸は頻度である。
【００８８】
次に、処理部１３は、入力画像に対して、上述した従来の変換処理を行い出力画像の候補を取得した、とする。かかる出力画像の候補は、図４に示すような度数分布であった、とする。
【００８９】
次に、光信号情報取得部１３１は、入力画像から信号強度（電気信号の強度）を取得する。
【００９０】
次に、光信号情報取得部１３１は、取得した電気信号の信号強度に対応する光信号の強度を、格納部１１の対応情報から取得する。
【００９１】
そして、変換処理部１３２は、光信号の強度に対応するように、入力画像を変換し、出力画像の候補を得る。次に、変換処理部１３２は、出力画像の候補の電気信号の信号強度が信号レンジを示す情報の範囲内に収まっているか否かを判断する。ここで、変換処理部１３２は、例えば、出力画像の候補の信号強度が信号レンジを示す情報の範囲（６４〜９４０）内に収まっていない、と判断した、とする。
【００９２】
次に、変換処理部１３２は、入力画像を再量子化して、信号レンジを示す情報の範囲内に信号強度が収まるように、入力画像を変換し、出力画像を得る。かかる出力画像は、例えば、図５に示すような度数分布である。
【００９３】
次に、出力部１４は、取得された出力画像を出力する。なお、この出力画像は、光信号としての法則に従っている画像である、と言える。
【００９４】
以上、本実施の形態によれば、自然界の光の振舞いを考慮した映像信号処理が可能となる。
【００９５】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における映像信号処理装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムにおいて、コンピュータがアクセス可能な記録媒体は、画像が取得される環境における光信号に関する光信号情報と電気信号に関する電気信号情報との対応を示す対応情報が格納される格納部を具備し、コンピュータを、入力画像を受け付ける入力画像受付部と、前記入力画像受付部が受け付けた入力画像から取得される電気信号情報に対応する光信号情報を、前記対応情報を用いて取得する光信号情報取得部と、前記光信号情報取得部が取得した光信号情報を用いて、前記入力画像から出力画像を取得する変換処理を行う変換処理部と、前記変換処理部が取得した出力画像を出力する出力部として機能させるためのプログラムである。
【００９６】
また、上記プログラムにおいて、前記対応情報は、電気信号情報と光信号情報との対応を示す２以上の対応レコードを有するルックアップテーブルであり、前記光信号情報取得部は、前記入力画像受付部が受け付けた入力画像から取得される電気信号情報に一致するまたは最も近い電気信号情報に対応する対応レコードを選択し、当該選択した対応レコードに対応する光信号情報を取得するプログラムであることは好適である。
【００９７】
また、上記プログラムにおいて、前記対応情報は、電気信号情報に対応する演算式であり、時空間にタップが張られた演算式である電気信号情報を有し、前記光信号情報取得部は、前記入力画像受付部が受け付けた入力画像から取得される電気信号情報に対応する演算式を取得し、前記変換処理部は、前記光信号情報取得部が取得した演算式を用いて、前記入力画像を変換し、出力画像を取得する変換処理を行うプログラムであることは好適である。
【００９８】
また、上記プログラムにおいて、前記対応情報は、電気信号情報と処理を識別する処理識別子との対応を示す２以上の対応レコードを有するルックアップテーブルであり、前記光信号情報取得部は、前記入力画像受付部が受け付けた入力画像から取得される電気信号情報に一致するまたは最も近い電気信号情報に対応する対応レコードを選択し、当該選択した対応レコードに対応する処理識別子である光信号情報を取得し、前記変換処理部は、前記光信号情報取得部が取得した処理識別子により識別される処理を実行し、前記入力画像から出力画像を取得する変換処理を行うプログラムであることは好適である。
【００９９】
また、上記プログラムにおいて、前記変換処理部は、前記光信号情報取得部が取得した光信号情報を用いて、前記入力画像をより高画質な画像に変換する高画質化処理を行い、出力画像を取得するプログラムであることは好適である。
【０１００】
また、上記プログラムにおいて、前記変換処理部は、前記光信号情報取得部が取得した光信号情報を用いて、前記入力画像をより高解像度の画像に変換する高解像度化処理を行い、出力画像を取得するプログラムであることは好適である。
【０１０１】
また、上記プログラムにおいて、前記変換処理部は、前記光信号情報取得部が取得した光信号情報を用いて、前記入力画像に対してノイズ除去処理を行い、出力画像を取得するプログラムであることは好適である。
【０１０２】
また、上記プログラムにおいて、前記光信号情報は、光信号および電気信号の信号レンジを示す範囲情報であり、前記変換処理部は、前記入力画像に対して、第一の変換処理を行い出力画像の候補を取得し、当該出力画像の候補の信号強度が前記範囲情報の示す範囲内に収まっているか否かを判断し、当該出力画像の候補の信号強度が前記範囲情報の示す範囲内に収まっていない、と判断した場合に、前記入力画像を再量子化して、前記範囲情報が示す範囲内に信号強度が収まるように、入力画像を変換し、出力画像を取得するプログラムであることは好適である。
【０１０３】
また、図６は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の映像信号処理装置１を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図６は、このコンピュータシステム３００の概観図であり、図７は、システム３００のブロック図である。
【０１０４】
図６において、コンピュータシステム３００は、ＣＤ−ＲＯＭドライブを３０１２含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。
【０１０５】
図７において、コンピュータ３０１は、ＣＤ−ＲＯＭドライブ３０１２と、ＭＰＵ３０１３と、バス３０１４と、ＲＯＭ３０１５と、ＲＡＭ３０１６と、ハードディスク３０１７とを含む。ＲＯＭ３０１５は、ブートアッププログラム等のプログラムを記憶している。ＲＡＭ３０１６は、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供する。ハードディスク３０１７は、通常、アプリケーションプログラム、システムプログラム、及びデータを記憶している。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０１０６】
コンピュータシステム３００に、上述した実施の形態の映像信号処理装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３１０１に記憶されて、ＣＤ−ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。また、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。
【０１０７】
プログラムは、コンピュータ３０１に、上述した実施の形態の映像信号処理装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切なモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。
【０１０８】
なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。
【０１０９】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１１０】
また、上記各実施の形態において、一の装置に存在する２以上の通信手段（端末情報送信部、端末情報受信部など）は、物理的に一の媒体で実現されても良いことは言うまでもない。
【０１１１】
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０１１２】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１１３】
以上のように、本発明にかかる映像信号処理装置は、自然界の光の振舞いを考慮した映像信号処理が可能となるという効果を有し、テレビジョン受信機等として有用である。
【符号の説明】
【０１１４】
１  映像信号処理装置
１１  格納部
１２  受付部
１３  処理部
１４  出力部
１２１  入力画像受付部
１３１  光信号情報取得部
１３２  変換処理部
【図１】
2018003937.tif 000003
【図２】
2018003937.tif 000004
【図３】
2018003937.tif 000005
【図４】
2018003937.tif 000006
【図５】
2018003937.tif 000007
【図６】
2018003937.tif 000008
【図７】
2018003937.tif 000009
【国際調査報告】
2018003937.tif 000010
2018003937.tif 000011
2018003937.tif 000012
2018003937.tif 000013