(57)【特許請求の範囲】
【請求項１】
１以上の第一の画像を格納し得る第一画像格納部と、
第一の画像と同一の対象についての異なる画像である１以上の各第二の画像を、前記１以上の各第一の画像に対応付けて格納し得る第二画像格納部と、
前記１以上の第一の画像の全部または２以上の画素である一部分と、前記１以上の第二の画像の全部または２以上の画素である一部分との対応を取るための情報である１または２以上の対応情報を有するルックアップテーブルを格納し得る格納部と、
前記第一画像格納部に格納されている１以上の第一の画像の全部または２以上の画素である一部分と、前記第二画像格納部に格納されている１以上の第二の画像の全部または２以上の画素である一部分とから、対応情報を１または２以上有するルックアップテーブルを構成するルックアップテーブル構成部と、
前記ルックアップテーブル構成部が構成したルックアップテーブルを、前記格納部に蓄積するルックアップテーブル蓄積部とを具備し、
前記第二の画像は前記第一の画像に対して当該第一の画像が得られた一の環境とは異なる環境である他環境で得られた画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して一部にフラッシュ画面が挿入されている画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像をデフォルメした画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像を描写した絵画を撮影した画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像のＣＧ画像である関係を有し、
前記他環境は、前記一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、または前記一の環境と異なる天候の環境、または前記一の環境と異なる温度や湿度の環境、または前記一の環境と異なる被写界深度の環境、または前記一の環境と異なるシャッター速度の環境であるルックアップテーブル取得装置。
【請求項２】
前記対応情報は、
前記１以上の第一の画像の全部または一部分に関する情報である第一画像関連情報と、前記１以上の第二の画像の全部または一部分に関する情報であり、前記第一画像関連情報に対応する情報である第二画像関連情報とを含む情報であり、
前記第一画像格納部に格納されている１以上の第一の画像の全部または一部分に関する情報である１以上の第一画像関連情報を、前記１以上の第一の画像の全部または一部分から取得する第一画像関連情報取得部と、
前記第二画像格納部に格納されている１以上の第二の画像の全部または一部分に関する情報である１以上の第二画像関連情報を、前記１以上の第二の画像の全部または一部分から取得する第二画像関連情報取得部とをさらに具備し、
前記ルックアップテーブル構成部は、
前記第一画像関連情報取得部が取得した第一画像関連情報と、当該第一画像関連情報に対応する情報であり、前記第二画像関連情報取得部が取得した第二画像関連情報とを有する情報であり、前記１以上の第一の画像の全部または一部分と前記１以上の第二の画像の全部または一部分との対応を示す情報である対応情報を、１または２以上有するルックアップテーブルを構成する請求項１記載のルックアップテーブル取得装置。
【請求項３】
前記対応情報は、
前記１以上の第一の画像の全部または一部分に対応する特徴量ベクトルと、前記１以上の第一の画像の全部または一部分を前記１以上の第二の画像の全部または一部分に変換するための画像の変換フィルタとを有し、
前記ルックアップテーブル構成部は、
前記１以上の第一の画像の全部または一部分から特徴量ベクトルを取得し、前記１以上の第一の画像の全部または一部分を前記１以上の第二の画像の全部または一部分に変換する変換フィルタを取得し、当該特徴量ベクトルと当該変換フィルタとを有する対応情報を、１または２以上有するルックアップテーブルを構成する請求項１または請求項２記載のルックアップテーブル取得装置。
【請求項４】
１以上の各第一の画像に対応付けて、第二の画像に関する情報である２以上の第二の画像情報の候補の集合である第二画像情報候補集合を１以上、格納し得る第二画像情報候補集合格納部と、
前記１以上の第二画像情報候補集合を出力する候補出力部と、
前記候補出力部が出力した１以上の各第二画像情報候補集合が有する２以上の第二の画像情報の候補のうち、１以上の第二の画像情報の候補を選択する指示を受け付ける指示受付部と、
前記指示受付部が受け付けた指示に対応する１以上の第二の画像情報の候補を用いて１以上の第二の画像を取得し、第二画像情報候補集合に対応する第一の画像に対応付けて、当該１以上の第二の画像を前記第二画像格納部に蓄積する第二画像蓄積部とをさらに具備する請求項１から請求項３いずれか記載のルックアップテーブル取得装置。
【請求項５】
記憶媒体に、
１以上の第一の画像と、
第一の画像と同一の対象についての異なる画像である１以上の各第二の画像を、前記１以上の各第一の画像に対応付けて格納しており、
ルックアップテーブル構成部、およびルックアップテーブル蓄積部により実現され得るルックアップテーブルの生成支援方法であって、
前記ルックアップテーブル構成部が、前記１以上の第一の画像の全部または２以上の画素である一部分と前記１以上の第二の画像の全部または２以上の画素である一部分とから、前記１以上の第一の画像の全部または一部分と前記１以上の第二の画像の全部または一部分との対応を取るための情報である対応情報を、１または２以上有するルックアップテーブルを構成するルックアップテーブル構成ステップと、
前記ルックアップテーブル蓄積部が、前記ルックアップテーブル構成ステップで構成されたルックアップテーブルを、記憶媒体に蓄積するルックアップテーブル蓄積ステップとを具備し、
前記第二の画像は前記第一の画像に対して当該第一の画像が得られた一の環境とは異なる環境である他環境で得られた画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して一部にフラッシュ画面が挿入されている画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像をデフォルメした画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像を描写した絵画を撮影した画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像のＣＧ画像である関係を有し、
前記他環境は、前記一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、または前記一の環境と異なる天候の環境、または前記一の環境と異なる温度や湿度の環境、または前記一の環境と異なる被写界深度の環境、または前記一の環境と異なるシャッター速度の環境であるルックアップテーブルの生成支援方法。
【請求項６】
前記対応情報は、
前記１以上の第一の画像の全部または一部分に関する情報である第一画像関連情報と、前記１以上の第二の画像の全部または一部分に関する情報であり、前記第一画像関連情報に対応する情報である第二画像関連情報とを含む情報であり、
さらに第一画像関連情報取得部、第二画像関連情報取得部により実現され得る請求項５記載のルックアップテーブルの生成支援方法であって、
前記第一画像関連情報取得部が、前記１以上の第一の画像の全部または一部分に関する情報である１以上の第一画像関連情報を、前記１以上の第一の画像の全部または一部分から取得する第一画像関連情報取得ステップと、
前記第二画像関連情報取得部が、前記１以上の第二の画像の全部または一部分に関する情報である１以上の第二画像関連情報を、前記１以上の第二の画像の全部または一部分から取得する第二画像関連情報取得ステップとをさらに具備し、
前記ルックアップテーブル構成ステップにおいて、
前記第一画像関連情報取得ステップで取得された第一画像関連情報と、当該第一画像関連情報に対応する情報であり、前記第二画像関連情報取得ステップで取得された第二画像関連情報とを有する情報であり、前記１以上の第一の画像の全部または一部分と前記１以上の第二の画像の全部または一部分との対応を示す情報である対応情報を、１または２以上有するルックアップテーブルを構成する請求項５記載のルックアップテーブルの生成支援方法。
【請求項７】
前記対応情報は、
前記１以上の第一の画像の全部または一部分に対応する特徴量ベクトルと、前記１以上の第一の画像の全部または一部分を前記１以上の第二の画像の全部または一部分に変換するための画像の変換フィルタとを有し、
前記ルックアップテーブル構成ステップにおいて、
前記１以上の第一の画像の全部または一部分から特徴量ベクトルを取得し、前記１以上の第一の画像の全部または一部分を前記１以上の第二の画像の全部または一部分に変換する変換フィルタを取得し、当該特徴量ベクトルと当該変換フィルタとを有する対応情報を、１または２以上有するルックアップテーブルを構成する請求項５または請求項６記載のルックアップテーブルの生成支援方法。
【請求項８】
記憶媒体に、
１以上の各第一の画像に対応付けて、第二の画像に関する情報である２以上の第二の画像情報の候補の集合である第二画像情報候補集合を１以上、さらに格納しており、
さらに候補出力部、指示受付部、および第二画像蓄積部により実現され得る請求項３記載のルックアップテーブルの生成支援方法であって、
前記候補出力部が、前記１以上の第二画像情報候補集合を出力する候補出力ステップと、
前記指示受付部が、前記候補出力ステップで出力された１以上の各第二画像情報候補集合が有する２以上第二の画像情報の候補のうち、１以上の第二の画像情報の候補を選択する指示を受け付ける指示受付ステップと、
前記第二画像蓄積部が、前記指示受付ステップで受け付けられた指示に対応する１以上の第二の画像情報の候補を用いて１以上の第二の画像を取得し、第二画像情報候補集合に対応する第一の画像に対応付けて、当該１以上の第二の画像を前記記憶媒体に蓄積する請求項５から請求項７いずれか記載のルックアップテーブルの生成支援方法。
【請求項９】
記憶媒体に、
１以上の第一の画像と、
第一の画像と同一の対象についての異なる画像である１以上の各第二の画像を、前記１以上の各第一の画像に対応付けて格納しており、
ルックアップテーブル構成部、およびルックアップテーブル蓄積部により実現され得るルックアップテーブルの生産方法であって、
前記ルックアップテーブル構成部が、前記１以上の第一の画像の全部または２以上の画素である一部分と前記１以上の第二の画像の全部または２以上の画素である一部分とから、前記１以上の第一の画像の全部または一部分と前記１以上の第二の画像の全部または一部分との対応を取るための情報である対応情報を、１または２以上有するルックアップテーブルを構成するルックアップテーブル構成ステップと、
前記ルックアップテーブル蓄積部が、前記ルックアップテーブル構成ステップで構成されたルックアップテーブルを、記憶媒体に蓄積するルックアップテーブル蓄積ステップとを具備し、
前記第二の画像は前記第一の画像に対して当該第一の画像が得られた一の環境とは異なる環境である他環境で得られた画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して一部にフラッシュ画面が挿入されている画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像をデフォルメした画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像を描写した絵画を撮影した画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像のＣＧ画像である関係を有し、
前記他環境は、前記一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、または前記一の環境と異なる天候の環境、または前記一の環境と異なる温度や湿度の環境、または前記一の環境と異なる被写界深度の環境、または前記一の環境と異なるシャッター速度の環境であるルックアップテーブルの生産方法。
【請求項１０】
前記対応情報は、
前記１以上の第一の画像の全部または一部分に関する情報である第一画像関連情報と、前記１以上の第二の画像の全部または一部分に関する情報であり、前記第一画像関連情報に対応する情報である第二画像関連情報とを含む情報であり、
さらに第一画像関連情報取得部、第二画像関連情報取得部により実現され得る請求項５記載のルックアップテーブルの生産方法であって、
前記第一画像関連情報取得部が、前記１以上の第一の画像の全部または一部分に関する情報である１以上の第一画像関連情報を、前記１以上の第一の画像の全部または一部分から取得する第一画像関連情報取得ステップと、
前記第二画像関連情報取得部が、前記１以上の第二の画像の全部または一部分に関する情報である１以上の第二画像関連情報を、前記１以上の第二の画像の全部または一部分から取得する第二画像関連情報取得ステップとをさらに具備し、
前記ルックアップテーブル構成ステップにおいて、
前記第一画像関連情報取得ステップで取得された第一画像関連情報と、当該第一画像関連情報に対応する情報であり、前記第二画像関連情報取得ステップで取得された第二画像関連情報とを有する情報であり、前記１以上の第一の画像の全部または一部分と前記１以上の第二の画像の全部または一部分との対応を示す情報である対応情報を、１または２以上有するルックアップテーブルを構成する請求項９記載のルックアップテーブルの生産方法。
【請求項１１】
前記対応情報は、
前記１以上の第一の画像の全部または一部分に対応する特徴量ベクトルと、前記１以上の第一の画像の全部または一部分を前記１以上の第二の画像の全部または一部分に変換するための画像の変換フィルタとを有し、
前記ルックアップテーブル構成ステップにおいて、
前記１以上の第一の画像の全部または一部分から特徴量ベクトルを取得し、前記１以上の第一の画像の全部または一部分を前記１以上の第二の画像の全部または一部分に変換する変換フィルタを取得し、当該特徴量ベクトルと当該変換フィルタとを有する対応情報を、１または２以上有するルックアップテーブルを構成する請求項９または請求項１０記載のルックアップテーブルの生産方法。
【請求項１２】
記憶媒体に、
１以上の各第一の画像に対応付けて、第二の画像に関する情報である２以上の第二の画像情報の候補の集合である第二画像情報候補集合を１以上、さらに格納しており、
さらに候補出力部、指示受付部、および第二画像蓄積部により実現され得る請求項９から請求項１１いずれか記載のルックアップテーブルの生産方法であって、
前記候補出力部が、前記１以上の第二画像情報候補集合を出力する候補出力ステップと、
前記指示受付部が、前記候補出力ステップで出力された１以上の各第二画像情報候補集合が有する２以上第二の画像情報の候補のうち、１以上の第二の画像情報の候補を選択する指示を受け付ける指示受付ステップと、
前記第二画像蓄積部が、前記指示受付ステップで受け付けられた指示に対応する１以上の第二の画像情報の候補を用いて１以上の第二の画像を取得し、第二画像情報候補集合に対応する第一の画像に対応付けて、当該１以上の第二の画像を前記記憶媒体に蓄積する請求項９から請求項１１いずれか記載のルックアップテーブルの生産方法。
【請求項１３】
記憶媒体に、
１以上の第一の画像と、
第一の画像と同一の対象についての異なる画像である１以上の各第二の画像を、前記１以上の各第一の画像に対応付けて格納しており、
コンピュータを、
前記１以上の第一の画像の全部または２以上の画素である一部分と１以上の第二の画像の全部または２以上の画素である一部分とから、前記１以上の第一の画像の全部または一部分と前記１以上の第二の画像の全部または一部分との対応を取るための情報である対応情報を、１または２以上有するルックアップテーブルを構成するルックアップテーブル構成部と、
前記ルックアップテーブル構成部が構成したルックアップテーブルを、記憶媒体に蓄積するルックアップテーブル蓄積部として機能させるためのプログラムであって、
前記第二の画像は前記第一の画像に対して当該第一の画像が得られた一の環境とは異なる環境である他環境で得られた画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して一部にフラッシュ画面が挿入されている画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像をデフォルメした画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像を描写した絵画を撮影した画像であるという関係を有する、または前記第二の画像は前記第一の画像に対して当該第一の画像のＣＧ画像である関係を有し、
前記他環境は、前記一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、または前記一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、または前記一の環境と異なる天候の環境、または前記一の環境と異なる温度や湿度の環境、または前記一の環境と異なる被写界深度の環境、または前記一の環境と異なるシャッター速度の環境である、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像を用いて、出力する画像を生成するための情報であるルックアップテーブルを取得するルックアップテーブル取得装置等に関するものである。
【背景技術】
【０００２】
従来、実在する入力画像データと対応する画素間の所定の画素の画像データを実在する入力画像データによって補間生成するためのディジタル画像信号の補間装置において、実在する入力画像データを受け取り、所定の画素の周辺位置に存在する所定数の実在する画素データを抽出する手段と、係数を求めるための画素データを用いて、補間値と真値との誤差の自乗和が最小となるように最小自乗法により予め定められた所定数の係数と、抽出された上記所定数の実在する画素データとの線形１次結合により、所定の画素の画素データを補間生成する手段とからなることを特徴とするディジタル画像信号の補間装置があった（特許文献１参照）。
【０００３】
また、第１のディジタルビデオ信号から上記第１のディジタルビデオ信号より画素数の多い第２のディジタルビデオ信号を生成するディジタルビデオ信号変換装置があった（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第２８２５４８２号公報（第１頁、第１図等）
【特許文献２】特許第３０７２３０６号公報（第１頁、第１図等）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、目的に応じて脳負荷が調整された画像を出力するための情報を生成できなかった。
【課題を解決するための手段】
【０００６】
本第一の発明のルックアップテーブル取得装置は、１以上の第一の画像を格納し得る第一画像格納部と、第一の画像に対して、脳負荷が調整された画像である１以上の各第二の画像を、１以上の各第一の画像に対応付けて格納し得る第二画像格納部と、１以上の第一の画像の全部または一部分と、１以上の第二の画像の全部または一部分との対応を取るための情報である１または２以上の対応情報を有するルックアップテーブルを格納し得る格納部と、第一画像格納部に格納されている１以上の第一の画像の全部または一部分と、第二画像格納部に格納されている１以上の第二の画像の全部または一部分とから、対応情報を１または２以上有するルックアップテーブルを構成するルックアップテーブル構成部と、ルックアップテーブル構成部が構成したルックアップテーブルを、格納部に蓄積するルックアップテーブル蓄積部とを具備するルックアップテーブル取得装置である。
かかる構成により、目的に応じて脳負荷が調整された画像を出力するための情報を生成できる。
本第二の発明のルックアップテーブル取得装置は、第一の発明に対して、前記対応情報は、１以上の第一の画像の全部または一部分に関する情報である第一画像関連情報と、１以上の第二の画像の全部または一部分に関する情報であり、第一画像関連情報に対応する情報である第二画像関連情報とを含む情報であり、
第一画像格納部に格納されている１以上の第一の画像の全部または一部分に関する情報である１以上の第一画像関連情報を、１以上の第一の画像の全部または一部分から取得する第一画像関連情報取得部と、第二画像格納部に格納されている１以上の第二の画像の全部または一部分に関する情報である１以上の第二画像関連情報を、１以上の第二の画像の全部または一部分から取得する第二画像関連情報取得部と、とをさらに具備し、ルックアップテーブル構成部は、第一画像関連情報取得部が取得した第一画像関連情報と、第一画像関連情報に対応する情報であり、第二画像関連情報取得部が取得した第二画像関連情報とを有する情報であり、１以上の第一の画像の全部または一部分と１以上の第二の画像の全部または一部分との対応を示す情報である対応情報を、１または２以上有するルックアップテーブルを構成するルックアップテーブル取得装置である。
【０００７】
かかる構成により、目的に応じて脳負荷が調整された画像を出力するための情報を生成できる。
また、本第三の発明のルックアップテーブル取得装置は、第一の発明に対して、対応情報は、１以上の第一の画像の全部または一部分に対応する特徴量ベクトルと、１以上の第一の画像の全部または一部分を１以上の第二の画像の全部または一部分に変換するための画像の変換フィルタとを有し、ルックアップテーブル構成部は、１以上の第一の画像の全部または一部分から特徴量ベクトルを取得し、１以上の第一の画像の全部または一部分を１以上の第二の画像の全部または一部分に変換する変換フィルタを取得し、当該特徴量ベクトルと当該変換フィルタとを有する対応情報を、１または２以上有するルックアップテーブルを構成するルックアップテーブル取得装置である。
かかる構成により、目的に応じて脳負荷が調整された画像を出力するための情報を生成できる。
【０００８】
また、本第四の発明のルックアップテーブル取得装置は、第一から第三の発明に対して、１以上の各第一の画像に対応付けて、１以上の各第一の画像と同一の対象についての２以上の第二の画像情報の候補の集合である第二画像情報候補集合を１以上、格納し得る第二画像情報候補集合格納部と、１以上の第二画像情報候補集合を出力する候補出力部と、候補出力部が出力した１以上の各第二画像情報候補集合が有する２以上の第二の画像情報の候補のうち、１以上の第二の画像情報の候補を選択する指示を受け付ける指示受付部と、指示受付部が受け付けた指示に対応する１以上の第二の画像情報の候補を用いて１以上の第二の画像を取得し、第二画像情報候補集合に対応する第一の画像に対応付けて、当該１以上の第二の画像を第二画像格納部に蓄積する第二画像蓄積部とをさらに具備するルックアップテーブル取得装置である。
【０００９】
かかる構成により、特定のユーザにとって、脳負荷が調整された画像を出力するための情報を生成できる。
【発明の効果】
【００１０】
本発明によるルックアップテーブル取得装置によれば、目的に応じて脳負荷が調整された画像を出力するための情報を生成できる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１における画像処理装置１のブロック図
【図２】同画像処理装置１の動作について説明するフローチャート
【図３】同画像解析処理について説明するフローチャート
【図４】同マッピング処理について説明するフローチャート
【図５】同種類識別子取得処理について説明するフローチャート
【図６】同ルックアップテーブル更新処理について説明するフローチャート
【図７】同他の画像処理装置１のブロック図
【図８】実施の形態２における画像処理装置２のブロック図
【図９】同画像処理装置２の動作について説明するフローチャート
【図１０】同他の画像処理装置２のブロック図
【図１１】実施の形態３におけるルックアップテーブル取得装置３のブロック図
【図１２】同ルックアップテーブル取得装置３における第二の画像を選択する動作について説明するフローチャート
【図１３】同ルックアップテーブル取得装置３におけるルックアップテーブルを構成する動作について説明するフローチャート
【図１４】同複数の第二画像情報候補集合の例を示す図
【図１５】同かかる第二画像情報候補集合の出力例を示す図
【図１６】実施の形態４における第一の画像の例を示す図
【図１７】同第二の画像の例を示す図
【図１８】同第一の時空間ブロックの例を示す図
【図１９】同第二の時空間ブロックの例を示す図
【図２０】同ルックアップテーブル構成部の動作を説明する概念図
【図２１】同ルックアップテーブル構成部の処理の概念図
【図２２】同ルックアップテーブル構成部の処理の概念図
【図２３】同ルックアップテーブルの例を示す図
【図２４】実施の形態５における画像処理装置４のブロック図
【図２５】同被写界深度の浅い画像の例を示す図
【図２６】同マッピング部の処理の概念図
【図２７】実施の形態６における画像処理装置５のブロック図
【図２８】同拘束情報の例を示す図
【図２９】同画像処理装置５の動作について説明するフローチャート
【図３０】同マッピング処理について説明するフローチャート
【図３１】同拘束条件決定処理について説明するフローチャート
【図３２】実施の形態７における画像処理装置６のブロック図
【図３３】同ＬＵＴ変更情報管理表の例を示す図
【図３４】同画像処理装置６の動作について、図３４のフローチャートの動作について説明するフローチャート
【図３５】同マッピング処理について説明するフローチャート
【図３６】同ＬＵＴ決定処理について説明するフローチャート
【図３７】実施の形態８における画像学習装置７のブロック図
【図３８】上記実施の形態における同コンピュータシステムの概観図
【図３９】同コンピュータシステムのブロック図
【発明を実施するための形態】
【００１２】
以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００１３】
（実施の形態１）
本実施の形態において、後述するルックアップテーブルを用いて、目的に応じて、受け付けた画像に対して、脳負荷が調整された画像を取得する画像処理装置１について説明する。なお、目的に応じて脳負荷が調整された画像とは、例えば、視聴時に脳負荷をより低減できる画像や、視聴時により脳に刺激を与えエンターテインメント性が増加する画像などである。視聴時に脳の負荷をより低減できる画像とは、例えば対象をより認知しやすい画像のことである。また、目的とは、通常、視聴者の画像視聴時の目的であり、例えば、リラックスして視聴したいという目的、できるだけ疲れずに長時間視聴したいという目的、エンターテインメント性を味わいたいという目的等がある。
【００１４】
また、本実施の形態において、目的に応じて脳負荷が調整された画像を取得する処理は、例えば、時空間ブロックごとに処理を行う。時空間ブロックについての説明は、後述する。
【００１５】
また、本実施の形態において、ルックアップテーブルはカスタマイズ可能である。
【００１６】
また、本実施の形態において、画像処理装置１は、出力候補の画像が所定の条件を満たさない場合に、当該所定の条件を満たすように変換する機能を有する。
【００１７】
図１は、本実施の形態における画像処理装置１のブロック図である。
【００１８】
画像処理装置１は、格納部１０１、拘束条件格納部１０２、指示受付部１０３、画像受付部１０４、分割部１０５、画像解析部１０６、マッピング部１０７、合成部１０８、画像出力部１０９、およびルックアップテーブル更新部１１０を具備する。
【００１９】
マッピング部１０７は、例えば、種類識別子取得手段１０７１、出力画像候補取得手段１０７２、判断手段１０７３、変更手段１０７４、および出力画像取得手段１０７５を具備する。
【００２０】
格納部１０１は、１以上のルックアップテーブルを格納し得る。格納部１０１は、ルックアップテーブルの種類を識別する種類識別子と種類識別子に対応するルックアップテーブルとの組を２組以上格納していても良い。なお、ルックアップテーブルのデータ構造は、テーブル構造とは限らない。ルックアップテーブルのデータ構造は、問わない。また、ルックアップテーブルの種類とは、ルックアップテーブルそのものであっても良いことは言うまでもない。
【００２１】
ここで、ルックアップテーブルは、１または２以上の対応情報を有する。対応情報は、１以上の第一の画像の全部または一部分と、１以上の第二の画像の全部または一部分との対応を取るための情報である。ルックアップテーブルが有する対応情報が一つの場合、かかる対応情報は、例えば、画像を変換する演算式や、画像を変換する演算式に与える１以上のパラメータ群である。対応情報は、例えば、時空間ブロックの画素値の中央値を算出する演算式でも良い。
【００２２】
また、１以上の第一の画像の全部または一部分および１以上の第二の画像の全部または一部分は、出力される一画面の画像でも良いし、一画面の一部のブロックの画像でも良いし、一画素でも良いし、時間的に連続する複数画面でも良いし、時間的に連続する複数画面の空間上の一部分（後述する時空間ブロック）でも良いし、時間的に連続する複数画面の連続する一画素の集合などでも良い。つまり、第一の画像および第二の画像の情報量の単位は問わない。なお、時空間ブロックとは、通常、映像を、空間的、または時間的、または空間的かつ時間的に分割した一部分をいう。ただし、時空間ブロックは、画素の集合であれば良い。つまり、時空間ブロックは、矩形の連続領域とは限らない。時空間ブロックは、非矩形かつ不連続な画像の領域でも良い。また、画像を分割されて取得された複数の時空間ブロックは、一部に重複した画素を有するものでも良い。
【００２３】
第二の画像は、第一の画像より、視聴する場合に、脳の負荷をより低減できる画像である。また、第二の画像は、第一の画像より、通常、一の対象を認知する場合の脳の負荷をより低減できる画像である。脳の負荷をより低減できる画像とは、脳が、質感、遠近感、存在感、臨場感、重量感、温もり感、ひんやり感、スピード感、躍動感、動きの滑らかさ、新鮮な感じ、高級感などのうちの１以上の属性を、より感じる画像である。なお、属性は画像によって異なる。なお、質感とは、材質感、光沢感、透明感、ふんわり感、しっとり感など、画像に含まれる対象の質感である。また、遠近感とは、解像感、立体感、奥行き感、空気感などとも言える。
【００２４】
なお、脳の負荷を低減できる画像とは、脳に好適に感じられる画像と言い換えても良い。
【００２５】
また、１以上の第一の画像より脳の負荷を低減できる１以上の第二の画像は、例えば、１以上の第一の画像と異なる環境で取得され得る１以上の画像である。つまり、かかる場合、例えば、１以上の第一の画像と、１以上の第二の画像は、画像を取得する環境が異なる。
【００２６】
第一の画像とは、例えば、一の環境で得られた一の対象についての画像である。また、第二の画像とは、例えば、他環境で得られた前記一の対象についての画像である。また、第一の画像とは、例えば、一の環境で一の対象を撮影した画像である。また、第二の画像とは、例えば、他環境で前記一の対象を撮影した画像である。また、かかる場合、第二の画像と第一の画像は、通常、同一の画素数であるが、異なる画素数でも良い。なお、一の対象を撮影した画像とは、一の対象を撮影したに等しい、作り出した画像でも良い。
【００２７】
また、他環境とは、一の環境とは異なる環境であり、一の環境より目的に合致した画像を撮影できる環境である。また、他環境とは、例えば、一の環境より脳負荷を低減できる画像を撮影できる環境である。他環境とは、例えば、以下の（１）から（９）のような環境である。（１）一の環境より照明（光源）の光量が多い環境、（２）一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、（３）一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、（４）一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、（５）一の環境と照明の色が異なる環境、（６）一の環境と異なる天候の環境、（７）一の環境と異なる温度や湿度の環境、（８）一の環境と異なる被写界深度の環境、（９）一の環境と異なるシャッター速度の環境などである。
【００２８】
つまり、一の環境と他環境とでは、例えば、光量、光源の位置、光源の色、カメラの位置、カメラの設定などの撮影環境が異なる。また、環境とは、通常、撮影環境であるが、画像を取得する環境に関するものであれば何でも良い。
【００２９】
なお、第二の画像は、第一の画像より、単に画素数が多い、という画像は含まない。かかる単に画素数が多い画像は、単純に画素数が多いカメラ（例えば、ＨＤカメラ）で撮影した画像を規範とする画像である一方、本発明における脳に好適に感じられる画像は、脳の判断、脳の感じ方（人の感じ方と言っても良い）を規範とする画像であり、一線を画する。
【００３０】
また、第一の画像に対して、脳負荷が調整された第二の画像は、例えば、第一の画像よりエンターテインメント性が向上する画像も含む。エンターテインメント性が向上する画像は、エンターテインメント性を嗜好するユーザにとって、脳に好適に感じられる画像である。脳に好適に感じられる画像とは、脳における刺激を楽しむことができる画像とも言える。また、エンターテインメント性が向上する複数の画像（映像）は、例えば、一部にフラッシュ画面が挿入されている映像である。
【００３１】
なお、脳負荷が調整された第二の画像が、第一の画像よりエンターテインメント性が向上する画像である場合、かかる第二の画像は、脳への刺激をより楽しむことができるが、脳の負荷がより増加する場合もあり得る。
【００３２】
また、第一の画像より、目的に応じて脳負荷が調整された第二の画像は、例えば、一の対象を撮影して得られた第一の画像に対して、当該第一の画像をデフォルメした画像である。第一の画像をデフォルメした第二の画像は、例えば、第一の画像に映っている人物の似顔絵画像である。似顔絵画像等のデフォルメした画像は、ユーザにとって、対象を認識し易く、対象の認知の際に、脳負荷が低減されるように、脳負荷が調整された画像であると言える。
【００３３】
また、第一の画像より、目的に応じて脳負荷が調整された第二の画像は、例えば、一の対象を撮影して得られた第一の画像に対して、当該一の対象を描写した絵画を撮影した画像である。対象を描写することで、対象の持つ概念がよりわかりやすく表現されることがある。すなわち、対象を直接撮影した画像より、対象を描画した絵画を撮影した画像の方が、脳負荷が低減できるように、脳負荷が調整された画像であると言える。
【００３４】
また、第一の画像より、目的に応じて脳負荷が調整された第二の画像は、例えば、一の対象を撮影して得られた第一の画像に対して、当該第一の画像のＣＧ画像である。対象によって、撮影画像より、ＣＧ画像の方が、脳負荷が低減できるように、脳負荷が調整された画像であると言える。
【００３５】
また、対応情報は、例えば、第一画像関連情報と第二画像関連情報との対である。第一画像関連情報は、１以上の第一の画像の全部または一部分に関する情報である。第二画像関連情報は、１以上の第二の画像の全部または一部分に関する情報である。第一画像関連情報は、例えば、１以上の第一の画像の全部または一部分から抽出される１以上の特徴量である。また、第二画像関連情報は、例えば、１以上の第二の画像の全部または一部分である。また、第二画像関連情報は、例えば、１以上の第二の画像の全部または一部分を生成する演算式である。また、第二画像関連情報は、例えば、１以上の第二の画像の全部または一部分を生成する演算式に与えるパラメータ群の対である。かかる場合、演算式は、マッピング部１０７が保持している。また、画像から抽出される１以上の特徴量には、例えば、１以上の画像の一部の特徴量である近傍特徴量と、１以上の画像全体の特徴量である全体特徴量とがある。近傍特徴量には、例えば、画素値、アクティビティ、時空間相関、動きベクトル、周波数分布などがある。また、アクティビティとは、例えば、複数の画素の最大値および最小値、ダイナミックレンジ（ＤＲ）、複数の画素の間の差分値などである。複数の画素の間の差分値は、空間内の複数画素間の差分値でも良いし、時間方向の複数画素間の差分値でも良いし、空間内および時間方向の複数画素間の差分値でも良い。また、全体特徴量には、例えば、画像全体の画素値分布、画像全体の動きベクトル分布、１または２以上の画像全体の時空間相関、画像全体のノイズ量、画像フォーマット、画像全体の編集に関する情報（ＰｉｎＰであるか否か、ＰｏｕｔＰであるか否か、テロップの有無など）、１以上の画像であるコンテンツに関するコンテンツ情報、パターン検出結果（顔など）などである。ここで、コンテンツ情報とは、例えば、電子番組表（ＥＰＧ）が有する番組のジャンル、タイトル、出演者名等である。なお、１以上の特徴量を、適宜、特徴量ベクトルとも言う。
【００３６】
格納部１０１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。特に、格納部１０１は、不揮発性のＲＡＭであることが好適である。また、格納部１０１にルックアップテーブルが記憶される過程は問わない。例えば、記録媒体を介してルックアップテーブルが格納部１０１で記憶されるようになってもよく、通信回線等を介して送信されたルックアップテーブルが格納部１０１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたルックアップテーブルが格納部１０１で記憶されるようになってもよい。
【００３７】
拘束条件格納部１０２は、拘束条件を格納し得る。拘束条件とは、画像処理装置１におけるいずれかの処理に関する条件である。処理に関する条件とは、例えば、処理対象である画像（入力画像）の全部または一部に対する条件である。また、処理に関する条件とは、例えば、処理に利用されるルックアップテーブルに関する条件である。また、処理に関する条件とは、例えば、出力画像に関する条件である。拘束条件とは、入力画像、対応情報、または出力画像のうちの１種類以上の情報が満たすべき条件であると言える。また、処理対象である画像（入力画像）の全部または一部に対する条件とは、例えば、処理対象の１以上の特徴量（例えば、輝度、画素値など）をパラメータとする条件である。入力画像の全部または一部に対する条件は、例えば、画素値が正常範囲を逸脱していないことである。なお、画素値の正常範囲は予め格納されている。また、ルックアップテーブルに関する条件とは、例えば、ルックアップテーブルが有する対応情報の選択頻度などの選択に関する条件である。ルックアップテーブルに関する条件は、例えば、直前で使用された対応情報と同じ対応情報を使用しないことである。また、ルックアップテーブルに関する条件は、例えば、第一の特定の条件下では連続して同一の対応情報を使用すること、第二の特定条件下では特定の対応情報を固定的に使用すること、第三の特定の条件下では連続して同一の対応情報を使用しないこと、第四の特定の条件下では特定の対応情報を使用しないこと等である。また、例えば、出力画像に関する条件とは、出力画像象の１以上の特徴量（例えば、輝度、画素値など）をパラメータとする条件である。出力画像に関する条件とは、マッピング部１０７が取得した１以上の第二の画像の全部または一部分が満たすべき拘束条件である、と言える。出力画像に関する条件は、例えば、アクティビティが閾値以内であることなどである。また、出力画像に関する条件は、例えば、画素の最大値「画素の値＜＝２５５」、画素の最小値「画素の値＞＝１０」、画素の値の変化Δについての「画素の輝度の時間的な変化＜＝１００」、ダイナミックレンジ「ＤＲ＜＝２００」などである。拘束条件は、画像処理を行うプログラム中に埋め込まれていても良いことは言うまでもない。
【００３８】
また、拘束条件は、入力画像の全部または一部に対する条件、ルックアップテーブルに関する条件、出力画像に関する条件のうち、２種類以上の条件を含んでも良い。かかる拘束条件は、例えば、入力画像の画素値と出力画像の画素値との差が、閾値より大きいことである。なお、閾値は予め格納されている。
【００３９】
拘束条件格納部１０２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。拘束条件格納部１０２に拘束条件が記憶される過程は問わない。例えば、記録媒体を介して拘束条件が拘束条件格納部１０２で記憶されるようになってもよく、通信回線等を介して送信された拘束条件が拘束条件格納部１０２で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された拘束条件が拘束条件格納部１０２で記憶されるようになってもよい。
【００４０】
指示受付部１０３は、指示を受け付ける。指示は、ユーザから受け付けても良いし、外部の記録媒体から読み出しても良いし、外部の装置から受信しても良い。また、指示は、放送装置から送信される放送に埋め込まれていても良い。なお、指示は、ユーザの嗜好等に合致するようにルックアップテーブルを変更する指示である。指示は、例えば、画像の立体感の度合いを含む。また、指示は、例えば、出力されている１以上の各第二画像情報候補集合が有する２以上の第二の画像の候補のうち、１以上の第二の画像の候補を選択する指示である。かかる選択は、ユーザの嗜好に合致する画像を選択する指示である。また、指示は、例えば、年齢や年齢層（３０歳代、６０歳代など）や性別や近視や老視・調節障害の有無などのユーザ属性を含んでも良い。また、指示は、例えば、目的や課題や嗜好である。目的や課題や嗜好には、「画像が見えにくいのでもっとよく見えるようにしたい」、「画像が暗くて見えにくい」「もっと派手な画が見たい」といった例がある。つまり、指示の内容や種類は、種々あり得る。
【００４１】
また、受け付けとは、リモコンやキーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。指示の入力手段は、リモコンやテンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。指示受付部１０３は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【００４２】
画像受付部１０４は、画像を受け付ける。また、画像受付部１０４は、１以上の画像の集合である映像を受け付けても良い。ここで、画像とは、一の静止画でも良いし、２以上の静止画から構成される動画でも良い。画像受付部１０４は、例えば、テレビジョンチューナーや、無線または有線の受信手段等により実現され得る。なお、画像の受け付けとは、記録媒体からの画像の読み出し等でも良い。つまり、画像を受け付ける手段は問わない。
【００４３】
分割部１０５は、画像受付部１０４が受け付けた画像（静止画でも動画でも良い）を、空間的、または時間的、または空間的かつ時間的に２以上に分割し、２以上の第一の時空間ブロックを取得する。なお、上述した通り、画像を分割して取得された複数の時空間ブロックは、重複した領域を含んでも良い。また、上述した通り、画像を分割して取得された複数の時空間ブロックは、矩形の連続領域とは限らない。時空間ブロックは、非矩形かつ不連続な画像の領域でも良い。また、分割部１０５は、例えば、１画面（１フィールドまたは１フレーム）を４つに分割しても良いし、ｎ画面（ｎは２以上の整数）を８つに分割しても良い。なお、分割する数は問わない。また、分割部１０５は、画像から１画素ずつ取得して、画像解析部１０６に渡しても良い。つまり、時空間ブロックは１画素でも良い。
【００４４】
分割部１０５は、通常、ＭＰＵやメモリ等から実現され得る。分割部１０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４５】
画像解析部１０６は、画像受付部１０４が受け付けた１以上の画像の全部または一部分に対応する第一の画像の全部または一部分を決定する。例えば、画像解析部１０６は、分割部１０５が取得した２以上の各第一の時空間ブロックごとに、各第一の時空間ブロックに対応する第一の画像の全部または一部分を決定しても良い。なお、画像解析部１０６は、２以上の第一の画像の全部または一部分を決定しても良い。
【００４６】
また、例えば、画像解析部１０６は、画像受付部１０４が受け付けた画像、または分割部１０５が取得した２以上の各第一の時空間ブロックを解析し、１以上の特徴量を取得し、１以上の特徴量に対応する第一の画像の全部または一部分を決定する。ここで、１以上の特徴量とは、例えば、上述した近傍特徴量、全体特徴量のうちの１以上の特徴量である。なお、画像解析部１０６は、画像受付部１０４が受け付けた１以上の画像の全部または一部分を解析し、１以上の特徴量を取得する処理だけでも良い。なお、画像解析部１０６が取得する特徴量は、全体特徴量と近傍特徴量の両方を含むことが好適である。
【００４７】
また、１以上の特徴量に対応する第一の画像の全部または一部分を決定する処理は、例えば、取得した特徴量ベクトルと、各対応情報が有する第一の画像の全部または一部分の特徴量ベクトルとの距離を算出し、当該距離が最小の第一の画像の全部または一部分の特徴量ベクトルに対応するパラメータ群、または演算式等を取得する処理である。
【００４８】
また、１以上の特徴量に対応する第一の画像の全部または一部分を決定する処理は、例えば、取得した特徴量ベクトルからルックアップテーブルのアドレスを算出する処理である。なお、ルックアップテーブルのアドレスを算出する処理は、予め格納されている演算式に特徴量ベクトルを代入し、演算する処理である。
【００４９】
画像解析部１０６は、通常、ＭＰＵやメモリ等から実現され得る。画像解析部１０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００５０】
マッピング部１０７は、ルックアップテーブル中の１または２以上の対応情報のうちのいずれかの対応情報を用いて、画像受付部１０４が受け付けた１以上の画像の全部または一部分に対応する１以上の第二の画像の全部または一部分を取得する。また、例えば、マッピング部１０７は、画像解析部１０６が決定した第一の画像の全部または一部分に対応する対応情報を用いて（対応情報の一部（例えば、パラメータ群）を用いることも含む）、画像解析部１０６が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を、出力画像の全部または一部分として取得する。マッピング部１０７は、例えば、画像解析部１０６が決定した第一の画像の全部または一部分に対応する対応情報が有する演算式に与えるパラメータ群を取得し、演算を行い、画像解析部１０６が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を生成する。また、マッピング部１０７は、例えば、画像解析部１０６が決定した第一の画像の全部または一部分に対応する対応情報が有する第二の画像の全部または一部分を、対応情報から取得する。
【００５１】
マッピング部１０７は、画像解析部１０６が取得した１以上の特徴量に基づいて、画像受付部１０４が受け付けた１以上の画像に対して、より目的に合致するように脳負荷が調整された画像を出力できる１以上の対応情報を選択する動作、または画像受付部１０４が受け付けた１以上の画像に対して、より目的に合致するように脳負荷が調整された画像を出力できるルックアップテーブルおよび１以上の対応情報を選択する動作のうちの一の動作を行っても良い。そして、次に、マッピング部１０７は、選択した１以上の対応情報を用いて、画像受付部１０４が受け付けた１以上の画像の全部または一部分に対応する１以上の第二の画像の全部または一部分を取得しても良い。
【００５２】
また、マッピング部１０７は、画像解析部１０６が取得した１以上の特徴量に基づいて、画像受付部１０４が受け付けた１以上の画像に対して、より目的に合致するように脳負荷が調整された画像を出力できる２以上の対応情報を選択する動作、または画像受付部１０４が受け付けた１以上の画像に対して、より目的に合致するように脳負荷が調整された画像を出力できるルックアップテーブルおよび２以上の対応情報を選択する動作のうちの一の動作を行い、当該選択した２以上の対応情報を用いて、１以上の第二の画像の全部または一部分を取得しても良い。なお、２以上の対応情報を用いて１以上の第二の画像の全部または一部分を取得する場合、マッピング部１０７は、画像受付部１０４が受け付けた１以上の画像の全部または一部分を、２以上の各対応情報を用いて処理し、当該処理した２以上の結果を融合して、１以上の第二の画像の全部または一部分を取得しても良い。また、２以上の対応情報を用いて１以上の第二の画像の全部または一部分を取得する場合、マッピング部１０７は、２以上の対応情報を用いて、新たな対応情報を生成し、当該新たな対応情報を用いて、１以上の第二の画像の全部または一部分を取得しても良い。なお、上記の２以上の結果の融合とは、例えば、画像の２以上の属性の両方を用いた画像を生成することや、２以上の属性の中間的な性質を持つ画像を生成することなどである。
【００５３】
マッピング部１０７は、２以上の各第一の時空間ブロックごとに、画像解析部１０６が決定した第一の画像の全部または一部分に対応する対応情報を用いて（対応情報の一部を用いることも含む）、画像解析部１０６が決定した第一の画像の全部または一部分に対応する第二の時空間ブロックを取得しても良い。
また、マッピング部１０７は、例えば、画像解析部１０６が決定した第一の画像の全部または一部分に対応する対応情報が有する演算式に与えるパラメータ群を取得し、演算を行い、画像解析部１０６が決定した第一の画像の全部または一部分に対応する第二の時空間ブロックを取得する。また、マッピング部１０７は、例えば、画像解析部１０６が決定した第一の画像の全部または一部分に対応する対応情報が有する第二の画像の全部または一部分（第二の時空間ブロック）を、対応情報から取得する。
【００５４】
また、マッピング部１０７は、第二の画像の全部または一部分を取得した後、補正処理を行っても良い。補正処理は、マッピング部１０７が、画像受付部１０４が受け付けた画像の全部または一部分の特徴量と、対応情報が有する第一の画像の全部または一部分の特徴量とを用いて、第二の画像の全部または一部分を補正する処理である。なお、補正して取得した画像も、第二の画像と言っても良いし、出力画像と言っても良い。補正処理は、例えば、マッピング部１０７が、画像受付部１０４が受け付けた画像の全部または一部分の特徴量と、対応情報が有する第一の画像の全部または一部分の特徴量との差分を取得し、当該差分を用いて、第二の画像の全部または一部分を補正し、出力画像の全部または一部分が、画像受付部１０４が受け付けた画像の全部または一部分に、より合致するように補正する処理である。
【００５５】
マッピング部１０７は、通常、ＭＰＵやメモリ等から実現され得る。マッピング部１０７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００５６】
以下、マッピング部１０７が種類識別子取得手段１０７１、出力画像候補取得手段１０７２、判断手段１０７３、変更手段１０７４、および出力画像取得手段１０７５を具備する場合について説明する。なお、マッピング部１０７は、種類識別子取得手段１０７１、出力画像候補取得手段１０７２、判断手段１０７３、変更手段１０７４、および出力画像取得手段１０７５を具備しない場合もある。
【００５７】
マッピング部１０７を構成する種類識別子取得手段１０７１は、利用するルックアップテーブルの種類を識別する１または２以上の種類識別子を取得する。種類識別子取得手段１０７１は、例えば、種類識別子と、画像の全部または一部分の１以上の特徴量とが対応付けて、格納部１０１に格納されている場合、画像受付部１０４が受け付けた画像の全部または一部分の１以上の特徴量を取得し、当該１以上の特徴量に最も近似する１以上の特徴量を決定し、当該１以上の特徴量に対応する種類識別子を格納部１０１から取得しても良い。また、種類識別子取得手段１０７１は、図示しないＥＰＧ格納部に格納されているＥＰＧ（電子番組表）に含まれる番組（出力中の番組）のジャンルを種類識別子としても良い。さらに、種類識別子取得手段１０７１は、ユーザから受け付けた種類識別子を図示しない記録媒体に格納しており、かかる種類識別子を取得しても良い。また、種類識別子取得手段１０７１は、指示受付部１０３が受け付けた指示に対応する１以上の種類識別子を取得する。例えば、指示受付部１０３が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段１０７１は、ノイズを低減するルックアップテーブルの種類を識別する種類識別子を取得する。また、例えば、指示受付部１０３が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段１０７１は、照明環境を明るくするルックアップテーブルの種類を識別する種類識別子を取得しても良い。また、例えば、指示受付部１０３が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段１０７１は、ノイズを低減するルックアップテーブルの種類識別子と、照明環境を明るくするルックアップテーブルの種類識別子とを取得しても良い。
【００５８】
また、例えば、指示受付部１０３が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段１０７１は、画像中のノイズを検出し、閾値以上のノイズが存在するか否かを検知し、閾値以上のノイズが存在すると判断した場合は、ノイズを低減するルックアップテーブルの種類識別子を取得する。また、例えば、指示受付部１０３が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段１０７１は、画像の輝度値の分布を取得し、画像の輝度分布が予め決められた条件を満たさないほど暗いと判断した場合、照明環境を明るくするルックアップテーブルの種類識別子を取得しても良い
【００５９】
種類識別子取得手段１０７１は、通常、ＭＰＵやメモリ等から実現され得る。種類識別子取得手段１０７１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００６０】
出力画像候補取得手段１０７２は、画像解析部１０６が決定した第一の画像の全部または一部分に対応する対応情報（対応情報の一部でも良い趣旨である）を用いて、画像解析部１０６が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を取得する。ここで取得された第二の画像の全部または一部分は、出力画像の全部または一部分の候補である。また、「第二の画像の全部または一部分を取得する」とは、例えば、対応情報が有する演算式、または対応情報が有する演算式に代入するパラメータの集合を用いて、演算し、第二の画像の全部または一部分を取得することである。かかる場合、対応情報は、第一の画像の全部または一部分に対応する第二の画像の全部または一部分を生成するための演算式、または演算式に代入するパラメータの集合を有している。また、「第二の画像の全部または一部分を取得する」とは、例えば、画像解析部１０６が決定した第一の画像の全部または一部分に対応する対応情報に含まれる第二の画像の全部または一部分を取得することでも良い。
【００６１】
出力画像候補取得手段１０７２は、通常、ＭＰＵやメモリ等から実現され得る。出力画像候補取得手段１０７２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００６２】
判断手段１０７３は、拘束条件を満たすか否かを判断する。拘束条件が処理対象である画像の全部または一部に対する条件である場合、判断手段１０７３は、画像受付部１０４が受け付けた画像の全部または一部の１以上の特徴量を取得し、当該１以上の特徴量が拘束条件を満たすか否かを判断する。また、拘束条件がルックアップテーブルに関する条件である場合、判断手段１０７３は、ルックアップテーブルの過去の利用に関する情報（条件に対応する利用履歴）を取得し、当該利用履歴が拘束条件を満たすか否かを判断する。なお、利用履歴とは、例えば、入力画像のうちの最近のｎフィールド（ｎは１以上の整数）の処理で用いられたルックアップテーブルの種類識別子や、入力画像のうちの最近のｎフィールド（ｎは１以上の整数）の処理で用いられた対応情報を特定する情報である。なお、拘束条件が利用履歴を含む場合、当該利用履歴は、マッピング部１０７が図示しない記録媒体に蓄積して、生成される、とする。さらに、拘束条件が出力画像に関する条件である場合、判断手段１０７３は、例えば、出力画像候補取得手段１０７２が取得した第二の画像の全部または一部分が、拘束条件格納部１０２の拘束条件を満たすか否かを判断する。例えば、判断手段１０７３は、拘束条件に含まれる第二の画像の全部または一部分の属性値（例えば、画素の最大値、画素の輝度の時間的な変化）を取得し、属性値が拘束条件（例えば、「画素の最大値＜＝２５５」、「画素の輝度の時間的な変化＜＝１００」）を満たすか否かを判断する。
【００６３】
判断手段１０７３は、通常、ＭＰＵやメモリ等から実現され得る。判断手段１０７３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００６４】
変更手段１０７４は、判断手段１０７３が拘束条件を満たさないと判断した場合に、第二の画像の全部または一部分を変更する。また、変更手段１０７４は、判断手段１０７３が拘束条件を満たさないと判断した場合に、ルックアップテーブルを変更しても良い。
【００６５】
また、変更手段１０７４は、判断手段１０７３が拘束条件を満たさないと判断した場合に、判断後に受け付けられる入力画像、または判断後に得られた時空間ブロック、または判断後に受け付けられる入力画像の１以上の特徴量、または判断後に得られた時空間ブロックの１以上の特徴量を、拘束条件を満たすように変更しても良い。
【００６６】
また、判断手段１０７３が拘束条件を満たさないと判断した場合には、変更手段１０７４は、例えば、判断手段１０７３の判断対象である第二の画像の全部または一部分を、拘束条件を満たすように変更して、変更画像を取得する。ここで、「拘束条件を満たすように変更する処理」は、例えば、第二の画像の全部または一部分を構成する複数の画素の最大値が拘束条件（例えば、「最大値＜＝２５５」）に合致するように、例えば、複数の画素の最大値が２５５になるように、当該複数の画素の値を全体的に圧縮する処理である。なお、全体的に複数の画素の値を圧縮する処理とは、同一の割合で複数の画素の値を小さくしても良いし、異なる割合や、値の大きさに応じて、複数の画素の値を小さくする等しても良い。
【００６７】
変更手段１０７４は、通常、ＭＰＵやメモリ等から実現され得る。変更手段１０７４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００６８】
出力画像取得手段１０７５は、複数の対応情報のうちの、画像解析部１０６が決定した第一の画像の全部または一部分に対応する対応情報（対応情報の一部でも良い趣旨である）を用いて、画像解析部１０６が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を、出力画像の全部または一部分として取得する。ここで、上記の複数の対応情報とは、格納部１０１の一のルックアップテーブルの複数の対応情報、または、１または２以上の種類識別子に対応する１または２以上のルックアップテーブルが有する複数の対応情報である。
【００６９】
また、出力画像取得手段１０７５は、判断手段１０７３が拘束条件を満たすと判断した第二の画像の全部または一部分、または変更手段１０７４が取得した変更画像、または判断手段１０７３が拘束条件を満たすと判断した第二の画像の全部または一部分および変更手段１０７４が取得した変更画像を、出力画像の全部または一部分として取得することは好適である。
【００７０】
また、出力画像取得手段１０７５は、１または２以上の種類識別子に対応する１または２以上のルックアップテーブルが有する対応情報のうちの、画像解析部１０６が取得した１以上の特徴量に対応する１以上の対応情報を用いて、画像受付部１０４が受け付けた１以上の画像の全部または一部分に対応する１以上の第二の画像の全部または一部分を、出力画像の全部または一部分として取得しても良い。なお、１または２以上の種類識別子は、種類識別子取得手段１０７１が取得した種類識別子である。
【００７１】
なお、出力画像取得手段１０７５は、上述した補正処理を行うことは好適である。
【００７２】
出力画像取得手段１０７５は、通常、ＭＰＵやメモリ等から実現され得る。合成部１０８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００７３】
合成部１０８は、マッピング部１０７が取得した２以上の各第二の時空間ブロックを、２以上の各第二の時空間ブロックに対応する第一の時空間ブロックの時間的、または空間的、または空間的かつ時間的な位置に配置し、出力画像を生成する。
【００７４】
合成部１０８は、通常、ＭＰＵやメモリ等から実現され得る。合成部１０８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００７５】
画像出力部１０９は、出力画像を出力する。画像出力部１０９は、合成部１０８が生成した出力画像を出力しても良い。ここでの出力とは、通常、ディスプレイへの表示、プロジェクターを用いた投影であるが、外部の装置や他のプログラムへの送信などを含む概念である。
【００７６】
画像出力部１０９は、例えば、ディスプレイやプロジェクター等の出力デバイスを含むと考えても含まないと考えても良い。画像出力部１０９は、例えば、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００７７】
ルックアップテーブル更新部１１０は、指示受付部１０３が受け付けた指示に応じて、ルックアップテーブルが有する２以上の対応情報のいずれかを変更する。ルックアップテーブル更新部１１０は、ルックアップテーブルが有するすべての対応情報を更新しても良いし、一部の対応情報を更新しても良い。対応情報が第二の画像の全部または一部分を生成するための演算式、または第二の画像の全部または一部分を生成するためのパラメータ群を含む場合、ルックアップテーブル更新部１１０は、例えば、指示に応じて、演算式に含まれるパラメータ群、または第二の画像の全部または一部分を生成するためのパラメータ群を変更する。例えば、指示は、画像の立体感の度合いを含む場合、ルックアップテーブル更新部１１０は、ユーザから入力された画像の立体感の度合いを用いて、対応情報が有するパラメータ群を変更する。かかる場合の変更方法（変更するための式等）は問わない。例えば、ルックアップテーブル更新部１１０は、画像の立体感の度合いの情報に対応付けて、パラメータ群を図示しない記録媒体に保持しており、指示された画像の立体感の度合いの情報に対応するパラメータ群を図示しない記録媒体から読み出す。また、例えば、ルックアップテーブル更新部１１０は、画像の立体感の度合いをパラメータとするパラメータ群の生成のための演算式を保持しており、かかる演算式に画像の立体感の度合いを代入し、演算を行い、パラメータ群を取得する。
【００７８】
また、指示受付部１０３が１以上の第二の画像の候補を選択する指示を受け付けた場合、例えば、ルックアップテーブル更新部１１０は、１以上の第二の画像の各候補から、１以上の特徴量を取得し、当該１以上の特徴量をパラメータ群として、取得する。また、指示受付部１０３が１以上の第二の画像の候補を選択する指示を受け付けた場合、例えば、ルックアップテーブル更新部１１０は、１以上の第二の画像の各候補から、１以上の特徴量を取得し、当該１以上の特徴量を予め格納している演算式に代入し、演算を行い、パラメータ群を取得する。
【００７９】
ルックアップテーブル更新部１１０は、通常、ＭＰＵやメモリ等から実現され得る。合成部１０８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００８０】
次に、画像処理装置１の動作について、図２のフローチャートを用いて説明する。
【００８１】
（ステップＳ２０１）画像受付部１０４は、１以上の画像を受け付けたか否かを判断する。１以上の画像を受け付ければステップＳ２０２に行き、１以上の画像を受け付けなければステップＳ２１０に行く。なお、ここでの画像は、通常、２以上の静止画から構成される映像である。
【００８２】
（ステップＳ２０２）分割部１０５は、ステップＳ２０１で受け付けられた画像を、空間的、または時間的、または空間的かつ時間的に２以上に分割し、２以上の第一の時空間ブロックを取得する。
【００８３】
（ステップＳ２０３）画像解析部１０６は、カウンタｉに１を代入する。
【００８４】
（ステップＳ２０４）画像解析部１０６は、ステップＳ２０２で取得された第一の時空間ブロックのうち、ｉ番目のブロックが存在するか否かを判断する。ｉ番目のブロックが存在すればステップＳ２０５に行き、ｉ番目のブロックが存在しなければステップＳ２０８に行く。
【００８５】
（ステップＳ２０５）画像解析部１０６は、ｉ番目の第一の時空間ブロックに対して、画像解析処理する。そして、画像解析部１０６は、ｉ番目の第一の時空間ブロックに対応する第一の画像の全部または一部分を決定する。かかる画像解析処理について、図３のフローチャートを用いて説明する。
【００８６】
（ステップＳ２０６）マッピング部１０７は、ステップＳ２０５で決定された第一の画像の全部または一部分に対応する対応情報を用いて、ステップＳ２０５で決定された第一の画像の全部または一部分に対応する第二の画像の全部または一部分を、出力画像の全部または一部分として取得する。かかる処理をマッピング処理という。マッピング処理について、図４のフローチャートを用いて説明する。なお、本ステップで取得された出力画像の全部または一部分は、第二の時空間ブロックである。
【００８７】
（ステップＳ２０７）画像解析部１０６は、カウンタｉを１、インクリメントし、ステップＳ２０４に戻る。
【００８８】
（ステップＳ２０８）合成部１０８は、ステップＳ２０６で取得された２以上の第二の時空間ブロックを合成し、出力画像を生成する。さらに詳細には、ステップＳ２０６で取得された２以上の各第二の時空間ブロックを、２以上の各第二の時空間ブロックに対応する第一の時空間ブロックの時間的、または空間的、または空間的かつ時間的な位置に配置し、出力画像を生成する。
【００８９】
（ステップＳ２０９）画像出力部１０９は、ステップＳ２０８で生成された出力画像を出力する。
【００９０】
（ステップＳ２１０）指示受付部１０３は、ユーザの指示を受け付けたか否かを判断する。ユーザの指示を受け付ければステップＳ２１１に行き、ユーザの指示を受け付けなければステップＳ２０１に戻る。
【００９１】
（ステップＳ２１１）ルックアップテーブル更新部１１０は、ステップＳ２１０で受け付けられた指示に応じて、ルックアップテーブルを更新する。かかる処理をルックアップテーブル更新処理という。ルックアップテーブル更新処理について、図６のフローチャートを用いて説明する。
【００９２】
なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００９３】
また、図２のフローチャートにおいて、複数の画像や画像ストリームを受け付け中に、ステップＳ２１０の指示を受け付け、ルックアップテーブルを更新しても良い。
【００９４】
次に、ステップＳ２０５の画像解析処理について、図３のフローチャートを用いて説明する。
【００９５】
（ステップＳ３０１）画像解析部１０６は、上記のｉ番目の第一の時空間ブロックに対して、画像解析し、１以上の特徴量である特徴量ベクトル（第一特徴量ベクトルという）を取得する。なお、１以上の特徴量は、例えば、上述した近傍特徴量または／および全体特徴量のうちの１以上の特徴量である。また、例えば、１以上の特徴量は、例えば、複数の画素の最大値（ＭＡＸ）および最小値（ＭＩＮ）、ダイナミックレンジ（ＤＲ＝ＭＡＸ−ＭＩＮ）、輝度度数分布、時間方向の差分値などである。また、画像から、かかる１以上の特徴量を取得する技術は公知技術であるので詳細な説明を省略する。なお、特徴量は上述した特徴量に限らないことは言うまでもない。
【００９６】
（ステップＳ３０２）画像解析部１０６は、カウンタｉに１を代入する。
【００９７】
（ステップＳ３０３）画像解析部１０６は、格納部１０１のルックアップテーブルの中に、ｉ番目の対応情報が存在するか否かを判断する。ｉ番目の対応情報が存在すればステップＳ３０４に行き、ｉ番目の対応情報が存在しなければステップＳ３０７に行く。なお、格納部１０１に２以上のルックアップテーブルが存在する場合、本ステップでは、いずれかの一のルックアップテーブルを使用することで良い。また、後述する種類識別子取得処理を行ってから、当該種類識別子取得処理で取得された種類識別子に対応するルックアップテーブルを使用しても良い。
【００９８】
（ステップＳ３０４）画像解析部１０６は、ｉ番目の対応情報が有する特徴量ベクトル（第二特徴量ベクトルという）を取得する。
【００９９】
（ステップＳ３０５）画像解析部１０６は、ステップＳ３０１で取得した第一特徴量ベクトルと、ステップＳ３０４で取得した第二特徴量ベクトルの距離を算出し、当該距離をｉ（ｉ番目の対応情報）に対応付けて、バッファに一時蓄積する。
【０１００】
（ステップＳ３０６）画像解析部１０６は、カウンタｉを１、インクリメントし、ステップＳ３０３に戻る。
【０１０１】
（ステップＳ３０７）画像解析部１０６は、バッファに蓄積されている距離が最も小さい対応情報を取得する。上位処理にリターンする。なお、対応情報を取得する処理は、第一の画像の全部または一部分を決定する処理である。
【０１０２】
なお、図３のフローチャートにおいて、対応情報は、ＩＤ（アドレスでも良い）を保持しており、例えば、１以上の特徴量を予め格納している演算式に代入して、ＩＤ（アドレスでも良い）を取得するようにしても良い。つまり、画像解析処理の方法は問わない。
【０１０３】
次に、ステップＳ２０６のマッピング処理の例について、図４のフローチャートを用いて説明する。
【０１０４】
（ステップＳ４０１）マッピング部１０７を構成する種類識別子取得手段１０７１は、利用するルックアップテーブルの種類を識別する種類識別子を取得する。かかる種類識別子取得処理の例について、図５のフローチャートを用いて説明する。
【０１０５】
（ステップＳ４０２）出力画像候補取得手段１０７２は、ステップＳ４０１で取得された種類識別子に対応するルックアップテーブルの中の対応情報であって、画像解析部１０６が決定した第一の画像の全部または一部分に対応する対応情報中のパラメータ群を取得する。
【０１０６】
（ステップＳ４０３）出力画像候補取得手段１０７２は、ステップＳ４０２で取得したパラメータ群を用いて、画像解析部１０６が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を生成する。さらに具体的には、例えば、出力画像候補取得手段１０７２は、予め格納している演算式に、ステップＳ４０２で取得したパラメータ群を代入し、演算式を実行する。そして、出力画像候補取得手段１０７２は、第二の画像の全部または一部分を取得する。
【０１０７】
（ステップＳ４０４）判断手段１０７３は、拘束条件格納部１０２から、拘束条件を読み出す。
【０１０８】
（ステップＳ４０５）判断手段１０７３は、ステップＳ４０２で取得された第二の画像の全部または一部分が、ステップＳ４０３で読み出した拘束条件を満たすか否かを判断し、判断結果をバッファに代入する。
【０１０９】
（ステップＳ４０６）ステップＳ４０４における判断結果が「拘束条件を満たす（合致）」である場合はステップＳ４０７に行き、「拘束条件を満たさない（合致しない）」である場合は、ステップＳ４０８に行く。
【０１１０】
（ステップＳ４０７）出力画像取得手段１０７５は、出力画像の全部または一部分として、ステップＳ４０２で取得された第二の画像の全部または一部分を得る。上位処理にリターンする。
【０１１１】
（ステップＳ４０８）変更手段１０７４は、ステップＳ４０２で取得された第二の画像の全部または一部分を、拘束条件を満たすように変更して、変更画像を取得する。
【０１１２】
（ステップＳ４０９）出力画像取得手段１０７５は、出力画像の全部または一部分として、ステップＳ４０８で取得された変更画像を得る。上位処理にリターンする。
【０１１３】
なお、図４のフローチャートにおいて、第二の画像の全部または一部分を生成する方法や、第二の画像の全部または一部分を取得する方法は、他の方法でも良い。
【０１１４】
また、図４のフローチャートにおいて、格納部１０１のルックアップテーブルが一つである場合、ステップＳ４０１の処理は不要であることは言うまでもない。
【０１１５】
次に、ステップＳ４０１の種類識別子取得処理の例について、図５のフローチャートを用いて説明する。
【０１１６】
（ステップＳ５０１）種類識別子取得手段１０７１は、上記のｉ番目のブロック（第一画像）の特徴量ベクトルを取得する。
【０１１７】
（ステップＳ５０２）種類識別子取得手段１０７１は、カウンタｉに１を代入する。
【０１１８】
（ステップＳ５０３）種類識別子取得手段１０７１は、格納部１０１に、ｉ番目の種類識別子が存在するか否かを判断する。ｉ番目の種類識別子が存在すればステップＳ５０４に行き、ｉ番目の種類識別子が存在しなければステップＳ５０７に行く。
【０１１９】
（ステップＳ５０４）種類識別子取得手段１０７１は、ｉ番目の種類識別子に対応する特徴量ベクトルを取得する。
【０１２０】
（ステップＳ５０５）種類識別子取得手段１０７１は、ステップＳ５０１で取得した特徴量ベクトルと、ステップＳ５０４で取得した特徴量ベクトルとの距離を算出し、ｉ番目の種類識別子に対応付けて、バッファに一時蓄積する。
【０１２１】
（ステップＳ５０６）種類識別子取得手段１０７１は、カウンタｉを１、インクリメントし、ステップＳ５０３に戻る。
【０１２２】
（ステップＳ５０７）種類識別子取得手段１０７１は、ステップＳ５０５で算出した最も小さい距離に対応する種類識別子を取得する。上位処理にリターンする。
【０１２３】
なお、図５のフローチャートにおいて、種類識別子取得処理は、上述したような他の方法でも良い。つまり、図５のフローチャートにおいて、ブロックの特徴量ベクトル（１以上の近傍特徴量）を用いて種類識別子を決定したが、上述したように、全体特徴量や近傍特徴量を用いて種類識別子を決定しても良いし、電子番組表の情報等を用いて種類識別子を決定しても良いし、ユーザからの指示によって種類識別子を決定しても良い。
【０１２４】
次に、ステップＳ２１１のルックアップテーブル更新処理について、図６のフローチャートを用いて説明する。
【０１２５】
（ステップＳ６０１）ルックアップテーブル更新部１１０は、指示受付部１０３が受け付けた指示を取得する。
【０１２６】
（ステップＳ６０２）ルックアップテーブル更新部１１０は、ステップＳ６０１で取得した指示に含まれる１以上のパラメータを取得する。
【０１２７】
（ステップＳ６０３）ルックアップテーブル更新部１１０は、カウンタｉに１を代入する。
【０１２８】
（ステップＳ６０４）ルックアップテーブル更新部１１０は、格納部１０１のルックアップテーブルに、ｉ番目の対応情報が存在するか否かを判断する。ｉ番目の対応情報が存在すればステップＳ６０５に行き、ｉ番目の対応情報が存在しなければ上位処理にリターンする。
【０１２９】
（ステップＳ６０５）ルックアップテーブル更新部１１０は、ステップＳ６０２で取得した１以上のパラメータを用いて、ｉ番目の対応情報が有するパラメータ群、またはｉ番目の対応情報が有する演算式を変更する。
【０１３０】
（ステップＳ６０６）ルックアップテーブル更新部１１０は、カウンタｉを１、インクリメントし、ステップＳ６０４に戻る。
【０１３１】
なお、図６のフローチャートにおいて、ルックアップテーブルが複数存在する場合は、すべてのルックアップテーブルを更新しても良い。
【０１３２】
次に、拘束条件を用いて、画像等を動的に変更する処理の具体例について説明する。画像処理装置１における拘束条件格納部１０２、マッピング部１０７の判断手段１０７３、および変更手段１０７４により、拘束条件を満たすように処理を行い、目的に応じて、脳負荷が調整された画像を出力できる。
【０１３３】
第一の具体例は、出力画像の画素値がある値を超えた時に、その値に収まるように補正する処理である。かかる場合、拘束条件は「出力画像の１以上の画素値が閾値を超えないこと」である。そして、判断手段１０７３が、かかる拘束条件に合致しないと判断した１以上の画素に対して、変更手段１０７４は、閾値を超えないように補正する。そして、出力画像取得手段１０７５は、判断手段１０７３が拘束条件を満たすと判断した第二の画像の全部または一部分、または変更手段１０７４が取得した変更画像、または判断手段１０７３が拘束条件を満たすと判断した第二の画像の全部または一部分と変更手段１０７４が取得した変更画像を用いて、出力画像を取得する。
【０１３４】
第二の具体例は、入力画像の画素値が正常範囲を逸脱している場合に、入力画像の当該画素を、周辺画素を利用して穴埋め補正する処理である。かかる場合、拘束条件は「入力画像の画素値が正常範囲を逸脱してない」ことである。そして、判断手段１０７３が、かかる拘束条件に合致しないと判断した１以上の画素に対して、変更手段１０７４は、当該画素の予め決められた範囲の周辺画素の１以上の画素値を取得し、当該１以上の画素値を用いて、異常な画素の画素値を決定する。そして、出力画像取得手段１０７５は、変更手段１０７４が取得した１以上の特徴量、または画像受付部１０４が受け付けた画像の一部の１以上の特徴量を用いて、１以上の第二の画像の一部分を取得する。
【０１３５】
第三の具体例は、対応情報を用いて出力画像を取得する場合に、直前で、ルックアップテーブルの一の対応情報が使われた場合、次は、他の対応情報を使うようにする処理である。かかる場合、拘束条件は「連続して同一の対応情報を使用しない」ことである。そして、判断手段１０７３が、画像解析部１０６が決定した第一の画像の全部または一部分に対応する対応情報が、直前に使用されたか否かを判断する。なお、かかる場合、直前に利用された対応情報を特定する情報が少なくとも一時蓄積される。そして、画像解析部１０６が決定した第一の画像の全部または一部分に対応する対応情報は直前に使用された対応情報と同一である、と判断手段１０７３が判断した場合、変更手段１０７４は、２番目に近い対応情報を取得する。つまり、変更手段１０７４は、画像解析部１０６に当該決定した第一の画像の全部または一部分を除いて、再度、第一の画像の全部または一部分を決定する指示を画像解析部１０６に出し、画像解析部１０６は、再度、第一の画像の全部または一部分を決定する。かかる第一の画像の全部または一部分に対応する対応情報は、処理対象の入力画像や時空間ブロック等に対して、２番目に近い第一の画像の全部または一部分に対応する対応情報である。そして、出力画像取得手段１０７５は、変更手段１０７４が取得した対応情報を用いて、１以上の第二の画像の一部分を取得する。
【０１３６】
第四の具体例は、拘束条件に含まれるパラメータと変更先が異なる例である。第四の具体例は、例えば、出力画像の画素値が閾値を超えた時には、特定の対応情報を使って処理し直す場合である。つまり、拘束条件は「出力画像の１以上の画素値が閾値を超えないこと」である。そして、判断手段１０７３が、かかる拘束条件に合致しないと判断した１以上の画素に対して、変更手段１０７４は、予め決められた対応情報を読み出す。そして、当該対応情報を用いて、出力画像取得手段１０７５は、再度、出力画像を構成する。
【０１３７】
第五の具体例は、複数個所のパラメータを判定に使う例である。第五の具体例は、例えば、拘束条件は「入力画像の画素値と出力画像の画素値との差が閾値以内であること」である。そして、判断手段１０７３が、かかる拘束条件に合致しないと判断した１以上の画素に対して、変更手段１０７４は、出力画像の当該画素の画素値を補正して、入力画像の画素の画素値との差を閾値以内にする。そして、出力画像取得手段１０７５は、かかる画素値の画素を有する出力画像を取得する。
【０１３８】
以上、本実施の形態によれば、目的に応じて脳負荷が調整された画像を出力する画像処理装置を提供できる。例えば、本実施の形態によれば、脳負荷をより低減できる画像を出力する画像処理装置や、より脳に刺激を与え、エンターテインメント性が増加する画像を出力する画像処理装置等を提供できる。
【０１３９】
また、本実施の形態における画像処理装置が脳負荷をより低減できる画像を出力する場合、当該画像処理装置は、人間の脳にとって、好適な画像として認知できるような画像を出力できる。
【０１４０】
さらに具体的には、本実施の形態によれば、光量、光源の位置、光源の色、カメラの位置など、異なった環境で撮影した画像を出力できることにより、人間の脳にとって、好適な画像として認知できるような画像を出力できる。さらに具体的には、本実施の形態によれば、脳が、質感、遠近感、存在感、臨場感、重量感、温もり感、ひんやり感、スピード感、躍動感、動きの滑らかさ、新鮮な感じ、高級感などをより感じる画像を出力できる。
【０１４１】
また、本実施の形態によれば、複数のルックアップテーブルのうちの適切なルックアップテーブルを使用することにより、目的に応じて脳負荷が調整された画像を出力できる。
【０１４２】
また、本実施の形態によれば、拘束条件を満たすように、出力画像を変更することにより、目的に応じて、さらに好適に脳負荷が調整された画像を出力できる。
【０１４３】
また、本実施の形態によれば、ルックアップテーブルをカスタマイズ可能とすることにより、ユーザの嗜好等に応じて、さらに好適に脳負荷が調整された画像を出力できる。
【０１４４】
なお、本実施の形態における画像処理装置１はテレビ受信機でも良い。かかる場合、画像受付部１０４が受け付ける画像は、テレビ映像を構成する画像である。
【０１４５】
また、本実施の形態における画像処理装置１を用いれば、受け付けた動画を用いて、目的に応じて、リアルタイムに脳負荷が調整された動画を生成し、出力する装置を実現できる。
【０１４６】
また、本実施の形態において、ルックアップテーブルが一つの対応情報のみを有する場合、画像処理装置１は、画像解析部１０６を有さなくても良い。かかる場合、画像処理装置１は、図７のような構成となる。そして、かかる場合、マッピング部１０７は、格納部１０１の一の対応情報を用いて、画像受付部１０４が受け付けた１以上の画像の全部または一部分に対応する１以上の第二の画像の全部または一部分を取得する。なお、かかる場合も、画像解析部１０６が存在し、画像解析部１０６が受け付けられた１以上の画像の全部または一部分から１以上の特徴量を取得し、マッピング部１０７が当該特徴量を用いて、上述した補正処理を行っても良い。
【０１４７】
また、本実施の形態の画像処理装置１において、指示受付部１０３やルックアップテーブル更新部１１０等の一部の構成要素を具備しなくても良いことは言うまでもない。
【０１４８】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、１以上の第一の画像の全部または一部分と、前記第一の画像に対して、脳負荷が調整された画像であり、前記第一の画像と同一の対象についての画像である第二の画像の全部または一部分との対応を取るための情報である１または２以上の対応情報を有するルックアップテーブルを格納しており、コンピュータを、１以上の画像を受け付ける画像受付部と、前記１または２以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた１以上の画像の全部または一部分に対応する１以上の第二の画像の全部または一部分を取得するマッピング部と、前記マッピング部が取得した１以上の第二の画像の全部、または前記マッピング部が取得した１以上の第二の画像の一部分の集合である１以上の出力画像を出力する画像出力部として機能させるためのプログラム、である。
【０１４９】
また、上記プログラムにおいて、前記ルックアップテーブルは、２以上の対応情報を有し、コンピュータを、前記画像受付部が受け付けた１以上の画像の全部または一部分に対応する第一の画像の全部または一部分を決定する画像解析部としてさらに機能させ、前記マッピング部は、前記画像解析部が決定した第一の画像の全部または一部分に対応する対応情報を用いて、前記画像解析部が決定した第一の画像の全部または一部分に対応する第二の画像を取得するものとして、コンピュータを機能させるためのプログラム、であることは好適である。
【０１５０】
また、上記プログラムにおいて、前記第一の画像の全部または一部分は、入力される映像のうちの一部である第一の時空間ブロックであり、前記第二の画像の全部または一部分は、画面に出力される映像のうちの一部である第二の時空間ブロックであり、前記画像受付部は、１以上の画像の集合である映像を受け付け、コンピュータを、前記画像受付部が受け付けた映像を、空間的、または時間的、または空間的かつ時間的に２以上に分割し、２以上の第一の時空間ブロックを取得する分割部としてさらに機能させ、前記画像解析部は、前記分割部が取得した２以上の各第一の時空間ブロックごとに、当該各第一の時空間ブロックに対応する第一の画像の全部または一部分を決定し、前記マッピング部は、前記２以上の各第一の時空間ブロックごとに、前記画像解析部が決定した第一の画像の全部または一部分に対応する対応情報を用いて、前記画像解析部が決定した第一の画像の全部または一部分に対応する第二の時空間ブロックを取得し、前記マッピング部が取得した２以上の各第二の時空間ブロックを、当該２以上の各第二の時空間ブロックに対応する第一の時空間ブロックの時間的、または空間的、または空間的かつ時間的な位置に配置し、出力画像を生成する合成部としてさらに機能させることは好適である。
【０１５１】
また、上記プログラムにおいて、前記画像解析部は、前記画像受付部が受け付けた１以上の画像、または前記分割部が取得した２以上の各第一の時空間ブロックを解析し、１以上の特徴量を取得し、当該１以上の特徴量に対応する第一の画像の全部または一部分を決定するものとして、コンピュータを機能させるためのプログラム、であることは好適である。
【０１５２】
また、上記プログラムにおいて、前記記憶媒体には、ルックアップテーブルの種類を識別する種類識別子と当該種類識別子に対応するルックアップテーブルとの組を２組以上格納しており、前記マッピング部は、利用するルックアップテーブルの種類を識別する１以上の種類識別子を取得する種類識別子取得手段と、前記１以上の種類識別子に対応する１以上のルックアップテーブルが有する対応情報のうちの、前記画像解析部が決定した第一の画像の全部または一部分に対応する対応情報を用いて、前記画像解析部が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を、出力画像の全部または一部分として取得する出力画像取得手段とを具備するものとして、コンピュータを機能させることは好適である。
【０１５３】
また、上記プログラムにおいて、コンピュータを、ユーザの指示を受け付ける指示受付部と、前記指示に応じて、前記ルックアップテーブルが有する２以上の対応情報のいずれかを変更するルックアップテーブル更新部としてさらに機能させることは好適である。
【０１５４】
また、本実施の形態における画像処理装置を実現するソフトウェアは、記憶媒体に、１以上の第一の画像の全部または一部と、当該第一の画像とは異なる第二の画像の全部または一部との対応を取るための情報である１または２以上の対応情報を有するルックアップテーブルと、入力画像、対応情報、または出力画像のうちの１種類以上の情報が満たすべき条件である拘束条件とを格納しており、コンピュータを、１以上の画像を受け付ける画像受付部と、１または２以上の対応情報のうちのいずれかの対応情報を用いて、画像受付部が受け付けた１以上の画像の全部または一部分に対応する１以上の第二の画像の全部または一部分を、前記拘束条件に合致するように取得するマッピング部と、前記マッピング部が取得した１以上の第二の画像の全部または一部分から構成される出力画像を出力する画像出力部として機能させるプログラムである。
【０１５５】
（実施の形態２）
本実施の形態において、実施の形態１と比較して、画像処理装置２は、分割部１０５、および合成部１０８を具備しない。
【０１５６】
図８は、本実施の形態における画像処理装置２のブロック図である。
【０１５７】
画像処理装置２は、格納部１０１、拘束条件格納部１０２、指示受付部１０３、画像受付部１０４、画像解析部１０６、マッピング部１０７、画像出力部１０９、およびルックアップテーブル更新部１１０を具備する。
【０１５８】
次に、画像処理装置２の動作について、図９のフローチャートを用いて説明する。図９のフローチャートは、図２のフローチャートの一部分である。ただし、ステップＳ２０５の画像解析処理は、ステップＳ２０１で受け付けられた画像全体に対して行われる。また、ステップＳ２０６のマッピング処理も、ステップＳ２０１で受け付けられた画像全体に対して行われる。
【０１５９】
さらに、図９のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【０１６０】
また、図９のフローチャートにおいて、複数の画像や画像ストリームを受け付け中に、ステップＳ２１０の指示を受け付け、ルックアップテーブルを更新しても良い。
【０１６１】
以上、本実施の形態によれば、目的に応じて脳負荷が調整された画像を出力する画像処理装置を提供できる。例えば、本実施の形態によれば、脳負荷をより低減できる画像を出力する画像処理装置や、より脳に刺激を与え、エンターテインメント性が増加する画像を出力する画像処理装置等を提供できる。
【０１６２】
また、本実施の形態における画像処理装置が脳負荷をより低減できる画像を出力する場合、当該画像処理装置は、人間の脳にとって、好適な画像として認知できるような画像を出力する画像処理装置を提供できる。
【０１６３】
さらに具体的には、本実施の形態によれば、光量、光源の位置、光源の色、カメラの位置など、画像を取得する環境を、より良くした画像を出力できることにより、人間の脳にとって、好適な画像として認知できるような画像を出力できる。さらに具体的には、本実施の形態によれば、脳が、質感、遠近感、存在感、臨場感、重量感、温もり感、ひんやり感、スピード感、躍動感、動きの滑らかさ、新鮮な感じ、高級感などをより感じる画像を出力できる。
【０１６４】
なお、本実施の形態における画像処理装置２を組み込んだテレビ受信機は、構成可能である。かかる場合、画像受付部１０４が受け付ける画像は、テレビ映像を構成する画像である。
【０１６５】
また、本実施の形態において、ルックアップテーブルが一つの対応情報のみを有する場合、画像処理装置２は、画像解析部１０６を有さなくても良い。かかる場合、画像処理装置１は、図１０のような構成となる。そして、かかる場合、マッピング部１０７は、格納部１０１の一の対応情報を用いて、画像受付部１０４が受け付けた１以上の画像の全部または一部分に対応する１以上の第二の画像の全部または一部分を取得する。なお、かかる場合も、画像解析部１０６が存在し、画像解析部１０６が受け付けられた１以上の画像の全部または一部分から１以上の特徴量を取得し、マッピング部１０７が当該特徴量を用いて、上述した補正処理を行っても良い。
【０１６６】
また、本実施の形態の画像処理装置２において、指示受付部１０３やルックアップテーブル更新部１１０等の一部の構成要素を具備しなくても良いことは言うまでもない。
【０１６７】
さらに、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、１以上の第一の画像の全部または一部分と、前記第一の画像に対して、脳負荷が調整された画像であり、前記第一の画像と同一の対象についての画像である第二の画像の全部または一部分との対応を取るための情報である１または２以上の対応情報を有するルックアップテーブルを格納しており、コンピュータを、１以上の画像を受け付ける画像受付部と、前記１または２以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた１以上の画像の全部または一部分に対応する１以上の第二の画像の全部または一部分を取得するマッピング部と、前記マッピング部が取得した１以上の第二の画像の全部、または前記マッピング部が取得した１以上の第二の画像の一部分の集合である１以上の出力画像を出力する画像出力部として機能させるためのプログラム、である。
【０１６８】
（実施の形態３）
本実施の形態において、ルックアップテーブルを生成するルックアップテーブル取得装置３について説明する。ルックアップテーブル取得装置３は、本明細書で言う第一の画像の全部または一部分を、第二の画像の全部または一部分に変換するために用いられるルックアップテーブルを学習するための装置である。
【０１６９】
図１１は、本実施の形態におけるルックアップテーブル取得装置３のブロック図である。
【０１７０】
ルックアップテーブル取得装置３は、格納部１０１、第一画像格納部３１、第二画像格納部３２、第二画像情報候補集合格納部３３、指示受付部１０３、候補出力部３４、第二画像蓄積部３５、第一画像関連情報取得部３６、第二画像関連情報取得部３７、ルックアップテーブル構成部３８、およびルックアップテーブル蓄積部３９を具備する。
【０１７１】
指示受付部１０３は、ユーザの指示を受け付ける。ここでの指示は、第二画像情報候補集合格納部３３に格納されている第二画像情報候補集合を出力する指示、１以上の第二の画像情報の候補を選択する指示等である。なお、ユーザとは、ルックアップテーブル取得装置３を提供する企業の担当者でも良いし、上述した画像処理装置やテレビ受信機のユーザ（視聴者）などでも良い。また、第二画像情報候補集合、および第二の画像情報については後述する。
【０１７２】
第一画像格納部３１は、１以上の第一の画像を格納し得る。第一の画像は、画像処理装置により受け付けられる画像を想定した画像である。第一の画像は、例えば、第二の画像より、上述した意味において、脳負荷がかかる画像である。また、第一の画像は、例えば、エンターテインメント性の向上が図られていない画像である。
【０１７３】
第一画像格納部３１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。第一画像格納部３１に第一の画像が記憶される過程は問わない。第一画像格納部３１の第一画像は、例えば、第二画像格納部３２の第二画像から生成されても良い。つまり、例えば、図示しない手段が、第二画像の輝度を下げたり、カメラ位置を自動的に変更するシミュレーションを行なう等して、第二画像の性質を変えて、第一画像を生成しても良い。
【０１７４】
第二画像格納部３２は、１以上の第二の画像を格納し得る。第二の画像は、第一の画像に対して、目的に応じて、脳負荷が調整された画像である。例えば、第二の画像は、第一の画像より、脳負荷が低減できる画像である。また、例えば、第二の画像は、第一の画像より、エンターテインメント性が増加された画像である。さらに、例えば、第二の画像は、他環境で一の対象を撮影して、取得される画像である。
【０１７５】
第二の画像と第一の画像は、同一の対象についての画像である。第二の画像と第一の画像は、通常、同一の画素数であるが、異なる画素数でも良い。
【０１７６】
第二画像格納部３２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。第二画像格納部３２に第二の画像が記憶される過程は問わない。第二画像格納部３２の第二画像は、例えば、第一画像格納部３１の第一画像から生成されても良い。つまり、例えば、図示しない手段が、第一画像の輝度を上げたり、カメラ位置を自動的に変更するシミュレーションを行なう等して、第一画像の性質を変えて、第二画像を生成しても良い。
【０１７７】
第二画像情報候補集合格納部３３は、１以上の各第一の画像に対応付けて、１以上の第二画像情報候補集合を格納し得る。第二画像情報候補集合は、２以上の第二の画像情報の候補の集合である。第二の画像情報とは、第二の画像に関する情報である。また、第二の画像情報は、第二の画像でも良いし、第二の画像の１以上の属性等でも良い。画像の属性は、例えば、撮影パラメータや１以上の特徴量である。また、２以上の各第二の画像情報の候補は、対応付けられている第一の画像と同一の対象についての第二の画像の画像情報である。第二画像情報候補集合格納部３３は、物理的に、第一画像格納部３１を含んでいても良い。また、「第一の画像に対応付けてられている」とは、第一の画像に直接的に対応付けられていても良いし、第一の画像に間接的に対応付けられていても良い。間接的な対応付けは、例えば、第一の画像情報に対応付けられていることである。第一の画像情報は、第一の画像に関する情報であり、第一の画像そのもの、または第一の画像の属性などである。
【０１７８】
第二画像情報候補集合格納部３３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。第二画像情報候補集合格納部３３に第二画像情報候補集合が記憶される過程は問わない。
【０１７９】
候補出力部３４は、第二画像情報候補集合格納部３３に格納されている１以上の第二画像情報候補集合を出力する。指示受付部１０３が第二画像情報候補集合を出力する指示を受け付けた場合に、候補出力部３４は、第二画像情報候補集合格納部３３に格納されている１以上の第二画像情報候補集合を出力しても良い。ここでの出力とは、通常、ディスプレイへの表示、プロジェクターを用いた投影であるが、外部の装置や他のプログラムへの送信などを含む概念である。
【０１８０】
第二画像蓄積部３５は、指示受付部１０３が受け付けた指示に対応する１以上の各第二の画像情報の候補に対応する１以上の第二の画像を、第二画像情報候補集合に対応する第一の画像に対応付けて、第二画像格納部３２に蓄積する。例えば、第二の画像情報が第二の画像である場合、第二画像蓄積部３５は、指示受付部１０３が受け付けた指示に対応する１以上の第二の画像を、第一の画像に対応付けて、第二画像格納部３２に蓄積する。また、例えば、第二の画像情報が画像の属性である場合、第二画像蓄積部３５は、当該画像の属性を用いて、第二の画像を構成し、第一の画像に対応付けて、第二画像格納部３２に蓄積する。第二画像蓄積部３５は、通常、ＭＰＵやメモリ等から実現され得る。第二画像蓄積部３５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１８１】
第一画像関連情報取得部３６は、第一画像格納部３１の１以上の第一の画像から１以上の第一画像関連情報を取得する。第一画像関連情報は、第一の画像の全部または一部分に関する情報である。第一画像関連情報は、例えば、第一の画像の全部または一部分から抽出される１以上の特徴量である。なお、１以上の特徴量には、１以上の第一の画像の一部の特徴量である近傍特徴量と、１以上の第一の画像全体の特徴量である全体特徴量とがある。近傍特徴量と全体特徴量の例は、上述したので、説明を省略する。また、第一画像関連情報は、上述した１以上の特徴量を縮退した情報でも良い。かかる縮退した情報も、特徴量である。
【０１８２】
第一画像関連情報取得部３６は、通常、ＭＰＵやメモリ等から実現され得る。第一画像関連情報取得部３６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１８３】
第二画像関連情報取得部３７は、第二画像格納部３２の１以上の第二の画像から１以上の第二画像関連情報を取得する。第二画像関連情報は、第二の画像の全部または一部分に関する情報である。第二画像関連情報は、第二の画像の全部または一部分を生成するための情報であり、例えば、第二の画像の全部または一部分を生成するための演算式に与えるパラメータ群や、第二の画像の全部または一部分を生成するための演算式である。第二画像関連情報は、例えば、第二の画像の全部または一部分そのものでも良い。第二画像関連情報は、例えば、第二の画像の全部または一部分そのものである場合、第二画像関連情報取得部３７は、第二の画像を時空間ブロックに分割する処理を行う。
【０１８４】
第二画像関連情報取得部３７は、通常、ＭＰＵやメモリ等から実現され得る。第二画像関連情報取得部３７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１８５】
ルックアップテーブル構成部３８は、１または２以上の対応情報を有するルックアップテーブルを構成する。対応情報は、上述したように、１以上の第一の画像の全部または一部分と、１以上の第二の画像の全部または一部分との対応を取るための情報である。また、例えば、対応情報は、第一画像関連情報と第二画像関連情報とを対応付ける情報である。また、対応情報は、例えば、第一画像関連情報と第二画像関連情報とを有する情報である。なお、対応情報の内容や構造は問わない。また、ここで、第一画像関連情報に対応する第二画像関連情報について、第一画像関連情報の元になる第一の画像の全部または一部分と、第二画像関連情報の元になる第二の画像の全部または一部分とが、映像を構成するフレーム画像上の空間的な位置が対応する場合、映像上の時間的な位置が対応する場合、映像上の空間的および時間的な位置が対応する場合がある。
【０１８６】
ルックアップテーブル構成部３８は、通常、ＭＰＵやメモリ等から実現され得る。第二画像関連情報取得部３７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１８７】
ルックアップテーブル蓄積部３９は、ルックアップテーブル構成部３８が構成したルックアップテーブルを、格納部１０１に蓄積する。なお、ここでの蓄積とは、メモリへの書き込みなども含む。
【０１８８】
ルックアップテーブル蓄積部３９は、通常、ＭＰＵやメモリ等から実現され得る。第二画像関連情報取得部３７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１８９】
次に、ルックアップテーブル取得装置３において、ユーザが、自身にとって好適な第二の画像を選択する動作について、図１２のフローチャートを用いて説明する。
【０１９０】
（ステップＳ１２０１）指示受付部１０３は、第二画像情報候補集合を出力する指示を受け付けたか否かを判断する。かかる指示を受け付ければステップＳ１２０２に行き、かかる指示を受け付けなければステップＳ１２０１に戻る。
【０１９１】
（ステップＳ１２０２）候補出力部３４は、カウンタｉに１を代入する。
【０１９２】
（ステップＳ１２０３）候補出力部３４は、第二画像情報候補集合格納部３３に、ｉ番目の第二画像情報候補集合が存在するか否かを判断する。ｉ番目の第二画像情報候補集合が存在すればステップＳ１２０４に行き、ｉ番目の第二画像情報候補集合が存在しなければ処理を終了する。
【０１９３】
（ステップＳ１２０４）候補出力部３４は、ｉ番目の第二画像情報候補集合を第二画像情報候補集合格納部３３から読み出し、出力する。
【０１９４】
（ステップＳ１２０５）指示受付部１０３は、第二画像情報候補集合が有する２以上の第二の画像情報の候補から、１または２以上の第二の画像情報に対する選択指示を受け付けたか否かを判断する。かかる選択指示を受け付けた場合はステップＳ１２０６に行き、かかる選択指示を受け付けなかった場合はステップＳ１２０５に戻る。
【０１９５】
（ステップＳ１２０６）第二画像蓄積部３５は、ステップＳ１２０５で受け付けられた指示に対応する１以上の第二の画像情報の候補を取得する。
【０１９６】
（ステップＳ１２０７）第二画像蓄積部３５は、ステップＳ１２０６で取得した第二の画像情報を用いて、第二の画像を取得し、第一の画像に対応付けて、第二画像格納部３２に蓄積する。この第一の画像は、ｉ番目の第二画像情報候補集合に対応付けられている第一の画像である。
【０１９７】
（ステップＳ１２０８）候補出力部３４は、カウンタｉを１、インクリメントする。ステップＳ１２０３に戻る。
【０１９８】
次に、ルックアップテーブル取得装置３が、ルックアップテーブルを構成し、蓄積する動作について、図１３のフローチャートを用いて説明する。なお、第一画像格納部３１に格納されている各第一の画像に対応する第二の画像が第二画像格納部３２に格納されている、とする。
【０１９９】
（ステップＳ１３０１）第一画像関連情報取得部３６は、カウンタｉに１を代入する。
【０２００】
（ステップＳ１３０２）第一画像関連情報取得部３６は、ｉ番目の第一の画像が、第一画像格納部３１に格納されているか否かを判断する。ｉ番目の第一の画像が格納されていればステップＳ１３０３に行き、格納されていなければ処理を終了する。
【０２０１】
（ステップＳ１３０３）第一画像関連情報取得部３６は、ｉ番目の第一の画像を、第一画像格納部３１から読み出す。
【０２０２】
（ステップＳ１３０４）第一画像関連情報取得部３６は、ステップＳ１３０３で読み出したｉ番目の第一の画像をブロックに分割する。そして、第一画像関連情報取得部３６は、ｎ個の第一の時空間ブロックを得る。
【０２０３】
（ステップＳ１３０５）第二画像関連情報取得部３７は、ｉ番目の第二の画像を、第二画像格納部３２から読み出す。
【０２０４】
（ステップＳ１３０６）第二画像関連情報取得部３７は、ステップＳ１３０５で読み出したｉ番目の第二の画像をブロックに分割する。そして、第二画像関連情報取得部３７は、ｎ個の第二の時空間ブロックを得る。
【０２０５】
（ステップＳ１３０７）ルックアップテーブル構成部３８は、カウンタｊに１を代入する。
【０２０６】
（ステップＳ１３０８）ルックアップテーブル構成部３８は、ステップＳ１３０４で取得された時空間ブロックの中で、ｊ番目のブロックが存在するか否かを判断する。ｊ番目のブロックが存在すればステップＳ１３０９に行き、ｊ番目のブロックが存在しなければステップＳ１３１４に行く。
【０２０７】
（ステップＳ１３０９）第一画像関連情報取得部３６は、ｉ番目の第一の画像のｊ番目のブロックから、第一画像関連情報を取得する。
【０２０８】
（ステップＳ１３１０）第二画像関連情報取得部３７は、ｉ番目の第二の画像のｊ番目のブロックから、第二画像関連情報を取得する。
【０２０９】
（ステップＳ１３１１）ルックアップテーブル構成部３８は、ステップＳ１３０９で取得された第一画像関連情報と、ステップＳ１３１０で取得された第二画像関連情報とを有する対応情報を構成する。
【０２１０】
（ステップＳ１３１２）ルックアップテーブル蓄積部３９は、ステップＳ１３１１で構成された対応情報を格納部１０１に蓄積する。
【０２１１】
（ステップＳ１３１３）ルックアップテーブル構成部３８は、カウンタｊを１、インクリメントする。ステップＳ１３０８に戻る。
【０２１２】
（ステップＳ１３１４）第一画像関連情報取得部３６は、カウンタｉを１、インクリメントする。ステップＳ１３０２に戻る。
【０２１３】
以下、本実施の形態におけるルックアップテーブル取得装置３の具体的な動作について説明する。
【０２１４】
まず、ルックアップテーブル取得装置３において、ユーザからの第二の画像の選択指示を受け付け、第二の画像を蓄積する動作の例について説明する。
【０２１５】
今、図１４に示すような複数の第二画像情報候補集合が、第二画像情報候補集合格納部３３に格納されている。なお、ここでは、第二画像情報候補集合において、候補１の画像は、第一の画像である、とする。また、第二画像情報候補集合において、候補１から候補４が第二の画像の候補である。つまり、ここでは、第二の画像情報は、第二の画像そのものである。
【０２１６】
そして、ユーザは、ルックアップテーブル取得装置３に、第二画像情報候補集合を出力する指示を入力した。そして、指示受付部１０３は、第二画像情報候補集合を出力する指示を受け付ける。
【０２１７】
次に、候補出力部３４は、１番目の第二画像情報候補集合（図１４の「ＩＤ＝１」のレコードの画像の集合）を読み出し、出力する。かかる第二画像情報候補集合の出力例が図１５である。
【０２１８】
次に、ユーザは、自分の嗜好に合致する画像を選択する指示（例えば、「４」）を入力する。そして、指示受付部１０３は、指示（例えば、「４」）を受け付ける。
【０２１９】
次に、第二画像蓄積部３５は、指示に対応する４番目の画像を取得し、第二画像格納部３２に蓄積する。
【０２２０】
以上の処理を他の第二画像情報候補集合に対しても行い、ユーザが好む第二の画像が第二画像格納部３２に蓄積される。
【０２２１】
次に、ルックアップテーブル取得装置３が、ルックアップテーブルを構成し、蓄積する具体的な動作について説明する。ここでは、７つの具体例を用いて説明する。
【０２２２】
（具体例１）
具体例１は、光量が異なる光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
【０２２３】
まず、一の被写体に光量Ａの光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部３１に蓄積する。また、前記一の被写体に光量Ｂ（光量Ｂ＞光量Ａ）の光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部３２に蓄積する。かかる場合、第二の画像の方が、第一の画像より脳負荷を低減できる画像である。また、人が視て、第二の画像の方が、第一の画像より高品位である、と感じるものであることは好適である。高品位に感じる画像とは、被写体の質感、遠近感、空気感、温もり感、透明感、新鮮な感じ、または高級感等が表出している画像である。
【０２２４】
また、光源の光量を変えて撮影する被写体は、自然、人間、動物、静物等、多数の種類のものとすることは好適である。また、被写体により、光源の光量の変更度合いが異なっても良いことは言うまでもない。
【０２２５】
以上により、第一画像格納部３１と第二画像格納部３２とが構築された。
【０２２６】
次に、第一画像関連情報取得部３６は、第一画像格納部３１から順次、第一の画像を読み出す。そして、第一画像関連情報取得部３６は、第一の画像をブロックに分割し、ｎ個の第一の時空間ブロックを得る。なお、複数の第一の時空間ブロックは、重複する領域が存在しても良い。つまり、第一画像関連情報取得部３６が行う分割処理は、分割部１０５が行う分割処理と同様の処理である。
【０２２７】
また、第二画像関連情報取得部３７も、第二画像格納部３２から、第一の画像に対応する第二の画像を読み出す。そして、第二画像関連情報取得部３７は、第二の画像をブロックに分割し、ｎ個の第二の時空間ブロックを得る。
【０２２８】
次に、第一画像関連情報取得部３６は、第一の画像の各ブロックから、複数の画素の最大値および最小値、ダイナミックレンジ、輝度度数分布、時間方向の差分値（例えば、直前のフィールドの対応する画素との差分値）などを取得する。かかる情報は特徴量ベクトルであり、第一画像関連情報である。第一画像関連情報は、ブロックごとに取得される。
【０２２９】
次に、第二画像関連情報取得部３７は、第二の画像の各ブロックから、ブロックを生成するための１以上のパラメータを取得する。具体的には、第二画像関連情報取得部３７は、例えば、第二の画像の各ブロックの特徴ベクトルを取得し、当該特徴ベクトルを演算式に代入し、１以上のパラメータを取得する。また、１以上のパラメータは、第二画像関連情報の例である。
【０２３０】
そして、次に、ルックアップテーブル構成部３８は、ブロックごとに、第一画像関連情報と第二画像関連情報とを有する対応情報を構成する。そして、ルックアップテーブル蓄積部３９は、構成された対応情報を格納部１０１に蓄積する。
【０２３１】
以上の処理により、多数の対応情報を有するルックアップテーブルが生成される。なお、同一、または近似する第一画像関連情報を、まとめて一の対応情報にしても良い。
【０２３２】
（具体例２）
具体例２は、色が異なる光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
【０２３３】
まず、一の被写体に、色Ｘ（例えば、白）の光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部３１に蓄積する。また、前記一の被写体に色Ｙ（例えば、橙）の光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部３２に蓄積する。かかる場合、人が視て、第二の画像の方が、第一の画像より高品位である、と感じるものであることが必要である。
【０２３４】
また、光源の色を変えて撮影する被写体は、自然、人間、動物、静物等、多数の種類のものとすることは好適である。また、被写体により、光源の色の変更度合いが異なっても良いことは言うまでもない。
【０２３５】
以上により、第一画像格納部３１と第二画像格納部３２とが構築された。また、第一画像格納部３１と第二画像格納部３２とが構築された後の処理は、具体例１と同様であるので、説明を省略する。
【０２３６】
（具体例３）
具体例３は、異なる位置に配置された光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
【０２３７】
まず、一の被写体に、位置αに設置された光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部３１に蓄積する。また、前記一の被写体に位置β（位置αに光源が設置されている場合より、被写体の陰を多く作り出す位置）に設置された光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部３２に蓄積する。かかる場合、人が視て、第二の画像の方が、第一の画像より被写体の陰の領域が多く出ており、被写体の立体感をより感じさせることが必要である。
【０２３８】
また、光源の位置を変えて撮影する被写体は、自然、人間、動物、静物等、多数の種類のものとすることは好適である。また、被写体により、光源の位置の変更度合いが異なっても良いことは言うまでもない。
【０２３９】
以上により、第一画像格納部３１と第二画像格納部３２とが構築された。また、第一画像格納部３１と第二画像格納部３２とが構築された後の処理は、具体例１と同様であるので、説明を省略する。
【０２４０】
（具体例４）
具体例４は、異なる光量で、異なる位置に配置された光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
【０２４１】
まず、一の被写体に、位置αに配置された光源であり、光量Ａの光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部３１に蓄積する。また、前記一の被写体に、位置βに配置された光源であり、光量Ｂ（光量Ｂ＞光量Ａ）の光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部３２に蓄積する。かかる場合、人が視て、第二の画像の方が、第一の画像より高品位である、と感じるものであることは好適である。
【０２４２】
また、光源の光量を変えて撮影する被写体は、自然、人間、動物、静物等、多数の種類のものとすることは好適である。
【０２４３】
以上により、第一画像格納部３１と第二画像格納部３２とが構築された。また、第一画像格納部３１と第二画像格納部３２とが構築された後の処理は、具体例１と同様であるので、説明を省略する。
【０２４４】
（具体例５）
具体例５は、天候、温度、湿度のうちの１以上が異なる環境で、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
【０２４５】
まず、天気「曇り」、温度「２５度」、湿度「４０％」の環境で、一の被写体に光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部３１に蓄積する。また、天気「曇り」、温度「２２度」、湿度「７０％」の環境で、前記一の被写体に光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部３２に蓄積する。かかる場合、人が視て、第二の画像の方が、通常、より遠近感・しっとり感などを感じることができる。
【０２４６】
以上により、第一画像格納部３１と第二画像格納部３２とが構築された。また、第一画像格納部３１と第二画像格納部３２とが構築された後の処理は、具体例１と同様であるので、説明を省略する。
【０２４７】
また同様に、まず、天気「曇り」、温度「２５度」、湿度「４０％」の環境で、一の被写体に光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部３１に蓄積する。また、天気「晴れ」、温度「２８度」、湿度「２０％」の環境で、前記一の被写体に光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部３２に蓄積する。かかる場合、人が視て、第二の画像の方が、通常、より空気感・温もり感などを感じることができる。
【０２４８】
以上により、第一画像格納部３１と第二画像格納部３２とが構築された。また、第一画像格納部３１と第二画像格納部３２とが構築された後の処理は、具体例１と同様であるので、説明を省略する。
【０２４９】
（具体例６）
具体例６は、異なる被写界深度の画像を撮影できる撮影装置で取得した第一の画像と第二の画像とを使用する例である。
【０２５０】
まず、被写界深度がより浅い画像を撮影する撮影装置で、一の被写体に光源を当て、第一の画像を取得し、第一画像格納部３１に蓄積する。また、被写界深度がより深い画像を撮影する撮影装置で、前記一の被写体に光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部３２に蓄積する。かかる場合、人が視て、第二の画像の方が、より全体的にピントが合っていることにより、通常、すっきり感が増加したように感じる。また、第二の画像の方が、奥行きによるメリハリが増し、通常、奥行き感や立体感が得られる。
【０２５１】
以上により、第一画像格納部３１と第二画像格納部３２とが構築された。また、第一画像格納部３１と第二画像格納部３２とが構築された後の処理は、具体例１と同様であるので、説明を省略する。
【０２５２】
（具体例７）
具体例７は、シャッタースピードが異なる撮影装置で取得した第一の画像と第二の画像とを使用する例である。
【０２５３】
一の被写体に光源を当て、より遅いシャッタースピード（シャッタースピード＝Ａ）の撮影装置で、第一の画像を取得し、第一画像格納部３１に蓄積する。また、前記一の被写体に光源を当て、より速いシャッタースピード（シャッタースピード＝Ｂ，Ａ＜Ｂ）の撮影装置で、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部３２に蓄積する。かかる場合、人が視て、第二の画像の方が、通常、スピード感や躍動感が増加したように感じられる。
【０２５４】
以上により、第一画像格納部３１と第二画像格納部３２とが構築された。また、第一画像格納部３１と第二画像格納部３２とが構築された後の処理は、具体例１と同様であるので、説明を省略する。
【０２５５】
以上、本実施の形態によれば、目的に応じて脳負荷が調整された画像を生成するために利用できるルックアップテーブルを自動取得できる。
【０２５６】
また、本実施の形態によれば、画像の視聴者であるユーザがルックアップテーブル取得装置３を用いて、ルックアップテーブルを作成すれば、自分にとって、目的に応じて脳負荷が調整された画像を出力できるルックアップテーブルを得ることができる。
【０２５７】
また、本実施の形態によれば、ユーザの属性（３０歳まで、６０歳以上、女性、男性、高校生など）ごとに、１以上のユーザが第二の画像を選択する処理を行えば、ユーザの属性ごとにルックアップテーブルが作成され得る。そして、そのように作成されたルックアップテーブルを用いた画像処理装置（例えば、テレビ受信機）は、ユーザ属性ごとに、自分の嗜好に合致するように、脳負荷が調整された画像を出力できる。
【０２５８】
また、本実施の形態のルックアップテーブル取得装置３において、第二画像情報候補集合格納部３３、指示受付部１０３、候補出力部３４、第二画像蓄積部３５等の一部の構成要素を具備しなくても良いことは言うまでもない。
【０２５９】
さらに、本実施の形態におけるルックアップテーブル取得装置３を用いて取得したルックアップテーブルが、実施の形態１、２で説明した画像処理装置に複写され、利用されることは好適である。
【０２６０】
なお、本実施の形態におけるルックアップテーブル取得装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、１以上の第一の画像と、第一の画像に対して、脳負荷が調整された画像であり、前記１以上の各第一の画像と同一の対象についての画像である１以上の各第二の画像を、前記１以上の各第一の画像に対応付けて格納しており、コンピュータを、前記記憶媒体に格納されている１以上の第一の画像の全部または一部分に関する情報である１以上の第一画像関連情報を、前記１以上の第一の画像の全部または一部分から取得する第一画像関連情報取得部と、前記記憶媒体に格納されている１以上の第二の画像の全部または一部分に関する情報である１以上の第二画像関連情報を、前記１以上の第二の画像の全部または一部分から取得する第二画像関連情報取得部と、前記第一画像関連情報取得部が取得した第一画像関連情報と、当該第一画像関連情報に対応する情報であり、前記第二画像関連情報取得部が取得した第二画像関連情報とを有する情報であり、前記１以上の第一の画像の全部または一部分と前記１以上の第二の画像の全部または一部分との対応を示す情報である対応情報を、１または２以上有するルックアップテーブルを構成するルックアップテーブル構成部と、前記ルックアップテーブル構成部が構成したルックアップテーブルを、記憶媒体に蓄積するルックアップテーブル蓄積部として機能させるためのプログラム、である。
【０２６１】
また、上記プログラムにおいて、記憶媒体に、１以上の各第一の画像に対応付けて、当該１以上の各第一の画像と同一の対象についての２以上の第二の画像の候補の集合である第二画像情報候補集合を１以上、さらに格納しており、コンピュータを、前記１以上の第二画像情報候補集合を出力する候補出力部と、前記候補出力部が出力した１以上の各第二画像情報候補集合が有する２以上第二の画像の候補のうち、１以上の第二の画像の候補を選択する指示を受け付ける指示受付部と、前記指示受付部が受け付けた指示に対応する１以上の第二の画像の候補を、第二画像情報候補集合に対応する第一の画像に対応付けて、前記第二画像格納部に蓄積する第二画像蓄積部としてさらに機能させるプログラムであることは好適である。
（実施の形態４）
本実施の形態において、ルックアップテーブル取得装置３を用いて、ルックアップテーブルを生成する処理の具体例について、さらに説明する。
本具体例は、ルックアップテーブルを構成する対応情報が、特徴量ベクトルと画像の変換フィルタである場合である。なお、特徴量ベクトルとは、入力画像（第一の画像）から抽出される情報である。また、画像の変換フィルタは、例えば、１以上のフィルタ係数の集合である。
今、第一画像格納部３１には、例えば、図１６に示すような被写界深度の浅い第一の画像をはじめ、多数の画像が格納されている。また、第二画像格納部３２には、例えば、図１７に示すような被写界深度の深い第二の画像をはじめ、多数の画像が格納されている。なお、ある第一の画像とある第二の画像とは対応付けられている。つまり、例えば、図１６の第一の画像と図１７の第二の画像とは対応付けられている。
また、第一の画像より第二の画像の方が、被写界深度が深い。また、図１６の被写界深度は浅く、画像の手前の赤い車にフォーカスが合っている。一方、図１７の被写界深度は深く、画像の奥の黄色い車にもフォーカスが合っている。なお、一般的に、第一の画像と比較して、被写界深度の深い第二の画像の方が画像全体を理解しやすく、脳の負荷の少ない好ましい画像であると言える。
かかる状況において、ユーザから、ルックアップテーブルを構築する指示が入力された、とする。次に、第一画像関連情報取得部３６は、第一の画像（ここでは、例えば、図１６）を第一画像格納部３１から読み出す。そして、第一画像関連情報取得部３６は、第一の画像を分割し、複数の時空間ブロックを取得する。ここでは、図１８に示すように、第一画像関連情報取得部３６は、第一の画像を１６分割し、１６の第一の時空間ブロックを取得する。なお、図１８において、各第一の時空間ブロックには、ブロック識別子が記載されている。
次に、第二画像関連情報取得部３７は、第二の画像（ここでは、例えば、図１７）を第二画像格納部３２から読み出す。そして、第二画像関連情報取得部３７は、第二の画像を分割し、複数の時空間ブロックを取得する。ここでは、図１９に示すように、第二画像関連情報取得部３７は、第二の画像を１６分割し、１６の第二の時空間ブロックを取得する。なお、図１９において、各第二の時空間ブロックには、ブロック識別子が記載されている。
次に、ルックアップテーブル構成部３８は、第一の画像の１番目の第一の時空間ブロックを、第二の画像の１番目の第二の時空間ブロックへ変換する変換フィルタのフィルタ係数を、例えば、最小二乗推定を用いて算出する。
同様に、ルックアップテーブル構成部３８は、第一の画像のｎ番目（ｎは２〜１６）の第一の時空間ブロックを、第二の画像のｎ番目（ｎは２〜１６）の第二の時空間ブロックへ変換する変換フィルタのフィルタ係数を、順次、例えば、最小二乗推定を用いて算出する。
以上により、１６種類の画像変換フィルタのフィルタ係数が得られる。なお、図２０は、ルックアップテーブル構成部３８が行うかかる動作を説明する概念図である。図２０において、Ｆ０４は４番目の画像変換フィルタを示し、Ｆ１５は１５番目の画像変換フィルタを示す。
次に、ルックアップテーブル構成部３８は、第一の画像の１６の各第一の時空間ブロックの近傍特徴量を取得する。なお、例えば、ルックアップテーブル構成部３８は、各第一の時空間ブロックに対して、離散フーリエ変換を用いて周波数成分を算出し、帯域別のパワーを取得する。この帯域別のパワーを近傍特徴量の特徴量ベクトルとする。なお、かかる処理の概念を図２１に示す。図２１において、例えば、ルックアップテーブル構成部３８は、４番目の第一の時空間ブロックから近傍特徴量の特徴量ベクトル「α04=(p04-1,p04-2,p04-3,p04-4)」を取得し、１５番目の第一の時空間ブロックから近傍特徴量の特徴量ベクトル「α15=(p15-1,p15-2,p15-3,p15-4)」を取得している。
次に、ルックアップテーブル構成部３８は、第一の画像全体の特徴量である全体特徴量を算出する。例えば、ルックアップテーブル構成部３８は、局所で求めた特徴量ベクトル（近傍特徴量のベクトル）の各成分毎の分散「A1=(V1,V2,V3,V4)」を、全体特徴量として算出する。なお、かかる処理の概念を図２２に示す。
次に、ルックアップテーブル構成部３８は、各領域毎の全体特徴量と近傍特徴量とを連結し、対応情報を構成する特徴量ベクトル「（A1，α01）等」を構成する。また、ルックアップテーブル構成部３８は、特徴量ベクトルとフィルタ係数とを対応付けた対応情報を構成する。
そして、ルックアップテーブル蓄積部３９は、特徴量ベクトルとフィルタ係数とを対応付けた１６の対応情報を格納部１０１に蓄積する。
以上の処理を、他の組の第一の画像と第二の画像に対して行う。そして、ルックアップテーブル取得装置３は、図２３に示すルックアップテーブルを取得する。図２３のルックアップテーブルは、多数の対応情報を有する。また、対応情報は、ここでは、特徴量ベクトルとフィルタ係数とを有する。
以上、本実施の形態において、目的に応じて脳負荷が調整された画像を生成するために利用できるルックアップテーブルを自動取得できる。
（実施の形態５）
本実施の形態において、実施の形態４で構築したルックアップテーブルを用いて、目的に応じて、受け付けた画像に対して、脳負荷が調整された画像を取得する画像処理装置４について説明する。
図２４は、本実施の形態における画像処理装置４のブロック図である。画像処理装置４は、格納部１０１、画像受付部１０４、分割部１０５、画像解析部１０６、マッピング部１０７、合成部１０８、および画像出力部１０９を具備する。
今、画像処理装置４の格納部１０１は、図２３に示すルックアップテーブルを格納している。なお、ルックアップテーブは、特徴量ベクトルをキーとして、インデックス化されていることは好適である。また、ルックアップテーブは、特徴量ベクトルをキーとして、対応情報がソートされていることは好適である。
また、画像受付部１０４は、図２５に示す画像を受け付けた、とする。なお、図２５の画像は、被写界深度の浅い画像である。
次に、画像解析部１０６は、図２５の画像の全体特徴量（An）を算出する。なお、全体特徴量の算出方法は、実施の形態４で説明した処理と同じ処理である。
次に、画像解析部１０６等は、図２５の画像の各画素に対して、近傍特徴量(αn)を算出する。ここでの近傍特徴量は、当該画素の近傍１６×１６画素ブロック内での周波数成分を算出し、帯域別のパワーを取得する。なお、かかる処理についても、実施の形態４で説明した処理と同様の処理である。
次に、画像解析部１０６は、各画素に対して、全体特徴量と近傍特徴量とを合成した特徴量ベクトル（An，αn)を構成する。
次に、画像解析部１０６は、各画素に対応する特徴量ベクトル（An，αn)と、ルックアップテーブルを構成する２以上の対応情報が有する２以上の特徴量ベクトルとの距離を算出し、最も距離が近い特徴量ベクトル「例えば、（Am，αm）」を決定する。
そして、マッピング部１０７は、各画素毎に、最も距離が近い特徴量ベクトルと対になるフィルタ係数「例えば、Fm」を取得する。
次に、マッピング部１０７は、入力画像の各画素に対して、取得したフィルタ係数により実現される変換フィルタを施し、第二の画像（出力画像）の各画素を取得する。
そして、合成部１０８は、取得した各画素を、入力画像の画素の位置の出力画素値として、出力画像を構成する。次に、画像出力部１０９は、構成された出力画像を出力する。以上の処理の概念を図２６に示す。
以上、本実施の形態によれば、好適に脳負荷が調整された画像を出力できる。
なお、本実施の形態において、ルックアップテーブルを構成する特徴量ベクトルの取得方法と、画像解析部１０６の特徴量ベクトルの取得方法とは異なった。しかし、ルックアップテーブルを構成する特徴量ベクトルの取得方法と、画像解析部１０６の特徴量ベクトルの取得方法とは同じでも良い。
（実施の形態６）
本実施の形態において、ルックアップテーブルを用いて、目的に応じて、受け付けた画像に対して、脳負荷が調整された画像を取得する画像処理装置５について説明する。なお、本実施の形態において、実施の形態１等と異なる主たる点は、入力画像に応じて、適用する拘束条件が動的に変化する点である。
図２７は、本実施の形態における画像処理装置５のブロック図である。
画像処理装置５は、格納部１０１、拘束条件格納部５０２、指示受付部５０３、画像受付部１０４、分割部１０５、画像解析部１０６、マッピング部５０７、合成部１０８、画像出力部１０９、および拘束条件変更部５１０を具備する。
マッピング部５０７は、例えば、出力画像候補取得手段１０７２、判断手段１０７３、特徴量取得手段５０７１、拘束条件決定手段５０７２、変更手段５０７４、および出力画像取得手段１０７５を具備する。
拘束条件格納部５０２は、条件識別情報と拘束条件との組である拘束情報を２以上、格納し得る。ここでの拘束条件は、出力画像に関する条件を例にとり説明するが、入力画像または対応情報に関する条件でも良い。条件識別情報は、拘束条件を識別する情報である。条件識別情報は、例えば、特徴量ベクトルである。また、ベクトルを構成する特徴量は、例えば、入力画像の近傍空間アクティビティーである。近傍空間アクティビティーとは、例えば、フィールド上の同一位置の画素の時間差分値、傾き（一次および二次空間微分値）、極小値および極大値（１位値）、ｎ位値、ダイナミックレンジ、空間差分値、画素値分散、空間周波数高域のパワー、時間アクティビティーと空間アクティビティーとの比等、種々あり得る。また、拘束条件は、適正な近傍空間アクティビティーである。なお、拘束情報の例を図２８に示す。図２８において、拘束情報は、条件識別情報である近傍空間アクティビティーと、拘束条件である適正アクティビティーとを有する。
指示受付部５０３は、拘束条件を変更するための指示をユーザから受け付ける。なお、指示は、例えば、図２８の拘束情報を修正する指示である。また、指示は、例えば、ユーザが画像から受ける刺激量を変更する指示である。
マッピング部５０７を構成する特徴量取得手段５０７１は、画像受付部１０４が受け付けた画像（入力画像）の特徴量ベクトルを取得する。特徴量取得手段５０７１は、画像受付部１０４が受け付けた画像全部の特徴量ベクトルを取得しても良いし、画像受付部１０４が受け付けた画像を構成する時空間ブロックの特徴量ベクトルを取得しても良い。
拘束条件決定手段５０７２は、特徴量取得手段５０７１が取得した特徴量ベクトルを、拘束条件格納部５０２の拘束情報に適用し、拘束条件を選択する。さらに具体的には、拘束条件決定手段５０７２は、特徴量取得手段５０７１が取得した特徴量ベクトルと最も距離が近い条件識別情報（この条件識別情報も特徴量ベクトルである場合）を選択し、当該選択した条件識別情報と対になる拘束条件を拘束条件格納部５０２から取得する。
変更手段５０７４は、判断手段１０７３が拘束条件を満たさないと判断した場合に、拘束条件決定手段５０７２が取得した拘束条件を用いて、第二の画像の全部または一部分を変更する。なお、変更手段５０７４は、判断手段１０７３が拘束条件を満たさないと判断した場合に、ルックアップテーブルを変更しても良い。また、変更手段５０７４は、判断手段１０７３が拘束条件を満たさないと判断した場合に、判断後に受け付けられる入力画像、または判断後に得られた時空間ブロック、または判断後に受け付けられる入力画像の１以上の特徴量、または判断後に得られた時空間ブロックの１以上の特徴量を変更しても良い。
拘束条件変更部５１０は、指示受付部５０３が受け付けた指示に従って、拘束情報を変更する。また、拘束条件変更部５１０は、自動的に拘束情報を変更しても良い。つまり、拘束条件変更部５１０は、例えば、ユーザ属性（年齢、性別、住所等）、放送に重畳された情報（ＥＰＧに含まれる情報など）、時刻、時間帯、外部センサ情報（例えば視聴している部屋の明るさ、温度等）に応じて、自動的に拘束情報を変更しても良い。なお、かかる場合、拘束条件変更部５１０は、ユーザ属性等に応じて、どのように拘束情報を変更するかについての情報（例えば、ユーザ属性と変更するアルゴリズムを示す式の対応表等）を予め保持している。また、外部センサ情を用いる場合、拘束条件変更部５１０は、図示しないセンサから情報（部屋の明るさ、温度等）を取得する。
拘束条件格納部５０２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。拘束条件格納部５０２に拘束情報が記憶される過程は問わない。例えば、記録媒体を介して拘束情報が拘束条件格納部５０２で記憶されるようになってもよく、通信回線等を介して送信された拘束情報が拘束条件格納部５０２で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された拘束情報が拘束条件格納部５０２で記憶されるようになってもよい。
指示受付部５０３は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
マッピング部５０７、拘束条件変更部５１０、特徴量取得手段５０７１、拘束条件決定手段５０７２、および変更手段５０７４は、通常、ＭＰＵやメモリ等から実現され得る。マッピング部５０７等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、画像処理装置５の動作について、図２９のフローチャートを用いて説明する。図２９のフローチャートにおいて、図２のフローチャートと異なるステップについて説明する。
（ステップＳ２９０１）マッピング部５０７は、マッピング処理を行う。マッピング処理について、図３０のフローチャートを用いて説明する。
（ステップＳ２９０２）指示受付部５０３は、ユーザの指示を受け付けたか否かを判断する。ユーザの指示を受け付ければステップＳ２９０３に行き、ユーザの指示を受け付けなければステップＳ２０１に戻る。
（ステップＳ２９０３）拘束条件変更部５１０は、指示受付部５０３が受け付けた指示に従って、拘束情報を変更する。
なお、図２９のフローチャートにおいて、入力画像を分割し、時空間ブロックごとに、処理が行われた。しかし、図２９のフローチャートにおいて、入力画像全体に対して、処理が行われても良い。
次に、ステップＳ２９０１のマッピング処理について、図３０のフローチャートを用いて説明する。図３０のフローチャートにおいて、図４のフローチャートと異なるステップについて説明する。
（ステップＳ３００１）マッピング部５０７を構成する特徴量取得手段５０７は、画像受付部１０４が受け付けた画像の特徴量ベクトルを取得する。
（ステップＳ３００２）拘束条件決定手段５０７２は、特徴量取得手段５０７１が取得した特徴量ベクトルを、拘束条件格納部５０２の拘束情報に適用し、拘束条件を決定する。かかる拘束条件決定処理について、図３１のフローチャートを用いて説明する。
次に、ステップＳ３００２の拘束条件決定処理について、図３１のフローチャートを用いて説明する。
（ステップＳ３１０１）拘束条件決定手段５０７２は、カウンタｉに１を代入する。
（ステップＳ３１０２）拘束条件決定手段５０７２は、拘束条件格納部５０２にｉ番目の拘束情報が存在するか否かを判断する。ｉ番目の拘束情報が存在すればステップＳ３１０３に行き、存在しなければステップＳ３１０６に行く。
（ステップＳ３１０３）拘束条件決定手段５０７２は、ｉ番目の拘束情報が有する条件識別情報を拘束条件格納部５０２から取得する。
（ステップＳ３１０４）拘束条件決定手段５０７２は、ステップＳ３００１で取得された特徴量ベクトルと、ｉ番目の条件識別情報との距離を算出する。そして、拘束条件決定手段５０７２は、ｉ番目の条件識別情報に対応付けて、当該距離をバッファに一時蓄積する。
（ステップＳ３１０５）拘束条件決定手段５０７２は、カウンタｉを１、インクリメントし、ステップＳ３１０２に戻る。
（ステップＳ３１０６）拘束条件決定手段５０７２は、ステップＳ３００１で取得された特徴量ベクトルとの距離が最小の条件識別情報と対になる拘束条件を、拘束条件格納部５０２から取得する。上位処理にリターンする。
以上、本実施の形態によれば、入力画像に応じて、適用する拘束条件を変え、当該拘束条件に合致する出力画像を構成することにより、極めて高品質な画像を出力できる。
なお、本実施の形態において、拘束条件決定手段５０７２は、入力画像に応じて適用する拘束条件を変更して、取得した。しかし、拘束条件決定手段５０７２は、出力画像に応じて適用する拘束条件を変更しても良い。また、拘束条件決定手段５０７２は、入力画像と出力画像とに応じて適用する拘束条件を変更しても良い。
また、本実施の形態において、画像受付部１０４が受け付けた画像を分割部１０５が分割した。しかし、画像受付部１０４が受け付けた画像を分割しなくても良い。かかる場合、画像処理装置５において、分割部１０５は不要である。かかることは、他の実施の形態においても同様である。
（実施の形態７）
本実施の形態において、ルックアップテーブルを用いて、目的に応じて、受け付けた画像に対して、脳負荷が調整された画像を取得する画像処理装置６について説明する。なお、本実施の形態において、実施の形態１等と異なる主たる点は、入力画像や出力画像に応じて、適用するルックアップテーブルが動的に変化する点である。
図３２は、本実施の形態における画像処理装置６のブロック図である。
画像処理装置６は、格納部１０１、拘束条件格納部５０２、指示受付部６０３、画像受付部１０４、分割部１０５、画像解析部１０６、マッピング部６０７、合成部１０８、画像出力部１０９、およびＬＵＴ変更情報変更部６１０を具備する。
また、マッピング部６０７は、例えば、出力画像候補取得手段１０７２、判断手段１０７３、第一特徴量取得手段６０７１、第二特徴量取得手段６０７２、ＬＵＴ変更情報格納手段６０７３、ＬＵＴ決定手段６０７４、変更手段５０７４、および出力画像取得手段１０７５を具備する。
ここでの格納部１０１は、２以上のルックアップテーブル（以下、適宜「ＬＵＴ」と言う）を格納している。
指示受付部６０３は、後述するＬＵＴ変更情報を変更するための指示をユーザから受け付ける。なお、指示は、例えば、ユーザが画像から受ける刺激量を変更する指示である。
マッピング部６０７を構成する第一特徴量取得手段６０７１は、画像受付部１０４が受け付けた画像の特徴量ベクトルを取得する。第一特徴量取得手段６０７１は、上述した特徴量取得手段５０７１と同様の動作を行う。なお、第一特徴量取得手段６０７１が取得する特徴量ベクトルを第一特徴量ベクトルと言うこととする。
第二特徴量取得手段６０７２は、出力画像取得手段１０７５が取得した出力画像の特徴量ベクトルを取得する。第二特徴量取得手段６０７２は、情報の取得元が第一特徴量取得手段６０７１とは異なるが、第一特徴量取得手段６０７１と同様の動作を行う。なお、第一特徴量取得手段６０７１が取得する１以上の特徴量と、第二特徴量取得手段６０７２が取得する１以上の特徴量とが、すべて同一の特徴量でも良いし、一部に同一の特徴量を含んでも良いし、すべて異なる特徴量でも良い。なお、第二特徴量取得手段６０７２が取得する特徴量ベクトルを第二特徴量ベクトルと言うこととする。
ＬＵＴ変更情報格納手段６０７３は、出力画像候補取得手段１０７２が出力する画像の候補を取得する際に利用するＬＵＴを変更するための情報であるＬＵＴ変更情報を格納している。ＬＵＴ変更情報は、例えば、第一特徴量ベクトルとルックアップテーブルを識別する種類識別子との対である。また、ＬＵＴ変更情報は、例えば、第二特徴量ベクトルと種類識別子との対でも良い。また、ＬＵＴ変更情報は、例えば、第一特徴量ベクトルと第二特徴量ベクトルと種類識別子との対でも良い。また、ＬＵＴ変更情報は、例えば、第一特徴量ベクトルと、２以上の種類識別子と、各種類識別子に対応する２以上の比の対である。また、ＬＵＴ変更情報は、例えば、第二特徴量ベクトルと、２以上の種類識別子と、各種類識別子に対応する２以上の比の対でも良い。また、ＬＵＴ変更情報は、例えば、第一特徴量ベクトルと、第二特徴量ベクトルと、２以上の種類識別子と、各種類識別子に対応する２以上の比の対でも良い。なお、ＬＵＴ変更情報格納手段６０７３は、通常、２以上のＬＵＴ変更情報を格納している。また、上記の比とは、２以上のＬＵＴを混合して、新しいＬＵＴを構成する場合の、各ＬＵＴに対応する比である。
また、ＬＵＴ変更情報格納手段６０７３に格納されているＬＵＴ変更情報管理表の例を図３３に示す。図３３において、ＬＵＴ変更情報管理表は、複数のＬＵＴ変更情報を有する。ＬＵＴ変更情報は、「ＩＤ」「第一特徴量ベクトル」「第二特徴量ベクトル」「ＬＵＴ」「比」を有する。「ＬＵＴ」は種類識別子である。「比」は、新しいＬＵＴを構成する場合の、各ＬＵＴの混合比を示す情報である。なお、「比」は、比率であるとは限らず、複数のＬＵＴを用いて、新しいＬＵＴを構成するための情報であれば何でも良い。新しいＬＵＴを構成するための情報は、例えば、複数のＬＵＴを構成する要素をパラメータとする演算式等である。ＬＵＴを構成する要素とは、例えば、フィルタの係数や、特徴量ベクトルの要素である。
ＬＵＴ決定手段６０７４は、ＬＵＴ変更情報格納手段６０７３のＬＵＴ変更情報を用いて、出力画像候補取得手段１０７２が利用するＬＵＴを決定する。さらに具体的には、ＬＵＴ決定手段６０７４は、第一特徴量ベクトル、または第二特徴量ベクトル、または第一特徴量ベクトルと第二特徴量ベクトルを、ＬＵＴ変更情報に適用して、出力画像候補取得手段１０７２が利用するＬＵＴを決定する。また、ＬＵＴ決定手段６０７４は、第一特徴量ベクトル、または第二特徴量ベクトル、または第一特徴量ベクトルと第二特徴量ベクトルを、ＬＵＴ変更情報に適用して、ＬＵＴを構成しても良い。
以下、ＬＵＴ変更情報格納手段６０７３に図３３のＬＵＴ変更情報管理表が格納されている場合のＬＵＴ決定手段６０７４の動作について説明する。ＬＵＴ決定手段６０７４は、第一特徴量取得手段６０７１が取得した第一特徴量ベクトルと、ＬＵＴ変更情報管理表の各レコードの第一特徴量ベクトルとの距離を算出する。次に、ＬＵＴ決定手段６０７４は、第二特徴量取得手段６０７２が取得した第二特徴量ベクトルと、ＬＵＴ変更情報管理表の各レコードの第二特徴量ベクトルとの距離を算出する。そして、ＬＵＴ決定手段６０７４は、ＬＵＴ変更情報管理表の各レコード毎に、例えば、２つの距離の和を取得する。次に、ＬＵＴ決定手段６０７４は、２つの距離の和が最小のレコードを決定する。次に、ＬＵＴ決定手段６０７４は、決定したレコードが有する「ＬＵＴ」の属性値、または決定したレコードが有する「ＬＵＴ」の属性値と「比」の属性値を取得する。決定したレコードが有する「ＬＵＴ」の属性値が一つの種類識別子である場合、ＬＵＴ決定手段６０７４は、当該種類識別子で識別されるＬＵＴを、出力画像候補取得手段１０７２が利用するＬＵＴとして決定する。一方、決定したレコードが有する「ＬＵＴ」の属性値が２以上の種類識別子である場合、ＬＵＴ決定手段６０７４は、２以上の各種類識別子と「比」の属性値（以下、単に比とも言う。）との組を取得し、比に合致するように、２以上の各種類識別子で識別されるＬＵＴを混合して、新しいＬＵＴを構成する。
ＬＵＴ変更情報変更部６１０は、指示受付部６０３が受け付けた指示に従って、ＬＵＴ変更情報を変更する。また、ＬＵＴ変更情報変更部６１０は、自動的にＬＵＴ変更情報を変更しても良い。つまり、ＬＵＴ変更情報変更部６１０は、例えば、ユーザ属性（年齢、性別、住所等）、放送に重畳された情報（ＥＰＧに含まれる情報など）、時刻、時間帯、外部センサ情報（例えば視聴している部屋の明るさ、温度等）に応じて、自動的にＬＵＴ変更情報を変更しても良い。なお、かかる場合、ＬＵＴ変更情報変更部６１０は、ユーザ属性等に応じて、どのようにＬＵＴ変更情報を変更するかについての情報を予め保持している。また、外部センサ情を用いる場合、拘束条件変更部５１０は、図示しないセンサから情報（部屋の明るさ、温度等）を取得する。
指示受付部６０３は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
マッピング部６０７、ＬＵＴ変更情報変更部６１０、第一特徴量取得手段６０７１、第二特徴量取得手段６０７２、およびＬＵＴ決定手段６０７４は、通常、ＭＰＵやメモリ等から実現され得る。マッピング部６０７等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
ＬＵＴ変更情報格納手段６０７３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。ＬＵＴ変更情報格納手段６０７３にＬＵＴ変更情報が記憶される過程は問わない。例えば、記録媒体を介してＬＵＴ変更情報がＬＵＴ変更情報格納手段６０７３で記憶されるようになってもよく、通信回線等を介して送信されたＬＵＴ変更情報がＬＵＴ変更情報格納手段６０７３で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたＬＵＴ変更情報がＬＵＴ変更情報格納手段６０７３で記憶されるようになってもよい。
次に、画像処理装置６の動作について、図３４のフローチャートを用いて説明する。図３４のフローチャートにおいて、図２のフローチャートと異なるステップについて説明する。
（ステップＳ３４０１）マッピング部６０７は、マッピング処理を行う。マッピング処理について、図３５のフローチャートを用いて説明する。
（ステップＳ３４０２）指示受付部６０３は、ユーザの指示を受け付けたか否かを判断する。ユーザの指示を受け付ければステップＳ３４０３に行き、ユーザの指示を受け付けなければステップＳ２０１に戻る。
（ステップＳ３４０３）ＬＵＴ変更情報変更部６１０は、指示受付部５０３が受け付けた指示に従って、ＬＵＴ変更情報を変更する。
次に、ステップＳ３４０１のマッピング処理について、図３５のフローチャートを用いて説明する。図３５のフローチャートにおいて、図４のフローチャートと異なるステップについて説明する。
（ステップＳ３５０１）マッピング部６０７の第一特徴量取得手段６０７１は、画像受付部１０４が受け付けた入力画像から第一特徴量ベクトルを取得する。
（ステップＳ３５０２）第二特徴量取得手段６０７２は、出力画像取得手段１０７５が取得した出力画像から第二特徴量ベクトルを取得する。なお、ここで、第二特徴量ベクトルを取得する元になる出力画像は、通常、直前に出力された出力画像である。
（ステップＳ３５０３）ＬＵＴ決定手段６０７４は、ステップＳ３５０１で取得された第一特徴量ベクトルと、ステップＳ３５０２で取得された第二特徴量ベクトルとを用いて、ＬＵＴを決定する。かかる処理であるＬＵＴ決定処理について、図３６のフローチャートを用いて説明する。
次に、ステップＳ３５０３のＬＵＴ決定処理について、図３６のフローチャートを用いて説明する。
（ステップＳ３６０１）ＬＵＴ決定手段６０７４は、カウンタｉに１を代入する。
（ステップＳ３６０２）ＬＵＴ決定手段６０７４は、ｉ番目のＬＵＴ変更情報が存在するか否かを判断する。ｉ番目のＬＵＴ変更情報が存在すればステップＳ３６０３に行き、存在しなければステップＳ３６０７に行く。
（ステップＳ３６０３）ＬＵＴ決定手段６０７４は、ｉ番目のＬＵＴ変更情報が有する第一特徴量ベクトルを取得する。そして、ＬＵＴ決定手段６０７４は、取得した第一特徴量ベクトルと、ステップＳ３５０１で取得された第一特徴量ベクトルとの間の距離（ｄ１）を算出する。
（ステップＳ３６０４）ＬＵＴ決定手段６０７４は、ｉ番目のＬＵＴ変更情報が有する第二特徴量ベクトルを取得する。そして、ＬＵＴ決定手段６０７４は、取得した第二特徴量ベクトルと、ステップＳ３５０２で取得された第二特徴量ベクトルとの間の距離（ｄ２）を算出する。
（ステップＳ３６０５）ＬＵＴ決定手段６０７４は、ステップＳ３６０３で算出した距離（ｄ１）と、ステップＳ３６０４で算出した距離（ｄ２）とを算出式に代入し、当該算出式を実行する。そして、ＬＵＴ決定手段６０７４は、ｉ番目のＬＵＴ変更情報のコスト（Ｃ）を取得する。そして、ＬＵＴ決定手段６０７４は、当該コスト（Ｃ）をｉ番目のＬＵＴ変更情報と対応付けて、少なくとも一時蓄積する。なお、算出式は、２つの距離をパラメータとする算出式であり、各距離をパラメータとする関数である。なお、かかる関数は、通常、各距離をパラメータとする増加関数である。算出式は、例えば、「Ｃ＝ａ１×ｄ１＋（１−ａ１）×ｄ２」である。なお、ａ１は、例えば、０．５、０．８等である。
（ステップＳ３６０６）ＬＵＴ決定手段６０７４は、カウンタｉを１、インクリメントする。
（ステップＳ３６０７）ＬＵＴ決定手段６０７４は、ステップＳ３６０５で算出したコストが最も小さいＬＵＴ変更情報が有する１以上の種類識別子を取得する。
（ステップＳ３６０８）ＬＵＴ決定手段６０７４は、ステップＳ３６０７で取得した種類識別子が複数であるか否かを判断する。複数であればステップＳ３６０９に行き、１つであればステップＳ３６１１に行く。
（ステップＳ３６０９）ＬＵＴ決定手段６０７４は、ＬＵＴ変更情報格納手段６０７３から、コストが最も小さいＬＵＴ変更情報が有する複数の比を、種類識別子と対応付けて取得する。
（ステップＳ３６１０）ＬＵＴ決定手段６０７４は、複数の種類識別子に対応するＬＵＴを、格納部１０１から取得する。そして、ＬＵＴ決定手段６０７４は、ステップＳ３６０９で取得した比に応じて、取得したＬＵＴを混合し、新しいＬＵＴを生成する。かかる新しいＬＵＴは、出力画像候補取得手段１０７２が使用するＬＵＴである。
なお、ＬＵＴの混合とは、例えば、以下のような処理である。例えば、ＬＵＴを構成する対応情報が特徴量ベクトルとパラメータ群（例えば、フィルタの係数の集合）である、とする。そして、複数のＬＵＴは、同一の特徴量ベクトルを有する、とする。そして、ＬＵＴ決定手段６０７４は、同一の特徴量ベクトルに対応する複数のＬＵＴのパラメータ群を取得し、当該パラメータ群を構成する各パラメータを、比に応じて混合する。例えば、ＬＵＴ「Ａ」のある対応情報が有する特徴量ベクトルがＶ１であり、パラメータ群が（４，１０，７，・・・）であった、とする。また、ＬＵＴ「Ｂ」のある対応情報が有する特徴量ベクトルがＶ１であり、パラメータ群が（１０，８，１７，・・・）であった、とする。そして、ＬＵＴ「Ａ」に対応する比が「ａ１」、ＬＵＴ「Ａ」に対応する比が「１−ａ１」であった、とする。かかる場合、ＬＵＴ決定手段６０７４は、パラメータ群（４×ａ１＋１０×（１−ａ１），１０×ａ１＋８×（１−ａ１），７×ａ１＋１７×（１−ａ１），・・・）を取得する。かかる処理を、すべての対応情報に対して行う。
（ステップＳ３６１１）ＬＵＴ決定手段６０７４は、ＬＵＴ変更情報格納手段６０７３から、コストが最も小さいＬＵＴ変更情報が有する種類識別子で識別されるＬＵＴを取得する。かかるＬＵＴは、出力画像候補取得手段１０７２が使用するＬＵＴである。
以上、本実施の形態によれば、入力画像、または出力画像、または入力画像と出力画像に応じて、適用するルックアップテーブルを変え、出力画像を構成することにより、極めて高品質な画像を出力できる。
（実施の形態８）
本実施の形態において、画像学習装置７について説明する。画像学習装置７は、ルックアップテーブル取得装置３がルックアップテーブルを構成するために用いる第一の画像と第二の画像とを取得する装置である。また、ここでの画像学習装置７は、主として、エンターテインメント性を向上させる画像処理装置で用いられるルックアップテーブルのための装置である。
図３７は、画像学習装置７のブロック図である。画像学習装置７は、第一画像格納部３１、第二画像格納部３２、画像生成部７１、画像蓄積部７２を有する。なお、第一画像格納部３１および第二画像格納部３２は、ルックアップテーブル取得装置３等の装置を構成する。
第一画像格納部３１は、１以上の第一の画像を格納し得る。第一画像格納部３１は、動画である第一の画像を格納していても良い。
第二画像格納部３２は、１以上の第二の画像を格納し得る。第二画像格納部３２は、動画である第二の画像を格納していても良い。
画像生成部７１は、第一画像格納部３１に格納されている第一の画像から第二の画像を生成する。また、画像生成部７１は、第二画像格納部３２に格納されている第二の画像から第一の画像を生成しても良い。
例えば、画像生成部７１は、以下の第二の画像、または第一の画像を生成する。
（１）白画像であるフラッシュ画像を挿入した第二の画像の生成
画像生成部７１は、動画である第一の画像を第一画像格納部３１から読み出す。次に、画像生成部７１は、第一の画像の任意のフレーム位置に白画像のフレームを挿入し、第二の画像を取得する。
（２）輝度値を上げた画像であるフラッシュ画像を挿入した第二の画像の生成
画像生成部７１は、動画である第一の画像を第一画像格納部３１から読み出す。次に、画像生成部７１は、第一の画像の任意のフレーム位置のフレームの輝度値を上げ、第二の画像を取得する。
（３）高コントラスト画像であるフラッシュ画像を挿入した第二の画像の生成
画像生成部７１は、動画である第一の画像を第一画像格納部３１から読み出す。次に、画像生成部７１は、第一の画像の任意のフレーム位置に高コントラスト画像を挿入し、第二の画像を取得する。
（４）画面不均一に画像を強調した第二の画像の生成
画像生成部７１は、動画である第一の画像を第一画像格納部３１から読み出す。次に、画像生成部７１は、第一の画像の任意の位置のフレームに対して、エッジ強調やコントラスト変更等を施し、第二の画像を取得する。エッジ強調やコントラスト変更等の処理は公知技術であるので、説明を省略する。
（５）フィルムライクな映像の処理
画像生成部７１は、フィルムソースの動画である第二の画像を第二画像格納部３２から読み出す。次に、第二の画像を画像変換し、第一の画像を取得する。
画像蓄積部７２は、画像生成部７１が生成した第二の画像を、第二画像格納部３２に蓄積する。また、画像蓄積部７２は、画像生成部７１が生成した第一の画像を、第一画像格納部３１に蓄積する。
次に、画像処理装置のマッピング処理について説明する。マッピング処理は、上述した画像処理装置のマッピング部が行う。
第二の画像が上記の（１）から（３）のいずれかで生成されたフラッシュ画像である場合、マッピング部１０７は、入力画像の特徴量ベクトル（例えば、輝度分布や全画面動き量などを要素として有するベクトル）を用いて、当該特徴量ベクトルに対応する対応情報をＬＵＴから取得する。そして、マッピング部１０７は、取得した対応情報を用いて、特殊フレームを挿入する。なお、入力画像の特徴量ベクトルは、画像解析部１０６が取得する。また、マッピング部１０７は、入力画像の特徴量ベクトルが所定の条件（対応情報であっても良い）を満たす場合、特殊フレームを挿入しても良い。特殊フレームとは、フラッシュ画像のフレームである。
また、第二の画像が上記の（４）で生成された不均一に強調された画像である場合、マッピング部１０７は、上述した処理を行うことにより、強調の方法が全画面で一律にならず、例えば、波形に応じて、異なる強調方法が自動で選択される。
また、第二の画像が上記の（５）で生成されたフィルムライクな画像である場合、マッピング部１０７は、上述した処理を行うことにより、フィルム調の画像に変換した出力画像を出力できる。
なお、例えば、異なる照明環境下で同一の撮影対象を撮影した第一の画像と第二の画像とを、それぞれ第一画像格納部３１と、第二画像格納部３２に蓄積しても良い。異なる照明環境とは、上述したように、例えば、撮影対象に応じて、照明の明るさを異ならせた環境である。また、異なる照明環境とは、例えば、光源の位置をずらした環境である。
かかる場合、マッピング部１０７は、上述した処理を行うことにより、画像の質感が向上したり、表面反射特性が全く異なる画像が得られたりする。例えば、入力画像中の新作の弦楽器が、オールドのような渋いニスの色の弦楽器のように出力される。  
【０２６２】
また、図３８は、本明細書で述べたプログラムを実行して、上述した実施の形態のルックアップテーブル取得装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図３８は、このコンピュータシステム３４０の概観図であり、図３９は、コンピュータシステム３４０のブロック図である。
【０２６３】
図３８において、コンピュータシステム３４０は、ＦＤドライブ、ＣＤ−ＲＯＭドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。
【０２６４】
図３９において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＭＰＵ３４１３と、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３４１５とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０２６５】
コンピュータシステム３４０に、上述した実施の形態のルックアップテーブル取得装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。
【０２６６】
プログラムは、コンピュータ３４１に、上述した実施の形態のルックアップテーブル取得装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
【０２６７】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０２６８】
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０２６９】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０２７０】
以上のように、本発明にかかる画像処理装置は、脳負荷が調整された画像を出力できる、という効果を有し、テレビジョン受信機等として有用である。
【符号の説明】
【０２７１】
１、２、４、５、６  画像処理装置
３  ルックアップテーブル取得装置
７  画像学習装置
３１  第一画像格納部
３２  第二画像格納部
３３  第二画像情報候補集合格納部
３４  候補出力部
３５  第二画像蓄積部
３６  第一画像関連情報取得部
３７  第二画像関連情報取得部
３８  ルックアップテーブル構成部
３９  ルックアップテーブル蓄積部
７１  画像生成部
７２  画像蓄積部
１０１  格納部
１０２、５０２  拘束条件格納部
１０３、５０３、６０３  指示受付部
１０４  画像受付部
１０５  分割部
１０６  画像解析部
１０７、５０７、６０７  マッピング部
１０８  合成部
１０９  画像出力部
１１０  ルックアップテーブル更新部
５０７、５０７１  特徴量取得手段
５１０  拘束条件変更部
６１０  ＬＵＴ変更情報変更部
１０７１  種類識別子取得手段
１０７２  出力画像候補取得手段
１０７３  判断手段
１０７４、５０７４  変更手段
１０７５  出力画像取得手段
５０７２  拘束条件決定手段
６０７１  第一特徴量取得手段
６０７２  第二特徴量取得手段
６０７３  ＬＵＴ変更情報格納手段
６０７４  ＬＵＴ決定手段
【図１】
0005961390.tif 000002
【図２】
0005961390.tif 000003
【図３】
0005961390.tif 000004
【図４】
0005961390.tif 000005
【図５】
0005961390.tif 000006
【図６】
0005961390.tif 000007
【図７】
0005961390.tif 000008
【図８】
0005961390.tif 000009
【図９】
0005961390.tif 000010
【図１０】
0005961390.tif 000011
【図１１】
0005961390.tif 000012
【図１２】
0005961390.tif 000013
【図１３】
0005961390.tif 000014
【図２４】
0005961390.tif 000015
【図２７】
0005961390.tif 000016
【図２８】
0005961390.tif 000017
【図２９】
0005961390.tif 000018
【図３０】
0005961390.tif 000019
【図３１】
0005961390.tif 000020
【図３２】
0005961390.tif 000021
【図３４】
0005961390.tif 000022
【図３５】
0005961390.tif 000023
【図３６】
0005961390.tif 000024
【図３７】
0005961390.tif 000025
【図３８】
0005961390.tif 000026
【図３９】
0005961390.tif 000027
【図１４】
0005961390.tif 000028
【図１５】
0005961390.tif 000029
【図１６】
0005961390.tif 000030
【図１７】
0005961390.tif 000031
【図１８】
0005961390.tif 000032
【図１９】
0005961390.tif 000033
【図２０】
0005961390.tif 000034
【図２１】
0005961390.tif 000035
【図２２】
0005961390.tif 000036
【図２３】
0005961390.tif 000037
【図２５】
0005961390.tif 000038
【図２６】
0005961390.tif 000039
【図３３】
0005961390.tif 000040