(57)【要約】【課題】  フレームレート変換技術において、表示装置の温度上昇に関する工夫は開示されていない。また、表示装置においてサブリミナル効果をユーザの体感温度の調整に利用することについては考慮されていない【解決手段】  上記課題を解決するために、本発明の一実施の態様は、寒暖色フレームを生成する寒暖色生成処理部と、前記映像信号の補間フレームを生成する補間フレーム生成部とを備え、前記補完フレーム生成部は、前記寒暖色生成処理部において生成された寒暖色フレームを用いて前記映像信号の補間フレームを生成する映像処理装置を構成する。【選択図】図２
2010130601.tif 000002
【特許請求の範囲】
【請求項１】
映像信号の補間フレームを生成する映像処理装置であって、
寒暖色フレームを生成する寒暖色生成処理部と、
前記映像信号の補間フレームを生成する補間フレーム生成部と、
を備え、
前記補完フレーム生成部は、前記寒暖色生成処理部において生成された寒暖色フレームを用いて前記映像信号の補間フレームを生成することを特徴とする映像処理装置。
【請求項２】
請求項１の映像処理装置であって、
気温を測定する温度センサを備え、
前記寒暖色生成処理部は前記温度センサの測定した気温を用いて寒暖色フレームを生成することを特徴とする映像処理装置。
【請求項３】
請求項１又は２の映像処理装置であって、
前記補間フレーム生成部で生成された補間フレームと前記映像信号のフレームとを組合せて新たなフレーム列の映像信号を生成するフレーム列生成部とを備え、
前記補間フレーム列生成部で生成されるフレーム列に応じて前記映像信号のフレームレートを変換することを特徴とする映像処理装置。
【請求項４】
請求項２の映像処理装置であって、
日時の情報を取得する時計を備え、
前記寒暖色生成処理部において前記温度センサの気温情報と前記時計の日時情報とを用いて寒暖色フレームを生成することを特徴とする映像処理装置。
【請求項５】
請求項１〜４のいずれかの映像処理装置であって、
時間を測定するタイマを備え、
前記寒暖色生成処理部で寒暖色フレームが生成されなかった場合には前記タイマを開始し、タイマが満了するまで新たに寒暖色生成処理をしないことを特徴とする映像処理装置。
【請求項６】
請求項１〜５のいずれかの映像処理装置であって、
前記映像信号の各フレームの平均輝度を算出する輝度算出部とを備え、
前記輝度算出部で算出した平均輝度に応じて前記寒暖色生成処理部において生成した寒暖色フレームの輝度を変更すること特徴とする映像処理装置。
【請求項７】
請求項５の映像信号の補間フレーム生成映像処理装置であって、
前記寒暖色生成処理部において生成した寒暖色フレームの輝度を変更する場合に、プルキンエ現象に応じた色補正をすること特徴とする映像処理装置。
【請求項８】
請求項１〜７のいずれかの映像処理装置であって、
前記映像信号に含まれる複数のフレームから映像の動きベクトルの情報を検出する動きベクトル検出部を備え、
前記動きベクトル検出部で検出された動きベクトル量に応じて前記寒暖色フレームの生成の有無を切替えること特徴とする映像処理装置。
【請求項９】
請求項８の映像処理装置であって、
前記補完フレーム生成部は、前記動きベクトル検出部で検出された動きベクトル量に応じて補間フレームを生成しない方法と、前記映像信号に含まれる複数のフレームと前記動きベクトル検出部で検出した動きベクトルを利用して補間フレームを生成する方法と、前記寒暖色生成処理部で生成した寒暖色フレームを用いて前記補間フレームを生成する方法とのいずれかの方法を用いることを特徴とする映像処理装置。
【請求項１０】
請求項８又は９の映像処理装置であって、
前記動きベクトル検出部で検出された動きベクトル量が所定の閾値よりも小さい場合には前記補完フレーム生成部において補間フレームを生成しないことを特徴とする映像処理装置。
【請求項１１】
請求項８又は９の映像処理装置であって、
前記動きベクトル検出部で検出された動きベクトル量が所定の閾値よりも大きい場合には前記補間フレーム生成部において前記映像信号に含まれる複数のフレームと前記動きベクトル検出部で検出した動きベクトル情報を用いて補間フレームを生成することを特徴とする映像処理装置。
【請求項１２】
映像信号の補間フレームを生成する映像処理装置であって、
寒暖色のフレームを前記映像信号の補間フレームとして前期映像信号に挿入することを特徴とする映像処理装置。
【請求項１３】
映像信号の補間フレームを生成する映像処理方法であって、
寒暖色フレームを生成し、
前記生成した寒暖色フレームを用いて前記映像信号の補間フレームを生成することを特徴とする映像処理方法。
【請求項１４】
請求項１３の映像処理方法であって、
気温を測定し、
前記測定した気温に基づいて前記寒暖色フレームを生成することを特徴とする映像処理方法。
【請求項１５】
請求項１３又は１４の映像処理方法であって、
前記生成した補間フレームと前記映像信号のフレームとを組合せて新たなフレーム列の映像信号を生成し、
前記生成さしたフレーム列に応じて前記映像信号のフレームレートを変換することを特徴とする映像処理方法。
【請求項１６】
請求項１３〜１５のいずれかの映像処理方法であって、
前記映像信号の各フレームの平均輝度を算出し、
前記輝度算出部で算出した平均輝度に応じて前記生成した寒暖色フレームの輝度を変更すること特徴とする映像処理方法。
【請求項１７】
請求項１３〜１６のいずれかの映像処理方法であって、
前記映像信号に含まれる複数のフレームから映像の動きベクトルの情報を検出し、
前記検出した動きベクトル量に応じて前記寒暖色フレームの生成の有無を切替えること特徴とする映像処理方法。
【請求項１８】
請求項１７の映像処理方法であって、
前記検出した動きベクトル量に応じて、補間フレームを生成しない方法と、前記映像信号に含まれる複数のフレームと前記検出した動きベクトルを利用して補間フレームを生成する方法と、前記生成した寒暖色フレームを用いて前記補間フレームを生成する方法とのいずれかの方法を用いることを特徴とする映像処理方法。
【請求項１９】
請求項１７又は１８の映像処理方法であって、
前記検出した動きベクトル量が所定の閾値よりも小さい場合には補間フレームを生成しないことを特徴とする映像処理方法。
【請求項２０】
請求項１７又は１８の映像処理方法であって、
前記検出した動きベクトル量が所定の閾値よりも大きい場合には前記映像信号に含まれる複数のフレームと前記検出した動きベクトル情報を用いて補間フレームを生成することを特徴とする補間フレーム生成映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野は、映像信号の処理を行う映像処理装置及び映像処理方法に関する。
【背景技術】
【０００２】
特許文献１には、「フレームレート変換による動画質改善効果を得つつ、破綻の少ない映像を得ることが可能な技術を提供する」ことを課題とし、その解決手段として「入力映像信号の複数フレームから、映像の動きベクトルの情報を検出する動きベクトル検出部(24)
と、動きベクトルを用いて補間フレームを作成する補間フレーム生成部(25)と、補間フレーム生成部で生成された補間フレームと前記入力映像信号のフレームとを組み合わせて、新たなフレーム列の映像信号を生成して出力するフレーム列生成部(26)とを備え」、「入力映像信号の２つのフレーム間に複数の補間フレームが連続するような変換を行う場合は、その複数の補間フレームのうち少なくとも一つを、動きベクトルを用いない（すなわち映像の動きに依存しない）補間フレームとする」ことが記載されている（特許文献１要約参照）
特許文献２には、「ユーザが望むであろう目的のサブリミナル効果を推測して最適なサブリミナル効果を与えるサブリミナル効果機能付テレビを提供すること」を課題とし、その解決手段として「サブリミナル効果を与える複数の画像を記憶するフラッシュメモリ３０と、ＭＰＵ３１と、フラッシュメモリ３０に記憶された画像を選択する基準となる情報を提供する情報提供部とを有し、該情報提供部は、視聴中の番組のジャンルを提供するＥＰＧ取得部２６と、現在の時刻又は曜日の情報を提供する時計２７と、現在の天気の情報を提供する天気情報提供部２８と、現在の気温の情報を提供する温度計２９とからなり、ＭＰＵ３１は、前記情報提供部から何れかの情報を取得し、該取得した情報の内容に応じて予め関連付けられた画像をフラッシュメモリ３０から読み出して視聴中の映像に意識されない頻度で挿入する」（特許文献２要約参照）ことが記載されている。
【０００３】
特許文献３には、「画像の動きや番組ジャンルなどの画像信号の情報に基づいて表示される画像のフレーム数をフレキシブルに変換する」ことを課題とし、その解決手段として「所定のフレームレートを有する画像信号が入力される入力部(21)と、入力画像信号に関する情報を取得する情報取得部(24)と、入力画像信号のフレームレートを変換して出力するフレームレート変換部(26)とを備え」、「上記フレームレート変換部(26)は、情報取得部(24)で取得された入力画像信号の情報（画像の動き、番組ジャンル等）に基づいて、入力画像信号のフレームレート変換を行う」（特許文献３要約参照）ことが記載されている。
【０００４】
【特許文献１】特開２００８−１６７１０２
【特許文献２】特開２００８−７８７０４
【特許文献３】特開２００７−３１８１９３
【発明の開示】
【発明が解決しようとする課題】
【０００５】
視覚特性として、映像のパンニングやスポーツ映像、テロップなどディスプレイ上で高速に動くものに対しては、人間の見た目の解像度は低下することが一般に知られている。
そこで、秒間60フレームの映像を補間して、秒間120フレームや240フレームの映像にフレームレートを変換することで、見た目のなめらか感や解像感を補う製品が出てきている。
【０００６】
このフレームレートを変換する技術として、特許文献１では入力映像信号の複数のフレーム間の動きベクトルを探索し、探索した動きベクトルに応じて前後のフレーム画像を元に、新たな補間フレーム画像を生成し、フレーム間に挿入することによってフレーム数を増やしている。
【０００７】
このフレームレートを変換する技術は、見た目のなめらか感や解像感を補うことができるフレームレートを増やすため、ディスプレイ上で高速に動くものに対しては有効であるが、静止画など動きの少ない映像を表示する場合などには、その効果は少なくなる。また、表示するフレーム数を増やし、高速レートでのフレーム表示を行うため、消費電力増大と、表示装置の温度上昇が問題となる。
【０００８】
この消費電力増大の問題に対しては、特許文献３のように、静止画など動きの少ない映像表示を検知した場合には、表示フレームレートを落とすことで、消費電力の増加を抑えることができる。しかし、表示装置の温度上昇に関する工夫は記載されていない。
【０００９】
一方、秒間１２０フレームや秒間２４０フレームの高フレームレート描画は、ＴＶ放送や記録メディアやハードディスクに記録されている秒間２４フレームや秒間６０フレームの映像を、フレーム間の映像を予測して補間フレームを生成し、フレーム数を増加させて、フレームレートを高速化している。
【００１０】
高速なフレームレート描画により、秒間１２０フレーム描画の場合、１フレーム 約８．３ms、秒間２４０フレーム描画の場合、１フレーム約４．２ｍｓとなり、人間が１フレームの画像をはっきりと認識できにくくなり、瞬間の１フレームに所望の画像を挿入すると閾下知覚の効果が得られる。
【００１１】
閾下知覚とは、刺激を感じる場合と、感じない場合の境目である刺激閾以下の刺激が呈示された場合に、人間は認識できていないにも関らず、その後の認知、態度、行動に効果を及ぼす現象である。
【００１２】
人間は視覚からの刺激が一番強いため、ディスプレイ装置を利用した閾下知覚の効果は大きいと考えられる。また、高フレームレート化になり、刺激閾以下の刺激の呈示がし易くなってきている。
【００１３】
この閾下知覚の一種で、動画像に対して、人間が意識できない一瞬の程度に別の画像を挿入して、潜在意識に刺激を与えるサブリミナル効果やプライミングと呼ばれる現象が発生する場合がある。特許文献２には、ユーザが望むであろう目的のサブリミナル効果を推定して最適なサブリミナルを与える発明が開示されている。しかし、このサブリミナル効果をユーザの体感温度の調整に利用することについては考慮されていない。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明の一実施の態様は、寒暖色のフレームを映像信号の補間フレームとして映像信号に挿入する。
【発明の効果】
【００１５】
上記手段によれば、ユーザにとって使い勝手がよく、エネルギーをより効率良く利用する表示装置を提供することができる。具体的には、ディスプレイ視聴時の体感温度を調整し、空調の出力を抑え、空調装置の省エネ（エネルギーをより効率良く利用すること）を図ることができる。
【発明を実施するための最良の形態】
【００１６】
まず、本実施例の概要について説明する。本実施例では、高フレームレート化における表示装置の温度上昇を、視聴しているユーザに感じさせない、または温度上昇を有効に利用する工夫として、高フレームレートの1フレームに体感温度を調整する寒暖色を入れる映像処理装置を提案する。
【００１７】
寒暖色とは、ある色を見ると暖かく感じたり、涼しく感じたりする人間の心理的効果を利用した色の種類である。暖色系と寒色系の体感温度、つまり、心理的な温度差は、約３℃もあると言われており、その効果は大きい。
【００１８】
閾下知覚を利用し、視聴者に寒暖色を表示させることにより、体感温度の変化させる効果を引き出す。例えば夏に部屋が暑い場合、寒色系のフレームを挿入し、体感温度を低下させ、表示装置による温度上昇を感じさせないようにし、エアコンなどの空調装置の温度を高めに設定するよう促す。
【００１９】
また、例えば冬に部屋が寒い場合、暖色系のフレームを挿入して温度上昇を体感させ、エアコンなどの空調装置の温度を低めに設定するように促す。
【００２０】
また、人間の潜在意識に働きかける閾下知覚（サブリミナルなど）の利用は、寒暖以外の知覚をさけるため、特定のパターンの画像のみに制限をする。これにより、特定の閾下知覚の効果を効率良く得られる。
【００２１】
すなわち、本実施例においては、高フレームレート化に伴う電力増加や表示装置の温度上昇を抑制するために、まず動きベクトルを検知してフレームレート変換の有無を切替える処理（例えば動きの少ない場面では、高フレームレート化を実施しない等）を導入し、省電力を図る。
【００２２】
さらに、部屋の温度や季節を推測し、ユーザの体感温度に効果のある色の補間フレームを挿入することでユーザの体感温度を調整し、表示装置の温度上昇を有効に利用する。
【００２３】
以下、より具体的な実施の形態を、図１〜図１０を参照して説明する。図１は、本実施の寒暖色を利用した映像処理装置の構成の一例を示すブロック図である。
【００２４】
補間フレーム生成処理部１００に、入力映像と、寒暖色生成処理部１０１からの寒暖色情報が入力され、これらの情報を基に、フレームとフレームの間の補間フレームを生成し、高速なフレームレートで表示装置１０４に映像を出力する。入力映像は、チューナで受信したTV映像をデコードした映像や、CDやDVD、Blu-ray Discなど、メディアに記録された映像や、ハードディスクに保存した映像や、ネット上の映像コンテンツなど様々に考えられる。
【００２５】
補間フレーム生成処理部１００では、高速フレームレート出力が可能であり、見た目のなめらか感や解像感を補い、高画質をユーザに提供することができる。画像メモリ１０１は、オリジナルのフレームの信号を記憶し、補間フレーム生成処理１００部はこの画像メモリ１０１とアクセスしながら上記補間フレームの生成を行う。
【００２６】
また、画像メモリ１０１は、この補間フレームも記憶し、補間フレーム生成処理部１００はこの画像メモリ１０１とアクセスしながら上記記憶されたオリジナルフレームと補間フレームとを組合せることによって、上述の新たなフレーム列の映像信号を出力する。
【００２７】
寒暖色生成処理部１０２には、温度計（温度センサ）１０３から、周囲の温度情報を、時計１０４からは、現在の日時情報が入力される。この温度計や日時情報は他の方法で情報を入手できる手段を持てば良く、ディスプレイ装置そのものに設置しなくても良い。
【００２８】
例えば、本発明の補間フレーム生成処理がネットワークに対応した機器に組込まれた場合には、ネットワークに接続された温度センサや時計を利用して、温度情報、日時情報を入手しても良い。
【００２９】
寒暖色を生成する方法の例は、後述する図５で説明するが、周囲の温度と、その地域の通常の気候データベースを参照して、ユーザがどのような気温で映像を視聴しているかを推測し、寒暖色を判定する仕組みを有する。表示装置１０５は、フラットパネルディスプレイ（プラズマテレビや液晶テレビ、有機EL、FED(Field Emission Display)など）やCRTなど映像を表示する表示装置である。
【００３０】
人間の潜在意識に働きかける閾下知覚の利用は、寒暖以外の知覚を避けるため、特定の寒暖色パターンの画像のみに制限をしてもよい。寒暖色の閾下知覚効果のみを効果的に得るため、特定の寒暖色パターンの画像以外は、自由に補間フレームを生成できないような強固なセキュリティの仕組みや、もし、故意的に、特定の寒暖色パターン画像以外の補間フレームが生成された場合は、それを検知して、排除する仕組みを備えるようにしてもよい。
【００３１】
このセキュリティの仕組みや閾下知覚画像を排除する仕組みは、手段は問わない。これにより、寒暖以外の知覚を避けることができる。ここでは特定の寒暖色パターン画像以外の補間フレームが挿入されないようにする例を示したが、ユーザにとって有益な効果をもたらす補完フレーム等、寒暖色パターン画像以外の補完フレームを生成し、寒暖色パターン画像の補完フレームと組み合わせて使用してもよい。
【００３２】
図２は、本実施の映像処理装置のフレームレート変換の構成の一例を示すブロック図である。
【００３３】
補間フレーム生成処理部１００は、フレーム列生成部（メモリＩ／Ｆ）２００を介して画像情報を画像メモリ１０１へ書き込む。動きベクトル検出部２０１は、フレーム列生成部（メモリＩ／Ｆ）２００を介して入力された入力映像について現フレーム信号と、それよりも１フレーム前の前フレーム信号とを参照し、これらのフレームから映像の動きベクトルを検出する。
【００３４】
フレーム列生成部（メモリＩ／Ｆ）２００は、画像メモリ１０１から画像情報を読み出し、オリジナルフレームと補間フレームとを組合せた新たなフレーム列を生成し、そのフレーム列に合ったフレームレートで、映像を表示装置１０５に出力する。
【００３５】
動きベクトル検出部２０１は、フレーム間の動きベクトルを検出し、フレーム間、または、フレームに含まれる画像のオブジェクト単位の動き量が方向ベクトルとして検出する。動きベクトル検出方法としては、例えばブロックマッチング法や勾配法、位相相関法等を用いればよい。
【００３６】
輝度算出部２０２では、現フレーム信号と前フレーム信号のそれぞれの平均輝度や、各フレームの部分的な輝度差分を算出する。
【００３７】
寒暖色フレーム（メモリＩ／Ｆ）２０３は、寒暖色生成処理部１０２で、生成された寒暖色を利用して、寒暖色フレームを生成する。ここでは、輝度算出部２０２からの、輝度や輝度差分を利用して、寒暖色フレームの輝度を決定する。現フレーム信号と前フレーム信号の両フレームとも輝度の差分が大きい場合には、その輝度の差分のせいで、寒暖色フレームが浮き上がってしまうか、暗くなってしまうため、フレーム間の輝度差に調和する輝度の寒暖色フレームを生成する。
【００３８】
また、輝度算出部２０２からの輝度情報を利用して、寒暖色フレームの色相をずらす方法も考えられる。暗所視と明所視で、最大感度波長が異なるプルキンエ現象と呼ばれる人間の色知覚特性があり、明所視では、赤色に関する感度が高いが、暗所視では赤色の感度が低下し、青色の感度が高くなる現象が発生する。
【００３９】
このプルキンエ現象を利用して、輝度算出部２０２で算出された輝度から、寒暖色フレームの色相をずらす。例えば、寒暖色生成処理部１０２で生成された色が暖色系の赤で、その際、輝度算出部２０２で算出された輝度が低く、暗い画像の場合には、赤の感度が低いので、赤の感度を上げるために、色相上で、赤色の度合いをさらに高める処理を行うと、シーンによらず所望の寒暖色が得られる効果がある。
【００４０】
プルキンエ現象は、目の暗所順応に基づいており、目の順応は画面全体の平均輝度に順応し、その応答には、遅延が発生するので、輝度に応じてプルキンエ現象を利用した色合いを変える場合に、画面全体の平均輝度の応答を、目の順応に合わせて遅らせても良い。これにより、目の順応に合った寒暖色を表示でき、閾下知覚を効果的に利用できる効果がある。
【００４１】
寒暖色のフレームは、生成された寒暖色で塗りつぶした画像としても良いし、補間フレームの一部分を寒暖色で意味のない模様をつけた画像としても良い。例えば、ディスプレイの外周付近を寒暖色で塗りつぶし、ディスプレイの中心付近はブラック表示の画面を生成しても良く、逆にディスプレイの中心付近のみ寒暖色で塗りつぶし、外周はブラック表示したものを補間フレームとしても良い。また、寒暖色フレームは、入力映像信号の色情報に対して、生成された寒暖色に応じて色温度を変更したものを補間フレームとしても良い。例えば、入力映像信号の色温度が６５００Kの場合に、暖色系の場合には、色温度を下げ５０００Kに設定した映像を補間フレームとし、寒色系の場合には、色温度を９３００Kに設定した映像を補間フレームとする。
【００４２】
寒暖色フレームは、寒暖色フレーム（メモリＩ／Ｆ）２０３を介して画像メモリ１０１へ書き込まれるが、新規でメモリＩ／Ｆを用意しなくても、フレーム列生成部（メモリＩ／Ｆ）２００と共有して利用しても良い。
【００４３】
切替処理部２０４は、表示装置１０５へ出力する映像のフレームレートを選択する。例えば、入力映像が６０Hzの場合に、その６０Hzの入力映像と、動きベクトル検出部２０１からのフレーム間の動きベクトルが入力され、動きベクトル検出部２０１において、フレーム間の動きベクトル量がある閾値よりも大きい場合には、見た目のなめらかさと解像感を高めるために、補間フレーム生成部２０５において、現フレームと前フレームの間に１枚の補間フレームを生成し、秒間１２０フレームのフレーム列を生成し、フレーム列生成部（メモリＩ／Ｆ）２００において、１２０Hzのタイミングで表示装置１０５に出力する。その際、同時に切替処理部２０４から表示装置１０５に対して、表示装置の１２０Hz駆動の動作周波数を設定する。
【００４４】
動きベクトル検出部２０１において、動きベクトル量がある閾値よりも小さい場合には、補間フレームの生成はせずに、秒間６０フレームのフレーム列のまま表示装置１０５に出力する。その際、同時に切替処理部２０４から表示装置１０５に対して、表示装置の６０Hz駆動の動作周波数を設定する。
【００４５】
切替処理部２０４での、表示フレームレートを決めるフレーム間の動きベクトル量を判定する閾値は、複数段あっても良く、その場合、動きベクトル量に応じて、複数段のフレームレートを設定することが可能となる。例えば、ベクトル量閾値A、B、C、Dと４段階の閾値を設定し、映像の動きベクトル量に応じて、A→６０Hz、B→１２０Hz、C→１８０Hz、D→２４０Hzと切替えるようにしてもよい。
【００４６】
寒暖色フレーム（メモリＩ／Ｆ）２０３に寒暖色フレームが存在する場合には、補間フレーム生成部２０５において、寒暖色フレームを補間フレームとして、フレーム列を生成する。しかし、動きの大きい映像の場合、寒暖色フレームを補完フレームとして挿入することで見た目のなめらかさが損なわれ、解像感が低下する恐れがある。
【００４７】
そこで、動きベクトル検出２０１において、フレーム間の動きベクトルが少ない場合（ある閾値よりも小さい範囲の動きの場合）に寒暖色フレームを挿入するようにしてもよい。寒暖色フレームの挿入タイミングを１秒間に１回の割合で挿入される設定にすると、例えばフレーム間の動きベクトルが少ない場合に補間フレーム生成部２０５で補間フレームを生成して表示装置１０５に１２０Hz出力をし、それ以外のタイミングでは、補間フレームは生成せず、表示装置１０５に６０Hz出力をする。
【００４８】
上記では、動きベクトル検出部２０１、輝度算出部２０２、切替処理部２０４に、現フレームと前フレームを入力する例で記載しているが、さらに複数フレームを入力とすることで、倍速周波数出力のみでなく、様々な周波数での表示装置への出力が可能となる。
【００４９】
補間フレーム生成部２０５は、動きベクトル検出部での情報を元に、フレームとフレームの間に存在するであろう画像を推測し、補間フレームを生成するか、または、寒暖色フレーム２０３からの寒暖色フレームを補間フレームとして、フレーム列を生成する。
【００５０】
生成したフレーム列は、フレーム列生成部（メモリＩ／Ｆ）２００に書き込み、フレーム列生成部（メモリＩ／Ｆ）２００によって、画像メモリ１０１からの読み出しを制御し、オリジナルフレームと補間フレームとを組合せた新たなフレーム列を生成し、そのフレーム列に合ったフレームレートで、映像を表示装置１０５に出力できる。
【００５１】
本構成により、フレーム間の動きベクトル量によって、補間フレーム生成の有無を切替えて、動きが多い映像時は、なめらかさと解像感を優先して、高速フレームレートでの映像を表示装置に出力し、動きの少ない映像時は、高フレームレート表示をせず、低電力化を図ることができる。
【００５２】
さらに、寒暖色フレームをフレーム間の動きベクトル量によって挿入し、寒暖色フレームを挿入する時のみ、表示装置への出力を高速レートに設定し、それ以外のタイミングでは、高フレームレート表示をしないことにより、低電力化を図ることができる。これにより寒暖色フレームの挿入による体感温度の調整もできるので、エアコンなどの空調装置の温度を抑えめ設定でき、さらなる省エネを実現できる。
【００５３】
図３は、本実施の寒暖色フレームの有無の差による動作フローの一例である。
【００５４】
寒暖色生成処理部１０２において、寒暖色を生成する必要がないと判断される状態が続く場合を検知するために、寒暖色生成がない回数Nを設け、初期値としてN=0を設定する（Ｓ３００）。寒暖色生成がない状態が続く場合には、ユーザがちょうど具合の良い空調環境で映像を視聴していると考えられるので、この場合に温度、時刻情報取得、寒暖色生成処理を長時間実施しないことで、省電力の効果を高めることができる。
【００５５】
寒暖色生成処理部１０２において、温度計１０３、時計１０４から、温度情報と時刻情報を取得する（Ｓ３０１）。Ｓ３０１で取得した温度と時刻から、寒暖色生成処理部１０２において、寒暖色生成処理を実施する（Ｓ３０２）。Ｓ３０２において、ルールに合致して、体感温度を調整する寒暖色が存在したかどうかを判定する（Ｓ３０３）。
【００５６】
Ｓ３０３において、寒暖色が存在した場合には、入力映像の動きベクトルが少ないかどうかを判定する（Ｓ３０４）。Ｓ３０４において、動きベクトルが少ない場合には、寒暖色の補間フレームを挿入する（Ｓ３０５）。Ｓ３０４において、動きベクトルが多い場合には、動き補償を考慮した補間フレームを生成することで、見た目の解像感、なめらかさを確保するために、Ｓ３１０の動き補償を考慮した補間フレーム生成処理に移行する。
【００５７】
Ｓ３０６では、オリジナルフレームと補間フレームとを組合せた新たなフレーム列を生成し、そのフレーム列に合ったフレームレートで、映像を表示装置１０５に出力する。
【００５８】
Ｓ３０７では、新たに温度情報と時刻情報を取得し、寒暖色補間フレームをユーザに提示するまでの時間をカウントするタイマをスタートさせる。このタイマの設定値は、ユーザインタフェースを有したシステムの場合には、ユーザが設定しても良い。寒暖色生成処理部１０２において、寒暖色が生成された場合、心地よい環境ではないことが推測されるので、環境調整のため、ある程度、短時間のタイマが推奨されるが、数ms単位の短いタイマであると、寒暖色の補間フレームの表示頻度が増え、映像にちらつきが発生する可能性もあるので、数秒単位が望ましい。  さらに、ユーザの体温などを検知して、体温が気温と離れている際は、数秒、体温と気温があまり差がない場合は数分程度と調整可能な設定でも良い。
【００５９】
Ｓ３０８では、短時間タイマの満了を待って、タイマ満了後には、Ｓ３０１から動作シーケンスが再開する。
【００６０】
Ｓ３０３において、寒暖色生成がない場合には、すでに心地よい空調環境の中で、ディスプレイを視聴していると考えられる。Ｓ３０９ではその寒暖色生成なし回数Ｎを測定するために、Ｎのインクリメント処理を行う。次に、見た目の解像感、なめらかさを確保するために、動き補償を考慮した補間フレーム生成処理に移行する（Ｓ３１０）。
【００６１】
Ｓ３１１では、オリジナルフレームとＳ３１０で生成した補間フレームとを組合せた新たなフレーム列を生成し、そのフレーム列に合ったフレームレートで、映像を表示装置１０５に出力する。
【００６２】
次に、Ｓ３１２において、寒暖色生成なし回数Ｎが設定したある閾値以上になった場合には、すでに心地よい空調環境が続いていると考えられるので、長時間タイマを起動し（Ｓ３１３）、温度や時刻情報の更新処理や、寒暖色生成処理を長時間停止することで、消費電力を低減させる。
【００６３】
長時間タイマが満了した場合には、Ｓ３００に戻り、寒暖色生成なし回数を０クリアして、再度、寒暖色生成処理を実施し、体感温度調整が必要かどうかを判定し、補間フレーム生成を継続する。
【００６４】
なお、ユーザインタフェースを有するシステムに組み込まれた場合には、“エコモード”などのモード設け、エコモードに設定された時のみ、本動作シーケンスが開始されるものとしても良い。
【００６５】
図４は、本実施の映像と表示フレーム数の関係の一例を示す図である。
【００６６】
動きベクトル検出部２０１において、動きベクトル量が少ないと判断され、切替処理部２０４にて、表示フレームレートが入力映像と同じ６０Hzと判断されたシーンから、動き量が大きく、１２０Hzに高速化されたフレームレート表示が行われている様子を示しており、さらに、動きベクトル量が少なく６０Hz表示がなされている場面で、寒暖色フレームがある場合には、寒暖色フレームを挿入するシーンで、１２０Hz表示に切替えている。
【００６７】
このように、動き量が少ない映像時は、入力時の６０Hzの映像で表示し、動き量が多い映像時は、倍速の１２０Hzで表示することで、動き量が少ない映像時の低電力化が図れる。さらに、寒暖色を入れる時のみ高速フレーム化をすることで、極力電力を抑えながら、高速レートでの閾下知覚を利用することができる。
【００６８】
なお、より大きい閾下知覚効果を得る場合には、６０Hz表示のまま、動きの少ない映像の１フレームを、寒暖色フレームと置き換える方法も考えられる。この際は、閾下知覚の刺激が増えるので、より強い閾下知覚効果を得ることができる。
【００６９】
図５は、本実施に利用する寒暖色の色相の一例を示す図である。
【００７０】
黄色から赤色の色相が、心理的、体感的に暖かさを感じる暖色系であり、黄色→橙→赤になる程、温度を高く感じる。青を中心とした色相が、心理的、体感的に冷たさ、クールさを感じる寒色系である。その他の色は、中性色系で、個人や状況によって心理的感情が変化するので、感情が特定できない色である。
【００７１】
図６は、本実施の寒暖色生成処理部１０２の構成の一例と、寒暖色を生成する手法の例を示す図である。
【００７２】
寒暖色生成処理部１０２は図５で説明した寒暖色データベース５００と、日時情報から各季節各時間帯における気温などがデータベース化された気象データベース５０１を備え、温度計１０３からの部屋の温度情報と、時計１０４からの現在の日時情報を取得して、ファジィ推論などを利用した寒暖色ルールベース推論部５０２において、寒色系、暖色系の度合いを算出する仕組みを有する。
【００７３】
ルールベース推論としては、例えば、夏（通常気温の高い季節）に、その部屋の温度が低い場合は、クーラーの効いた部屋で、ディスプレイで映像を視聴していると考えられる。この場合、寒色系の青色の補間フレームを挿入することで、体感温度をさらに３℃程度低下できると考えられる。すると、体感温度が低下した分、クーラーの温度設定を上昇させることが可能となる。これが、下記に示すルール１である。
【００７４】
下記のルールでは、ルール毎にメンバーシップ関数を設定し、ルールの照合度合いから、寒暖色の度合いを算出することができる例を示している。例では、温度が低い割合と、通常気温の高い季節を満たす割合の２つのＭｉｎの割合から、寒色系の度合いを算出している。
【００７５】
同様に、実験や長年の経験から、下記のようなルールを作成し、寒暖色系の度合いを算出し、その結果、生成された寒暖色を補間フレーム生成処理部１００に通知する。
ルール１：もし、温度が低く、通常気温の高い季節ならば、寒色系の度合いを大きくする。
ルール２：もし、温度が高く、通常気温の高い季節ならば、寒色系の度合いを大きくする。
ルール３：もし、温度が高く、通常気温の低い季節ならば、暖色系の度合いを大きくする。
ルール４：もし、温度が低く、通常気温の低い季節ならば、暖色系の度合いを大きくする。
…
図７は、本実施の寒暖色生成処理部１０２における、寒暖色を生成する際に利用する寒暖色の度合いの例を示す図である。
【００７６】
横軸に色相を表現しており、寒色系の中でも、青色付近が一番涼しさを感じる度合いが大きく、青紫、青緑に近づく程、涼しさを感じる度合いは少なくなる。暖色系では、赤色が一番暖かさを感じる度合いが高く、黄色が低くなっている。この度合いを示す関係から、周囲の状況に合わせた寒暖の度合いから、生成する寒暖色フレームの色を決定できる。
【００７７】
図８は、本実施の寒暖色フレーム生成に利用するプルキンエ現象を示す図である。人間の目が感じることのできる光（可視光線）は、380nm〜780nmの波長であるが、同じ強さの明るさでも、波長が異なれば人間の目には明るさは異なって見え、波長によってその感じ方（感度）が異なる。
【００７８】
プルキンエ現象とは、暗所視と明所視で、最大感度波長が異なる現象であり、暗所視では約525nm、明所視では約555nm付近が最大感度となる。つまり、明所視では、赤色に関する感度が高いが、暗所視では赤色の感度が低下し、青色の感度が高くなる現象が発生する。
【００７９】
本実施では、寒暖色フレーム生成時は、プルキンエ現象を利用して、オリジナルフレームの輝度に合わせた輝度で補間フレームを生成し、その輝度の変化に応じて、プルキンエ現象を利用して、色補正を行う。例えば、暗い画像の場合には、赤の感度が低いので、赤の感度を上げるために、色相上で、赤色の度合いをさらに高める処理を行うと、シーンによらず所望の寒暖色が得られる効果がある。
【００８０】
図９は、本実施の寒暖色フレーム生成にプルキンエ現象利用の色補正値の一例を示す図である。輝度算出部２０２において、フレームの平均輝度算出値から画面全体の明暗度を対応付け、その明暗度によって、図８のプルキンエ現象に対応した色補正を行う際の、一例を示している。光の３原色の赤、青、緑の補正を行うことで、寒暖色の色補正を行う例である。
【００８１】
プルキンエ現象に従うと、明所視では、赤色に関する感度が高いが、暗所視では赤色の感度が低下し、青色の感度が高くなる現象が発生するため、暗い(輝度が低い)場合には、赤色の強度を強くし、明るいところでは、青色の強度を強くすることで、寒暖色としての色再現ができることとなる。
【００８２】
図１０は、本実施の映像処理装置を組込だディスプレイ使用例を示す図である。
【００８３】
図１０において本実施の映像処理装置を組込んだディスプレイ装置１０００は、無線ＬＡＮやキャリアが運営している無線通信（W‐CDMA、GSM、LTEなど）で、ネットワークと接続されている。
【００８４】
図１０では、エアコンなどの空調装置１００１、温度センサ１００２も同様に無線経由でネットワーク１００４に接続されている。ネットワーク１００４には、日時情報が取得可能な仕組み１００３と、その地域の気象データベースが用意されている。
【００８５】
例えば、夏の暑い日に、ユーザが空調装置１００１によって部屋の温度を下げた環境でディスプレイ１０００を視聴している場合を考える。これは、図６の寒暖色ルールベース推論部５０２のルール１のパターンと一致し、寒色系の度合いが大きい寒暖色フレームが生成される。
【００８６】
これにより、体感温度が低下するので、ユーザは寒暖色フレームを入れる前よりも、口調装置１００１の温度を高く設定するようになると考えられ、空調装置の省エネが図れる。空調装置１００１は、ネットワークに接続されているので、ディスプレイ装置１０００に寒暖色フレームを入れた後、空調装置１００１は自動で温度を高めに設定することも可能となる。
【００８７】
なお、上述した本実施形態は、本発明の説明のための例示であり、本発明の範囲を実施形態にのみ限定する趣旨ではない。例えば、本実施では、画質優先でオリジナルフレームは変更せず、補間フレームを利用した実施例を記載しているが、映像視聴に影響がでない範囲内であれば、オリジナルフレームに寒暖色フレームを挿入しても良い。また、寒暖色の効果を利用しない設定にしてもよく、その場合動きベクトル変化量に応じて、フレームレートを変換でき、低電力化が図れる機能としても利用できる。また、ユーザインタフェースを有するシステムに組み込まれた場合には、“エコモード”などのモード設け、エコモードに設定された時のみ、本実施がなされるものとしても良い。
【図面の簡単な説明】
【００８８】
【図１】本実施例の寒暖色を利用した映像処理装置の構成の一例を示すブロック図である。
【図２】本実施例の映像処理装置のフレームレート変換の構成の一例を示すブロック図である。
【図３】本実施例の寒暖色フレームの有無の差による動作フローの一例である。
【図４】本実施例の映像と表示フレーム数の関係の一例を示す図である。
【図５】本実施例で利用する寒暖色の一例を示す図である。
【図６】本実施例の寒暖色生成処理部１０２の構成の一例と、寒暖色を生成する手法の例を示す図である。
【図７】本実施例の寒暖色生成処理部１０２における、寒暖色を生成する際に利用する寒暖色の度合いの例を示す図である。
【図８】本実施例の寒暖色フレーム生成に利用するプルキンエ現象を示す図である。
【図９】本実施例の寒暖色フレーム生成にプルキンエ現象利用の色補正値の一例を示す図である。
【図１０】本実施例の映像処理装置を組込だディスプレイ使用例を示す図である。
【符号の説明】
【００８９】
１００    補間フレーム生成処理部
１０１    画像メモリ
１０２    寒暖色生成処理部
１０３    温度計
１０４    時計
１０５    表示装置
２００    動きベクトル検出部
２０１    フレーム列生成（メモリＩ／Ｆ）
２０２    輝度算出部
２０３    寒暖色フレーム（メモリＩ／Ｆ）
５００    寒暖色データベース
５０１    気象データベース
５０２    寒暖色ルールベース推論部
１０００    ディスプレイ装置
１００１    空調装置
１００２    温度センサ
１００３    日時情報
１００４    ネットワーク
１００５    気象データベース
【図１】
2010130601.tif 000003
【図２】
2010130601.tif 000004
【図３】
2010130601.tif 000005
【図４】
2010130601.tif 000006
【図５】
2010130601.tif 000007
【図６】
2010130601.tif 000008
【図７】
2010130601.tif 000009
【図８】
2010130601.tif 000010
【図９】
2010130601.tif 000011
【図１０】
2010130601.tif 000012