(57)【要約】【課題】異なる視野角で撮影された複数の画像を１つの画面上に並べて表示する際に、画像間で撮影範囲が同じ領域の見え方を統一することのできる技術を提供する。【解決手段】本発明の画像表示装置は、入力された画像がズームブラケット画像であるか否かを判定する判定手段と、判定手段で入力された画像がズームブラケット画像であると判定され、且つ、該ズームブラケット画像を構成する複数の画像のいずれか２つ以上を１つの画面上に並べて表示する場合に、表示する画像のいずれか１つを選択する選択手段と、選択された画像から色または輝度の特徴量を取得する取得手段と、取得された特徴量に基づいて、画像の色または輝度を補正する画像処理に用いる処理パラメータを決定する決定手段と、表示する全ての画像に、決定された処理パラメータを用いた画像処理を施す画像処理手段と、を有する。【選択図】図１
2012058442.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を１つの画面上に並べて表示可能な画像表示装置であって、
入力された画像が、異なる視野角で撮影された複数の画像からなるズームブラケット画像であるか否かを判定する判定手段と、
前記判定手段で前記入力された画像が前記ズームブラケット画像であると判定され、且つ、該ズームブラケット画像を構成する複数の画像のいずれか２つ以上を１つの画面上に並べて表示する場合に、表示する画像のいずれか１つを選択する選択手段と、
前記選択手段で選択された画像から色または輝度の特徴量を取得する取得手段と、
前記取得手段で取得された特徴量に基づいて、画像の色または輝度を補正する画像処理に用いる処理パラメータを決定する決定手段と、
表示する全ての画像に、前記決定手段で決定された処理パラメータを用いた画像処理を施す画像処理手段と、
を有することを特徴とする画像表示装置。
【請求項２】
前記選択手段は、前記ズームブラケット画像を構成する複数の画像のいずれか１つを表示する１画面表示から、前記ズームブラケット画像を構成する複数の画像のいずれか２つ以上を１つの画面上に並べて表示する多画面表示へ切り替えられた場合に、前記１画面表示時に表示されていた画像を選択する
ことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記選択手段は、前記ズームブラケット画像を構成する複数の画像のいずれか２つ以上を１つの画面上に並べて表示する場合に、表示領域の最も大きい画像を選択する
ことを特徴とする請求項１に記載の画像表示装置。
【請求項４】
前記選択手段は、
前記ズームブラケット画像を構成する複数の画像のいずれか２つ以上を１つの画面上に並べて表示する場合に、表示する画像のうち、視野角が最も狭い画像の輝度と視野角が最も広い画像の輝度との差分を算出し、
前記差分が所定の閾値より大きい場合には、前記視野角が最も狭い画像を選択し、
前記差分が所定の閾値以下の場合には、前記視野角が最も広い画像を選択する
ことを特徴とする請求項１に記載の画像表示装置。
【請求項５】
複数の画像を１つの画面上に並べて表示可能な画像表示装置の制御方法であって、
入力された画像が、異なる視野角で撮影された複数の画像からなるズームブラケット画像であるか否かを判定する判定ステップと、
前記判定ステップで前記入力された画像が前記ズームブラケット画像であると判定され、且つ、該ズームブラケット画像を構成する複数の画像のいずれか２つ以上を１つの画面上に並べて表示する場合に、表示する画像のいずれか１つを選択する選択ステップと、
前記選択ステップで選択された画像から色または輝度の特徴量を取得する取得ステップと、
前記取得ステップで取得された特徴量に基づいて、画像の色または輝度を補正する画像処理に用いる処理パラメータを決定する決定ステップと、
表示する全ての画像に、前記決定ステップで決定された処理パラメータを用いた画像処理を施す画像処理ステップと、
を有することを特徴とする画像表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置及びその制御方法に関する。
【背景技術】
【０００２】
ブラケット撮影と呼ばれる撮影手法が、静止画撮影において古くから行われている。ブラケット撮影の一種であるズームブラケット撮影では、シャッターが押されると、あらかじめ設定してあった何種類かのズーム倍率（視野角）の静止画が撮影される（例えば特許文献１）。
ズームブラケット撮影の撮影方法としては、特許文献２に開示の方法のように、撮影を一回行い、ＣＣＤからの読み出し方を工夫することによって複数の視野角の静止画を得る手法もある。
また技術の進歩に伴い、今後は、ズームブラケット撮影により視野角の異なる複数の動画の撮影が行われる可能性がある。
以上のように、ズームブラケット撮影では、ある時刻の撮影において、視野角の異なる複数の画像が生成されることになる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３３５４３６号公報
【特許文献２】特開２００６−４２３９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したズームブラケット撮影で撮影された複数の画像（静止画や動画）を、テレビ等の画像表示装置に表示する場合、比較や同時観賞のため、撮影された複数の画像を同時にテレビに表示（多画面表示）することが考えられる。そして、視聴に適した表示を行うためには、画像に画像処理を施す必要がある。
【０００５】
しかしながら、視野角の広い画像（撮影されている範囲（撮影範囲）の広い画像）と視野角の狭い画像（撮影範囲の狭い画像）とでは、撮影範囲が異なるため、画像全体の特徴量が異なる。そのため、画像毎にその画像の特徴量に基づいて画像処理を行うと、視野角の広い画像と狭い画像とで、撮影範囲が同じ領域の見え方が異なってしまう。
【０００６】
本発明は、異なる視野角で撮影された複数の画像を１つの画面上に並べて表示する際に、画像間で撮影範囲が同じ領域の見え方を統一することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像表示装置は、複数の画像を１つの画面上に並べて表示可能な画像表示装置であって、入力された画像が、異なる視野角で撮影された複数の画像からなるズームブラケット画像であるか否かを判定する判定手段と、前記判定手段で前記入力された画像が前記ズームブラケット画像であると判定され、且つ、該ズームブラケット画像を構成する複数の画像のいずれか２つ以上を１つの画面上に並べて表示する場合に、表示する画像のいずれか１つを選択する選択手段と、前記選択手段で選択された画像から色または輝度の特徴量を取得する取得手段と、前記取得手段で取得された特徴量に基づいて、画像の色または輝度を補正する画像処理に用いる処理パラメータを決定する決定手段と、表示する全ての画像に、前記決定手段で決定された処理パラメータを用いた画像処理を施す画像処理手
段と、を有する。
【０００８】
本発明の画像表示装置の制御方法は、複数の画像を１つの画面上に並べて表示可能な画像表示装置の制御方法であって、入力された画像が、異なる視野角で撮影された複数の画像からなるズームブラケット画像であるか否かを判定する判定ステップと、前記判定ステップで前記入力された画像が前記ズームブラケット画像であると判定され、且つ、該ズームブラケット画像を構成する複数の画像のいずれか２つ以上を１つの画面上に並べて表示する場合に、表示する画像のいずれか１つを選択する選択ステップと、前記選択ステップで選択された画像から色または輝度の特徴量を取得する取得ステップと、前記取得ステップで取得された特徴量に基づいて、画像の色または輝度を補正する画像処理に用いる処理パラメータを決定する決定ステップと、表示する全ての画像に、前記決定ステップで決定された処理パラメータを用いた画像処理を施す画像処理ステップと、を有する。
【発明の効果】
【０００９】
本発明によれば、異なる視野角で撮影された複数の画像を１つの画面上に並べて表示する際に、画像間で撮影範囲が同じ領域の見え方を統一することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る画像表示装置の機能構成の一例。
【図２】本実施形態に係る画像表示装置における画像表示処理の流れの一例。
【図３】本実施形態に係る画像表示装置に入力されるズームブラケット画像の一例。
【図４】本実施形態に係るレイアウト処理の結果の一例。
【図５】本実施形態に係る画像表示装置における、特徴量選択処理の流れの一例。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態に係る画像表示装置及びその制御方法について説明する。本実施形態に係る画像表示装置は、複数の画像を１つの画面上に並べて表示可能な画像表示装置である。
図１は、本実施形態に係る画像表示装置の機能構成の一例を示すブロック図である。
【００１２】
符号１００は、画像表示装置全体を示す。本実施形態に係る画像表示装置の例としては、デジタルテレビ、液晶プロジェクターなどが挙げられる。
符号１０１は、画像表示装置１００全体の制御や、各種画像処理、各種演算を行う演算制御部を示す。演算制御部１０１は、例えば、ＣＰＵ（Central Processing Unit）とＲ
ＡＭ（Random Access Memory）またはＲＯＭ（Read only memory）、これらと同一の機能を有するマイクロコントローラなどの集積回路などで構成することができる。
【００１３】
符号１０２は、画像表示装置１００の外部から画像（画像データ）を入力する入力部を示す。入力部１０２はＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（High-Definition Multimedia Interface）、ＵＳＢ（Universal Serial Bus）やＬＡＮ（Local Area Network）などの通信規格の端子およびその処理回路などで構成される。
例えば、入力部１０２には、フレーム毎に１枚の画像が撮影された通常画像、フレーム毎に異なる撮影条件で複数の画像が撮影されたブラケット画像などが入力される。なお、本実施形態では、ブラケット画像のうち、異なる視野角で撮影された複数の画像からなるブラケット画像を、ズームブラケット画像とよぶ。
また、入力部１０２は、必要に応じて入力画像を画像表示装置１００内部で処理可能なデータ形式に変換する。
また、入力部１０２は、画像処理が施された画像が入力された場合には、入力画像に対し、施された画像処理を取り消す処理を施す。例えば、γ処理が施された画像に対しては逆γ処理が施される。この場合画像に対して施されたγ処理の情報は、画像に付与されて
いるメタデータ等から取得する。
【００１４】
符号１０３は、入力画像がズームブラケット画像であるか否かを判定する画像判定部（判定手段）を示す。
符号１０５は、画像から色や輝度などの各種特徴量を取得する特徴量取得部（取得手段）を示す。特徴量は、画像全体から取得することも可能であり、画像の一部分から取得することも可能である。特徴量は、例えば、輝度値、Ｒ値、Ｇ値、Ｂ値の画素間の差などの値であってもよいし、輝度値、Ｒ値、Ｇ値、Ｂ値それぞれのヒストグラム、合計値、平均値、最大値、最小値など、特徴量を元に算出した統計量であってもよい。但し、特徴量は、これらに限らず、少なくとも画像の色または輝度の特徴を表すものであればよい。特徴量取得部１０５で取得された特徴量は演算制御部１０１へと送られる。
【００１５】
符号１０４は、演算制御部１０１からの指示に基づいて、入力された画像（入力画像）に対し拡大/縮小処理および１つの画面上での画像の配置を決定する配置処理を施すレイ
アウト部を示す。本実施形態では、拡大/縮小処理および配置処理を併せて、レイアウト
処理と呼ぶ。レイアウト部１０４は、例えば、入力画像がブラケット画像であり、且つ、ブラケット画像を構成する複数の画像のいずれか２つ以上を１つの画面に表示する多画面表示を行う場合に、表示する各画像に拡大/縮小処理を施す。そして、拡大/縮小処理が施された複数の画像を合成し、それらの画像が並んだ１つの画像（合成画像）とする。
符号１０６は、画像に対し、γ処理、色補正など、画像を適正に表示するための各種画像処理（少なくとも画像の色または輝度を補正する画像処理）を施す画像処理部（画像処理手段）を示す。
【００１６】
符号１０７は、画像を表示する表示部を示す。表示部１０７は、液晶、プラズマ、有機ＥＬなどの表示パネルとその制御回路で構成されている。
符号１０８は、記録部を示す。記録部１０８は、フラッシュメモリやハードディスクなどの不揮発性メモリデバイスによって構成される。記録部１０８には、ブラケット画像などが記録される。記録部１０８は画像表示装置１００から取り外し可能であってもよい。
符号１０９は、ユーザーの操作を受け付ける操作部を示す。操作部１０９はボタンや十字キーなどで構成される。操作部１０９に変わって、リモコン等から送信された信号を受信する受信部が設けられていてもよい。
【００１７】
図２は、本実施形態に係る画像表示装置における画像を表示する際の処理（画像表示処理）の流れの一例を示すフローチャートである。
まず、Ｓ２０１において、画像表示装置１００の外部から入力部１０２に入力画像が入力される。入力画像はレイアウト部１０４へ送られる。その後、Ｓ２０２へ進む。なお、入力画像は、記録部１０８に保存されている画像であってもよい。その場合には、演算制御部１０１が、記録部１０８から入力画像を読み出して入力部１０２に出力すればよい。
【００１８】
入力画像について、図３（ａ），（ｂ）を用いて説明する。
図３（ａ），（ｂ）は、本実施形態に係る画像表示装置に入力されるズームブラケット画像の例を示す図である。
図３（ａ）の例では、ズームブラケット画像は、１／６０秒毎に、異なる視野角で２枚の画像Ａ，Ｂ（画像Ａ１とＢ１、画像Ａ２とＢ２、画像Ａ３とＢ３）が撮影された画像（動画）である。
画像Ａは画像Ｂよりも広い視野角で撮影された画像である。そのため、図３（ｂ）に示すように、画像Ｂの撮影範囲は、画像Ａの撮影範囲の一部（破線で示す領域の撮影範囲）と同じとなる。このように撮影範囲が同じ画像（領域）からは、同じ特徴量を得ることができる。
また、本実施形態では、視野角の広い画像に対する視野角の狭い画像の撮影範囲や、撮
影条件（視野角、露出、フォーカス位置、しぼり、シャッタースピード等）などの情報はブラケット画像に付随しているものとする。
【００１９】
なお、図３（ａ），（ｂ）は、フレーム毎に視野の異なる２枚の画像が撮影された場合の例であるが、フレーム毎に、２枚より多くの画像が撮影されていてもよい。
また、図３（ａ），（ｂ）は、ズームブラケット画像の例であるが、入力されるブラケット画像はズームブラケット画像に限らない。例えば、露出やフォーカスなど、他の撮影条件を変えて撮影を行うことにより生成されたブラケット画像を入力することもできる。
【００２０】
Ｓ２０２では、レイアウト部１０４が、レイアウト処理を行う。その後、Ｓ２０３へ進む。
【００２１】
レイアウト処理について図４（ａ）〜（ｃ）を用いて説明する。
図４（ａ）〜（ｃ）は本実施形態に係るレイアウト処理の結果（フレーム毎に２枚の画像Ａ，Ｂが撮影されたブラケット画像に対するレイアウト処理の結果）の例を示す図である。
図４（ａ）は、２枚の画像Ａ，Ｂを等しいサイズでレイアウトした例である。図４（ｂ）は、一方の画像Ｂを大きく、他方の画像Ａを小さくレイアウトした例である。図４（ｃ）は、２枚の画像のうち１枚（画像Ａ）を選択してレイアウトした例である。
どのようにレイアウトするかは、演算制御部１０１からの指示によって決定される。ユーザーは操作部１０９を通じて演算制御部１０１にどのようにレイアウトするかを指示することができる。
各画像の表示領域（画面内での領域）の情報（レイアウト情報）は演算制御部１０１内に記録される。
レイアウト処理が施された画像は特徴量取得部１０５へ送られる。
【００２２】
なお、入力画像がフレーム毎に３枚以上の画像が撮影されたブラケット画像である場合は、全ての画像を１つの画面上に並べても良いし、撮影条件の異なる複数の画像の中からいくつかを選択して、図４（ａ）〜（ｃ）のようにレイアウトしても良い。
入力画像がフレーム毎に１枚の画像が撮影された通常画像の場合には、図４（ｃ）のようなレイアウトになる。
【００２３】
Ｓ２０３では、画像判定部１０３が、入力画像がズームブラケット画像であるか否かを判定する。画像判定部１０３は、例えば、入力画像に付随している情報（メタデータ）に基づいて、入力画像がズームブラケット画像であるか否かを判定する。具体的には、メタデータから、ブラケット画像を構成する画像間で視野角が異なるか否かを判定し、異なる場合に、入力画像をズームブラケット画像であると判定する。
【００２４】
入力画像がズームブラケット画像であった場合には（Ｓ２０３：ＹＥＳ）、Ｓ２０４へ進む。入力画像がズームブラケット画像でない場合には（Ｓ２０３：ＮＯ）、Ｓ２０６へ進む。
【００２５】
Ｓ２０４では、演算制御部１０１が、Ｓ２０２で記録されたレイアウト情報を特徴量取得部１０５に送信する。そして、特徴量取得部１０５が、レイアウト情報に基づき、レイアウト処理が施された画像から画像の特徴量（レイアウト処理が施された画像が合成画像の場合には、合成画像内に配置された各画像の特徴量）を取得する。そして、取得した特徴量を、レイアウト処理が施された画像と共に画像処理部１０６へ出力する。
次に、Ｓ２０５において、演算制御部１０１が、Ｓ２０４で取得した画像毎の特徴量のうち１つを選択する。具体的には、演算制御部１０１は、レイアウト処理が施された画像が合成画像でない場合は、取得した特徴量を選択し、合成画像である場合には、取得した
画像毎の特徴量のいずれか１つを選択する（選択手段）。そして、画像処理部１０６が、選択された特徴量に基づいて、画像処理に用いる処理パラメータを決定し（決定手段）、決定した処理パラメータを用いて画像全体に画像処理を施す。その後、Ｓ２０８へ進む。処理パラメータは、例えば、γカーブや色補正係数（例えば、Ｒ値、Ｇ値、Ｂ値に乗算する係数）などである。
【００２６】
即ち、本実施形態では、入力された画像がズームブラケット画像であると判定され、且つ、該ズームブラケット画像を構成する複数の画像のいずれか２つ以上を１つの画面上に並べて表示する場合に、表示する画像のいずれか１つが選択される。そして、選択された画像から取得された色または輝度の特徴量に基づいて、画像の色または輝度を補正する画像処理に用いる処理パラメータが決定され、表示する全ての画像に、該決定された処理パラメータを用いた画像処理が施される。
【００２７】
Ｓ２０５の処理（特徴量選択処理）について図５を用いてより詳しく説明する。
図５は、本実施形態に係る画像表示装置における、特徴量選択処理の流れの一例を示すフローチャートである。
以下、ズームブラケット画像を構成する２つの画像Ａ，Ｂを並べて表示（２画面表示）する場合を例に説明する。
【００２８】
まず、Ｓ５０１において、演算制御部１０１が、ズームブラケット画像を構成する複数の画像のいずれか１つを表示する１画面表示から、多画面表示（２画面表示）へ切り替えられたか否かを判定する。例えば、図４（ｃ）のレイアウトから、図４（ａ）または図４（ｂ）のレイアウトへ切り替えられたか否かを判定する。
切り替えられた場合には（Ｓ５０１：ＹＥＳ）、１画面表示時に表示されていた画像（の特徴量）を選択する。例えば、画像Ａの１画面表示から２画面表示に切り替えられた場合には、画像Ａ（画像Ａから取得した特徴量）が選択される。画像Ａを選択することで、切り替え前の画像Ａと切り替え後の画像Ａの見え方を同じにすることができ、視聴者にとって違和感無く表示を切り替えることができる。
切り替えられなかった場合には（Ｓ５０１：ＮＯ）、Ｓ５０２へ進む。
【００２９】
Ｓ５０２では、演算制御部１０１が、レイアウトされている画像間で、表示領域の大きさに差があるか否かを判定する。具体的には、図４（ａ）のようなレイアウトの場合には差がないと判定され、図４（ｂ）のようなレイアウトの場合には差があると判定される。
差があると判定された場合には（Ｓ５０２：ＹＥＳ）、表示領域の最も大きいる画像（の特徴量）を選択する。表示領域の大きい画像はユーザーがより着目する画像である可能性が高いため、そのような画像を選択することによって、ユーザーが着目する画像にあわせた画像処理を行うことができる。
差がない場合には（Ｓ５０２：ＮＯ）、Ｓ５０３へ進む。
【００３０】
Ｓ５０３では、演算制御部１０１が、表示する画像（レイアウトされている画像）のうち、視野角が最も狭い画像の輝度（例えば、平均輝度）と視野角が最も広い画像の輝度との差分を算出し、所定の閾値と比較する。
差分が所定の閾値より大きい場合には（Ｓ５０３：ＹＥＳ）、視野角が最も狭い画像（の特徴量）を選択する。例えば、逆光の画像のように、広角画像が非常に明るく、望遠画像が非常に暗い場合に、広角画像の特徴量を用いて望遠画像の画像処理を行うと、望遠画像が全体的に極端に暗くなってしまう。また、望遠画像のほうが、ユーザーがより着目している画像である可能性が高い。そこで、差分が所定の閾値より大きい場合に、視野角の最も狭い画像を選択することにより、望遠画像が極端に明るくまたは暗く処理されることを防止し、ユーザーが着目する画像にあわせた画像処理を行うことができる。
差分が所定の閾値以下の場合には（Ｓ５０３：ＮＯ）、視野角が最も広い画像を選択す
る。視野角の最も広い画像には、他の画像には写っていない領域が存在するため、視野角の最も広い画像を選択することにより、全ての画像をより適切に見えるように画像処理を行うことができる。
【００３１】
なお、図５のフローは、ズームブラケット画像の再生が開始されたとき（Ｓ２０５）だけでなく、ズームブラケット画像を構成する複数の画像（視野角の異なる複数の画像）のうち、表示される画像が切り替えられたときなどにも実施される。しかし、これに限らず、フレーム間で特徴量が所定値よりも大きく変化したときをシーンの変わり目として検出し、シーンごとに上記フローを実施してもよい。また、判定（Ｓ５０１〜Ｓ５０３）の順番は、図５に示す順番でなくても構わないし（どのような順番でもよい）、判定のいくつかを省いても構わない。
【００３２】
Ｓ２０６では、演算制御部１０１が、レイアウト情報を特徴量取得部１０５に送信する。そして、特徴量取得部１０５が、レイアウト情報に基づき、レイアウト処理が施された画像から画像の特徴量を取得し、レイアウト処理が施された画像と共に画像処理部１０６へ出力する。
そして、Ｓ２０７において、演算制御部１０１が、Ｓ２０６で取得した画像毎の特徴量を全て選択する。具体的には、画像Ａ，Ｂの表示領域に対して、それぞれ、画像Ａ，Ｂの特徴量が選択される。そして、画像処理部１０６が、表示領域毎に、その表示領域に対して選択された特徴量に基づいて、処理パラメータを決定し、決定した処理パラメータを用いてその表示領域内の画像に対し画像処理を施す。即ち、画像Ａ，Ｂが２画面表示されていた場合には、画像Ａの特徴量に基づいて決定された処理パラメータを用いて、画像Ａに画像処理が施され、画像Ｂの特徴量に基づいて決定された処理パラメータを用いて、画像Ｂに画像処理が施される。その後、Ｓ２０８へ進む。
なお、Ｓ２０６で、レイアウトされた画像全体の特徴量を取得して、Ｓ２０７で、その特徴量をレイアウトされた画像全体に対して適応しても良い。
【００３３】
Ｓ２０８では、表示部１０７が、画像処理部１０６で画像処理が施された画像を表示する。
【００３４】
以上述べたように、本実施形態によれば、異なる視野角で撮影された複数の画像を１つの画面上に並べて表示する際に、表示する各画像に対して同じ処理パラメータを用いた画像処理が施される。それにより、画像間で撮影範囲が同じ領域の見え方を統一することができる。
なお、本実施形態では、表示する各画像の特徴量を取得し、取得した特徴量のいずれかを選択する構成としたが、表示する画像のいずれかを選択し、選択された画像の特徴量のみを取得する構成であってもよい。
【符号の説明】
【００３５】
１００  画像表示装置
１０１  演算制御部
１０３  画像判定部
１０５  特徴量取得部
１０６  画像処理部
【図１】
2012058442.tif 000003
【図２】
2012058442.tif 000004
【図３】
2012058442.tif 000005
【図４】
2012058442.tif 000006
【図５】
2012058442.tif 000007