(57)【要約】【課題】シングルフレーム方式の撮像画像を分割して得られた複数の分割画像のいずれかのみが取得される場合にも、ＨＤＲ合成画像をユーザに知覚させるための処理を実行可能にする技術を提供する。【解決手段】本発明の画像出力装置は、第１露光時間に対応するラインと第２露光時間に対応するラインとのペアであるラインペアが繰り返されている撮像画像を、複数の分割画像に分割する分割手段と、前記複数の分割画像を複数のチャネルからそれぞれ出力する出力手段と、を備え、前記分割手段は、前記第１露光時間に対応する複数の画素と前記第２露光時間に対応する複数の画素との組み合わせが、前記複数のチャネルのそれぞれから出力されるように、前記撮像画像を前記複数の分割画像に分割する。【選択図】図４
2018196039.tif 000002
【特許請求の範囲】
【請求項１】
第１露光時間に対応するラインと第２露光時間に対応するラインとのペアであるラインペアが繰り返されている撮像画像を、複数の分割画像に分割する分割手段と、
前記複数の分割画像を複数のチャネルからそれぞれ出力する出力手段と、
を備え、
前記分割手段は、前記第１露光時間に対応する複数の画素と前記第２露光時間に対応する複数の画素との組み合わせが、前記複数のチャネルのそれぞれから出力されるように、前記撮像画像を前記複数の分割画像に分割する
ことを特徴とする画像出力装置。
【請求項２】
前記分割手段は、前記複数の分割画像のそれぞれにおいてラインペアが繰り返されるように、前記撮像画像を前記複数の分割画像に分割する
ことを特徴とする請求項１に記載の画像出力装置。
【請求項３】
前記分割手段は、各フレームにおいてラインペアが繰り返されている撮像動画を、各々において前記第１露光時間に対応するフレームと前記第２露光時間に対応するフレームとが交互に繰り返されている複数の分割動画に分割し、
前記出力手段は、前記複数の分割動画を前記複数のチャネルからそれぞれ出力する
ことを特徴とする請求項１に記載の画像出力装置。
【請求項４】
前記撮像画像の、前記第１露光時間に対応するラインにおいて、画素種別が第１種別である１つ以上の画素と、前記画素種別が第２種別である１つ以上の画素とが交互に並んでおり、
前記撮像画像の、前記第２露光時間に対応するラインにおいて、前記画素種別が第３種別である１つ以上の画素と、前記画素種別が第４種別である１つ以上の画素とが交互に並んでおり、
前記分割手段は、
前記撮像画像の奇数番目のラインペアの、前記画素種別が前記第１種別である複数の画素と、前記画素種別が前記第３種別である複数の画素とからなる分割画像、
前記撮像画像の奇数番目のラインペアの、前記画素種別が前記第２種別である複数の画素と、前記画素種別が前記第４種別である複数の画素とからなる分割画像、
前記撮像画像の偶数番目のラインペアの、前記画素種別が前記第１種別である複数の画素と、前記画素種別が前記第３種別である複数の画素とからなる分割画像、及び
前記撮像画像の偶数番目のラインペアの、前記画素種別が前記第２種別である複数の画素と、前記画素種別が前記第４種別である複数の画素とからなる分割画像に、
前記撮像画像を分割する
ことを特徴とする請求項１または請求項２に記載の画像出力装置。
【請求項５】
前記分割手段は、前記撮像画像の画像領域全体を構成する複数の分割領域にそれぞれ対応する前記複数の分割画像に、前記撮像画像を分割する
ことを特徴とする請求項１または請求項２に記載の画像出力装置。
【請求項６】
前記撮像動画の各フレームの、前記第１露光時間に対応するラインにおいて、画素種別が第１種別である１つ以上の画素と、前記画素種別が第２種別である１つ以上の画素とが交互に並んでおり、
前記撮像動画の各フレームの、前記第２露光時間に対応するラインにおいて、前記画素種別が第３種別である１つ以上の画素と、前記画素種別が第４種別である１つ以上の画素とが交互に並んでおり、
前記分割手段は、
Ｎ番目（Ｎは１以上の整数）のフレームが、前記撮像動画のＮ番目のフレームの、前記画素種別が前記第１種別である複数の画素からなり、且つ、Ｎ＋１番目のフレームが、前記撮像動画のＮ＋１番目のフレームの、前記画素種別が前記第３種別である複数の画素からなる分割動画、
Ｎ番目のフレームが、前記撮像動画のＮ番目のフレームの、前記画素種別が前記第２種別である複数の画素からなり、且つ、Ｎ＋１番目のフレームが、前記撮像動画のＮ＋１番目のフレームの、前記画素種別が前記第４種別である複数の画素からなる分割動画、
Ｎ番目のフレームが、前記撮像動画のＮ番目のフレームの、前記画素種別が前記第３種別である複数の画素からなり、且つ、Ｎ＋１番目のフレームが、前記撮像動画のＮ＋１番目のフレームの、前記画素種別が前記第１種別である複数の画素からなる分割動画、及び、
Ｎ番目のフレームが、前記撮像動画のＮ番目のフレームの、前記画素種別が前記第４種別である複数の画素からなり、且つ、Ｎ＋１番目のフレームが、前記撮像動画のＮ＋１番目のフレームの、前記画素種別が前記第２種別である複数の画素からなる分割動画に、前記撮像動画を分割する
ことを特徴とする請求項３に記載の画像出力装置。
【請求項７】
前記出力手段は、前記撮像画像の分割方法に関する分割情報を、前記複数のチャネルのそれぞれからさらに出力する
ことを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像出力装置。
【請求項８】
第１露光時間に対応するラインと第２露光時間に対応するラインとのペアであるラインペアが繰り返されている撮像画像を分割することによって得られた分割画像を、前記チャネルから取得することにより、前記第１露光時間に対応する複数の第１画素と前記第２露光時間に対応する複数の第２画素の組み合わせをチャネルから取得する取得手段と、
前記第１露光時間に対応する画像と前記第２露光時間に対応する画像のそれぞれのダイナミックレンジを拡張した拡張画像を、前記組み合わせに基づいて生成する生成手段と、を備えることを特徴とする画像処理装置。
【請求項９】
前記取得手段は、前記撮像画像を構成する複数の分割画像を、前記複数のチャネルからそれぞれ取得することにより、前記第１露光時間に対応する複数の画素と前記第２露光時間に対応する複数の画素との組み合わせを、複数のチャネルのそれぞれから取得し、
前記生成手段は、前記複数のチャネルからそれぞれ取得された複数の組み合わせに基づいて、前記拡張画像を生成する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記分割画像において、ラインペアが繰り返されている
ことを特徴とする請求項８または請求項９に記載の画像処理装置。
【請求項１１】
前記取得手段は、前記第１露光時間に対応するフレームと前記第２露光時間に対応するフレームとが交互に繰り返されている分割動画を取得し、
前記生成手段は、前記分割動画に基づいて、前記分割動画の各フレームのダイナミックレンジを拡張した拡張動画を生成する
ことを特徴とする請求項８または請求項９に記載の画像処理装置。
【請求項１２】
前記取得手段は、前記撮像画像の分割方法に関する分割情報をさらに取得し、
前記生成手段は、前記分割情報と前記組み合わせとに基づいて前記拡張画像を生成することを特徴とする請求項８乃至請求項１１のいずれか１項に記載の画像処理装置。
【請求項１３】
第１露光時間に対応するラインと第２露光時間に対応するラインとのペアであるライン
ペアが繰り返されている撮像画像を分割することによって得られた分割画像を、前記チャネルから取得することにより、前記第１露光時間に対応する複数の第１画素と前記第２露光時間に対応する複数の第２画素の組み合わせをチャネルから取得する取得手段と、
前記第１露光時間に対応する画像と前記第２露光時間に対応する画像のそれぞれのダイナミックレンジを拡張した拡張画像をユーザに知覚させるための表示を、前記組み合わせに基づいて行う表示手段と、
を備えることを特徴とする表示装置。
【請求項１４】
第１露光時間に対応するラインと第２露光時間に対応するラインとのペアであるラインペアが繰り返されている撮像画像を、複数の分割画像に分割する分割ステップと、
前記複数の分割画像を複数のチャネルからそれぞれ出力する出力ステップと、
を有し、
前記分割ステップでは、前記第１露光時間に対応する複数の画素と前記第２露光時間に対応する複数の画素との組み合わせが、前記複数のチャネルのそれぞれから出力されるように、前記撮像画像を前記複数の分割画像に分割する
ことを特徴とする画像出力方法。
【請求項１５】
第１露光時間に対応するラインと第２露光時間に対応するラインとのペアであるラインペアが繰り返されている撮像画像を分割することによって得られた分割画像を、前記チャネルから取得することにより、前記第１露光時間に対応する複数の第１画素と前記第２露光時間に対応する複数の第２画素の組み合わせをチャネルから取得する取得ステップと、
前記第１露光時間に対応する画像と前記第２露光時間に対応する画像のそれぞれのダイナミックレンジを拡張した拡張画像を、前記組み合わせに基づいて生成する生成ステップと、
を有することを特徴とする画像処理方法。
【請求項１６】
第１露光時間に対応するラインと第２露光時間に対応するラインとのペアであるラインペアが繰り返されている撮像画像を分割することによって得られた分割画像を、前記チャネルから取得することにより、前記第１露光時間に対応する複数の第１画素と前記第２露光時間に対応する複数の第２画素の組み合わせをチャネルから取得する取得ステップと、
前記第１露光時間に対応する画像と前記第２露光時間に対応する画像のそれぞれのダイナミックレンジを拡張した拡張画像をユーザに知覚させるための表示を、前記組み合わせに基づいて行う表示ステップと、
を有することを特徴とする表示方法。
【請求項１７】
請求項１４に記載の画像出力方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項１８】
請求項１５に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項１９】
請求項１６に記載の表示方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像出力装置、画像処理装置、及び、表示装置に関する。
【背景技術】
【０００２】
高速シリアル伝送方式として、ＳＭＰＴＥ  ＳＴ  ４２５−５（２サンプルインターリーブ伝送方式）がある。２サンプルインターリーブ伝送方式をサポートした市販品もある。例えば、２サンプルインターリーブ伝送方式の信号（データ）を出力できる装置（画像制作用のカメラ、画像制作用のレコーダ、等）がある。２サンプルインターリーブ伝送方式のデータを入力できる装置（液晶表示装置、レコーダ、等）もある。２サンプルインターリーブ伝送方式のデータは、主に、ＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）ケーブルを用いて伝送される。
【０００３】
図７〜９を用いて、２サンプルインターリーブ伝送方式について大まかに説明する。図７は、２サンプルインターリーブ伝送方式をサポートしたシステムの構成例を示す。画像出力装置１０００は、カメラ、レコーダ、等であり、画像処理装置２０００，３０００，４０００は、表示装置、レコーダ、等である。ここでは、画像処理装置２０００，３０００，４０００が表示装置である例を説明する。画像出力装置１０００は、４本のＳＤＩケーブルＣ１〜Ｃ４を用いて、表示装置２０００に接続されている。画像出力装置１０００は、１本のＳＤＩケーブルＣ１を用いて、表示装置３０００に接続されている。そして、画像出力装置１０００は、１本のＳＤＩケーブルＣ４を用いて、表示装置４０００に接続されている。
【０００４】
画像出力装置１０００は、動画を２サンプルインターリーブ伝送方式で出力する。図８（Ａ），８（Ｂ）は、２サンプルインターリーブ伝送方式で動画を出力する方法の一例を示す。図８（Ａ）は、元フレーム（元動画の１フレーム）の一例を示す。元フレームの各画素には、４つの画素種別Ｐ１〜Ｐ４のいずれかが割り当てられている。画像出力装置１０００は、元動画の複数のフレームのそれぞれについて、４つの画素種別Ｐ１〜Ｐ４にそれぞれ対応する４つのサブフレームＦ１〜Ｆ４に元フレームを分割し、４つのサブフレームＦ１〜Ｆ４を４本のＳＤＩケーブルＣ１〜Ｃ４にそれぞれ出力する。
【０００５】
サブフレームＦ１は画素種別Ｐ１の複数の画素からなり、サブフレームＦ２は画素種別Ｐ２の複数の画素からなり、サブフレームＦ３は画素種別Ｐ３の複数の画素からなり、サブフレームＦ４は画素種別Ｐ４の複数の画素からなる。ここでは、元フレームの画像解像度（総画素数）が水平方向４０９６画素×垂直方向２１６０画素である例を説明する。この場合には、４つのサブフレームＦ１〜Ｆ４のそれぞれの画像解像度は水平方向２０４８画素×垂直方向１０８０画素（元フレームの画像解像度の４分の１）となる。
【０００６】
画像出力装置１０００は、４つのサブフレームＦ１〜Ｆ４のそれぞれのアンシラリー領域（垂直ブランキング領域）に、伝送方式を識別するための伝送ヘッダ情報を付加する。ここでは、画像出力装置１０００は、「２サンプルインターリーブ伝送方式」を示す伝送ヘッダ情報をアンシラリー領域に記述する。そして、画像出力装置１０００は、各々に伝送ヘッダ情報が付加されている４つのサブフレームＦ１〜Ｆ４を、それらの同期をとって出力する。
【０００７】
表示装置２０００は、元動画の複数のフレームのそれぞれについて、４本のＳＤＩケーブルＣ１〜Ｃ４を介して、画像出力装置１０００から４つのサブフレームＦ１〜Ｆ４を取得する。具体的には、表示装置２０００は、ＳＤＩケーブルＣ１を介して画像出力装置１
０００からサブフレームＦ１を取得し、ＳＤＩケーブルＣ２を介して画像出力装置１０００からサブフレームＦ２を取得する。そして、表示装置２０００は、ＳＤＩケーブルＣ３を介して画像出力装置１０００からサブフレームＦ３を取得し、ＳＤＩケーブルＣ４を介して画像出力装置１０００からサブフレームＦ４を取得する。表示装置３０００は、元動画の複数のフレームのそれぞれについて、ＳＤＩケーブルＣ１を介して画像出力装置１０００からサブフレームＦ１を取得する。そして、表示装置４０００は、元動画の複数のフレームのそれぞれについて、ＳＤＩケーブルＣ４を介して画像出力装置１０００からサブフレームＦ４を取得する。
【０００８】
図９は、３台の表示装置２０００，３０００，４０００のそれぞれにおいて表示された画像の一例を示す。表示装置２０００は、元動画の複数のフレームのそれぞれについて、４つのサブフレームＦ１〜Ｆ４を合成し、画像解像度が水平方向４０９６画素×垂直方向２１６０画素である元フレームを表示する。表示装置３０００は、元動画の複数のフレームのそれぞれについて、画像解像度が水平方向２０４８画素×垂直方向１０８０画素であるサブフレームＦ１を表示する。そして、表示装置４０００は、元動画の複数のフレームのそれぞれについて、画像解像度が水平方向２０４８画素×垂直方向１０８０画素であるサブフレームＦ４を表示する。
【０００９】
４つのサブフレームＦ１〜Ｆ４のそれぞれは、画像解像度が元フレームと異なるが、輝度、階調性、構図、画角（撮像範囲）、等は元フレームと略等しい。そのため、元動画を出力する画像出力装置に、元動画の画像解像度での表示が不可能な表示装置が接続されたとしても、ユーザは、当該表示装置を用いて、元動画の輝度、階調性、構図、画角、等を確認することができる。
【００１０】
ところで、撮像画像のダイナミックレンジを拡張する処理として、ＨＤＲ合成がある。ＨＤＲ合成では、例えば、長時間露光画像と短時間露光画像の２枚の撮像画像が、当該２枚の撮像画像の各画像領域における輝度に基づいて合成される。長時間露光画像は、露光時間が長い撮像画像であり、短時間露光画像は、露光時間が短い撮像画像である。ＨＤＲ合成により、長時間露光画像と短時間露光画像のそれぞれのダイナミックレンジを拡張した画像（ＨＤＲ合成画像）を生成することができる。例えば、被写体の明暗差が大きくても、白とび（露光時間による受光データのオーバーシュート）、黒つぶれ（露光時間による受光データのアンダーシュート）、等が抑制されたＨＤＲ合成画像を生成することができる。
【００１１】
長時間露光画像と短時間露光画像の生成方法として、画角が略等しく且つ露光時間が互いに異なる複数回の撮像を行う方法がある。しかしながら、この方法では、比較的長い撮像時間が必要となり、撮像中の被写体の移動、撮像中のカメラの振動、等によって、手ぶれ、被写体ぶれ、等と呼ばれる画質劣化が生じることが多い。このような画質劣化が長時間露光画像と短時間露光画像の少なくとも一方で生じている場合には、ＨＤＲ合成画像でも画質劣化が残ることとなる。そこで、複数のラインのそれぞれについて撮像素子の露光時間を制御することにより、露光時間が長いラインと露光時間が短いラインとのペアであるラインペアが繰り返されている撮像画像を生成する方法が提案されている（特許文献１）。特許文献１などに記載の上記方法によれば、長時間露光画像と短時間露光画像を含む１枚の撮像画像を１回の撮像で生成することができ、当該撮像画像を比較的短時間で生成することができるため、上記上述した画質劣化は生じにくい。以後、特許文献１などに記載の上記方法（方式）を、「シングルフレーム方式」と記載する。
【００１２】
図１０（Ａ）〜１０（Ｃ）を用いて、シングルフレーム方式の撮像画像からＨＤＲ合成画像を生成する方法の一例を説明する。図１０（Ａ）は、シングルフレーム方式の撮像画像の一例を示す。図１０（Ａ）の撮像画像では、露光時間が長いライン（長時間露光ライ
ン）と露光時間が短いライン（短時間露光ライン）とのペアであるラインペアが繰り返されている。まず、図１０（Ｂ）に示すように、図１０（Ａ）の撮像画像が、複数の長時間露光ラインからなる長時間露光画像と、複数の短時間露光ラインからなる短時間露光画像とに分割される。そして、図１０（Ｃ）に示すように、図１０（Ｂ）の長時間露光画像と短時間露光画像を合成することにより、ＨＤＲ合成画像が生成される（ＨＤＲ合成）。
【００１３】
シングルフレーム方式の撮像画像からＨＤＲ合成画像を生成する技術は、既に実用化されている。そして、画像処理の高速化により、ＨＤＲ合成画像として、静止画（ＨＤＲ静止画）だけでなく、動画（ＨＤＲ動画）を生成することが提案されている。
【００１４】
画像制作分野では、カメラが、撮像画像として、撮像素子の出力値を階調値として有する画像、すなわちＲＡＷ画像を出力することが多い。カメラがＲＡＷ画像を出力することにより、ＲＡＷ画像に現像処理（ＲＡＷ現像）を施すことによって得られた画像をカメラが出力する場合に比べ、ディスプレイ、レコード、等を用いた編集作業の自由度を高めることができる。シングルフレーム方式の撮像画像（図１０（Ａ）の撮像画像）をカメラが出力する場合には、分割処理（図１０（Ｂ））、ＨＤＲ合成（図１０（Ｃ））、現像処理、等は、カメラから出力された撮像画像を取得した画像処理装置で行われる。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開平４−２９８１７５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、従来技術では、画像出力装置が、シングルフレーム方式の撮像画像を２サンプルインターリーブ伝送方式で出力する場合に、画像処理装置が、画像出力装置の出力画像からＨＤＲ合成画像を生成できないことがある。画像処理装置が表示装置である場合には、ユーザが、当該表示装置を用いてＨＤＲ合成画像を確認できないことがある。
【００１７】
図１１は、３台の表示装置２０００，３０００，４０００のそれぞれにおいて表示された画像の一例を示す。ここでは、画像出力装置１０００は、シングルフレーム方式の撮像画像を２サンプルインターリーブ伝送方式で出力する。上述したように、表示装置２０００は、シングルフレーム方式の撮像画像を分割して得られた複数の分割画像（４つのサブフレームＦ１〜Ｆ４）の全てを取得する。そのため、表示装置２０００は、長時間露光ラインも短時間露光ラインも取得でき、ＨＤＲ合成画像を生成して表示することができる。
【００１８】
一方で、表示装置３０００は、画素種別Ｐ１の複数の画素からなる分割画像（サブフレームＦ１）のみを取得する。図８（Ａ），１０（Ａ）に示すように、画素種別Ｐ１の画素は、長時間露光ラインの画素である。そのため、表示装置３０００は、短時間露光ラインを取得できず、ＨＤＲ合成画像を生成することができない。表示装置３０００は、長時間露光画像を表示することしかできない。
【００１９】
同様に、表示装置４０００は、画素種別Ｐ４の複数の画素からなる分割画像（サブフレームＦ４）のみを取得する。図８（Ａ），１０（Ａ）に示すように、画素種別Ｐ４の画素は、短時間露光ラインの画素である。そのため、表示装置４０００は、長時間露光ラインを取得できず、ＨＤＲ合成画像を生成することができない。表示装置４０００は、短時間露光画像を表示することしかできない。
【００２０】
そこで本発明は、シングルフレーム方式の撮像画像を分割して得られた複数の分割画像のいずれかのみが取得される場合にも、ＨＤＲ合成画像をユーザに知覚させるための処理
を実行可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明の第１の態様は、
第１露光時間に対応するラインと第２露光時間に対応するラインとのペアであるラインペアが繰り返されている撮像画像を、複数の分割画像に分割する分割手段と、
前記複数の分割画像を複数のチャネルからそれぞれ出力する出力手段と、
を備え、
前記分割手段は、前記第１露光時間に対応する複数の画素と前記第２露光時間に対応する複数の画素との組み合わせが、前記複数のチャネルのそれぞれから出力されるように、前記撮像画像を前記複数の分割画像に分割する
ことを特徴とする画像出力装置である。
【００２２】
本発明の第２の態様は、
第１露光時間に対応するラインと第２露光時間に対応するラインとのペアであるラインペアが繰り返されている撮像画像を分割することによって得られた分割画像を、前記チャネルから取得することにより、前記第１露光時間に対応する複数の第１画素と前記第２露光時間に対応する複数の第２画素の組み合わせをチャネルから取得する取得手段と、
前記第１露光時間に対応する画像と前記第２露光時間に対応する画像のそれぞれのダイナミックレンジを拡張した拡張画像を、前記組み合わせに基づいて生成する生成手段と、を備えることを特徴とする画像処理装置である。
【００２３】
本発明の第３の態様は、
第１露光時間に対応するラインと第２露光時間に対応するラインとのペアであるラインペアが繰り返されている撮像画像を分割することによって得られた分割画像を、前記チャネルから取得することにより、前記第１露光時間に対応する複数の第１画素と前記第２露光時間に対応する複数の第２画素の組み合わせをチャネルから取得する取得手段と、
前記第１露光時間に対応する画像と前記第２露光時間に対応する画像のそれぞれのダイナミックレンジを拡張した拡張画像をユーザに知覚させるための表示を、前記組み合わせに基づいて行う表示手段と、
を備えることを特徴とする表示装置である。
【００２４】
本発明の第４の態様は、
第１露光時間に対応するラインと第２露光時間に対応するラインとのペアであるラインペアが繰り返されている撮像画像を、複数の分割画像に分割する分割ステップと、
前記複数の分割画像を複数のチャネルからそれぞれ出力する出力ステップと、
を有し、
前記分割ステップでは、前記第１露光時間に対応する複数の画素と前記第２露光時間に対応する複数の画素との組み合わせが、前記複数のチャネルのそれぞれから出力されるように、前記撮像画像を前記複数の分割画像に分割する
ことを特徴とする画像出力方法である。
【００２５】
本発明の第５の態様は、
第１露光時間に対応するラインと第２露光時間に対応するラインとのペアであるラインペアが繰り返されている撮像画像を分割することによって得られた分割画像を、前記チャネルから取得することにより、前記第１露光時間に対応する複数の第１画素と前記第２露光時間に対応する複数の第２画素の組み合わせをチャネルから取得する取得ステップと、
前記第１露光時間に対応する画像と前記第２露光時間に対応する画像のそれぞれのダイナミックレンジを拡張した拡張画像を、前記組み合わせに基づいて生成する生成ステップと、
を有することを特徴とする画像処理方法である。
【００２６】
本発明の第６の態様は、
第１露光時間に対応するラインと第２露光時間に対応するラインとのペアであるラインペアが繰り返されている撮像画像を分割することによって得られた分割画像を、前記チャネルから取得することにより、前記第１露光時間に対応する複数の第１画素と前記第２露光時間に対応する複数の第２画素の組み合わせをチャネルから取得する取得ステップと、
前記第１露光時間に対応する画像と前記第２露光時間に対応する画像のそれぞれのダイナミックレンジを拡張した拡張画像をユーザに知覚させるための表示を、前記組み合わせに基づいて行う表示ステップと、
を有することを特徴とする表示方法である。
【００２７】
本発明の第７の態様は、上述した画像出力方法の各ステップをコンピュータに実行させるためのプログラムである。
【００２８】
本発明の第８の態様は、上述した画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。
【００２９】
本発明の第９の態様は、上述した表示方法の各ステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００３０】
本発明によれば、シングルフレーム方式の撮像画像を分割して得られた複数の分割画像のいずれかのみが取得される場合にも、ＨＤＲ合成画像をユーザに知覚させるための処理が実行可能となる。
【図面の簡単な説明】
【００３１】
【図１】実施例１に係るシステムの構成例を示す図
【図２】実施例１に係る撮像装置の構成例を示す図
【図３】実施例１に係る表示装置の構成例を示す図
【図４】実施例１に係る画像分割部の処理例を示す図
【図５】実施例１に係る画像分割部の処理例を示す図
【図６】実施例２に係る画像分割部の処理例を示す図
【図７】従来のシステムの構成例を示す図
【図８】従来の画像の分割例を示す図
【図９】従来の画像の表示例を示す図
【図１０】従来のＨＤＲ合成画像を生成例を示す図
【図１１】従来の画像の表示例を示す図
【発明を実施するための形態】
【００３２】
＜実施例１＞
以下、本発明の実施例１について説明する。図１は、本実施例に係るシステムの構成例を示す。図１に示すように、本実施例に係るシステムは、画像出力装置１００と画像処理装置２００を備える。
【００３３】
画像出力装置１００は、画像（画像データ）を出力可能な装置であり、特に限定されない。例えば、画像出力装置１００は、撮像装置（デジタルカメラ）、レコーダ、投影装置（プロジェクタ）、パーソナルコンピュータ、ＰＤＡ、タブレット端末、携帯電話端末（スマートフォンを含む）、テレビジョン装置、デジタルフォトフレーム、ゲーム機、家電装置、車載装置、等である。本実施例では、画像出力装置１００が撮像装置である例を説
明する。
【００３４】
画像処理装置２００は、画像処理を実行可能な装置であり、特に限定されない。例えば、画像処理装置２００は、投影装置、パーソナルコンピュータ、ＰＤＡ、タブレット端末、携帯電話端末、テレビジョン装置、撮像装置、デジタルフォトフレーム、ゲーム機、家電装置、車載装置、等である。本実施例では、画像処理装置２００が表示装置である例を説明する。表示装置は、画像を表示可能な装置であり、特に限定されない。例えば、表示装置は、液晶表示装置、有機ＥＬ表示装置、プラズマ表示装置、ＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍ）シャッター方式表示装置、等である。
【００３５】
撮像装置１００は動画を出力し、表示装置２００は、撮像装置１００から出力された動画に基づく表示を行う。図１の例では、撮像装置１００と表示装置２００は、４本のＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）ケーブルＣ１〜Ｃ４を用いて互いに接続されている。具体的には、撮像装置１００は４つの出力端子（チャネル）を備え、表示装置２００は４つの入力端子（チャネル）を備える。４本のＳＤＩケーブルＣ１〜Ｃ４の４つの一端が、撮像装置１００の４つの出力端子にそれぞれ接続されている。そして、４本のＳＤＩケーブルＣ１〜Ｃ４の４つの他端が、撮像装置１００の４つの出力端子にそれぞれ接続されている。なお、動画伝送のためのケーブルはＳＤＩケーブルに限られない。出力端子の数、入力端子の数、ケーブルの数、等も特に限定されない。
【００３６】
図２は、撮像装置１００の構成例を示す。撮像装置１００は、レンズ部１０１、撮像部１０２、信号処理部１０３、画像分割部１０４、出力部１０５、ユーザＩ／Ｆ部１０６、及び、制御部１０７を少なくとも備える。これらの機能部は内部バス１０８に接続されており、これらの機能部の間におけるデータ（信号）の送受信が可能となっている。
【００３７】
レンズ部１０１には、撮像対象（被写体）からの光が入射する。以後、レンズ部１０１に入射した光を、「入射光」と記載する。レンズ部１０１は、入射光を撮像部１０２へ結像する。
【００３８】
撮像部１０２は、露出制御を行いながら、レンズ部１０１により結像された入射光を電気信号に変換する。それにより、第１露光時間に対応するラインと第２露光時間に対応するラインとのペアであるラインペアが繰り返されている撮像画像が生成される。撮像画像は、撮像によって生成された画像であり、被写体を表す画像である。第１露光時間に対応するラインと第２露光時間に対応するラインとのペアであるラインペアが繰り返される方式は、「シングルフレーム方式」などと呼ばれる。そして、撮像部１０２は、撮像画像を信号処理部１０３へ出力する。撮像部１０２として、例えば、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、等を用いることができる。撮像部１０２は、上記処理を所定のフレームレートで行う。それにより、各フレームにおいてラインペアが繰り返されている撮像動画が生成される。撮像動画は、撮像によって生成された動画であり、被写体を表す動画である。
【００３９】
信号処理部１０３は、撮像部１０２から出力された撮像画像に対して所定の画像処理を施すことにより、処理画像を生成する。所定の画像処理は、例えば、撮像部１０２の欠陥、レンズ部１０１における光学特性のバラつき、等に起因した画質劣化を低減する画像処理である。撮像部１０２によって生成された撮像画像、信号処理部１０３によって生成された処理画像、等は、「ＲＡＷ画像」とも言える。そして、信号処理部１０３は、処理画像を画像分割部１０４へ出力する。信号処理部１０３は、上記処理を所定のフレームレートで行う。なお、信号処理部１０３による所定の画像処理は省略されてもよい。
【００４０】
画像分割部１０４は、撮像画像（信号処理部１０３から出力された処理画像）を、複数の分割画像に分割する。本実施例では、画像分割部１０４は、制御部１０７から通知された伝送方式に従って、撮像画像を、当該撮像画像を構成する複数の分割画像に分割する。そして、画像分割部１０４は、複数の分割画像を出力部１０５へ出力する。画像分割部１０４は、上記処理を所定のフレームレートで行う。それにより、撮像動画が複数の分割動画に分割される。
【００４１】
出力部１０５は、画像分割部１０４から出力された複数の分割画像を、撮像装置１００の複数の出力端子からそれぞれ出力する。本実施例では、出力部１０５は、複数の分割画像の生成において考慮された伝送方式を識別するための識別情報を、複数の出力端子のそれぞれからさらに出力する。具体的には、出力部１０５は、複数の分割画像のそれぞれに識別情報をメタ情報として付加し、各々に識別情報が付加された複数の分割画像を複数の出力端子からそれぞれ出力する。以後、識別情報を「伝送メタ情報」と記載する。伝送メタ情報は、例えば、垂直ブランキング領域であるアンシラリー領域に記述される。伝送メタ情報は、「処理画像の分割方法に関する分割情報」とも言える。出力部１０５は、上記処理を所定のフレームレートで行う。それにより、複数の分割動画が複数の出力端子からそれぞれ出力される。
【００４２】
なお、伝送メタ情報は、分割動画の各フレームに付加されてもよいし、そうでなくてもよい。分割動画に対して１つの伝送メタ情報が付加されてもよい。分割画像に伝送メタ情報が付加されずに、分割画像と伝送メタ情報が個別に出力されてもよい。複数の分割画像の生成において考慮される伝送方式が固定である場合には、出力部１０５が伝送メタ情報を出力する必要はない。表示装置２００に対してユーザが行った操作に応じて識別情報（伝送メタ情報）が表示装置２００内で生成される場合にも、出力部１０５が伝送メタ情報を出力する必要はない。
【００４３】
ユーザＩ／Ｆ部１０６は、撮像装置１００に対してユーザが行う操作を受け付け、行われた操作に応じた操作情報を制御部１０７へ出力する。例えば、撮像装置１００は、不図示のシャッターボタン、ツマミ、等を備え、ユーザＩ／Ｆ部１０６は、シャッターボタン、ツマミ、等に対する操作に応じた操作情報を制御部１０７へ出力する。
【００４４】
制御部１０７は、撮像装置１００の各機能部の処理を制御する。例えば、制御部１０７は、ユーザＩ／Ｆ部１０６から出力された操作情報に基づく制御指示を撮像装置１００の機能部へ出力することにより、当該機能部の処理を制御する。具体的には、シャッターボタンが押下されると、制御部１０７は、撮像部１０２に対して撮像の開始を指示する。ツマミに対する操作などによって伝送方式が指定されると、制御部１０７は、指定された伝送方式を画像分割部１０４と出力部１０５へ通知する。
【００４５】
図３は、表示装置２００の構成例を示す。表示装置２００は、入力部２０１、画像復元部２０２、ＲＡＷ現像部２０３、ＨＤＲ合成部２０４、画像処理部２０５、表示部２０６、ユーザＩ／Ｆ部２０７、及び、制御部２０８を少なくとも備える。これらの機能部は内部バス２０９に接続されており、これらの機能部の間におけるデータ（信号）の送受信が可能となっている。
【００４６】
入力部２０１は、撮像装置１００から出力された複数の分割画像を、表示装置２００の複数の入力端子からそれぞれ取得する。そして、入力部２０１は、複数の分割画像を画像復元部２０２へ出力する。入力部２０１は、上記処理を所定のフレームレートで行う。それにより、複数の分割動画が複数の入力端子からそれぞれ取得される。
【００４７】
画像復元部２０２は、入力部２０１から出力された複数の分割画像を合成することにより、図１０（Ａ）に示すような撮像画像（処理画像）を復元する。本実施例では、画像復元部２０２は、複数の分割画像のそれぞれに付加されている伝送メタ情報に応じて、撮像装置１００の画像分割部１０４の処理とは逆の処理を行うことにより、撮像画像を復元する。そして、画像復元部２０２は、撮像画像をＲＡＷ現像部２０３へ出力する。画像復元部２０２は、上記処理を所定のフレームレートで行う。それにより、撮像動画が復元される。
【００４８】
ここで、複数の分割画像の生成において考慮される伝送方式が固定である場合を考える。この場合には、画像復元部２０２は、分割画像に付加されている伝送メタ情報を確認せずに、所定の処理によって撮像画像を復元してもよい。次に、表示装置２００に対してユーザが行った操作に応じて識別情報（伝送メタ情報）が表示装置２００内で生成される場合を考える。この場合には、画像復元部２０２は、分割画像に付加されている伝送メタ情報を確認せずに、表示装置２００内で生成された識別情報に応じた処理により、撮像画像を復元してもよい。画像復元部２０２は、分割画像に伝送メタ情報が付加されていない場合に限って、表示装置２００内で生成された識別情報に応じた処理により、撮像画像を復元してもよい。
【００４９】
ＲＡＷ現像部２０３は、画像復元部２０２から出力された撮像画像を、第１露光時間に対応する画像と、第２露光時間に対応する画像とに分割する。それにより、図１０（Ｂ）に示すような長時間露光画像と短時間露光画像が得られる。長時間露光画像は、露光時間が長い画像であり、短時間露光画像は、露光時間が短い画像である。長時間露光画像の露光時間は、短時間露光画像の露光時間よりも長い。そして、ＲＡＷ現像部２０３は、長時間露光画像と短時間露光画像のそれぞれに現像処理を施す。ＲＡＷ画像（撮像画像、長時間露光画像、短時間露光画像、等）は、画像出力装置１００の撮像部１０２の素子配列に依存した画素データ構造を有する。現像処理は、例えば、撮像部１０２の素子配列に依存した画素データ構造を、ＲＧＢ画素データ構造（サンプリング数４：４：４）に変換するＤｅｂａｙｅｒ処理である。その後、ＲＡＷ現像部２０３は、現像処理が施された長時間露光画像と、現像処理が施された短時間露光画像とを、ＨＤＲ合成部２０４へ出力する。ＲＡＷ現像部２０３は、上記処理を所定のフレームレートで行う。それにより、長時間露光動画と短時間露光動画が生成される。長時間露光動画は、露光時間が長い動画であり、短時間露光動画は、露光時間が短い動画である。長時間露光動画の露光時間は、短時間露光動画の露光時間よりも長い。
【００５０】
ＨＤＲ合成部２０４は、画像復元部２０２から出力された長時間露光画像と短時間露光画像を合成することにより、ＨＤＲ合成画像を生成する。ＨＤＲ合成画像は、ＨＤＲ合成画像は、複数の元画像のそれぞれのダイナミックレンジ（輝度レンジ）を拡張した画像（拡張画像）である。長時間露光画像、短時間露光画像、及び、ＨＤＲ合成画像の間で、画角（撮像範囲）、構図、等は略等しい（「略」は「完全」を含む）。例えば、ＨＤＲ合成部２０４は、長時間露光画像と短時間露光画像の２枚の画像を、当該２枚の画像の各画像領域における輝度に基づいて合成する。そして、ＨＤＲ合成部２０４は、ＨＤＲ合成画像を画像処理部２０５へ出力する。ＨＤＲ合成部２０４は、上記処理を所定のフレームレートで行う。それにより、各フレームがＨＤＲ合成画像であるＨＤＲ合成動画（拡張動画）が生成される。
【００５１】
画像処理部２０５は、ＨＤＲ合成部２０４から出力されたＨＤＲ合成画像に対して所定の画像処理を施すことにより、処理ＨＤＲ画像を生成する。所定の画像処理は、例えば、輝度調整、階調調整、色度調整、スケーリング処理、等である。スケーリング処理は、例えば、画像解像度（画像の総画素数）を表示解像度（表示部２０６の総表示素子数）に合わせる処理である。そして、画像処理部２０５は、処理ＨＤＲ画像を表示部２０６へ出力
する。画像処理部２０５は、上記処理を所定のフレームレートで行う。
【００５２】
表示部２０６は、画像処理部２０５から出力された処理ＨＤＲ画像を画面に表示する。例えば、表示部２０６は、フレームバッファと表示パネルを備える。表示部２０６は、画像処理部２０５から出力された処理ＨＤＲ画像をフレームバッファに格納する（上書きする）。そして、表示部２０６は、処理ＨＤＲ画像をフレームバッファから読み出して表示パネルに表示する処理を、所定のリフレッシュレートで行う。表示部２０６は、上記処理を所定のフレームレートで行う。
【００５３】
ユーザＩ／Ｆ部２０７は、表示装置２００に対してユーザが行う操作を受け付け、行われた操作に応じた操作情報を制御部２０８へ出力する。例えば、表示装置２００は、不図示のボタン、ツマミ、等を備え、ユーザＩ／Ｆ部２０７は、ボタン、ツマミ、等に対する操作に応じた操作情報を制御部２０８へ出力する。
【００５４】
制御部２０８は、表示装置２００の各機能部の処理を制御する。例えば、制御部２０８は、ユーザＩ／Ｆ部２０７から出力された操作情報に基づく制御指示を表示装置２００の機能部へ出力することにより、当該機能部の処理を制御する。具体的には、ボタンに対する操作、ツマミに対する操作、等によって伝送方式（複数の分割画像の生成において考慮される伝送方式）が指定されると、制御部２０８は、指定された伝送方式を画像復元部２０２へ通知する。
【００５５】
撮像装置１００の画像分割部１０４の処理の具体例について説明する。分割画像の数は特に限定されないが、本実施例では、画像分割部１０４は、撮像画像を、当該撮像画像を構成する４枚の分割画像に分割する。撮像画像の画像解像度、分割画像の画像解像度、等は特に限定されないが、本実施例では、撮像画像の画像解像度は、水平方向４０９６画素×垂直方向２１６０画素である。そして、分割画像の画像解像度は、水平方向２０４８画素×垂直方向１０８０画素（撮像画像の画像解像度の４分の１）である。本実施例では、画像分割部１０４は、ＨＤＲ合成画像を生成するための、第１露光時間に対応する複数の画素と第２露光時間に対応する複数の画素との組み合わせが、複数の出力端子のそれぞれから出力されるように、撮像画像を複数の分割画像に分割する。ＨＤＲ合成画像を生成するための上記組み合わせは、「ＨＤＲ合成画像をユーザに知覚させるための、第１露光時間に対応する複数の画素と第２露光時間に対応する複数の画素との組み合わせ」とも言える。
【００５６】
以下、２サンプルインターリーブ伝送方式に従って撮像画像を複数の分割画像に分割する例を説明する。図４（Ａ），４（Ｂ）は、撮像装置１００の画像分割部１０４の処理の具体例を示す。図４（Ａ）は、撮像画像（処理画像）の一例を示し、図４（Ｂ）は、撮像画像を構成する複数の分割画像の一例を示す。本実施例では、画像分割部１０４は、複数の分割画像のそれぞれにおいてラインペアが繰り返されるように、撮像画像を複数の分割画像に分割する。
【００５７】
具体的には、画像分割部１０４は、撮像画像の各画素に、４つの画素種別Ｐ１〜Ｐ４のいずれかを割り当てる。図４（Ａ）の例では、撮像画像において、長時間露光ライン（第１露光時間に対応するライン）と、短時間露光ライン（第２露光時間に対応するライン）とが、交互に並んでいる。撮像画像の長時間露光ラインにおいて、画素種別Ｐ１の２つの画素と、画素種別Ｐ２の２つ画素とが交互に並んでいる。そして、撮像画像の短時間露光ラインにおいて、画素種別Ｐ３の２つの画素と、画素種別Ｐ４の２つの画素とが交互に並んでいる。長時間露光ラインは、露光時間が長いラインであり、短時間露光ラインは、露光時間が短い画像である。長時間露光ラインの露光時間は、短時間露光ラインの露光時間よりも長い。
【００５８】
なお、撮像画像の長時間露光ラインにおいて、画素種別Ｐ１の１つ以上の画素と、画素種別Ｐ２の１つ以上の画素とが交互に並べば、当該長時間露光ラインに対する画素種別の割り当て方法は特に限定されない。例えば、撮像画像の長時間露光ラインにおいて、画素種別Ｐ１の１つ画素と、画素種別Ｐ２の１つの画素とが交互に並んでもよい。撮像画像の長時間露光ラインにおいて、画素種別Ｐ１の３つ以上の画素と、画素種別Ｐ２の３つ以上の画素とが交互に並んでもよい。同様に、撮像画像の短時間露光ラインにおいて、画素種別Ｐ３の１つ以上の画素と、画素種別Ｐ４の１つ以上の画素とが交互に並べば、当該短時間露光ラインに対する画素種別の割り当て方法は特に限定されない。また、第１露光時間に対応するラインが短時間露光ラインであり、第２露光時間に対応するラインが長時間露光ラインであってもよい。
【００５９】
そして、画像分割部１０４は、以下の４枚の分割画像Ｄ１１〜Ｄ１４に、撮像画像を分割する。図４（Ａ），４（Ｂ）において、ハッチングされた画像領域は、撮像画像の奇数番目のラインペアの画像領域に対応し、ハッチングされた画像領域は、撮像画像の偶数番目のラインペアに対応する。図４（Ｂ）に示すように、４枚の分割画像Ｄ１１〜Ｄ１４のそれぞれにおいても、長時間露光ラインと短時間露光ラインが交互に並んでいる。
・撮像画像の奇数番目のラインペアの、画素種別Ｐ１の複数の画素と、画素種別Ｐ３の複数の画素とからなる分割画像Ｄ１１
・撮像画像の奇数番目のラインペアの、画素種別Ｐ２の複数の画素と、画素種別Ｐ４の複数の画素とからなる分割画像Ｄ１２
・撮像画像の偶数番目のラインペアの、画素種別Ｐ１の複数の画素と、画素種別Ｐ３の複数の画素とからなる分割画像Ｄ１３
・撮像画像の偶数番目のラインペアの、画素種別Ｐ２の複数の画素と、画素種別Ｐ４の複数の画素とからなる分割画像Ｄ１４
【００６０】
撮像装置１００の出力部１０５は、４枚の分割画像Ｄ１１〜Ｄ１４を、それらの同期をとって、４つの出力端子からそれぞれ出力する。本実施例では、分割画像Ｄ１１は、ＳＤＩケーブルＣ１を介して表示装置２００へ出力される。分割画像Ｄ１２は、ＳＤＩケーブルＣ２を介して表示装置２００へ出力される。分割画像Ｄ１３は、ＳＤＩケーブルＣ３を介して表示装置２００へ出力される。分割画像Ｄ１４は、ＳＤＩケーブルＣ４を介して表示装置２００へ出力される。
【００６１】
そのため、表示装置２００の入力部２０１では、４枚の分割画像Ｄ１１〜Ｄ１４が４つの入力端子からそれぞれ取得される。それにより、第１露光時間に対応する複数の画素と第２露光時間に対応する複数の画素との組み合わせが、４つの入力端子のそれぞれから取得される。
【００６２】
そして、表示装置２００では、２サンプルインターリーブ伝送方式を識別する伝送メタ情報と、取得された組み合わせ（４つの入力端子からそれぞれ取得された４つの組み合わせ）とに基づいて、ＨＤＲ合成画像が生成される。本実施例では、取得された分割画像の、複数の長時間露光ラインと複数の短時間露光ラインとの組み合わせが、ＨＤＲ合成画像を生成するために用いられる。具体的には、画像復元部２０２は、２サンプルインターリーブ伝送方式を識別する伝送メタ情報に応じて、画像分割部１０４の上記処理とは逆の処理を行うことにより、４枚の分割画像Ｄ１１〜Ｄ１４から撮像画像を復元する。その後、ＲＡＷ現像部２０３の上記処理とＨＤＲ合成部２０４の上記処理とが行われ、ＨＤＲ合成画像が生成される。
【００６３】
ここで、表示装置２００の入力部２０１において、４枚の分割画像Ｄ１１〜Ｄ１４のいずれかのみが取得されることなどがある。例えば、４本のＳＤＩケーブルＣ１〜Ｃ４のいずれかのみを用いて表示装置２００が撮像装置１００に接続されている場合に、入力部２０１は、４枚の分割画像Ｄ１１〜Ｄ１４のいずれかのみを取得する。
【００６４】
本実施例では、入力部２０１が４枚の分割画像Ｄ１１〜Ｄ１４のいずれかのみを取得した場合にも、取得された分割画像の、複数の長時間露光ラインと複数の短時間露光ラインとの組み合わせが、ＨＤＲ合成画像を生成するために用いられる。取得された分割画像において長時間露光ラインと短時間露光ラインが交互に並んでいることは、２サンプルインターリーブ伝送方式を識別する伝送メタ情報から判断される。具体的には、取得された分割画像は、ＲＡＷ現像部２０３に入力される。そして、ＲＡＷ現像部２０３は、取得された分割画像の複数の長時間露光ラインからなる長時間露光画像と、取得された分割画像の複数の短時間露光ラインからなる短時間露光画像とに、取得された分割画像を分割する。その後、ＨＤＲ合成部２０４の上記処理が行われ、ＨＤＲ合成画像が生成される。
【００６５】
なお、ＨＤＲ合成画像の生成方法は特に限定されない。撮像画像を復元する処理、撮像画像を長時間露光画像と短時間露光画像に分割する処理、等は省略されてもよい。
【００６６】
以上述べたように、本実施例によれば、シングルフレーム方式の撮像画像を分割して得られた複数の分割画像のいずれかのみが取得される場合にも、ＨＤＲ合成画像をユーザに知覚させるための処理が実行可能となる。例えば、画像処理装置において、シングルフレーム方式の撮像画像を分割して得られた複数の分割画像のいずれかのみが取得される場合にも、ＨＤＲ合成画像が生成可能となる。具体的には、画像出力装置の１つの出力端子から画像処理装置の１つの入力端子へ、ＨＤＲ合成画像を生成するための、第１露光時間に対応する複数の画素と第２露光時間に対応する複数の画素との組み合わせが出力される。それにより、画像処理装置において、複数の分割画像のいずれかのみが取得される場合にも、ＨＤＲ合成画像が生成可能となる。
【００６７】
なお、伝送方式は２サンプルインターリーブ伝送方式に限られない。スクエア・ディビジョン伝送方式に従って撮像画像を複数の分割画像に分割する例を説明する。図５（Ａ），５（Ｂ）は、撮像装置１００の画像分割部１０４の処理の具体例を示す。図５（Ａ）は、撮像画像の一例を示し、図５（Ｂ）は、撮像画像を構成する複数の分割画像の一例を示す。画像分割部１０４は、図５（Ａ）に示すように、撮像画像の画像領域全体を構成する４つの分割領域Ａ１〜Ａ４を設定する。そして、画像分割部１０４は、図５（Ａ），５（Ｂ）に示すように、４つの分割領域Ａ１〜Ａ４にそれぞれ対応する４つの分割画像Ｄ２１〜２４に、撮像画像を分割する。スクエア・ディビジョン伝送方式でも、長時間露光ラインと短時間露光ラインが交互に並んでいる分割画像が得られる。そのため、表示装置２００では、２サンプルインターリーブ伝送方式の処理と同様の処理により、ＨＤＲ合成画像が生成される。
【００６８】
また、撮像画像は撮像動画の１フレームでなくてもよい。撮像画像として、撮像によって生成された静止画が使用されてもよい。
【００６９】
また、ＨＤＲ合成画像を生成して表示する例を説明したが、ＨＤＲ合成画像をユーザに知覚させるための表示は、これに限られない。例えば、長時間露光画像と短時間露光画像を（高速で）交互に表示してもよい。それによっても、ＨＤＲ合成画像をユーザに知覚させることができる。
【００７０】
＜実施例２＞
以下、本発明の実施例２について説明する。実施例１では、各分割画像は、撮像画像の
奇数番目のラインペアに対応する画素と、撮像画像の偶数番目のラインペアに対応する画素との一方しか含まない。そのため、全ての分割画像から生成されるＨＤＲ合成画像の垂直解像度（垂直方向における解像度）よりも垂直解像度が低いＨＤＲ合成画像が、１つの分割画像から生成される。本実施例では、そのような垂直解像度の低下を抑制することができる例を説明する。なお、以下では、実施例１と異なる点（構成、処理、等）について詳しく説明し、実施例１と同じ点についての説明は省略する。
【００７１】
本実施例では、２サンプルインターリーブ伝送方式の処理が実施例１の処理と異なる。以下、２サンプルインターリーブ伝送方式に従って撮像画像を複数の分割画像に分割する例を説明する。図６（Ａ），６（Ｂ）は、撮像装置１００の画像分割部１０４の処理の具体例を示す。図６（Ａ）は、撮像画像の一例を示し、図６（Ｂ）は、撮像画像を構成する複数の分割画像の一例を示す。本実施例では、画像分割部１０４は、各々において長時間露光フレーム（長時間露光画像）と短時間露光フレーム（短時間露光画像）とが交互に繰り返されている複数の分割動画に、分割動画を分割する。
【００７２】
具体的には、実施例１と同様に、画像分割部１０４は、撮像画像（分割動画のフレーム）の各画素に、４つの画素種別Ｐ１〜Ｐ４のいずれかを割り当てる。分割動画の複数のフレームの間において、画素種別の割り当て方法は共通する。
【００７３】
そして、画像分割部１０４は、以下の４つの分割動画Ｄ３１〜Ｄ３４に、撮像動画を分割する。
・Ｎ番目（Ｎは１以上の整数）のフレームが、撮像動画のＮ番目のフレームの、画素種別Ｐ１の複数の画素からなり、且つ、Ｎ＋１番目のフレームが、撮像動画のＮ＋１番目のフレームの、画素種別Ｐ３の複数の画素からなる分割動画Ｄ３１
・Ｎ番目のフレームが、撮像動画のＮ番目のフレームの、画素種別Ｐ２の複数の画素からなり、且つ、Ｎ＋１番目のフレームが、撮像動画のＮ＋１番目のフレームの、画素種別Ｐ４の複数の画素からなる分割動画Ｄ３２
・Ｎ番目のフレームが、撮像動画のＮ番目のフレームの、画素種別Ｐ３の複数の画素からなり、且つ、Ｎ＋１番目のフレームが、撮像動画のＮ＋１番目のフレームの、画素種別Ｐ１の複数の画素からなる分割動画Ｄ３３
・Ｎ番目のフレームが、撮像動画のＮ番目のフレームの、画素種別Ｐ４の複数の画素からなり、且つ、Ｎ＋１番目のフレームが、撮像動画のＮ＋１番目のフレームの、画素種別Ｐ２の複数の画素からなる分割動画Ｄ３４
【００７４】
撮像装置１００の出力部１０５は、４つの分割動画Ｄ３１〜Ｄ３４を、それらの同期をとって、４つの出力端子からそれぞれ出力する。本実施例では、分割動画Ｄ３１は、ＳＤＩケーブルＣ１を介して表示装置２００へ出力される。分割動画Ｄ３２は、ＳＤＩケーブルＣ２を介して表示装置２００へ出力される。分割動画Ｄ３３は、ＳＤＩケーブルＣ３を介して表示装置２００へ出力される。分割動画Ｄ３４は、ＳＤＩケーブルＣ４を介して表示装置２００へ出力される。
【００７５】
そのため、表示装置２００の入力部２０１では、４つの分割動画Ｄ３１〜Ｄ３４が４つの入力端子からそれぞれ取得される。それにより、第１露光時間に対応する複数の画素と第２露光時間に対応する複数の画素との組み合わせが、４つの入力端子のそれぞれから取得される。
【００７６】
そして、表示装置２００では、２サンプルインターリーブ伝送方式を識別する伝送メタ情報と、取得された組み合わせとに基づいて、分割動画の各フレームのダイナミックレン
ジを拡張したＨＤＲ合成動画が生成される。４つの分割動画Ｄ３１〜Ｄ３４の全てが取得された場合には、実施例１の処理と同様の処理により、４つの分割動画Ｄ３１〜Ｄ３４のＮ番目の４つのフレームから、ＨＤＲ合成動画の４番目のフレームが生成される。
【００７７】
本実施例では、入力部２０１が４つの分割動画Ｄ３１〜Ｄ３４のいずれかのみを取得した場合の処理が、実施例１の処理と異なる。本実施例では、取得された分割動画のＮ番目のフレームと、取得された分割動画のＮ＋１またはＮ−１番目のフレームとの組み合わせが、ＨＤＲ合成動画のＮ番目のフレームを生成するために用いられる。Ｎ番目のフレームが長時間露光フレームと短時間露光フレームの一方であり、且つ、Ｎ＋１またはＮ−１番目のフレームが長時間露光フレームと短時間露光フレームの他方であることは、伝送メタ情報から判断される。具体的には、取得された分割動画は、ＨＤＲ合成部２０４に入力される。ＨＤＲ合成部２０４は、少なくとも１つのフレームバッファを備え、取得された分割動画のＮ番目のフレームと、取得された分割動画のＮ＋１またはＮ−１番目のフレームとを合成することにより、ＨＤＲ合成動画のＮ番目のフレームを生成する。分割動画の各フレームは、撮像画像（撮像動画のフレーム）の奇数番目のラインペアに対応する画素と、撮像画像の偶数番目のラインペアに対応する画素との両方を含む。そのため、全ての分割動画から生成されるＨＤＲ合成動画の垂直解像度と同等の垂直解像度を有するＨＤＲ合成動画が、１つの分割動画から生成される。
【００７８】
以上、本実施例によれば、実施例１と同様の効果を得ることができる。さらに、ＨＤＲ合成画像の垂直解像度の低下を抑制することができる。
【００７９】
実施例１，２の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
【００８０】
実施例１，２はあくまで一例であり、本発明の要旨の範囲内で実施例１，２の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１，２の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
【００８１】
＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８２】
１００：画像出力装置（撮像装置）  １０４：画像分割部  １０５：出力部
２００：画像処理装置（表示装置）  ２０１：入力部  ２０２：画像復元部
２０３：ＲＡＷ現像部  ２０４：ＨＤＲ合成部
【図１】
2018196039.tif 000003
【図２】
2018196039.tif 000004
【図３】
2018196039.tif 000005
【図４】
2018196039.tif 000006
【図５】
2018196039.tif 000007
【図６】
2018196039.tif 000008
【図７】
2018196039.tif 000009
【図８】
2018196039.tif 000010
【図９】
2018196039.tif 000011
【図１０】
2018196039.tif 000012
【図１１】
2018196039.tif 000013