(57)【要約】【課題】所定のフォーマットで動画を送信する際に、規定された画素数及びビット深度よりも大きな画素数及びビット深度の動画を送信する。【解決手段】ＳＤＩのフォーマットで伝送できる画像サイズより大きいサイズで、且つ、各画素が１２ビットの画像データを出力する撮像手段と、前記撮像手段から出力された画像データのうち、ＳＤＩのフォーマットで伝送できる画像サイズの有効領域及び、それ以外の周辺領域を切り出す切り出し手段と、ＳＤＩのフォーマットで画像データを伝送する手段であって、前記有効領域の画像データの各画素の上位１０ビットを第１の伝送路で伝送し、前記有効領域の画像データの各画素の下位２ビットを第２の伝送路で伝送し、前記周辺領域の画像データの各画素の上位１０ビットを第３の伝送路で伝送し、前記周辺領域の画像データの各画素の下位２ビットを第４の伝送路で伝送する伝送手段とを有することを特徴とする。【選択図】図１
2017199990.tif 000002
【特許請求の範囲】
【請求項１】
ＳＤＩのフォーマットで伝送できる画像サイズより大きいサイズで、且つ、各画素が１２ビットの画像データを出力する撮像手段と、
前記撮像手段から出力された画像データのうち、ＳＤＩのフォーマットで伝送できる画像サイズの有効領域及び、それ以外の周辺領域を切り出す切り出し手段と、
ＳＤＩのフォーマットで画像データを伝送する手段であって、前記有効領域の画像データの各画素の上位１０ビットを第１の伝送路で伝送し、前記有効領域の画像データの各画素の下位２ビットを第２の伝送路で伝送し、前記周辺領域の画像データの各画素の上位１０ビットを第３の伝送路で伝送し、前記周辺領域の画像データの各画素の下位２ビットを第４の伝送路で伝送する伝送手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記撮像手段は、ベイヤー配列の画素フィルタを有し、前記撮像素子から得られたＲＡＷデータを伝送することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記切り出し手段は、前記撮像装置から得られた画像データの中央の領域を前記有効領域として切り出すことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記切り出し手段は、前記周辺領域を、左方周辺画素、右方周辺画素、上方周辺画素、下方周辺画素の４つの領域に分割して切り出し、前記上方周辺画素と前記下方周辺画素の水平サイズはＳＤＩの有効画素数で切り出すことを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来、ベイヤー（Ｂａｙｅｒ）構造の画素配列を有する撮像素子を用いた撮像装置が一般に知られている。このような撮像素子は、色フィルタを介して画素を構成する光電変換素子に被写体からの像光を取り込み、像光の強さに応じて画像信号を出力する。そして、後段の処理部が画像信号に所定の処理を施すことによって、ビューファインダや外部の表示装置に画像を表示している。撮像素子には、一般にＲ，Ｇ，Ｂ信号をそれぞれ出力可能なＲ，Ｇ，Ｂ画素が所定のパターンで配置されている。  
【０００３】
また、このベイヤー配列のＲＡＷデータをＳＭＰＴＥ（Ｓｏｃｉｅｔｙ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  ａｎｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｅｎｇｉｎｎｅｒｓ）で規格化されている３Ｇ−ＳＤＩにマッピングして出力する装置が提案されている（特許文献１、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２１１６４４号公報
【特許文献２】特開２０１５−１９１８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来例では４Ｋ解像度（４０９６ｘ２１６０）までのデータしか伝送することができないため、４Ｋ解像度以上のＲＡＷデータを伝送することができないとう問題点があった。また、ビット深度は１０ビットであったため１２ビットのＲＡＷデータを伝送することができなかった。
【０００６】
本発明は、このような問題を解決し、所定のフォーマットで動画を送信する際に、規定された画素数及びビット深度よりも大きな画素数及びビット深度の動画を送信することができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明に係る画像処理装置は、
ＳＤＩのフォーマットで伝送できる画像サイズより大きいサイズで、且つ、各画素が１２ビットの画像データを出力する撮像手段と、前記撮像手段から出力された画像データのうち、ＳＤＩのフォーマットで伝送できる画像サイズの有効領域及び、それ以外の周辺領域を切り出す切り出し手段と、ＳＤＩのフォーマットで画像データを伝送する手段であって、前記有効領域の画像データの各画素の上位１０ビットを第１の伝送路で伝送し、前記有効領域の画像データの各画素の下位２ビットを第２の伝送路で伝送し、前記周辺領域の画像データの各画素の上位１０ビットを第３の伝送路で伝送し、前記周辺領域の画像データの各画素の下位２ビットを第４の伝送路で伝送する伝送手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明に係る画像処理装置によれば、規定された画素数及びビット深度よりも大きな画素数及びビット深度の動画を送信することができるようになる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る撮像装置のブロック図
【図２】ベイヤー構造の撮像素子の画素配列を示す図
【図３】伝送される画像の配置を示す図
【図４】複数の画素プレーンを示す図
【図５】伝送される画像の配置を示す図
【図６】伝送される有効領域の画素プレーンを示す図
【図７】伝送される余剰領域の画素プレーンを示す図
【図８】伝送される余剰領域の画素プレーンを示す図
【図９】伝送される余剰領域の画素プレーンを示す図
【図１０】伝送される余剰領域の画素プレーンを示す図
【図１１】各伝送路に配置される画素データを示す図
【図１２】伝送される画像データ構造を示す図
【図１３】４ＫＲＡＷフレームに対して生成されるデータストリームの構造を示す図
【図１４】周辺画素データの情報を示すデータテーブルの構成を示す図
【図１５】各色の画素データの下位２ビットをまとめて１０ビットにしたときの構成を示す図
【図１６】画素データの下位２ビットを多重したときのデータ構造を示す図。
【図１７Ａ】余剰領域の画素データ上位１０ビットを多重したときのデータ構造を示す図
【図１７Ｂ】余剰領域の画素データ上位１０ビットを多重したときのデータ構造を示す図
【図１７Ｃ】余剰領域の画素データ上位１０ビットを多重したときのデータ構造を示す図
【図１８】余剰領域に対して生成されるデータストリームのデータ構造を示す図
【図１９Ａ】余剰領域の画素データ下位２ビットを多重したときのデータ構造を示す図
【図１９Ｂ】余剰領域の画素データ下位２ビットを多重したときのデータ構造を示す図
【図１９Ｃ】余剰領域の画素データ下位２ビットを多重したときのデータ構造を示す図
【図２０】余剰画素に対して生成されるデータストリームのデータ構造を示す図
【図２１】画素データの下位２ビットを多重したときのデータ構造を示す図
【図２２Ａ】余剰領域の画素データ下位２ビットを多重したときのデータ構造を示す図
【図２２Ｂ】余剰領域の画素データ下位２ビットを多重したときのデータ構造を示す図
【図２２Ｃ】余剰領域の画素データ下位２ビットを多重したときのデータ構造を示す図
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【００１１】
なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。
【００１２】
＜第１の実施形態＞
本実施形態では、本発明の記録装置を撮像装置に適用した場合について説明するが、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。
【００１３】
まず、図１を用いて、本実施例形態の撮像装置１００の構成を説明する。
【００１４】
本実施例の撮像装置は、ベイヤー構造の画像データをＳＤＩ規格に従って送信する際に、有効領域の周辺の画素（以下、周辺画素と呼ぶ）を含む画像データを伝送する構成を備える。従って、本装置は撮像装置であるとともに画像データの伝送装置でもある。伝送するフレームレートは３０フレームとし伝送する画素数は水平方向の画素数が４５２８画素、垂直方向の画素数は２３９２とし、ビット深度は１２ビットとし３Ｇ−ＳＤＩを４本使用して伝送する場合を例に説明するがその限りではない。
【００１５】
図１において、撮像部１０１は、撮像レンズ、シャッター、撮像素子、Ａ／Ｄ変換器などから構成される。撮像素子はＣＣＤセンサやＣＭＯＳなどによって図２に示すようなベイヤー構造のカラーフィルタを配した画素配列を有し、光学像を電気信号に変換し、画像データをＲ、Ｇｒ、Ｇｂ、Ｂの４つの画素プレーンとして出力する。このとき、各画素プレーンにおける各画素のデータは１２ビットのデータである。
【００１６】
信号処理部１０２は画像データに対して補正処理などの画像処理を行い、メモリ１０９にＲ、Ｇｒ、Ｇｂ、Ｂの画素プレーンを記憶する。信号切り出し部１０３は３Ｇ−ＳＤＩの帯域で伝送できる画像サイズに切り出した画像データとそれ以外の画像データに分けてメモリ１０９からＲ、Ｇｒ、Ｇｂ、Ｂの画素プレーンを読み出す。
【００１７】
マルチプレクサ１０４は信号切り出し部１０３で読み出した画像データを３Ｇ−ＳＤＩで送信することができるように、各画素を割り当てて、外部Ｉ／Ｆ１０５にデータを送る。外部Ｉ／Ｆ１０５は３Ｇ−ＳＤＩの規格に従って画像データを外部に伝送する。制御部１０６はＣＰＵを備え、フラッシュメモリ１０８に記憶された制御用ソフトウェアに従って撮像装置１００の各部を制御する。操作部１０７は例えば、電源ボタン、記録開始、停止の指示ボタン、メニュー表示ボタン、モード切り替えスイッチ、決定ボタン等の各種操作を入力するスイッチ類を有する。
【００１８】
操作部１０７は、ユーザによりこれらのキーやボタン、タッチパネルが操作されると制御部１０６に操作信号を送信する。また、カーソルキー、ポインティングデバイス、タッチパネル、ダイヤル等のどのようなタイプの操作子であってもよい。操作部１０７の各操作部材は、表示部１１１に表示される種々の機能アイコンとして実現されることも可能である。ユーザはこれらの機能アイコンを選択、操作することが可能である。
【００１９】
フラッシュメモリ１０８は電気的に消去・記録可能な不揮発性のメモリであり、制御部１０６を動作させるために必要なプログラムや撮像装置１００固有の調整データ等があらかじめ書きこまれている。メモリ１０９はＤＲＡＭ等の揮発性メモリから構成され、伝送するための画像データや管理情報、或いは、制御部１０６の制御のために必用な各種の情報を記憶する。表示制御部１１０は撮像部１０１より得られたベイヤー構造の画像データにディベイヤー（Ｄｅｂａｙｅｒ）処理等の所定の処理を施して表示用の画像データを生成し、表示部１１１に送る。表示部１１１は、例えば、液晶表示デバイス、または有機ＥＬ表示デバイスなどを有し、表示制御部１１１の制御により画像やメニュー画面、及びその他必用な情報を表示する。
【００２０】
以上で説明した各構成は、各要素間の制御信号やデータ信号のための伝送路である内部バス１１２と接続されている。
【００２１】
次に図３と図４を用いてメモリ１０９に記憶される画像プレーンの説明をする。
【００２２】
本実施例において、例えば、撮像部１０１の画素配置は図３に示すように有効画素領域と周辺画素領域から構成される。この画素配列の全体エリアから１回に取得可能な画素データ群をＲＡＷフレームと定義する。ＲＡＷフレームの水平方向の画素数が４５２８画素（４５１２＋８＋８）、垂直方向の画素数は２３９２（２３７６＋８＋８）でありベイヤー構造で画素が配列されている（以下、４．５ＫＲＡＷと呼ぶ）。この４．５ＫＲＡＷのＲ、Ｇｒ、Ｇｂ、Ｂの各画素ごとに集めた画素データを図４に示す。各色ごとの画素データは水平が２２６４画素、垂直が１１９６画素である。信号処理部１０２は制御部１０６からの制御により入力されたベイヤー構造の画像データを各色の画像データに分けてメモリ１０９に記憶する。
【００２３】
次に図５を用いて信号切り出し処理部１０３によるメモリ１０９からの画像データ読み出しの処理を説明する。
【００２４】
図５は各色ごとに分けた画像データの１つの色の画素数を表しており、水平が２２６４画素、垂直が１１９６画素となっている。このうち３Ｇ−ＳＤＩの規格で定められた有効映像データの画素数（２０４８ｘ１０８０）で伝送できることができる領域を４ＫＲＡＷの画素エリアとして切り出す。４．５ＫＲＡＷから４ＫＲＡＷの画素エリアを切り出して残った画素を余剰画素エリアと定義する。４ＫＲＡＷの切り出しは、始点の（Ｘ、Ｙ）座標が（９９、４９）であり、終点の（Ｘ、Ｙ）座標が（２１６３、１１４５）である矩形エリアとして切り出す。
【００２５】
この切り出したエリアのうち有効画素エリアにマッピングする画素データは、始点の（Ｘ、Ｙ）座標が（１０７、５７）であり、終点の（Ｘ、Ｙ）座標が（２１５５、１１３７）である矩形エリアとなる。有効画素エリアにマッピングする画素データを図６に示す。切り出した矩形エリアのうち、有効画素エリアにマッピングする画素以外の左方周辺画素（Ｌ１、Ｌ２、Ｌ３）、上方周辺画素、右方周辺画素（Ｒ１、Ｒ２、Ｒ３）、下方周辺画素は周辺画素としてアンシラリ領域にマッピングされる。この周辺画素は後工程で現像処理をする際に有効画素の端の画素も正確に現像するために使用される。
【００２６】
余剰画素エリアを図５に示すようにさらに４つの領域に分割して切り出す。第１の領域は（Ｘ、Ｙ）座標が（１０８、０）であり、終点の（Ｘ、Ｙ）座標が（２１５５、５７）である矩形エリアで上方の余剰画素エリアとして切り出す。この切り出したエリアの画素データを図７に示す。第２の領域は始点の（Ｘ、Ｙ）座標が（０、０）であり、終点の（Ｘ、Ｙ）座標が（１０７、１１９５）である矩形エリアで左方の余剰画素エリアとして切り出す。この切り出したエリアの画素データを図８に示す。第３の領域は（Ｘ、Ｙ）座標が（２１５６、０）であり、終点の（Ｘ、Ｙ）座標が（２２６３、１１９５）である矩形エリアで右方の余剰画素エリアとして切り出す。
【００２７】
この切り出したエリアの画素データを図９に示す。第４の領域は（Ｘ、Ｙ）座標が（１０８、１１３７）であり、終点の（Ｘ、Ｙ）座標が（２１５５、１１９５）である矩形エリアで下方の余剰画素エリアとして切り出す。この切り出したエリアの画素データを図１０に示す。
【００２８】
ここで４ＫＲＡＷの切り出しエリアの左方周辺画素エリア（Ｌ１、Ｌ２、Ｌ３）、上方周辺画素エリア、右方周辺画素エリア（Ｒ１、Ｒ２、Ｒ３）、下方周辺画素エリアは余剰画素エリアの切り出し領域と重複して切り出されることになる。ここでの切り出しは４ＫＲＡＷの画素エリアの左方、右方、上方、下方周辺画素それぞれ８画素ずつ重複して切り出したがこれに限らず、さらに重複して切り出しても良いし、重複せずに切り出しても良い。
【００２９】
次に図１１〜図１３を用いてマルチプレクサ１０４のマッピング処理を説明する。
【００３０】
本実施例では、動画データをＳＤＩ規格に従って伝送する。詳しくは、ＳＭＰＴＥ  ＳＴ  ４２５（３Ｇ−ＳＤＩ）のレベルＢに準拠し、ＳＭＰＴＥ  ＳＴ  ３７２（Ｄｕａｌ  Ｌｉｎｋ）のＲ’Ｇ’Ｂ’＋Ａ  １０ビットの多重化構造を適用して各画素データを配分する。また、画素のサンプルフォーマットは、ＳＭＰＴＥ  ＳＴ  ２０４８−２で規定された、２０４８Ｘ１０８０／３０Ｐに準拠する。
【００３１】
図１１はこの規格に従って有効映像期間（デジタルアクティブライン）に多重されている画素データの各チャネルへの配分構成をしている。
【００３２】
この配分構成に従ってマルチプレクサ１０４は各データストリームを生成していく。さらにＳＤＩの規格に準じた映像信号の区切り位置を認識するための識別子ＳＡＶ／ＥＡＶを生成する。また、ライン番号の管理用のデータＬＮ（Ｌｉｎｅ  Ｎｕｍｂｅｒ）および伝送エラーチェック用のデータＣＲＣＣ（Ｃｙｃｌｅ  Ｒｅｄｕｎｄａｎｃｙ  Ｃｈｅｃｋ  Ｃｏｄｅ）を生成する。
【００３３】
図１２は図６で示した４ＫＲＡＷを切り出した各画素プレーンにおける１ラインの画素データの上位１０ビットを、１ライン分に相当する４本のデータストリームに多重した結果を示す。
【００３４】
例えば、Ｇｂ１０９の“１０９”の番号は、Ｇｂの画素プレーンの左端の画素データからの順番に対応し、［１１：２］は画素データのビット深度が１２ビットのうち上位１０ビットのデータであることを示している。ここでは、ＲＡＷフレームを構成する２ラインに配置されたＲ、Ｇｒ、Ｇｂ、Ｂの画素データが、それぞれ１ライン分のデータストリームに多重されることを示している。
【００３５】
図１３は切り出した４ＫＲＡＷに対応するデータストリームのデータ構成を示す。
【００３６】
周辺画素データは図１４に示すデータテーブルの多重位置の情報に従ってサンプル位置およびライン位置が特定され、水平および垂直のブランキング領域に多重される。第１の領域および第４の領域で切り出した各画素プレーンも４ＫＲＡＷを切り出した各画素プレーンと同様に図１２に示す形で１ラインの画素データが４本のデータストリームに多重される。
【００３７】
図１５は各画素データの下位２ビットをまとめて１０ビットのデータにした構成を示している。
【００３８】
０ビット目、１ビット目にＧｂ画素の下位２ビット、２ビット目、３ビット目にＢ画素の下位２ビット、４ビット目、５ビット目にＧｒ画素の下位２ビット、６ビット目、７ビット目にＲ画素の下位２ビットを割り当てている。８ビット目は誤り検出符号を示すイーブンパリティビットであり、９ビット目は８ビット目の補数である。
【００３９】
図１６は図６で示した４ＫＲＡＷを切り出した各画素プレーンにおける１ラインの画素データの下位２ビットを、１ライン分に相当する４本のデータストリームに多重した結果を示す。
【００４０】
例えば、ＲＧｒＢＧｂは図１５で示した１０ビットの構成になっていることを示し、１０９の“１０９”の番号は、各色の画素プレーンの左端の画素データからの順番に対応し、［１：０］は各色ごとの画素データのビット深度が１２ビットのうち下位２ビットのデータであることを示している。Ｌｉｎｋ  Ａのデータストリーム１以外のデータストリームは使用しないので固定値として０４０のデータを重畳する。１ライン分のデータストリームは図１３で示したデータ構成として構成される。
【００４１】
図１７Ａ〜図１７Ｃは第２の領域で切り出した各画素プレーンにおける７２ラインの画素データの上位１０ビットを、１ライン分に相当する４本のデータストリームの３ライン分に多重した結果を示す。
【００４２】
例えば、Ｇｂ（１、２）は図８においてＧｂの画素プレーンの左から１番目で上から２番の画素データに対応し、［１１：２］は画素データのビット深度が１２ビットのうち上位１０ビットのデータであることを示している。まずは、第２の領域の１ライン目の１０８画素を１ライン目のサンプル番号０〜１０７にマッピングする。次に第２の領域の２ライン目の１０８画素を１ライン目のサンプル番号１０８〜２１５にマッピングしていく。
【００４３】
同様に第２の領域の３ライン目〜１７ライン目の各１０８画素を順次１ライン目のサンプル番号２１６〜１８３５にマッピングしていく。第２の領域の１８ライン目は３６画素を１ライン目のサンプル番号１８３６〜１８７１にマッピングする。１ライン目の残りの有効画素エリアには黒データとなる各色０４０のデータを重畳する。次に、第２の領域の１８ライン目の残りの７２画素を２ライン目のサンプル番号０〜７１にマッピングする。次に第２の領域の１９ライン目の１０８画素を２ライン目のサンプル番号７２〜１７９にマッピングしていく。同様に第２の領域の２０ライン目〜３４ライン目の各１０８画素を順次２ライン目のサンプル番号１８０〜１７９９にマッピングしていく。
【００４４】
第２の領域の３５ライン目は７２画素を２ライン目のサンプル番号１８００〜１８７１にマッピングする。２ライン目の残りの有効画素エリアには黒データとなる各色０４０のデータを重畳する。次に、第２の領域の３５ライン目の残りの３６画素を３ライン目のサンプル番号０〜３５にマッピングする。次に第２の領域の３６ライン目の１０８画素を３ライン目のサンプル番号３６〜１４３にマッピングしていく。同様に第２の領域の３７ライン目〜５２ライン目の各１０８画素を順次３ライン目のサンプル番号１４４〜１８７１にマッピングしていく。３ライン目の残りの有効画素エリアには黒データとなる各色０４０のデータを重畳する。第２の領域の５３〜１１９６ライン目も５２ラインごとに前述のマッピングと同じように３ラインにマッピングしていく。第４の領域も第２の領域で示したマッピングと同様のマッピングを行う。
【００４５】
図１８に、切り出した第１〜第４の領域に対応するデータストリームのデータ構成を示す。
【００４６】
第１の領域の画素データはデジタルアクティブラインの１〜５８ラインに重畳する。第２の領域の画素データはデジタルアクティブラインの５９〜１２７ラインに重畳する。第４の領域の画素データはデジタルアクティブラインの１２８〜１９６ラインに重畳する。第３の領域の画素データはデジタルアクティブラインの１９７〜２５５ラインに重畳する。
【００４７】
図１９Ａ〜図１９Ｃは第２の領域で切り出した各画素プレーンにおける７２ラインの画素データの下位２ビットを、１ライン分に相当する４本のデータストリームの３ライン分に多重した結果を示す。
【００４８】
例えば、ＲＧｒＢＧｂは図１５で示した１０ビットの構成になっていることを示し、（１、２）は図８において各色の画素プレーンの左から１番目で上から２番の画素データに対応し、［１：０］は各色ごとの画素データのビット深度が１２ビットのうち下位２ビットのデータであることを示している。まずは、第２の領域の１ライン目の１０８画素を１ライン目のサンプル番号０〜１０７にマッピングする。
【００４９】
次に第２の領域の２ライン目の１０８画素を１ライン目のサンプル番号１０８〜２１５にマッピングしていく。同様に第２の領域の３ライン目〜１７ライン目の各１０８画素を順次１ライン目のサンプル番号２１６〜１８３５にマッピングしていく。第２の領域の１８ライン目は３６画素を１ライン目のサンプル番号１８３６〜１８７１にマッピングする。１ライン目の残りの有効画素エリアには黒データとなる各色０４０のデータを重畳する。次に、第２の領域の１８ライン目の残りの７２画素を２ライン目のサンプル番号０〜７１にマッピングする。次に第２の領域の１９ライン目の１０８画素を２ライン目のサンプル番号７２〜１７９にマッピングしていく。
【００５０】
同様に第２の領域の２０ライン目〜３４ライン目の各１０８画素を順次２ライン目のサンプル番号１８０〜１７９９にマッピングしていく。第２の領域の３５ライン目は７２画素を２ライン目のサンプル番号１８００〜１８７１にマッピングする。２ライン目の残りの有効画素エリアには黒データとなる各色０４０のデータを重畳する。次に、第２の領域の３５ライン目の残りの３６画素を３ライン目のサンプル番号０〜３５にマッピングする。次に第２の領域の３６ライン目の１０８画素を３ライン目のサンプル番号３６〜１４３にマッピングしていく。同様に第２の領域の３７ライン目〜５２ライン目の各１０８画素を順次３ライン目のサンプル番号１４４〜１８７１にマッピングしていく。
【００５１】
３ライン目の残りの有効画素エリアには黒データとなる各色０４０のデータを重畳する。第２の領域の５３〜１１９６ライン目も５２ラインごとに前述のマッピングと同じように３ラインにマッピングしていく。Ｌｉｎｋ  Ａのデータストリーム１以外のデータストリームは使用しないので固定値として０４０のデータを重畳する。１ライン分のデータストリームは図１８で示したデータ構成として構成される。第４の領域も第２の領域で示したマッピングと同様のマッピングを行う。
【００５２】
以上、説明したように本実施例によれば３０フレームの４．５ＲＡＷでビット深度１２ビットの画素データを３Ｇ−ＳＤＩに準拠した形で伝送することができる。
【００５３】
＜第２の実施形態＞
第２の実施形態も図１で示した第１の実施形態のブロック図と同様の構成で実現できるためその説明は割愛する。本実施例の撮像装置は、ベイヤー構造の画像データをＳＤＩ規格に従って送信する際に、有効領域の周辺の画素（以下、周辺画素と呼ぶ）を含む画像データを伝送する構成を備える。
【００５４】
従って、本装置は撮像装置であるとともに画像データの伝送装置でもある。伝送するフレームレートは６０フレームとし伝送する画素数は水平方向の画素数が４５２８画素、垂直方向の画素数は２３９２とし、ビット深度は１２ビットとし３Ｇ−ＳＤＩを５本使用して伝送する場合を例に説明するがその限りではない。本実施例は実施形態１に対し、マルチプレクサ１０４の処理が異なる。
【００５５】
マルチプレクサ１０４は同時に２フレーム分の４．５ＫＲＡＷフレームを読み出し、３Ｇ−ＳＤＩ５本にマッピングする。各４．５ＫＲＡＷフレームは実施形態１と同様に図５で示す形で４ＫＲＡＷの有効画素エリアと４つの領域からなる余剰画素エリアに分割されて切り出される。切り出された４ＫＲＡＷの画素データの上位１０ビットは実施形態１と同様に図１２および図１３で示す形で３Ｇ−ＳＤI１本ずつにマッピングされる。各４．５ＫＲＡＷフレームから切り出された４つの領域の余剰画素データの上位１０ビットは実施形態１と同様に図１７で示した形でマッピングされる。
【００５６】
図２０に、各４．５ＫＲＡＷフレームから切り出した第１〜第４の領域に対応するデータストリームのデータ構成を示す。
【００５７】
第１のフレームの第１の領域の画素データはデジタルアクティブラインの１〜５８ラインに重畳する。第１のフレームの第２の領域の画素データはデジタルアクティブラインの５９〜１２７ラインに重畳する。第１のフレームの第４の領域の画素データはデジタルアクティブラインの１２８〜１９６ラインに重畳する。第１のフレームの第３の領域の画素データはデジタルアクティブラインの１９７〜２５４ラインに重畳する。
【００５８】
第２のフレームの第１の領域の画素データはデジタルアクティブラインの２５５〜３１２ラインに重畳する。第２のフレームの第２の領域の画素データはデジタルアクティブラインの３１３〜３８１ラインに重畳する。第２のフレームの第４の領域の画素データはデジタルアクティブラインの３８２〜４５０ラインに重畳する。第２のフレームの第３の領域の画素データはデジタルアクティブラインの４５１〜５０８ラインに重畳する。第３のフレームの第１の領域の画素データはデジタルアクティブラインの５０９〜５６６ラインに重畳する。第３のフレームの第２の領域の画素データはデジタルアクティブラインの５６７〜６３５ラインに重畳する。
【００５９】
第３のフレームの第４の領域の画素データはデジタルアクティブラインの６３６〜７０４ラインに重畳する。第３のフレームの第３の領域の画素データはデジタルアクティブラインの７０５〜７６２ラインに重畳する。
【００６０】
図２１に、第１のフレームと第２のフレームの各色の画素データの下位２ビットを、ライン分に相当する４本のデータストリームの３ライン分に多重した結果を示す。
【００６１】
例えば、ＲＧｒＢＧｂは図１５で示した１０ビットの構成になっていることを示し、１０９の“１０９”の番号は、各色の画素プレーンの左端の画素データからの順番に対応し、［１：０］は各色ごとの画素データのビット深度が１２ビットのうち下位２ビットのデータであることを示している。Ｌｉｎｋ  Ａ以外のデータストリームは使用しないので固定値として０４０のデータを重畳する。１ライン分のデータストリームは図１３で示したデータ構成として構成される。
【００６２】
図２２Ａ〜図２２Ｃは第１のフレームと第２のフレームの第２の領域で切り出した各画素プレーンにおける７２ラインの画素データの下位２ビットを、１ライン分に相当する４本のデータストリームの３ライン分に多重した結果を示す。
【００６３】
例えば、ＲＧｒＢＧｂは図１５で示した１０ビットの構成になっていることを示し、（１、２）は図８において各色の画素プレーンの左から１番目で上から２番の画素データに対応し、［１：０］は各色ごとの画素データのビット深度が１２ビットのうち下位２ビットのデータであることを示している。まずは、第２の領域の１ライン目の１０８画素を１ライン目のサンプル番号０〜１０７にマッピングする。
【００６４】
次に第２の領域の２ライン目の１０８画素を１ライン目のサンプル番号１０８〜２１５にマッピングしていく。同様に第２の領域の３ライン目〜１７ライン目の各１０８画素を順次１ライン目のサンプル番号２１６〜１８３５にマッピングしていく。第２の領域の１８ライン目は３６画素を１ライン目のサンプル番号１８３６〜１８７１にマッピングする。１ライン目の残りの有効画素エリアには黒データとなる各色０４０のデータを重畳する。次に、第２の領域の１８ライン目の残りの７２画素を２ライン目のサンプル番号０〜７１にマッピングする。次に第２の領域の１９ライン目の１０８画素を２ライン目のサンプル番号７２〜１７９にマッピングしていく。
【００６５】
同様に第２の領域の２０ライン目〜３４ライン目の各１０８画素を順次２ライン目のサンプル番号１８０〜１７９９にマッピングしていく。第２の領域の３５ライン目は７２画素を２ライン目のサンプル番号１８００〜１８７１にマッピングする。２ライン目の残りの有効画素エリアには黒データとなる各色０４０のデータを重畳する。次に、第２の領域の３５ライン目の残りの３６画素を３ライン目のサンプル番号０〜３５にマッピングする。次に第２の領域の３６ライン目の１０８画素を３ライン目のサンプル番号３６〜１４３にマッピングしていく。同様に第２の領域の３７ライン目〜５２ライン目の各１０８画素を順次３ライン目のサンプル番号１４４〜１８７１にマッピングしていく。
【００６６】
３ライン目の残りの有効画素エリアには黒データとなる各色０４０のデータを重畳する。第２の領域の５３〜１１９６ライン目も５２ラインごとに前述のマッピングと同じように３ラインにマッピングしていく。Ｌｉｎｋ  Ａ以外のデータストリームは使用しないので固定値として０４０のデータを重畳する。１ライン分のデータストリームは図１８で示したデータ構成として構成される。第４の領域も第２の領域で示したマッピングと同様のマッピングを行う。
【００６７】
以上、説明したように本実施例によれば６０フレームの４．５ＲＡＷでビット深度１２ビットの画素データを３Ｇ−ＳＤＩに準拠した形で伝送することができる。
【００６８】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００６９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００７０】
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００７１】
１００  撮像装置、１０１  撮像部、１０２  信号処理部、
１０３  信号切り出し処理部、１０４  マルチプレクサ、１０５  外部Ｉ／Ｆ、
１０６  制御部、１０７  操作部、１０８  フラッシュメモリ
【図１】
2017199990.tif 000003
【図２】
2017199990.tif 000004
【図３】
2017199990.tif 000005
【図４】
2017199990.tif 000006
【図５】
2017199990.tif 000007
【図６】
2017199990.tif 000008
【図７】
2017199990.tif 000009
【図８】
2017199990.tif 000010
【図９】
2017199990.tif 000011
【図１０】
2017199990.tif 000012
【図１１】
2017199990.tif 000013
【図１２】
2017199990.tif 000014
【図１３】
2017199990.tif 000015
【図１４】
2017199990.tif 000016
【図１５】
2017199990.tif 000017
【図１６】
2017199990.tif 000018
【図１７Ａ】
2017199990.tif 000019
【図１７Ｂ】
2017199990.tif 000020
【図１７Ｃ】
2017199990.tif 000021
【図１８】
2017199990.tif 000022
【図１９Ａ】
2017199990.tif 000023
【図１９Ｂ】
2017199990.tif 000024
【図１９Ｃ】
2017199990.tif 000025
【図２０】
2017199990.tif 000026
【図２１】
2017199990.tif 000027
【図２２Ａ】
2017199990.tif 000028
【図２２Ｂ】
2017199990.tif 000029
【図２２Ｃ】
2017199990.tif 000030