(57)【要約】【課題】有効ピクセルが異なるベイヤー構造の動画フレームを現像処理前に外部装置に伝送できるようにする。【解決手段】有効ピクセルが４０９６×２１６０であるベイヤー構造の動画フレームに比べて情報量が１／２になっている有効ピクセルが４０９６×１０８０であるベイヤー構造の動画フレームをＳＭＰＴＥで規定されているＰｓＦ伝送方式に従って伝送する場合に、１枚目の動画フレームの有効画素データを第１フィールドに相当する有効画素領域１００１にマッピングし、２枚目の動画フレームの有効画素データは第２フィールドに相当する有効画素領域１００２にマッピングする。【選択図】図１０
2013219598.tif 000002
【特許請求の範囲】
【請求項１】
ベイヤー構造で構成されている動画データのフレームを、飛び越し走査方式に従って第１のフィールドと第２のフィールドとを有する伝送領域に配置して外部装置に伝送する伝送手段と、
前記ベイヤー構造で構成されているフレームであって、垂直方向の画素を間引いた時間的に連続する第１のフレームと第２のフレームとを伝送する場合に、前記第１のフレームの有効画素データを前記伝送領域の第１のフィールドの有効画素領域に配置し、前記第２のフレームの有効画素データを前記伝送領域の第２のフィールドの有効画素領域に配置して伝送するように前記伝送手段を制御する制御手段と
を有することを特徴とする伝送装置。
【請求項２】
前記第１のフレーム及び第２のフレームは、前記ベイヤー構造で構成されているフレームの垂直方向の画素を２分の１に間引いたフレームであることを特徴とする請求項１に記載の伝送装置。
【請求項３】
前記制御手段は、ユーザの操作に応じて、前記垂直方向の画素を間引いていないフレームを伝送するモードと、前記垂直方向の画素を２分の１に間引いたフレームを伝送するモードとを切り替える制御を行うことを特徴とする請求項２に記載の伝送装置。
【請求項４】
前記制御手段は、前記垂直方向の画素を２分の１に間引いたフレームを伝送するモードに切り替えた場合に、伝送するデータのフォーマットを識別するための識別子を重畳させて伝送することを特徴とする請求項３に記載の伝送装置。
【請求項５】
ベイヤー構造で構成されている動画データのフレームを、飛び越し走査方式に従って第１のフィールドと第２のフィールドとを有する伝送領域に配置して外部装置に伝送する伝送ステップと、
前記ベイヤー構造で構成されているフレームであって、垂直方向の画素を間引いた時間的に連続する第１のフレームと第２のフレームとを伝送する場合に、前記第１のフレームの有効画素データを前記伝送領域の第１のフィールドの有効画素領域に配置し、前記第２のフレームの有効画素データを前記伝送領域の第２のフィールドの有効画素領域に配置して伝送するように前記伝送ステップにおける処理を制御する制御ステップと
を有することを特徴とする伝送方法。
【請求項６】
ベイヤー構造で構成されている動画データのフレームを、飛び越し走査方式に従って第１のフィールドと第２のフィールドとを有する伝送領域に配置して外部装置に伝送する伝送ステップと、
前記ベイヤー構造で構成されているフレームであって、垂直方向の画素を間引いた時間的に連続する第１のフレームと第２のフレームとを伝送する場合に、前記第１のフレームの有効画素データを前記伝送領域の第１のフィールドの有効画素領域に配置し、前記第２のフレームの有効画素データを前記伝送領域の第２のフィールドの有効画素領域に配置して伝送するように前記伝送ステップにおける処理を制御する制御ステップとをコンピュータに実行させることを特徴とするプログラム。
【請求項７】
請求項６に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、現像処理が行われる前の画像データを送信するために用いて好適な伝送装置、伝送方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
動画データに含まれる各フレームの画像データを伝送する技術に関して、特許文献１には、ベイヤー構造とした撮像素子から出力された画像信号をＨＤ−ＳＤＩフォーマットで規定されている信号にマッピングして伝送する方法が記載されている。ＨＤ−ＳＤＩフォーマットは、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  ａｎｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｅｎｇｉｎｅｅｒｓ）  ２７４Ｍに準拠する。以下、動画データに含まれる各フレームの画像データを動画フレームと呼ぶ。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１８２０４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１によれば、有効ピクセルが４０９６×２１６０であるベイヤー構造の動画フレームを現像処理前に伝送することができる。しかしながら、特許文献１には、有効ピクセルが４０９６×１０８０であるベイヤー構造の動画フレームを現像処理前に伝送する方法までは記載されていない。
【０００５】
本発明は前述の問題点に鑑み、有効ピクセルが異なるベイヤー構造の動画フレームを現像処理前に外部装置に伝送できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明の伝送装置は、ベイヤー構造で構成されている動画データのフレームを、飛び越し走査方式に従って第１のフィールドと第２のフィールドとを有する伝送領域に配置して外部装置に伝送する伝送手段と、前記ベイヤー構造で構成されているフレームであって、垂直方向の画素を間引いた時間的に連続する第１のフレームと第２のフレームとを伝送する場合に、前記第１のフレームの有効画素データを前記伝送領域の第１のフィールドの有効画素領域に配置し、前記第２のフレームの有効画素データを前記伝送領域の第２のフィールドの有効画素領域に配置して伝送するように前記伝送手段を制御する制御手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、有効ピクセルが異なるベイヤー構造の動画フレームを現像処理前に外部装置に伝送することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態１に係る伝送装置の一例である撮像装置が有する構成要素を説明するためのブロック図である。
【図２】ベイヤー構造の撮像素子の一例を説明するための図である。
【図３】撮像素子を構成する有効ピクセルのエリアと、周辺画素のエリアとを説明するための図である。
【図４】有効ピクセルが４０９６×２１６０である場合の有効ピクセルのエリアの各色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）の有効画素データを説明するための図である。
【図５】周辺画素データの位置と、信号上への多重位置との情報に関するテーブルの一例を説明するための図である。
【図６】ＳＭＰＴＥで規定されているＰｓＦ伝送方式を説明するための図である。
【図７】ＰｓＦ伝送方式における１ラインの構成例を詳細に説明するための図である。
【図８】動画フレームの有効画素データを有効画素領域へマッピングする方法を説明するための図である。
【図９】有効ピクセルが４０９６×１０８０である場合の有効ピクセルのエリアの各色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）の有効画素データを説明するための図である。
【図１０】本発明の実施形態１において、２枚の動画フレームの有効画素データを有効画素領域へマッピングする方法を説明するための図である。
【図１１】ＳＭＰＴＥで規定されているアンシラリーパケットのパケット構造の一例を説明するための図である。
【図１２】４Ｋ２Ｋ伝送モードまたは４Ｋ１Ｋ伝送モードに切り替えるための伝送モード切り替え処理を説明するためのフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら、本発明の実施形態を説明する。
［実施形態１］
図１は、実施形態１に係る伝送装置の一例である撮像装置１００が有する構成要素を説明するためのブロック図である。撮像装置１００は、例えば、デジタルビデオカメラとして動作する装置である。
図１において、撮像装置１００は、制御部１０、撮像部１１、画像処理部１２、メモリＡ１３、メモリＢ１４、表示部１５、操作部１６、画像伝送部１７、メモリＣ１８及び外部Ｉ／Ｆ１９を有する。制御部１０とこれらの他の構成とは、互いに接続されており、制御部１０と各構成部との間では、互いにデータのやり取りを行うことができる。
【００１０】
制御部１０は、撮像装置１００全体を制御するシステム制御部である。制御部１０は、メモリＡ１３に記憶された少なくとも一つのプログラムを実行することにより、後述の伝送モード切り替え処理（図１２参照）等を制御することができる。メモリＡ１３には、制御部１０が撮像装置１００を制御するために実行する様々なプログラムが記憶されている。メモリＢ１４は、制御部１０のワークメモリとして用いられるメモリである。また、メモリＢ１４は、撮像部１１で生成され、画像処理部１２で画像処理された画像データを、表示部１５で表示するために一時的に格納するメモリとしても用いられる。
【００１１】
撮像部１１は、ズームレンズ及びフォーカスレンズを含むレンズユニットと、撮像素子とを有し、当該撮像素子を用いて画像データ（静止画データ、動画データを含む）を生成する。撮像部１１が有する撮像素子は、図２に示すようなベイヤー構造で構成され、光学像を電気信号に変換する。
【００１２】
画像処理部１２は、撮像部１１において取得された画像データに対して、所定の画素補間や、補正処理、リサイズ処理、色変換処理などを行う。また、画像処理部１２は、取得された画像データを用いて所定の演算処理を行い、制御部１０は、画像処理部１２で得られた演算結果に基づいて撮像部１１による撮像に関する各種制御（露光制御、オートホワイトバランス制御など）を行う。
【００１３】
表示部１５は、制御部１０の制御に基づき、各種設定状態や、撮像部１１で取得された画像データに係る画像などを表示するためのディスプレイであり、覗き込み形のファインダー内のディスプレイや、バリアングルの液晶モニタなどとして構成されている。
【００１４】
操作部１６は、撮像装置１００に電源を供給するための電源スイッチや、撮影開始ボタン、モード切替ボタンなどを含む、ユーザからの操作を受け付ける操作部である。なお、操作部１６にタッチパネルが含まれる場合、制御部１０はタッチパネルへの以下の操作を検出できる。
・タッチパネルを指やペンで触れたこと（以下、タッチダウンと称する）。
・タッチパネルを指やペンで触れている状態であること（以下、タッチオンと称する）。
・タッチパネルを指やペンで触れたまま移動していること（以下、ムーブと称する）。
・タッチパネルへ触れていた指やペンを離したこと（以下、タッチアップと称する）。
・タッチパネルに何も触れていない状態であること（以下、タッチオフと称する）。
【００１５】
これらの操作や、タッチパネル上に指やペンが触れている位置座標の情報は、制御部１０に通知され、制御部１０は通知された情報に基づいてタッチパネル上にどのような操作が行われたかを判定する。ムーブについては、タッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定する。また、タッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたと定義し、素早くストロークを描く操作をフリックと定義する。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。そして、所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定する。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行われたと判定する。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうち、いずれの方式のものを用いてもよい。
【００１６】
画像伝送部１７は、画像処理部１２により補正処理が行われたベイヤー構造を有する画像データ（動画フレーム）を、ＳＭＰＴＥで規定されている所定のフォーマットに整形して外部装置ＥＸ１に画像データを伝送する。メモリＣ１８は、画像処理部１２の処理により得られた各色の画素データを一時的に記憶するためのメモリである。外部Ｉ／Ｆ１９は、外部装置ＥＸ１と接続するためのインタフェース部であり、画像伝送部１７は整形した信号を外部装置ＥＸ１に伝送する。外部装置ＥＸ１は、外部表示装置、外部記録装置の少なくとも一つとして動作する。
【００１７】
まず、図３〜図８を参照しながら、有効ピクセルが４０９６×２１６０であるベイヤー構造の動画フレームを伝送するフォーマットについて説明する。
図３に示すように、撮像部１１の撮像素子は、有効ピクセルのエリアと、周辺画素のエリアとから構成される。そして、この全体のエリアから１回にデータを取得できる画素データ群をＲＡＷフレームと定義する。ＲＡＷフレームは、横のピクセル幅が４１１２（４０９６＋８＋８）で、縦のピクセル幅が２１７６（２１６０＋８＋８）であり、ベイヤー構造で画素が構成される。撮像素子により撮像されたベイヤー構造の画素は画像処理部１２において補正処理のみが行われ、画像伝送部１７に送られる。画像伝送部１７では、有効ピクセルのデータ（以下、有効画素データ）と周辺画素のデータ（以下、周辺画素データ）とのそれぞれを別の領域に分けてメモリＣ１８に格納する。
【００１８】
図４は、画像伝送部１７がメモリＣ１８に格納する、ＲＡＷフレームを構成している有効ピクセルのエリアの各色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）の有効画素データを説明するための図である。図４に示すように、各色の画素群は、横のピクセル幅が２０４８であり、縦のピクセル幅が１０８０である。
【００１９】
また、画像伝送部１７は、図５に示すデータテーブルを作成し、周辺画素のデータに関連付けてメモリＣ１８に格納する。このデータテーブルは、ＲＡＷフレームにおける各周辺画素データの位置と、周辺画素データをＳＤＩフォーマットで伝送するときの信号上への多重位置とを示すテーブルである。画像伝送部１７は、ＲＡＷフレームの構成に関する情報から、各周辺画素データの位置と範囲とを算出する。また、画像伝送部１７は、上記ＲＡＷフレームの情報と、適用するＳＤＩフォーマットの伝送方式との両方の組み合わせに応じて、あらかじめ設定されている伝送する信号への多重位置を選択する。
【００２０】
なお、図５に示した信号への多重位置の情報は一例である。ＳＤＩフォーマットの伝送方式により、デジタルアクティブラインやブランキング領域のライン数、サンプル数が異なるため、ＲＡＷフレームのフォーマットに応じて、周辺画素データの多重位置を設定する。また、ブランキング領域のうち、他の信号が多重されていない位置については、所定の多重位置を指定する。
【００２１】
次に、図６〜図８を参照しながら、画素データを伝送するＰｓＦ（Ｐｒｏｇｒｅｓｓｉｖｅ  ｓｅｇｍｅｎｔ  Ｆｒａｍｅ）伝送方式について説明する。図６は、ＳＭＰＴＥで規定されているＰｓＦ伝送方式を説明するための図である。図６に示すように、伝送領域は水平ブランキング期間６０１、垂直ブランキング期間６０２及び有効画素領域６０３から構成されている。図６に示す例では、有効画素領域６０３のうち、ライン番号２１〜５６０までを第１のフィールドとし、ライン番号５８４〜１１２３までを第２のフィールドとする。
【００２２】
図７は、ＰｓＦ伝送方式における１ラインの構成例を詳細に説明するための図である。１ラインのデータはＬｉｎｋＡとＬｉｎｋＢとに分かれており、さらには、それぞれデータストリーム１とデータストリーム２とに分けることができる。サンプル番号０〜２０４７に有効画素データがマッピングされ、サンプル番号２０４８〜２１９９は水平ブランキング期間となる。なお、有効画素データに付されている番号は、図４に示す各色の水平位置を表す番号となっている。
【００２３】
図８は、ＳＭＰＴＥで規定されているＰｓＦシステムを説明するための図である。図８に示すように、有効画素データの奇数ラインは伝送領域の第２のフィールドへマッピング（配置）され、有効画素データの偶数ラインは第１のフィールドにマッピングされて伝送される。したがって、ＰｓＦ伝送方式では、飛び越し走査方式により図４に示す各色の奇数ラインは、伝送領域の第２のフィールドの有効画素領域８０２にマッピングされ、偶数ラインは、伝送領域の第１のフィールドの有効画素領域８０１にマッピングされて伝送される。
【００２４】
次に、有効ピクセルが４０９６×１０８０であるベイヤー構造の動画フレームを伝送するフォーマットについて説明する。
図９は、画像伝送部１７がメモリＣ１８に格納する、ＲＡＷフレームを構成している有効ピクセルのエリアの各色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）の有効画素データを説明するための図である。図９に示すように、各色の画素群は、横のピクセル幅が２０４８であり、縦のピクセル幅が５４０である。このように有効ピクセルが４０９６×１０８０であるベイヤー構造では、垂直方向に画素を２分の１に間引いた動画フレームとなっている。
【００２５】
有効ピクセルが４０９６×１０８０である場合、有効ピクセルが４０９６×２１６０であるベイヤー構造の動画フレームに比べて情報量が１／２になっている。そのため、同時に２枚の動画フレームを伝送することが可能となる。ここで、伝送する２枚の動画フレームは、撮像部１１の撮像素子により撮像された時間的に差異のある連続した動画フレームであり、それぞれ同じラインを読み出した動画フレームである。
【００２６】
図１０は、２枚の動画フレームの有効画素データを有効画素領域へマッピングする方法を説明するための図である。図１０に示すように、１枚目の第１のフレームの有効画素データは第１のフィールドに相当する有効画素領域１００１にマッピングされ、２枚目の第２のフレームの有効画素データは第２のフィールドに相当する有効画素領域１００２にマッピングされる。
【００２７】
以上のように受信装置側には、同じ伝送フォーマットに従って有効ピクセルが４０９６×２１６０であるベイヤー構造の動画フレームと有効ピクセルが４０９６×１０８０であるベイヤー構造の動画フレームとの両方が伝送される可能性がある。このため、受信装置側でどちらの動画フレームが伝送されたかを判別できるようにすることが望ましい。そこで、有効ピクセルが４０９６×１０８０であるベイヤー構造の動画フレームを伝送する際には、有効ピクセルが４０９６×１０８０であることがわかるような識別子を水平ブランキング期間または垂直ブランキング期間に重畳する。
【００２８】
図１１は、ＳＭＰＴＥで規定されているアンシラリーパケットのパケット構造の一例を説明するための図である。識別子は、Ｔｙｐｅ２のアンシラリーパケット（ＡＮＣデータパケット）の各１０ビットで構成されるユーザデータワード（ＵｓｅｒＤａｔａＷｏｒｄｓ）１１０１に格納される。格納するデータ形式は、情報が値として取得できるものであれば、どのような形式であってもよい。また、ＡＮＣデータパケットの種類を識別するためのヘッダ領域であるＤａｔａＩＤ（ＤＩＤ）１１０２とＳｅｃｏｎｄａｒｙＤａｔａＩＤ（ＳＤＩＤ）１１０３とには、伝送しているデータに関する情報であることを示す所定の値を設定する。
【００２９】
次に、有効ピクセルが４０９６×２１６０であるベイヤー構造の動画フレームの伝送モードと有効ピクセルが４０９６×１０８０であるベイヤー構造の動画フレームの伝送モードとの切り替え制御を説明する。以下、有効ピクセルが４０９６×２１６０であるベイヤー構造の動画フレームの伝送モードを４Ｋ２Ｋ伝送モードと呼び、有効ピクセルが４０９６×１０８０であるベイヤー構造の動画フレームの伝送モードを４Ｋ１Ｋ伝送モードと呼ぶ。
【００３０】
図１２は、４Ｋ２Ｋ伝送モードまたは４Ｋ１Ｋ伝送モードに切り替えるための伝送モード切り替え処理を説明するためのフローチャートである。
まず、Ｓ１２０１において、制御部１０は、ユーザの操作により、伝送モードを設定するメニューを開く指示が操作部１６から入力されるまで待機する。そして、メニューを開く指示が入力されると、Ｓ１２０１において、制御部１０は、伝送モードの選択メニューを表示部１５に表示する。
【００３１】
次に、Ｓ１２０２において、制御部１０は、ユーザによる操作部１６の操作により表示部１５に表示されたメニューに従ってどちらの伝送モードが選択されたかを検出する。この結果、４Ｋ２Ｋ伝送モードが選択されたことを検出した場合には、Ｓ１２０３において、制御部１０は、伝送領域へのマッピングを図８で示したマッピングとなるように画像伝送部１７の伝送モードを設定する。
【００３２】
一方、Ｓ１２０２において、４Ｋ１Ｋ伝送モードが選択されたことを検出した場合は、Ｓ１２０４において、制御部１０は、伝送領域へのマッピングを図１０で示したマッピングとなるように画像伝送部１７の伝送モードを設定する。そして、Ｓ１２０５において、制御部１０は、伝送領域の水平ブランキング期間または垂直ブランキング期間に伝送データが４Ｋ１Ｋのデータであることを示す識別子を重畳するように画像伝送部１７の伝送モードを設定する。
【００３３】
以上のように、実施形態１によれば、有効ピクセルが４０９６×１０８０であるベイヤー構造の動画フレームを、伝送規格に従ってマッピングして伝送することが可能になる。これにより、外部装置ＥＸ１においても２枚の動画フレームが上下に分かれることなく、あたかも１枚の動画のように再生することが可能となる。さらに、伝送データを識別するための識別子をブランキング期間に重畳することにより、外部装置ＥＸ１において、同時に伝送される２枚の動画フレームを別々のフレームとして記録することが可能となる。
【００３４】
なお、本発明は上述の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の様々な実施形態も本発明に含まれる。
【００３５】
［実施形態２］
実施形態１で説明した様々な機能及び処理は、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などがプログラムを用いて実現することもできる。以下、実施形態２では、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵなどを「コンピュータＸ」と呼ぶ。また、実施形態２では、コンピュータＸを制御するためのプログラムであって、実施形態１で説明した様々な機能及び処理を実現するためのプログラムを「プログラムＹ」と呼ぶ。
【００３６】
実施形態１で説明した様々な機能及び処理は、コンピュータＸがプログラムＹを実行することによって実現される。この場合において、プログラムＹは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＸに供給される。実施形態２におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、光ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＲＯＭ、ＲＡＭなどの少なくとも一つを含む。また、実施形態２におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ（非一時的）な記憶媒体である。
【符号の説明】
【００３７】
１０  制御部
１７  画像伝送部
【図１】
2013219598.tif 000003
【図２】
2013219598.tif 000004
【図３】
2013219598.tif 000005
【図４】
2013219598.tif 000006
【図５】
2013219598.tif 000007
【図６】
2013219598.tif 000008
【図７】
2013219598.tif 000009
【図８】
2013219598.tif 000010
【図９】
2013219598.tif 000011
【図１０】
2013219598.tif 000012
【図１１】
2013219598.tif 000013
【図１２】
2013219598.tif 000014