(57)【要約】【課題】  ＲＡＷ動画データを伝送する構成において、動画のプレ記録機能のために小容量なデータを生成することを目的とする。【解決手段】  撮影指示より前のプレ記録期間の動画については、現像処理され、圧縮された状態で一時蓄積メモリに蓄積しておき、撮影指示に応じて動画のＲＡＷデータを伝送する際には、ＲＡＷデータとともに当該ＲＡＷデータのプレ記録期間の圧縮動画データを前記一時蓄積メモリから読み出して出力する。【選択図】  図１
2016039578.tif 000002
【特許請求の範囲】
【請求項１】
撮像を行って動画データを生成するセンサーと、
動画の記録開始または伝送開始を示す撮影指示に応じて、前記動画データを未現像の画像を表すＲＡＷデータの状態で出力する伝送手段と、
前記動画データを現像処理する現像処理手段と、
前記現像処理された動画データを圧縮する圧縮符号化手段と、
前記撮影指示より過去の所定時間分の動画データを前記圧縮符号化手段によって圧縮された状態で蓄積する一時蓄積メモリとを備え、
前記伝送手段は、出力される前記ＲＡＷデータのプレ記録期間の動画を再生可能にするために前記一時蓄積メモリに蓄積された圧縮動画データを出力することを特徴とする画像伝送装置。
【請求項２】
前記伝送手段は、前記一時蓄積メモリから前記圧縮動画データを伝送するとき、前記圧縮動画データを作り出すときの現像処理に係るパラメータに関する情報を前記圧縮動画データとともに出力することを特徴とする請求項１記載の画像伝送装置。
【請求項３】
前記伝送手段は、前記一時蓄積メモリから前記圧縮動画データを伝送するとき、前記現像処理手段による現像処理を復元するための逆現像のパラメータに関する情報を前記圧縮動画データとともに出力することを特徴とする請求項１記載の画像伝送装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画データを伝送する画像伝送装置に関するものである。
【背景技術】
【０００２】
近年、撮像装置において、撮像した動画像に基づく動画データを、クラウドサーバ等の外部の記憶装置に伝送して記録することがある。このような使用環境で伝送される動画データは、一般的に撮像部で取得された撮像画像が現像処理され、ＭＰＥＧやＨ．２６４／ＡＶＣ等の動画圧縮技術を用いて圧縮符号化されている。
【０００３】
一方、一部の撮像装置では、撮像部で取得された撮像画像を未現像の状態で記録するものがある。未現像の状態の動画像は、画像の生の状態を意味するロウ動画（ＲＡＷ動画）と呼ばれる。特許文献１には、現像処理する前のＲＡＷ動画のデータを記録する装置が開示されている。
【０００４】
ＲＡＷ動画データを記録することによって、それを再生するときに、パーソナルコンピュータ等で好みの現像処理を施すことができる。すなわち、撮像装置の固有の現像処理とならない、ユーザー独自の現像処理で画像を生成することができる。例えば、記録されたＲＡＷ動画のデータから、自分のモニタの特性に合うような画質の画像を生成したり、好みの階調や色合いに調整したりして所望の画像を得ることが可能になる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０５５３３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、ＲＡＷ動画データはそのデータ量が膨大である。ＲＡＷ動画データをクラウドサーバ等の外部の記憶装置に伝送するには、高速な通信路を介して、撮影したら即送信して、なるべくＲＡＷ動画データをバッファリングする期間を短くする構成が望ましい。しかしながら、撮像装置には、記録開始の指示から所定時間前の動画までを遡って記録する機能（プレ記録機能と称す）が求められることがある。プレ記録機能を有していると、決定的シーンの発生時に記録開始の指示が間に合わなくても、例えば数秒前からのシーンがメモリに蓄えられているので、それで決定的シーンをリカバリーできるメリットがある。
【０００７】
ＲＡＷ動画の撮影時にプレ記録機能を実行する場合、ＲＡＷ動画データを所定時間分だけ常時メモリにバッファリングし続ける必要がある。所定時間分のＲＡＷ動画データを常時蓄積するには、ＤＲＡＭ等の一時蓄積用のメモリに膨大な容量が必要になってしまう。これは撮像装置のようなモバイル機器にとっては、ハード規模の大型化やコストの増大に直結してしまい、ユーザーにとっても好ましい状態ではない。
【０００８】
そこで本発明は、ＲＡＷ動画データを伝送する構成において、動画のプレ記録機能のために小容量なデータを生成することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像伝送装置は、撮像を行って動画データを生成するセンサーと、動画の記録開始または伝送開始を示す撮影指示に応じて、前記動画データを未現像の画像を表すＲＡＷデータの状態で出力する伝送手段と、前記動画データを現像処理する現像処理手段と、前記現像処理された動画データを圧縮する圧縮符号化手段と、前記撮影指示より過去の所定時間分の動画データを前記圧縮符号化手段によって圧縮された状態で蓄積する一時蓄積メモリとを備え、前記伝送手段は、出力される前記ＲＡＷデータのプレ記録期間の動画を再生可能にするために前記一時蓄積メモリに蓄積された圧縮動画データを出力することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ＲＡＷ動画データを伝送する構成において、動画のプレ記録機能を小容量なデータで実現することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る画像伝送装置のブロック図である。
【図２】本実施形態に係る動作のフローチャートである。
【図３】伝送されるＲＡＷ動画データと現像用復元データの解説図である。
【図４】現像処理の説明図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。
【００１３】
図１は、本発明の実施形態に係る画像伝送装置のブロック図である。以下、本実施形態に係る画像伝送装置の一例として、動画を撮像可能であり動画データを伝送可能な撮像装置１００に適用した例を説明する。
【００１４】
図１において、画像伝送装置（撮像装置１００）は、光の入射路となるレンズ１、光を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像のためのセンサー２を有する。ここではアナログ信号をデジタル信号に変換するＡ／Ｄ変換機能も含まれている。撮像装置１００は、さらに、信号中に含まれるセンサーのキズの影響を補完するキズ補正部３、被写体の明るさに応じて信号のゲインを調整するゲイン調整部４を有する。本実施形態では、ゲイン調整後の信号を、撮像後の未現像（生）の画像信号を表すＲＡＷデータと称す。撮像装置１００は、動画を撮像可能であるので、動画データを撮像した場合のＲＡＷデータはＲＡＷ動画データとなる。なお、ＲＡＷデータが生成されるまでの処理過程を前処理と称す。
【００１５】
撮像装置１００は、さらにゲイン調整部４から出力されるＲＡＷデータに対してホワイトバランスを調整したり、γ処理したり、ＲＧＢ信号から輝度（Ｙ）と色差（Ｃｒ，Ｃｂ）に変換する現像処理部５と、アパーチャー処理等を行うＹＣ処理部６を有する。撮像装置１００は、さらに、ＹＣ処理後の画像信号を画像として表示するパネル表示部７、ＭＰＥＧやＨ．２６４／ＡＶＣ等の圧縮技術によって画像を変換する圧縮符号化部８を有する。圧縮符号化部８によって圧縮されて得られた画像データは、低レートの圧縮画像データとなって、一時蓄積メモリ９によって記録される。
【００１６】
一時蓄積メモリ９は、圧縮された状態の画像データを、動画として所定時間分のＴ秒（例えば３秒）以上蓄えておくことが可能なメモリ容量を有し、動画撮像時のプレ記録機能の実行時に利用される。本実施形態に係るプレ記録機能では、動画の記録開始または伝送開始を意味する「撮影指示」より過去の圧縮動画データをＴ秒間分蓄積していて、撮影指示に応じて当該撮影指示のタイミングから遡ってＴ秒間分の動画を一時蓄積メモリ９から読み出して伝送する。
【００１７】
撮像装置１００は、さらに、ＲＡＷデータと圧縮画像データを選択する選択部１０と、入力選択されたＲＡＷデータ又は圧縮画像データを伝送や記録に適したフォーマットに変換する伝送処理部１１とを有する。また、圧縮画像データを作り出す時のパラメータに関する関連情報を圧縮画像データに付加する現像情報付加部１２も有する。伝送処理部１１の出力側は、無線や有線の伝送系インタフェースに接続され、クラウドサーバや外部のストレージに圧縮動画データを伝送して記録させることができる。なお、伝送処理部１１がローカルの記録媒体に直接接続されても良い。
【００１８】
撮像装置１００は、さらに、撮影指示（記録指示）の入力を受けつける記録指示キー１３と、撮像装置１００の動作モードを決定するためのモードキー１４と、ＣＰＵ等の演算回路を備えるシステムコントローラ１５とを有す。ここで、記録指示キー１３からの指示があると、システムコントローラ１５の命令によって撮像装置１００の各ブロックが動作制御される。また、システムコントローラ１５によって現像パラメータの設定が行われる。
【００１９】
図２は、本実施形態に係る画像伝送装置の動作のフローチャートである。本フローチャートは、システムコントローラ１５内の演算回路の制御によって実行される。
【００２０】
スタート（ＳＴＥＰ１）後、モードキー１４の設定がＲＡＷモード（ＲＡＷ動画の撮影モード）かどうか判断する（ＳＴＥＰ２）。ＲＡＷモードでなければ通常圧縮データ（圧縮動画データ）の伝送モードに動作移行する。このとき選択部１０では常に圧縮データが選択され、圧縮動画データが外部又は記録媒体に伝送される。一方、ＳＴＥＰ２でＲＡＷモードと判断された場合、モードキー１４の設定が、プレ記録機能が有効なモード（プレ記録モード）かどうか判断する（ＳＴＥＰ３）。
【００２１】
プレ記録モードでなければ通常ＲＡＷデータの伝送になる（記録指示に対するプレ記録は行われない）。このとき、選択部１０では常にＲＡＷデータが選択され、ＲＡＷ動画データが外部又は記録媒体に伝送される。一方、ＳＴＥＰ３でプレ記録モードと判断された場合、いつでも記録に入れる状態である記録ポーズ状態を保持し、撮像されたＲＡＷ動画データを現像、圧縮して、その圧縮データを一時蓄積メモリ９に蓄積する（ＳＴＥＰ４）。一時蓄積メモリ９は常に最新のＴ秒（例えば３秒）分を記憶し続けるよう更新を行い、記録指示の受付を待つ（ＳＴＥＰ５）。
【００２２】
ＳＴＥＰ５で記録指示が行われると、選択部１０はまず圧縮データ側を選択し、一時蓄積メモリ９に蓄積されたＴ秒分の圧縮動画データを読み出し、伝送処理部１１によって外部のクラウドサーバや記録媒体へ伝送する（ＳＴＥＰ６）。その際、現像情報付加部１２は現像処理のパラメータ情報を圧縮データに付加して送る。ここで付加する情報は現像処理を元に戻すための逆現像処理のパラメータ情報でも良い。
【００２３】
一時蓄積メモリ９からＴ秒分の圧縮動画データの伝送が終了すると（ＳＴＥＰ７）、それに引き続いて、選択部１０はＲＡＷデータ側を選択する。そして、記録指示のタイミング以降のＲＡＷ動画データを伝送処理部１１によって外部のクラウドサーバや記録媒体へ伝送する（ＳＴＥＰ８）。ＲＡＷデータの伝送は記録終了指示があるまで続く（ＳＴＥＰ９）。
【００２４】
この一連の処理フローによって作られた伝送データの説明とその情報の使い方について図３を用いて説明する。図３は、伝送されるＲＡＷ動画データと現像用復元データの解説図である。
【００２５】
図３（ａ）は、プレ記録機能が有効なときのＲＡＷデータの伝送方法に関する説明である。記録指示に応じて、まず一時蓄積メモリ９内の圧縮データが伝送される。６０フィールド画像であれば３秒で１８０フィールドになる。図中のＮは画面カウンタを示している。記録指示のタイミングをＮ＝０とすると、一時蓄積メモリ９から、Ｎが−１８０から−１までの画面の圧縮データが読みだされ伝送される。このとき、前述したように現像情報付加部１２によって圧縮データを現像処理したときのパラメータ情報が当該圧縮データに付加されて送られる。その後、記録指示のタイミング以降（Ｎ＝０，１，２，３，・・・）には、圧縮データに替えてＲＡＷデータが伝送される。この状態は、記録指示が解除されるまで（記録停止を受けつけるまで）継続される。
【００２６】
図３（ｂ）は、伝送された先の記録媒体のデータをパーソナルコンピュータに吸い上げたり、ネットワークを介してクラウドサーバ等に保存されたりしたＲＡＷデータをファイルとして生成するときのデータの処理を表わしている。この処理は、外部のコンピュータや端末によって実行されるが、撮像装置１００の本体が同様の機能を有していても良い。当該ファイルの処理として、不図示のコンピュータがまず圧縮データを圧縮時のフォーマットに従ってデコード処理し、その動画像を復元する。その後、圧縮データに付加されていた現像処理のパラメータ情報を元に、圧縮データの現像時に施されていた現像の逆の処理を施して（逆現像）、復元された動画像が元のＲＡＷデータに類似する疑似ＲＡＷデータに変換される。その際、可逆ではなく、部分的には元に戻らないので、擬似ＲＡＷデータと称する。擬似ＲＡＷデータとその後のＲＡＷデータとを結合することによって、プレ記録期間もＲＡＷデータとなったＲＡＷ動画ファイルが完成する。こうして完成したＲＡＷファイルにユーザー所望の現像を施すことによって、好みの画質の動画像として再生可能とすることができる。
【００２７】
図４は、現像処理の説明図である。図４（ａ）は、現像処理部５で行う現像処理の一例を示す詳細ブロック図である。ホワイトバランス処理回路５１、γ（ガンマ）処理回路５２、色差マトリックス処理回路５３で輝度（Ｙ）と色差（Ｃｒ，Ｃｂ）の信号が作られ、ＹＣ処理部６に送られる。図４（ｂ）は、γ（ガンマ）処理回路５２の入出力特性を表し、図４（ｃ）は色差マトリックス処理回路５３の入出力変換式の例である。
【００２８】
逆現像処理では各パラメータによる処理を元に戻す処理が行われる。出来上がった疑似ＲＡＷデータファイルとＲＡＷデータファイルとを結合し、１つのファイルにする。そのファイルのデータをテレビ等のモニタに合うような画質にしたり、効果的な色合いに変えたり、所望の画像になるように現像処理を調整することが可能になる。したがって、撮影指示前の動画（プレ記録期間）は、それ以降よりも多少画質は劣るが記録指示後の動画と連続した画像処理の動画像を得ることができる。
【００２９】
なお、本実施形態では、ＲＡＷデータはゲイン調整後のデータとしているが、ゲイン調整前のデータの場合でも同様の効果が得られる。
【００３０】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３１】
１  レンズ
２  センサー
３  キズ補正部
４  ゲイン調整部
５  現像処理部
６  ＹＣ処理部
７  パネル表示部
８  圧縮符号化部
９  一時蓄積メモリ
１０  選択部
１１  伝送処理部
１２  現像情報付加部
１３  記録指示キー
１４  モードキー
１５  システムコントローラ
１００  撮像装置
【図１】
2016039578.tif 000003
【図２】
2016039578.tif 000004
【図３】
2016039578.tif 000005
【図４】
2016039578.tif 000006