(57)【要約】【課題】コストや消費電力の増大等を招くことなく、遠隔地に設置された撮像装置に対して的確な制御を行う。【解決手段】撮像装置は、被写体を撮像し画像データを生成する撮像手段と、前記撮像手段により生成された画像データを記録領域と周辺領域とに分割する領域分割手段と、前記記録領域の記録用画像データを符号化する第１の符号化手段と、前記周辺領域の周辺画像データを符号化する第２の符号化手段と、前記第１の符号化手段により符号化された記録用画像データと、前記第２の符号化手段により符号化された周辺画像データとを外部装置へ送信する送信手段と、を有する。【選択図】図４
2011061332.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し画像データを生成する撮像手段と、
前記撮像手段により生成された画像データを記録領域と周辺領域とに分割する領域分割手段と、
前記記録領域の記録用画像データを符号化する第１の符号化手段と、
前記周辺領域の周辺画像データを符号化する第２の符号化手段と、
前記第１の符号化手段により符号化された記録用画像データと、前記第２の符号化手段により符号化された周辺画像データとを外部装置へ送信する送信手段と、を有することを特徴とする撮像装置。
【請求項２】
前記記録領域の外枠として表示される枠画像データを生成する枠生成手段と、
前記記録用画像データと前記周辺画像データと前記枠画像データとを合成して合成画像データを生成する画像合成手段と、
前記合成画像データを表示する表示手段と、を更に有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像装置は前記外部装置から離れた場所で、当該外部装置と通信可能に接続されており、前記合成画像データが前記外部装置に伝送され表示されると共に、前記撮像装置は当該外部装置により遠隔操作されることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第１の符号化手段の符号化レートと前記第２の符号化手段の符号化レートを制御する符号化制御手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記符号化制御手段は、前記記録用画像データを前記外部装置に記録する時は前記第１の符号化手段の符号化レートを前記第２の符号化手段の符号化レートよりも高いレートに設定し、前記記録の停止時は前記第１の符号化手段の符号化レートと前記第２の符号化手段の符号化レートを同一のレートに設定することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記周辺画像データの輝度値を制御する輝度制御手段を更に有し、
前記輝度制御手段は、前記周辺画像データを前記記録用画像データより低い輝度に設定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
撮像装置により撮像され、符号化された画像データを受信する受信手段と、
前記受信手段により受信した画像データを記録領域の記録用画像符号化データと周辺領域の周辺画像符号化データとに分離するデータ分離手段と、
前記記録用画像符号化データを復号化する第１の復号化手段と、
前記周辺画像符号化データを復号化する第２の復号化手段と、
前記記録領域の外枠として表示される枠画像データを生成する枠生成手段と、
前記第１の復号化手段により復号化された記録用画像データと、前記第２の復号化手段により復号化された周辺画像データと、前記枠画像データとを合成して合成画像データを生成する画像合成手段と、
前記合成画像データを表示する表示手段と、を有することを特徴とする表示制御装置。
【請求項８】
前記データ分離手段により分離された前記記録用画像符号化データを記録する記録手段を更に有することを特徴とする請求項７に記載の表示制御装置。
【請求項９】
前記表示制御装置は前記撮像装置から離れた場所で、当該撮像装置と通信可能に接続されており、前記撮像装置を遠隔操作することを特徴とする請求項８に記載の表示制御装置。
【請求項１０】
前記周辺画像データの輝度値を制御する輝度制御手段を更に有し、
前記輝度制御手段は、前記復号化された周辺画像データを前記記録用画像データより低い輝度に設定することを特徴とする請求項７乃至９のいずれか１項に記載の表示制御装置。
【請求項１１】
被写体を撮像し画像データを生成する撮像装置の制御方法であって、
前記生成された画像データを記録領域と周辺領域とに分割する領域分割工程と、
前記記録領域の記録用画像データを符号化する第１の符号化工程と、
前記周辺領域の周辺画像データを符号化する第２の符号化工程と、
前記第１の符号化工程により符号化された記録用画像データと、前記第２の符号化工程により符号化された周辺画像データとを外部装置へ送信する送信工程と、を有することを特徴とする制御方法。
【請求項１２】
撮像装置により撮像され、符号化された画像データを受信する表示制御装置の制御方法であって、
前記受信した画像データを記録領域の記録用画像符号化データと周辺領域の周辺画像符号化データとに分離するデータ分離工程と、
前記記録用画像符号化データを復号化する第１の復号化工程と、
前記周辺画像符号化データを復号化する第２の復号化工程と、
前記記録領域の外枠として表示される枠画像データを生成する枠生成工程と、
前記第１の復号化工程により復号化された記録用画像データと、前記第２の復号化工程により復号化された周辺画像データと、前記枠画像データとを合成して合成画像データを生成する画像合成工程と、
前記合成画像データを表示する表示工程と、を有することを特徴とする制御方法。
【請求項１３】
コンピュータに請求項１１又は１２に記載の制御方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像を遠隔地で再生する撮像システムに関するものである。
【背景技術】
【０００２】
近年、デジタルビデオカメラの高解像度化が進み、ＨＤサイズ（１９２０ｘ１０８０）の撮像素子を搭載し、ＨＤの動画を撮影し記録する機種が開発されつつある。従来のＳＤ(Standard Definition)サイズ７２０ｘ４８０に対して、ＨＤ(High Definition)サイズは１９２０ｘ１０８０であり、総画素で６倍の画素数となっている。一方、記憶容量の節約や通信時の伝送帯域の制限、テレビ側のＨＤ未対応等の観点から、従来のＳＤサイズで撮影を行う場合も多く、ビデオカメラもＨＤとＳＤの双方のフォーマットに対応して記録・再生可能なものがある。
【０００３】
ここで、デジタルビデオカメラを撮影機材として用い、少人数の取材チームで、撮影現場から離れた場所にいるディレクタが撮影現場をモニタしながらカメラマンに対して画角やパン・チルト等の指示を行う場合がある。また、デジタルビデオカメラを監視カメラとして用い、撮影中の動画データを符号化して遠隔地へ送信し記録する場合がある。この場合、遠隔地にいるユーザが、受信した動画をモニタしながら遠隔操作によりカメラの画角やパン・チルト・ズーム等を制御する。ここで、例えば、特許文献１には、被写体を中心に狭い範囲を撮影する高倍率ズームが可能なＴｅｌｅカメラと、被写体周辺を含む広い範囲を撮影する広角度撮影が可能なＷｉｄｅカメラとを備える装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２３８３２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来は、記録領域以外の周辺領域の画像データは伝送されないため、例えば、遠隔地でモニタしているディレクタは障害物や無関係の人物等の記録領域以外の状況を確認することができない。このため、撮影現場のカメラマンに対して的確な指示を行うことが困難となる。これは、監視カメラ等として用いた場合でも同様である。また、上記特許文献１では、ＷｉｄｅカメラとＴｅｌｅカメラの２つのカメラを用意する必要があり、構成が複雑になるため、コストや消費電力の増大等を招く。本発明は、このような課題を解決することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の撮像装置は、被写体を撮像し画像データを生成する撮像手段と、前記撮像手段により生成された画像データを記録領域と周辺領域とに分割する領域分割手段と、前記記録領域の記録用画像データを符号化する第１の符号化手段と、前記周辺領域の周辺画像データを符号化する第２の符号化手段と、前記第１の符号化手段により符号化された記録用画像データと、前記第２の符号化手段により符号化された周辺画像データとを外部装置へ送信する送信手段と、を有する。
【発明の効果】
【０００７】
本発明によれば、コストや消費電力の増大等を招くことなく、遠隔地に設置された撮像装置に対して的確な制御を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る実施形態の撮影システムの構成を示すブロック図である。
【図２】実施形態１の撮像装置の構成を示すブロック図である。
【図３】実施形態１による表示画像を例示する図である。
【図４】実施形態１の撮像装置による符号化処理を示すフローチャートである。
【図５】記録用画像と周辺画像の各符号化レートを例示する図である。
【図６】実施形態１の表示制御装置の構成を示すブロック図である。
【図７】実施形態２の撮像装置の構成を示すブロック図である。
【図８】実施形態２の表示制御装置の構成を示すブロック図である。
【図９】実施形態２による表示画像を例示する図である。
【図１０】実施形態２の撮像装置による符号化処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１０】
［実施形態１］先ず、図１を参照して、実施形態１の撮影システムについて説明する。図１において、１００は被写体を所定のフレームレートで撮像して動画や静止画を撮影するデジタルビデオカメラ等の撮像装置である。１０１は撮像装置１００で撮影された動画データを転送する有線又は無線通信可能な伝送路である。１０２は撮像装置１００から離れた場所に設置され、伝送路１０１を介して撮像装置１００から受信した動画データを記録及び再生する外部装置としての表示制御装置である。撮影された動画は、撮像装置１００でデジタル画像信号に圧縮符号化され、伝送路１０１を介して表示制御装置１０２に再生可能に記録される。また、撮像装置１００は、伝送路１０１を介して表示制御装置１０２から制御信号を受信することにより遠隔操作可能である。
【００１１】
＜撮像装置１００＞次に、図２を参照して、撮像装置１００の構成について説明する。図２において、２０１は被写体像を結像するレンズユニット、２０２は受光面に結像された被写体像を撮像する撮像素子である。２０３は撮像素子２０２から出力されるアナログ画像像信号をデジタル画像信号に変換し、このデジタル画像信号に必要な信号処理を施して画像データを生成する信号処理部である。２０４は信号処理部２０３で生成された画像データを記憶するメモリ、２０５は画像データを後述する記録領域の記録用画像データとその周辺領域の周辺画像データとに分割する領域分割処理部である。２０６は分割された記録用画像データを符号化する第１の符号化部である。２０７は分割された周辺画像データを符号化する第２の符号化部である。２０８は各符号化部２０６，２０７で符号化された記録用画像データ及び周辺画像データを送信するためのパケットデータを生成するパケット処理部である。２０９はパケットデータの送信処理を行う送信部、２１０はメモリ２０４に記憶されている画像データを読み出して表示部２１１で表示可能な信号を生成する表示処理部、２１１は画像を表示するＬＣＤ等の表示部である。２１２は第１及び第２の各符号化部２０６，２０７での目標符号量（符号化レート）を制御する符号化制御部である。２１３は操作部２１４からの操作入力に応じて所定のプログラムに従い演算処理を実行し各部へ制御信号を出力するＣＰＵ、２１４はユーザの各種操作を受け付ける操作部、２１５は記録用画像の外枠となる枠画像データを生成する枠生成部である。
【００１２】
図２において、撮像素子２０２は、レンズユニット２０１に対してフォーカス制御、ズーム制御及び絞り制御等を実行することにより結像された被写体像を光電変換して所定のフレームレートのアナログ画像信号を出力する。ここで、撮像素子２０２の有効画素はＨＤサイズに対応した１９８０ｘ１０８０画素である。信号処理部２０３はアナログ画像信号をデジタル画像信号に変換し、ゲイン調整、ガンマ補正、ホワイトバランス調整等の信号処理を実行する。メモリ２０４は１９８０ｘ１０８０画素のフレーム毎の画像データ（以下、フレーム画像）を記憶する。また、メモリ２０４に記憶されたフレーム画像は、ＣＰＵ２１３の制御に従い領域分割処理部２０５により記録領域｛例えば、ＳＤサイズ（７２０ｘ４８０）｝とその周辺の周辺領域とにスライス分割される。
【００１３】
図３はスライス分割された画像を例示している。図３において、Ｖ３０１はメモリ２０４に記憶されているＨＤサイズ（１９２０ｘ１０８０）のフルサイズ画像である。Ｖ３０２は記録用画像であり、Ｖ３０３はフルサイズ画像Ｖ３０１から記録用画像Ｖ３０２を除いた周辺画像である。記録用画像Ｖ３０２の画像データは第１の符号化部２０６により圧縮符号化され、周辺画像Ｖ３０３の画像データは第２の符号化部２０７により圧縮符号化される。本実施形態に適用可能な符号化方式は、例えばＭＰＥＧやＨ．２６４等があるが、効率良く符号化する高能率符号化方式であれば別の方式でもよい。第１及び第２の各符号化部２０６，２０７は、画像データを直交変換（ＤＣＴ）して直交変換係数（ＤＣＴ係数）を出力する直交変換部と、直交変換部が出力する直交変換係数を設定された量子化ステップ幅で量子化する量子化部とを少なくとも有する。
【００１４】
第１の符号化部２０６から出力される記録用画像符号化データと、第２の符号化部２０７から出力される周辺画像符号化データとはパケット処理部２０８でパケットデータに変換されて送信部２０９から伝送路１０１へ送信される。また、ＣＰＵ２１３は枠生成部２１５により記録用画像Ｖ３０２の外枠として表示される枠画像Ｖ３０４の画像データを生成する。表示処理部２１０はフルサイズ画像Ｖ３０１の画像データと枠画像Ｖ３０４の画像データとを重畳して合成画像Ｖ３０５の画像データを生成し、表示部２１１に合成画像Ｖ３０５が表示される。
【００１５】
＜符号化処理＞次に、図４のフローを参照して、本実施形態の撮像装置１００による符号化処理について説明する。本フローは、ユーザ操作によって操作部２１４からＣＰＵ２１３へ記録開始／停止指示が入力されることにより実行される。図４において、ステップＳ４０１で撮像装置１００が起動し、ステップＳ４０２で画像記録モードが選択される。このことにより、ステップＳ４０３では、記録用画像Ｖ３０２に枠画像Ｖ３０４を重畳した画像及び周辺画像Ｖ３０３の送信を開始する。これらの画像を表示制御装置１０２が受信することにより、記録用画像Ｖ３０２、周辺画像Ｖ３０３、枠画像Ｖ３０４を合成した合成画像Ｖ３０５が表示制御装置１０２により表示される。ステップＳ４０４では、送信している画像の目標符号量を設定する。具体的には、第１及び第２の各符号化部２０６，２０７での目標符号量を記録用画像と周辺画像の各々の面積比で同一とし、各符号量を合算したデータ量が伝送路１０１の転送可能レートを超えない範囲となるように設定する。換言すると、記録用画像Ｖ３０２と周辺画像Ｖ３０３とは、各々の画質が同等となるよう符号化される。
【００１６】
次に、ステップＳ４０５で撮影スタンバイとなり、Ｓ４０６で操作部２１４から記録開始指示が入力されると、ステップＳ４０７に移行する。ステップＳ４０７では符号化制御部２１２は、第１の符号化部２０６での符号化レートを上げて記録用画像Ｖ３０２を高画質で符号化する一方、第２の符号化部２０７での符号化レートを下げて周辺画像Ｖ３０３を低画質で符号化する。これにより、各符号化データ量が伝送路１０１の転送可能レートを超えないようにする。次にステップＳ４０８で、ＣＰＵ２１３は操作部２１４から記録停止指示が入力されると、ステップＳ４０９に移行する。ステップＳ４０９では、符号化制御部２１２は、第１及び第２の各符号化部２０６，２０７の各目標符号量をステップＳ４０４での設定値に戻し、ステップＳ４０５の撮影スタンバイに戻る。
【００１７】
図５は記録時と記録停止時における記録用画像と周辺画像の各符号化レートを例示している。図５において、ＣＰＵ２１３は、表示制御装置１０２による画像データの記録時及び記録停止時において記録用画像データと周辺画像データの各符号量の総和が伝送路１０１の転送可能レートを超えないように目標符号量を設定する。
【００１８】
＜表示制御装置１０２＞次に、図６を参照して、表示制御装置１０２の構成について説明する。図６において、表示制御装置１０２は、撮像装置１００とは離れた場所に設置されている。６０１は伝送路１０１からパケットデータを受信する受信部、６０２は受信したパケットデータを記録用画像Ｖ３０２の符号化データＤ３０２と周辺画像Ｖ３０３の符号化データＤ３０３とに分離するデータ分離部である。６０４は、分離された記録用画像符号化データＤ３０２を復号化する第１の復号化部である。６０５は、分離された周辺画像符号化データＤ３０３を復号化する第２の復号化部である。６０６は、記録用画像の外枠となる枠画像データを生成する枠生成部である。６０７は、分離された記録用画像符号化データＤ３０２を記録する記録部である。６０８は、第１の復号化部６０４により復号化された記録用画像データと、第２の復号化部６０５により復号化された周辺画像データと、枠画像データとを合成して合成画像データを生成する画像合成部である。６０９は、合成画像データを表示する表示部である。６１０は所定のプログラムに従い演算処理を実行し各部へ制御信号を出力するＣＰＵである。
【００１９】
上記実施形態では、撮影画像を記録用画像Ｖ３０２と周辺画像Ｖ３０３とに領域分割して各々を符号化している。しかしながら、符号化部の構成を簡単にするために、記録用画像Ｖ３０２を黒データで上書きしたＨＤサイズ（１９２０ｘ１０８０）の画像データとしても良い。
【００２０】
また、本実施形態では、撮像装置１００の表示部２１１にも表示制御装置１０２の表示部６０９と同様に、合成画像Ｖ３０５を表示している。しかしながら、撮像装置１００のユーザは撮影状況が肉眼で感知できるので、撮像装置１００には記録用画像Ｖ３０２のみを表示するようにしてもよい。
【００２１】
更に、本実施形態では説明を省略したが、音声データについては、第１の符号化部２０６の記録用画像Ｖ３０２の符号化データと音声の符号化データとを１つのＴＳ（Transport Sream）としてパケットデータを生成し、送信してもよい。表示制御装置１０２では、データ分離部６０２で分離された記録用画像符号化データＤ３０２と共に、音声符号化データが記録部６０７に記録される。
【００２２】
［実施形態２］次に、図７〜図１０を参照して、実施形態２の撮影システムについて説明する。図７は実施形態２の撮像装置１００の構成を示し、実施形態１と同一の構成には同一の符号を付して説明を省略する。図７において、実施形態２の撮像装置１００には輝度制御部７０１が追加されている。また、領域分割処理部２０５からの記録用画像データの出力が第１の符号化部２０６と表示処理部２１０に接続され、周辺画像データの出力が輝度制御部７０１に接続される。輝度制御部７０１はＣＰＵ２１３により周辺画像データの輝度値を制御する。表示処理部２１０は枠生成部２１５で生成された枠画像データと記録用画像データと輝度制御部７０１で輝度値が制御された周辺画像データとを合成する。
【００２３】
図８は実施形態２の表示制御装置１０２のブロック図であり、実施形態１と同一の構成には同一の符号を付して説明を省略する。図８において、実施形態２の表示制御装置１０２には輝度制御部８０１が追加されている。輝度制御部８０１は第２の復号化部６０５で復号化された周辺画像データの輝度値を制御する。画像合成部６０８は記録用画像データと、輝度値が制御された周辺画像データと枠画像データとを合成する。
【００２４】
図９は、実施形態２の撮像装置１００及び表示制御装置１０２で表示される合成画像を例示している。図９（Ａ）に示す記録停止時には、図３と同様に、記録用画像Ｖ３０２と周辺画像Ｖ３０３と枠画像Ｖ３０４とを合成した合成画像Ｖ３０５が表示される。一方、図９（Ｂ）に示す記録時には、周辺画像Ｖ３０３の輝度を下げることで記録用画像Ｖ３０２を強調すると共に周辺画像Ｖ３０３の視認も可能となるように合成画像Ｖ’３０５が表示される。なお、表示制御装置１０２では常に図９（Ｂ）のような合成画像の表示を行っているが、撮像装置１００からの記録開始／停止指示を伝送路１０１を介して受信し、撮像装置１００と同様に記録時と記録停止時との間で周辺画像の輝度値を切り替えても良い。
【００２５】
次に、図１０のフローを参照して、実施形態２の撮像装置１００による符号化処理について説明する。なお、以下では、図４のフローと同一の処理を行う工程には同一の符号を付して説明を省略する。即ち、図１０のステップＳ４０７で、符号化制御部２１２が記録用画像データを高画質で符号化する一方、周辺画像データを低画質で符号化した後、ステップＳ１００１では、ＣＰＵ２１３は輝度制御部７０１を制御して周辺画像Ｖ３０３の輝度を下げる。その後、ステップＳ４０８で操作部２１４から記録停止指示が入力されると、ステップＳ４０９では、符号化制御部２１２は第１及び第２の各符号化部２０６，２０７での各目標符号量をステップＳ４０４での設定値に戻す。次に、ＣＰＵ２１３は輝度制御部７０１を制御して周辺画像Ｖ３０３の輝度をもとに戻し、ステップＳ４０５の撮影スタンバイに戻る。
【００２６】
実施形態２でも、実施形態１と同様に、撮像装置１００にも表示制御装置１０２と同様に合成画像Ｖ３０５を表示しているが、撮像装置１００のユーザは撮影状況が肉眼で感知できるので、記録用画像Ｖ３０２のみを表示してもよい。
【００２７】
また、本発明は、上記実施形態と同等の処理を、コンピュータプログラムでも実現できる。この場合、図１をはじめとする構成要素の各々は関数、もしくはＣＰＵが実行するサブルーチンで機能させれば良い。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それを、コンピュータが有する読取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。
【００２８】
以上述べた各実施形態によれば、撮影現場から離れた場所で撮像装置で撮影された映像をモニタする状況において、撮像装置１００から記録用画像に加えてその周辺画像を低画質で表示制御装置１０２でモニタできる。これにより、例えば、動画をモニタするディレクタが周辺画像を確認しながら現場のカメラマンにパン・チルト等の指示を出し、動画の表示及び記録を行うことができるようになる。また、コストや消費電力の増大等を招くことなく、遠隔地に設置された撮像装置１００に対して的確な制御を行うことができる。
【図１】
2011061332.tif 000003
【図２】
2011061332.tif 000004
【図３】
2011061332.tif 000005
【図４】
2011061332.tif 000006
【図５】
2011061332.tif 000007
【図６】
2011061332.tif 000008
【図７】
2011061332.tif 000009
【図８】
2011061332.tif 000010
【図９】
2011061332.tif 000011
【図１０】
2011061332.tif 000012